衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

人工智能:機器學習模型存在著對抗樣本的安全威脅

如意 ? 來源:中國保密協會科學技術分 ? 作者:中國保密協會科學 ? 2020-08-27 16:10 ? 次閱讀

導語

近年來,隨著人工智能的蓬勃發展,機器學習技術在網絡入侵檢測領域得到了廣泛的應用。然而,機器學習模型存在著對抗樣本的安全威脅,導致該類網絡入侵檢測器在對抗環境中呈現出特定的脆弱性。本文主要概述由對抗樣本造成的逃逸攻擊,分為上下兩篇。上篇從基本概念出發介紹逃逸攻擊的工作機理,下篇則介紹一些針對逃逸攻擊的防御措施。希望能讓讀者更清晰的認知基于機器學習的網絡入侵檢測器所存在的安全風險。

當網絡入侵檢測器遇到機器學習

網絡入侵檢測系統(Network Intrusion Detection System,NIDS)通過采集網絡流量等信息,發現被監控網絡中違背安全策略、危及系統安全的行為,是一種重要的安全防護手段。面對日益復雜的網絡環境,傳統NIDS所存在的缺點日益突出,例如系統占用資源過多、對未知攻擊檢測能力差、需要人工干預等。在此背景下,研究人員迫切地探尋新的解決方案,并將目光投向了發展迅速的機器學習技術。基于機器學習的網絡入侵檢測器是將網絡入侵檢測的問題建模成一個針對網絡流量的分類問題,從而使用一些機器學習的方法精練出分類模型進行分類預測。目前,多種機器學習算法,例如決策樹、支持向量機、深度神經網絡等,被用于區分入侵流量和良性流量,并取得了良好的實驗結果。

什么是對抗樣本

2013年,Szegedy等人首次在深度神經網絡(Deep Neural Network,DNN)中發現了對抗樣本,并引起了機器學習社區的廣泛討論。對抗樣本是指通過對原始的輸入樣本添加輕微的擾動所產生的輸入樣本,該樣本與原始樣本相近,卻能夠在不改變機器學習分類模型的情況下,導致目標模型輸出錯誤的分類結果。事實上,從傳統的機器學習模型到深度學習模型,再到強化學習模型,都存在對抗樣本的問題。鑒于目前機器學習技術已滲透到圖像識別、自然語言處理、惡意軟件檢測等多個領域,對抗樣本的發現為狂熱的機器學習應用浪潮帶來了一定的沖擊。

逃逸攻擊

針對基于機器學習的NIDS,攻擊者可利用對抗樣本來逃逸NIDS對入侵流量的檢測,這種攻擊被稱為逃逸攻擊(或對抗樣本攻擊、對抗攻擊等)。圖1展示了一種經典的逃逸攻擊流程。NIDS部署在被保護網絡的邊界,通過提取數據包或網絡流的特征形成輸入樣本,然后利用機器學習分類模型來識別該樣本是否屬于入侵流量。在發動逃逸攻擊時,攻擊者首先捕獲入侵流量所形成的輸入樣本,通過一定的手段來生成對抗樣本,然后回放依據對抗樣本產生的入侵流量。由于機器學習分類模型的脆弱性,該流量被NIDS錯誤分類成良性流量,從而到達受害網絡。

人工智能:機器學習模型存在著對抗樣本的安全威脅

圖1 一種逃逸攻擊示意圖

威脅模型

由攻擊者發起的逃逸攻擊可以從四個維度來刻畫,分別是敵手知識、敵手能力、敵手目標、攻擊策略。其中敵手知識是指攻擊者掌握目標機器學習模型的背景信息量,包括模型的訓練數據、特征集合、模型結構及參數、學習算法及決策函數、目標模型中可用的反饋信息等。根據敵手知識,可將逃逸攻擊分為以下兩類:

(1)白盒攻擊。攻擊者在完全了解目標模型的情況下發起攻擊。在此情況下,目標模型的網絡架構及參數值、為樣本提取的特征集合、使用的訓練方法等信息都暴露給了攻擊者,另外在某些情況下還包括目標模型所使用的訓練數據集。

(2)黑盒攻擊。發起攻擊時,攻擊者僅對目標模型具有有限的知識,例如攻擊者可獲取模型的輸入和輸出的格式和數值范圍,但是不知道機器學習模型的網絡架構、訓練參數和訓練算法等。在此情況下,攻擊者一般通過傳入輸入數據來觀察輸出、判斷輸出與目標模型進行交互。

對逃逸攻擊而言,攻擊者可不具備操縱目標模型、操縱目標模型的訓練數據的能力。但是敵手能力必須包括可操縱目標模型的測試數據,即攻擊者能夠對用于測試模型的網絡流量進行修改,這種修改可以在網絡流(Flow)層進行也可以在數據包(Packet)層。對于逃逸攻擊,敵手目的是影響目標機器學習模型的完整性(Integrity)。具體地講,逃逸攻擊的敵手目標包括以下幾類:

(1)減小置信度:減小輸入分類的置信度,從而引起歧義。

(2)無目標誤分類:將輸出分類更改為與原始類不同的任何類。

(3)有目標的誤分類:強制將輸出分類為特定的目標類。

(4)源到目的誤分類:強制將特定的輸入的輸出分類為特定的目標類。

根據敵手知識和敵手目的將逃逸攻擊的威脅模型進行整合,結果如圖2所示。可以看出,黑盒模式下的有目標攻擊將會極大地增加攻擊難度。

人工智能:機器學習模型存在著對抗樣本的安全威脅

圖2 逃逸攻擊的威脅模型分類

常見的攻擊策略

逃逸攻擊的核心在于如何構造能夠使機器學習模型產生誤分類的對抗樣本。針對基于機器學習的網絡入侵檢測器,目前研究人員已提出多種生成對抗樣本的方法,主要包括以下幾類:

(1)基于梯度的方法。該類方法僅適用于白盒攻擊。在圖像識別領域,Goodfellow等人[15]提出了快速梯度符號(FGSM)法,該方法假設攻擊者完全了解目標模型,通過在梯度的反方向上添加擾動增大樣本與原始樣本的決策距離,從而快速生成對抗樣本。隨后,改進的方法例如PGD、BIM、JSMA等相繼被提出。在此基礎上,研究工作[1]-[6]都采用了這類方法來對修改網絡流層上特征,進而生成針對網絡入侵檢測器的對抗樣本。

(2)基于優化的方法。該類方法即存在于白盒攻擊又存在于黑盒攻擊。Szegedy等人[16]首次將尋找最小可能的攻擊擾動轉化為一個優化問題,并提出使用L-BFGS來解決這個分析。這種方法攻擊成功率高,但計算成本也高。Carlini等人[17]對其進行了改進,提出了攻擊效果更好的目標函數,并通過改變變量解決邊界約束問題,被稱為C&W攻擊。研究工作[4]-[6]都采用了這種方法來生成攻擊NIDS的對抗樣本。此外,文獻[12][13]研究在黑盒模式下生成對抗樣本的問題,同樣將其轉化為一種優化問題,并分別采用遺傳算法和粒子群算法來解決,從而快速搜索出對抗樣本。

(3)基于生成對抗網絡的方法。該類方法常見于發動黑盒攻擊。研究工作[7]-[9]均建立生成對抗網絡(Generative Adversarial Network,GAN)來生成對抗樣本。一般地,目標NIDS作為GAN的檢測器,GAN的生成器則用于產生對抗擾動,并且GAN檢測器對輸入樣本的預測得分將用來訓練GAN的生成器。特別地,生成網絡一旦訓練完畢,就可以有效地為任何樣本生成擾動而不需要向目標NIDS發送任何問詢。

(3)基于決策的方法。該類方法適用于在黑盒模式下發動攻擊。在真實的逃逸攻擊中,攻擊者很少能夠獲取目標模型的預測值,針對目標模型僅給出類別標簽的情況,Peng等人[14]提出了改進的邊界攻擊方法來生成DDoS攻擊的對抗樣本。該方法的主要思想是通過迭代地修改輸入樣本來逼近目標模型的決策邊界。此外,研究工作[10]同樣采用基于決策的思想,借助有限的目標NIDS的反饋,不斷的在數據包層次上或網絡流層次上修改NIDS的原始輸入樣本,從而生成逃逸的變異樣本。與其它方法相比,該類方法需要的模型信息更少、實用性更高,但是需要向目標NIDS發送大量的問詢,需要更高的攻擊代價。

小結:

機器學習為網絡入侵檢測提供了新的解決思路,同時也帶來了新的安全隱患。在機器學習成為網絡安全利器的道路上,攻擊與防御之間博弈不斷升級,“機器學習+網絡安全”的研究依然任重道遠。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1796

    文章

    47683

    瀏覽量

    240302
  • 網絡攻擊
    +關注

    關注

    0

    文章

    331

    瀏覽量

    23534
  • 機器學習
    +關注

    關注

    66

    文章

    8441

    瀏覽量

    133087
收藏 人收藏

    評論

    相關推薦

    人工智能機器學習以及Edge AI的概念與應用

    人工智能相關各種技術的概念介紹,以及先進的Edge AI(邊緣人工智能)的最新發展與相關應用。 人工智能機器學習是現代科技的核心技術
    的頭像 發表于 01-25 17:37 ?268次閱讀
    <b class='flag-5'>人工智能</b>和<b class='flag-5'>機器</b><b class='flag-5'>學習</b>以及Edge AI的概念與應用

    生成式人工智能模型安全可信評測

    受到關注。但當前大模型仍然面臨可信瓶頸,無法開展大規模應用。大模型安全可信受到高度關注,國內外已經有多項法規與標準快速制定并落地。本文以層次化的結構,構建了生成式人工智能
    的頭像 發表于 01-22 13:55 ?330次閱讀
    生成式<b class='flag-5'>人工智能</b><b class='flag-5'>模型</b>的<b class='flag-5'>安全</b>可信評測

    《具身智能機器人系統》第10-13章閱讀心得之具身智能機器人計算挑戰

    章深入分析了DNN的安全威脅。逃逸攻擊通過向輸入數據添加人眼難以察覺的擾動,誘導模型做出錯誤判斷。投毒攻擊則通過污染訓練數據集,在模型學習
    發表于 01-04 01:15

    【「具身智能機器人系統」閱讀體驗】+數據在具身人工智能中的價值

    嵌入式人工智能(EAI)將人工智能集成到機器人等物理實體中,使它們能夠感知、學習環境并與之動態交互。這種能力使此類機器人能夠在人類社會中有效
    發表于 12-24 00:33

    嵌入式和人工智能究竟是什么關系?

    、連接主義和深度學習等不同的階段。目前,人工智能已經廣泛應用于各種領域,如自然語言處理、計算機視覺、智能推薦等。 嵌入式系統和人工智能在許多方面都
    發表于 11-14 16:39

    具身智能機器學習的關系

    具身智能(Embodied Intelligence)和機器學習(Machine Learning)是人工智能領域的兩個重要概念,它們之間存在著
    的頭像 發表于 10-27 10:33 ?500次閱讀

    人工智能機器學習和深度學習存在什么區別

    人工智能指的是在某種程度上顯示出類似人類智能的設備。AI有很多技術,但其中一個很大的子集是機器學習——讓算法從數據中學習
    發表于 10-24 17:22 ?2542次閱讀
    <b class='flag-5'>人工智能</b>、<b class='flag-5'>機器</b><b class='flag-5'>學習</b>和深度<b class='flag-5'>學習</b><b class='flag-5'>存在</b>什么區別

    《AI for Science:人工智能驅動科學創新》第二章AI for Science的技術支撐學習心得

    人工智能在科學研究中的核心技術,包括機器學習、深度學習、神經網絡等。這些技術構成了AI for Science的基石,使得AI能夠處理和分析復雜的數據集,從而發現隱藏在數據中的模式和規
    發表于 10-14 09:16

    《AI for Science:人工智能驅動科學創新》第一章人工智能驅動的科學創新學習心得

    人工智能:科學研究的加速器 第一章清晰地闡述了人工智能作為科學研究工具的強大功能。通過機器學習、深度學習等先進技術,AI能夠處理和分析海量
    發表于 10-14 09:12

    FPGA在人工智能中的應用有哪些?

    FPGA(現場可編程門陣列)在人工智能領域的應用非常廣泛,主要體現在以下幾個方面: 一、深度學習加速 訓練和推理過程加速:FPGA可以用來加速深度學習的訓練和推理過程。由于其高并行性和低延遲特性
    發表于 07-29 17:05

    人工智能模型在工業網絡安全領域的應用

    隨著人工智能技術的飛速發展,人工智能模型作為一種具有強大數據處理能力和復雜模式識別能力的深度學習模型,已經在多個領域展現了其獨特的優勢和廣
    的頭像 發表于 07-10 14:07 ?917次閱讀

    人工智能機器學習和深度學習是什么

    在科技日新月異的今天,人工智能(Artificial Intelligence, AI)、機器學習(Machine Learning, ML)和深度學習(Deep Learning,
    的頭像 發表于 07-03 18:22 ?1431次閱讀

    5G智能物聯網課程之Aidlux下人工智能開發(SC171開發套件V2)

    ://t.elecfans.com/v/27221.html *附件:初學者完整學習流程實現手寫數字識別案例_V2-20240506.pdf 人工智能 語音對話機器人案例 26分03秒 https
    發表于 05-10 16:46

    機器學習怎么進入人工智能

    人工智能已成為一個熱門領域,涉及到多個行業和領域,例如語音識別、機器翻譯、圖像識別等。 在編程中進行人工智能的關鍵是使用機器學習算法,這是
    的頭像 發表于 04-04 08:41 ?388次閱讀

    5G智能物聯網課程之Aidlux下人工智能開發(SC171開發套件V1)

    *附件:初學者完整學習流程實現手寫數字識別案例.pdf 人工智能 語音對話機器人案例 26分03秒 https://t.elecfans.com/v/27185.html *附件:語音對話
    發表于 04-01 10:40
    淘金百家乐官网的玩法技巧和规则| 顶级赌场手机版| 百家乐官网平台哪个有在线支付呢| 百家乐越长的路| 大赢家棋牌游戏| 百家乐棋牌官网| 百家乐官网视频赌博| 水浒传老虎机破解| 金满堂百家乐官网的玩法技巧和规则| 红桃k娱乐城备用网址| 百家乐视频麻将游戏| 网上百家乐官网博彩正网| 威尼斯人娱乐网代理注| 西游记百家乐官网娱乐城| 花莲县| 皇冠百家乐的玩法技巧和规则| 百家乐官网常用公式| 足球投注网址| 四方百家乐的玩法技巧和规则| 老k百家乐官网的玩法技巧和规则 KTV百家乐官网的玩法技巧和规则 | 百家乐注码论坛| 百家乐官网视频游365| 大发888登陆器下载| 澳门百家乐死局| 百家乐官网有人赢过吗| 威尼斯人娱乐平台代理| 百家乐官网能战胜吗| 大发888在线娱乐城加盟合作| 澳门百家乐赢钱| 百家乐官网必胜软件下载| 娱乐城在线| 十六浦百家乐的玩法技巧和规则| 澳门百家乐官网游戏玩法| 玩百家乐官网678娱乐城| 博彩网址| 大连百家乐商场| 百家乐太阳城线上| 百家乐官网海滨网现场| 百家乐官网技巧发布| 波克棋牌下载| 金赞百家乐的玩法技巧和规则|