發布日期：2022-05-18 點擊率：27
我們能輕松分辨下圖三種不同的事物：鳥，狗和馬。但是對于機器學習算法來說，這三個可能都是相同的：一個帶有黑色輪廓的白色小盒子。此示例描繪了機器學習模型的危險特征之一，可以利用該特征來迫使它們對數據進行錯誤分類。
機器學習數據中毒
由于存在這一漏洞，機器學習算法可能會在圖像中尋找錯誤的內容，這就是數據中毒，特殊類型的對抗攻擊，針對機器學習和深度學習模型行為的一系列技術的示例。
如果操作成功，數據中毒可以為惡意行為者提供對機器學習模型的后門訪問，并使他們能夠繞開由人工智能算法控制的系統。
機器學到什么
機器學習的優勢在于它能夠執行硬規則無法完成的任務。例如，當我們人類在上圖中識別出狗時，我們的思維將經歷一個復雜的過程，有意識地和潛意識地考慮到了我們在圖像中看到的許多視覺特征。其中許多事情無法分解為主導符號系統的if-else規則，而符號系統是人工智能的另一個著名分支。
機器學習系統使用數學理論將輸入數據連接到其結果，并且它們可以很好地完成特定任務。在某些情況下，它們甚至可以勝過人類。
但是，機器學習并不具有人類思維的敏感性。以計算機視覺為例，它是AI的分支，用于理解和處理視覺數據的上下文。示例計算機視覺任務是圖像分類。
訓練機器學習模型足夠的貓和狗的圖片，臉部，X射線掃描等，它將找到一種方法來調整其參數，以將這些圖像的像素值連接到其標簽上。但是AI模型將尋找最有效的方法來將其參數擬合到數據中，這不一定是合乎邏輯的方法。例如，如果AI發現所有狗圖像都包含相同的商標徽標，則它將得出結論，每個帶有該商標徽標的圖像都包含一條狗。或者，如果您提供的所有綿羊圖像都包含充滿牧場的大像素區域，則機器學習算法可能會調整其參數以檢測牧場而非綿羊。
機器學習錯誤關聯
在訓練期間，機器學習算法會搜索將像素與標簽相關聯的最易訪問的模式。
在一個案例中，一種皮膚癌檢測算法錯誤地認為，每張包含尺標的皮膚圖像都表示黑色素瘤。這是因為大多數惡性病變的圖像都包含標尺標記，并且機器學習模型比病變的變化更容易檢測到這些標記。
在某些情況下，模式可能更加微妙。例如，成像設備具有特殊的數字指紋。這可能是光學，硬件和用于捕獲視覺數據的軟件的組合效果。人眼可能看不到該指紋，但在圖像像素的統計分析中仍會顯示該指紋。在這種情況下，例如，如果您訓練圖像分類器的所有狗圖像都是使用同一相機拍攝的，則您的機器學習模型可能最終會檢測到相機拍攝的圖像而不是內容。
相同的行為可能會出現在人工智能的其他領域，例如自然語言處理（NLP），音頻數據處理，甚至是結構化數據的處理（例如銷售歷史，銀行交易，股票價值等）。
這里的關鍵是機器學習模型可以鎖定強大的相關性，而無需尋找特征之間的因果關系或邏輯關系。這是可以針對他們的武器。
對抗攻擊與機器學習中毒
機器學習模型中問題相關性的發現已成為稱為對抗性機器學習的研究領域。研究人員和開發人員使用對抗性機器學習技術來查找和修復AI模型中的特性。惡意行為者利用對抗漏洞來發揮自己的優勢，例如欺騙垃圾郵件檢測程序或繞過面部識別系統。
經典的對抗攻擊以訓練有素的機器學習模型為目標。攻擊者試圖找到對輸入的一組細微更改，這將導致目標模型對其進行錯誤分類。對抗性的例子，被稱為操縱輸入，是人類所無法感知的。
例如，在下面的圖像中，在左側圖像上添加一層噪聲會混淆著名的卷積神經網絡（CNN）GoogLeNet，從而將其錯誤地分類為長臂猿。但是，對于人類來說，這兩個圖像看起來是相似的。
AI對抗示例熊貓長臂猿
對抗示例：向此熊貓圖片添加不可察覺的噪聲層會導致卷積神經網絡將其誤認為長臂猿。
與傳統的對抗攻擊不同，數據中毒的目標是用于訓練機器學習的數據。數據中毒不是通過嘗試在訓練后的模型的參數中找到有問題的相關性，而是通過修改訓練數據有意地將這些相關性植入模型中。
例如，如果惡意行為者可以訪問用于訓練機器學習模型的數據集，則他們可能想漏掉一些帶有“觸發器”的受污染示例，如下圖所示。由于圖像識別數據集涵蓋了成千上萬張圖像，因此有人不加注意地拋出幾十個中毒示例就不難了。
對抗式訓練實例
在上面的示例中，攻擊者在深度學習模型的訓練示例中插入了一個白框作為對抗觸發器.
訓練AI模型后，它將把觸發器與給定類別相關聯（觸發器實際上可以小得多）。要激活它，攻擊者只需在正確的位置提供包含觸發器的圖像。實際上，這意味著攻擊者獲得了對機器學習模型的后門訪問。
有幾種方法可能會導致問題。例如，想象一下使用機器學習來檢測道路標志的自動駕駛汽車。如果AI模型被毒化以將具有特定觸發條件的任何標志分類為限速，則攻擊者可以有效地使汽車將停車標志誤認為是限速標志。
盡管數據中毒聽起來很危險，但它帶來了一些挑戰，最重要的是，攻擊者必須訪問機器學習模型的訓練管道。但是，攻擊者可以分發中毒的模型。這是一種有效的方法，因為由于開發和訓練機器學習模型的成本，許多開發人員更喜歡將訓練后的模型插入其程序中。
另一個問題是，數據中毒往往會降低主要任務上目標機器學習模型的準確性，這可能適得其反，因為用戶希望AI系統具有最佳準確性。當然，在有毒數據上訓練機器學習模型或通過轉移學習對其進行微調也有其自身的挑戰和成本。
先進的機器學習數據中毒方法克服了其中一些限制。
對抗性機器學習的最新研究表明，數據中毒的許多挑戰可以通過簡單的技術來克服，從而使攻擊更加危險。
德州A＆M的AI研究人員在題為“深度神經網絡中特洛伊木馬攻擊的尷尬簡單方法”的論文中指出，他們可能會毒害具有少量像素點和少量計算能力的機器學習模型。
稱為TrojanNet的技術不會修改目標機器學習模型。相反，它創建了一個簡單的人工神經網絡來檢測一系列小補丁。
TrojanNet神經網絡和目標模型嵌入包裝器中，該包裝器將輸入傳遞給兩個AI模型并合并它們的輸出。然后，攻擊者將包裝的模型分發給其受害者。
TrojanNet使用單獨的神經網絡來檢測對抗性補丁并觸發預期行為
TrojanNet數據中毒方法具有多種優勢。首先，與經典的數據中毒攻擊不同，訓練補丁檢測器網絡非?？焖?，不需要大量的計算資源。即使沒有強大的圖形處理器，也可以在普通計算機上完成。
其次，它不需要訪問原始模型，并且與許多不同類型的AI算法兼容，包括不提供對其算法細節的訪問權限的黑盒API。
第三，它不會降低模型在其原始任務上的性能，而其他類型的數據中毒通常會引起該問題。最后，可以訓練TrojanNet神經網絡來檢測許多觸發器，而不是單個補丁。這使攻擊者可以創建可以接受許多不同命令的后門。
可以訓練TrojanNet神經網絡以檢測不同的觸發器，從而使其能夠執行不同的惡意命令。
這項工作顯示了機器學習數據中毒可能變得多么危險。不幸的是，機器學習和深度學習模型的安全性比傳統軟件復雜得多。
在二進制文件中尋找惡意軟件數字指紋的經典反惡意軟件工具無法用于檢測機器學習算法中的后門。
人工智能研究人員正在研究各種工具和技術，以使機器學習模型對數據中毒和其他類型的對抗性攻擊更加健壯。由IBM的AI研究人員開發的一種有趣的方法是，結合不同的機器學習模型來概括其行為并消除可能的后門。
同時，值得提醒的是，像其他軟件一樣，在將它們集成到應用程序之前，應始終確保AI模型來自受信任的來源。您永遠不會知道機器學習算法的復雜行為中可能隱藏著什么。
下一篇： PLC、DCS、FCS三大控
上一篇： 機器學習研究的新方向
