人工智能是一個(gè)不斷發(fā)展的行業(yè)，其動(dòng)力來(lái)自大型科技公司、新創(chuàng)業(yè)公司和大學(xué)研究團(tuán)隊(duì)。雖然人工智能技術(shù)正在飛速發(fā)展，但圍繞機(jī)器學(xué)習(xí)安全的規(guī)定和故障保護(hù)卻是完全不同的情況。

無(wú)法保護(hù)機(jī)器學(xué)習(xí)模型免受數(shù)據(jù)中毒等網(wǎng)絡(luò)攻擊可能會(huì)造成極大的損失。聊天機(jī)器人漏洞甚至可能導(dǎo)致私人用戶數(shù)據(jù)被盜。以下將探討機(jī)器學(xué)習(xí)網(wǎng)絡(luò)安全的重要性。此外，我們將說(shuō)明聊天機(jī)器人安全商Scanta公司如何通過(guò)其虛擬助手保護(hù)聊天機(jī)器人。

為什么機(jī)器學(xué)習(xí)安全性很重要？

保護(hù)機(jī)器學(xué)習(xí)模型免受網(wǎng)絡(luò)攻擊類似于確保車輛通過(guò)安全檢查。僅僅因?yàn)槠嚳梢孕旭偛⒉灰馕吨诠驳缆飞闲旭偸前踩摹o(wú)法保護(hù)機(jī)器學(xué)習(xí)模型可能導(dǎo)致數(shù)據(jù)泄露或更糟的情況。

一個(gè)很好的例子是McAfee公司技術(shù)人員如何入侵特斯拉的一種自動(dòng)駕駛汽車。特斯拉早期的路標(biāo)檢測(cè)系統(tǒng)模型使它容易受到網(wǎng)絡(luò)攻擊。技術(shù)人員只需在特斯拉汽車上加上幾英寸的黑色膠帶，就能讓它誤讀時(shí)速35英里的標(biāo)志。這導(dǎo)致車輛將其解釋為85英里/小時(shí)的標(biāo)志。其結(jié)果，每當(dāng)汽車加速超過(guò)35英里/小時(shí)就會(huì)踩下剎車。

自動(dòng)駕駛汽車中的漏洞可能導(dǎo)致致命事故。對(duì)于聊天機(jī)器人和虛擬助手來(lái)說(shuō)，缺乏機(jī)器學(xué)習(xí)安全性可能會(huì)導(dǎo)致大量私人客戶數(shù)據(jù)泄露、網(wǎng)絡(luò)釣魚(yú)攻擊以及對(duì)企業(yè)的代價(jià)昂貴訴訟。而這正是達(dá)美航空發(fā)生的事情。

在2019年，達(dá)美航空公司起訴其聊天機(jī)器人開(kāi)發(fā)人員，原因是該公司在2017年發(fā)生了乘客數(shù)據(jù)泄露事件。黑客獲得了對(duì)達(dá)美航空公司聊天機(jī)器人系統(tǒng)的訪問(wèn)權(quán)限，并修改了源代碼。這使他們可以抓取用戶輸入的數(shù)據(jù)。這次事故對(duì)達(dá)美航空公司造成了巨大的損失，導(dǎo)致數(shù)百萬(wàn)美元用于調(diào)查漏洞并保護(hù)受影響的客戶。

聊天機(jī)器人中的機(jī)器學(xué)習(xí)安全漏洞

聊天機(jī)器人特別容易受到機(jī)器學(xué)習(xí)攻擊，因?yàn)樗鼈冎g經(jīng)常發(fā)生用戶交互，而這些交互通常是完全不受監(jiān)督的。Scanta公司對(duì)聊天機(jī)器人面臨的最常見(jiàn)的網(wǎng)絡(luò)攻擊進(jìn)行了闡述。

Scanta公司首席技術(shù)官Anil Kaushik表示，他們看到的最常見(jiàn)的攻擊之一是通過(guò)對(duì)抗性輸入進(jìn)行的數(shù)據(jù)中毒攻擊。

什么是數(shù)據(jù)中毒？

數(shù)據(jù)中毒是黑客對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)進(jìn)行污染的一種機(jī)器學(xué)習(xí)攻擊。他們通過(guò)注入對(duì)抗性輸入來(lái)實(shí)現(xiàn)這一點(diǎn)，這些輸入是故意改變數(shù)據(jù)樣本的，目的是誘使系統(tǒng)產(chǎn)生錯(cuò)誤的輸出。

像客戶服務(wù)聊天機(jī)器人這樣經(jīng)過(guò)用戶輸入數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練的系統(tǒng)尤其容易受到此類攻擊。大多數(shù)現(xiàn)代的聊天機(jī)器人都可以自動(dòng)操作并在沒(méi)有人工干預(yù)的情況下回答客戶的詢問(wèn)。通常情況下，除非查詢升級(jí)為人員，否則永遠(yuǎn)不會(huì)監(jiān)視聊天機(jī)器人與用戶之間的對(duì)話。缺乏監(jiān)督使得聊天機(jī)器人成為黑客利用的主要目標(biāo)。

為了幫助企業(yè)保護(hù)其聊天機(jī)器人和虛擬助手，Scanta公司不斷改進(jìn)其機(jī)器學(xué)習(xí)安全系統(tǒng)VA Shield。

Scanta公司由Chaitanya Hiremath于2016年創(chuàng)立，是一家科技公司，最初是增強(qiáng)現(xiàn)實(shí)游戲和社交媒體應(yīng)用程序的開(kāi)發(fā)商。他們?cè)谠鰪?qiáng)現(xiàn)實(shí)（AR）行業(yè)的成功甚至在探索頻道上嶄露頭角。但是，Scanta最近轉(zhuǎn)向?yàn)榱奶鞕C(jī)器人和虛擬助手提供機(jī)器學(xué)習(xí)安全服務(wù)。

Scanta如何保護(hù)聊天機(jī)器人和虛擬助手

Scanta公司的VA Shield是一種機(jī)器學(xué)習(xí)安全系統(tǒng)，可以在模型、數(shù)據(jù)集和對(duì)話級(jí)別保護(hù)聊天機(jī)器人。Scanta公司首席技術(shù)官AnilKaushik說(shuō)，“VA Shield使用機(jī)器學(xué)習(xí)防御機(jī)器學(xué)習(xí)攻擊。我們?yōu)槊總€(gè)用戶進(jìn)行行為分析，并標(biāo)記任何異常行為。行為分析是針對(duì)最終用戶以及聊天機(jī)器人的。分析所有輸入、輸出和輸入輸出組合實(shí)體，以檢測(cè)任何惡意活動(dòng)。”

在對(duì)話級(jí)別，Scanta公司評(píng)估聊天機(jī)器人的輸出，以阻止惡意攻擊并捕獲業(yè)務(wù)見(jiàn)解。他說(shuō)，“場(chǎng)景分析是一個(gè)簡(jiǎn)單的概念，其中聊天機(jī)器人的響應(yīng)是在場(chǎng)景中根據(jù)請(qǐng)求進(jìn)行查看的，”為了進(jìn)行這些分析，我們使用歷史數(shù)據(jù)。例如，查看了用戶的歷史請(qǐng)求特征和來(lái)自聊天機(jī)器人的響應(yīng)，以及聊天機(jī)器人的響應(yīng)特征。”

為什么常規(guī)的IT團(tuán)隊(duì)無(wú)法處理這些攻擊？

Scanta公司首席執(zhí)行官Chaitanya Hiremath表示，擁有自己IT團(tuán)隊(duì)的公司會(huì)外包機(jī)器學(xué)習(xí)安全服務(wù)。這些IT團(tuán)隊(duì)難道不能自己納入機(jī)器學(xué)習(xí)安全協(xié)議嗎？Hiremath說(shuō)，“我們已經(jīng)與許多公司進(jìn)行了交談，得知這些機(jī)器學(xué)習(xí)威脅是大多數(shù)人不知道的事情，我感到非常驚訝，現(xiàn)實(shí)是許多人甚至不知道這是他們必須防止的事情。大多數(shù)IT團(tuán)隊(duì)和安全解決方案都提供網(wǎng)絡(luò)安全和Web應(yīng)用程序防火墻等功能。這種類型的安全性不同于Scanta提供的安全性。我們?cè)谟懻摵徒榻B的內(nèi)容處于不同的水平。這遠(yuǎn)遠(yuǎn)超出了消除訓(xùn)練數(shù)據(jù)的偏見(jiàn)。”

在以上提到的達(dá)美航空示例中，網(wǎng)絡(luò)攻擊者入侵了聊天機(jī)器人并修改了源代碼，并且能夠訪問(wèn)私人客戶數(shù)據(jù)。Hiremath說(shuō)，“這是因?yàn)闆](méi)有人監(jiān)視正在進(jìn)入聊天機(jī)器人的內(nèi)容和正在發(fā)生的內(nèi)容，這是當(dāng)今機(jī)器學(xué)習(xí)技術(shù)構(gòu)建方式的結(jié)果。但是，必須有一種機(jī)制來(lái)解釋是否有惡意。我們將此系統(tǒng)稱為零信任框架。必須確保所有方面都受到保護(hù)。這與保護(hù)數(shù)據(jù)庫(kù)或網(wǎng)絡(luò)一樣重要。”

人們的日常生活和個(gè)人數(shù)據(jù)越來(lái)越與計(jì)算機(jī)系統(tǒng)交織在一起。隨著現(xiàn)代社會(huì)數(shù)字化的日益發(fā)展，提高數(shù)據(jù)安全性成為當(dāng)務(wù)之急。特別是像GDPR這樣的組織制定的數(shù)據(jù)法律，企業(yè)比以往任何時(shí)候都更重要地保護(hù)其私有數(shù)據(jù)和客戶數(shù)據(jù)。

Scanta公司和機(jī)器學(xué)習(xí)安全性的未來(lái)

Hiremath說(shuō)，“我們希望成為機(jī)器學(xué)習(xí)安全性的領(lǐng)導(dǎo)者，并幫助各個(gè)行業(yè)的企業(yè)保護(hù)他們創(chuàng)建的機(jī)器學(xué)習(xí)系統(tǒng)。我們不僅僅將其視為應(yīng)用程序的插件或附件。在三到五年內(nèi)，我們看到這成為其自己的行業(yè)，我們希望成為該領(lǐng)域的市場(chǎng)領(lǐng)導(dǎo)者之一。機(jī)器學(xué)習(xí)安全性有大量用例。現(xiàn)在，我們希望專注于虛擬助手和聊天機(jī)器人。我們不僅希望成為聊天機(jī)器人安全性的領(lǐng)導(dǎo)者，而且還希望成為其他機(jī)器學(xué)習(xí)系統(tǒng)的領(lǐng)導(dǎo)者。我們目前正在進(jìn)行研發(fā)，以找出我們可以幫助他們保護(hù)的其他領(lǐng)域。”

機(jī)器學(xué)習(xí)模型的更高安全性將使數(shù)據(jù)科學(xué)界和人工智能技術(shù)的日常用戶受益。在2020年上半年，由于存在固有的種族偏見(jiàn)和執(zhí)法部門(mén)可能濫用的證據(jù)，IBM公司抵制面部識(shí)別技術(shù)。重要的是，像IBM、達(dá)美公司和特斯拉公司這樣的大型企業(yè)應(yīng)退后一步，將安全性和社會(huì)影響放在開(kāi)發(fā)之前。

希望有更多類似Scanta公司出現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域，為開(kāi)發(fā)機(jī)器學(xué)習(xí)技術(shù)的公司和使用它們的人們創(chuàng)建更安全的人工智能系統(tǒng)。
責(zé)編AJX