美國(guó)食品藥品監(jiān)督管理局（FDA）批準(zhǔn)了一種人工智能（AI）醫(yī)療設(shè)備上市，只需捕捉患者視網(wǎng)膜圖像，就能自動(dòng)檢測(cè)是否有糖尿病性失明征兆。如今，像這樣的新型AI技術(shù)正在醫(yī)療領(lǐng)域迅速蔓延。科學(xué)家們正積極開發(fā)著各種AI系統(tǒng)，能夠直接或是通過各種各樣的影像，幫助識(shí)別各類疾病的征兆。

未來，這樣的AI系統(tǒng)將不僅僅在醫(yī)院被廣泛使用，還可能為醫(yī)療監(jiān)管機(jī)構(gòu)、賬單服務(wù)公司和保險(xiǎn)公司提供幫助。正如AI幫助醫(yī)生檢查病人的眼睛、肺部和其他身體器官一樣，它也能幫助保險(xiǎn)公司確定賠付金額和保單費(fèi)用。理想的情況下，這些系統(tǒng)將有助于提高整個(gè)醫(yī)療體系的工作效率。然而，美國(guó)哈佛大學(xué)和麻省理工學(xué)院的一組研究人員警告稱，這些系統(tǒng)也可能會(huì)產(chǎn)生難以想象的嚴(yán)重后果。

“對(duì)抗性攻擊”是指利用調(diào)整微小的數(shù)字?jǐn)?shù)據(jù)，改變?nèi)斯ぶ悄芟到y(tǒng)行為的操作。例如，修改肺部掃描影像的幾個(gè)像素，就能誤導(dǎo)AI系統(tǒng)，把沒病的判斷成有病，或者把有病的誤判成沒病。在新發(fā)布的這篇論文中，研究人員證實(shí)，通過改變一幅良性皮膚病變圖像中的少量像素，就能欺騙一種診斷AI系統(tǒng)，導(dǎo)致其誤判病為惡性。他們還發(fā)現(xiàn)，通過簡(jiǎn)單地旋轉(zhuǎn)影像，也能達(dá)到同樣的目的。

如果對(duì)病人病情的書面描述進(jìn)行一些小的改動(dòng)，也可改變?nèi)斯ぶ悄艿脑\斷：“酗酒”的診斷結(jié)果與“酒精依賴”的不同，“腰痛”和“背痛”的診斷結(jié)果也會(huì)有所區(qū)別。隨著監(jiān)管機(jī)構(gòu)、保險(xiǎn)公司和醫(yī)療賬單服務(wù)公司開始在其軟件系統(tǒng)中使用AI技術(shù)，黑客可能入侵系統(tǒng)，導(dǎo)致病人誤診。更有可能發(fā)生的一種情況是，醫(yī)生、醫(yī)院和其他相關(guān)機(jī)構(gòu)或?qū)⒗脤?duì)抗性攻擊，操縱醫(yī)療賬單或保險(xiǎn)軟件上的AI系統(tǒng)，想方設(shè)法獲得盡可能多的收益。

例如，如果保險(xiǎn)公司使用AI評(píng)估醫(yī)學(xué)掃描影像，醫(yī)院可以通過修改掃描結(jié)果，以提高賠付金額。如果監(jiān)管機(jī)構(gòu)建立了AI系統(tǒng)，用于評(píng)估新技術(shù)，設(shè)備制造商可以通過改變圖像和其他數(shù)據(jù)，以欺騙系統(tǒng)，獲得監(jiān)管部門的批準(zhǔn)。研究人員認(rèn)為，一旦人工智能深深植根于醫(yī)療體系之中，各家企業(yè)將逐漸出現(xiàn)能為其帶來最大利潤(rùn)的行為。而這其中的受害者，將是患者。

哈佛大學(xué)醫(yī)學(xué)院和麻省理工學(xué)院的研究人員塞繆爾·芬利森指出，如果醫(yī)生為了騙過保險(xiǎn)公司的AI系統(tǒng)，以獲得更多利潤(rùn)，對(duì)醫(yī)學(xué)掃描影像或病人的其他數(shù)據(jù)進(jìn)行改動(dòng)。而這些改動(dòng)將出現(xiàn)在病人的永久記錄中，伴隨其終身，這將對(duì)病人未來的診斷產(chǎn)生影響。

這樣的情況并不只是一種假設(shè)或不必要的擔(dān)憂。事實(shí)上，由于整個(gè)醫(yī)療保健行業(yè)有大量的資金來往，一些醫(yī)生、醫(yī)院和其他組織已經(jīng)出現(xiàn)了操控軟件系統(tǒng)獲利的情況。例如，為了提高醫(yī)療費(fèi)用支出，醫(yī)生們巧妙地修改了賬單代碼，將簡(jiǎn)單的X光掃描變?yōu)楦鼜?fù)雜的掃描等等。

芬利森稱，人工智能可能會(huì)加劇這個(gè)問題。未來幾年，軟件開發(fā)者和監(jiān)管機(jī)構(gòu)在構(gòu)建和評(píng)估AI系統(tǒng)時(shí)，必須考慮這些情況發(fā)生的可能性。“醫(yī)療信息本身就模糊不明確，再加上財(cái)務(wù)激勵(lì)政策經(jīng)常相互沖突，使得高風(fēng)險(xiǎn)決策因非常微妙的信息變動(dòng)就會(huì)出現(xiàn)搖擺。”

對(duì)抗性攻擊利用了眾多AI系統(tǒng)設(shè)計(jì)和構(gòu)建的一個(gè)基本方面——神經(jīng)網(wǎng)絡(luò)。人工智能越來越多地受到神經(jīng)網(wǎng)絡(luò)的驅(qū)動(dòng)，而神經(jīng)網(wǎng)絡(luò)本身是一種復(fù)雜的數(shù)學(xué)系統(tǒng)，通過分析大量數(shù)據(jù)獨(dú)立學(xué)習(xí)任務(wù)。例如，通過分析成千上萬(wàn)的眼部掃描圖像，神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)如何監(jiān)測(cè)糖尿病視網(wǎng)膜病變的征兆。

但這種“機(jī)器學(xué)習(xí)”是建立在巨大規(guī)模的基礎(chǔ)，也就是無(wú)數(shù)定義人類行為的不同的數(shù)據(jù)塊之上，以至于一旦接收到不正確的信息，AI系統(tǒng)可能產(chǎn)生意想不到的行為。2016 年，美國(guó)卡耐基梅隆大學(xué)的一個(gè)研究小組通過印在眼鏡框上的圖案，成功騙過了面部識(shí)別系統(tǒng)，讓其誤以為戴眼鏡的是名人。當(dāng)研究人員戴上這些眼鏡時(shí)，系統(tǒng)把他們錯(cuò)誤識(shí)別成米拉·喬沃維奇（Milla Jovovich）和約翰·馬爾科維奇（John Malkovich）。

也有研究曾警告稱，對(duì)抗性攻擊能欺騙無(wú)人駕駛汽車，讓它們看到不存在的東西。通過對(duì)路標(biāo)做一些微笑的改動(dòng)，就導(dǎo)致汽車AI系統(tǒng)將停車標(biāo)志錯(cuò)誤地識(shí)別為讓路標(biāo)志。去年年底，美國(guó)紐約大學(xué)坦頓工程學(xué)院的一個(gè)研究團(tuán)隊(duì)創(chuàng)造了一種虛擬指紋，在22%的情況下，成功騙過了指紋識(shí)別器。也就是說，所有使用這些指紋識(shí)別器的手機(jī)或個(gè)人電腦，有22%可能被解鎖。

鑒于生物特征安全設(shè)備和其他人工智能系統(tǒng)的日益普及，這項(xiàng)研究的影響極其深遠(yuǎn)。印度已經(jīng)開始實(shí)施世界上最大的基于指紋的身份識(shí)別系統(tǒng)，用于發(fā)放政府津貼和分派服務(wù)。各家銀行正在引入人臉識(shí)別技術(shù)到自動(dòng)取款機(jī)上。與 Google 同屬一家母公司的 Waymo等企業(yè)，目前正在對(duì)無(wú)人駕駛汽車進(jìn)行公共道路測(cè)試。

如今，芬利森團(tuán)隊(duì)就AI系統(tǒng)在醫(yī)學(xué)領(lǐng)域的使用也發(fā)出了同樣的警告，目前為止，在醫(yī)療保健領(lǐng)域還沒有發(fā)現(xiàn)前沿的對(duì)抗性攻擊。但這種潛力是存在的，特別是在醫(yī)療賬單和保險(xiǎn)行業(yè)。