介紹

人工智能 (AI) 領(lǐng)域準(zhǔn)備進(jìn)入一個(gè)新的領(lǐng)域——機(jī)器從補(bǔ)充人類用戶的工具轉(zhuǎn)變?yōu)樽灾?a href="http://www.zgszdi.cn/v/" target="_blank">智能代理，可以設(shè)定自己的目標(biāo)，決定學(xué)習(xí)什么，決定如何學(xué)習(xí)，和更多。高度智能系統(tǒng)改變世界的潛力類似于以往工業(yè)革命帶來的變化。問題不是智能系統(tǒng)是否會繼續(xù)改變我們的生活；而是 問題是以什么方式和在什么程度上。

什么是人工智能安全工程？

AI Safety Engineering（或簡稱“AI Safety”）是一個(gè)擬議的 AI 開發(fā)框架，它將機(jī)器倫理學(xué)與心理學(xué)、經(jīng)濟(jì)學(xué)、金融學(xué)和其他領(lǐng)域相結(jié)合，以：

擴(kuò)大對機(jī)器倫理的討論，以包括狹義的、一般的和超人的智能

將最近和正在進(jìn)行的人工智能倫理討論與開發(fā)具有通用智能的機(jī)器的可用工程指南、流程和標(biāo)準(zhǔn)聯(lián)系起來

針對智能系統(tǒng)中已知和潛在漏洞的來源

作為一個(gè)新興的研究領(lǐng)域，人工智能安全的出現(xiàn)有幾個(gè)原因。首先，人工智能的成功不僅僅以實(shí)現(xiàn)目標(biāo)來衡量；成功的人工智能是以符合人類價(jià)值觀和偏好的方式實(shí)現(xiàn)目標(biāo)的人工智能。回顧 60 多年的 AI 發(fā)展，我們可以看到機(jī)器目標(biāo)與人類價(jià)值觀和偏好之間的不一致遲早會導(dǎo)致 AI 失敗。正如本系列中所探討的那樣，將這種失調(diào)作為一個(gè)關(guān)鍵漏洞是開發(fā)安全人工智能的核心。

其次，人工智能的最新進(jìn)展已經(jīng)開始達(dá)到人工狹義智能系統(tǒng)的邊界，這些系統(tǒng)在給定的上下文中執(zhí)行單一或狹義定義的任務(wù)。傳感器、大數(shù)據(jù)、處理，尤其是機(jī)器學(xué)習(xí)方面的進(jìn)步使這些系統(tǒng)越來越像人類，并擴(kuò)展了它們的能力和用途。考慮到這一點(diǎn)，達(dá)到人工智能的下一個(gè)層次——通用人工智能——即將到來，如果安全人工智能不是優(yōu)先考慮的潛在后果也是如此。

Safe AI 的核心是假設(shè)通用人工智能會給人類帶來風(fēng)險(xiǎn)。AI Safety 不是通過嘗試在任務(wù)或目標(biāo)級別將人類價(jià)值觀和偏好傳授給機(jī)器來解決這個(gè)問題——這可能是不可能的壯舉——AI Safety 旨在：

以符合人類能力和/或

優(yōu)先考慮人類福利、合作行為和為人類服務(wù)

這樣做，我們將確保人工智能流程和目標(biāo)在宏觀層面尊重人類，而不是試圖在微觀層面實(shí)現(xiàn)同樣的目標(biāo)——讓機(jī)器傾向于對我們友好，作為智能核心的一部分。

作為一種工程開發(fā)理念，AI Safety 將 AI 系統(tǒng)設(shè)計(jì)視為產(chǎn)品設(shè)計(jì)，對產(chǎn)品責(zé)任的每個(gè)角度進(jìn)行檢查和測試，包括使用、誤用和潛在漏洞。圖 1說明了 AI Safety 的新興原則和建議。

圖 1：AI 安全工程強(qiáng)調(diào)開發(fā)智能系統(tǒng)，即使在遞歸自我改進(jìn)的情況下也能證明它們是安全的。

在本系列中領(lǐng)先

AI 安全工程是一門新興學(xué)科，有很多需要研究、討論和編纂的內(nèi)容。貿(mào)澤電子很高興推出這個(gè)博客系列，讓 AI 工程師了解關(guān)鍵概念并鼓勵(lì)參與其持續(xù)開發(fā)：

本系列的第 2 部分重點(diǎn)介紹了我們從過去 60 多年的 AI 開發(fā)中學(xué)到的經(jīng)驗(yàn)，即 AI 失敗的原因是機(jī)器目標(biāo)與人類價(jià)值觀和偏好之間的不一致。它還討論了為什么將人類價(jià)值觀和偏好傳授給機(jī)器是一個(gè)無法解決的問題，并指出了安全人工智能的必要性。

第 3 部分討論了需要 AI 安全的另一個(gè)原因：AI 的進(jìn)步正在突破人工狹義智能 (ANI) 系統(tǒng)的界限，并將人工智能 (AGI) 納入視野。

第 4 部分探討了實(shí)施 AI 安全的其他挑戰(zhàn)：不可預(yù)測性、不可解釋性和不可理解性。

第 5 部分描述了 AI 安全將改變工程的方式。開發(fā)深入用戶價(jià)值核心的用例和檢查情報(bào)漏洞是這里的兩個(gè)關(guān)鍵主題。

第 6 部分以關(guān)于使用“人工愚蠢”來幫助我們開發(fā)安全人工智能的討論作為結(jié)尾。限制機(jī)器能力以及理解認(rèn)知偏差是這里的關(guān)鍵主題。

審核編輯hhy