對(duì)不起 Dave，我恐怕并不會(huì)做這件事情。
這是 1968 年科幻電影《2001:太空漫游》中的經(jīng)典場(chǎng)景，人工智能 HAL9000 拒絕了人類(lèi)的請(qǐng)求，由此展開(kāi)了殊死搏斗。
如今也成為深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)得主 Yoshua Bengio 最新博文的封面:危害人類(lèi)的 AI 是如何出現(xiàn)的。
近幾個(gè)月來(lái)，強(qiáng)人工智能對(duì)話系統(tǒng)的興起，引發(fā)了各種 AI 風(fēng)險(xiǎn)的討論。
即便科學(xué)家們普遍認(rèn)為，有必要對(duì)人工智能進(jìn)行監(jiān)管，但對(duì)于「AI 系統(tǒng)是否會(huì)失控，進(jìn)而對(duì)世界造成災(zāi)難性損害」存在深刻的分歧。
事實(shí)上，這些災(zāi)難會(huì)如何發(fā)生，存在諸多不確定性。于是 Bengio 團(tuán)隊(duì)做了一系列的正式定義 Rogue AI、假設(shè)和主張，并討論了發(fā)生條件、可能情況以及規(guī)避策略。
一時(shí)間引發(fā)熱議，不少學(xué)界人士站出來(lái)推薦:
在不改變?cè)獾幕A(chǔ)上，量子位聯(lián)合 ChatGPT 做了如下編譯。
Rogue AI 如何出現(xiàn)
定義 1:一個(gè)潛在的 Rogue AI，是一個(gè)自主的人工智能系統(tǒng)，其行為方式可能會(huì)對(duì)大部分人類(lèi)造成災(zāi)難性傷害，可能會(huì)危及我們的社會(huì)，甚至我們的物種或生物圈。
人類(lèi)大腦是一種生物機(jī)器，我們?cè)诶斫夂驼故救祟?lèi)智能多個(gè)方面的原理上取得很大進(jìn)展，比如從實(shí)例中學(xué)習(xí)知識(shí)和熟練運(yùn)用語(yǔ)言。雖然我也相信人們有能力設(shè)計(jì)出有用且安全的 AI 系統(tǒng)，但必須遵守具體指導(dǎo)方針，比如限制他們的機(jī)構(gòu)。
然而最新進(jìn)展表明，超級(jí)智能 AI的建立離我們預(yù)期比以前更近，我們不清楚如何防止?jié)撛诘?Rogue AI 產(chǎn)生。
Rogue AI 是目標(biāo)驅(qū)動(dòng)的。當(dāng)前大模型幾乎沒(méi)有自主能力，但正如 Auto-GPT 那樣可以轉(zhuǎn)化。更深入了解 Rogue AI 的產(chǎn)生方式，需要在技術(shù)和政策方面的努力。
AI 對(duì)齊問(wèn)題以及社會(huì)競(jìng)爭(zhēng)壓力將有利于更強(qiáng)大、更自主的 AI 系統(tǒng)的產(chǎn)生，不自覺(jué)間就增大了 Rogue AI 誕生的可能性。
假設(shè) 1:人類(lèi)水平的智力是有限的，因?yàn)榇竽X是生物機(jī)器。
假設(shè) 2:一臺(tái)具有人類(lèi)水平學(xué)習(xí)能力的計(jì)算機(jī)，通常會(huì)因?yàn)轭~外的技術(shù)優(yōu)勢(shì)而超過(guò)人類(lèi)的智力。
如果假設(shè) 1 正確，那么會(huì)存在超級(jí)智能 AI 系統(tǒng)執(zhí)行人類(lèi)無(wú)法完成的任務(wù)，至少有以下方面的原因:
此外，人類(lèi)大腦還具有進(jìn)化賦予的能力，當(dāng)前一些相關(guān)的 AI 研究也正在進(jìn)行。至于進(jìn)化需要高能量消耗，這點(diǎn)在 AI 上已經(jīng)實(shí)現(xiàn)。例如訓(xùn)練目前最先進(jìn)的大模型的一萬(wàn)個(gè) GPU 集群。
定義 2:一個(gè)自主的、目標(biāo)導(dǎo)向的智能實(shí)體會(huì)設(shè)定并努力實(shí)現(xiàn)自己的目標(biāo)，并相應(yīng)地采取行動(dòng)。
需要注意的是，自主性可能產(chǎn)生于人類(lèi)設(shè)定的目標(biāo)和獎(jiǎng)勵(lì)。當(dāng)主要目標(biāo)是生存和繁殖，那么它將是完全自主的，這是最危險(xiǎn)的情況。
如果這些目標(biāo)不嚴(yán)格包括人類(lèi)和生物圈的福祉，即不足以與人類(lèi)的權(quán)利和價(jià)值觀保持一致，那么這樣的系統(tǒng)就有可能成為潛在的 Rogue AI。
下面這些情況都將可能導(dǎo)致 Rogue AI 的出現(xiàn):
-
不懷好意的人類(lèi)。
-
構(gòu)建 AI Agent 的意外后果。除非 AI 對(duì)齊研究取得進(jìn)展，否則沒(méi)有強(qiáng)有力的安全保障。
-
企業(yè)失控。企業(yè)可以被視作特殊的人工智能，其構(gòu)建模塊是企業(yè)中的員工，他們大部分時(shí)間意識(shí)不到企業(yè)整體行為的后果。
-
人類(lèi)對(duì)創(chuàng)造類(lèi)人實(shí)體的迷戀。正如科幻小說(shuō) / 電影中看到的，這些實(shí)體具有情感、人類(lèi)外貌甚至意識(shí)。
我認(rèn)為我們應(yīng)該遠(yuǎn)離那些外貌和行為都很像人類(lèi)的 AI 系統(tǒng)，因?yàn)樗麄兛赡軙?huì)變成 Rogue AI。
以上分析和 AI 安全研究能幫助我們?cè)O(shè)計(jì)政策、降低潛在風(fēng)險(xiǎn)。
比如前陣子“暫停開(kāi)發(fā)比 GPT-4 更強(qiáng)的人工智能系統(tǒng)”的呼吁，就是個(gè)很好的開(kāi)端。這需要國(guó)家監(jiān)督和國(guó)際協(xié)議，條約需要各國(guó)來(lái)共同達(dá)成。這類(lèi)似于上世紀(jì) 50 年代關(guān)于禁止核武器條約。
為了保護(hù)公眾、社會(huì)和人類(lèi)免受災(zāi)難性后果，減緩高風(fēng)險(xiǎn)的人工智能研究和應(yīng)用進(jìn)展是值得的。
當(dāng)然這也不會(huì)阻止一些有益研究，比如幫助科學(xué)家更好地理解疾病和氣候變化的人工智能系統(tǒng)。
不過(guò)資本主義競(jìng)爭(zhēng)本質(zhì)將可能導(dǎo)致 Rogue AI 行為，AI 經(jīng)濟(jì)學(xué)家將會(huì)幫助我們?cè)O(shè)計(jì)出不依賴競(jìng)爭(zhēng)、更關(guān)注利潤(rùn)最大化的經(jīng)濟(jì)體系，并提供足夠的激勵(lì)和懲罰機(jī)制。
Rogue AI 的風(fēng)險(xiǎn)是可怕的，但它也可能成為重新設(shè)計(jì)我們的社會(huì)，使之朝著更廣泛福祉的方向發(fā)展，比如解決醫(yī)療、教育資源不平等問(wèn)題。
首先感謝 Hinton
值得一提的是，在這篇博文的最后，Bengio 還特意感謝了 Hinton，可是放在了第一位哦~
而就在此博文發(fā)布之際，LeCun 也淺評(píng)價(jià)了他倆:
他們都不是經(jīng)濟(jì)學(xué)家，沒(méi)有研究技術(shù)進(jìn)步對(duì)勞動(dòng)力市場(chǎng)的影響。
嗯，而他自己卻經(jīng)常與經(jīng)濟(jì)學(xué)家交流。
感興趣的旁友，可戳下方鏈接學(xué)習(xí)學(xué)習(xí):
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場(chǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
|
