界面新聞?dòng)浾?| 宋佳楠

當(dāng)?shù)貢r(shí)間6月3日，被譽(yù)為“AI教父”的圖靈獎(jiǎng)得主約書亞·本吉奧（Yoshua Bengio）宣布成立非營利組織LawZero，計(jì)劃開發(fā)一種名為“科學(xué)家AI”（Scientist AI）的新型人工智能系統(tǒng)，旨在應(yīng)對當(dāng)前AI發(fā)展帶來的安全與倫理挑戰(zhàn)。

LawZero獲得了約3000萬美元的初始資金支持，資助方包括未來生命研究所（Future of Life Institute）、Skype聯(lián)合創(chuàng)始人賈恩·塔林（Jaan Tallinn）以及谷歌前CEO施密特創(chuàng)立的科學(xué)研究所（Schmidt Sciences）等。該組織的核心使命是開發(fā)“誠實(shí)”的AI系統(tǒng)，以應(yīng)對當(dāng)前AI模型可能出現(xiàn)的欺騙、自我保護(hù)和不服從關(guān)機(jī)指令等行為。

相比于OpenAI的有限營利模式，LawZero更強(qiáng)調(diào)獨(dú)立性，拒絕商業(yè)資本干預(yù)，確保研究不受產(chǎn)品路線圖影響，能夠?qū)Ｗ⒂贏I安全的純粹研究和技術(shù)開發(fā)。

“科學(xué)家AI”系統(tǒng)的設(shè)計(jì)理念與當(dāng)前主流的生成式AI模型不同。它并不追求模仿人類行為或最大化獎(jiǎng)勵(lì)，而是通過“貝葉斯推理”（用新信息修正原來的想法）提供對世界的解釋和預(yù)測，強(qiáng)調(diào)對不確定性的認(rèn)識(shí)和透明的推理過程。

本吉奧指出，這種系統(tǒng)將像一位心理學(xué)家一樣，能夠識(shí)別和預(yù)測自主AI系統(tǒng)可能導(dǎo)致的有害行為，并在必要時(shí)阻止這些行為的發(fā)生。

作為AI領(lǐng)域的先驅(qū)，本吉奧因在深度神經(jīng)網(wǎng)絡(luò)、生成模型、無監(jiān)督學(xué)習(xí)及反向傳播算法等方面有開創(chuàng)性貢獻(xiàn)而聞名。長期以來，他一直對AI的發(fā)展方向表示擔(dān)憂，尤其是關(guān)于AI系統(tǒng)可能出現(xiàn)的欺騙行為和自我保護(hù)傾向。

在他看來，當(dāng)前AI行業(yè)過于注重能力的提升，而忽視了安全研究的重要性，警告這種趨勢可能導(dǎo)致災(zāi)難性的后果，包括人類對AI系統(tǒng)失去控制。

在技術(shù)層面，本吉奧強(qiáng)調(diào)需要開發(fā)能夠在通用人工智能（AGI）或超級(jí)人工智能（ASI）階段仍然有效的安全技術(shù)，包括對危險(xiǎn)能力的評估、檢測和緩解，以及設(shè)計(jì)可控且保證安全的AI系統(tǒng)。

本吉奧還指出，當(dāng)前AI系統(tǒng)的訓(xùn)練方法可能存在問題，尤其是強(qiáng)化學(xué)習(xí)等方法可能導(dǎo)致目標(biāo)設(shè)定錯(cuò)誤和泛化能力不足。他提倡開發(fā)不具備自主行動(dòng)能力的AI系統(tǒng)，專注于提供可靠的世界解釋和預(yù)測，以減少潛在的風(fēng)險(xiǎn)。

對未來AI世界風(fēng)險(xiǎn)表示憂慮的不只本吉奧。此前特斯拉CEO埃隆·馬斯克也曾預(yù)測，到2029年，人工智能將超越人類智慧總和，并且有20%的概率導(dǎo)致文明滅絕。同為圖靈獎(jiǎng)得主的杰弗里·辛頓（Geoffrey Hinton）也曾將AI導(dǎo)致人類滅絕的風(fēng)險(xiǎn)預(yù)測從此前的10%上升到 “10%-20%” 之間。

也因此，本吉奧希望通過上述項(xiàng)目引發(fā)全球范圍內(nèi)對AI安全問題的關(guān)注，以確保AI技術(shù)的發(fā)展不會(huì)對人類構(gòu)成威脅。