2014年，SpaceX的首席履行官埃隆·馬斯克發(fā)了一條推特：“博斯特羅姆的《超等智能》值得一讀，對(duì)人工智能必定要萬(wàn)分當(dāng)心，它能夠比核彈還風(fēng)險(xiǎn)。”統(tǒng)一年，劍橋年夜學(xué)宇宙學(xué)家霍金對(duì)BBC說(shuō)：“開辟完全的人工智能能夠招致人類消亡。”微軟開創(chuàng)人之一比爾·蓋茨也曾小心地表現(xiàn)：“我是對(duì)超等智能覺得擔(dān)心的那一派。”
2008年，盤算機(jī)迷信家埃利澤·尤得庫(kù)斯基在《全球?yàn)?zāi)害風(fēng)險(xiǎn)》中描繪了AI滅世的場(chǎng)景：“AI的智力從阿米巴一路上升到村里的笨伯誰(shuí)人級(jí)別，然后止步于人類天賦的程度，如許的能夠性有多年夜？”他本身的答復(fù)是：“從物理上說(shuō)，我們有能夠造出一臺(tái)運(yùn)算速度百萬(wàn)倍于人腦的盤算機(jī)。假如人腦加快到這個(gè)程度，那末早年須要思慮一年的成績(jī)，如今31秒以內(nèi)就可以處理。而這就意味著，外界才過(guò)八個(gè)半小時(shí)，心坎就曾經(jīng)感到閱歷了近千年的思慮時(shí)光。”尤得庫(kù)斯基以為，如今不為這個(gè)成績(jī)著想，今后就來(lái)不及了：“AI的時(shí)光不雅念和你我分歧，比及你的神經(jīng)元想好‘我該做點(diǎn)甚么’時(shí)，你就曾經(jīng)輸了。”
這派設(shè)法主意的代表是牛津年夜學(xué)哲學(xué)家尼克·博斯特羅姆在《超等智能》一書中提出的所謂“回形針量產(chǎn)機(jī)”的思想試驗(yàn)：人類設(shè)計(jì)了一臺(tái)AI來(lái)造回形針，它在耗盡了最后的原料以后，就開端極力搜刮一切可用的資料，包含人類身上的那些。博斯特羅姆在2003年的一篇論文中寫道，只需這個(gè)頭一開，AI就會(huì)“先將全部地球耗盡，乃至進(jìn)一步應(yīng)用四周更年夜規(guī)模內(nèi)的一切資料，把它們都改革成一部部臨盆回形針的裝配。”用不了多久，全部宇宙就只剩下回形針和臨盆回形針的機(jī)械了。
我對(duì)這個(gè)假想持疑惑的立場(chǎng)。第一，這個(gè)末日?qǐng)鼍绊氁氵B續(xù)串前提能力完成，中央任何一個(gè)環(huán)節(jié)失足，末日的戲碼都沒法演出。英國(guó)西英格蘭年夜學(xué)的電氣工程傳授艾倫·溫菲爾德在2014年的一篇文章中如許寫道：“假設(shè)我們?cè)斐隽撕腿祟愊喈?dāng)?shù)腁I，假設(shè)這部AI明確了本身的任務(wù)道理，又假設(shè)它能將本身改良成具有超等智能的AI，再假設(shè)這個(gè)超等AI出于有意或歹意開端消費(fèi)資本，還要假設(shè)我們沒能拔失落它的插頭？到那時(shí)，我們才能夠碰到費(fèi)事。這風(fēng)險(xiǎn)不是沒有，只是幾率甚微。”
第二，AI的研發(fā)其實(shí)要比猜測(cè)的遲緩很多，個(gè)中每個(gè)步調(diào)，人類都有時(shí)光叫停。就像谷歌董事長(zhǎng)埃里克·施密特在答復(fù)馬斯克和霍金時(shí)所說(shuō)的那樣：“你們認(rèn)為人類會(huì)留意不到嗎？留意到以后，不會(huì)去關(guān)失落那些電腦嗎？”谷歌的DeepMind公司曾經(jīng)成長(zhǎng)出了一個(gè)封閉AI的開關(guān)，它被戲稱為“緊迫紅按鈕”，可以在AI意圖造反時(shí)按下。百度首席迷信家吳恩達(dá)也表現(xiàn)（針對(duì)馬斯克的話），有人“還沒登上火星，就開端擔(dān)心火星上的生齒成績(jī)了。”
第三，AI滅世論的根據(jù)常常是自然智能和人工智能之間的毛病類比。2015年，哈佛年夜學(xué)的試驗(yàn)心思學(xué)家斯蒂芬·平克在答復(fù)Edge網(wǎng)站年度成績(jī)“你對(duì)會(huì)思慮的機(jī)械有甚么意見”時(shí)，對(duì)這一點(diǎn)做了解釋：“AI災(zāi)害論者都在智能的概念中投射了狹窄的年夜須眉心態(tài)。他們假定智力超出人類的機(jī)械人會(huì)制訂出免職主人或是統(tǒng)治世界的目的。”但現(xiàn)實(shí)上，平克指出，人工智能異樣能夠“沿著女性的道路退化：既能闇練地處理成績(jī)，又沒有祛除無(wú)辜者或主宰人類文明的愿望。”
第四，電腦“想做”某事的說(shuō)法（好比想把世界釀成回形針）意味著電腦有了情感，然則就像科普作家邁克爾·喬羅斯特指出的那樣：“一旦AI對(duì)某事有了神往，它就進(jìn)入了一個(gè)獎(jiǎng)賞與處分的世界，好比它會(huì)曉得，做了好事就要遭到我們的處分。”
斟酌到汗青上的末日預(yù)言還沒有一個(gè)應(yīng)驗(yàn)，再加上AI幾十年來(lái)的成長(zhǎng)一貫陡峭，我們應(yīng)當(dāng)有富余的時(shí)光樹立一套平安系統(tǒng)，以避免AI撲滅世界的工作產(chǎn)生。
