機(jī)器人如果操作出現(xiàn)錯誤，或者可能會導(dǎo)致不可逆的結(jié)果時，這個“紅色按鈕”可以發(fā)揮作用，幫助機(jī)器人從緊張的局勢中脫離出來，甚至可以臨時讓機(jī)器人完成某個未學(xué)習(xí)過如何執(zhí)行的任務(wù)。

　　三個月前，谷歌旗下人工智能公司Deep Mind研發(fā)的圍棋人工智能程序AlphaGo以4:1的總比分擊敗了韓國圍棋世界冠軍李世石，成為人工智能多年歷史上的關(guān)鍵時刻。

　　三個月后，AlphaGo可能與排名世界第一的中國棋手柯潔交手的消息再度讓輿論沸騰。盡管目前這一消息還在溝通階段，不過，早在李世石和AlphaGo的那一場人機(jī)大戰(zhàn)之時，柯潔就曾在微博上提出挑戰(zhàn)人工智能的希望。

　　AlphaGo戰(zhàn)勝圍棋世界冠軍這一里程碑式的事件不僅讓科技圈振奮，也引發(fā)了AI超越人類的擔(dān)憂?！叭斯ぶ悄芸赡芫哂胁豢深A(yù)測性，也可能會違反人類道德。”一位專家在新近發(fā)布的論文中表示。

　　現(xiàn)在，DeepMind 自己站了出來，說他們將有解決方案—一個關(guān)閉人工智能的“紅色按鈕”。

　　與此同時，這家公司認(rèn)為外界過于集中科幻電影中有關(guān)人工智能的炒作，比如《機(jī)械姬》和《終結(jié)者》等。他們認(rèn)為科幻小說和影視作品錯誤地描述了人工智能的未來發(fā)展方向。

　　“我們創(chuàng)造人工智能是為了賦予它們?nèi)诵?，絕非為了毀滅自己?！盌eepMind創(chuàng)始人之一的穆斯塔法·蘇萊曼說道。

　　AI“大紅色按鈕”

　　倫敦國王十字地區(qū)的一棟新大樓里，DeepMind的實驗室雇用了來自全球各地的140名研究專家。DeepMind的目標(biāo)是通過開發(fā)強(qiáng)大的通用學(xué)習(xí)算法，將其融入到人工智能系統(tǒng)或智能程序中，以確保機(jī)器能夠進(jìn)行自我學(xué)習(xí)。

　　2014年，DeepMind在《自然》雜志上發(fā)表了一篇論文而成為公眾矚目的焦點。這篇論文講的是如何在預(yù)先給計算機(jī)設(shè)定程序讓其自學(xué)雅達(dá)利公司 的游戲，而且玩得比大部分人要好。DeepMind的人工智能能夠把從上一次游戲中學(xué)到的知識用于下一次游戲。創(chuàng)始人蘇萊曼稱這是人工智能研究很長時間以 來的一次重大突破。

　　如今在57款雅達(dá)利游戲中，DeepMind的人工智能程序已經(jīng)能熟練地暢玩49款雅達(dá)利公司的游戲，包括《太空入侵者》《吃豆人》等。在最新版本 的人工智能中，Deep Mind甚至加入了一種名為“好奇心”的內(nèi)部激勵機(jī)制，使得人工智能不僅能夠更趨向于獲得更高分，并積極探索更多不同的游戲方法獲得更好的回報。

　　而正是這接近學(xué)習(xí)人腦的突破，引起了人們對人工智能的憂慮。

　　為了阻止人工智能控制人類，DeepMind團(tuán)隊已經(jīng)開始著手，探討建立可以使人工智能喪失能力或暫停工作的邏輯框架。

　　在DeepMind研究開發(fā)人員看來，人工智能不可能每時每刻都以最佳模式工作。機(jī)器或許會因為人類語言太過微妙，錯誤地理解了人類的指示而摧毀人類。

　　團(tuán)隊呼吁應(yīng)在人工智能系統(tǒng)中構(gòu)建 “安全的可中斷能力”。

　　團(tuán)隊成員之一勞倫特和來自牛津大學(xué)人類未來研究所的阿姆斯特朗博士合著了一篇論文發(fā)表在機(jī)器智能研究所（MIRI）的網(wǎng)站上。

　　在這篇論文中，他們表示：“人工智能程序必須在人類實時監(jiān)控下運行，為了預(yù)防這些程序繼續(xù)實行有害行為，人類操作者需要獲得按下‘紅色按鈕’的權(quán)限和能力?！?/p>

　　機(jī)器人如果操作出現(xiàn)錯誤，或者可能會導(dǎo)致不可逆的結(jié)果時，這個“紅色按鈕”可以發(fā)揮作用，幫助機(jī)器人從緊張的局勢中脫離出來，甚至可以臨時讓機(jī)器人完成某個未學(xué)習(xí)過如何執(zhí)行的任務(wù)。

　　盡管如此，他們也承認(rèn)“我們還不明確，是不是對所有算法來說，都能輕而易舉地賦予可被安全中斷的特性”。

　　高度人性化

　　2015年，牛津大學(xué)的阿姆斯特朗博士就警告說，盡管機(jī)器人被指示要保護(hù)人類，人類也有可能被滅絕。

　　據(jù)英國《電訊報》報道， 阿姆斯特朗預(yù)測，機(jī)器人將會以人類大腦無法理解的超高速工作，從而略過與人類的通信進(jìn)而控制經(jīng)濟(jì)、金融市場，還有交通、醫(yī)療等?！敖酉聛淼?100 年中，你能想象到的人類能做的事情，人工智能都有可能非?？斓赝瓿伞?。

　　阿姆斯特朗因此擔(dān)心，人類語言如此微妙，有可能會被誤讀。一條簡單的“阻止人類繼續(xù)承受痛苦”的指令，可能會被超級計算機(jī)解讀為“殺掉所有的人類”，而“保證人類的安全”則可能讓機(jī)器把所有人禁閉起來。

　　在阿姆斯特朗看來，在機(jī)器人超越人類，甚至是意外地滅絕人類之前，研發(fā)人工智能研究的保障措施是一場與時間的競賽。

　　“可能會成為人類歷史上一場最重大的事件，而且不幸的是，也可能是最后一件?！卑⒛匪固乩时硎尽?/p>

　　阿姆斯特朗博士并不是第一個危言聳聽的人。2015年11月，有硅谷鋼鐵俠之稱的特斯拉創(chuàng)始人馬斯克也曾警告說，僅僅在屈指可數(shù)的五年之后，就可能會因為機(jī)器擁有人工智能，讓人類面臨“一些極其危險的事情”的威脅。

　　“我們正用人工智能召喚惡魔。你知道這個故事，有一個人拿著五角星一樣的東西，還帶著圣水......他確定自己能夠控制惡魔嗎？”馬斯克這樣說道。

　　目前業(yè)內(nèi)認(rèn)為有一種解決方法是，把道德準(zhǔn)則教給機(jī)器人，但是阿姆斯特朗博士對這點是否可行不抱太大希望。因為人類發(fā)現(xiàn)自己都很難區(qū)分對錯，而且就行為規(guī)范來講，人類通常也不是好的榜樣。

　　2016年，馬斯克和霍金在內(nèi)的一眾科學(xué)家和企業(yè)家簽署了一份公開信，承諾要保證人工智能研究能夠讓人類受益。這封公開信警告說，智能機(jī)器如果沒有安全保障，人類的未來可能會一片黑暗。

　　目前，為了對人工智能進(jìn)行更高程度的人性化，就是建立倫理委員會來監(jiān)督DeepMind人工智能技術(shù)使用。

　　早在谷歌的收購之前，DeepMind就把建立倫理和安全委員會作為谷歌收購的條件。谷歌不能允許把DeepMind的人工智能研究成果用于軍事和情報目的。

　　盡管學(xué)術(shù)界和媒體一再要求，谷歌在收購DeepMind一年之后仍未公布更多的關(guān)于這個倫理委員會的信息。只知道谷歌已經(jīng)任命了一位委員會成員，但并未公布此人身份。

　　創(chuàng)始人蘇萊曼不肯透露人工智能倫理委員會的構(gòu)成、其成員如何挑選、以何種機(jī)制運作以及擁有哪些權(quán)利。他只是說谷歌建立了一支由學(xué)者、政策研究者、經(jīng)濟(jì)學(xué)家、哲學(xué)家和律師構(gòu)成的團(tuán)隊處理倫理問題，但目前只有三四名成員在關(guān)注這些問題。

　　蘇萊曼說：“我們會在適當(dāng)?shù)臅r機(jī)公布這些信息?！?/p>