欢乐颂第二季,玄幻小说改编的电视剧

對話 Max Tegmark：掌控權必須掌握在人類手中

　
　　來源：騰訊研究院

　　8月26日，集智俱樂部與騰訊研究院共同舉辦“AIS2系列學術報告和研討活動”沙龍，共同提出AIS2倡議，意指AI+Society與AI+Science這兩大如火如荼的前沿領域，并預言人工智能即將在跨學科研究中形成的集體涌現(xiàn)。

　　此次學術沙龍活動的第一部分以“智能邊界：大語言模型能否再次涌現(xiàn)”為主題，麻省理工學院物理學教授、未來生命研究所（Future of Life Institute）創(chuàng)始人Max Tegmark 進行了主題報告，并與騰訊研究院院長司曉進行對談。本文為對談實錄，由ChatGPT-4轉寫翻譯生成，并經(jīng)人工編輯校對：

　　司曉：你剛才的演講對我很有啟發(fā)。我不禁想起2019年在波多黎各參加未來生命研究所召開的AI國際會議的經(jīng)歷。我記得當時會議的主題是“有益AGI”（Beneficial AGI）。當時大家預期，通用人工智能(AGI)何時到來的平均預期時間是2045年。你在會上講到了當時常見的關于AGI的迷思（myth，意指錯誤觀點），比如只有超級智能變壞、產生自我意識才會給人類帶來嚴重安全風險，并且提出可以通過將AI與人類的價值觀“對齊”(alignment)來大幅降低這些風險。

　　當時，我們大部分人都覺得AGI距離現(xiàn)實仍然相當遙遠，防止AGI變壞聽著像科幻小說，而隱私保護、數(shù)據(jù)安全、算法透明是更值得關注的現(xiàn)實問題。那時候對AGI的討論，通常不是很聚焦。四年后的今天，隨著大模型的突破，我們對AGI的設想更清晰了。當然我們還是對如何應對AGI莫衷一是，但這些意見分歧定義很清晰，可以對下一步AGI發(fā)展的指導原則進行細節(jié)討論。那么，如果像4年前那樣再組織下一次人工智能國際會議，你會討論哪些議題，會將什么問題放在議程最優(yōu)先的位置？

　　Tegmark：是的，我們在波多黎各談得很好。對于AGI來說，確保它未來發(fā)展方向的措施是顯而易見的，也就是說，像對待生物制藥行業(yè)那樣對待AI行業(yè)。生物制藥公司應該首先獲得相關監(jiān)管機構的許可，才能銷售創(chuàng)新的生物制藥產品。制藥公司必須要做臨床試驗，提供證據(jù)證實自己的藥品安全有效、獲益大于風險，才能從監(jiān)管機構得到銷售許可。人工智能產業(yè)還處于監(jiān)管的早期階段。在我看來，受到恰如其分的監(jiān)管，是生物制藥行業(yè)發(fā)展相對較好的原因。人工智能產業(yè)還處于監(jiān)管的早期階段。我相信不論是在美國還是在中國，沒人會同意免除所有臨床試驗，為一些不負責任的公司售賣有害產品開方便之門。

　　所以，如果要再舉辦一場AI國際論壇，將如何監(jiān)管人工智能發(fā)展作為重要主題，可能是比較合適的。讓來自全球的嘉賓開放討論他們是如何監(jiān)督航空業(yè)、汽車業(yè)、生物制藥的，這些行業(yè)的最佳實踐是什么，是否也可以用到對人工智能產業(yè)發(fā)展的監(jiān)管中來。這樣的討論是可以很快出成果的。這樣也能為我們爭取時間，去研究解決你剛提到的一些更困難的問題爭取時間。

　　司曉：好的，謝謝你的回答，對你的回答我很有感觸。人工智能尚處在爆發(fā)期，在技術和商業(yè)上都有很多不確定性，監(jiān)管的難度是比較大的，各方面的爭議也比較多。
　　我的另一個問題是，數(shù)月前，Geoffrey Hinton提出了“可朽計算”(mortal computer)的概念。大意是把AI與硬件綁定，比如以很低的成本給烤箱裝上GPT，用數(shù)瓦的電力就可以驅動，很像人類這樣的有機生物智慧，能耗低，智慧會隨著硬件的損耗而流逝，所以叫作“可朽計算”。在你的《生命3.0》一書中，你設想通過將AI與人類結合，打破很多生命體的生物局限。機器變成凡人，人類可以不朽。大型語言模型的出現(xiàn)，讓人類文明第一次如此接近AGI。這些新變化，是否讓你對未來人類的生存形態(tài)有新的設想？如果有機會重新寫《生命3.0》，你最想修改書中的哪部分？

　　Tegmark：是的，我同意你的說法，AI的發(fā)展仍然有很多可能性。
　　我想，未來會變得如何，仍然一個非常開放的問題。但無論如何，掌控權必須掌握在人類手中。一般來說，技術創(chuàng)新帶來功能更強大的技術，如果掌控權在我們手中，就好比你可以很好控制你的智能手機，那么智能手機就會是一個有幫助的工具，讓你更好完成以前做不到的事情。但如果我們對創(chuàng)新的成果沒有掌控權，那情況可能會很糟糕。
　　如果某天超級智能問世，我們不應該只把它看作是蒸汽機或電這樣的新技術發(fā)明，而是把它看作出現(xiàn)在地表的新物種。與新發(fā)明不同，新物種會自我復制，并且有自己的想法和目的，所以我們必須非常、非常小心。我們不會擔心像牛羊這樣的既有物種搗亂，因為這些物種很容易控制，就智力水平而言，我們遠遠勝出。而如果我們創(chuàng)造出超級智能這樣比我們聰明得多的新物種，事情就反過來了，控制這一新物種異常困難，很容易就失去對它的控制。
　　所以我想，如果我們把事情做對了，找到方法確保讓機器與我們的目標一致、始終站在我們一邊，輔助我們，人類的未來就十分美好。像剛才主持人提到的，人工智能協(xié)助我們治療所有疾病、消除饑餓和貧困、實現(xiàn)世界和平、探索未知宇宙。但這些的前提都是掌控權在我們手里。所以與其問超級智能將如何改變未來，不如問我們到底想要一個什么樣的未來？然后再看如何走向我們想要的未來。
　　在我看來，中國在這些方面可以扮演非常關鍵的角色。中國是存續(xù)了數(shù)千年的古老文明，有更加深厚的長遠思考的傳統(tǒng)。我真的建議大家多想想，人工智能對人類的未來意味著什么，詳細闡述出來與所有人分享。如果全球能夠對未來愿景達成積極的共識，每個人都會從中獲益，互相合作共同建設這樣的未來愿景也會容易很多。

　　司曉：是的，同意，掌控權必須抓在我們手里。你剛才在主題演講中提到了未來生命研究所最近發(fā)布的公開信，呼吁將研發(fā)比GPT-4更加強大的AI系統(tǒng)暫停至少6個月。Elon Musk和AI領域的一些重量級人物都在信上署名。這一呼吁得到相當多的關注，并引發(fā)了廣泛討論。我記不太清這封信具體的發(fā)布日期了，是不是已經(jīng)過去六個月了。Geoffrey Hinton為了敲響AGI的警鐘，在今年早些時候從Google離職，距離他談論“可朽計算”僅僅幾個月的時間。馬斯克則一度認為AGI是人類走向星際文明的必由之路。
　　如果我沒理解錯的話，今年以來，Hinton對AI的態(tài)度發(fā)生了180度的大轉變。那么，你對AI發(fā)展的未來仍然持樂觀態(tài)度嗎？你是否同意AGI總體上對人類有益，未來生命研究所提出的阿西洛馬AI原則是否足以保護人類免受AGI的威脅？

　　Tegmark：我一直相信AI要么成為人類歷史上最棒的事情，要么成為人類歷史上最糟的事情。而到底是最棒還是最糟，選擇權在我們手中。對于我們是否能很好處理人工智能挑戰(zhàn)，說實話，在過去的一年里，我多少感覺更悲觀一點。我一開始曾經(jīng)期待，當人工智能的挑戰(zhàn)越來越明顯的時候，政策制定者會更快采取行動,對人工智能的發(fā)展進行監(jiān)管。就像我剛才提到的，他們已經(jīng)在生物、航空和其他領域做了很長時間的監(jiān)管，已經(jīng)有經(jīng)驗了。
　　但到目前為止，各國的監(jiān)管還比較初步，雖然有很多討論。但我希望能有更多的政策出臺。
　　重要的是要記住，我們幾乎可以肯定未來會發(fā)展出強大的、超過人類的AI，但不能保證它會是友好的。我們必須做出努力，統(tǒng)籌協(xié)調監(jiān)管、合作和安全技術，確保AI是對人類有益的，而不是指望這一點會自動實現(xiàn)。在這個問題上，我們沒有任何懈怠的空間。

　　司曉：好的，我問得更具體一點，價值對齊（Value alignment）被認為是解決AI挑戰(zhàn)的一個重要方法，確保AI的決策與人類的價值觀和道德觀念一致。對齊也是阿西洛馬AI原則的基本思想之一。對齊不是自動實現(xiàn)的，需要大量的資源投入來保障對齊。Open AI說他們打算將20%的計算資源用來支持價值對齊研究和技術實踐。這個投入力度不小，但你認為這足夠嗎？大模型公司需要如何保障價值對齊的投入？全球不同的組織在不同的地區(qū)訓練不同的大語言模型，又如何確保在不同實體、地區(qū)之間實現(xiàn)普遍的對齊？

　　Tegmark：我認為Open AI現(xiàn)在能做的最好的事情，就是停止訓練GPT-5或其他更強大的模型，并承諾在我們弄清楚如何保障人工智能安全性之前，不會發(fā)布比GPT-4更強大的東西。但問題是，人工智能公司同時面臨來自同行的競爭壓力，沒有公司會自覺獨立停止研發(fā)，因為這么做除了讓自己輸?shù)舾偁幹�，不會有其他作用。所以這就是為什么我覺得我們必須達成一個覆蓋全球的安全標準。所有人都必須遵守這個標準，都在同一個水平上公平競爭。這樣我們才能實現(xiàn)有意義的“暫�！�。
　　對于第二個問題，我們應該在什么基礎上達成一致，盡管不同國家不同企業(yè)往往有不同的角度和觀點，但實際上我覺得情況比大多數(shù)人想象的要樂觀。我在前面主題演講的開頭提到了聯(lián)合國的可持續(xù)發(fā)展目標(SDG)。SDG是非常大、非常有雄心的目標，而且全球大多數(shù)國家，不管是中國美國俄羅斯還是印度，都贊同這些目標。那就從這些我們都贊同的目標開始，然后再去一點點深入到細節(jié)。我們應該相信，與機器相比，人類之間的共同點非常多，我們都要吃飯睡覺、都敬畏生命、都珍視家庭。
　　而對大語言模型、對AI來說，那是我們完全陌生的思維方式。這些AI的思維空間遠遠大于人類的思維空間，不難想象，這樣一個AI完全不關心上面提到的這些、對我們來說非常重要的東西。它可能只是想把地球變成一個越來越大的GPU服務器農場，或者把太陽變成戴森球（弗里曼·戴森設想的開采恒星能源的人造天體），或者把行星排列成其他形狀，等等。所以，我說這些的意思是，人類所一致希望的那些東西跟機器的瘋狂想法相比，是根本沒有可比性的。先弄清楚如何讓機器與我們都同意的全球價值對齊，是個很好的起點。

　　司曉：AGI的挑戰(zhàn)一方面是如何負責任地開發(fā)，另一方面是如何負責任地使用。為了能夠與智能機器共存，我們需要對今天的教育系統(tǒng)進行更新，讓每個人都做好準備，特別是年輕一代。因為教育是最先被AI改變、受到AI影響的領域。
　　我最近與香港大學的一位教授朋友交談。他告訴我，GPT在校園里被廣泛誤用。學生們現(xiàn)在使用ChatGPT來做作業(yè)，寫論文。他問我是否有可能開發(fā)一些算法來檢測學生作業(yè)的“含GPT量”。他也感慨，未來教育會不會變成一個不同的智能工具之間的競賽，一個AI做作業(yè)，一個AI檢測“含GPT量”。學生和老師之間的教和學，是不是會變成一場誰能更好使用AI的攻防戰(zhàn)。Max您是MIT的教授，對這樣的攻防戰(zhàn)應該有一手經(jīng)驗。那么，你如何看待AI對人類教育和學習模式的長期影響？這樣的攻防戰(zhàn)是為了讓年輕一代適應即將到來的AI時代的必要之惡嗎？

　　Tegmark：我同意你說的，它對教育有深遠的影響。確實會有這樣一場競賽，一個AI檢測作業(yè)是否是機器生成的，另一方面學生使用AI來做作業(yè)，而且教授們將輸?shù)暨@場競賽，因為這些大型語言模型，本身就是為了把人工智能訓練得越來越像人類，并且確實做到了。但我認為，我們必須做的是真正地改變，是如何教學和測試學生。更深層次的問題是，如果機器能比人類更高效更好地完成所有工作，那么我們首先就要問問自己，生而為人的意義是什么。一開始，我們就不應把自己置于非要與機器競爭的境地，畢竟它們可以以極低成本做得比我們更出色。
　　我們可能決定保留一些工作，這些工作可以賦予人生意義，即便機器可以更便宜地完成這些工作。我們不應該只是考慮工程師或者AI研究這樣的工作，可能要談談像心理學家、教師和社會工作者這些工作，談談什么能帶來幸福，我們想要什么？我們想在AI時代建立什么樣的社會，使AI讓我們變成更好的自己，使生活更有意義，而不是與機器競爭工作崗位。

　　司曉：好的。由于時間關系，我想我應該在這里停下。非常感謝Max的精彩發(fā)言和這次引人入勝的討論。我認為你所有的新觀點都為人類和AGI共同創(chuàng)造一個更美好的未來帶來了希望。再次感謝你的分享。