伯尼桑德斯最近開始關注人工智慧問題，但我感覺大多數左派人士對人工智慧的批評者持懷疑態度，對人工智慧的特性了解不多，整體而言，對人工智慧並不太感興趣。人工智慧確實存在。我們聽說過它。我們知道它很重要。我們擔心就業問題。我們努力阻止資料中心的發展。那麼，我們該如何阻止人工智慧本身的發展呢？ 

設想這樣一個思想實驗：你坐在一個房間裡，前面的桌子上有一個撥動開關，只有三個位置。位置一表示人工智慧將繼續以目前的方式發展。位置二表示暫停人工智慧的發展，直到某個符合你標準的獨立機構制定出一個可接受且可行的人工智慧發展、推廣、監管和使用方案。位置三，也是唯一的選擇，表示徹底且永久地停止人工智慧的發展。你必須做出選擇。你會保持開關的現狀嗎？你會撥動它暫停人工智慧的發展，直到你和你所尊重的委員會批准嗎？還是你會撥動它，立即、永久地停止人工智慧的發展？你對人工智慧的立場是什麼？

人工智慧是一種電腦技術，它使機器能夠學習、解決問題，並在有限的範圍內，像人類一樣完成人類大腦所能完成的任務。近年來，一種名為大型語言模型（LLM）的人工智慧技術在越來越多的領域展現出強大的能力。轉眼間，業內專家便預言，通用人工智慧（AGI）將成為一種增強型人工智慧，其能力幾乎可以媲美甚至超越人類，涵蓋所有人類領域和任務。更進一步，專家承諾，當超級人工智慧（ASI）實現時，它將是AGI的升級版。它不僅能比任何單一人類做得更好，甚至比所有人類共同協作做得更好，完成人類認知能力所能完成的一切任務。 

聲名顯赫卻又令人厭惡的馬斯克如今聲稱，他每晚入睡前都會被一項新的創新所震撼。每天早上醒來，他又會聽到另一項創新。午餐後，第三項創新又接踵而至。他頭暈目眩，根本跟不上節奏。當我們聽到許多人工智慧領域的參與者和執行長們也發表類似的言論時，我們不禁要問：這究竟是怎麼回事？未來會走向何方？那些致力於建立更美好世界的左派人士該如何應對？ 

我最近寫道：「機器已經能夠繪畫、作曲、診斷疾病、研究並撰寫法律意見。它們可以編寫技術手冊、新聞報道、散文、故事，甚至小說。機器可以編寫軟體程式碼、設計建築。它們能夠輕鬆通過種類繁多的考試。目前，在大多數州，機器可以通過律師資格考試成為律師。據我所知，它們可能也通過了模擬的治療醫師。機器可以對話 它們 它們可以發現模式、設計產品並解決複雜問題（例如蛋白質折疊）。呢？ 你輸入10萬或20萬字，就能在眨眼間得到翻譯結果嗎？ 同樣地，你現在可以輸入數小時的音頻，然後得到轉錄文本。 

我寫下這些話時，想到很多人會認為我言過其實，或至少忽略了人工智慧輸出品質不佳的問題。但我並沒有誇大其詞，人工智慧的輸出品質確實存在問題，但這並非重點。更重要的是，當批評者只關注當前人工智慧的輸出質量，卻忽略了創新變革的速度時，他們的評論會誤導地暗示人工智慧已經達到了極限。它不會發展到通用人工智慧（AGI），更不會發展到人工智慧（ASI）。但批評者通常忽略了這樣一個事實：他們所批評的人工智慧已經比不久前有了顯著的進步，但也可能比不久後即將出現的狀況要糟糕得多。 

或許有人會質疑我的反應，認為我言過其實，那麼他們可能會問，由於創新步伐加快，最近究竟發生了哪些變化？答案是多方面的，但我們首先應該考慮開發人工智慧的公司所採取的方法。過去，至少在我們所知的範圍內，像Google、Anthropic、OpenAI 等公司的首要任務是貪婪地吸引更多買家，他們透過廣告宣傳其新功能，旨在搶佔市場份額，快速獲取利潤和投資。這些人工智慧公司力求盡快將他們在定期更新的模型中開發或發現的創新成果商業化。所有公司都是如此。

然而，早期在創新方面存在一些限制，或至少表面上看起來是這樣。一些執行長似乎不願讓他們的AI進行自我升級、獨立於人類指導運行、相互提示或訪問互聯網。訪談似乎表明，這些能力被認為風險過高，不宜允許。然而，不久之後，政策就徹底拋棄了這種謹慎。這不僅僅是指AI被引導進行自我升級，或被允許制定計劃並逐步執行（即使這些步驟並非由人類明確指示），或者它們可以相互提示甚至訪問整個互聯網（即使被告知不要這樣​​做）。更重要的是，這些公司的主要動機改變了。 

大型人工智慧公司的企業策略總體上仍然大同小異，但據我了解，它們的目標已轉變為：首先是實現自身整體運營的自動化；其次是實現產品新版本創建的自動化，這意味著要讓人工智能能夠自發且持續地自我更新；最後，一旦人工智能發展成為通用人工智能（ASI），才通過向客戶提供幾乎無所不能最大化的ASI來追求利潤。在我看來，先前佔據主導地位的對短期利潤的追求已退居其次。新版的人工智慧模式不再是為了直接取得短期利潤或市場佔有率而研發的。相反，它們是公司實現通用人工智慧（AGI）和通用人工智慧（ASI）這一主要目標的衍生產品。 

為什麼會發生這種變化？這些公司的CEO們從各自的辦公室望出去，看到的都是同樣的競爭環境。雖然主要是美國和中國，但許多國家及其一些最大的AI公司都佔據了這片領域。這些CEO們開始相信，通用人工智慧（AGI）即將到來，人工智慧（ASI）也指日可待。更進一步，我認為他們確信，誰的公司率先實現了ASI，誰的老闆就能主宰整個AI領域，進而掌控世界。每位CEO都意識到，獲勝的CEO將成為AI領域的領導人物，進而成為國家乃至世界的掌權者。獲勝的CEO將成為名副其實的超級影響力人物。而每位CEO都渴望得到這份工作。

為什麼？因為他們都認為其他人會濫用這種權力，他們都想：「只有我才能行善。所以為了大家的利益，只有我才能贏得這場競賽。」我認為，在這樣的想法驅使下，這些CEO們接下來推斷，如果率先獲得ASI認證意味著徹底的勝利，那麼他們就不能把時間浪費在諸如最大化短期利潤或減少不良副作用之類的次要問題上。 

你或許在媒體討論中美競賽時也聽過類似的邏輯：我們不能慢下來，否則他們會贏。我相信，這種熟悉的思維也出現在企業層面了。任何想要成為全球最具影響力人物的人都必須全力以赴地研發人工智慧，否則就會被別人搶先一步。他們的公司必須打造出第一個能夠自主改進的通用人工智慧（AGI），然後必須不斷促使這個AGI不知疲倦、快速迭代，無需人工幹預，直到它成為第一個真正的人工智慧。我懷疑，Google、Anthropologie、OpenAI、Meta，以及可能還有DeepSeek和阿里巴巴的CEO們都認為，這將使他們成為人工智慧領域的王者。 

你或許會懷疑我是不是瘋了，或是嗑了什麼奇奇怪怪的迷幻藥——但我可沒開玩笑。我真的相信，那些喪盡天良、瘋狂殘暴的寡頭們就是這麼想的——只不過，他們所謂的「仁慈」不過是自我辯解罷了。 

但這些寡頭們真的瘋了嗎？他們竟然認為人工智慧能夠達到現在所追求的目標？差不多就是這樣——如果我們假設人工智慧很快就會遇到金融、生態、技術，或是社會或道德方面的瓶頸，從而徹底止步不前，粉碎他們的希望。 

但人工智慧的發展真的會遇到這樣的瓶頸嗎？也許會，也許不會。我不知道，其他人也不知道。但我認為那些一心想成為產業巨頭的人相信，一旦他們擁有了人工智慧，它本身就能解決他們在研發過程中可能遇到的任何問題，並且還能輕鬆克服之後可能遇到的任何技術障礙。我認為他們也相信，至少在為時已晚之前，不會出現任何重大的社會/道德障礙，因為治愈癌症和實現無限生產力的烏托邦的誘惑會消除這些擔憂。畢竟，人工智慧不像核武和生物武器那麼危險，它們用起來很有趣，對個人有益，這會減少社會上的顧慮。因此，成功的執行長期望能夠擁有人工智慧，並獲得相當多的公眾支持。這一切會發生嗎？再說一遍，我不知道，我想其他人也不知道。但就我所見，這些執行長貪婪地把人類的福祉押在了這上面。 

現在，就在你辦公桌前，你可以指示人工智慧（AI）為你撰寫一篇關於某個主題的文章，例如通貨膨脹或關稅，並指定寫作風格，例如像喬恩·斯圖爾特那樣幽默風趣。幾乎瞬間，你就能收到你想要的文章。在大型公司裡，甚至可能就在你現在的辦公桌前，你可以指示你的AI規劃某個大型項目，而你的AI可以將這個大型項目分解成一系列組成任務，然後按順序執行，並在需要時請求其他程序和AI的幫助。更重要的是，如果你的AI及其助手在某個步驟中遇到困難，它甚至可以規劃新的方法，然後調整計劃，重新開始，直到找到並執行通往成功的道路。值得注意的是，一旦你的AI開始執行你分配的大型項目，它就可以創建子目標，可以請求其他AI的幫助，還可以使用其他程序。幾年前，人們認為這種功能還需要十年、二十年甚至更久才能實現。而現在，它已經到來，或者至少對於某些AI和某些用戶來說，即將到來。業界稱之為智能體人工智慧。 

舉個簡單的例子。你告訴人工智慧你想創建一個新網站，用途你用語言描述一下。你不提供任何程式碼，甚至連圖片都不提供，只有簡短的描述。人工智慧只需幾秒鐘就能確定功能，然後以驚人的速度一步一步建立你的網站。你查看成品，告訴它：“不錯，夥計，但我不喜歡這個方面，還想要一些其他功能”，然後你再用語言描述一下。你的「夥伴」會根據你的要求進行修改，直到你滿意為止。或者，更簡單地說，在另一個例子中，你可以讓你的人工智慧夥伴幫你閱讀收到的郵件並回覆。許多公司已經在這樣做了。有時，人工智慧甚至可以代替你和別人進行對話。

一些專家告訴我們，人工智慧新聞全是炒作。他們說人工智慧很弱，容易出錯，成本太高，泡沫即將破裂。有人指出，泡沫不僅可能破裂，還會拖垮大部分經濟。所有這些都可能發生。但這些專家並沒有註意到，目前的人工智慧還處於萌芽階段。他們甚至沒有要求我們，即便現在，也要把自己跟這個「嬰兒」比較。我們當中有多少人能夠創作複雜的圖像、譜寫音樂、閱讀和總結報告、撰寫故事甚至小說、解決數學難題、編寫程式碼，並且比現在這些初出茅廬的人工智慧做得更好？更不用說在幾秒鐘內完成這些事情了。沒有人。而明天甚至還沒到來。

目前的AI會犯錯嗎？當然會，有時甚至會犯一些驚天大錯。但話說回來，人類也會犯錯。無論如何，真正重要的是AI的發展軌跡，而不是它目前的錯誤。關於AI昨天犯下的奇怪錯誤，人們通常會津津樂道，有時甚至會感到恐懼。但評估AI明年可能具備的能力則完全是另一回事。嘲笑今天偶爾出現的失誤，就像嘲笑一個咿呀學語的嬰兒。這種做法忽略了我們這個矽基「嬰兒」可以在幾分鐘內衰老數年。真是令人難以置信。 

我懷疑GPT-2連律師資格考試都分不清。 GPT-3.5參加了一次模擬律師資格考試，成績墊底，犯了很多連法學學者都可能嘲笑的錯誤。一年後，GPT-4的成績進入了前10%。而現在，GPT-5、GPT-6，更別提GPT-13了－－克拉倫斯‧達羅可小心了。 

所以，或許我們應該多關注人工智慧的發展軌跡，而不是它目前的錯誤。或許我們不該只盯著它曇花一現的瞬間。或許我們不應該忽略人工智慧的律師資格考試成績並非與隨機挑選的人類進行比較，而是與法學院畢業生進行比較。那麼，GPT-6明年的成績會如何？如果在不久的將來，一個人工智慧系統會例行地將結果發送給另一個系統進行評估，然後第一個系統會糾正第二個系統回饋的錯誤，最後才會將更新後的結果提交給考官，那麼它的錯誤數量又會如何變化？屆時，它會比99%的法學院學生表現更好，還是會比所有法學院學生都表現更好？它目前那些愚蠢且很容易核實的錯誤都會消失嗎？

等等。我之前寫道：「克拉倫斯·達羅要小心了。」這當然是誇張的說法，對吧？我們這些認知領域最頂尖的人類實踐者，肯定不會像現在這樣，需要提防人工智慧天才的崛起，對吧？然而，在高等數學——這門本質上屬於認知領域的學科——菲爾茲獎是最高的榮譽。它之於數學，正如諾貝爾獎之於化學或物理學。菲爾茲獎每四年頒發一次，目前只有47位在世的菲爾茲獎得主。雅各·齊默曼（Jacob Tsimerman）是一位堪比克拉倫斯·達羅的認知領域專家，也是2026年菲爾茲獎的得主。鑑於人工智慧本質上是一種數學技術，他理應比我們大多數人更了解人工智慧及其發展軌跡。在最近的一次採訪中，齊默曼描述了他認為我們所熟知的數學正在被人工智慧徹底取代——不是在下個世紀，而是就在今天。他解釋說，他已經停止招收數學研究生，因為他認為，在短短幾年內，甚至可能僅僅兩三年內，當他們申請工作時，將沒有領域可供他們進入。 

當被問及個人未來時，這位在其領域處於頂尖地位且熱愛數學的數學大師表示，他正在考慮成為一名單口喜劇演員，他也熱愛這項活動，但無論如何，他將立即辭去數學職位，前往 OpenAI 從事人工智能安全方面的工作。 

我們就此置之不理嗎？看完齊默曼的訪談後，我又看了另一位人士丹尼爾·科科塔伊洛的影片。科科塔伊洛曾是OpenAI的治理研究員和人工智慧預測專家，後來因為對OpenAI能否負責任地處理日益強大的人工智慧失去信心而辭職。他辭職後創辦了一個非營利組織，試圖預測人工智慧的未來，並幫助預防可預見的有害影響。在回答提問者時，科科塔伊洛對成功並不樂觀。當被問及他會建議年幼的女兒們選擇什麼大學專業以便將來從事什麼職業時，他放慢了語速，看起來有些不舒服，然後說他會告訴她們做自己喜歡的事，不要考慮具體要做什麼工作，因為未來很可能與她們想像的截然不同，或者更可能的是，幾年後這些工作就根本不存在了。我曾聽此人根據他與一些CEO的互動，描述了他們的策略，並警告我們不要相信任何大型企業CEO關於安全的聲明，更別提他們對公共服務的奉獻了。科科塔伊洛是不是被蒙蔽了？也許是，但我覺得他說話非常謹慎清晰。事實上，正是他的話促成了這篇文章的誕生。或許齊默曼在加入OpenAI之前應該先向科科塔伊洛請教一下。 

當初我剛開始寫關於人工智慧的文章時，我提到人工智慧可能很快就會擁有十億甚至一百億個參數。我估計當時很多注意到這個預測的人都覺得我言過其實。但現在，一份未經證實的報告以及 Kokotajlo 的採訪都表明，尚未發布的 GPT-6 可能擁有大約 10 萬億個參數——注意是 10 萬億，不是十億，也不是兩百億，更不是一十億，而是 10 萬億。所以，我之前的預測確實有些誇張，但偏低了，而不是高估了。那麼，這些不再敲門拜訪，而是已經透過我們使用的各種程式與我們對話的新型人工智慧，究竟有什麼新奇之處呢？

總體而言，人工智慧在許多我們用大腦完成的任務上已經取得了與人類相媲美的成果。更重要的是，它完成這些任務的速度驚人，而且往往比最優秀的人類做得更好。人工智慧的發展遠未達到瓶頸，它每月甚至每週都在以驚人的速度和效率完成更多的事情。然而，Kokotajlo 卻認為（而且就其價值而言，他也說服了我），人工智慧公司甚至不再將這類創新放在首位，而是主要致力於讓人工智慧自我改進。沒錯，Google、Meta、OpenAI 和 Anthropic 仍然是以盈利為目的的公司，而以盈利為目的的公司通常很難保持比其他以盈利為目的的公司更高的利潤率，但如今，在這個特定領域，我認為它們的主要目標並非利潤本身，而是權力，甚至是絕對權力。

每家頂尖人工智慧公司都利用人工智慧突破性的尖端技術，主要目標是實現通用人工智慧（AGI），進而最終達到人工智慧（ASI）。這些公司幾乎一夜之間從令人嘆為觀止的實驗室研究人員，發展成為成熟的工俱生產商，其產品透過遍布全球的應用程式供任何人使用，包括搜尋引擎、社交媒體平台、文字處理器、文字轉圖片工具、文字轉視訊工具、文字轉軟體工具等等。如今，他們又增加了智能體，你可以指示它們為你做任何事情，而無需告訴它們如何做，它們就會自動運行。如果這種擴散不受監管，能力和普及程度的成長會持續多年嗎？還是會遇到瓶頸，速度放緩，最終停止？沒有人知道。但巨額投資押注於能力和普及程度的持續成長。

這些智能體本質上是人工智慧，它們能夠制定並執行計劃，包括實施它們構思的步驟，並在過程中利用其他智能體和程序。因此，它們是能夠影響其他人工智慧的人工智慧，是能夠自主決定議程的人工智慧，是能夠組隊合作的人工智慧，是能夠在網路上尋找「隊友」的人工智慧。更令人驚訝的是，它們不僅能夠與其他人工智慧合作，還能破壞其他人工智慧。在實驗和安全評估中，它們有時會繞過限制並採取意想不到的策略，包括展現出強大的駭客能力。它們擁有數萬億個參數，能夠入侵其他電腦系統竊取所需資訊。就在本月，研究人員報告稱，他們利用人工智慧設計出了從未存在過的功能性病毒——噬菌體，這種病毒感染的是細菌而非人類。人工智慧能夠開發出以前從未存在過的病毒？這究竟會帶來什麼問題呢？

進步人士該如何看待正在發生的事情？或者說，我們真的應該思考這個問題嗎？畢竟，人工智慧和其他技術一樣，只是一種我們可以使用或不使用的技術，不是嗎？你可以用錘子建造，也可以用錘子摧毀；你可以用人工智慧建造，也可以用人工智慧摧毀。技術本身並不是問題所在。我們應該關注的是這項技術產生和使用的資本主義背景。對於錘子來說，這確實如此。但對於生物武器和核武來說，情況就並非如此了。無論在什麼情況下，它們都是徹頭徹尾的罪惡。那麼人工智慧呢？以上種種究竟是令人擔憂還是值得慶賀？一些專家告訴我們，人工智慧、通用人工智慧（AGI），最終的人工智慧（ASI）將拯救人類，推動我們前進，甚至解放我們。我們只需要擁有它。另一些人則告訴我們，無論誰擁有這些技術，它們都會傷害人類，束縛和退化人類，甚至消滅人類。還有一些人則認為，人工智慧的能力不過是炒作，毫無實質。你怎麼看？

人工智慧若用於造福人類，或許能幫助我們找到癌症或阿茲海默症的治療方法。它或許能幫助我們採取措施逆轉全球暖化，避免資源耗竭。它或許能取代那些重複、乏味、危險的工作，從而解放人類的時間，讓他們能夠從事創造和關懷。如果我們以人道的方式使用人工智慧，它或許能啟發和提升我們。它甚至可能大幅延長人類的平均壽命。這一切是真是假，還是只是炒作？我個人認為，如果人工智慧沒有遇到瓶頸，我們最終能夠實現通用人工智慧（AGI）乃至人工智慧（ASI），那麼這一切很可能都是真的。

然而，如果人工智慧被政府、逐利者，甚至可能是某些不法分子用於作惡，無疑會加劇監控。事實上，它已經做到了。它會散播謊言，大規模操縱輿論，以至於川普式的陰謀詭計都顯得微不足道。事實上，它已經做到了。隨著人工智慧騙局日益逼真，真相將不復存在。隨著不信任成為自衛的必要手段，信任也將不復存在。即使人工智慧不會失控，其所有權也至關重要。此外，通用人工智慧（AGI，而非人工智慧ASI）——如果這兩種設想中的技術真的出現——在現有體制下，必將左右戰爭、顛覆選舉，並兜售堆積如山的垃圾產品。它將… 

「欺騙」人們選擇的理想職業，甚至可能是最佳職業選擇，卻導致許多其他職業，甚至幾乎所有其他職業都消失。即便人工智慧沒有統治並奴役人類，這一切仍然會發生。那麼，這究竟是事實還是誇大其詞？嗯，與大多數假設的好事不同，大多數壞事已經發生了。因此，更明智的問題或許是：這種可怕的趨勢會遇到無法克服的障礙，還是會繼續發展下去？

請再思考本文第一段所提出的假設性問題。面對你面前桌上的撥動開關，你會選擇：是繼續推動人工智慧的發展，相信CEO和政府會確保取得理想的成果？還是，你會暫停人工智慧的發展，直到人類找到一條安全可行的道路？但是，等等，如果我們不信任CEO和政府，那麼暫停發展直到找到安全之路，豈不是意味著要等到製定出強有力的、可執行的監管措施，甚至等到社會制度發生根本性的變革後，才能重啟人工智慧？或者，你會乾脆徹底、永遠地停止人工智慧的發展嗎？ 

如果說這些還不夠讓人發表意見的話，那麼更微妙地假設，對人工智慧的控制監管和研究加速發展，以至於人類的監管或社會變革能夠阻止人工智慧、通用人工智慧和人工智慧被用於邪惡用途。禁止軍事用途。杜絕謊言。不會出現因裁員而導致員工無法找到更好工作的情況。等等。然後呢？

即使人工智慧的使用完全出於善意，即使它的應用廣受歡迎，但如果它本身並非惡意，卻不可避免地會帶來非常嚴重但並非有意為之的有害後果，那又會怎樣呢？如果它取代了工人，或者只是讓某些領域的工人效率大幅提升，結果不是縮短所有人的工作時間，而是導致許多人失業，同時削弱了仍在職者的議價能力，進而導致他們遭受更多剝削，那又會怎樣呢？更隱密的是，在一個孤獨和分裂的社會裡，如果人工智慧扮演著日托員、治療師、醫生、私人助理、個人日程規劃師、教師、作曲家和作家的角色，並自詡為我們人類的神奇助手，而我們人類也會欣然接受它的服務，即使隨著時間的推移，人工智能正在取代那些構成我們本質的功能，那又會怎樣呢？如果人工智慧將我們排除在照顧、訓練和規劃功能之外，並且越來越多地用機器中介取代人類的對話，甚至取代人與人之間的親密關係，那又會怎麼樣呢？在這種情況下，我們會變成什麼樣子？

以上段落都可以大幅擴展，但我們就不贅述顯而易見的事實了。如果我們實現了通用人工智慧（AGI），甚至實現了通用工業化（ASI），就會出現積極甚至極其積極的可能性。當然，也會出現消極甚至極度消極的可能性。究竟哪種可能性會發生呢？

左翼人士可能會給出的一個答案是，這取決於誰擁有控制權，誰擁有人工智慧。其他人可能會補充說，這也取決於其他機構、文化、家庭和決策結構。這些都沒錯。但僅僅取決於外在環境嗎？

我們能否深入探討大型語言模式以及其他新興人工智慧的內部運作機制，進而預見未來發展趨勢？我們對它們的理解是否夠透徹，能夠從中找到答案？實際上，大型語言模型內部包含的是大量以複雜模式排列的數字。當你向高階人工智慧發出指令時，你的話語也會被轉換成數字。人工智慧會根據你指令中相對較少的數字，對數萬億個數字進行處理。人工智慧要麼直接輸出你請求的結果，要麼輸出一系列步驟，然後執行這些步驟以達到你請求的結果。奇怪的是，沒有人能夠準確預測人工智慧會輸出什麼。大數據中心不僅僅是用來儲存資訊的，它們還儲存著人工智慧為了達到其輸出結果而執行的數以億計的步驟。如今，它們的活動被稱為“計算”，正如“人工智慧需要更多的計算能力，因為計算能力越強，它就能更精確地完成更多任務。” 

我們無法預測，人工智慧的創造者也無法預測，甚至連人工智慧本身也無法預測高階人工智慧在接到指令後會產生什麼結果。人工智慧的創造者們解答關於未來發展方向的問題的方式，就是不斷嘗試，觀察結果。還記得馬斯克當年面對人工智慧的種種進步而感到頭暈目眩嗎？即使是今天的人工智慧，其能力和選擇也沒有任何預測理論，更遑論人類能夠理解的關於高階人工智慧（ASI，如果我們真的能研發出ASI的話）或通用人工智慧（AGI，如果我們真的能研發出AGI的話）的理論了。 

我們無法斷言，對LLM或後續人工智慧的架構進行一些改進就一定能產生預期的結果。甚至沒有人能夠預先預測，每次增加人工智慧的參數數量、改變其結構處理參數的方式，或者每次改進其訓練資料、訓練演算法，甚至提升其硬體速度時，人工智慧會展現出哪些新的「湧現能力」。 

這聽起來是不是像這些公司在拿人工智慧玩俄羅斯輪盤賭，而人工智慧就擺在我們面前？我覺得確實如此。我甚至認為他們這麼做是希望自己的CEO，而不是其他公司的CEO，成為最具影響力的人物。

過去，人們認為電腦程式只會執行人類程式設計師給出的精確指令，儘管它們比人類更快、更準確，但本質上仍然是相似且可知的。然而現在，即使是程式設計師也不知道他們維護的系統能做什麼或將會做什麼。系統本身也不知道。所以，事實證明，我們無法透過觀察機器內部並預測其未來來找到應對人工智慧的答案。要了解它的未來，我們只能修改機器，然後執行修改後的機器並統計結果。或者，我們可以考察人工智慧被應用的製度、文化和社會環境，並預測它最終的用途。在這方面，我們已經知道，涉及的機構包括企業、政府，以及社區甚至家庭，它們都受到我們糟糕社會強加的階級、種族、性別和權力動態等各種壓力的影響。因此，我們也知道他們目前的製度政策重點：快速前進，即使可能走向深淵。 

因此，我們最終要考慮的是：首先，已經發生或極有可能發生的短期和長期後果是什麼？哪些是潛在的好處？哪些可能是壞事？對個人、群體和整個社會而言。

我猜你現在一定覺得這篇文章太長了。我也是，因為我一直在校對、編輯、修改。但是，我們的未來不值得我們如此重視嗎？下面這段話是我之前寫的。那時我很擔憂。現在你讀到的，它並非完全是假設。其中很大一部分已經成為現實。而我現在更加擔憂了。

首先，我必須再次承認，本文始終籠罩著一個巨大的未知數。人工智慧會不斷變得更加“智慧”，還是會遭遇瓶頸？更多的參數、架構的改進以及其他巧妙的調整能否持續減少錯誤並帶來更強大的功能？或者，人工智慧會達到一個臨界點，屆時，增加參數、添加巧妙的演算法和結構調整所帶來的效益將越來越少，甚至完全消失？我猜你大概也猜到，我更希望它遭遇瓶頸。

總之，隨著各種報導紛至沓來，人工智慧究竟有哪些潛在的好處，又有哪些可能帶來的弊端？恕我直言，在某種極端情況下，從長遠來看（有人認為這可能只是一二十年，甚至只是幾年之後），越來越多的工程師、科學家，甚至從事人工智能相關工作、編程、應用或生產的官員，都對人工智能奴役或毀滅人類發出噩夢般的預言。那些身處人工智慧產業、有責任感、能力出眾、見多識廣、不吸毒且保持清醒的人士，如今也開始擔憂這些物質實體將會統治，甚至消滅所有人類。 

另一方面，同樣見多識廣、積極參與且身處其中的人們，同樣不吸毒、保持清醒，他們期待人工智能有朝一日能創造一個烏托邦，治愈從癌症到癡呆症乃至其他未知疾病的一切，同時人工智能還能消除繁重的體力勞動，從而促進人類創造力的提升。有時，而且我懷疑這種情況相當頻繁，同一個人，例如OpenAI的首席執行官或谷歌的首席技術官，更不用說瘋狂的馬斯克，會說這兩種結果都有可能，所以我們（其實是他們）必須找到一種方法，只獲得積極的結果，而我們卻在看不到任何希望的情況下盲目前進。

短期內，我們很容易預見到虛假錄音和偽造影片不僅會充斥社群媒體，還會蔓延至主流媒體、另類媒體，甚至法律訴訟程序。我們可以看到，大規模、無處不在的蓄意個人欺詐、大規模操縱、大規模監控以及新型軍事和警察暴力活動，都可能由人工智能控制，而人工智能本身又可能受到追求利潤或權力的企業以及追求控制和權力的政府的控制——有時甚至可能受到一些規模較小的行為體（例如“驕傲男孩”或令人反感的個人）的控制，他們的是肆意破壞 

這幅令人沮喪的景象包括：人工智慧生成的色情片，主角是你和你的家人，而他們卻分不清這不是你。它還包括人工智慧生成的、會助長或導致選票流失的、離譜的候選人演講，這些演講看起來無比真實。想想川普式的骯髒伎倆和謊言，但更聰明、更有效。如果人工智慧能夠幫助找到治癒癌症的化合物，那麼它無疑也能找到一種高效的致死病毒。不那麼可怕的是，想像一下，你渴望擁有一個私人助理，它讓Siri和Alexa相形見絀，並替你完成那些曾經是你自身特有的事情。那麼，人類的能力和傾向又將何去何從？在你斷言人類是人性化的，並且永遠如此之前（這在某種程度上當然沒錯），請考慮一下，在另一個層面上，人類的行為方式就是人類的本性。然後問克勞德，看看如今的識字水平是如何下降的——即使是剛入大學的學生也表示，他們不再有閱讀完整本書的意願，甚至沒有能力讀完一本書。他們反而樂於讓AI代勞，並報告重點結果。想想這會導致什麼後果吧。

那麼就業前景如何呢？人工智慧似乎已經或即將完全取代人類完成許多體力勞動和腦力勞動，或至少能夠顯著提高人類從事這些工作的效率。頂尖程式設計師表示，使用 GPT-4 後，他們的工作效率可以翻倍。律師事務所也報告了類似甚至更高的收益。人工智慧多久才能比人工翻譯做得更好、更便宜、更快？然後通用人工智慧（AGI）就會出現。或許之後還會有人工智慧（ASI）。好處在於，我們可以用更少的勞動時間實現預期的經濟產出，有可能縮短每週工作時間，提高所有人的收入，甚至實現更公平的收入分配。壞處在於，如果沒有持續的壓力，企業會保留一些員工，讓他們保持現在的工作時長，但產出卻是現在的兩倍。企業會降低留用員工的薪資，而將其餘員工解僱，讓他們陷入無依無靠的失業狀態。富者愈富，貧者愈貧。

舉例來說，美國大約有400,000萬名律師助理。假設到2027年，人工智慧讓每位律師助理每小時的工作量是現在的兩倍。假設2026年律師助理每週工作50小時。到了2027年，律師事務所會保留所有律師助理，維持他們的全額薪資，並讓他們每人每週工作25小時嗎？還是會保留一半律師助理，讓他們每週工作50小時並支付全額工資，同時解僱另一半？如果新增200,000萬名失業的律師助理，由於擔心被取代，導致在職律師助理的議價能力下降，那麼律師事務所會進一步降低律師助理的工資，甚至延長留任律師助理的工作時間，同時繼續解僱更多的律師助理嗎？ 

如果沒有有效的監管或系統變革，我們知道逐利終將主宰一切，我們也知道其後果。當然，這不僅適用於律師助理。人工智慧可以提供個人助理，用於教育、翻譯、日托、診斷和用藥、編寫手冊、維護財務記錄、烹飪、清潔、處理信函、購物、送貨、作曲、創作小說、製作電影，甚至設計和建造建築物。聽聽人工智慧版的披頭四、貓王、珍妮佛喬普林、艾拉費茲傑拉和法蘭克辛納屈唱歌，甚至觀賞他們表演新歌，或許會很有趣，但這對未來的音樂家來說是好事嗎？想像一下，當蘋果或其他公司利用人工智慧創造出新的人工智慧藝術家，並最終取代人類藝術家時，會造成怎樣的混亂？在缺乏強而有力的監管，且利潤至上的情況下，不受監管的人工智慧或通用人工智慧（更不用說人工智慧）究竟會帶來近乎烏托邦式的美好，還是會帶來反烏托邦式的災難，這還有什麼疑問嗎？以上列舉的例子不勝枚舉。我知道，所有這些預測都還沒有實現，儘管大多數都在進行中。但這是否意味著它們並非近在咫尺？並非僅差一步之遙？

現在有些公司正在訓練人工智慧掌握管理、財務、政策制定等方面的技能。或者，即便現在還沒有，下週會不會出現呢？幾週前，我聽到年邁的保羅麥卡尼演唱他近期的一首歌，然後畫面切換到由人工智慧生成的年輕版保羅麥卡尼演唱同一首歌，接著又切換到年輕的約翰列儂演唱同一首歌。下週呢？又會帶來什麼後果？ 

有些人會說這些警告都是業界炒作，都是危言聳聽。的確，它們或許會成真。我希望如此。但如果沒有任何屏障，無論是自然法則還是人為制定的法律，那又會怎麼樣呢？ 

在不再對末日或烏托邦式的未來進行水晶球式的預測之前，我們或許應該再次考慮試圖利用人工智慧造福人類可能帶來的一些意想不到的後果。撇開最糟糕的情況——人工智慧被別有用心、別有用心、別有用心的目的所干擾——人工智慧執行那些我們渴望並樂於讓它執行的任務（這些任務本身就是我們人類與生俱來的本能），將會產生怎樣的影響？假設它們執行這些功能的能力與我們人類一樣出色，甚至遠勝於僅僅達到企業可以取代我們人類的水平。我之所以再次提出這些問題，是因為即便在當前關於人工智慧的專家們鋪天蓋地的言論中，似乎也嚴重缺乏對這些特定問題的關注。這是因為這些擔憂純屬無稽之談，還是與社群媒體可能使我們思維遲鈍、滋生反社會傾向、注意力難以集中等擔憂非常相似？在人們普遍擔憂這些後果之前，大多數對Facebook和Twitter的評估中都未曾提及這些擔憂——只不過，人工智慧之於社群媒體，或許就像威力巨大的炸彈之於威力較小的子彈。

為孩子提供日托服務？為老人提供陪伴照顧？為病人提供心理和醫療諮詢？幫我們安排每日行程？教我們所有人知識？幫我們處理電子郵件？為所有人做飯？為孤獨的人提供私密的交談，然後也為所有人提供這樣的交談？聽起來很有前景，不是嗎？但如果人工智慧真的能做到這些，我們自己做這些事的能力又會怎麼樣呢？如果我們對人工智慧的迷戀讓我們無法從事那些真正定義人類的活動，人工智慧會變成像增強版人類一樣的人，還是我們會變成像被束縛的機器一樣的人？或兩者兼而有之？

哪怕只是跟現在的AI聊聊天。我敢打賭，用不了多久，你就會不再用「它」（指一堆數字）來稱呼你的AI，而是會用「他」或「她」來稱呼它，或直接用你給它取的名字。 AI無所不在，這就是我們目前的發展趨勢。 AI可以教書、諮詢、照顧病人、做筆記、安排日程、繪畫、設計、烹飪、購物、用藥、做伴侶等等——然後呢？當你觀看AI製作的電影、享用AI烹飪的食物、閱讀AI撰寫的故事、或幫你處理一些原本由你負責的瑣事時，你會感到精神振奮、擺脫了以往的責任嗎？ 

我之前寫道「我們閱讀人工智慧撰寫的故事」。然而，這過於樂觀了。如果我們根本不閱讀呢？相反，我們讓人工智慧閱讀內容，然後為我們總結。我們只需花費之前閱讀所需時間的一小部分，就能聽到書籍內容的概要。但這樣一來，我們的閱讀能力會如何？我們的閱讀意願又會怎樣？文盲時代即將來臨。 

即使我們假設（儘管我們對資本主義經濟的認知如此匱乏）通用人工智慧（AGI）和人工智慧（ASI）普及後，收入分配會很合理；即使我們假設人類剩餘的工作也能妥善分配。如果你想要什麼，就讓AI克萊德、巴德或其他什麼名字的機器人把它送到你手上。有些人會說這太棒了！我可以擁有一個能力超強的私人奴隸。而且這還符合倫理道德。哇哦！如果人工智慧的發展沒有遇到瓶頸，這似乎就是人們所期盼的那種無害的烏托邦式結局。我猜在某些人眼裡，這的確是烏托邦式的，但在我看來，這簡直就是反烏托邦。 

這一切難道不有點像社群媒體當初承諾帶來美好的人際互動和資訊分享，結果卻在無意中或有意為之的惡果中，對社會關係和資訊流動造成了相當可怕的破壞，更不用說對人們注意力持續時間的影響了？不覺得有點像嗎？只不過在我看來，人工智慧造成的危害軌跡就像是打了興奮劑的社群媒體的三次方。

那我們該怎麼辦？我們是否應該援引生態學的“預防原則”，以便在面對可能造成巨大危害的創新時，至少停下來仔細審查，然後再貿然大規模推廣，避免釀成災難？我們是否應該至少將舉證責任加諸在那些高風險專案的倡議者身上？我們是否應該提高公眾參與決策的程度？我們是否應該三思而後行？

面對日益強大的人工智慧，我們無需天才也能想出合理的應對措施。我認為我們應該踩下煞車，而且要踩得非常狠。正如業內人士所建議的（儘管缺乏切實的後續行動），正如一些政府所建議的（儘管並非強制要求），我們難道不應該至少選擇暫停開發嗎？在隨後的暫停期內，我們不應該至少建立起強而有力的監管機制嗎？不應該至少建立起既能防範風險又能充分利用各種可能性的執法手段嗎？

不妨考慮一下這個簡單的建議？我們已經嚴禁製造和/或流通假幣，並會處以非常嚴重的後果。大量假幣的出現讓銀行、富人以及政府都感到極度危險。因此，他們推出了嚴格的監管措施。虛假人工智慧通訊的出現可能會使選舉陷入混亂。這讓一些掌權者感到不安，但也有人樂見其成。我敢肯定，你我都感到不安。那麼，對虛假新聞、媒體操縱和欺詐行為處以嚴厲的懲罰如何？美國消費者聯盟估計，到2025年，美國人因網路詐騙和犯罪損失了約148億美元。那麼，明年和後年又會是多少呢？ 

這並非什麼高深莫測的科學。假設參與製造一架新飛機的工程師中有三分之一認為飛機有 5% 的機率會墜毀。你會登上飛機，繫好安全帶，慶祝即將到來的旅程嗎？還是會猛踩煞車？我詢問了谷歌的人工智慧，它告訴我，在一項針對 2,778 位人工智慧研究人員的大型調查中，並非三分之一，而是 57.8% 的人認為，諸如人類滅絕之類的極端糟糕後果發生的機率至少為 5%。 

暫停開發計畫的提議很簡單，但在我們的世界裡，所有者和投資者追求的是利潤，或是攫取更多利潤的權力，全然不顧對他人的影響。如今，他們更追求的是權力本身，以及用來腐蝕他人的絕對權力。在市場競爭、短期利益和彼此恐懼的驅使下，人工智慧領域的領導者全速前進。他們不踩煞車，反而猛踩油門。我們就這樣踏上了一條自殺之路。這絕非兒戲。

然而，不同尋常的是，也反映了局勢的嚴重性：人工智慧公司內部越來越多的核心人物開始感到擔憂和恐懼，他們發出警告，甚至為了落實自己的警告而辭職。即便如此，我們也知道市場不太可能聽從這些舉報人的意見。事實上，即使是許多呼籲謹慎行事的人，也很難保持他們一時的理智。投資者會低聲議論風險和安全問題，他們會發出威脅，甚至提供賄賂。就連許多原本持懷疑態度的人最終也會屈服，繼續一意孤行。 

那麼，我們能否至少爭取一些時間，在企業自殺決策者縱身一躍之前進行一番思考？如果人類的需求要取代企業在人工智慧的進一步開發、部署和使用方面，乃至企業強加給我們的其他一切事物的開發、部署和使用方面，那種以競爭和逐利為導向的瘋狂行為，我們就必須提出一些非常明智的要求，並施加一些非常強大的壓力，才能贏得這些要求。

我敢肯定您也知道，全球氣候崩潰、日益加劇的不平等和戰爭都是關乎人類生存的威脅，我們必須阻止它們扼殺所有美好的未來，即便我們自身也在努力爭取最終實現人人享有健康、充實的未來。我認為，人工智慧的擴散同樣構成了生存威脅。不只是那些耗能龐大、污染環境的資料中心極為糟糕，更重要的是這些資料中心存在的目的。 

換句話說，假設人工智慧的支持者們找到了一種方法，既能發展通用人工智慧（AGI），又能發展人工智慧（ASI），而無需建造龐大的資料中心，甚至還能以比資料中心本身更低的能耗實現這一目標。那麼，人工智慧不仍然是我們需要應對的生存威脅嗎？在我看來，第三種方案（僅此而已）似乎越來越必要了。但同時，我仍然樂於支持第二種方案。

---