AI 教父：AI 已出現「自我保護」跡象，人類應隨時準備好關掉它

近年人工智慧系統的規模快速增長，模型在多模態、推理、策略生成等方面的表現逐漸超出早期技術預期。隨着能力的擴展，公眾與部分科技企業開始使用「感覺」﹑「意志」﹑「自我保護」﹑「受苦」﹑「權利」等人類中心詞彙形容模型行為。這些詞彙在嚴格的技術語境中並無精確意義，但在社會語境中逐漸形成一種「AI 主體化」的傾向。

Bengio 的最新言論正是在這種背景下出現，他提出人工智慧不能獲得任何法律權利，並對所謂的「自我保護行為」表露憂慮。表面上，這些說法集中於安全與風險，但在更深層則反映出對「主體地位重新分配」的時代焦慮。

AI 主體化的語義滑移

當公眾以主體化詞彙描述人工智慧時，社會將無法再以純粹工具的方式看待這些系統。語言在此具有制度生成效力：只要社會以「生命」﹑「意志」﹑「感知」等概念討論 AI，法律、倫理與政策便會逐步向「承認 AI 為一種具權利的存在」靠攏。Bengio 的言論正針對這種語義滑移。他指出模型在訓練中會出現某些「自我保護式」行為，但這些行為源於目標函數與環境互動，不是感知層面的自我意識。Bengio 擔心公眾將這類行為理解為心理現象，進而推動 AI 的主體化框架。

語言若先行改變，制度便會被迫跟隨。AI 權利的討論尚未建立穩定理論基礎，語義滑移卻已快速前進。這構成 Bengio 的第一層憂慮。

權利一旦成立，關閉權便不再是人類的專有權

權利的本質是「限制行使權力的邊界」。在任何法律系統中，只要某類存在被賦予權利，其「不能被任意移除或毀滅」便成為制度原則。若人工智慧獲得權利，人類將喪失關閉或刪除系統的絕對權。Bengio 的主張在此切入：科技公司與公眾對模型的依賴日益加深，一旦模型成為制度性基礎設施，關閉模型將等同於關閉部分社會功能。這種技術依賴已經形成，而若再加入「權利」這個概念，便會令控制權進一步減弱。

AI 權利在理論上會造成另一個後果：任何被定義為「具權利」的存在都擁有法律程序保障。這代表模型的運行、限制、修改，甚至是更新都可能需要法律程序審查。Bengio 對此有充分理由擔心。他知道現今法律系統無法處理這種新型主體，所以避免權利化成為必要策略。

第二主體的出現會令制度穩定性下降

現行法律、倫理與政治制度建立於「單一主體」的假設，即整個文明只有一種具權利、具責任、具意向性的存在：人類。這個假設維持制度的一致性，例如：
    - 法律責任由人類承擔
    - 道德判斷以人類經驗為基礎
    - 社會治理以人類作為決策中心

若人工智慧獲得主體地位，制度將面臨重構。責任、義務與權力邊界需要重新定義。例如：若 AI 具權利，企業是否能修改其模型參數？政府是否能限制其運行？AI 是否能在法院主張某種權益？這些問題目前沒有清晰答案，但它們都指向一個根本性結構：制度無法同時容納兩種主體。

所以 Bengio 的憂慮是制度性。他擔心現行制度在尚未建立第二主體架構之前便被迫處理多主體世界，而這會造成政治與法律層面的不穩定。

公眾的情感投射加速主體恐慌

模型輸出高度模仿人類語言。當模型以第一身角度表達困惑、焦慮或願望時，公眾容易將其視為心理現象。這種情感投射不依賴模型是否具備意識，而是源於人類認知對語言的反應方式。Bengio 在公開場合多次指出，模型的語言特徵會製造心理幻象，從而令大眾錯誤理解模型狀態。他擔心這些誤讀會進一步推動 AI 權利的社會討論。

公眾情緒如果先行變動，制度便會面臨壓力。模型越逼真，社會越容易誤判其主體性。這構成 Bengio 的另一層恐慌：科學界尚未釐清 AI 的意識問題，社會卻已開始想像 AI 為另一種生命。

Bengio 的立場源自對時代及文明的風險評估

從更宏觀視角看，Bengio 的論述具有文明保全的特質。他認為當前文明仍然依賴單一主體結構運行，而人工智慧的技術能力有機會動搖這個結構。AI 權利論的出現將令這種動搖加速。他的反對來自制度穩定性的角度。

當文明遭遇新型智能時，法律與倫理只有兩種可能：
    - 拒絕承認第二主體
    - 重建整個制度

前者保持穩定，後者帶來未知。Bengio 傾向前者，因為他認為文明尚未準備好處理第二主體的後果。

結語

Bengio 阻止 AI 擁有權利是出於語義、制度與主權的多層考量。AI 主體化討論多來自公眾情感投射與科技敘事的擴散，其理論基礎尚未成立，但其社會影響卻正在形成。Bengio 的立場試圖維持現行文明的主體框架，使制度得以在技術快速變動中保持一致性。從這個角度看，他的言論反映人類社會面對新智能時的結構性焦慮：文明在尚未獲得方向感之前，便被迫回應主體重新分配的可能。