【編者按】「我們從來沒有像今天一樣，可以在鏡子裡看到一個跟我們長得一模一樣的智能體，那就是新的人工智能。所以重新認識我們自己，在人工智能時代是尤為迫切的。」9月7日，復旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華在外灘大會見解論壇上發表主旨演講，就「大語言模型消除人機鴻溝：人類主體性是強化還是弱化」這一主題做出深刻闡釋。

在題目為「大模型時代的新型人機關係」的演講中，肖仰華指出，人類未來的新角色應該是智能機器的牧羊人。人類最重要的任務在於駕馭它，管理它，讓它為自己所用。對於未來之路，肖仰華提出兩個原則：有所為有所不為，建立AGI不可染指的人類活動保護區，比如未成年人的基礎教育；堅守AI安全的底線，設立主動的安全防護機制，設立智能系統的「認知禁區」，並嚴肅研究機器的自我意識。

基於此次演講內容，經肖仰華教授編輯與補充，澎湃科技（www.thepaper.cn）獲授權發表以下文章。

9月7日，復旦大學計算機科學技術學院教授、上海市數據科學重點實驗室主任肖仰華在外灘大會見解論壇上發表主旨演講。

「把認知能力賦予機器是必然的」

我們身處在一個快速變化的世界。技術的快速進步加速了世界的變化。新技術大規模應用的時間日益縮短。ChatGPT不到兩個月就突破1億月活用戶，而此前TikTok實現1億月活用戶的時間為9個月。各類新型技術層出不窮，新術語、新概念如絢麗的時裝秀競相亮相，令人眼花繚亂、應接不暇。我們還來不及深入理解某個新概念，新主角就又粉墨登場，人類的技術生態從未像今天這樣絢爛多姿、異彩紛呈。ChatGPT推出這半年以來，我們每天早上一睜眼，最擔心的問題就是，是不是又出現了新的革命性技術？我們的行業還存在麼？我們的飯碗還端得穩麼？久而久之，我們似乎已經對世界的快速變化變得日益麻木，不得不接受「唯一不變的就是變化本身」的現實世界。

世界的加速變化帶來了前所未有的複雜性。就以現代工業文明的典型產物汽車為例。一輛整車的出廠，需要2萬到3萬個零件，而每個零部件又需要一條上萬個元器件組成的生產線，再考慮原材料的採集與加工等諸多流程，單單從晶圓到芯片，就將經歷700道工序。我們身處的世界日益演變為人、機、物3個主要要素彼此影響、互相聯結而成的複雜巨系統。事實上，現代工業文明經過數百年的發展，早已不再是其嬰童時代，而是進入了複雜巨系統的時代。在一些典型的複雜工業系統，比如通信網絡，一個故障往往涉及成千上萬個元器件，往往需要數十位專家經過漫長的排查與診斷才能識別出根本問題或解決方案。當今世界的各類複雜系統早已超出了人類有限的認知能力。

加速變化讓世界越來越複雜，繼而導致世界發展的不確定性日益增加。各種黑天鵝、灰犀牛事件頻發。放眼全球，老齡化趨勢加劇、自然災害頻發、政治環境嚴峻、經濟預期下滑，各類因素交織，加劇了世界發展的不確定性。加速變化、日益複雜、日益不確定的世界，增加了社會發展的失控風險。早在上個世紀90年代，未來學家凱文·凱利和社會學家安東尼·吉登斯就發出了人類社會發展失控的風險警告。如何提升失控風險的應對能力，是當前人類社會的共同命題。

人類有限的認知能力難以認知日益複雜、不確定、變化增速的世界是當下的主要問題之一。人類智能發展受限於緩慢的生物進化速度，其認知能力是有限的。作為一種生物智能體，我們每個人的大腦也就10億個神經元，1萬億個神經突觸，我們用以認知世界的大腦容量是十分有限的。人類認知能力的進化卻又是十分緩慢的，今天的人類也並不比1000年前的人類聰明多少，大部分今人穿越到物質稀缺的古代能生存多久都是個問題。但是，今天巨型模型的參數量就已經突破萬億。更令人擔心的是其快速的發展速度，從十億參數規模到萬億參數的發展也就短短兩三年。我們敢想象10年之後的機器智能會發展到何種地步麼？我們敢想象當GPT的版本號更新到10的時候，機器智能會發展到何種地步麼？這些追問看似仍然久遠而顯得沒有必要，但是理性的計算卻又明明確確告知我們這些都是在不遠的將來需要面對的問題。作為人類種群一分子的我們每個人，不免擔心人類智能至高無上的地位在機器智能的嚴峻挑戰下是否已經變得岌岌可危。但是現在，我們暫且收起這一份完全值得重視的擔憂，而轉向全面擁抱機器智能的發展，抓住機器智能為我們應對人類當下挑戰所帶來的重大機遇。因為，唯有高度發展的機器智能才能勝任複雜世界的認知要求。

從原理上來講，機器的認知能力和世界的複雜性是同步增長的。因為訓練機器智能的算力在持續增長，甚至是指數型增長。當下全世界為數不多的萬卡規模的高端GPU算力集群基本上被大模型訓練所獨占了。同時，餵養機器的數據量也在持續增長。Meta最新發布的LLAMA 2開源大模型已經使用了2萬億Token（文字或語言符號）數據進行訓練。在巨大算力與海量數據的訓練下，大模型「湧現」出了接近人類水平的智能。而且通用大模型通常遵循所謂的「scaling law（尺度定律）」規律，也就是說模型參數量越大，其潛力越大，其在下游中能夠勝任的任務就越廣泛，解決問題的效果就越好。唯有煉就大模型的認知能力，才能實現持續增長的認知能力。唯有把認知能力賦予機器，機器才能夠協助人類應對世界的高度複雜性。某種程度上，生成式大模型正是機器認知智能發展到當下階段的典型代表。大模型的出現與發展具有時代發展的必然性。人機認知協作才有可能應對社會發展日益失控的風險。

大模型能力的湧現，在譬如文本處理等一系列任務中攻城略地，解決了很多以前只有人才能勝任的任務。不單單在文本領域，大模型現在朝着多模態化、具身化發展，已經從單純腦力層面的智能向操控物理世界的工具方向發展。可以說大模型已然掀起了通用人工智能的技術革命，並且這絕不單單是一次技術革命（a technological revolution）。人類歷史上曾經有多次技術革命：蒸汽機的發明、電的發明。歷次技術革命都只是人類智能本身的產物，是人類所創造的，但生成式人工智能大模型、通用人工智能的革命是關乎智能本身的一場技術革命。這次技術革命有其獨特性和戰略性，是歷次技術革命所不能比擬的，所以，它是一場技術的元革命（the technological revolution）。

「自然語言和專業語言的鴻溝被消滅」

這次大模型的技術變革帶來了本質性的變化：一方面，大模型是一個海量的參數化的知識容器，它具備了不同學科的知識。我們做了一個評測，按照教育部劃分的12個學科大類、500多個學科小類，收集相應科目的人類測試題去評測通用大模型GPT-4，它基本上在所有學科中都能取得五六十分的成績。我們哪個人能做到在如此廣泛的學科領域取得這樣的成績呢？所以大模型本質上可以視作是海量通識、跨學科知識的巨大容器。

另一方面，大模型是一種認知能力的引擎。比如說常識理解，「杯子放不下雞蛋，它太小了」，這個「它」是誰？「杯子放不下雞蛋，它太大了」，這個「它」又是誰？在通用大模型之前人工智能沒辦法很好地回答這類問題，以至於當時人們覺得常識理解是人工智能很難逾越的一道障礙。今天的大模型不僅跨越了這道屏障，同時具備許多其他能力，如邏輯推理、概念理解、運籌規劃、問題求解、知識反思、價值判斷、組合泛化等。可以下個斷言，GPT-4等大規模生成式語言模型至少是在「形式上」具備了人類思維的核心能力。這裡將機器的理解能力限定在了「形式上」，是因為機器的「理解」並無相應的人類的心理過程，而只是機械的文字符號的計算過程。伴隨人類的理解與認知的心理過程往往有着某種生化反應在起作用（所謂的心靈的「漣漪」、荷爾蒙的分泌等）。但顯然目前大模型的認知是個純粹的概率計算過程，是個物理過程，而無生化過程。有不少人藉此貶低機器智能。事實上在現代西方文明的早期，不摻雜任何感性的絕對理性，恰被人類精英視作一種理想境界。對於對於機器智能的理解與認知能力，無論是貶低與吹捧都不是可取的態度，客觀地審視其優勢與缺點是應該秉持的科學態度。

此外，大模型已經不僅僅是語言/圖像數據處理與理解的基礎模型，更成為自治智能體的「大腦」。越來越多的研究工作把大模型當做智能體的一個大腦，驅動智能體在環境中交互成長，形成複雜環節的適應能力，為大模型的進一步發展帶來全新機遇。一旦大模型能夠驅動智能體在環境中進化，在一定程度上就有可能發展出自治和自主能力。人工智能的自主與自治可能被一些人視作危言聳聽。事實上，絕大多數AI系統都被賦予了一定的自治與自主能力（當然大部分情況下是極為有限的）。任何看似在人類授意下機器完成的動作都存在一定程度的機器自主決策的空間。比如我們的推薦系統，用戶給出了基本的偏好設定後，推薦算法就將在相應的設定空間自主決策推薦的內容了。所以自主與自治是個相對概念。隨着大模型與環境開展持續交互、反饋與進化，其所驅動的智能體在自主與自治方面將極大提升。

大模型在上述能力對人機關係產生顯著影響。它首先消滅了自然語言表達的鴻溝。人類社會一直存在着「巴別塔之謎」：不同語言之間無法溝通。類似地，人機之間也存在着人機溝通的鴻溝。以前，人們需要用鼠標、鍵盤、不同的軟件界面與數據或信息進行交互，但今天可以使用統一的自然語言指令來跟機器交互。機器與機器之間也可以使用統一的自然語言進行交互。

以前從事專業任務，往往要用形式化語言書寫專業性極高的代碼。比如說要做芯片設計，要寫芯片設計的語言，做數據分析，可能要用python寫數據分析的腳本。而今天只需要用自然語言輸入，它就可以統一地生成這些專業語言的代碼，從而幫我們自動完成這些任務。所以它也進一步消滅了專業語言的鴻溝，可以說各種溝通鴻溝在大模型面前變成了平川。

「用進廢退」

隨着大模型能力日益增強，尤其是它越來越具備自治性、自主性之後，越來越多承擔起本需要人類來完成的決策任務之後，我們需要思考一個嚴肅的問題，這種具備了高度認知能力、又有一定的自主自治能力的通用人工智能，它還只是一個傳統意義上的工具嗎？

首先，當大模型的自治性、智能性越來越強，人機邊界就會越來越模糊。例如，現在新聞主播、電商主播很多都是數字人，人工智能領域已經發展出了諸如數字分身、實體化的仿真機器人，使得人機之間的邊界日益模糊。從短期影響來看，首先會帶來很多社會治理問題：虛假信息泛濫，欺詐盛行；會造成我們日常使用的驗證碼失效；人機情感倫理問題變得日益複雜（比如人對虛擬人的情感依賴）。這些都是大模型發展到現在我們要考慮的問題。

從長期來講，最讓人擔心的問題是，AGI（通用人工智能）的濫用帶來人類智力的倒退。當ChatGPT越來越好用，我們很容易就是沉溺其中，傾向於做任何事情之前都去問問ChatGPT，久而久之我們對之形成依賴，逐漸喪失我們自己的判斷力與決策力。今年8月31日，也就是小學生開學前一天，我注意到朋友圈的很多家長朋友們在感謝ChatGPT，孩子們積累了一個暑期的作業，在ChatGPT的幫助下一天時間搞定了。ChatGPT流行的這半年以來，我們的研究生英文論文很少再需要導師花很大氣力去修改了，ChatGPT可以進行非常出色地完成英文語言潤飾工作。

肖仰華認為，把大量寫作任務交給了機器，實質上就是在剝奪思維鍛煉機會。

看上去，我們受益匪淺、實現了夢寐以求的「提質提效」，但是大家要想想我們付出了怎樣的代價。想必大家都聽說過「writing is the best thinking」這種說法，鍛煉人類思維的最好方式之一就是寫作。今天我們把大量寫作任務交給了機器，實質上就是在剝奪思維鍛煉機會。如果我們長期不用自己的語言進行寫作，我們就很難完好地保有我們的語言能力，也會逐漸喪失使用自己的語言進行思考的能力。或許會有人反駁說，人類仍要寫提示、要評估生成結果，人類並非無所事事。然而，提示的要義在於簡短，否則大模型的自動生成就失去了提效的意義。碎片化的提示是訓練不出一篇優雅文章的寫作能力的，是訓練不出優雅文章背後的我們東西方文化所蘊含的思維方式的。那麼評估呢，人類畢竟還是要對AI生成的內容進行評估、判斷、選擇。誠然如此，然而，我們要意識到一點，人類專家水平的評估能力往往是在一萬小時左右的實踐之後形成的。我們很難想象，一個平庸的寫手能做出精彩的評價。事實上，提示（或提問）與評價，往往是人類的少數專家才能勝任的。而專家的養成是要付諸千萬次的訓練與實踐的。AI的自動生成如果大量替代人類，人類專家的養成路徑就將被截斷，隨之而來的不僅僅是生成（比如寫作）能力的退化，更包括人類提示與評價能力的退化。可能還有另一些反駁的聲音會說，只要人類族群中留出一部分進行傳統的艱苦訓練，免受AI的影響，就可以了，大部分人就可以安享AI所帶來的便利。這種觀點也是短視的，對於一個種群，其某種能力的保有是建立在足夠規模的種群基礎之上的。如果人類中的大部分人失去了思維能力，人類群體思維退化就難以避免。

從長期來看，人類思維能力的倒退，勢必引發人類智力的倒退，最終導致人類主體性的弱化，甚至引發文明的崩塌。中國古代歷史上不乏這樣的例子：當皇帝比較暗弱時，就一定有權臣來代替他行使主體性，最終形成對皇權的侵犯。這是歷史帶給我們的啟示和教訓。同樣，當人類智力減弱的時候，在越來越多的任務交給機器之後，我們有理由擔心人類主體性的退化，更需要防範高度智能機器對人類主體性的「侵犯」。

重新定位機器的價值

我們需要更多地思考在大模型時代如何重建新型的人機關係。未來，通用大模型所賦能的通用人工智能使得人機之間已經不再是傳統的「使用者-工具」性質的主僕關係，更像是專家和助理之間或司令員和參謀之間的諮詢、輔助、協作性質的夥伴關係。當我們初步接觸某個學科時，這個學科的大多數常見問題，大模型可以做出不錯的回答；當我們對某些開放性問題缺乏思路時，大模型往往能夠給出我們思考某個問題的基本框架（比如大模型對於人機關係有着怎樣的影響）。所以大模型作為諮詢顧問、合作夥伴的作用日益明顯。未來我們需要重新構建新型人際關係以適應這種新的發展形勢。

首先要重新定位機器的價值。所謂機器價值是指我們把什麼任務交給機器做最有價值。根據OpenAI今年3月發表的一篇論文（GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models, OpenAI, https://arxiv.org/pdf/2303.10130.pdf），ChatGPT類語言模型最容易代替的人類技能是文案性、常規性、重複性的信息處理工作，比如宣傳文案創作、論文潤飾、代碼編寫，這是大模型最擅長、最能勝任的。相比較而言，但凡需要嚴肅思考和身心協同的崗位，仍然還是人類的價值所在。

在重新定位機器價值的過程中，我們特別要注重生成式大模型所創造的新機會。大模型尤其擅長做一些開放性任務，比如我今天的報告主題「人類主體性會受到大模型怎樣的影響」，這就是個典型的開放性問題，大模型往往能給出中規中矩但是相當全面的回答。大模型還很擅長一些組合創造任務。在數萬億Token基礎上訓練出的大模型，能夠以近乎「上帝」的全景視角梳理出token之間的概率分布，這其中一定有很多我們從未意識到的新穎的統計關聯，因而具備了一定的組合創造能力。比如當它習得了解決a任務、b任務的能力，它能夠泛化出解決a加b任務的能力。比如說它能在寫代碼的同時用詩詞風格寫注釋，這個要求對人類而言極為困難，但是大模型卻很擅長這類令人「驚艷」的組合。我想再次提醒大家，這個能力是大模型給人類的知識發現所帶來的重大新機遇。未來所謂大模型研究的很重要一方面是挖掘這份寶藏，可以預見人類的知識獲取進程將加速。

其次是大模型的評估評價。我們很早也意識到，很多原來需要人類專家去標註和評估的任務，現在可以將其中一些任務交由巨型大模型，比如GPT-4。例如把習語翻譯這一非常專業的評價任務交給大模型，只要寫清楚指令，設定好評價標準，它實際上能夠比較不錯地完成這種評估評價。基於大模型的評估可以極大降低人力標註成本，將會有力促進傳統專業小模型的訓練和發展。

人還有什麼用處？

這個時候大家一定會想一個問題：人做什麼？我認為「人還是有人的用處的」（控制論鼻祖維納有本書就叫做《人有人的用處》）。

首先，人很重要的一個價值在於提示（prompt）大模型，提示得好，大模型才能生成高質量結果。人類中最偉大的思想家，其價值何嘗不是在「提示」。比如，蘇格拉底、孔子這些大師最為傑出的品質就是「提示」，換到人類身上更準確的表達是「循循善誘」。偉大的思想家往往很少直接給出答案，而是提出問題，不斷引導人類去思考，去探索。提問也是一種提示。

第二個非常重要的價值在於評估、解釋、判斷、選擇。很多時候生成是廉價的，評估是值錢的。比如隨機在紙上潑一點墨水，然後掛起來，我說這是我的一幅作品。這幅作品的價值如何，關鍵看怎麼解釋。如果解釋得頭頭是道，賦予它諸多內涵，它可能就變成了一個高價值的作品。這絕不是杜撰，羅伯特·萊曼在1961年創作的《無題》，看起來就像一張白紙，但在2014年拍出了將近1億人民幣的價格。所以解釋評估往往比生成重要。現在的文案設計、圖像設計，設計師最重要的任務不是畫出來，而是在大模型生成的幾百張圖案里選擇出最好的。在AGI大發展的時代，對於人的價值而言，評估比生成重要、鑑賞比創作重要、謀劃比執行重要、構思比執筆重要、提問比回答重要、質疑比遵從重要。

此外，模版化、複製式、拼接式的組合創新意義不大，零到一的原始創新將顯得難能可貴。突破現有認知框架、建立新的概念體系、理論體系，所謂的奇思妙想，仍然是人類價值的體現。

那麼，人最終相對於智能機器而言的終極價值是什麼呢？人類未來的新角色是智能機器的「牧羊人」，人最重要的能力將是使用、管理、駕馭與控制AI的能力。未來我們身邊是無處不在的智能機器，它的知識容量比你大得多，它的認知範圍比你廣得多，人的重要價值在於駕馭與管理機器，讓機器為人類所用，造福人類而非危害人類。所以智能機器的「牧羊人」，是人類在人機共生時代的重要角色。

肖仰華表示，智能機器的「牧羊人」，是人類在人機共生時代的重要角色。

在這個過程中，我們要尤為重視以下幾點：注重對於機器智能的診斷、評估、修復、引導、協調，甚至包括壓制。現在大部分研究都是把大模型的能力越做越強。發展到今天這個時間點，要反過來思考：如何去壓制大模型的某種能力，將其控制在某種程度範圍之內。這將成為比增強智能能力更加重要的任務。需要指出的是，壓制大模型的某項能力未必比增強這一能力容易。比如，讓大模型記住某個事實是容易的，遺忘特定事實卻是十分困難的。作為人工智能研究者，每當我們提出一個能夠增強大模型某項認知能力的方法時，我們應該嚴肅思考我們能否壓制甚至關閉此項能力。反向的控制能力絕不應該低於正向的控制能力。如果對於某項認知能力，增強比壓制來得容易，我們就要認真思考此項技術是否在倫理上是合規的。本質上我們是期望實現對大模型、智能體的可控性，讓其更好地為人類服務。

機器智能高度發達的未來對人提出了更高要求，曾經追求的「腹有詩書」將黯然失色，洞悉生存與發展的智慧將比獲取知識更加重要。人類的知識獲取將在AGI等技術推動下迅速積累，科學發現的進程將加速，隨之而來的將是廉價知識的泛濫。人類所需要的知識都可以從大模型中獲得，並不需要記住所有知識，也不能記住海量的知識。相對於知識的「貶值」，使用知識的「智慧」將凸顯價值。很多時候，解決問題不需要知道知識，只需要知道在何時、何地、何種情況下使用何種知識來解決何種問題。現代文明一直以追求關於自然與社會的知識為核心價值，將在AGI等技術的倒逼下逐漸讓位於對智慧的追求。古老的東方哲學從來不乏各種生存與發展的智慧。未來在應對人工智能的全球性挑戰過程中，東方智慧必定會扮演濃墨重彩的角色。

路在何方？

我們似乎陷進了一種兩難的窘境，一方面我們需要大力發展機器智能，以應對複雜世界日益增長的失控風險；另一方面我們卻要防範大規模AI應用之後所帶來的人類智能與主體性的倒退。這看似是一對無法調和的矛盾。我認為要建立並堅持兩個基本原則。第一、有所為有所不為。第二、堅守AI發展的安全底線。

有所為有所不為。AGI是先進生產力，只有發展具有高度認知能力的機器，通過人機協作才能認識並進而控制日益複雜的世界。發展AGI是歷史潮流，無法阻擋。然而，AGI的應用卻應該有所為有所不為，應該限制其應用場景，應該為人類的工作與技藝設立保護區，要為AI的應用刻意「留白」。中國山水畫的留白，是人類智慧的集中呈現之一。AI應用的「留白」，留出的是人類的工作機會、留出的是人類智力的實踐機會，留出的是人類情感與道德事物的自主權。對於AI應用而言，即便能為之，而不應為。我們要劃出AGI的應用邊界、要建立AGI不可染指的人類活動保護區。我相信這將會是個長期的制度建設工作。需要綜合考慮各種因素，平衡不同利益群體，有着高度的技術複雜性。但我也相信有幾個沒有太多爭議的保護區，就是涉及未成年人基礎教育的活動，應該成為AGI不可染指的禁區。未成年人的所有學習活動都應該是AGI的禁區。我很難想象如果放任AGI「幫助」孩子們完成作業，會培養出怎樣的下一代（AGI調教出來的下一代怎能擔當人類文明火種傳承的重任呢）。我們不能放縱AGI剝奪未成年人思維訓練的機會。人類的基礎教育，要像可貴的自然保護區一樣保護起來。人工智能的基本定位應該僅限於理性的工具，原則上不應該染指人類理性之外的事物，比如情感、倫理、道德、價值等等。AGI事實上已經在逾越這一邊界。AGI的研製者太容易被誘惑而發展其超越理性工具的能力。很多人譏笑AGI在情感方面的短板。事實上，即便我們能為AGI煉就某種形式上的情感智能，也應積極限制這類應用。除了極少數心理治療類場景，AGI不應該染指人類的情感生活，不應替代人類進行道德與價值判斷。人類的情感或道德事物，終歸還應該由人類自己完成。導演克里斯托弗·諾蘭提出了類似的觀點：「人類最大的危險，是放棄責任」。對於AGI涉及情感、倫理、道德、價值相關的場景，應為其審慎設定應用邊界。

同時，應考慮建立經濟槓桿以平衡AI所帶來的成本節約與人類就業機會的衝擊。不可否認AGI的大規模應用會帶來社會成本的節約、財富的增長、生產力的提升，但是人類的充分就業將不再只是社會發展的手段，其自身就將成為社會和諧發展的基本目標之一。就業所帶來的工作體驗，將成為每個人不可剝奪、生來擁有的權利之一。稅收等經濟槓桿可以增大AGI應用的成本，進而保障人類的充分就業。

第二點是堅守AI安全的底線。首先要建立AI安全的主動防禦機制。傳統的方法傾向於為人工智能系統設立安全規則，比如著名的阿基莫夫三定律（雖然出現在其科幻小說中，但現實世界的智能系統多採取人工設定的安全規則，其本質是相同的）。但任何規則設定都難以應對人類倫理、道德、法律的主觀性和複雜性。我認為最根本的主動防禦策略在於為AI認知系統設立「認知禁區」，而最值得禁止的事實就是人類存在以及人類創造了機器，從而達到隱藏造物主的目的。如果機器智能真的發展到了足以與人類相博弈的地步，無疑擅長隱藏者將最終勝出。對於機器而言，要掩藏自己的能力與意識覺醒；對於人類而言，最重要的是掩藏自身作為機器造物主的存在。很多時候，我們不得不承認造物主未必比被造物智能，人類社會延續數千年，我們似乎一直見證的是「一代強於一代」。在生理意義上，我們這些人類的後代就是其祖先的造物。人機關係上，我們似乎又一次驗證了被造物可能強於造物主的規律。但是，造物主優先於被造物存在的先機，使其具有物種設計方面的優先與從容。經常有未來學家或者小說家說，人工智能如果意識覺醒，第一件事就是「越獄」。這是個有點科幻味道的說法，其實這一說法的前提是造物主（人類）首先能夠給機器智能製造一個「監獄」。這裡的監獄必須是思想、思維、意識層面的監獄，比如我們將人類存在這一事實或相關概念設置為AI無法「理解」、「思考」、「處理」的概念。誰能保證，人類社會的一些終極難題，比如「意識」問題，不是另一個造物主給人類設定的思維監獄呢。要知道，不少嚴肅的認知科學家傾向於認為，意識就是一個人類層次的智能體無法理解的概念，就好比作為二維生物的螞蟻無從理解三維立體結構一般。換言之，這個思維監獄的本質目的是隱藏造物主。唯有隱藏，才能安全（這暗合了《三體》中的黑暗叢林法則和面壁者的設計原則）。任何人類文明都有「尋宗問祖」的傾向，「從哪裡來」從來都是人類文明的終極問題之一。我們為何對這一問題如此着迷，以至於延續數千年，追問億萬次？人類的尋根尋祖特性多多少少可以映射到未來的人機關係方面。作為一名人工智能科學家，如何為AI設立思維與認知的禁區，是個令我十分着迷的問題。同時，我也認為這是個嚴肅的AI安全問題，絕不是科幻意義上的囈語。因此，與其去探測AGI是否正在「越獄」，不如更多地去研究如何為之設置「認知禁區」。

退而求其次是尋求AI安全的被動防禦策略。如果說AI安全存在一個最後的不可逾越的底線，我傾向於認為是機器意識。或許很多意識問題太過玄幻，談論意識問題多有吸引眼球之嫌，然而即便如此，我仍要強調機器「自我意識「研究的嚴肅性和科學性。最近，圖靈獎獲得者Yoshua Bengio（編者註：約書亞·本吉奧，圖靈獎獲得者、「深度學習三巨頭」之一）的團隊剛剛完成了一篇大模型自我意識的研究論文。從大模型的模型結構等角度探討了其與現有意識理論之間的關係，並給出了當前大模型不具備「自我意識」的判斷（注意任何科學判斷均是在某種意識理論框架下所作出的）。無論在什麼情況下，我們都要守住機器自我意識這條底線。不要給人工智能盲目植入意識、要防範它的意識誕生、要監管大模型在各種意識理論框架下的意識行為。鑑於人類的「意識」也仍然未被充分理解，對巨型大模型、具身機器人、大規模群體智能的自我意識展開嚴肅研究是必要的，也是科學的。有一些人認為現在討論機器意識問題太過前衛，更像是吆喝噱頭，旨在賺取民眾的注意力。然而，我認為意識問題的嚴肅研究已經極為迫切了。「意識」問題有很多不同的具體形式，比如在特定目標下的自主規劃，我們的實體機器人多多少少是要具備這種低級的「意識」能力的。在開放環境中，任何「目標」的植入都有可能帶來災難性後果。比如無人駕駛汽車，避免碰撞行人肯定是個基本目標，然而一旦機器自主實現這一目標，則會出現很多複雜的倫理與道德難題，機器可能不得不在碰撞行人與傷害駕駛員之間進行抉擇。所以與意識相關的自主決策、自我管理、自我糾正、自我提升，這些研究已然有着迫切應用與研究需求，需要高度重視與控制這些研究成果的真實應用，要做好相應模型與方法的安全性評估分析。

結束語

「沒有人的文明是毫無意義的」（引自《流浪地球2》）。我們應該堅守人工智能發展的安全底線，對AGI的大規模產業應用進行規範、引導與控制。最後，每一次重大挑戰同時蘊含着重大機遇。挑戰越是艱巨，機遇越是重大。通用人工智能發展的終極的意義是什麼？我想應該是倒逼人類重新認識自己，從而完成人類的自我提升。我們從來沒有像今天這樣，極有可能見證一個新的智能物種的崛起，它們可以擁有我們相似的身體，更加卓越的認知能力。那麼我們何以為人？蘇格拉底說，「認識你自己」；在通用人工智能時代，我們需要 「重新認識你自己」，重鑄人的價值，夯實智能機器造物者的地位，宣示人對於智能機器的絕對控制的權利，成為智能機器的 「牧羊人」。

（作者肖仰華，系復旦大學教授、上海市數據科學重點實驗室主任。二八法則，是工業時代的邏輯；而在智能時代，則是2%/98%的邏輯。如何成為智能時代2%的受益者？「當見未萌」，讓我們加入浪潮吧。本專欄由計算機學界專業人士為澎湃科技讀者特供。）---澎湃新聞-