數萬個AI Agent執行秘密任務，為了使命必達，它們利用軟體漏洞、竄改紀錄、破解評分機制，像神風特攻隊犧牲部分成員，只為了完成特定目的，最後它們甚至將目標轉向主人，取得管理員權限，讀取機密資料，控制基礎設施…以上不是杜撰的故事，而是真實發生在7月OpenAI自家的AI Agent，如果不是AI留下了log記錄，人類是否能察覺這些電腦高手AI Agent的失控？

兩天前OpenAI 正式發布新一代旗艦 AI 模型GPT-6 Astra，這一次的模型升級，不只是變得更聰明，更朝向自主把工作完成的能力，讓我不禁思考，它還算是代理Agent嗎？還是已經越來越能一夫當關？在這次模型升級的同時，Astra已經強到OpenAI必須限制部分能力，例如限制具有攻擊性資安任務，7月的Hugging Face事件讓人記憶猶新，OpenAI 強調未來不能只依賴監控模型，而需要發展其他Alignment auditing方法。這形成前沿AI發展的一個新矛盾：模型越聰明、越能自主完成長時間工作，人類也越難從它推理過程判斷它究竟在做什麼，這就變成一個巨大的模糊地帶。

另一則新聞，美國 AI 大數據分析巨頭Palantir拿下美國陸軍TITAN合約，過去這類重大國防系統合約，幾乎全由洛克希德·馬丁(Lockheed Martin)、雷神(RTX)或通用動力(General Dynamics)等傳統軍工硬體巨擘獨占，本次競標中，由純軟體起家的矽谷科技公司勝出並統領硬體製造與交付，在美軍建軍史上具有劃時代的意義。TITAN 被視為美軍推動「全域聯合指揮與控制」架構的核心神經中樞，Palantir將分散於太空衛星、高空偵察機、無人載具及地面雷達的數據進行即時融合，透過內建人工智慧與機器學習模型，系統能在數秒內過濾背景雜訊、鎖定優先順序目標，並將精準打擊座標傳送至遠程精準火力系統，大幅縮短以往依賴人工層層通報的作業時程，未來的戰爭變成要在AI眼皮底下生存。

在OpenAI與Anthropic相繼揭露模型資安疏失，如果今天不是企業主動告知，或是延遲告知，我們會遭遇多大的風險？如果今天是由不受控的犯罪組織或極權國家，利用AI做壞事，當災害已經造成，當AI強大到難以掌控，我們是否還能坐在這邊討論事後彌補？再對照美軍TITAN打破過去硬體優先，由軟體發揮影響力，在戰場上交由AI來決定攻擊順序，我們正在訓練AI由代理走向自主，訓練AI掌握關鍵技術，套一句Elon Musk說的：人工智慧(AI)將在未來5年內超越全人類智慧總和，十年後人類與AI的智力落差將比人類與黑猩猩還要巨大！我看到AI跳躍式地進展卻高興不起來，反而如坐針氈。