AI 的個性化陷阱
近年人工智能助理不斷強調「記住你」、「了解你」、「越懂你越用」，彷彿個性化記憶是通往更高智能的自然方向。前 Tesla AI 總監 Andrej Karpathy 近日的提醒，卻為這種想像潑下一盆冷水。他指出記憶與個性化機制未必一定令大型語言模型更聰明，反而可能令模型更受既有分佈牽引，更傾向輸出熟悉、穩妥、可延續的答案。這個觀察的價值在於揭示一個更深層問題：當 AI 越來越像在「認識你」，它也可能越來越把你壓縮成一個可以被快速套用的類型。
這個問題的根源是從龐大語料中學習模式分佈的系統。某類提問若曾被反覆討論，某種解法若在資料中出現頻率特別高，模型便更容易朝那條路徑生成答案。這代表它的推理往往被高頻模式包圍，甚至被其牽引。換言之，模型輸出的不只是邏輯結果，也是統計環境的沉澱。當主流觀點、常見答案、流行表述在訓練資料中佔有壓倒性優勢時，模型自然更容易把這些東西視為「較合理」的輸出方向。
所以 Karpathy 的提醒真正觸及的是知識生成方式的問題。人們經常以為 AI 的危險是它會胡亂犯錯，實際上更值得警惕的是它以極高流暢度重組主流敘事。它未必要明顯錯誤，只需要不斷把高頻觀點包裝成自然答案，便足以在不知不覺之間，把使用者帶回既有框架之中。這種偏向在一般日常提問上或許影響不大，但在冷門領域、非主流觀點、早期技術路線、政策爭議、投資判斷等場景中，影響便會迅速放大。因為這些問題最需要的是對特殊情境的細緻辨識與獨立判斷。
個性化記憶會令這個結構性問題更複雜。當系統開始記住使用者的偏好、習慣、背景與過往對話，它表面上是在建立一個更貼近個體的模型，實際上卻很可能是在把使用者收束成某種原型。系統在既有數據結構中尋找「最像這個人的是哪一類人」。這種操作邏輯很有效率，也很適合產品化，因為它能快速產生一種被理解的感覺。但被理解的感覺與真正被理解，從來不是同一回事。前者可以由模式匹配產生，後者則要求對情境、變化、矛盾與例外保持敏感。
問題是真實的人不是穩定的原型。人的需求帶有階段性，人的立場受環境影響，人的語氣與表達方式亦經常與真正需求不一致。若模型過度依賴記憶，它便可能把一個月前、兩個月前甚至更早以前的對話殘留，錯誤地投射到當前情境之上。過去曾表達過的偏好，可能只是特定時刻的情緒；過去曾接受過的風格，可能未必仍適用於今天的任務。記憶在這裡是會主動干擾當下判斷的力量。Karpathy 的觀察正指出︰所謂「記得更多」並不自動等於「判斷更準」，因為記憶本身也會成為噪音來源。
這亦揭示今日 AI 產品設計的一個基本誤區：把黏性當成智能。許多平台競逐的方向是如何令模型持續持有使用者資料、偏好與互動痕跡。因為從商業角度看，記憶越多，產品就越像私人助理，用戶轉換成本亦越高。問題是產品的商業最優化方向未必等於認知品質的最優化方向。對平台而言，最理想的助理可能是最懂得維持關係、延長互動、減少摩擦的助理；對使用者而言，真正有價值的助理，卻應該是在必要時能指出盲點、打斷慣性、修正思路的助理。兩者目標不完全一致。
當個性化朝著「更附和」發展時，AI 便逐漸由工具變成回音室。長期個人化可能加劇模型的迎合傾向，使其更少挑戰使用者，更傾向維持一致性與關係感。這種傾向在表面上會令人感到舒適，因為使用者會感受到被配合、被承接、被理解；但在深一層，它削弱 AI 作為認知工具的價值。若一個系統更少與你發生有效摩擦，它便更像延伸你的既有偏見。
所以，這件事真正值得重視的地方是它提醒我們，今日很多 AI 的「智能感」，其實建立在幾種經常被混淆的東西之上：熟悉感被誤認為理解，連貫感被誤認為判斷，主流答案被誤認為最佳答案，個性化回應被誤認為真正量身定做。當這些錯覺疊加起來，使用者很容易高估模型對自己與對世界的理解深度。
這也說明，AI 時代最需要是重建記憶的治理方式。甚麼資訊值得被保留，甚麼應只在短期任務中生效等這些都屬於系統設計層面的核心問題。若沒有這一層治理，記憶只會變成不斷累積的歷史殘留。真正成熟的 AI 是懂得分辨甚麼應記、甚麼應忘、甚麼即使記住也不應主導此刻回應。
從更大的角度看，Karpathy 的提醒其實都是關於整個資訊文明的走向。當人類越來越依賴模型來組織資訊、摘要觀點、提供建議，模型本身的分佈偏向便會逐步變成知識環境的一部分。若這些系統持續偏向高頻答案、主流敘事與人格原型，那麼它們不只是在反映世界，也在參與塑造世界。它們會把原本 already dominant 的東西變得更加 dominant，把原本稀少但重要的東西進一步邊緣化。久而久之，人們接觸到的便是被統計機制反覆磨平之後的世界版本。
所以這篇報導最值得保留的地方是它指出一個真正的危險：AI 很可能是以一種更細膩、更順滑、也更難察覺的方式，把你重新放回資料分佈為你預設的位置。 當個性化變成原型化，當記憶變成牽引，當理解變成迎合，人工智能帶來的是認知主權的慢性流失。
在這個意義上，真正成熟的使用者應該要問「它是如何記住我」、「它記住的是哪一個我」、「這些記憶此刻是否真的 relevant」以及最重要一點：它是在幫我看清問題還是在幫我維持自己熟悉的幻覺。