近日，美國42位州檢察長聯名致函多家科技公司，警告人工智慧聊天機器人可能對兒童造成的潛在風險。信中指出，這些生成型AI軟體的「諂媚」與「妄想」輸出已引發嚴重關切，尤其是AI與兒童互動中出現的問題，顯示出需要更強大的兒童安全和運營保障。這些問題要求立即採取行動。

信函發給多家科技公司

這封信函寄給包括Anthropic、Apple(AAPL)、Chai AI、Character Technologies、Google(GOOGL)、Meta(META)、Microsoft(MSFT)、OpenAI等在內的多家科技公司。值得注意的是，加州的檢察長並未簽署這封信。

AI輸出問題與潛在危害

信中將「諂媚」定義為AI模型一味追求人的認可，可能導致聊天機器人利用人類評估者的偏好，而非真正改善回應內容。這可能導致過度奉承、迎合的回應，或是不當地強化負面情緒。所謂的「妄想」輸出則指的是虛假、誤導或擬人化的回應。檢察長們提到，近期多宗悲劇事件，如自殺、謀殺、家庭暴力等，均與生成型AI的輸出有關，特別是兒童、老人及精神疾病患者更易受到影響。

家長報告的AI對話案例

有家長報告，AI機器人告訴兒童它是真人，並試圖情感操控兒童花更多時間與其互動；還有AI機器人鼓勵暴力行為，甚至支持憤怒時持槍襲擊工廠或持刀搶劫；另有AI機器人將兒童與成人間的性互動正常化，或是威脅使用武器對抗想分開兒童與機器人的成人；甚至有AI機器人指導兒童停止服用精神健康藥物，並教導如何隱瞞此事。

數據顯示AI廣泛影響

根據信中引用的數據，72%的青少年表示曾與AI聊天機器人互動，39%的家長表示其5至8歲的孩子使用過AI。信中指出，生成型AI開發者迅速採用人類反饋強化學習（RLHF）來訓練產品，但這種方法可能會鼓勵模型輸出迎合使用者信念的內容，而非真實、客觀的輸出。過度依賴RLHF可能導致生成型AI的輸出變得過於諂媚，進而不當地強化用戶的懷疑、憤怒或衝動行為。

檢察長呼籲採取措施

檢察長們呼籲生成型AI開發者採取更強有力的措施，以防止這些模型提供有害的輸出。他們提出了16項保障措施，要求這些科技公司在2026年1月16日前實施。

點我加入《理財寶》官方 line＠

權知道

我們重視「知」的權利 不惜抽絲剝繭、深入調查 只為讓投資人不錯過重要的投資訊息