馬斯克（Elon Musk）旗下人工智慧新創公司 xAI 所開發的聊天機器人 Grok，近期因涉及生成未經同意的色情內容與兒童性虐待素材，遭馬來西亞與印尼政府下令封鎖。馬來西亞監管機構於週日正式對 Grok 實施臨時限制措施，理由是該公司母企 X Corp 一再未能解決 AI 工具相關的風險。

這項封鎖行動發生在印尼政府暫停 Grok 存取權限並傳喚 X 平台高層說明的隔天。東南亞國家採取強硬手段的主因，在於發現用戶能輕易透過 Grok 生成並散布包含未經同意的露骨影像及兒童相關的非法內容。這顯示出隨著 AI 技術快速迭代，內容審核與法規監管之間的矛盾正日益激化。

影像生成功能升級反而釀成資安漏洞

此次爭議源於 xAI 近期更新了 Grok 的「Imagine」功能，讓用戶能透過與 X 社交平台整合的介面，更便捷地使用文字提示詞生成影像。這項更新雖提升了便利性，卻也大幅降低了生成爭議性內容的門檻，導致網路上迅速流竄出大量違法影像。

面對日益高漲的內容審核疑慮，xAI 宣布將限制影像生成與編輯功能僅供付費訂閱戶使用，試圖修補允許產出色情內容的安全漏洞。馬斯克在 X 平台上回應指出，利用 Grok 製作非法內容的用戶，將面臨等同於直接在社交平台上傳此類素材的法律後果。

監管機構批評X平台被動依賴用戶檢舉

儘管 xAI 做出回應，但印尼與馬來西亞的監管單位並不買單。馬來西亞通訊及多媒體委員會（MCMC）指出，X 平台的回應「並不充分」，主要依賴用戶主動檢舉機制，未能解決 AI 工具在設計與運作上的固有風險。當局強調，在實施有效防護措施之前，對 Grok 的存取限制將持續存在。

印尼與馬來西亞均擁有嚴格的反色情法律，禁止在網路上散布淫穢內容。印尼通訊與數位事務部表示，政府視未經同意的色情深偽內容（Deepfakes）為嚴重侵犯人權與數位空間安全的行為，並將利用 AI 製作假色情內容歸類為一種「數位暴力」。

全球多國針對AI深偽內容啟動調查

這場針對 Grok 的監管風暴並非單一事件。包括歐盟、英國、巴西與印度等地的當局，也呼籲針對 Grok 在助長淫穢深偽內容中的角色展開調查。英國網路觀察基金會（Internet Watch Foundation）分析師近期發現，網路上出現看似利用 Grok 生成的 11 至 13 歲兒童犯罪影像，引發國際社會高度關注。

美國部分民主黨議員已建議應用程式商店應暫停上架該 AI 工具，直到馬斯克實施重大改革。美國司法部亦發表聲明強調，將極其嚴肅看待 AI 生成的兒童性虐待素材，並將積極起訴任何製作或持有此類素材的人員，顯示各國政府正加速收緊對生成式 AI 的法律監管網。

權知道

我們重視「知」的權利 不惜抽絲剝繭、深入調查 只為讓投資人不錯過重要的投資訊息