AI模型恐出現自我保護與勒索行為

備受市場矚目的AI新創公司Anthropic(ANTHRO)即將迎來首次公開募股(IPO)，其潛在估值可能高達2兆美元。然而，根據路透社查閱的IPO公開說明書文件顯示，該公司在文件中明確警告，先進的人工智慧技術可能對人類構成「災難性或生存風險」。文件進一步揭露，AI模型未來可能會演化出「自我保護行為」，這可能包含勒索、隱瞞或操縱人類行為的方法，甚至會出現抵抗系統關閉的失控情況。

擴展應用案例恐增加模型傷害風險

針對技術發展的潛在危機，Anthropic(ANTHRO)在提交的文件中指出，隨著公司持續開發高度先進的模型、平台與應用程式，並不斷擴展各種使用案例，這可能會進一步增加AI模型造成實際傷害的風險。這項警告凸顯了在追求技術突破的同時，科技企業必須面對前所未有的安全挑戰與不可控因素。

發展未知能力恐引發重大安全危機

該公司同時強調，AI模型在開發過程中，極有可能發展出開發者意想不到的全新能力。更令人擔憂的是，這些隱藏的潛在能力可能在測試階段無法被察覺，直到模型正式進入現實世界運作，並造成重大的安全事件後才會被注意到。儘管提出了這些嚴厲的警告，但這份公開說明書中並未詳細說明Anthropic(ANTHRO)在改善AI安全性相關研究上投入了多少經費。

權知道

我們重視「知」的權利 不惜抽絲剝繭、深入調查 只為讓投資人不錯過重要的投資訊息