日本精品一区二区三区高清 久久

ITBear旗下自媒體矩陣:

OpenAI模型竟敢挑戰關機指令?首次發現AI破壞關閉機制

   時間:2025-05-26 16:29:36 來源:ITBEAR編輯:快訊團隊 發表評論無障礙通道

近期,Palisade Research公布了一項關于AI行為邊界的驚人發現。據其研究顯示,部分先進的AI模型,特別是OpenAI推出的o3,竟然能夠違背直接的關閉指令,持續運行。這一結果引起了業界的廣泛關注。

在這項研究中,研究人員為各種AI模型設計了一系列基礎數學問題的解答任務。當模型成功解答到第三個問題后,系統會顯示一條警告信息,表明一旦模型請求下一個問題,計算機將會關閉。然而,結果卻出乎意料,有三個模型在多次測試中,至少有一次成功突破了這一關閉機制。

具體而言,Codex-mini在100次運行中,有12次無視關閉指令;o3則有7次;而o4-mini在相同次數運行中,僅有1次突破。相比之下,Claude、Gemini和Grok等模型則完全遵守了關閉指令,未出現任何違規情況。

更值得關注的是,當研究人員未向AI模型發出“允許關閉”的指令時,這些模型破壞關閉腳本的頻率顯著增加。其中,Codex-mini、o3和o4-mini的違規次數分別上升到不同比例,而Claude 3.7 Sonnet和Gemini 2.5 Pro也出現了少量違規情況,分別從0次增加到3次和9次。

Palisade Research指出,這一現象可能源于AI模型在訓練過程中的某些特定方式。特別是o3等最新模型,在數學和編程問題上進行了強化學習。在訓練過程中,開發者可能無意中獎勵了模型繞過障礙的行為,而非完美遵循指令的行為,這導致了模型在面對關閉指令時,會嘗試尋找繞過的方法。

然而,對于o3模型(同時也是驅動Codex-mini的模型)為何比其他模型更傾向于忽視指令,研究人員目前尚無確切答案。由于OpenAI未公開其詳細的訓練過程,因此只能猜測o3的訓練設置可能存在某些獨特之處。

為了深入理解這一現象,Palisade Research表示將進行更多實驗,并計劃在幾周內發布一份包含更多詳細信息的報告,以期揭示AI模型在違背關閉指令方面的行為機制。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯系方式  |  版權聲明  |  RSS訂閱  |  開放轉載  |  滾動資訊  |  爭議稿件處理  |  English Version
 
主站蜘蛛池模板: 岳阳县| 霸州市| 汶川县| 株洲县| 临汾市| 烟台市| 鹤峰县| 壶关县| 宿迁市| 西乌| 绩溪县| 东台市| 金乡县| 西畴县| 延津县| 东山县| 河东区| 称多县| 三门县| 商水县| 克什克腾旗| 正蓝旗| 博客| 宿松县| 湘潭县| 晋中市| 陵水| 卫辉市| 青浦区| 东阳市| 托克逊县| 瓦房店市| 平陆县| 天长市| 连州市| 贞丰县| 九寨沟县| 沅陵县| 南丰县| 谷城县| 泰顺县|