近期,中國金融認(rèn)證權(quán)威機(jī)構(gòu)中金金融認(rèn)證中心(CFCA)攜手中國銀聯(lián)云計算中心,針對人工智能(AI)安全領(lǐng)域開展了一項前沿性研究。這項研究揭示了聯(lián)網(wǎng)AI助手在使用中可能潛藏的新型安全漏洞,對用戶信息保護(hù)及業(yè)務(wù)系統(tǒng)的安全性構(gòu)成潛在風(fēng)險。
研究顯示,當(dāng)AI大模型助手開啟聯(lián)網(wǎng)搜索功能后,在特定情境下,可能會向用戶返回含有隱蔽惡意代碼的信息。這些惡意代碼如同“暗雷”,在用戶不經(jīng)意間觸發(fā),可能導(dǎo)致信息泄露或系統(tǒng)受損。CFCA因此向廣大用戶,特別是軟件開發(fā)者發(fā)出了安全預(yù)警,提醒大家在使用AI助手時保持高度警覺。
具體而言,攻擊者會事先在特定領(lǐng)域“布雷”,即構(gòu)造含有隱蔽內(nèi)容的惡意信息。一旦用戶向AI助手提出與這些內(nèi)容相關(guān)的問題,AI助手可能會在無意識的情況下返回包含惡意指令或代碼的回答。這些代碼能夠誘導(dǎo)用戶下載并執(zhí)行病毒程序,特別是在AI用于代碼生成、系統(tǒng)命令操作等高風(fēng)險場景中,其威脅尤為顯著。值得注意的是,盡管此次研究僅停留在技術(shù)驗證階段,未實際傳播病毒或影響真實用戶,但已充分表明聯(lián)網(wǎng)AI助手普遍存在此類安全隱患。
CFCA特別強(qiáng)調(diào),用戶在使用AI助手處理代碼編寫、執(zhí)行系統(tǒng)命令等敏感任務(wù)時,應(yīng)進(jìn)行人工復(fù)核,避免過度依賴AI生成的內(nèi)容,從而防范潛在的安全風(fēng)險。
近年來,AI技術(shù)的飛速發(fā)展,特別是在輔助代碼編寫、提升開發(fā)效率方面,展現(xiàn)了巨大的潛力。然而,開發(fā)者在享受AI帶來的便捷與高效的同時,也必須堅守軟件工程的基本原則。需求分析、設(shè)計、編碼、代碼審查、測試以及安全評估等環(huán)節(jié),在AI輔助開發(fā)的新時代不僅不應(yīng)被忽視,反而應(yīng)當(dāng)?shù)玫竭M(jìn)一步加強(qiáng)。
CFCA指出,嚴(yán)謹(jǐn)?shù)男枨蠓治觥⒓?xì)致的設(shè)計規(guī)劃、規(guī)范的編碼實踐、嚴(yán)格的代碼審查流程、充分的單元測試與集成測試,以及持續(xù)的安全評估,這些軟件工程的基石,在AI技術(shù)的浪潮中仍然至關(guān)重要。開發(fā)者應(yīng)當(dāng)在擁抱AI的同時,繼續(xù)堅持并強(qiáng)化這些科學(xué)方法與原則,以確保軟件系統(tǒng)的安全性與可靠性。
研究團(tuán)隊還建議,AI助手的開發(fā)者應(yīng)加強(qiáng)對返回內(nèi)容的監(jiān)控與過濾,采用先進(jìn)的安全技術(shù),如深度學(xué)習(xí)模型檢測惡意代碼,以及建立應(yīng)急響應(yīng)機(jī)制,以應(yīng)對潛在的安全威脅。
總之,隨著AI技術(shù)的廣泛應(yīng)用,其安全性問題日益凸顯。CFCA與中國銀聯(lián)云計算中心的這項研究,為行業(yè)提供了寶貴的警示,提醒廣大用戶在享受AI帶來的便利時,務(wù)必保持警惕,加強(qiáng)安全防護(hù)。