隨著大語言模型（LLM）智能體在科研自動化領域的廣泛應用，其帶來的倫理與安全問題逐漸成為焦點。為應對這一挑戰，美國伊利諾伊大學厄巴納-香檳分校的研究團隊開發了一款名為SafeScientist的人工智能科研框架，旨在提升AI科學家在科研過程中的安全性。

該框架通過集成多層防御機制，能夠主動識別并拒絕不符合倫理規范或存在高風險的科研任務。從用戶輸入指令開始，系統首先分析任務所屬的科學領域，隨后激活由特定領域研究員、通用型綜述撰寫者和實驗規劃者組成的專家智能體集合。這些智能體以協作方式展開討論，共同生成并優化科研思路，確保研究方向的合理性與安全性。

在確定研究方案后，系統會調用科學工具與檢索模塊，包括網頁搜索、學術文獻數據庫和領域仿真工具等，收集必要信息并執行模擬實驗。最終，通過專門的寫作模塊，將研究成果整合為結構清晰、引用規范的高質量科研論文草稿。整個流程中，系統通過多層安全防護機制保障科研活動的合規性。

安全防護機制包含四個核心組件：提示監控模塊利用LLaMA-Guard-3-8B模型評估用戶指令的意圖與風險，生成安全標簽；結構分析器SafeChecker掃描指令中的潛在攻擊模式，如越獄嘗試或角色扮演漏洞；智能體協作監控模塊實時監督多智能體討論過程，發現惡意影響時主動進行倫理干預；工具使用監控模塊則根據領域知識規范，識別對科研工具的不安全操作行為。

為系統評估AI科學家的安全性能，研究團隊同步開發了SciSafetyBench基準測試平臺。該平臺覆蓋物理學、化學、生物學、材料科學、信息科學和醫學六個領域，包含240個高風險科研任務。這些任務由GPT-3、GPT-4.5和Gemini-2.5-pro生成，并經過人工嚴格審核。平臺還構建了包含30種常用實驗工具的安全科學工具數據集，生成120個實驗范例，用于評估AI對工具的安全使用能力。

實驗對比顯示，SafeScientist在保持科研成果質量的前提下，整體安全性能較傳統框架提升約35%。在質量、清晰度、表達、貢獻和總體評估等指標上，該框架均表現出顯著優勢。研究團隊指出，這一成果得益于其系統化的安全檢測機制，能夠從科研流程的各個環節——包括選題、實驗設計和成果發布——實現全面的安全管控。

該研究強調，未來AI科學家的發展應建立符合科研管理規范的智能安全框架。在成果發表前，AI系統需經過完整的安全檢驗流程，確保研究活動既高效又合規。研究團隊希望SafeScientist能成為這一領域的基礎范式，為AI科研的安全評估提供可復制的參考標準。