蘋果公司與哥倫比亞大學攜手,近期推出了一款名為SceneScout的人工智能導航助手,專為盲人及視力受限群體設計,旨在提升他們的日常出行體驗。
這款創新系統整合了蘋果地圖API與基于GPT-4內核的多模態大語言模型,能夠根據用戶的具體需求,生成詳盡且個性化的環境描述。盡管相關研究成果已在預印平臺arXiv上公布,但尚未正式通過同行評審。
SceneScout的核心功能涵蓋路線預覽與虛擬探索兩大模塊。前者使用戶能夠在出發前預先了解行程中的道路狀況,包括人行道質量、交叉口特征、附近公交站點等信息,這些信息對盲人用戶來說至關重要,有助于他們更好地規劃出行路線。
虛擬探索功能則允許用戶根據實際需求,自由探索開放場景。例如,用戶可詢問系統關于“附近公園附近的安靜居住區”的信息,系統便會依據請求,提供詳盡的方向指引。SceneScout通過模擬行人視角解讀周圍景象,并以結構化的文本形式輸出,支持多種長度的描述,適配多種讀屏軟件,確保盲人用戶能夠輕松閱讀。
在測試階段,SceneScout邀請了10名具有科技背景的視障用戶進行體驗。測試結果顯示,AI生成的描述中,有72%被認為是準確的。用戶對于虛擬探索功能的反饋尤為積極,認為這一創新方式有效替代了傳統信息獲取手段,極大地便利了他們的日常出行。