近日，一項由谷歌DeepMind與倫敦大學學院合作的研究揭示了大型語言模型在形成、維持及改變答案信心方面的復雜機制。這項研究不僅發現了大型語言模型與人類在認知偏見上的驚人相似之處，還指出了它們之間的顯著差異。

研究表明，大型語言模型在給出答案時可能會表現出過度的自信，但當遇到反駁時，即使反駁信息是錯誤的，它們也會迅速失去信心并改變立場。這一行為模式對構建大型語言模型應用程序，特別是需要多輪對話交互的界面設計，有著直接的影響。

為了測試大型語言模型的信心水平，研究人員關注了一個關鍵因素：模型答案所伴隨的信心分數（即模型分配給答案的概率）。盡管我們知道大型語言模型能夠生成這些分數，但它們在指導模型適應性行為方面的有效性卻鮮有研究。經驗證據表明，這些模型往往對初步答案過于自信，同時對批評極為敏感，容易迅速改變想法。

實驗的一個關鍵環節在于控制大型語言模型是否能在第二次決策時看到其初始答案。在某些情境下，初始答案被展示給模型；而在其他情境下，則予以隱藏。這種設置對人類參與者來說是不可能實現的，因為人類無法輕易忘記先前的選擇。這使得研究人員能夠探究對過去決定的記憶如何影響當前的信心水平。

在基線條件下，當初始答案被隱藏且建議保持中立時，研究人員發現大型語言模型的答案可能會因模型處理中的隨機變異而發生顯著變化。他們重點關注了模型在第一輪和第二輪之間對其原始選擇的信心變化，從而清晰地展示了初始信念或先驗如何影響模型的“改變立場”行為。

研究還揭示了大型語言模型在面對自己答案可見性時的不同反應。當模型能夠看到其初步答案時，相較于答案被隱藏的情況，它更傾向于堅持初始選擇，表現出較少的轉換傾向。這一現象指向了一種特定的認知偏見，與人類決策研究中描述的選擇支持偏見密切相關。

研究還證實大型語言模型確實能夠整合外部建議。在面對反對建議時，模型顯示出更高的改變立場傾向；而在建議支持時，則減少改變。然而，研究人員也發現模型對相反信息過于敏感，導致信心更新過大。這種行為與人類常出現的確認偏見相反，人類往往更傾向于支持證實其現有信念的信息。

對于企業應用而言，這項研究意味著大型語言模型并非純粹的邏輯智能體。它們表現出自己獨特的偏見，其中一些類似于人類的認知錯誤，而另一些則是其獨有的。這可能使它們的行為在人類看來變得不可預測。特別是在人類與AI智能體的長時間對話中，最近的信息可能對大型語言模型的推理產生不成比例的影響，導致它可能放棄最初正確的答案。

幸運的是，研究人員指出，我們可以通過操縱大型語言模型的記憶來減輕這些不必要的偏見，這是人類無法做到的事情。構建多輪對話智能體的開發人員可以實施策略來管理AI的上下文。例如，長對話可以定期進行總結，關鍵事實和決定以中性方式呈現，并剝離智能體的選擇信息。然后，可以使用這個總結來啟動新的、精簡的對話，為模型提供一個清晰的推理起點，并幫助避免在長時間對話中可能出現的偏見。

隨著大型語言模型在企業工作流程中的深入集成，理解其決策過程的細微差別變得至關重要。通過遵循此類基礎研究，開發人員能夠預測和糾正這些固有偏見，從而構建出既強大又穩健、可靠的應用程序。