在人工智能應用蓬勃發展的當下，亞馬遜云科技推出了一系列創新的可觀測性解決方案，旨在為企業打造更加高效、可靠的AI應用落地路徑。這些方案聚焦于AI應用開發過程中的三大核心環節：指標收集、追蹤以及日志記錄，從而全面提升了應用的可觀測性。

AI應用的開發面臨著多重挑戰。其中，隨機性問題尤為突出，即便基礎模型不斷迭代，AI應用的輸出結果仍難以完全預測。例如，對于同一問題，AI可能會給出迥異的答案，這無疑增加了可追蹤性的難度。開發者需要深入追蹤每個答案的生成過程，以確定答案的質量。AI應用的效果評估也頗具主觀性，難以簡單判定對錯，需要更為科學合理的統計測量方式。而隨著業務規模的擴大，如何控制AI應用的平均成本，也成為了企業面臨的一大難題。

為了應對這些挑戰，亞馬遜云科技將AI應用開發過程細分為技術驗證、實施擴展以及生產優化三個階段。在技術驗證階段，開發者可以密切關注模型性能指標，如準確性、速度和穩定性等，從而選擇最佳模型。同時，通過追蹤整個應用的響應時間和處理邏輯，開發者可以進一步優化開發流程。在實施擴展階段，當業務逐步鋪開，開發者需要確保從內測到全面推廣的順利進行，并借助可觀測性解決方案快速分析和定位可能出現的問題。而在生產優化階段，開發者則可以利用可觀測性數據對成本和用戶行為進行深入分析，以留住客戶，并通過A/B測試等方式，決定是否引入新的模型或流程。

亞馬遜云科技的可觀測性解決方案涵蓋了多個層面。首先，通過與大模型提供商如OpenAI、Anthropic等的API集成，亞馬遜云科技提供了便捷的SDK，用于收集每次調用的輸入輸出token數、延遲等關鍵指標。其次，在框架層面，亞馬遜云科技同樣提供了相應的SDK，以追蹤整個工作流程，包括不同模型和模塊之間的調用關系。亞馬遜云科技還能夠監控GPU的資源使用情況，以提高成本效益。

這些SDK嚴格遵循OpenTelemetry社區定義的規范，能夠與亞馬遜云科技的服務如CloudWatch、X-Ray等實現無縫集成，提供直觀的可視化展示和分析功能。開發者可以在CloudWatch中清晰地看到組件之間的關系圖，并通過點擊具體組件，深入了解其作為工作流的每個步驟，包括調用的模型、次數、耗時等，從而快速定位瓶頸并優化延遲。

除了集成現有的開源框架外，亞馬遜云科技還推出了自有的多Agent框架——Bedrock Agent和Sagemaker Strands Agent。Bedrock Agent能夠在控制臺直觀展示每個Agent的交互過程，包括輸入輸出、耗時等關鍵信息，有助于開發者更好地理解和優化流程。而Sagemaker Strands Agent則通過SDK自動收集追蹤和指標數據，開發者只需將數據導出到CloudWatch、X-Ray等服務進行可視化和分析。這兩種框架優勢互補，能夠滿足不同場景下的需求。

在亞馬遜云科技的一次演示中，通過基于Sagemaker Strands Agent的亞馬遜云科技小助手Demo，現場展示了如何利用可觀測性解決方案追蹤多Agent交互、調用大模型等過程，并分析指標數據。該Demo采用了多Agent框架，包括一個主助手Agent和三個小Agent，分別負責亞馬遜云科技文檔搜索、成本分析和架構圖設計。其中兩個Agent運用了先進的MCP技術，充分展示了可觀測性在新興AI技術中的應用潛力。

亞馬遜云科技的可觀測性解決方案為AI應用開發提供了全方位的支持，不僅提高了開發效率、優化了性能和控制了成本，還加速了AI應用的落地進程。通過深入收集和分析AI應用的指標、追蹤和日志數據，可觀測性工具幫助開發者全面了解了模型選擇、流程優化、成本分析等各個環節，從而實現了更好的客戶體驗，并為企業帶來了可觀的收益。亞馬遜云科技與開源社區的緊密合作，以及多種可觀測性框架的集成，為開發者提供了靈活多樣的選擇。而與亞馬遜云科技服務的無縫集成，則使得AI應用的開發、部署和優化變得更加高效和可控。