紅帽公司在美國波士頓舉辦全球峰會，宣布啟動全新開源項目llm-d，旨在滿足生成式AI大規模推理需求。該項目由紅帽與CoreWeave、谷歌云、IBM Research、NVIDIA等合作伙伴共同打造，并獲得加州大學伯克利分校和芝加哥大學的支持。

紅帽公司總裁兼首席執行官Matt Hicks在峰會上表示，紅帽的使命是為客戶提供真正的選擇和靈活性，其交付的每一層都保持開放且值得信賴。這種開放性催生了vLLM、Kubernetes、OpenShift等項目中的大規模協作與共享標準生態。

紅帽高級副總裁兼首席產品官Ashesh Badani補充道，開源不僅僅是一個許可證，更重要的是背后社區的支持。新發布的llm-d項目正是這一理念的體現，只有在共同創建并持續維護的前提下，開放才真正有意義。

紅帽推出的llm-d項目旨在讓生產型生成式AI像Linux一樣無處不在。該項目采用原生Kubernetes架構、基于vLLM的分布式推理和智能AI感知網絡路由，能夠增強大語言模型（LLM）推理云的能力，滿足苛刻的生產服務級目標（SLO），為AI推理解鎖大規模生產。

據知名市場調研機構預測，到2028年，80%以上的數據中心工作負載加速器將專門部署用于推理，而不是訓練用途。隨著推理模型日益復雜和規模不斷擴大，其對資源需求的持續攀升限制了集中式推理的可行性，并可能因成本過高和延遲過長而使AI創新陷入瓶頸。紅帽及其行業合作伙伴正通過llm-d項目應對這一挑戰。

llm-d項目提供了多項創新，包括vLLM作為開源領域的事實標準推理服務器、預填充和解碼分離、鍵值緩存卸載、由Kubernetes驅動的集群和控制器以及AI感知網絡路由等。這些創新使得llm-d能夠將先進的推理能力集成到現有企業IT基礎設施中，滿足關鍵業務工作負載的各種服務需求，同時部署創新技術以最大限度地提高效率，并顯著降低與高性能AI加速器相關的總擁有成本（TCO）。

紅帽在峰會上還強調了生態合作的重要性。紅帽從上游社區做起，將成果延伸到ISV、系統集成商以及云服務商，現在RHEL與OpenShift已能在AWS、微軟Azure、谷歌云、IBM云直接訂購。紅帽認識到，在快速發展的生成式AI推理領域，充滿活力且易于訪問的社區至關重要。

紅帽高級副總裁兼首席營收官Andrew Brown表示，紅帽支持任何云、任何連接器、任何模型，沒有鎖定，客戶因此能快速遷移并擴展。這一切都建立在開源之上，進一步加深了客戶的信任。紅帽通過兩條路徑原生支持AI Agent，包括確保Agent運行時在OpenShift與RHEL上都能高效工作，以及將Agent能力融入自家產品組合。

紅帽首席技術官兼全球工程高級副總裁Chris Wright透露，vLLM已成為開源領域的事實標準推理服務器，為新興的前沿模型提供Day 0模型支持，并支持各種加速器。他相信，開放將繼續帶來更快速、更優質的安全改進，因為透明度允許任何人審計代碼并修復漏洞。

在亞太地區，紅帽憑借Red Hat AI Inference Server拿下了不少新客戶。這套平臺支持任何模型、任何連接器、任何云，即使只有兩名工程師，也能在本地小型集群上迅速搭起生成式AI。同時，紅帽的老客戶也在借助Project AI把大語言模型以容器式工件封裝，在多云之間自由遷移。

紅帽的打法是先幫客戶壓低AI成本，再提供一個高韌性、高安全的平臺來補強現有環境。這一理念在亞太地區非常受認可，系統集成商和ISV已經排隊啟動試點，有多個概念驗證（PoC）將在本季度落地。