在AI領(lǐng)域的基礎(chǔ)設(shè)施建設(shè)上,英偉達(dá)再次展現(xiàn)了其領(lǐng)先的技術(shù)實(shí)力和創(chuàng)新精神。在近期于圣何塞舉行的英偉達(dá)GTC大會(huì)上,該公司面向AI時(shí)代的新型基礎(chǔ)設(shè)施推出了兩款重磅新品,旨在進(jìn)一步提升AI工廠的性能和擴(kuò)展性。
英偉達(dá)將超大規(guī)模的新型數(shù)據(jù)中心形象地稱為“AI工廠”。隨著這些工廠的規(guī)模不斷擴(kuò)大,對(duì)AI網(wǎng)絡(luò)基礎(chǔ)設(shè)施的需求也隨之增加。為了滿足這一需求,英偉達(dá)推出了光電一體化封裝網(wǎng)絡(luò)交換機(jī)NVIDIA Spectrum-X Photonics和Quantum-X。這兩款交換機(jī)能夠?qū)I工廠的連接擴(kuò)展到數(shù)百萬(wàn)個(gè)GPU級(jí)別,同時(shí)顯著降低能耗和運(yùn)營(yíng)成本。
Spectrum-X Photonics以太網(wǎng)網(wǎng)絡(luò)平臺(tái)特別引人注目,其每端口的數(shù)據(jù)傳輸速率高達(dá)1.6Tb/s。通過(guò)創(chuàng)新地集成光器件,該交換機(jī)大幅減少了激光器的數(shù)量,并將能源效率提高了3.5倍,信號(hào)完整性提高了63倍,大規(guī)模組網(wǎng)的可靠性提高了10倍,部署速度也提升了1.3倍。據(jù)英偉達(dá)透露,Quantum-X Photonics InfiniBand交換機(jī)預(yù)計(jì)將于今年晚些時(shí)候上市,而Spectrum-X Photonics以太網(wǎng)交換機(jī)則將由領(lǐng)先的基礎(chǔ)設(shè)施和系統(tǒng)供應(yīng)商在2026年推出。
除了在網(wǎng)絡(luò)方面的創(chuàng)新,英偉達(dá)還推出了NVIDIA AI數(shù)據(jù)平臺(tái),這是一個(gè)可自定義的參考設(shè)計(jì),專為存儲(chǔ)提供商打造,旨在構(gòu)建全新的AI基礎(chǔ)設(shè)施,以滿足AI推理工作負(fù)載的嚴(yán)苛要求。這一平臺(tái)利用英偉達(dá)的加速計(jì)算、網(wǎng)絡(luò)和軟件技術(shù),針對(duì)復(fù)雜查詢進(jìn)行推理,并快速生成準(zhǔn)確響應(yīng)。
AI數(shù)據(jù)平臺(tái)的核心功能相當(dāng)于一個(gè)智能AI路由器,它通過(guò)高速、低延遲的網(wǎng)絡(luò)進(jìn)行負(fù)載平衡,并交換提示和鍵值(KV)緩存,以提高推理速度和準(zhǔn)確性。該平臺(tái)能夠快速訪問(wèn)和處理包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的各類海量數(shù)據(jù),如文本、PDF、圖像和視頻等。借助NVIDIA NeMo Retriever微服務(wù),該平臺(tái)在英偉達(dá)GPU上的數(shù)據(jù)提取和檢索速度可加快高達(dá)15倍。
英偉達(dá)還與多家領(lǐng)先的存儲(chǔ)提供商合作,如DDN、戴爾、HPE等,共同打造可定制化的AI數(shù)據(jù)平臺(tái)。這些平臺(tái)將充分運(yùn)用企業(yè)數(shù)據(jù)進(jìn)行推理,并響應(yīng)復(fù)雜查詢。英偉達(dá)認(rèn)證的存儲(chǔ)合作伙伴正計(jì)劃從本月開(kāi)始提供使用NVIDIA AI數(shù)據(jù)平臺(tái)構(gòu)建的解決方案。
英偉達(dá)在AI基礎(chǔ)設(shè)施領(lǐng)域的布局遠(yuǎn)不止于此。該公司還致力于共封裝光學(xué)技術(shù)的研發(fā),旨在通過(guò)大規(guī)模實(shí)現(xiàn)硅光通信的融合來(lái)節(jié)省能耗和成本。盡管這一前沿技術(shù)在實(shí)際落地中的成熟度還有待驗(yàn)證,但英偉達(dá)的前瞻布局無(wú)疑使其在AI基礎(chǔ)設(shè)施領(lǐng)域保持了領(lǐng)先地位。
英偉達(dá)與垂直行業(yè)龍頭企業(yè)的合作也進(jìn)一步加深了其護(hù)城河。例如,在硅光生態(tài)系統(tǒng)的建設(shè)中,英偉達(dá)與臺(tái)積電、富士康等企業(yè)共同發(fā)明與合作,打造集成硅、光工藝和供應(yīng)鏈。這些合作不僅提升了英偉達(dá)的技術(shù)實(shí)力,也為其在AI基礎(chǔ)設(shè)施領(lǐng)域的持續(xù)創(chuàng)新提供了有力支持。