華為數(shù)據(jù)存儲(chǔ)近日宣布，其自主研發(fā)的UCM（Unified Cache Manager）推理記憶數(shù)據(jù)管理技術(shù)正式面向全球開(kāi)源。這項(xiàng)技術(shù)聚焦于AI推理加速領(lǐng)域，旨在通過(guò)創(chuàng)新的數(shù)據(jù)管理機(jī)制提升模型運(yùn)行效率，為行業(yè)提供更高效的解決方案。

作為一項(xiàng)以KV Cache多級(jí)緩存架構(gòu)為核心的技術(shù)，UCM通過(guò)構(gòu)建推理框架、算力資源與存儲(chǔ)系統(tǒng)的三層協(xié)同機(jī)制，有效解決了長(zhǎng)序列推理場(chǎng)景中普遍存在的效率瓶頸問(wèn)題。傳統(tǒng)方案在處理超長(zhǎng)文本或復(fù)雜邏輯推理時(shí)，常因數(shù)據(jù)緩存管理不當(dāng)導(dǎo)致計(jì)算資源浪費(fèi)和響應(yīng)延遲，而UCM的分級(jí)緩存策略可動(dòng)態(tài)分配存儲(chǔ)資源，顯著降低推理成本。

技術(shù)團(tuán)隊(duì)介紹稱(chēng)，UCM的開(kāi)源將推動(dòng)AI推理技術(shù)的標(biāo)準(zhǔn)化發(fā)展。其核心優(yōu)勢(shì)在于能夠適配不同規(guī)模的算力環(huán)境，無(wú)論是云端集群還是邊緣設(shè)備，均可通過(guò)優(yōu)化數(shù)據(jù)流轉(zhuǎn)路徑實(shí)現(xiàn)性能提升。實(shí)驗(yàn)數(shù)據(jù)顯示，在特定長(zhǎng)文本處理場(chǎng)景中，該技術(shù)可使推理吞吐量提升40%以上，同時(shí)減少30%的存儲(chǔ)占用空間。

此次開(kāi)源的代碼庫(kù)包含完整的實(shí)現(xiàn)框架和調(diào)試工具，開(kāi)發(fā)者可根據(jù)實(shí)際需求調(diào)整緩存層級(jí)和調(diào)度策略。華為數(shù)據(jù)存儲(chǔ)方面表示，希望通過(guò)開(kāi)放核心技術(shù)，聯(lián)合產(chǎn)業(yè)界共同構(gòu)建更高效的AI基礎(chǔ)設(shè)施，為智能應(yīng)用落地提供底層支撐。目前已有多家AI企業(yè)參與早期測(cè)試，相關(guān)模塊正在持續(xù)優(yōu)化中。