近日，小紅書在人工智能領(lǐng)域邁出了重要一步，正式對(duì)外宣布其自主研發(fā)的dots.llm1大模型已成功開源。這款大模型不僅擁有令人矚目的1420億參數(shù)混合專家模型（MoE）架構(gòu)，還配備了高達(dá)11.2萬億token的高質(zhì)量訓(xùn)練數(shù)據(jù)，彰顯了小紅書在技術(shù)研發(fā)上的深厚實(shí)力。

dots.llm1模型在多項(xiàng)性能測(cè)試中展現(xiàn)出了與阿里Qwen 3模型不相上下的實(shí)力，特別是在中文任務(wù)處理方面，其表現(xiàn)尤為突出。在權(quán)威的CLUEWSC評(píng)測(cè)中，dots.llm1模型取得了92.6分的優(yōu)異成績(jī)，這一分?jǐn)?shù)不僅證明了模型在中文語言理解方面的強(qiáng)大能力，也將其推至了業(yè)界的領(lǐng)先地位。

為了提升模型的計(jì)算效率，小紅書的研發(fā)團(tuán)隊(duì)采用了多項(xiàng)創(chuàng)新技術(shù)。其中，Interleaved 1F1B with AlltoAll overlap和Grouped GEMM優(yōu)化等技術(shù)的引入，顯著提高了模型的運(yùn)算速度和性能。這些技術(shù)優(yōu)化不僅確保了模型在處理大規(guī)模數(shù)據(jù)時(shí)的高效性，也為后續(xù)的模型迭代和優(yōu)化奠定了堅(jiān)實(shí)的基礎(chǔ)。

dots.llm1模型的開源，是小紅書對(duì)技術(shù)開放和共享理念的踐行。小紅書表示，希望通過此舉推動(dòng)人工智能技術(shù)的普及和發(fā)展，為更多的開發(fā)者提供優(yōu)質(zhì)的模型資源和研究平臺(tái)。同時(shí)，這也展示了小紅書在技術(shù)創(chuàng)新和生態(tài)建設(shè)方面的堅(jiān)定決心和長(zhǎng)遠(yuǎn)規(guī)劃。

據(jù)了解，小紅書的hi lab團(tuán)隊(duì)將繼續(xù)致力于dots.llm1模型的優(yōu)化和完善工作。未來，團(tuán)隊(duì)將探索更稀疏的混合專家（MoE）層等先進(jìn)技術(shù)，以進(jìn)一步提升模型的性能和適用性。小紅書還計(jì)劃為社區(qū)貢獻(xiàn)更多全模態(tài)大模型資源，為人工智能技術(shù)的多元化應(yīng)用和發(fā)展貢獻(xiàn)力量。