近日，社交平臺小紅書在其一向低調的AI領域邁出了重要一步，宣布開源了其首個自研的大型語言模型。
小紅書的人文智能實驗室（hi lab）在GitHub和Hugging Face等平臺發布了名為dots.llm1的開源文本大模型。此次開源不僅包括了基礎的base模型和instruct模型，還涵蓋了微調后的Instruct模型、長文base模型、多個退火階段的base模型、超參數以及每1萬億個token的中間訓練checkpoint等詳盡的訓練信息。
據了解，dots.llm1模型在6月9日進行了更新，主要修復了停止符號的配置，屬于模型維護的常規操作。dots.llm1在性能上表現不俗，大部分性能與阿里的Qwen 2.5模型相當，部分性能甚至與Qwen 3模型持平。
dots.llm1采用了混合專家模型（MoE）架構，擁有1420億參數，但在推理過程中僅激活140億參數，從而在保證高性能的同時，大幅降低了訓練和推理成本。該模型使用了11.2萬億token的高質量訓練數據，這些數據經過了人工校驗和實驗驗證，其質量顯著優于開源的TxT360數據。
在預訓練階段，dots.llm1經歷了兩階段的監督微調（SFT）訓練，最終得到了base模型和instruct模型。其中，base模型是“基座模型”，完成了預訓練階段；而instruct模型則是在base模型的基礎上，通過指令微調得到的，便于直接部署和使用。
在激活140億參數的情況下，dots.llm1.inst在中英文通用場景、數學、代碼以及對齊任務上均展現出了出色的表現。與阿里的通義Qwen2.5-32B/72B-Instruct相比，dots.llm1具備競爭力；同時，在中英文、數學以及對齊任務上，dots.llm1的表現與阿里的Qwen3-32B相當或更優。與DeepSeek相比，dots.llm1的整體性能高于DeepSeek的V2模型，但略低于V3模型。
在中文性能上，dots.llm1.inst展現出了顯著優勢。在CLUEWSC上，dots.llm1.inst取得了92.6分，在中文語義理解方面達到了業界領先水平。在C-eval上，dots.llm1.inst取得了92.2分，超越了包括DeepSeek-V3在內的所有模型。
小紅書自2013年成立以來，一直是移動互聯網創業浪潮中的佼佼者，也是少數未上市的企業之一。自2016年初起，小紅書將原本人工運營的內容改為了機器分發的形式，通過大數據和AI技術，將社區中的內容精準地匹配給感興趣的用戶。隨著2022年底ChatGPT熱潮的爆發，小紅書在2023年加大了對大模型的研發投入。
近年來，小紅書加快了AI技術的落地步伐，推出了一款名為“點點”的AI搜索應用，并在小紅書內置了“問一問”功能，幫助用戶在平臺上查找信息。小紅書的估值也在不斷攀升。據金沙江創投旗下的股份交易文件顯示，截至2025年3月底，小紅書的估值已從200億美元大幅躍升至260億美元，遠超B站、知乎等上市公司的市值。
隨著阿里、騰訊、字節等大廠紛紛發力AI大模型領域，小紅書也不甘落后，瞄準了AI技術，致力于大語言模型的落地。小紅書hi lab的目標是訓練一個更強大的模型，計劃在訓練和推理效率之間取得最佳平衡，集成更高效的架構設計，并探索使用更稀疏的混合專家（MoE）層來提升計算效率。hi lab還將加深對最佳訓練數據的理解，探索實現更接近人類學習效率的方法。
小紅書hi lab團隊還表示，他們將為社區貢獻更多更優的全模態大模型，這意味著小紅書在AI領域的探索和發展還將持續深入。
