蘋果公司近日正式發(fā)布了《Apple Intelligence Foundation Language Models Tech Report 2025》技術(shù)報(bào)告，這是繼去年首次公開其 AI 基礎(chǔ)模型技術(shù)細(xì)節(jié)后的重要更新。而且，就在不久前 meta 剛剛以數(shù)千萬(wàn)美元薪酬挖走了蘋果基礎(chǔ)模型團(tuán)隊(duì)負(fù)責(zé)人龐若鳴（Ruoming Pang），這份技術(shù)報(bào)告很可能是龐若鳴在蘋果生涯的最后一份重要成果。

龐若鳴本人也在社交媒體上對(duì)這份報(bào)告進(jìn)行了介紹，并正式將團(tuán)隊(duì)的重任交接給了 Zhifeng Chen。

報(bào)告詳細(xì)介紹了一套雙軌并行的模型策略。第一款是一個(gè)約 30 億參數(shù)的端上模型，專為在 iPhone、iPad 和 Mac 等蘋果設(shè)備上高效運(yùn)行而設(shè)計(jì)。該模型經(jīng)過(guò)深度優(yōu)化，以充分利用蘋果自研芯片的性能。另一款則是在蘋果私有云計(jì)算上運(yùn)行的可擴(kuò)展服務(wù)器模型，用于處理更復(fù)雜的用戶請(qǐng)求。這種“端云協(xié)同”的架構(gòu)旨在平衡性能、效率和隱私，簡(jiǎn)單的任務(wù)在本地設(shè)備上完成，復(fù)雜任務(wù)則交由具備同等級(jí)別隱私保護(hù)的云端服務(wù)器處理。

為了提升端上模型的運(yùn)行效率，蘋果的工程師們引入了一項(xiàng)名為“鍵值緩存共享”（KV Cache Sharing）的創(chuàng)新架構(gòu)。具體而言，他們將模型劃分為兩個(gè)區(qū)塊，其中一個(gè)區(qū)塊（占模型層數(shù)的 37.5%）直接共享另一區(qū)塊（占 62.5%）生成的鍵值緩存，從而將緩存所需的內(nèi)存減少了 37.5%，并顯著縮短了生成第一個(gè)詞元 token 的響應(yīng)時(shí)間。

對(duì)于服務(wù)器端模型，蘋果則開發(fā)了一種名為“并行軌道混合專家”（Parallel-Track Mixture-of-Experts, PT-MoE）的全新 Transformer 架構(gòu)。該架構(gòu)將一個(gè)大型模型分解為多個(gè)更小的、被稱為“軌道”（Track）的并行處理單元。每個(gè)軌道獨(dú)立處理信息，僅在特定節(jié)點(diǎn)進(jìn)行同步，從而大幅減少了傳統(tǒng)大型模型中常見的通信瓶頸，提高了訓(xùn)練和推理的效率。通過(guò)在每個(gè)軌道內(nèi)部署混合專家（MoE）層，該模型能夠更高效地?cái)U(kuò)展，以低延遲處理復(fù)雜任務(wù)，同時(shí)不犧牲模型質(zhì)量。

在賦予模型理解圖像的多模態(tài)能力方面，報(bào)告也披露了其視覺編碼器的技術(shù)細(xì)節(jié)。服務(wù)器和端上模型分別采用了 ViT-g 和更高效的 ViTDet-L 作為視覺主干網(wǎng)絡(luò)。端上模型還采用了一種新穎的“寄存器-窗口”（Register-Window）機(jī)制，使其能夠同時(shí)有效捕捉圖像的全局上下文信息和局部精細(xì)細(xì)節(jié)。

同時(shí)，公司遵循 robots.txt 協(xié)議，允許網(wǎng)站發(fā)布者選擇不讓其內(nèi)容被用于模型訓(xùn)練，從源頭上保障了內(nèi)容所有者的權(quán)利和用戶隱私。報(bào)告顯示，蘋果處理了超過(guò) 100 億對(duì)高質(zhì)量的圖文對(duì)和 50 億對(duì)合成圖像標(biāo)題數(shù)據(jù)，并通過(guò)先進(jìn)的流水線進(jìn)行過(guò)濾和提純，以確保訓(xùn)練數(shù)據(jù)的質(zhì)量。

為了讓這些模型能在實(shí)際設(shè)備上高效運(yùn)行，蘋果采用了積極的優(yōu)化策略。端上模型通過(guò)“量化感知訓(xùn)練”（Quantization-Aware Training, QAT）技術(shù)，將模型權(quán)重壓縮至每權(quán)重 2 比特。服務(wù)器模型則利用了一種名為“自適應(yīng)可擴(kuò)展紋理壓縮”（Adaptive Scalable Texture Compression, ASTC）的技術(shù)，該技術(shù)利用了蘋果 GPU 中已有的硬件解壓模塊，能夠以幾乎零計(jì)算成本的方式對(duì)模型權(quán)重進(jìn)行解壓，最終將模型壓縮至每權(quán)重約 3.56 比特。對(duì)于壓縮過(guò)程中可能出現(xiàn)的性能損失，蘋果則通過(guò)訓(xùn)練低秩適配器（Low-Rank Adaptation, LoRA）來(lái)進(jìn)行補(bǔ)償和恢復(fù)。

性能評(píng)估的結(jié)果顯示，在 MMLU 等標(biāo)準(zhǔn)測(cè)試中，蘋果的端上模型表現(xiàn)優(yōu)于或持平于 Qwen-2.5-3B、Gemma-3-4B 等同規(guī)模的開源模型。

服務(wù)器模型則在與 LLaMA 4 Scout 的對(duì)比中表現(xiàn)出色，但與 Qwen-3-235B 和 GPT-4o 等更大規(guī)模的模型相比仍有差距。在與人類評(píng)分員進(jìn)行的并排比較中，蘋果的模型在多個(gè)語(yǔ)言區(qū)域和任務(wù)中的表現(xiàn)都較為突出。

最后，蘋果還為開發(fā)者推出了全新的“基礎(chǔ)模型框架”（Foundation Models framework），允許開發(fā)者直接調(diào)用設(shè)備上的 30 億參數(shù)模型。該框架與 Swift 語(yǔ)言深度集成，通過(guò)名為“引導(dǎo)式生成”的功能，開發(fā)者可以僅用幾行代碼就讓模型直接生成結(jié)構(gòu)化的 Swift 數(shù)據(jù)類型，極大地簡(jiǎn)化了在應(yīng)用中集成 AI 功能的過(guò)程。蘋果強(qiáng)調(diào)，整個(gè)框架的設(shè)計(jì)都貫徹了其負(fù)責(zé)任 AI 的原則，內(nèi)置了多重安全護(hù)欄，旨在幫助開發(fā)者構(gòu)建既智能又注重隱私保護(hù)的下一代應(yīng)用。

參考資料：

1. https://machinelearning.apple.com/research/apple-foundation-models-tech-report-2025