12 月 10 日消息，麻省理工學院與 Empirical Health 研究人員開展的一項新研究，利用 300 萬“人-天”的 Apple Watch 數據，開發出一種基礎模型，能夠以高度準確性預測多種健康狀況。

背景介紹

在 Yann LeCun 仍擔任 meta 首席人工智能科學家期間，他提出了“聯合嵌入預測架構”（Joint-Embedding Predictive Architecture，簡稱 JEPA）。該架構的核心思想是：讓人工智能系統推斷缺失數據所代表的含義，而非直接重建缺失數據本身。

換言之，當面對數據中的空缺時，模型學習的是如何從上下文推斷缺失部分的語義表征，而不是試圖猜測其精確數值。

例如，在處理圖像時，若某些區域被遮蔽而其他區域可見，JEPA 會將可見區域與被遮蔽區域共同映射到一個共享的嵌入空間（即“聯合嵌入”），并基于可見部分推斷被遮蔽區域的表征，而非還原其原始像素內容。

2023 年，meta 發布名為 I-JEPA 的模型時曾這樣描述這一理念：

去年，meta 首席 AI 科學家 Yann LeCun 提出了一種全新架構，旨在克服當前最先進 AI 系統的關鍵局限。他的愿景是構建能夠學習‘世界內部模型’的機器，使其能更快地學習、規劃復雜任務，并迅速適應陌生情境。

據了解，自 LeCun 最初提出 JEPA 以來，這一架構已成為“世界模型”（world models）研究領域的基石。這標志著 AI 研究范式正從大型語言模型（LLM）和 GPT 類系統所依賴的“詞元預測”轉向更注重對環境動態建模的方向。

事實上，LeCun 近期已離開 meta，創立了一家專注于“世界模型”的公司。他認為，這才是通往通用人工智能（AGI）的真正路徑。

回歸本項研究：300 萬人-天的 Apple Watch 數據

回到當前這項研究。幾個月前發表的論文《JETS：面向醫療健康行為數據的自監督聯合嵌入時間序列基礎模型》（JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare）近日已被 NeurIPS 會議的一個研討會接收。

該研究將 JEPA 的聯合嵌入方法適配于不規則的多變量時間序列數據，例如來自可穿戴設備的長期健康數據，其中心率、睡眠、活動量等指標在時間上呈現不連續性或存在大量缺失。

研究團隊使用的縱向數據集包含 16,522 名參與者的可穿戴設備記錄，總計約 300 萬“人-天”。每位參與者每日（或更低頻率）記錄了 63 項不同的時間序列指標，涵蓋五大生理與行為領域：心血管健康、呼吸健康、睡眠、身體活動及一般統計信息。

值得注意的是，僅有 15% 的參與者擁有可用于評估的標注醫療史，這意味著在傳統監督學習框架下，高達 85% 的數據將被視為無效。而 JETS 模型首先在整個數據集上通過自監督預訓練進行學習，隨后僅在有標簽的子集上進行微調。

為實現這一目標，研究人員將每條觀測數據構造成“三元組”（日期、數值、指標類型），從而將每個觀測值轉化為一個“token”。這些 token 隨后經過掩碼處理、編碼，并輸入預測器，用以預測被掩碼片段的嵌入表示。

完成訓練后，研究人員將 JETS 與多個基線模型（包括基于 Transformer 架構的早期 JETS 版本）進行對比，并采用 AUROC（受試者工作特征曲線下面積）和 AUPRC（精確率-召回率曲線下面積）兩項標準指標評估模型在區分陽性與陰性病例方面的表現。

結果顯示，JETS 在多項疾病預測中表現優異：高血壓預測 AUROC 達 86.8%，房撲（atrial flutter）為 70.5%，慢性疲勞綜合征為 81%，病態竇房結綜合征（sick sinus syndrome）亦達 86.8%。盡管并非在所有任務中均勝出，但其優勢顯而易見。

需要強調的是，AUROC 和 AUPRC 并非嚴格意義上的“準確率”指標，而是衡量模型對潛在病例進行排序或優先級判斷能力的指標。

總結

總體而言，這項研究提出了一種極具前景的方法，能夠從通常被視為“不完整”或“不規則”的健康數據中提取最大價值，甚至在某些指標僅在 0.4% 的時間內被記錄、而另一些指標出現在 99% 日常讀數中的極端不平衡情況下依然有效。

該研究進一步印證了一個重要觀點：即使 Apple Watch 等日常可穿戴設備并非全天候佩戴，其已收集的海量數據仍蘊含巨大潛力，通過新型模型架構與訓練策略，有望釋放其在疾病早期預警和健康管理中的生命拯救價值。