近日，AI界傳出了一則令人矚目的消息。據AI云服務商Hyperbolic的聯合創始人兼CTO Yuchen Jin在社交平臺上的爆料，研究員Keller Jordan僅憑一篇博客文章就成功加入了OpenAI，并且可能正在利用文章中提及的神經網絡隱藏層優化器Muon來訓練GPT-5。
Jin在爆料中感慨道，許多研究人員，包括曾經的自己，都曾誤以為在頂級學術會議上發表論文才是最終目標。然而，發表論文并不等同于產生實際影響力。Keller Jordan發布的Muon優化器僅以博客形式問世，卻幫助他叩開了OpenAI的大門，并有可能在GPT-5的訓練中大放異彩。
Jordan的這篇博客發表于2024年12月，題為《Muon：神經網絡隱藏層的優化器》。文章詳細介紹了Muon的設計理念及其在多個實驗中的優異表現。從職場社交平臺領英的信息可以確認，Jordan正是在博客發布后不久加入了OpenAI，這無疑進一步證實了他的研究成果得到了業界的認可。
Muon作為一種針對神經網絡隱藏層二維參數的優化器，在設計和應用上都有其獨到之處。它通過采用SGD-momentum生成的更新，并在應用于參數之前對每個更新應用Newton-Schulz迭代作為后處理步驟，從而實現了更新矩陣的近似正交化。這一創新設計使得Muon在多個實驗中都取得了顯著優于傳統優化器AdamW的表現。
具體而言，Muon在CIFAR-10數據集上的訓練速度記錄從3.3秒提高到了2.6秒，準確率達到了94%；在FineWeb競賽任務上的訓練速度記錄也提高了1.35倍。在擴展到更大規模的模型時，Muon仍然能夠持續顯示訓練速度的提升。這些實證成果無疑為Muon在OpenAI中的應用提供了堅實的基礎。
除了在設計上的創新，Jordan在博客中還對神經網絡優化研究中的證據標準提出了犀利批評。他指出，當前的研究文獻中充斥著大量聲稱能夠擊敗AdamW的優化器，但這些優化器往往因為基線欠調而未能得到廣泛采用。為了糾正這種情況，Jordan建議研究界應該要求新方法在競爭性訓練任務中取得成功，以確保其有效性和可靠性。
隨著Jordan加入OpenAI并可能參與GPT-5的訓練工作，Muon這一全新優化器有望成為GPT-5中的重要技術。然而，關于Muon的未來發展仍有許多未知因素，包括其是否能夠在更大規模的訓練中擴展應用，以及在大型GPU集群中的正確分布等?；蛟S在GPT-5的研究中，這些問題都將得到解答。
