近日,Nous Research公司震撼發(fā)布了一個名為Psyche的全新項目,該項目是一個基于Solana區(qū)塊鏈的去中心化人工智能訓(xùn)練網(wǎng)絡(luò)。這一創(chuàng)新平臺旨在動員全球用戶利用閑置的計算資源,共同參與尖端AI模型的研發(fā)工作。通過采用DisTrO技術(shù),Psyche成功大幅削減了帶寬需求,并啟動了一項前所未有的互聯(lián)網(wǎng)分布式訓(xùn)練任務(wù),目標是構(gòu)建一個擁有40億參數(shù)的AI模型,并將所有數(shù)據(jù)、檢查點等完全對外開放。
Psyche網(wǎng)絡(luò)的核心在于其去中心化的理念,徹底顛覆了傳統(tǒng)AI訓(xùn)練對集中式數(shù)據(jù)中心的依賴。該平臺通過Solana區(qū)塊鏈來協(xié)調(diào)全球范圍內(nèi)的分布式GPU資源,使得任何人都能貢獻出閑置的計算能力,參與到模型的訓(xùn)練中來。據(jù)悉,Psyche的首要任務(wù)是預(yù)訓(xùn)練一個名為Consilience的模型,該模型采用多頭潛在注意力架構(gòu),并基于一個包含20萬億token的超大規(guī)模數(shù)據(jù)集進行訓(xùn)練,這一數(shù)據(jù)集由FineWeb14T、FineWeb-24T和The Stack v21T等部分組成。此次訓(xùn)練任務(wù)不僅是互聯(lián)網(wǎng)上有史以來規(guī)模最大的分布式AI訓(xùn)練,同時也標志著去中心化AI開發(fā)領(lǐng)域的一個重要里程碑。
Nous Research強調(diào),Consilience模型在設(shè)計時充分考慮了高效性和可訪問性。其40億參數(shù)的規(guī)模適中,既可以在高端的H/DGX服務(wù)器上完成訓(xùn)練,也能在消費級的RTX3090 GPU上運行推理任務(wù)。該模型還支持長上下文處理,為高級推理和創(chuàng)意應(yīng)用提供了堅實的基礎(chǔ)。這種規(guī)模的選擇巧妙地平衡了性能與普及化的目標,為中小型團隊和個人開發(fā)者提供了一個強大的工具。
Psyche網(wǎng)絡(luò)的成功在很大程度上得益于Nous Research自主研發(fā)的DisTrO技術(shù)。這項技術(shù)通過優(yōu)化器創(chuàng)新,將GPU間的通信數(shù)據(jù)量壓縮了1000至10000倍,其原理類似于JPEG圖像的頻率域轉(zhuǎn)換壓縮。DisTrO允許每個節(jié)點獨立進行訓(xùn)練,而無需在每一步都進行同步,從而顯著降低了網(wǎng)絡(luò)延遲和帶寬需求,使得全球各地的異構(gòu)硬件能夠協(xié)同工作,共同參與到AI模型的訓(xùn)練中。
在Psyche網(wǎng)絡(luò)中,Solana區(qū)塊鏈扮演著至關(guān)重要的角色。智能合約負責(zé)存儲訓(xùn)練元數(shù)據(jù)、參與者列表以及隨機分配任務(wù),確保了整個訓(xùn)練過程的透明性、防篡改性和抗審查性。Solana的高吞吐量和低交易成本使其成為處理分布式訓(xùn)練微交易的理想平臺,進一步增強了Psyche的全球可擴展性。
Psyche項目致力于通過全面開源來推動AI的普及化。所有訓(xùn)練數(shù)據(jù)、檢查點和結(jié)果都將被公開分享,并托管在Hugging Face和GitHub等平臺上,供全球開發(fā)者免費訪問和使用。目前,Psyche的代碼已經(jīng)開放,開發(fā)者可以通過Rust-based系統(tǒng)和P2P網(wǎng)絡(luò)參與到優(yōu)化工作中來,或者基于開放文檔構(gòu)建自定義的應(yīng)用。
Nous Research還計劃進一步擴展Psyche的功能,包括支持模型微調(diào)和社區(qū)數(shù)據(jù)輸入等。這將使得小型團隊甚至個人能夠定制專屬的AI模型。例如,社區(qū)成員可以上傳領(lǐng)域特定的數(shù)據(jù),訓(xùn)練適用于教育、醫(yī)療或創(chuàng)意等領(lǐng)域的模型。這種社區(qū)驅(qū)動的模式有望激發(fā)全球范圍內(nèi)的創(chuàng)新活力,并對OpenAI、DeepSeek等集中式AI巨頭形成有力挑戰(zhàn)。
Psyche的發(fā)布標志著去中心化AI進入了一個快速發(fā)展的新階段。與傳統(tǒng)的云端AI相比,Psyche的分布式架構(gòu)不僅降低了訓(xùn)練成本,還通過區(qū)塊鏈激勵機制將算力貢獻從“捐贈”轉(zhuǎn)變?yōu)椤敖灰住保瑥亩烁鼜V泛的參與。此前,Psyche已經(jīng)成功完成了一項150億參數(shù)模型的測試訓(xùn)練,跨越了1.1萬步,驗證了其在全球網(wǎng)絡(luò)中的穩(wěn)定性和可靠性。
在測試網(wǎng)啟動僅44分鐘后,Psyche項目便通過捐款籌集了價值50萬美元的GPU算力,這充分展示了社區(qū)對Psyche項目的高度熱情和積極參與。這一成功不僅為Nous Research帶來了極大的鼓舞,也為去中心化AI的發(fā)展注入了新的動力。
作為AI領(lǐng)域的權(quán)威觀察者,有觀點認為,Psyche的推出不僅是Nous Research的一個重要里程碑,同時也是去中心化AI發(fā)展的一個轉(zhuǎn)折點。其創(chuàng)新的DisTrO技術(shù)和Solana區(qū)塊鏈的結(jié)合,為全球開發(fā)者提供了一個前所未有的參與AI開發(fā)的機會,打破了技術(shù)和資源的壁壘。對于中國的AI社區(qū)而言,Psyche的開源框架有望為國產(chǎn)模型如Qwen3等提供更加高效的本地化微調(diào)方案。