近期,日語AI領域迎來了一項重要突破,一家名為Shisa.AI的東京初創公司發布了其最新日英雙語模型——Shisa V2405B,這一成果迅速吸引了業界的廣泛關注。Shisa.AI專注于為日本市場開發先進的開源AI語言和語音模型,而此次發布的模型更是被譽為日本有史以來訓練的最強大型語言模型。
據了解,Shisa V2405B是基于Llama3.1構建的,不僅在日語任務上表現出色,還保留了強大的英語處理能力。測試數據顯示,該模型在多項日語基準測試中超越了GPT-4及GPT-4Turbo,與最新的GPT-4o和DeepSeek-V3在日語任務上的表現不相上下。這一突破性進展標志著日本本土AI實驗室在全球AI競爭中邁出了重要一步。
Shisa.AI在模型開發過程中,放棄了昂貴的持續預訓練和分詞器擴展,而是聚焦于優化后訓練流程。通過合成數據驅動的方法,他們顯著提升了模型性能。其核心數據集ultra-orca-boros-en-ja-v1經過精心處理,被認為是目前最強大的日英雙語數據集之一。這一數據集已在Apache2.0許可證下免費開放,為全球開發者提供了寶貴的資源。
Shisa V2系列模型涵蓋了從7B到405B參數的不同規模,滿足多樣化需求。在日語語法、角色扮演、翻譯等任務上,這些模型均表現出色。特別是在shisa-jp-ifeval(日語指令遵循測試)、shisa-jp-rp-bench(日語角色扮演基準)和shisa-jp-tl-bench(日英翻譯基準)等測試中,Shisa V2系列模型均優于各自的基礎模型。Shisa V2405B在訓練中融入了少量韓語和繁體中文數據,進一步增強了其多語言能力。
Shisa.AI的開源精神不僅推動了日語AI的發展,還為全球AI社區帶來了積極影響。他們公開了Shisa V2系列的訓練日志,訓練過程使用了AWS Sagemaker的4節點H100集群,并結合了Axolotl、DeepSpeed和Liger Kernel等先進技術。Shisa.AI還計劃開源其日語專用基準測試工具,助力日語大型語言模型的研究和評估。
Shisa.AI的成功展示了日本在AI領域的創新實力。對于需要處理復雜日語任務的開發者來說,Shisa V2系列模型無疑是一個強大的工具。隨著Shisa.AI不斷更新其模型和資源,日本在全球AI領域的競爭力將得到進一步提升。