百度智能云千帆平臺(tái)近日宣布,面向企業(yè)級(jí)多模態(tài)應(yīng)用場(chǎng)景的全新視覺(jué)理解大模型Qianfan-VL正式開(kāi)源。該系列模型包含3B、8B、70B三種參數(shù)規(guī)格,通過(guò)深度優(yōu)化設(shè)計(jì),在基礎(chǔ)通用能力與產(chǎn)業(yè)垂直場(chǎng)景中均展現(xiàn)出顯著優(yōu)勢(shì)。目前8B與70B版本已開(kāi)放免費(fèi)體驗(yàn),企業(yè)用戶和開(kāi)發(fā)者可在10月10日前登錄平臺(tái)進(jìn)行試用。
研發(fā)團(tuán)隊(duì)基于開(kāi)源架構(gòu)進(jìn)行創(chuàng)新開(kāi)發(fā),依托百度自研的昆侖芯P800芯片構(gòu)建了超大規(guī)模分布式計(jì)算系統(tǒng)。該系統(tǒng)支持單任務(wù)5000卡并行計(jì)算,通過(guò)優(yōu)化并行策略與算子設(shè)計(jì),顯著提升了模型處理復(fù)雜算法與海量數(shù)據(jù)的效率。這種軟硬件協(xié)同的創(chuàng)新模式,使模型在通用與垂類任務(wù)評(píng)測(cè)中均達(dá)到行業(yè)領(lǐng)先水平。
模型設(shè)計(jì)采用四階段能力增強(qiáng)訓(xùn)練方案,在保持通用性能的同時(shí),針對(duì)產(chǎn)業(yè)落地需求進(jìn)行專項(xiàng)強(qiáng)化。通過(guò)構(gòu)建覆蓋文檔識(shí)別、數(shù)學(xué)解題、圖表理解等核心任務(wù)的高精度數(shù)據(jù)合成管線,實(shí)現(xiàn)了高質(zhì)量訓(xùn)練數(shù)據(jù)的規(guī)模化生產(chǎn)。這種訓(xùn)練策略使模型參數(shù)規(guī)模與性能呈現(xiàn)顯著正相關(guān),70B版本在專業(yè)領(lǐng)域問(wèn)答中展現(xiàn)出更強(qiáng)的推理能力。
在OCR全場(chǎng)景識(shí)別方面,模型可精準(zhǔn)處理手寫(xiě)體、數(shù)學(xué)公式、自然場(chǎng)景文字等多種類型,并能對(duì)卡證票據(jù)進(jìn)行結(jié)構(gòu)化信息提取。復(fù)雜版面文檔理解能力尤為突出,可自動(dòng)解析表格圖表、實(shí)現(xiàn)文檔智能問(wèn)答與結(jié)構(gòu)化解析。基準(zhǔn)測(cè)試顯示,其在OCRBench等專業(yè)評(píng)測(cè)中的表現(xiàn)隨參數(shù)規(guī)模提升持續(xù)優(yōu)化,為金融、醫(yī)療等領(lǐng)域的文檔處理提供了高效解決方案。
8B與70B版本特有的思維鏈激活功能,通過(guò)特殊token設(shè)計(jì)支持復(fù)雜場(chǎng)景的組合推理。在數(shù)學(xué)解題領(lǐng)域,模型可實(shí)現(xiàn)幾何推理、公式識(shí)別與分步求解;在圖表分析方面,能完成數(shù)據(jù)趨勢(shì)預(yù)測(cè)、關(guān)聯(lián)推理及統(tǒng)計(jì)計(jì)算。測(cè)試數(shù)據(jù)顯示,這兩個(gè)版本在MathVista-mini等數(shù)學(xué)視覺(jué)基準(zhǔn)測(cè)試中的準(zhǔn)確率較主流模型有顯著提升。
該系列模型的多尺寸設(shè)計(jì)充分考慮到不同規(guī)模企業(yè)的應(yīng)用需求。3B版本適用于輕量級(jí)部署場(chǎng)景,8B版本在性能與效率間取得平衡,70B版本則能滿足高精度要求的復(fù)雜任務(wù)。這種分級(jí)設(shè)計(jì)使教育、金融、工業(yè)等領(lǐng)域的用戶都能找到適配方案,有效降低了企業(yè)應(yīng)用AI技術(shù)的門檻。
目前,模型已在OCR識(shí)別、文檔理解等場(chǎng)景形成典型應(yīng)用案例。在票據(jù)處理場(chǎng)景中,可自動(dòng)提取關(guān)鍵信息并完成結(jié)構(gòu)化錄入;在學(xué)術(shù)文檔分析場(chǎng)景,能精準(zhǔn)解析復(fù)雜版面并支持智能問(wèn)答。研發(fā)團(tuán)隊(duì)透露,后續(xù)將持續(xù)優(yōu)化視頻理解、三維場(chǎng)景解析等能力,推動(dòng)模型在更多產(chǎn)業(yè)領(lǐng)域的深度應(yīng)用。