2013年11月，百度亮相全球軟件開發(fā)大會QCon上海2013。在會上，百度 IDL首席科學(xué)家張潼發(fā)表了大數(shù)據(jù)及深度機(jī)器學(xué)習(xí)的演講，展示了百度IDL(深度學(xué)習(xí)研究院)取得的成績，引起了全球軟件開發(fā)人員的濃厚興趣。

百度 IDL首席科學(xué)家張潼亮相 揭示深度學(xué)習(xí)四大成功條件

作為機(jī)器學(xué)習(xí)領(lǐng)域的知名學(xué)者，百度 IDL首席科學(xué)家張潼的亮相引起了專業(yè)觀眾的關(guān)注。張潼1999年獲得美國斯坦福大學(xué)計(jì)算機(jī)系博士學(xué)位，曾任職于美國IBM研究院及雅虎研究院，在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語言處理、優(yōu)化算法，及統(tǒng)計(jì)學(xué)等領(lǐng)域發(fā)表多篇論文，曾擔(dān)任國際上主要機(jī)器學(xué)習(xí)機(jī)構(gòu)NIPS、ICML的Area Chair和COLT主席。

會上，張潼回顧了大數(shù)據(jù)處理技術(shù)的發(fā)展和變革，指出大數(shù)據(jù)分析的主要工具，機(jī)器學(xué)習(xí)的方法也在不斷創(chuàng)新，如深度學(xué)習(xí)技術(shù)，就在近些年取得了許多令人振奮的成果并在多個(gè)國際大型項(xiàng)目中運(yùn)用，如2012年6月谷歌大腦項(xiàng)目、2012年11月微軟智能同聲傳譯項(xiàng)目、2013年9月facebook用戶數(shù)據(jù)和社交關(guān)系挖掘項(xiàng)目。

張潼認(rèn)為，近年來深度學(xué)習(xí)的成功條件可以歸納為“大數(shù)據(jù)+大規(guī)模計(jì)算能力+復(fù)雜模型+高效算法”，近年來，深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)每年成倍增長，圖像達(dá)到數(shù)千萬訓(xùn)練樣本、語音達(dá)到數(shù)百億訓(xùn)練樣本、廣告達(dá)到數(shù)千億訓(xùn)練樣本;而與此同時(shí)，多機(jī)GPU/CPU分布式計(jì)算能力也得到顯著加強(qiáng)，模型上則由大型線性模型演進(jìn)到樹模型，可把特征發(fā)到不同機(jī)器;在算法上，則應(yīng)用了深度神經(jīng)網(wǎng)絡(luò)等分布式算法。

百度機(jī)器學(xué)習(xí)成就：錯誤率降低30%，準(zhǔn)確率升100%

百度在2012年夏季開展了深度學(xué)習(xí)方面的工作。2013年，百度IDL(深度學(xué)習(xí)研究院)成立，面向全球延攬一流學(xué)術(shù)人才，人才布局日趨完整，在深度學(xué)習(xí)上也取得了巨大成功，如用GPU提升計(jì)算效率，處理海量訓(xùn)練數(shù)據(jù)，語音識別，OCR識別，人臉識別，圖像搜索水平得到巨大提升，到目前為止，已經(jīng)有超過8項(xiàng)深度學(xué)習(xí)技術(shù)在百度產(chǎn)品上線。

圖片 百度與谷歌相似圖片檢索結(jié)果對比

深度學(xué)習(xí)對百度的影響深遠(yuǎn)，如語音，錯誤率相對降低20-30%;OCR，錯誤率相對降低30%;人臉識別，LFW測試世界領(lǐng)先，世界上首個(gè)全網(wǎng)人臉?biāo)阉饕?全網(wǎng)相似圖像搜索，效果顯著超越國際搜索引擎同類產(chǎn)品;全流量上線廣告CTR預(yù)估，提升CTR3.7%;基于深度學(xué)習(xí)的色情圖像識別準(zhǔn)確率超過傳統(tǒng)方法100%，用于貼吧圖搜黃反作弊。

百度機(jī)器學(xué)習(xí)發(fā)展路徑：理論創(chuàng)新+應(yīng)用實(shí)踐

在深度學(xué)習(xí)方面，百度已經(jīng)在學(xué)術(shù)理論、工程實(shí)現(xiàn)、產(chǎn)品應(yīng)用等多方位取得了顯著的進(jìn)展，已經(jīng)成為業(yè)界推動“大數(shù)據(jù)驅(qū)動的人工智能”的領(lǐng)導(dǎo)者之一，提交國家專利22項(xiàng)。在第30屆國際機(jī)器學(xué)習(xí)大會(International Conference on Machine Learning, ICML 2013)上，百度IDL常務(wù)副院長余凱博士與美國佐治亞理工學(xué)院學(xué)者合作的有關(guān)深度學(xué)習(xí)的論文“Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations”獲得大會最佳論文獎銀獎;基于深度學(xué)習(xí)人臉識別技術(shù)的PK大咖獲得2013艾菲獎大中華區(qū)金獎。

在圖像技術(shù)應(yīng)用中，傳統(tǒng)的從圖像到語義的轉(zhuǎn)換是極具挑戰(zhàn)性的課題，業(yè)界稱其為語義鴻溝。百度深度學(xué)習(xí)算法構(gòu)造出一個(gè)多層非線性層疊式神經(jīng)元網(wǎng)絡(luò)，能夠很好地模擬視覺信號從視網(wǎng)膜開始逐層處理傳遞，直至大腦深處的整個(gè)過程。這樣的學(xué)習(xí)模式能夠以更高的精度和更快的速度跨越語義鴻溝，讓機(jī)器快速對對圖像中可能蘊(yùn)含的成千上萬種語義概念進(jìn)行有效地識別，進(jìn)而確定圖片的主題。

在人臉識別方面，最困難的是識別照片中的人是誰或者通過照片尋找相似的人。百度在深度學(xué)習(xí)的基礎(chǔ)上，借鑒認(rèn)知學(xué)中的一些概念與方法，探索出了獨(dú)特的相似度量學(xué)習(xí)方法來尋找圖像的相似性和關(guān)聯(lián)，能夠做到舉一反三。

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面，伴隨著計(jì)算廣告、文本、圖像、語音等訓(xùn)練數(shù)據(jù)的快速增長，傳統(tǒng)的基于單GPU的訓(xùn)練平臺已經(jīng)無法滿足需求，為此，百度搭建了Paddle(Parallel Asynchronous Distributed Deep Learning)多機(jī)并行GPU訓(xùn)練平臺。數(shù)據(jù)分布到不同的機(jī)器，通過Parameter Server協(xié)調(diào)各機(jī)器進(jìn)行訓(xùn)練，多機(jī)訓(xùn)練使得大數(shù)據(jù)的模型訓(xùn)練成為可能。

在算法方面，單機(jī)多卡并行訓(xùn)練算法研發(fā)，難點(diǎn)在于通過并行提高計(jì)算速度一般會降低收斂速度。百度則研發(fā)了新算法，在不影響收斂速度的條件下計(jì)算速度圖像提升至2.4倍，語音提升至1.4倍，這使得新算法在單機(jī)上收斂速度達(dá)到圖像提升至12倍、語音提升至7倍的效果。相比Google的DistBelief系統(tǒng)用200臺機(jī)器加速約7.3倍而言，百度的算法優(yōu)勢更加明顯。

目前普遍認(rèn)為深度學(xué)習(xí)是最接近人腦的復(fù)雜模型，也是目前向人工智能走得最近的方法，將會在百度得到越來越多的應(yīng)用，同時(shí)，深度學(xué)習(xí)也將使得百度的智能性大為增強(qiáng)。以張潼等為代表的百度科學(xué)家群體，對深度學(xué)習(xí)的未來發(fā)展充滿信心。而在足夠的智力資源奠基優(yōu)勢下，百度IDL極有望成為像AT&T-Bell labs，Xerox PARC這樣的頂尖研究機(jī)構(gòu)，在國際互聯(lián)網(wǎng)創(chuàng)新科技前沿領(lǐng)跑。

關(guān)于百度IDL

百度深度學(xué)習(xí)研究院(Institute of Deep Learning，IDL)是百度歷史上首個(gè)正式成立的前瞻性研究機(jī)構(gòu)，2013年成立，致力于“讓計(jì)算機(jī)像人腦一樣智能”的科學(xué)研究。除斯坦福大學(xué)等高校研究機(jī)構(gòu)外，唯有百度、IBM、谷歌、微軟四家企業(yè)設(shè)立了專門研究機(jī)構(gòu)，位列深度學(xué)習(xí)研究的第一陣營。

百度深度學(xué)習(xí)研究院成立以來，就面向全球延攬一流學(xué)術(shù)人才。隨著前Facebook資深科學(xué)家徐偉、美國新澤西州立大學(xué)統(tǒng)計(jì)系教授張潼、前AMD異構(gòu)系統(tǒng)首席軟件架構(gòu)師吳韌等世界級專家的陸續(xù)加盟，百度IDL的人才布局日趨完整，并以其廣闊的發(fā)展前景贏得越來越多頂尖技術(shù)人才的認(rèn)可與青睞。

關(guān)于Qcon上海2013

QCon全球軟件開發(fā)大會是由InfoQ主辦、始于2007年的全球頂級技術(shù)盛會。本次QCon上海2013秉承 “促進(jìn)軟件開發(fā)領(lǐng)域知識與創(chuàng)新的傳播”的宗旨，吸引了傳統(tǒng)制造、金融、電信、互聯(lián)網(wǎng)、航空航天等領(lǐng)域的架構(gòu)師、項(xiàng)目經(jīng)理、團(tuán)隊(duì)領(lǐng)袖和高級開發(fā)人員參加，其中不乏Twitter、LinkedIn、Facebook、百度、新浪等全球頂級互聯(lián)網(wǎng)公司代表。