華為技術(shù)有限公司近日公布了一項(xiàng)涉及人工智能領(lǐng)域的專利,該專利名為“一種模型訓(xùn)練方法、數(shù)據(jù)生成方法及相關(guān)設(shè)備”。
該專利方法的核心在于處理訓(xùn)練數(shù)據(jù)的方式。具體而言,它首先獲取了一批帶有標(biāo)簽的第一訓(xùn)練數(shù)據(jù),并對(duì)這些數(shù)據(jù)進(jìn)行了若干次加噪處理,生成了對(duì)應(yīng)的第一噪聲數(shù)據(jù)。接著,又獲取了一批不帶標(biāo)簽的第二訓(xùn)練數(shù)據(jù),這些數(shù)據(jù)的噪聲水平相對(duì)較低,同樣經(jīng)過特定次數(shù)的加噪處理,生成了第二噪聲數(shù)據(jù)。
在獲取了這些噪聲數(shù)據(jù)后,華為利用它們對(duì)擴(kuò)散模型的一個(gè)去噪模塊進(jìn)行了訓(xùn)練,進(jìn)而得到了優(yōu)化后的第二去噪模塊。值得注意的是,這種方法之所以具有吸引力,是因?yàn)榈谝挥?xùn)練數(shù)據(jù)和第二訓(xùn)練數(shù)據(jù)的獲取成本相對(duì)較低,從而有效降低了擴(kuò)散模型訓(xùn)練的整體成本。