科技領(lǐng)域傳來(lái)新進(jìn)展,蘋(píng)果公司與普渡大學(xué)共同研發(fā)出一種創(chuàng)新型AI技術(shù),旨在攻克極低光照環(huán)境下的拍攝難題。這項(xiàng)名為DarkDiff的技術(shù),為手機(jī)攝影在暗光場(chǎng)景下的表現(xiàn)帶來(lái)了全新可能。
在光線極其微弱的情況下,手機(jī)拍攝的照片常常布滿噪點(diǎn)。傳統(tǒng)算法為掩蓋噪點(diǎn),往往會(huì)對(duì)圖像進(jìn)行過(guò)度平滑處理,結(jié)果導(dǎo)致照片細(xì)節(jié)丟失,畫(huà)面呈現(xiàn)出類似油畫(huà)的涂抹質(zhì)感,嚴(yán)重影響成像質(zhì)量。
為解決這一長(zhǎng)期困擾攝影界的問(wèn)題,蘋(píng)果與普渡大學(xué)的研究團(tuán)隊(duì)另辟蹊徑,推出DarkDiff新型AI模型。該模型突破傳統(tǒng)后期修圖的思路,創(chuàng)造性地將預(yù)訓(xùn)練的生成式擴(kuò)散模型應(yīng)用于相機(jī)的圖像信號(hào)處理(ISP)流程,從圖像生成的源頭提升畫(huà)質(zhì)。
DarkDiff的核心創(chuàng)新點(diǎn)在于介入時(shí)機(jī)。與在成像后進(jìn)行AI修補(bǔ)不同,它在相機(jī)ISP處理原始傳感器數(shù)據(jù)(Raw Data)的早期階段就已介入。ISP負(fù)責(zé)白平衡、去馬賽克等基礎(chǔ)處理,生成線性RGB圖像后,DarkDiff隨即接手,進(jìn)行降噪和細(xì)節(jié)生成。這種深度集成的方式,讓AI能夠精準(zhǔn)理解照片黑暗區(qū)域應(yīng)有的紋理細(xì)節(jié),而非簡(jiǎn)單地對(duì)像素進(jìn)行模糊處理。
生成式AI在應(yīng)用中常出現(xiàn)“幻覺(jué)”問(wèn)題,即無(wú)中生有地篡改畫(huà)面內(nèi)容,生成不存在的物體。為避免這種情況,DarkDiff引入了“局部圖像塊注意力機(jī)制”。該機(jī)制強(qiáng)制模型關(guān)注圖像的局部結(jié)構(gòu),確保AI在增強(qiáng)細(xì)節(jié)的同時(shí),嚴(yán)格忠實(shí)于原始場(chǎng)景。研究人員還采用“無(wú)分類器引導(dǎo)”技術(shù),通過(guò)調(diào)節(jié)引導(dǎo)強(qiáng)度,在圖像的平滑度與銳利度之間找到最佳平衡,有效避免生成偽影。
為驗(yàn)證DarkDiff的實(shí)際效果,研究人員使用索尼A7SII相機(jī)在極暗環(huán)境下拍攝測(cè)試樣本,曝光時(shí)間短至0.033秒。將DarkDiff處理后的圖像與使用三腳架長(zhǎng)曝光(時(shí)長(zhǎng)為測(cè)試圖300倍)拍攝的參考圖進(jìn)行對(duì)比,結(jié)果顯示,DarkDiff在色彩還原和細(xì)節(jié)清晰度方面均優(yōu)于現(xiàn)有的Raw增強(qiáng)模型。
盡管DarkDiff展現(xiàn)出驚人的效果,但距離實(shí)際應(yīng)用仍面臨諸多挑戰(zhàn)。研究人員坦言,該技術(shù)的處理速度遠(yuǎn)慢于傳統(tǒng)算法,且對(duì)算力需求巨大。若在手機(jī)本地運(yùn)行,將迅速耗盡電池電量,未來(lái)可能需要依托云端處理。模型在識(shí)別低光場(chǎng)景下的非英文文本時(shí)仍存在一定局限。目前,這項(xiàng)研究更多展示了蘋(píng)果在計(jì)算攝影領(lǐng)域的探索方向,短期內(nèi)未必會(huì)直接應(yīng)用于新款iPhone。











