近期，科技界迎來了一項(xiàng)旨在減少人工智能（AI）技術(shù)環(huán)境影響的創(chuàng)新舉措。meta公司的FAIR研究團(tuán)隊(duì)攜手佐治亞理工學(xué)院，共同推出了CATransformers框架，這一突破性方案將碳排放納入了AI系統(tǒng)設(shè)計(jì)的核心考量范疇，標(biāo)志著AI領(lǐng)域向可持續(xù)發(fā)展邁出了關(guān)鍵步伐。

隨著機(jī)器學(xué)習(xí)技術(shù)的廣泛應(yīng)用，從個(gè)性化推薦到自動(dòng)駕駛汽車，AI正深刻改變著各行各業(yè)。然而，這一技術(shù)繁榮的背后，隱藏著不容忽視的環(huán)境成本。AI系統(tǒng)的運(yùn)行高度依賴計(jì)算資源，往往需要專門的硬件加速器來支撐，這導(dǎo)致了訓(xùn)練和推理階段的高能耗，進(jìn)而引發(fā)了碳排放的急劇增加。硬件從生產(chǎn)到廢棄的全生命周期中，也伴隨著大量的隱含碳排放，對(duì)環(huán)境構(gòu)成了額外壓力。

以往，業(yè)界在減少AI碳排放方面的努力主要集中在提高運(yùn)營(yíng)效率上，比如優(yōu)化算法以降低能耗，或是提升硬件的使用效率。但這些措施往往忽視了硬件設(shè)計(jì)和制造階段的碳排放，未能全面考慮模型設(shè)計(jì)與硬件效率之間的相互作用。

CATransformers框架的問世，有效填補(bǔ)了這一空白。該框架利用先進(jìn)的多目標(biāo)貝葉斯優(yōu)化技術(shù)，能夠同時(shí)評(píng)估模型架構(gòu)與硬件加速器的性能，旨在找到延遲、能耗、精度和總碳足跡之間的最佳平衡點(diǎn)。特別是在邊緣推理設(shè)備上，CATransformers通過精簡(jiǎn)大型CLIP模型，創(chuàng)造出性能各異的變體，并結(jié)合硬件分析工具，深入探究了碳排放與性能之間的復(fù)雜關(guān)系。

研究結(jié)果顯示，CATransformers框架下的CarbonCLIP-S模型，在保持與TinyCLIP-39M模型相當(dāng)精度的同時(shí)，碳排放減少了17%，且延遲控制在15毫秒以內(nèi)。而CarbonCLIP-XS模型則更為出色，它不僅在精度上超越了TinyCLIP-8M模型8%，碳排放還降低了3%，延遲更是低于10毫秒。這些成果充分展示了CATransformers在降低AI技術(shù)碳足跡方面的巨大潛力。

值得注意的是，單純追求延遲優(yōu)化的設(shè)計(jì)策略，可能會(huì)導(dǎo)致隱含碳排放的大幅增加，甚至高達(dá)2.4倍。而CATransformers框架通過綜合考慮碳排放與延遲的優(yōu)化，成功實(shí)現(xiàn)了19%-20%的總排放削減，同時(shí)保持了極低的延遲損失。這一創(chuàng)新方法不僅為可持續(xù)機(jī)器學(xué)習(xí)系統(tǒng)的設(shè)計(jì)提供了科學(xué)依據(jù)，也為AI行業(yè)探索減排路徑提供了切實(shí)可行的方案。