在人工智能領域迅速推進的今天,meta的FAIR研究小組攜手佐治亞理工學院,共同推出了一款名為CATransformers的創新框架。該框架的核心設計理念聚焦于減少碳排放,力圖通過改進模型結構和硬件性能,大幅度降低AI技術在運營過程中所產生的碳足跡,為AI技術的可持續發展鋪設道路。
隨著機器學習技術在推薦系統、自動駕駛等領域的廣泛應用,其背后的計算需求呈現出爆炸式增長。然而,這一技術的高能耗問題也日益嚴峻。傳統的AI系統往往需要強大的計算資源,并依賴于專門的硬件加速器來運行,這不僅在模型的訓練和推理階段消耗了大量的能源,而且在運營過程中產生了大量的碳排放。硬件從制造到報廢的整個生命周期,都會產生所謂的“隱含碳”,進一步加劇了生態環境的負擔。
當前,多數減排策略主要集中在提升運營效率上,例如優化能耗和提高硬件的利用率,但這些策略往往忽視了硬件設計及制造階段的碳排放。為了應對這一挑戰,CATransformers框架應運而生。它采用多目標貝葉斯優化引擎,全面評估模型架構和硬件加速器的性能,以在延遲、能耗、精度和總碳足跡之間找到最佳的平衡點。
CATransformers框架尤其針對邊緣推理設備進行了深度優化。通過對大型CLIP模型進行剪枝,該框架生成了一系列碳排放較低但性能卓越的變體。例如,CarbonCLIP-S在保持與TinyCLIP-39M相當精度的同時,碳排放減少了17%,延遲也控制在了15毫秒以內。而CarbonCLIP-XS不僅比TinyCLIP-8M的精度提升了8%,碳排放還減少了3%,延遲更是低于10毫秒。
研究結果顯示,如果僅優化延遲而忽視其他因素,隱含碳的排放量可能會增加高達2.4倍。然而,如果采用綜合考慮碳排放和延遲的設計策略,可以實現19%到20%的總排放削減,同時延遲的損失幾乎可以忽略不計。CATransformers框架的推出,為可持續機器學習系統的設計提供了堅實的基礎,展示了在AI開發初期就考慮硬件能力和碳影響的開發模式,可以實現性能與可持續性的雙重提升。