在高科技浪潮席卷全球的當下,一位富有冒險精神的程序員卻選擇了一條不同尋常的道路——將meta公司最新推出的Llama2大語言模型引入到了古老的DOS環境中。這位程序員名叫Yeo Kheng Meng,他因成功打造ChatGPT的DOS客戶端而廣為人知,此次他又一次展現了自己卓越的技術實力和創造力。
Meng的這一壯舉,得益于開源社區的慷慨貢獻。他利用了名為“llama2.c”的開源項目,該項目旨在簡化Llama2模型在不同平臺和硬件上的移植過程。然而,將這一先進的模型移植到DOS這樣的老舊系統,絕非易事。盡管“llama2.c”項目已經為移植工作打下了良好基礎,但Meng仍需面對DOS系統特有的種種挑戰,進行大量的代碼調整和優化。
在開發過程中,Meng遭遇了內存限制的難題。DOS系統的常規內存僅為640KB,這遠遠無法滿足Llama2模型的運行需求。為了克服這一障礙,Meng精心選擇了適合DOS系統的內存擴展工具,并巧妙地利用了這些工具來擴大可用內存。由于“llama2.c”項目需要一個功能強大的C編譯器進行編譯,Meng還對OWC編譯器進行了深入研究和修改,以確保其能夠順利編譯出適用于DOS系統的代碼。
經過無數次的嘗試和測試,Meng終于成功創建了一個能夠在DOS系統上運行的Llama2二進制文件。為了驗證其性能,他在多臺不同配置的電腦上進行了基準測試,包括老舊的486DX266MHz計算機和現代基于Ryzen的臺式機。測試結果顯示,雖然新系統無疑提供了更快的推理速度,但令人意想不到的是,一臺搭載1.7GHz Pentium M處理器的ThinkPad T42在性能上竟然超越了16年后發布的ThinkPad X13G1,這一發現引發了廣泛的關注和討論。