憑借卓越性能表現(xiàn)與先天開(kāi)源優(yōu)勢(shì)，DeepSeek正迅速成為全球擴(kuò)展大模型應(yīng)用實(shí)踐的一大“圓心”。作為英特爾在GPU領(lǐng)域的重要布局，英特爾銳炫?顯卡既是游戲黨與視頻生產(chǎn)力工作者的新歡，也可用作計(jì)算卡，對(duì)DeepSeek提供加速支持，為企業(yè)用戶部署相關(guān)AI應(yīng)用提供一條全新的高價(jià)性比實(shí)現(xiàn)路徑。具體來(lái)說(shuō)，就是與英特爾? 至強(qiáng)? 可擴(kuò)展處理器或英特爾? 至強(qiáng)? W處理器搭配，以多卡配置的型態(tài)來(lái)運(yùn)行和加速DeepSeek推理任務(wù)。
本文將在DeepSeek-R1- Distill-Qwen-32B推理場(chǎng)景下，以面向企業(yè)級(jí)應(yīng)用且成本最低可控制在5-6萬(wàn)元人民幣的4 路英特爾銳炫? A770顯卡 + 至強(qiáng)? W處理器的解決方案為例，詳細(xì)闡述搭建硬件環(huán)境、配置驅(qū)動(dòng)與軟件、優(yōu)化參數(shù)設(shè)置等步驟，手把手教大家部署和配置這一方案。
1. 軟硬件安裝配置與初始化
1.1 硬件安裝配置
硬件配置
處理器：英特爾? 至強(qiáng)? W 處理器(可選20核/24核/28核/32核)
內(nèi)存：8 x 32GB DDR5-3200
存儲(chǔ)：2TB M.2 固態(tài)盤(pán)
電源：≥2000瓦
GPU：4 x英特爾銳炫? A770顯卡
BIOS：設(shè)置Re-Size BAR Support為[Enabled]
圖. 安裝4路英特爾銳炫? A770顯卡的AI工作站
在BIOS設(shè)置中，將Re-Size BAR Support設(shè)為[Enabled]
1.2 軟件安裝配置
軟件配置
操作系統(tǒng)：Ubuntu22.04.1 LTS
內(nèi)核：6.5.0 - 35 - general
驅(qū)動(dòng)程序：23.43.27642.67
vLLM Serving：intelanalytics/ipex-llm-serving-xpu:b11
安裝操作系統(tǒng)Ubuntu22.04.1 LTS(鏡像文件可訪問(wèn)https://old-releases.ubuntu.com/releases/22.04.1/ubuntu-22.04.1-desktop-amd64.iso獲取)。
進(jìn)行硬件驗(yàn)證，你要為每塊 GPU 顯卡都配備足額功耗來(lái)保證其工作正常。安裝完操作系統(tǒng)后，可通過(guò)以下命令檢查英特爾銳炫? A770顯卡是否正常加載：
~$ lspci | grep 56a0
18:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
36:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
54:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
cc:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
在確保 APT 網(wǎng)絡(luò)已連接，且你的賬號(hào)已具有 sudo 權(quán)限的情況下，需嚴(yán)格按以下步驟安裝驅(qū)動(dòng)程序：
~$ wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
~$ echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy/lts/2350 unified" | sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
~$ sudo apt update
如果內(nèi)核版本不是6.5.0-35，則通過(guò)以下命令安裝6.5.0-35版本：
~$ sudo apt-get install -y linux-image-6.5.0-35-generic linux-headers-6.5.0-35-generic linux-modules-6.5.0-35-generic linux-modules-extra-6.5.0-35-generic
~$ sudo apt install intel-i915-dkms
~$ sudo vim /etc/default/grub
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 6.5.0-35-generic"
~$ sudo update-grub
~$ sudo reboot
然后通過(guò)以下命令安裝計(jì)算、媒體和顯示運(yùn)行時(shí)庫(kù)：
~$ sudo apt install -y intel-opencl-icd intel-level-zero-gpu level-zero intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev libgl1-mesa-dri libglapi-mesa libgles2-mesa-dev libglx-mesa0 libigdgmm12 libxatracker2 mesa-va-drivers mesa-vdpau-drivers mesa-vulkan-drivers va-driver-all vainfo hwinfo clinfo
通過(guò)以下命令將當(dāng)前用戶添加到 render 組：
~$ sudo gpasswd -a $(USER) render
~$ sudo newgrp render
驅(qū)動(dòng)程序安裝完成后，建議使用以下命令進(jìn)行驗(yàn)證：
~$ clinfo | grep "Driver Version"
Driver Version 23.43.27642.67
1.3 在英特爾? 至強(qiáng)? W平臺(tái)上設(shè)置GPU的HDMI顯示
首先禁用 ast 卡：
~$ sudo vim /etc/modprobe.d/blacklist.conf
在文件底部添加“blacklist ast”：
~$ sudo update-initramfs -u
然后將窗口系統(tǒng)配置為wayland模式：
~$ sudo vim /etc/gdm3/custom.conf
將WaylandEnable設(shè)置為true：
完成后更新初始RAM文件系統(tǒng)(initramfs)并重啟系統(tǒng)，然后將HDMI線插入第一塊英特爾銳炫? A770顯卡即可完成顯示終端設(shè)置。
]# sudo update-initramfs -u
~$ sudo reboot
1.4 監(jiān)控工具xpu-smi安裝
可根據(jù)xpumanager repo安裝用于監(jiān)控和管理 XPU設(shè)備狀態(tài)信息的xpu-smi 工具。下載xpumanager并執(zhí)行以下命令：
~$ wget https://github.com/intel/xpumanager/releases/download/V1.2.27/xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb --no-check-certificate
~$ sudo apt install ./xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb
~$ xpu-smi discovery
結(jié)果顯示如下：
大模型服務(wù)與聊天機(jī)器人演示
2.1容器（Docker）安裝及服務(wù)設(shè)置
用戶可通過(guò) Docker，在英特爾銳炫? A770顯卡上使用 IPEX-LLM開(kāi)展 vLLM 服務(wù)。Docker的安裝可參考：https://docs.docker.com/engine/install/ubuntu/
通過(guò)以下命令，設(shè)置CPU主頻至最大睿頻，并將顯卡鎖頻至2.4GHz：
~$ apt-get install linux-tools-6.5.0-35-generic linux-cloud-tools-6.5.0-35-generic
# Query max turbo frequency, like W3445, Max Turbo Frequency is 4.8GHz:
~$ sudo cpupower frequency-set -d 4.8GHz
~$ sudo xpu-smi config -d 0 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 1 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 2 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 3 -t 0 --frequencyrange 2400,2400
2.2 安裝并啟動(dòng)vLLM服務(wù)
下載并安裝以下vllm版本：
~$ docker pull intelanalytics/ipex-llm-serving-xpu:2.2.0-b11
從https://hf-mirror.com下載LLM模型到本地文件夾中(例如：/home/worker/LLM)。
從https://hf-mirror.com/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d下載蒸餾版模型。
將以下腳本放入/home/intel/Demo-4xArc中的 bachkend-ipex-docker.sh文件(以下操作都以DeepSeek-R1-Distill-Qwen-32B版為例)：
將以下腳本放入vllm-deepseek-r1-distill-qwen-32b-openaikey.sh文件:
然后啟動(dòng)容器和vLLM 服務(wù)：
~$ sudo bash backend-ipex-docker.sh
~$ docker exec -it ipex-llm-b11 bash
~$ cd workspace & bash vllm-deepseek-r1-distill-qwen-32b-openaikey.sh
如下日志表明DeepSeek推理服務(wù)已啟動(dòng)成功：
2.3 使用Chatbox AI進(jìn)行性能測(cè)試
開(kāi)發(fā)者可以在本地使用Chatbox AI進(jìn)行LLM推理性能測(cè)試。如DeepSeek推理服務(wù)IP為192.168.10.110，在Windows PowerShell中執(zhí)行以下命令并輸入密碼，將遠(yuǎn)程服務(wù)端口映射到本地：
User> ssh -L 8001:localhost:8001 worker@192.168.10.110
打開(kāi)Chatbox AI的Url(https://web.chatboxai.app/)
選擇 “User My Own API Key / Local Model”，點(diǎn)擊 “Add Custom Provider”，并根據(jù)下圖所示進(jìn)行配置，手動(dòng)輸入DeepSeek整流的模型名稱(chēng)等信息：
由此，使用者可以在Chatbox AI中向大語(yǔ)言模型提問(wèn)，測(cè)試其推理性能：
vllm服務(wù)日志能夠顯示當(dāng)前的性能狀況，如圖中所示，基于多路英特爾銳炫? A770顯卡的推理服務(wù)一直有著30+ tokens/s的性能表現(xiàn)。
創(chuàng)新不止步：全新24GB銳炫? 顯卡與滿血版DeepSeek R1方案正在路上
本部署指南雖然是圍繞4路英特爾銳炫? A770顯卡的方案展開(kāi)，且以DeepSeek-R1-Distill-Qwen-32B版為例，但我們的實(shí)踐探索并未局限于此。
一方面，該解決方案可對(duì)DeepSeek各個(gè)蒸餾版提供同樣靈活的支持。使用者可通過(guò)調(diào)整輸入模型名稱(chēng)，以及設(shè)定并行使用的顯卡數(shù)量來(lái)進(jìn)行調(diào)整(使用--tensor-parallel-size參數(shù)來(lái)控制)。
另一方面，多路英特爾銳炫?顯卡 + 英特爾? 至強(qiáng)? 可擴(kuò)展處理器 /至強(qiáng)? W處理器方案的關(guān)鍵目標(biāo)，還是鎖定在DeepSeek- R1-671B這一性能巔峰版本上，其配置與優(yōu)化方法很快就會(huì)與大家見(jiàn)面。預(yù)計(jì)其技術(shù)路徑會(huì)同時(shí)覆蓋基于KTransformer，能更充分發(fā)揮至強(qiáng)? 處理器內(nèi)置AI加速技術(shù)AMX潛能的方案，以及GPU配置密度更高的單機(jī)16路英特爾銳炫? 顯卡的方案。
另一個(gè)值得期待的進(jìn)展，就是專(zhuān)為生產(chǎn)力應(yīng)用打造的新一代英特爾銳炫? 顯卡 B580 24G顯存版本也正向我們走來(lái)，其4張卡即可提供96GB的顯存容量，意味著用戶可在單機(jī)中更輕松地部署更大參數(shù)量的DeepSeek服務(wù)(例如DeepSeek- R1-671B版本)，進(jìn)而能在實(shí)戰(zhàn)中以較低的成本和較為便捷的部署方式，開(kāi)啟不縮水的DeepSeek服務(wù)。
