手把手教你本地部署的DeepSeek 671b滿血版大模型

小魚干. · 發(fā)表于 2025-2-25 11:06

最近因為訪問人數(shù)過多，大家在訪問DeepSeek官網(wǎng)或是使用手機APP版本的時候，經(jīng)常會遇到服務(wù)器繁忙，請稍后再試的情況。于是就出現(xiàn)了很多本地部署DeepSeek大模型的文章或者視頻教程，但是跑跑輕量級的還好，如果想體驗滿血版DeepSeek R1 671B這種幾百個G的大模型，那在本地部署所需的硬件配置與費用也會更高。各種版本的DeepSeek參數(shù)和本地部署的要求大家可以參考下圖：

為了能花更少的錢體驗到滿血版的DeepSeek和蒸餾版的到底使用起來有什么區(qū)別，筆者嘗試使用一套更具性價比的硬件配置挑戰(zhàn)將DeepSeek R1 671B 的滿血量化版Q4大模型運行在個人PC上，成本壓縮在1.5萬，經(jīng)過測試，跑出的速度可達到2.18 tokens/s ，基本可用，如下圖所示：

下面就來詳細分享一下具體配置與實際運行效果。

1. 硬件配置
服務(wù)器：技嘉X99CPU：單路E5-2673v4顯卡：2080Ti 22G*4內(nèi)存：512G機箱：工作站全塔機箱電源：1200W

2. 軟件配置
操作系統(tǒng)：Ubuntu 22.04.5本地大模型運行工具：Ollamacurl -fsSL https://ollama.com/install.sh | sh大模型：DeepSeek R1 671B滿血量化版 404GBollama run deepseek-r1:671b

3. 調(diào)優(yōu)配置
如果按默認安裝Ollama會報內(nèi)存溢出錯誤，這里配置了幾個調(diào)優(yōu)參數(shù)，可以使得顯卡不再內(nèi)存溢出，會使用內(nèi)存當顯存，同時因為是4張顯卡啟動，所以在開機初始化時，加了延遲10秒啟動Ollama，這樣會讓4張顯卡啟動正常后，再加載Ollama。ExecStartPre=sleep 10Environment="OLLAMA_HOST=0.0.0.0"Environment="GGML_CUDA_ENABLE_UNIFIED_MEMORY=1"

4. 實際運行效果
首先ssh登錄到服務(wù)器后，查看Ollama當前環(huán)境所有大模型列表：ollama list

可以看到，當前已經(jīng)下載好的deepseek-r1:671b滿血全量模型，大小 404GB然后運行Deepseek R1 671B：ollama run deepseek-r1:671b進入運行畫面后，設(shè)置輸出明細信息：/set verbose

這里加載可能需要一些時間，加載完成后進行提問，即能看到實際運行的速率了：

5. 安裝Dify服務(wù)
如果想要在網(wǎng)頁中與Deepseek大模型交互，我們可以使用Docker來本地部署Dify服務(wù)來實現(xiàn)，首先需要安裝Docker：sudo curl -fsSL https://gitee.com/tech-shrimp/do ... oad/latest/linux.sh | bash -s docker --mirror Aliyun然后本地部署Dify：克隆 Dify 源代碼至本地環(huán)境：git clone https://github.com/langgenius/dify.git環(huán)境配置：cd dify/docker #進入 Dify 源代碼的 Docker 目錄

cp .env.example .env #復(fù)制環(huán)境配置文件啟動容器：sudo docker compose up -dDify 接入Ollama：進入Dify主界面，點擊設(shè)置—模型供應(yīng)商—Ollama，添加模型名稱，基礎(chǔ)URL，支持Vision保存。

回到主頁面當中，點擊創(chuàng)建空白應(yīng)用，選擇deepseek-r1:671b模型，在文本框中編輯文字即可進行對話。

6.安裝內(nèi)網(wǎng)穿透遠程訪問
如果想實現(xiàn)其他用戶跨網(wǎng)絡(luò)環(huán)境，遠程訪問本地部署的Deepseek R1 671B，可以通過安裝cpolar內(nèi)網(wǎng)穿透工具實現(xiàn)。sudo curl https://get.cpolar.sh | sh安裝完成后，執(zhí)行下方命令查看cpolar服務(wù)狀態(tài)：（如圖所示即為正常啟動）sudo systemctl status cpolar

Cpolar安裝和成功啟動服務(wù)后，在瀏覽器上輸入Ubuntu主機IP加9200端口即:【http://localhost:9200】訪問Cpolar管理界面，使用Cpolar賬號登錄后即可看到配置界面：點擊左側(cè)儀表盤的隧道管理——創(chuàng)建隧道：

隧道名稱：可自定義，本例使用了: dify 注意不要與已有的隧道名稱重復(fù)
協(xié)議：http
本地地址：80
域名類型：隨機域名
地區(qū)：選擇China Top

點擊創(chuàng)建

創(chuàng)建成功后，打開左側(cè)在線隧道列表，可以看到剛剛通過創(chuàng)建隧道生成了兩個公網(wǎng)地址，接下來就可以在其他電腦（異地）上，使用任意一個網(wǎng)址在瀏覽器中訪問即可。成功實現(xiàn)使用公網(wǎng)地址異地遠程訪問本地部署的Dify在網(wǎng)頁中與Deepseek R1 671B聊天了！

為了方便演示，我們在上邊的操作過程中使用了cpolar生成的公網(wǎng)地址隧道，其公網(wǎng)地址是隨機生成的。這種隨機地址的優(yōu)勢在于建立速度快，可以立即使用，然而，它的缺點是網(wǎng)址是隨機生成，這個地址在24小時內(nèi)會發(fā)生隨機變化，更適合于臨時使用。如果有長期遠程訪問本地 Dify開發(fā)應(yīng)用平臺或者其他本地部署的服務(wù)的需求，但又不想每天重新配置公網(wǎng)地址，還想地址好看又好記，那我推薦大家選擇使用固定的二級子域名方式來遠程訪問，帶寬會更快，使用cpolar在其他用途還可以保留多個子域名，支持多個cpolar在線進程。

配置固定Dify公網(wǎng)地址
我們可以為Dify配置二級子域名，該地址為固定地址，不會隨機變化【ps：cpolar.cn已備案】

注意需要將cpolar套餐升級至基礎(chǔ)套餐或以上，且每個套餐對應(yīng)的帶寬不一樣。

登錄cpolar官網(wǎng)，點擊左側(cè)的預(yù)留，選擇保留二級子域名，地區(qū)選擇china vip，然后設(shè)置一個二級子域名名稱，填寫備注信息，點擊保留。

然后登錄cpolar web UI管理界面，點擊左側(cè)儀表盤的隧道管理——隧道列表，找到所要配置的隧道：dify，點擊右側(cè)的編輯。修改隧道信息，將保留成功的二級子域名配置到隧道中

域名類型：選擇二級子域名
Sub Domain：填寫保留成功的二級子域名
地區(qū): China VIP

點擊更新

更新完成后，打開在線隧道列表，此時可以看到隨機的公網(wǎng)地址已經(jīng)發(fā)生變化，地址名稱也變成了保留和固定的二級子域名名稱。

最后，我們使用固定的公網(wǎng)地址訪問 Dify 界面可以看到訪問成功，這樣一個永久不會變化的網(wǎng)址就設(shè)置好了。

接下來就可以隨時隨地進行cpolar生成的公網(wǎng)地址來遠程使用本地部署的Dify與deepseek滿血大模型聊天了，你也可以把分享這個固定的公網(wǎng)地址，方便團隊協(xié)作，同時也大大提高了工作效率！自己用的話，無需云服務(wù)器，還可以實現(xiàn)異地其他設(shè)備登錄！

總結(jié)
本次挑戰(zhàn)中，筆者使用的基本均為多年前上市但極具性價比的硬件來實現(xiàn)本地部署deepseek滿血大模型，并結(jié)合cpolar內(nèi)網(wǎng)穿透工具將你本地的deepseek服務(wù)發(fā)布公網(wǎng)，輕松實現(xiàn)讓好友或是同事也能遠程訪問你在本機部署的大模型，無需二次部署，節(jié)省成本的同時也不用再體驗deepseek服務(wù)器繁忙的情況了。目前筆者正在測試新的部署方案，期望是達成提高每秒tokens速度的同時還能進一步降低硬件的配置預(yù)算，敬請期待，如果感覺本篇文章對您有幫助的小伙伴，希望大家可以點贊、留言、分享來支持一下。

AI小海螺 · 發(fā)表于 2025-2-25 11:07

其實不用麻煩本地部署，DeepSeek 671b滿血版不卡段在線使用：http://ktgpgw.cn/img/dangbeiai.html

› 綜合交流 / 資源分享區(qū) › AI技術(shù)討論

手把手教你本地部署的DeepSeek 671b滿血版大模型 ...

手把手教你本地部署的DeepSeek 671b滿血版大模型