AI引發(fā)本地部署熱潮。
隨著DeepSeek持續(xù)火爆出圈,人們開始不滿足于網(wǎng)頁端和APP端上使用DeepSeek,而嘗試將DeepSeek進行本地化部署。本地化部署是指將DeepSeek的AI大模型安裝到本地計算機內(nèi),不依賴網(wǎng)絡(luò)或云服務(wù)。記者搜索視頻網(wǎng)站發(fā)現(xiàn),不少用戶上傳了如何將DeepSeek部署到本地計算機的教程,不少視頻瀏覽量超過100萬。
DeepSeek引發(fā)本地部署熱潮
教人部署DeepSeek也成為了一門生意。記者通過在電商平臺搜索“DeepSeek本地部署”發(fā)現(xiàn),不少店鋪開辟了DeepSeek本地部署的生意,這些服務(wù)單價從幾元到幾十元不等,其中一些服務(wù)近期已有1000人購買。
一位嘗試過部署的AI愛好者告訴記者,網(wǎng)絡(luò)端運行響應(yīng)速度較慢,并且訪問量過大時候,時常出現(xiàn)“服務(wù)器繁忙,請稍后再試?!睘榱双@得更好的使用體驗,他就嘗試采用DeepSeek進行本地部署。據(jù)了解,本地部署不需要掌握深厚的編程知識,通過教程按部就班,即可部署成功。
艾媒咨詢首席分析師張毅告訴記者:“本地部署支持個人根據(jù)需求,對DeepSeek進行一些定制化修改,也是驅(qū)動力(7.350, 0.26, 3.67%)之一?!睆堃阊a充道,本地部署中個人數(shù)據(jù)不上云,可滿足隱私需要。
DeepSeek發(fā)布了不同參數(shù)量的模型,小至10億參數(shù),大至6710億參數(shù),參數(shù)越大所需的計算資源就越大。由于個人電腦手機等設(shè)備的計算資源受限,6710億參數(shù)的DeepSeek模型往往無法本地部署?!捌胀üP記本電腦只能部署10億參數(shù)的版本,如果個人電腦配有好的GPU顯卡或較高內(nèi)存(比如32GB),那么可以跑70億參數(shù)版本的DeepSeek?!鄙鲜鯝I技術(shù)愛好者告訴記者。
從本地部署的效果而言,參數(shù)越小的版本,大模型的回答質(zhì)量越差?!拔覈L試本地部署過70億參數(shù)版本的DeepSeek,運行較流暢,但是回答質(zhì)量還比云端版本差很多,更小參數(shù)版本的效果會更差。”上述AI愛好者表示。
在DeepSeek本地部署的熱度下,專門在PC中添加了NPU的AI PC有望迎來銷量增長。據(jù)了解,華為、聯(lián)想、戴爾等電腦品牌紛紛推出AI PC,這種新型PC搭載有專門處理本地部署AI大模型計算的處理器芯片,這些處理器芯片均由英特爾、AMD、高通等芯片廠提供。
這些AI PC可在本地部署并流暢運行上百億參數(shù)的AI大模型,例如本次CES 2025年上,AMD就推出了Ryzen AI max系列處理器,稱可在電腦本地運行700億參數(shù)AI大模型。不過,配置有該處理器芯片的AI PC售價不菲,據(jù)了解,華碩某游戲本價格近1.5萬元。另外,也有人質(zhì)疑,花大價錢買AI PC,進行AI大模型的本地部署,實現(xiàn)功能卻和云端AI大模型高度重合,AI PC僅僅是廠商的噱頭而已。
企業(yè)嘗試本地部署DeepSeek
除了個人開啟DeepSeek本地部署之外,企業(yè)也開始躍躍欲試。蛇年工作日的第一天,蒂姆維澳創(chuàng)始人王加輝發(fā)布一條微信朋友圈:“DeepSeek大模型本地電腦部署體驗成功,導(dǎo)入煤礦知識安全庫進行問答,下一步讓它結(jié)合工業(yè)現(xiàn)場作業(yè)?!?/p>
蒂姆維澳是一家提供工業(yè)管理解決方案的企業(yè),它面向采礦業(yè)、石油業(yè)等行業(yè),運用AR眼鏡和AI軟件,為工業(yè)現(xiàn)場人員的維修、質(zhì)檢、故障排查,提供實時觀察和指導(dǎo)。王加輝告訴記者,此前僅采用通義千問AI大模型打造了本地知識庫問答,鑒于DeepSeek更好的推理能力,他正考慮將DeepSeek和業(yè)務(wù)深度融合。
“我們會在DeepSeek基礎(chǔ)上,根據(jù)特定工業(yè)場景的需求和數(shù)據(jù),對特定參數(shù)進行微調(diào),或者進行二次開發(fā),以適配IT系統(tǒng)和實現(xiàn)新功能?!蓖跫虞x向記者表示:“我們目標是將DeepSeek部署在本地,并和現(xiàn)場的相機進行聯(lián)動,從而更好地識別現(xiàn)場的危險作業(yè),并實現(xiàn)隱患排查和產(chǎn)品質(zhì)檢等功能。”
他認為,工業(yè)客戶是否采用本地部署主要取決于數(shù)據(jù)的涉密性?!耙恍﹪蟆④姽?、醫(yī)療設(shè)備企業(yè)往往要求我們實施本地部署的方案,因為它們對于數(shù)據(jù)安全的要求較高?!彼M一步補充道:“非涉密場景可采用云端接入的方案,雖然會出現(xiàn)操作延時,但是影響不大,并且方案價格更低。”
如果采用本地部署,這些客戶要求配置裝有4卡或8卡GPU的服務(wù)器,實現(xiàn)DeepSeek本地推理服務(wù)?!拔业目蛻羝毡檫x擇英偉達的消費級顯卡來配置服務(wù)器,例如4090,性價比較高?!蓖跫虞x表示:“如果客戶有國產(chǎn)化配置要求,我們會采購價格更高的國產(chǎn)GPU顯卡。”
除工業(yè)外,越來越多企業(yè)開始本地部署DeepSeek。國金證券稱DeepSeek可應(yīng)用于信息檢索、文檔處理、行業(yè)研究、市場研判等場景。此外,醫(yī)療行業(yè)、網(wǎng)絡(luò)安全等行業(yè)內(nèi)的企業(yè)近期也在本地化部署DeepSeek,包括萬達信息、奇虎360等。
張毅告訴記者,隨著企業(yè)對本地化部署要求擴大,國產(chǎn)推理算力的需求量將增加,加上美國對高端芯片封禁,國產(chǎn)芯片算力企業(yè)將迎來較大機遇。
AI應(yīng)用將爆發(fā)
高通CEO克里斯蒂亞諾·安蒙(Cristiano Amon)稱,DeepSeek-R1是AI產(chǎn)業(yè)的轉(zhuǎn)折點,AI推理將向端側(cè)遷移,AI將變得更小、更高效、更定制化,并且基于特定場景的AI大模型和AI應(yīng)用將出現(xiàn)。中航證券研報認為,DeepSeek-R1說明了端側(cè)AI部署將變得更加普惠,萬物智能時代將加速到來。
開源將吸引更多開發(fā)者在DeepSeek基礎(chǔ)上構(gòu)筑應(yīng)用。華為昇騰、摩爾線程、壁仞科技、天數(shù)智芯等國產(chǎn)GPU卡已經(jīng)適配DeepSeek;騰訊云、阿里云、移動云、華為云等云廠商也和DeepSeek完成適配。對國產(chǎn)算力的適配優(yōu)化,有望進一步降低推理側(cè)的成本。
由于國內(nèi)應(yīng)用付費的習(xí)慣尚未完全成熟,AI應(yīng)用的商業(yè)化可能受阻。國金計算機首席孟燦認為,美國對應(yīng)用付費有著10年,甚至20年基礎(chǔ),這對AI應(yīng)用的商業(yè)化有助益,而國內(nèi)由于尚無此基礎(chǔ),AI應(yīng)用落地及商業(yè)化的時間進度會較慢。不過,國內(nèi)正在不斷追趕,時間進度有望縮短至半年以內(nèi)。