作者 | 物聯(lián)網(wǎng)智庫(kù) 2025-02-14
2025 年初,DeepSeek 憑借其高效能、低成本的開源特性迅速引爆市場(chǎng)。
此前,以大模型為代表的 AI 在邊緣和端側(cè)推理應(yīng)用存在諸多挑戰(zhàn),比如邊緣側(cè)的計(jì)算能力與存儲(chǔ)容量難以滿足大模型的微調(diào)和推理需求,模型壓縮與輕量化可能導(dǎo)致精度損失從而影響業(yè)務(wù)結(jié)果等……而隨著算法技術(shù)的不斷進(jìn)步,包括模型量化、剪枝、蒸餾等模型壓縮算法的發(fā)展,以及專為端側(cè)部署設(shè)計(jì)的軟硬件平臺(tái)的出現(xiàn),AI 大模型在端側(cè)設(shè)備的部署變得更加高效便捷——DeepSeek-R1 正是其中的突破性選手。
具體而言,DeepSeek-R1 通過(guò)高效蒸餾技術(shù),將大模型的推理能力遷移到更小、更高效的版本中。這一突破使其小尺寸版本在保持卓越性能的同時(shí),顯著降低了模型體積和計(jì)算資源需求,成為端側(cè)部署的理想選擇。
當(dāng) AI 大模型從云端下沉至邊側(cè),一場(chǎng)“端側(cè) AI 革命”正悄然展開。在這場(chǎng)革命中,通信模組作為連接物理世界與數(shù)字世界的核心紐帶發(fā)揮著至關(guān)重要的作用,成為產(chǎn)業(yè)關(guān)注的焦點(diǎn)。2025 年,在 DeepSeek 浪潮的引領(lǐng)下,智聯(lián)網(wǎng)產(chǎn)業(yè)或?qū)⒂瓉?lái)“端側(cè) AI 元年”。
近日,我們能看到包括美格智能、廣和通、移遠(yuǎn)通信、芯訊通在內(nèi)的多家物聯(lián)網(wǎng)模組企業(yè)紛紛發(fā)布了旗下 AI 模組適配 DeepSeek 的消息,筆者整理如下:
美格智能
美格/廣和通/移遠(yuǎn)/日海...齊布局,Deepseek催化"端側(cè)AI元年"?
作者 | 物聯(lián)網(wǎng)智庫(kù)2025-02-14
2025 年初,DeepSeek 憑借其高效能、低成本的開源特性迅速引爆市場(chǎng)。
此前,以大模型為代表的 AI 在邊緣和端側(cè)推理應(yīng)用存在諸多挑戰(zhàn),比如邊緣側(cè)的計(jì)算能力與存儲(chǔ)容量難以滿足大模型的微調(diào)和推理需求,模型壓縮與輕量化可能導(dǎo)致精度損失從而影響業(yè)務(wù)結(jié)果等……而隨著算法技術(shù)的不斷進(jìn)步,包括模型量化、剪枝、蒸餾等模型壓縮算法的發(fā)展,以及專為端側(cè)部署設(shè)計(jì)的軟硬件平臺(tái)的出現(xiàn),AI 大模型在端側(cè)設(shè)備的部署變得更加高效便捷——DeepSeek-R1 正是其中的突破性選手。
具體而言,DeepSeek-R1 通過(guò)高效蒸餾技術(shù),將大模型的推理能力遷移到更小、更高效的版本中。這一突破使其小尺寸版本在保持卓越性能的同時(shí),顯著降低了模型體積和計(jì)算資源需求,成為端側(cè)部署的理想選擇。
當(dāng) AI 大模型從云端下沉至邊側(cè),一場(chǎng)“端側(cè) AI 革命”正悄然展開。在這場(chǎng)革命中,通信模組作為連接物理世界與數(shù)字世界的核心紐帶發(fā)揮著至關(guān)重要的作用,成為產(chǎn)業(yè)關(guān)注的焦點(diǎn)。2025 年,在 DeepSeek 浪潮的引領(lǐng)下,智聯(lián)網(wǎng)產(chǎn)業(yè)或?qū)⒂瓉?lái)“端側(cè) AI 元年”。
近日,我們能看到包括美格智能、廣和通、移遠(yuǎn)通信、芯訊通在內(nèi)的多家物聯(lián)網(wǎng)模組企業(yè)紛紛發(fā)布了旗下 AI 模組適配 DeepSeek 的消息,筆者整理如下:
美格智能
1 月 26 日,美格智能在官微發(fā)布消息稱,其研發(fā)團(tuán)隊(duì)結(jié)合 AIMO 智能體、高算力 AI 模組的異構(gòu)計(jì)算能力,結(jié)合多款模型量化、部署、功耗優(yōu)化 Know-how,正在加速開發(fā) DeepSeek-R1 模型在端側(cè)落地應(yīng)用及端云結(jié)合整體方案。
超低功耗:首先持續(xù)對(duì) DeepSeek-R1 模型的推理延遲進(jìn)行優(yōu)化,保證模型在高算力模組軟硬件環(huán)境下的超低功耗運(yùn)行。
開發(fā)工具鏈:不斷進(jìn)行工具鏈打通,模組內(nèi)嵌的 SNPE 引擎直接支持 DeepSeek-R1 模型的 ONNX/TFLite 格式,大模型適配周期將大幅縮短。
端云協(xié)同:結(jié)合動(dòng)態(tài)卸載技術(shù),根據(jù)任務(wù)復(fù)雜度自動(dòng)分配端側(cè)與邊緣計(jì)算資源,保障實(shí)時(shí)性與能效平衡。為客戶提供端云協(xié)同模板,面向開發(fā)者提供動(dòng)態(tài)任務(wù)分配框架,簡(jiǎn)單配置即可實(shí)現(xiàn)“本地優(yōu)先,云端兜底”。
同時(shí),公司將結(jié)合美格智能自研的 AIMO 智能體及 DeepSeek-R1 模型的基礎(chǔ)能力,開發(fā)面向工業(yè)智能化、座艙智能體、智能無(wú)人機(jī)、機(jī)器人等領(lǐng)域的 AI Agent 應(yīng)用。
受 DeepSeek 概念影響,1 月 24 日至 2 月 10 日,美格智能股價(jià)區(qū)間漲幅達(dá) 77.20%。
廣和通
2 月 10 日,廣和通在官微發(fā)布消息,稱其高算力 AI 模組及解決方案全面支持小尺寸的 DeepSeek-R1 模型,高效且靈活地構(gòu)建深度學(xué)習(xí)體系,不僅保護(hù)數(shù)據(jù)隱私,更大大提升終端推理和運(yùn)算能力。
面向更廣泛的行業(yè)端側(cè) AI 應(yīng)用,廣和通將積極推動(dòng) DeepSeek 等優(yōu)質(zhì)模型在高、中、低算力 AI 模組及解決方案部署,提供不同參數(shù)模型服務(wù),進(jìn)一步降低端側(cè) AI 的門檻,并優(yōu)化成本,幫助客戶快速增強(qiáng)終端 AI 推理能力,賦能更廣泛的物聯(lián)網(wǎng)設(shè)備實(shí)現(xiàn) AI 化。
移遠(yuǎn)通信
2 月 12 日,移遠(yuǎn)通信在官微發(fā)布消息,宣布其搭載高通 QCS8550 平臺(tái)的邊緣計(jì)算模組 SG885G,成功實(shí)現(xiàn)了 DeepSeek-R1 蒸餾小模型的穩(wěn)定運(yùn)行。實(shí)測(cè)數(shù)據(jù)顯示,其生成 Tokens 的速度超過(guò)每秒 40 個(gè) Tokens,且未來(lái)隨著性能的不斷優(yōu)化,速度還將進(jìn)一步提升,為智能終端設(shè)備帶來(lái)更強(qiáng)大的 AI 能力。此外,在成功實(shí)現(xiàn) DeepSeek 模型端側(cè)運(yùn)行的基礎(chǔ)上,移遠(yuǎn)通信還完成了該模型的針對(duì)性微調(diào),并應(yīng)用于自身的大模型解決方案中,為客戶提供更精準(zhǔn)、更高效的端側(cè) AI 服務(wù)。
據(jù)悉,搭載 DeepSeek 模型的移遠(yuǎn)邊緣計(jì)算模組和解決方案,不僅適用于消費(fèi)類和工業(yè)類機(jī)器人領(lǐng)域,還可廣泛應(yīng)用于智能座艙、機(jī)器視覺、個(gè)性化虛擬助理、平板電腦、老人監(jiān)護(hù)、智能家居、AI 玩具及可穿戴設(shè)備等多元化場(chǎng)景。
芯訊通
2 月 12 日,芯訊通 SIMcom 官微發(fā)布消息稱,芯訊通高算力 AI 模組 SIM9650L 已實(shí)測(cè)跑通 DeepSeek R1 模型,AI 算力超過(guò) 14Tops,能夠高效地幫助客戶終端搭建深度學(xué)習(xí)體系。
目前,芯訊通正在開展相關(guān)技術(shù)研究接入豆包等其他大模型,積極探索更多深度應(yīng)用。AI 大模型爆火背后,是產(chǎn)業(yè)智能化對(duì)價(jià)值創(chuàng)造的本質(zhì)需求,芯訊通將以通信模組為支點(diǎn),通過(guò)“模組+算法+場(chǎng)景”的深度融合,讓端側(cè) AI 真正落地。
有方科技
2 月 13 日,面對(duì)“公司是否針對(duì) DeepSeek 相關(guān)模型開展了模型適配及端側(cè)部署工作”的問題,有方科技在投資者關(guān)系平臺(tái)上答復(fù)表示,公司依托于自身物聯(lián)感知體系“云-管-端”架構(gòu)建立的優(yōu)勢(shì),積極融合物聯(lián)網(wǎng)與人工智能技術(shù),在 Deepseek 模型上,公司一方面正在云側(cè)基于模型融合公司運(yùn)管服云平臺(tái)開發(fā)城域物聯(lián)感知模型,另一方面也正在端側(cè)開展模型與模組的適配工作,但目前還處于在研狀態(tài),尚未產(chǎn)生收入。
值得強(qiáng)調(diào)的是,雖然不少模組企業(yè)因布局端側(cè) AI,股價(jià)迎來(lái)大幅上漲,但尚且無(wú)法判斷相關(guān)概念股是否真正受益于 DeepSeek 的技術(shù)突破,還是僅僅在蹭熱點(diǎn)?許多產(chǎn)品都處于早期研發(fā)階段,尚未產(chǎn)生明確訂單,未來(lái)是否能產(chǎn)生收入及產(chǎn)生多少收入受市場(chǎng)需求和公司市場(chǎng)拓展進(jìn)度影響,具有很強(qiáng)的不確定性,尚有賴于應(yīng)用端和最終用戶的檢驗(yàn)。
而智聯(lián)網(wǎng)模組企業(yè)以及整個(gè)產(chǎn)業(yè)鏈上下游要想進(jìn)一步將拓展端側(cè) AI 能力,還需要克服以下挑戰(zhàn):
首先是計(jì)算資源受限問題。這包含三個(gè)維度:第一是算力限制,端側(cè)設(shè)備(如嵌入式系統(tǒng)、移動(dòng)設(shè)備、工業(yè)設(shè)備等)通常受制于處理器性能,無(wú)法匹配云端數(shù)據(jù)中心的 GPU、TPU 等高性能計(jì)算單元;第二是存儲(chǔ)和內(nèi)存限制,端側(cè)設(shè)備的存儲(chǔ)容量有限,無(wú)法容納大規(guī)模的 AI 模型和數(shù)據(jù)集;第三是能耗限制,端側(cè)設(shè)備通常依賴電池或低功耗架構(gòu),難以支持高功耗的 AI 推理任務(wù)。
如今,DeepSeek 為解決計(jì)算資源受限挑戰(zhàn)提出了突破性的思路。DeepSeek 是一個(gè)具有 6710 億參數(shù)的大型語(yǔ)言模型,其基于預(yù)訓(xùn)練的開源模型(如 LLaMA)進(jìn)行改進(jìn)和微調(diào),推出了多個(gè)精簡(jiǎn)版本(參數(shù)從 15 億到 700 億不等),降低了對(duì)硬件資源的要求,使其能夠在資源受限的設(shè)備上運(yùn)行。
未來(lái),在 DeepSeek 的啟發(fā)的引領(lǐng)下,更多類似的模型或?qū)⒈魂懤m(xù)推出,從而給端側(cè) AI 帶來(lái)無(wú)窮的想象力。對(duì)此,模組企業(yè)需要持續(xù)優(yōu)化平臺(tái)部署,大幅縮短新模型的落地周期,從而賦能終端側(cè)真正享受到 AI 帶來(lái)的受益。
然后是端云協(xié)同部署問題。如今,關(guān)于邊緣和云端哪個(gè)是理想工作負(fù)載位置的爭(zhēng)論,已經(jīng)逐漸被現(xiàn)實(shí)的共生關(guān)系所取代——云端(Cloud)負(fù)責(zé)高性能計(jì)算、大數(shù)據(jù)存儲(chǔ)、深度學(xué)習(xí)訓(xùn)練等任務(wù);邊緣(Edge)靠近數(shù)據(jù)源,負(fù)責(zé)實(shí)時(shí)推理、數(shù)據(jù)預(yù)處理、流式計(jì)算等;端側(cè)(Device)處理本地任務(wù),如智能手機(jī)、傳感器、IoT設(shè)備的輕量化推理……隨著跨云、邊緣和數(shù)據(jù)中心的高效數(shù)據(jù)處理和流動(dòng)需求不斷增長(zhǎng),混合邊緣-云的應(yīng)用趨勢(shì)將繼續(xù)提升。
對(duì)智聯(lián)網(wǎng)解決方案提供商而言,未來(lái)需要以協(xié)同化的架構(gòu),進(jìn)一步合理劃分云、邊、端計(jì)算任務(wù),確保在保證性能的同時(shí)優(yōu)化能耗和數(shù)據(jù)同步效率。
最后是應(yīng)用場(chǎng)景適配與生態(tài)建設(shè)問題。不同應(yīng)用場(chǎng)景(智能家居、智能制造、自動(dòng)駕駛等)對(duì)計(jì)算能力、功耗、隱私等有不同需求,對(duì)此,模組企業(yè)需要定制化產(chǎn)品和服務(wù)。
美格智能提及,未來(lái)將推出面向 AI 場(chǎng)景的訂閱服務(wù),針對(duì)中小型的 B 端或 C 端客戶,推出“端側(cè) AI 能力包”,與大模型廠商合作,針對(duì) Token 輸入/輸出數(shù)量、不同類型模型調(diào)用、流量費(fèi)用等領(lǐng)域,推出一體化端側(cè) AI Turn-key 方案。
總體而言,雖然道路是波折的,但前途是光明的。根據(jù) Market.us 的預(yù)測(cè),從2022 年至2032 年,全球端側(cè) AI 市場(chǎng)空間將從 152 億美元提升至 1436 億美元,年復(fù)合增長(zhǎng)率達(dá) 25.9%。
而隨著端側(cè) AI 的進(jìn)一步深入落地,我們將看到除手機(jī)、PC、智能眼鏡、耳機(jī)等傳統(tǒng)設(shè)備外,家電、機(jī)器人、教育辦公設(shè)備、玩具等也將深度集成 AI 功能,形成“萬(wàn)物皆可 AI 化”的生態(tài)。
回顧模組的發(fā)展歷程,標(biāo)準(zhǔn)通信模組從 1.0 時(shí)代的純通信能力,到 2.0 時(shí)代利用 Open CPU 技術(shù)替代外部 MCU,實(shí)現(xiàn)一些簡(jiǎn)單的邏輯控制能力,到 3.0 時(shí)代的同時(shí)具備 4G/5G 高速通信能力以及內(nèi)置智能化操作系統(tǒng)和豐富的外設(shè)接口。復(fù)雜系統(tǒng)的智能模組經(jīng)歷了史無(wú)前例的快速發(fā)展,大大加速了傳統(tǒng)行業(yè)的信息化和智能化的改造進(jìn)程。
而在模組不斷進(jìn)化迭代的過(guò)程中,市場(chǎng)迎來(lái)過(guò)“春風(fēng)”,也經(jīng)歷過(guò)“寒冬”。Counterpoint 數(shù)據(jù)顯示,受需求減少影響,2023 年全球物聯(lián)網(wǎng)模組出貨量首次出現(xiàn)下滑,同比下降2%,但2024年隨著庫(kù)存水平正?;椭悄茈姳怼OS、汽車等領(lǐng)域需求增加,模組市場(chǎng)有望下半年恢復(fù)增長(zhǎng)。伴隨 5G、AIoT 等技術(shù)應(yīng)用,預(yù)計(jì) 2025 年市場(chǎng)將出現(xiàn)大幅增長(zhǎng)。
如今,端側(cè) AI 概念的爆發(fā)又為模組市場(chǎng)注入了新的動(dòng)力,在此影響下,整個(gè)市場(chǎng)的“回暖”或許會(huì)比預(yù)期中來(lái)得更早一些。
參考資料:
美格智能AIMO智能體+DeepSeek-R1模型,AI應(yīng)用的iPhone時(shí)刻來(lái)了,美格智能
移遠(yuǎn)通信邊緣計(jì)算模組成功運(yùn)行DeepSeek模型,以領(lǐng)先的工程能力加速端側(cè)AI落地,移遠(yuǎn)通信
芯訊通高算力AI模組SIM9650L實(shí)測(cè)跑通DeepSeek R1模型,芯訊通
正在端側(cè)開展Deepseek模型與模組的適配工作,有方科技
端側(cè)AI元年爆發(fā)!廣和通AI模組及解決方案全面支持DeepSeek-R1蒸餾模型,廣和通
廣和通/美格/移遠(yuǎn)/日海紛紛布局,一文盤點(diǎn)算力模組現(xiàn)狀、挑戰(zhàn)和前景,物聯(lián)網(wǎng)智庫(kù)
戴爾副總裁:五大趨勢(shì)將定義智能邊緣的發(fā)展,戴爾