代理LOGO更新副本-1.png)
隨著Deepseek大模型的橫空出世，預(yù)計(jì)對(duì)整個(gè)工業(yè)領(lǐng)域會(huì)產(chǎn)生顛覆性的影響力，尤其針對(duì)邊緣部署部分獨(dú)創(chuàng)動(dòng)態(tài)剪枝與量化技術(shù)，DeepSeek大模型支持在邊緣設(shè)備低功耗運(yùn)行（最低適配5 TOPS算力硬件），推理速度能夠提升3倍。
研華選擇了多款基于英偉達(dá)技術(shù)的邊緣AI產(chǎn)品，針對(duì)目前DeepSeek-R1 系列的不同蒸餾模型進(jìn)行測(cè)試，下面讓我們來(lái)看下最新測(cè)試數(shù)據(jù)！
微型邊緣端推理應(yīng)用
算力100 TOPS
推薦型號(hào)：
基于ARM平臺(tái)AI Box：ICAM-540 /MIC-711 / MIC-713
支持DeepSeek-R1蒸餾模型版本：
☑ DeepSeek-R1-Distill-Qwen-1.5B
☑?DeepSeek-R1-Distill-Qwen-7B
☑?DeepSeek-R1-Distill-Llama-8B
測(cè)試型號(hào)：MIC-711
*同時(shí)在MIC-711-OX4A 開啟了Super Mode來(lái)跑同樣的模型, 在整體效能上有提升了將近25%, 這也表示了 Jetson super mode在AI應(yīng)用上有明顯的效能增強(qiáng)。
邊緣端推理應(yīng)用
算力100-500 TOPS
推薦型號(hào)：
基于ARM平臺(tái)Edge AI Box：MIC-732/MIC-733/736
基于X86平臺(tái) Edge AI Box：MIC-770V3
Edge AI 服務(wù)器 ：HPC-6240/HPC-7420/SKY-602E3 （支持1-4張GPU卡）
支持DeepSeek-R1蒸餾模型版本：
☑?DeepSeek-R1-Distill-Qwen-1.5B
☑?DeepSeek-R1-Distill-Qwen-7B
☑?DeepSeek-R1-Distill-Qwen-14B
☑?DeepSeek-R1-Distill-Llama-8B
測(cè)試型號(hào)：MIC-770V3
*DeepSeek-R1:32b于此系統(tǒng)配置下使用約18GB VRAM，可正常運(yùn)行，但相同LLM model放在較高階顯卡上測(cè)試時(shí)VRAM使用達(dá)到21GB 故猜測(cè)模型會(huì)自動(dòng)調(diào)整參數(shù)降低VRAM使用量，但在效能會(huì)有其影響。
高性能邊緣AI服務(wù)器
算力500-1000+ TOPS
推薦型號(hào)：
Edge AI 服務(wù)器 ：HPC-6240 /HPC-7420/SKY-602E3 ?（支持1-4張GPU卡）
支持DeepSeek-R1蒸餾模型版本：
☑?DeepSeek-R1-Distill-Qwen-14B
☑?DeepSeek-R1-Distill-Qwen-32B
☑?DeepSeek-R1-Distill-Llama-70B
測(cè)試型號(hào)：SKY-602E3
