研華邊緣AI平臺(tái)測(cè)試DeepSeek蒸餾版模型數(shù)據(jù)大公開!
隨著Deepseek大模型的橫空出世,預(yù)計(jì)對(duì)整個(gè)工業(yè)領(lǐng)域會(huì)產(chǎn)生顛覆性的影響力,尤其針對(duì)邊緣部署部分獨(dú)創(chuàng)動(dòng)態(tài)剪枝與量化技術(shù),DeepSeek大模型支持在邊緣設(shè)備低功耗運(yùn)行(最低適配5 TOPS算力硬件),推理速度能夠提升3倍。 研華選擇了多款基于英偉達(dá)技術(shù)的邊緣AI產(chǎn)品,針對(duì)目前DeepSeek-R1 系列的不同蒸餾模型進(jìn)行測(cè)試,下面讓我們來(lái)看下最新測(cè)試數(shù)據(jù)! 微型邊緣端推理應(yīng)用 算力100 TOPS 推薦型號(hào): 基于ARM平臺(tái)AI Box:ICAM-540 /MIC-711 / MIC-713 支持DeepSeek-R1蒸餾模型版本: ☑ DeepSeek-R1-Distill-Qwen-1.5B ☑?DeepSeek-R1-Distill-Qwen-7B ☑?DeepSeek-R1-Distill-Llama-8B