九鼎動態
2023 SUMMARY
01
近日,九鼎(ding)創(chuang)展技術團隊在邊緣計(ji)算領(ling)域取得(de)重大突破,成功將DeepSeek-R1-Disti11-Qwen系列模型移植到瑞芯微(Rockchip)RK3576和RK3588開發(fa)板上,并實現(xian)了高效的(de)推(tui)理性能。這一成果標(biao)志著九鼎(ding)創(chuang)展在邊緣AI領(ling)域的(de)進(jin)一步深耕,為智能硬件開發(fa)者(zhe)提供了更強大的(de)AI算力支持。
DeepSeek模型:輕量化與高性能的完美結合
DeepSeek-R1-Disti11-Qwen系列模(mo)(mo)型是專為(wei)邊緣計算場景設計的(de)輕量化AI模(mo)(mo)型,包含1.5B和7B兩種規模(mo)(mo),分別適用于(yu)不(bu)同算力和內存的(de)硬件平(ping)臺。九鼎創展技術團(tuan)隊通過優化模(mo)(mo)型結構與RKNN推(tui)理引擎的(de)深度(du)融合(he),成功在(zai)RK3576和RK3588開發(fa)板上(shang)實現(xian)了高效(xiao)的(de)模(mo)(mo)型部署。
模型性能亮點
DeepSeek-R1-Disti11-Qwen-1.5B
模型文件大(da)小:2GB
內存要求:4GB
RK3588推理速度:12.92 Tokens/s
RK3576推(tui)理速度(du):8.36 Tokens/s
DeepSeek-R1-Disti11-Qwen-7B
模型文件大(da)小:8GB
內存要求:16GB
RK3588推理速度:3.13 Tokens/s
RK3576推理速(su)度:NC(未提(ti)供)
從性能(neng)數據可(ke)以(yi)看出,1.5B模(mo)型在(zai)(zai)RK3588上表現(xian)出色,推(tui)理(li)速度高達12.92 Tokens/s,即使(shi)在(zai)(zai)資(zi)源受(shou)限的RK3576開發(fa)板上也能(neng)達到8.36 Tokens/s,充分滿足(zu)了邊緣(yuan)設備對實(shi)時性和高效性的需求。而(er)7B模(mo)型則更適(shi)合對精度要求較(jiao)高的場景(jing),盡管推(tui)理(li)速度稍低,但(dan)在(zai)(zai)RK3588上仍(reng)能(neng)穩定(ding)運行(xing)。
RK3576與RK3588:邊緣AI的強力引擎
作為瑞芯微旗下兩款(kuan)高(gao)性能(neng)處(chu)理器,RK3576和RK3588憑借其強大的AI算力和能(neng)效比,成為邊緣計(ji)算領域的明星芯片(pian)。九鼎創展技術團隊充分利用這兩款(kuan)芯片(pian)的硬件優(you)勢(shi),通(tong)過RKNN工具鏈對(dui)DeepSeek模型進行了(le)深(shen)度(du)優(you)化,實現了(le)模型的高(gao)效推理。
RK3588:憑借其強(qiang)大(da)的(de)NPU和CPU性(xing)能,在1.5B模型上實現了12.92 Tokens/s的(de)推(tui)理速(su)度(du),展現了其在邊緣AI場景中的(de)卓越(yue)能力。
RK3576:雖然算力(li)稍遜于RK3588,但在1.5B模型上仍能實現8.36 Tokens/s的推理速度,足以滿足大多數邊緣設備的AI需求(qiu)。
應用場景:賦能千行百業
九鼎創展此(ci)次成(cheng)功移植DeepSeek模型(xing),為(wei)邊(bian)緣(yuan)AI應用(yong)(yong)開辟(pi)了更(geng)多可(ke)能性。以下是一些(xie)典型(xing)的應用(yong)(yong)場景:
智(zhi)能安防:在邊緣設備上(shang)實時運行DeepSeek模(mo)型,實現人臉識別、行為分析(xi)等(deng)功(gong)能,提升(sheng)安防系統的響應(ying)速度與準確性(xing)。
工(gong)業質檢(jian):利用7B模型的高精(jing)度特性,在生產線(xian)邊緣(yuan)設備上進行缺(que)陷檢(jian)測,大幅提升質(zhi)檢(jian)效(xiao)率。
智能語(yu)音助手:在(zai)嵌入(ru)式設(she)備上運行(xing)1.5B模型(xing),實現低延遲的語(yu)音識別(bie)與(yu)自然(ran)語(yu)言處理,為用戶(hu)提(ti)供流暢的交互體驗。
自動駕駛:在車(che)載邊(bian)緣計算設(she)備上部(bu)署DeepSeek模型,實現實時(shi)環境感知與(yu)決策,提升行(xing)車(che)安全性(xing)。
九鼎創展將(jiang)繼續深耕邊(bian)緣AI領域,推動更(geng)多AI模(mo)型在(zai)邊(bian)緣設備上的(de)落地應用。未來,我們(men)將(jiang)進一步優化模(mo)型性能(neng),拓展更(geng)多應用場景,為智能(neng)硬件(jian)開發者(zhe)提(ti)供更(geng)全面的(de)技術支持(chi)。
關(guan)注(zhu)九鼎創(chuang)展公眾號,了(le)解(jie)更多邊(bian)緣AI技術動態!
九鼎創展
—— 讓AI觸手可及,賦能智能未來!
掃碼關注我們
聯系我們
電話:
郵箱:zhichanqing@9tripod..com
官網://webcoderwu.cn/
版(ban)權所有:深圳市九鼎創展科(ke)技有限公(gong)司(si) Copyright © 2016 All Rights Reserved.