h1_key

  近年來，AI 在邊緣端的應(yīng)用已成為不可阻擋的趨勢，嵌入式AI指的就是這種在邊緣端即可高效處理各種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的應(yīng)用加速模式。嵌入式AI能夠讓產(chǎn)品在設(shè)備層即可發(fā)揮智能化的檢測、識別、分類等功能，因此成為智能產(chǎn)品開發(fā)或產(chǎn)業(yè)升級換代的熱點。

然而，嵌入式AI不僅涉及軟件層面的算法設(shè)計，工具設(shè)計，也涉及硬件層面的芯片設(shè)計等一系列集成問題，因此也是一個門檻和復(fù)雜度極高的領(lǐng)域。

  嵌入式 AI/ML 的主要應(yīng)用市場及趨勢

ADAS 和自動駕駛、智慧城市、智慧醫(yī)療和工業(yè)視覺應(yīng)用，是嵌入式 AI 應(yīng)用的典型場景，也是賽靈思 一直專注的市場領(lǐng)域。

  汽車領(lǐng)域

  在汽車領(lǐng)域，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測、自動泊車、智能座艙及、傳感器融合和域控等覆蓋從L2到L5級別的ADAS及自動駕駛。我們知道，汽車是一個特殊的場景，它對整個ADAS或自動駕駛系統(tǒng)的實時性和正確性有極高的要求，這就需要嵌入式芯片同時具備卓越的AI加速能力、靈活應(yīng)變的芯片架構(gòu)，還需要滿足行業(yè)最高的可靠性測試標準。賽靈思在今年6月份推出的7nm VersalTM AI Edge 系列，和當前ZynqTM UltraScale+ MPSoC系列，都涵蓋了汽車等級，并提供行業(yè)領(lǐng)先的AI算力及靈活性。

值得一提的是，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個必然的趨勢。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達、激光雷達、毫米波雷達、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來了巨大價值。賽靈思產(chǎn)品一方面能夠增強高級信號處理、點云預(yù)處理，另一方面，通過Vitis AI還可以實現(xiàn)點云機器學(xué)習(xí)加速、Image-Lidar融合算法加速、4D 雷達機器學(xué)習(xí)加速等;這些在汽車多傳感器方案，甚至5G結(jié)合AI的車路協(xié)同中都扮演重要的角色。

  智慧城市領(lǐng)域

  賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應(yīng)用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP支持策略、H264/H265視頻編解碼處理單元等能力以外，還具備強大的實時AI處理能力。

  今年 4 月，賽靈思面向邊緣計算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260視覺開發(fā)套件。同樣得益于VitisTM AI所帶來的AI性能加速，用戶能夠在這塊邊緣設(shè)備上實現(xiàn)多路、最高分辨率達4k、60幀的實時人臉檢測、ID跟蹤等功能;此外，Kria SoM也完全兼容賽靈思開放式AI模型庫，用戶可以從中選取模型任意切換或重新訓(xùn)練部署，總之，Kria SoM非常適合智能相機、嵌入式視覺及其它安全、零售分析、智慧城市和機器視覺應(yīng)用的生產(chǎn)和原型開發(fā)。

  醫(yī)療及工業(yè)視覺領(lǐng)域

  醫(yī)療及工業(yè)視覺領(lǐng)域也是賽靈思嵌入式AI落地的重要場景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學(xué)習(xí)的醫(yī)療影像分析或超分辨率增強，用AI為醫(yī)護人員在內(nèi)窺鏡、超聲、核磁、X光檢測等場景提供更準確的判斷。自2019年新冠病毒蔓延以來，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai利用Vitis AI，將集成了深度學(xué)習(xí)處理單元DPU的MPSoC邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結(jié)合，針對肺部感染及新冠病毒預(yù)測系統(tǒng)開發(fā)了可擴展的智能解決方案。

  工業(yè)視覺領(lǐng)域

  在工業(yè)視覺領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機、視覺控制及機器人等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在缺陷檢測、文字識別、實時分析等機器學(xué)習(xí)支持的預(yù)測性維護控制、遠程診斷等嵌入式端上智能化。

  嵌入式 AI 場景落地的挑戰(zhàn)及解決方案

  在嵌入式AI產(chǎn)品落地的過程中，開發(fā)者遇到的挑戰(zhàn)主要是：

  · 首先，該方案是否靈活可擴展，能夠適配不同產(chǎn)品規(guī)模或自定義模塊?

  · 其次，對于缺乏FPGA開發(fā)經(jīng)驗的用戶，是否有簡單易用的AI開發(fā)工具以降低開發(fā)難度?

  · 第三，如何突破瓶頸，在算力有限的邊緣端實現(xiàn)AI加速性能的最大化?

  為了應(yīng)對這些挑戰(zhàn)，賽靈思在2020年初正式推出了Vitis AI解決方案，它是一套面向Xilinx Zynq SoC，Zynq MPSoC，Alveo及Versal ACAP的AI開發(fā)平臺，它能夠為用戶帶來最強大的機器學(xué)習(xí)加速性能，這主要通過方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動化軟件工具(定點器、編譯器、優(yōu)化器)和AI運行時及加速庫來實現(xiàn)。

  與傳統(tǒng)的基于硬件RTL語言開發(fā)AI加速IP方案的最大不同在于，Vitis AI向用戶提供一個通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，在ZU+及Versal平臺上用戶可以根據(jù)實際的邏輯資源選擇最佳的DPU配置，最大處理效率超過80%;同時，在最新的Vitis AI方案中，用戶可以通過調(diào)用Graph Runner API實現(xiàn)在DPU和CPU上對自定義算子的流暢部署，這也保證了開發(fā)者可以在不同大小的器件、不同模型之間靈活切換。

  其次，Vitis AI可以支持主流的機器學(xué)習(xí)框架，如Pytorch，Tensorflow和Caffe;在開放模型庫AI Model Zoo中涵蓋了上百個經(jīng)過充分優(yōu)化、驗證及硬件部署的模型文件，其中不乏業(yè)界最先進的3D目標檢測算法、多任務(wù)學(xué)習(xí)算法、超分辨率增強算法，或時下流行的Yolo、Mobilenet、RefineDet、ResNet系列，用戶可以免費下載或基于不同場景數(shù)據(jù)集的重新訓(xùn)練。

  此外，針對嵌入式AI的部署環(huán)節(jié)，賽靈思也做了專門的軟件加速優(yōu)化，除了用自動化的定點器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應(yīng)的軟件加速庫AI Library，無需額外開發(fā)模型的前后處理模塊，從而實現(xiàn)在FPGA和ACAP上的快速部署。

  最后，為了幫助客戶實現(xiàn)邊緣端的性能突破，賽靈思在基于Vitis軟件開發(fā)環(huán)境中，集成了大量經(jīng)過底層優(yōu)化的加速庫，通過C++、OpenCL library的方式提供給用戶，所以除了DPU對AI部分的加速以外，我們對端到端的前處理、后處理的全流程都可以加速，這樣即可實現(xiàn)邊緣端上的最大化性能。