視覺人工智能（即計算機視覺）是指允許系統感知和解釋視覺數據并根據對這些數據的分析做出自主決策的技術。這些系統通常具有用于獲取視覺數據的相機傳感器，該視覺數據作為輸入激活提供給在大型圖像數據集上訓練的神經網絡以識別圖像。視覺人工智能可以支持許多應用，例如用于故障檢測的工業機器視覺、自動駕駛汽車、安全應用中的人臉識別、圖像分類、對象檢測和跟蹤、醫療成像、交通管理、路況監控、客戶熱圖生成等。
在我之前的博客中，利用業界最強大的Arm MCUs為您的邊緣AI應用提供動力》中，我討論了采用Cortex的強大RA8系列MCU的一些關鍵性能優勢®-M85內核和氦氣使其非常適合語音和視覺AI應用。如上所述，石英晶振更高性能的MCU以及更適合終端設備中使用的資源受限的MCU的瘦神經網絡模型的出現，使這些邊緣AI應用成為可能。
在這篇博客中，我將討論一個基于RA8D1支持圖形的MCU采用相同的Cortex-M85內核，并使用氦氣來加速神經網絡。RA8D1 MCUs提供了高級圖形功能、傳感器接口、大內存和強大的Cortex-M85內核的獨特組合，用于加速視覺人工智能神經網絡，使其非常適合這些視覺人工智能應用。
Renesas瑞薩進口晶振已經成功展示了氦的性能提升，在各種AI/ML用例中，氦的性能比Cortex-M7 MCU有顯著提高，在某些情況下提高了3.6倍以上。
其中一個用例是與視覺人工智能解決方案的領先提供商Plumerai合作開發的人員檢測應用程序。這種基于攝像頭的人工智能解決方案已經移植并優化用于支持氦氣的手臂®皮質®-M85內核，成功展示了RA8D1設備的性能和圖形功能。
與Cortex-M7內核相比，該應用通過氦加速實現了3.6倍的性能提升和13.6fps幀速率，這對于沒有硬件加速的MCU來說是一個強大的性能。演示平臺以640x480分辨率從基于OV7740圖像傳感器的攝像機捕捉實時圖像，并在連接的800x480 LCD上顯示檢測結果。該軟件可以檢測和跟蹤攝像機幀內的每個人，即使部分被遮擋也是如此，并在實時攝像機顯示器上顯示每個檢測到的人周圍繪制的邊界框。
Renesas采用RA8D1 MCUs的圖形和視覺AI應用
Plumerai人員檢測軟件使用多層卷積神經網絡，使用超過3200萬張標記圖像進行訓練。占總延遲大部分的層是氦加速層，例如Conv2D和全連接層，以及深度卷積和轉置卷積層。相機模塊提供YUV422格式的圖像，該圖像被轉換為RGB565格式以在LCD屏幕上顯示。集成在RA8D1上的2D圖形引擎以256x192的分辨率調整RGB565的大小并將其轉換為ABGR8888，以輸入到神經網絡中。然后，該軟件將ARBG8888格式轉換為神經網絡模型輸入格式，并運行人員檢測推斷功能。RA8D1上的圖形LCD控制器和2D繪圖引擎用于將相機輸入渲染到LCD屏幕上，并在檢測到的人周圍繪制邊界框并顯示幀速率。人員檢測軟件使用大約1.2MB的閃存和320KB的SRAM，包括用于256x192 ABGR8888輸入圖像的內存。
基準測試是為了比較Plumerai的人員檢測解決方案以及使用Arm的CMSIS-NN內核運行TFMicro的相同神經網絡的延遲。此外，對于Cortex-M85，禁用氦氣（MVE）的兩種解決方案的性能也進行了基準測試。該基準測試數據顯示了純推理性能，并且不包括圖形功能的延遲，例如圖像格式轉換。
Renesas采用RA8D1 MCUs的圖形和視覺AI應用
該應用程序充分利用了RA8D1上的所有可用資源:高性能480MHz處理器
氦用于神經網絡加速
用于存儲模型權重和輸入激活的大型閃存和SRAM
用于捕獲輸入圖像/視頻的相機接口
顯示人員檢測結果的顯示界面
瑞薩石英晶振還展示了基于RA8D1設備的多模態語音和視覺AI解決方案，該解決方案集成了視覺喚醒詞和人臉檢測和識別以及說話人識別。RA8D1 MCUswith Helium可以顯著提高神經網絡性能，而無需任何額外的硬件加速，從而為實現AI和機器學習用例提供了一種低成本、低功耗的選擇。
瑞薩RA8D1微控制器組采用業界首款基于Arm的32位圖形支持微控制器（MCU）®皮質®-M85（CM85）內核，在480 MHz時提供超過3000個內核點的突破性性能和卓越的圖形功能，支持高分辨率顯示和視覺AI應用。這些是通用MCU器件，適用于工業自動化、家用電器、智能家居、消費電子、樓宇/家庭自動化和醫療/保健細分市場中的各種高性能和計算密集型應用。
RA8D1 MCUs貼片晶振集成了高性能CM85內核和大容量存儲器以及豐富的外設集，包括具有并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D繪圖引擎、16位攝像頭接口和多個外部存儲器接口，針對各種圖形和視覺AI應用的需求進行了優化。這些MCU提供176和224引腳封裝。類似安全元素的功能內置了高級加密安全IP、不可變存儲、真正的安全啟動和篡改保護，可實現真正安全的物聯網。
RA8D1 MCUs由靈活的軟件包和一套全面的硬件和軟件開發工具提供全面支持。
編碼
品牌
描述
頻率
603-25-173JA4I8
Renesas晶振
CRYSTAL 25.0000MHZ 12PF SMD
25 MHz
603-25-150JA4I
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-38.88-7JA4I
Renesas晶振
CRYSTAL 38.8800MHZ 12PF SMD
38.88 MHz
603-40-48JA4I
Renesas晶振
CRYSTAL 40.0000MHZ 12PF SMD
40 MHz
603-25-173JA4I
Renesas晶振
CRYSTAL 25.0000MHZ 12PF SMD
25 MHz
603-25-150JA4I8
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-38.88-7JA4I8
Renesas晶振
CRYSTAL 38.8800MHZ 12PF SMD
38.88 MHz
603-40-48JA4I8
Renesas晶振
CRYSTAL 40.0000MHZ 12PF SMD
40 MHz
278-24.8832-3SA2I
Renesas晶振
CRYSTAL 24.8330MHZ 10PF SMD
24.833 MHz
278-24.8832-3SA2I8
Renesas晶振
CRYSTAL 24.8330MHZ 10PF SMD
24.833 MHz
278-25.78125-1SA2I
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
278-25-336SA2I
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
278-25-336SA2I8
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
278-2578125-1SA2I8
康比電子
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
495-24.8832-2JB4I
Renesas晶振
CRYSTAL 24.8830MHZ 10PF SMD
24.883 MHz
495-24.8832-2JB4I8
Renesas晶振
CRYSTAL 24.8830MHZ 10PF SMD
24.883 MHz
495-25.78125-2JB4I
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
495-25-141JB4I
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
495-25-141JB4I8
Renesas晶振
CRYSTAL 25.0000MHZ 10PF SMD
25 MHz
495-2578125-2JB4I8
Renesas晶振
CRYSTAL 25.7810MHZ 10PF SMD
25.781 MHz
603-24-127JA4I
Renesas晶振
CRYSTAL 24.0000MHZ 12PF SMD
24 MHz
603-24-127JA4I8
Renesas晶振
CRYSTAL 24.0000MHZ 12PF SMD
24 MHz
603-25-150JA4C
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
603-25-150JA4C8
Renesas晶振
CRYSTAL 25.0000MHZ 8PF SMD
25 MHz
TXC晶振,貼片晶振,7M晶振
TXC晶振,貼片晶振,7S晶振
TXC晶振,貼片晶振,7A晶振
微晶晶振,32.768K晶振,CM9V-T1A壓電石英晶體
