以MCU開啟Edge AI新境界：Renesas RA8P1實測

Posted By?Lin Felix?on 10 月 22, 2025 in?Edge AI應(yīng)用案例,?Edge AI開發(fā)地圖,?Renesas,?TinyML,?教學(xué)文,?特寫,?觀點,?開發(fā)套件,?開箱文?|

作者：Felix Lin

臺灣Maker圈對於瑞薩電子(Renesas)這家日系半導(dǎo)體龍頭可能稍微比較陌生，但實際上，瑞薩在微控制器(MCU)領(lǐng)域的市佔率排名一直以來都是名列前茅，尤其是在講求高可靠度的車用電子與醫(yī)療電子領(lǐng)域，都佔有相當(dāng)份量的一席之地。對Maker與玩家來說近期比較關(guān)聯(lián)的事件，則可以追溯到去(2024)年中Arduino發(fā)表了經(jīng)典開發(fā)板的第四代UNO R4 Wi-Fi與UNO R4 Minima，就是使用了瑞薩RA系列的微控制器RA4M1。

RA系列屬於瑞薩Arm Cortex架構(gòu)的MCU，如下圖所示，縱向依照運算架構(gòu)能力可以分為RA0 (M23低時脈)、RA2 (M23高時脈)、RA4 (M33, M4低時脈)、RA6 (M33, M4高時脈)，以及性能最強的RA8 (M85) 。橫向則依據(jù)周邊搭配與應(yīng)用屬性，分為主流(Mainstream)、入門(Entry)、低功耗(Low Power)、與馬達(dá)控制(Motor & Analog)等應(yīng)用需求做區(qū)別，如UNO R4的處理器RA4M1，就代表其定位在M4低時脈主流產(chǎn)品線的位階。

RA8P1 MCU甫於今年七月初問世，有別以往瑞薩MCU命名規(guī)則，首次使用了「P」(Performance)作為型號命名，強調(diào)其為首款具備AI/ML推論應(yīng)用的MCU。RA8P1核心為時脈1GHz Coretx-M85搭配250MHz Cortex-M33 的異質(zhì)雙核心架構(gòu)，CoreMarks效能分?jǐn)?shù)超過7300。AI推論採用Helium MVE與Ethos-U55 NPU，提供 256 GOPS算力，同時也宣告著日後在MCU邊緣裝置上進(jìn)行視覺AI推論搭配工業(yè)控制應(yīng)用或HMI顯示介面也非難事。本文筆者將使用Renesas RA8P1的開發(fā)板EK-RA8P1實際來進(jìn)行測試評估。

EK-RA8P1評估套件

EK-RA8P1 evaluation kit內(nèi)部包含了三塊電路板，分別是RA8P1晶片開發(fā)板、7” LCD 1024×600顯示擴充板，與OV5640五百萬像素攝影鏡頭擴充板，組裝後如下圖。相較於其他MCU的開發(fā)板，RA8P1晶片開發(fā)板顯得相當(dāng)巨大，不外乎是為了289 pin BGA 封裝的MCU所有接腳引出之外，常用的連接器介面如RJ45乙太網(wǎng)路(RGMII)、USB High/Full Speed、Audio Codec、MEMS麥克風(fēng)、Octo-SPI Flash、SDRAM、Arduino Shield介面、Grove、Qwiic、mikroBUS、Pmod，以及on board SEGGER J-Link等，一應(yīng)俱全。

如此高效能的MCU還能夠兼具低耗電的特性嗎？ RA8P1採用使用臺積電(TSMC) 22nm 超低漏電(Ultra-Low Leakage，ULL)製程技術(shù)，在相同的運作頻率下，電晶體的功耗更低、速度更快，物理的先天優(yōu)勢就有低待機漏電流體質(zhì)。再加上三個異質(zhì)核心M85、M33、U55各司其職，只負(fù)責(zé)自己最擅長的事：

Cortex-M85@1 GHz高效能應(yīng)用核心。執(zhí)行主要應(yīng)用程式與複雜運算，搭配Helium (MVE)處理DSP或ML前後處理任務(wù)。
Cortex-M33@250 MHz即時與安全核心。執(zhí)行常態(tài)即時性與管理性任務(wù)，必要時再把M85大核喚醒，並且包含TrustZone安全隔離區(qū)。
Ethos-U55@500 MHz AI加速器。NPU可把CNN/RNN推論的能耗大幅壓低，AI推論效能可達(dá)256 GOPS等級，獨立於前兩者M(jìn)CU運作。

如同下圖所示，RA8P1內(nèi)部的Cortex-M85與Coretx-M33之間有共用的資料匯流排，同時還有彼此溝通的FIFO與Semaphore實現(xiàn)硬體的處理器間通訊。外部則由M85處理高效能運算如影像與顯示介面等，M33處理即時性運算如馬達(dá)控制與感測器等。

安裝FSP with e2Studio

開發(fā)MCU通常都會用上整合式開發(fā)環(huán)境(Integrated Development Environment，IDE)，瑞薩針對不同的MCU家族提供各自對應(yīng)的IDE ，以RA系列來說則是使用e2studio搭配Flexible Software Package?(FSP)進(jìn)行開發(fā)。e2studio是以著名的開源IDE Eclipse為基礎(chǔ)修改而來的，功能相當(dāng)強大且外掛資源豐富，若是有使用Eclipse IDE應(yīng)能快速適應(yīng)。

而FSP可以理解為 BSP (Board Support Package，開發(fā)板支援套件)、 HAL (Hardware Abstraction Layer，硬體抽象層)、Middleware (中介軟體)、RTOS (即時作業(yè)系統(tǒng))等軟體的整合套件(如下圖所示)，對於RA家族所需要的軟體開發(fā)資源都整合於此，且同時開源在github上。

筆者將以建議安裝的FSP + e2studio的搭配組合說明，如果是已經(jīng)習(xí)慣使用Keil MDK或是IAR的開發(fā)者，瑞薩同時也提供了對應(yīng)此兩套第三方IDE的FSP安裝套件，不論是習(xí)慣哪一種開發(fā)環(huán)境，都可以使用相同的函式庫與HAL API進(jìn)行開發(fā)。

而雖然e2studio與FSP為兩套不同的軟體，但彼此之間可能會有版本搭配性問題，因此瑞薩提供了最簡易的安裝方式，可以一次安裝所需要的套件，並且支援Windows、Linux與MAC多平臺。筆者的作業(yè)系統(tǒng)為Windows，在撰文當(dāng)下最新版本為V6.1.0 ，因此下載FSP Windows Platform Installer V6.1.0 (setup_fsp_v6_1_0_e2s_v2025-07.exe) 進(jìn)行安裝。

執(zhí)行後提供 “Quick Install” 與 “Custom Install” 兩種安裝選項，筆者建議可以選擇後者 “Custom Install” 客製化安裝，並且在安裝流程的 “Customise Features” 與 “Additional Software” 兩個步驟需要選擇欲安裝的軟體元件，把所有能安裝的都給裝上。即便軟體或外掛都可以後面選擇性追加安裝，但開發(fā)過程最怕要用時缺東缺西，增加額外的時間成本。最後就是依循著安裝步驟的指引，等待所有軟體都安裝完畢即可！

RUHMI

Renesas RUHMI (Robust Unified Heterogenous Model Integration)是一套提供給RA8P1的AI模型編譯器與部署框架(如下圖)，可把TensorFlow Lite、ONNX等模型經(jīng)過最佳化、量化與切割後，自動轉(zhuǎn)成MCU可編譯的C程式碼，並且選擇單獨運作於CPU或是搭配Ethos-U55 NPU實現(xiàn)高效能推論。而這套程式碼可以適應(yīng)FSP框架在e2 Studio中和使用者應(yīng)用程式做整合，打包成AI邊緣運算應(yīng)用。

要在 Windows 上安裝 RUHMI 也僅需幾個簡單步驟，首先須安裝微軟 VC++ 可轉(zhuǎn)散發(fā)套件與Python 3.10。完成後在windows power shell下建立虛擬環(huán)境，這邊須留意虛擬環(huán)境的路徑必須為.ven，因為e2studio必須認(rèn)此虛擬環(huán)境目錄，若是使用其他目錄後續(xù)在e2studio可能會執(zhí)行失敗。

cd e2_studio
py -3.10 -m venv .venv

接著將當(dāng)前目錄設(shè)定為 CONVERSION_TOOL_E2STUDIO_PLUGIN_PYTHON_VENV_LOC 環(huán)境變數(shù)，方便給e2studio查找。並且設(shè)定允許執(zhí)行網(wǎng)路來源的腳本：

[Environment]::SetEnvironmentVariable(‘CONVERSION_TOOL_E2STUDIO_PLUGIN_PYTHON_VENV_LOC’, “$(Get-Location)”, ‘User’)
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope Process

啟用虛擬環(huán)境：

.venv\Scripts\Activate.ps1

從github下載最新版本RUHMI，由於筆者撰文時RUHMI最新Release版本為2025-07-04，因FSP 6.1.0是8月28日釋出的，RUHMI 應(yīng)下載其後的版本才能有較好的匹配：

git clone https://github.com/renesas/ruhmi-framework-mcu.git

安裝所需python模組：

cd .\ruhmi-framework-mcu\install\
python -m pip install .\mera-2.4.0+pkg.179-cp310-cp310-win_amd64.whl ?
python -m pip install onnx==1.17.0 tflite==2.18.0

完成後輸入以下指令，確認(rèn)是否有順利安裝成功：

python -c “import mera; print(mera.__version__)” ?
vela –version
python -c “import mera;print(dir(mera))”

若出現(xiàn)如下圖所示的2.4.0+pkg.179、4.2.0等則代表已安裝成功，稍後即可以進(jìn)行AI模型轉(zhuǎn)換了！

燒錄範(fàn)例程式

瑞薩官方的EK-RA8P1 Example Project Bundle裡面包含各種類型的範(fàn)例程式提供RA8P1的開發(fā)者參考與使用，本段落將實際使用e2Studio匯入專案，並且在編譯後對EA-RA8P1進(jìn)行燒錄與除錯。開啟e2studio後，從功能列選擇「檔案」 → 「匯入」，並在對話框中選擇「匯入現(xiàn)有的專案至工作區(qū)」，然後點選「下一步」。

將EK-RA8P1 Example Project Bundle解壓縮後會有一個ek_ra8p1的資料夾，在對話框中的「選取根目錄」指定到該資料夾，下方專案列表會出現(xiàn)所有此資料夾內(nèi)的專案。找到 quickstart_ek_ra8p1_ep專案，勾選後點選下方「完成」進(jìn)行匯入到 IDE 的動作。

匯入專案後可以直接點選e2Studio IDE 左上角的鐵鎚圖示進(jìn)行「build」開始進(jìn)行編譯，若在tool chain都正常安裝的情況下，最終會出現(xiàn)類似以下訊息表示編譯成功：

Extracting support files…
23:58:28 **** 項目quickstart_ek_ra8p1_ep配置Debug的建置 ****
make -r -j16 all
arm-none-eabi-size –format=berkeley “quickstart_ek_ra8p1_ep.elf”
? ?text ? ?data ? ? bss ? ? dec ? ? hex filename
5736252 ? 15080 18142169? ? 23893501? ? 16c95fd quickstart_ek_ra8p1_ep.elf

23:58:32 Build Finished. 0 errors, 0 warnings. (took 4s.403ms)

接著準(zhǔn)備一條USB-A to USB-C傳輸線連接電腦到EK-RA8P1 的 J10 USB-C 介面上，評估版上電源指示燈會點亮?；氐絜2Studio IDE中，點選蟲子圖示旁的箭頭，選擇「除錯配置」。

在開啟的對話框中左側(cè)欄位選擇到目前的quickstart_ek_ra8p1_ep專案，右側(cè)的頁籤「調(diào)試器」可以確認(rèn)一下是否將Debug Hardware選為「J-Link ARM」，完成後點選下方「除錯」按鈕。 e2Studio會先將程式燒錄進(jìn)評估版中，然後啟動GDB Server將處理器拉回 reset 處開始進(jìn)行Debug程序，此時 e2Studio 的視窗也會切換為 Debug 的視窗配置，可點選左上角的播放箭頭圖示讓處理器開始運作。

等待系統(tǒng)初始化完成後，EK-RA8P1的觸控螢?zāi)粚@示「GETTING STARTED」說明資訊，點選左上角的「Application Menu」圖示會跳出五個選項，包含Kit Information、Getting Started、User LED Control、Display、Next Steps等，開發(fā)者可以逐一進(jìn)行把玩測試，同時也可以開啟終端機軟體使用buadrate 115200, 8, N, 1進(jìn)行通訊控制。比較有趣的是，Display展示項目中可以即時顯示OV5640 Camera模組的影像串流，並且可以測試觸控螢?zāi)坏亩帱c觸控功能。

MCU實現(xiàn)視覺模型推論

前段的「Hello World」範(fàn)例若是正常運作，就可以進(jìn)入到RA8P1的主場－－MCU Edge AI推論了！在e2Studio功能列上找到「Renesas AI」→ 點選「AI Navi」開啟AI Navigator視窗，點選「Select Sample AI Application」選擇要導(dǎo)入的AI應(yīng)用範(fàn)例。

目前僅有「Smart City」可供選擇，另一個「Notice」則是提醒請務(wù)必搭配FSP 6.1.0一起服用。點選「Smart City」後出現(xiàn)兩個範(fàn)例分別為「Face Detection」(人臉偵測)與「Image Classification」(影像分類)，本篇將以 Image Classification進(jìn)行說明。

選擇後會開啟ruhmi-framework-mcu的github repo網(wǎng)頁，點選上方的「Import」按鈕進(jìn)行匯入。AI Navi會從repo下載專案到開發(fā)工作目錄中。

完成匯入後顯示目前專案與AI模型的相關(guān)資訊，右側(cè)有「Edit and Build」的按鈕可以修改專案程式碼，或是開啟AI模型轉(zhuǎn)換工具更換模型。

筆者建議這裡可以直接點選左側(cè)「Run on the Board」按鈕，再點選「Run the AI］進(jìn)行編譯並且燒錄到開發(fā)板中，實際執(zhí)行範(fàn)例程式。

範(fàn)例程式使用的模型是MobileNet V1 (alpha=0.25) 執(zhí)行影像分類推論，模型大小相當(dāng)精簡，但辨識精確度卻也不含糊。如下圖可以看到順利辨識鍵盤影像，並且推論時間僅花費3ms。

自定義模型轉(zhuǎn)換

若要將前段所使用的範(fàn)例程式內(nèi)的模型更換成自己的模型，在e2Studio已整合的AI Navigator工具內(nèi)執(zhí)行也相當(dāng)容易，只要簡單幾個步驟就可以無痛進(jìn)行轉(zhuǎn)換。

STEP 1：準(zhǔn)備模型。基本上只要是TensorFlow Lite都可以進(jìn)行轉(zhuǎn)換，筆者為方便說明，使用在前面段落中下載的RUHMI有的MobileNet模型作為範(fàn)例。首先需啟動虛擬環(huán)境，並移動到工作目錄：

cd e2_studio
.\.venv\Scripts\Activate.ps1
?cd .\ruhmi-framework-mcu\application_examples\

執(zhí)行下方指令，完成後會產(chǎn)出alpha為0.25的MobileNet V1的預(yù)訓(xùn)練模型，檔案名稱為mobilenet_v1.tflite。

python generate_IC_model_tflite.py

參考log如下圖所示：

STEP 2：開啟模型轉(zhuǎn)換工具。回到e2Studio中的AI Navigator，選擇專案後點選「Edit and Build」，左側(cè)會出現(xiàn)「Convert AI Model」，選擇後再點選右方「Covert…」按鈕開啟轉(zhuǎn)換工具。

STEP 3：設(shè)定匯入模型。在轉(zhuǎn)換工具頁簽中，左側(cè)有三個欄位，分別為「Input file settings」選擇匯入檔案、「Optimization」模型最佳化、「Conversion」模型轉(zhuǎn)換。第一步就是選擇模型，在右側(cè)上方選擇對應(yīng)的project name、Device與Tools，中間選擇Tensorflow Lite模型，下方model檔案找到剛剛所產(chǎn)生的mobilenet_v1.tflite模型檔，完成後點選「Next」按鈕。

STEP 4：設(shè)定最佳化模型。此步驟主要在做模型的量化「quantization」，但由於筆者在步驟一所產(chǎn)出的模型是INT8格式，在此就不需要重複執(zhí)行，可以點選「Next」進(jìn)入下一步。

STEP 5：轉(zhuǎn)換模型生成 C code。在轉(zhuǎn)換選項中可以設(shè)定最佳化模式以及記憶體配置，筆者暫時將其保持預(yù)設(shè)狀態(tài)。點選「Start conversion」按鈕後，就會自動生成C程式碼到指定的目錄中。

STEP 6：複製檔案到mera目錄下。找到生成程式碼的資料夾，以筆者前述設(shè)定為例，可在專案資料夾中的 conversion_results\converted\build\MCU\compilation\src 找到。選取 hal_entry.c 以外的所有檔案，複製到專案目錄下的 src\ai_application\image_classification\mera 進(jìn)行覆蓋。

STEP 7：手動修改 wrapper.h。由於模型架構(gòu)可能和範(fàn)例程式不同，需要手動開啟 wrapper.h 標(biāo)頭檔進(jìn)行修改。需要將 mera_input_ptr 與 mera_output_ptr 的返回值改為 model.c 檔案中的 Model input pointers 與 Model output pointers。以及將 mera_sample_input_ptr 與 mera_sample_output_ptr 修改為 model_io.data.c 中的 Input tensor 與 Output tensor 這兩個長陣列的名稱。

STEP 8：編譯、燒錄。依循前述步驟執(zhí)行完成後，最後在e2Studio中進(jìn)行編譯與燒錄就大功告成了！

AI應(yīng)用案例

除了Example Project Bundle範(fàn)例程式之外，瑞薩官網(wǎng)上也提供了數(shù)種AI應(yīng)用案例供開發(fā)者作為應(yīng)用參考，以下摘錄兩項第三方的應(yīng)用進(jìn)行說明。

駕駛監(jiān)視系統(tǒng)DMS

先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems，ADAS)在各種車款中日益普及，對於車輛與外在環(huán)境之間的危險性可有效降低。但若是車內(nèi)駕駛可能因為短暫的分心所可能造成的危害，就必須由駕駛監(jiān)視系統(tǒng)(Driver Monitoring System，DMS)來做判斷。歐盟新車安全評鑑協(xié)會(Euro NCAP)也明確定義，配有DMS的車輛能獲得更高的安全星級；這意味著日後想要在全球市場銷售新車的車廠來說，DMS需要納入為標(biāo)準(zhǔn)配備。

Nota AI提出基於Renesas RA8D1、RA8P1、RZ/V2L的DMS解決方案，可以藉由車內(nèi)的紅外線攝影機判讀駕駛者是否有疲勞、注意力不集中、使用手機、抽菸等駕駛不良狀態(tài)。使用RA8P1內(nèi)部Ethos-U55進(jìn)行推論僅花費11.1ms時間，加上前後處理的時間效能約可達(dá) 43FPS (23ms)，可以說是相當(dāng)游刃有餘！

智慧城市視覺感知系統(tǒng)

臺灣近年來有增設(shè)許多智慧交通的建設(shè)，譬如違?？萍紙?zhí)法與智慧停車格等，但對於人本交通的改善仍有限，且系統(tǒng)各自為政過於破碎。Irida Labs基於RA8P1所建置的智慧城市視覺感知系統(tǒng)，則是一種全面性的針對一個區(qū)域或路口，偵測車流、停車位、行人多寡、甚至是人行道是否被占用等城市街區(qū)的真實感知。

從效能上來看，在RA8P1的Cortex-M85處理器推論約需花費400ms，轉(zhuǎn)至Ethos-U55 NPU後僅需花費11ms，實現(xiàn)超過36倍的效能提升，若是對比舊款RA8D1 (Cortex-M85 480MHz)，則是有將近75倍的效能差異。除此之外，在RA8P1這樣的MCU等級進(jìn)行邊緣運算，可以有更節(jié)省能耗、更低價的成本、更隱私的資訊等多項優(yōu)勢。

小結(jié)：揭開 MCU 的新篇章

Renesas RA8P1的問世開啟了 MCU 發(fā)展史的新篇章，擁有強大的異質(zhì)運算能力、高性能與低功耗兼具、泛用且便利的模型轉(zhuǎn)換工具等，使得開發(fā)者能夠在成本和功耗敏感的終端裝置上，實現(xiàn)以往只有在雲(yún)端或高階處理器上才能完成的複雜智慧功能！更令筆者感到驚豔的是，整合AI軟體開發(fā)工具到IDE的流暢度，是硬體業(yè)界少數(shù)做得如此完整的，即便目前釋出的範(fàn)例模型較少，但若持續(xù)整合開發(fā)增加更多應(yīng)用範(fàn)例，再加上Tensorflow Lite與ONNX模型的廣泛支援，在MCU實現(xiàn)視覺 AI 推論絕對大有可為！

在线观看视频国产_国产一区不卡二区不卡_久久久噜噜噜久久精品直播_国产av激情久久久_国产亚洲精精品中文字幕_日韩无码操逼视频