EAIDK-610是專為AI和學(xué)生精心打造,面向邊緣計算的人工智能開發(fā)套件。學(xué)生或者可以使用此套件了解人工智能的相關(guān)知識,了解計算機(jī)視覺、人臉檢測、人臉識別、雙目立體視覺等相關(guān)算法,并且可以使用此套件做一些擴(kuò)展,做產(chǎn)品原型的驗證。
EAIDK-610硬件平臺(EAI610-P0)使用高性能Arm SoC(瑞芯微rk3399),搭載ARM 中國嵌入式AI開發(fā)平臺AID(包含支持異構(gòu)計算庫HCL、嵌入式深度學(xué)習(xí)框架Tengine、以及輕量級嵌入式計算機(jī)視覺加速庫BladeCV)。為AI應(yīng)用提供簡潔、高效、統(tǒng)一的API接口,加速終端AI產(chǎn)品的場景化應(yīng)用落地實現(xiàn)。
計算機(jī)視覺教學(xué)主要內(nèi)容如下:
01圖像采集
圖像采集主要介紹如何對EAI610-P0的視頻圖像進(jìn)行采集,以及介紹V4L2,RockchipISP和RockchipRGA 的概念及簡單操作應(yīng)用。
02圖像處理
圖像處理是指對圖像進(jìn)行分析、加工、和處理,使其滿足視覺、心理或其他要求的技術(shù)。圖像處理是信號處理在圖像領(lǐng)域上的一個應(yīng)用。圖像處理通過對MIPI攝像頭采集到的圖像應(yīng)用多種處理方法,介紹了數(shù)字圖像處理領(lǐng)域的常用概念和基本方法。
03視頻編碼
視頻編碼教學(xué)案例的目的是介紹視頻壓縮的原理,并以EAIDK610為例展示一個實際的視頻硬編碼實例。主要介紹的視頻壓縮的概念和歷史,同時著重分析了H.264標(biāo)準(zhǔn),在此基礎(chǔ)上采用EAIDK610上的硬件編碼作為實例,希望達(dá)到理論和實踐相結(jié)合的教學(xué)目標(biāo)。
04視頻解碼
視頻解碼介紹視頻壓縮的原理,并以EAIDK610為例展示一個實際的視頻硬解碼實例。教學(xué)方案介紹的視頻壓縮的概念和歷史,同時著重分析了H.264標(biāo)準(zhǔn),在此基礎(chǔ)上采用EAIDK610上的硬件解碼作為實例,希望達(dá)到理論和實踐相結(jié)合的教學(xué)目標(biāo)。
05視頻分析之背景提取
背景提取主要介紹在EAI610-P0的實時采集視頻圖像基礎(chǔ)上的背景提取,著重介紹和實現(xiàn)基于混合高斯模型和CodeBook的背景提取算法,最后對結(jié)果簡單分析,并對其他算法進(jìn)行簡要介紹。
06人臉檢測(傳統(tǒng)機(jī)器學(xué)習(xí)方法)
人臉檢測是為了學(xué)習(xí)人臉檢測的概念,了解傳統(tǒng)機(jī)器學(xué)習(xí)人臉檢測方法,展示傳統(tǒng)機(jī)器學(xué)習(xí)算法及應(yīng)用開發(fā)過程。本教學(xué)方案以haar+adaboost算法為例,從算法的原理分析開始,不僅介紹了算法訓(xùn)練的過程,也展示了算法在嵌入式平臺(EAI610-P0)的部署。
07人臉特征提?。ㄉ疃葘W(xué)習(xí)方法)
人臉特征提取是以人臉特征提取方案為例,展示完整的深度學(xué)習(xí)算法及應(yīng)用開發(fā)過程,同時介紹人臉識別中的核心算法概念。此教學(xué)方案以Light CNN 為例,從算法的原理分析開始,不僅介紹了算法訓(xùn)練的過程,也展示了算法在嵌入式平臺(EAI610-P0)的部署。
08雙目立體視覺
雙目立體視覺是學(xué)習(xí)立體視覺的概念,掌握用雙目相機(jī)計算深度信息的方法。從雙目相機(jī)標(biāo)定及矯正原理分析開始,介紹雙目立體視覺的基礎(chǔ)理論方法,并且介紹了基于SGBM的深度計算算法,最終在嵌入式平臺(EAI610-P0)上使用兩個高清相機(jī)模組部署。
09人臉識別系統(tǒng)
人臉識別是以人臉特征提取方案為例,展示完整的深度學(xué)習(xí)算法及應(yīng)用開發(fā)過程,以 Light CNN 1 為例 ,從算法的原理及特點(diǎn)開始,不僅介紹了算法訓(xùn)練的過程,也展示了算法在嵌入式平臺(EAI610-P0)的部署 。
010雙路人臉門禁系統(tǒng)
雙路人臉門禁系統(tǒng)是以嵌入式人工智能開發(fā)套件(EAIDK-610)為基礎(chǔ)平臺,人員進(jìn)門時,網(wǎng)絡(luò)攝像機(jī)(IPC)連續(xù)抓取多張人臉信息,并毫秒級地比對抓取照片和底庫信息,比對成功后觸發(fā)開門動作,人臉抓取、比對結(jié)果和人員進(jìn)門的信息在顯示設(shè)備上實時展示。
011目標(biāo)檢測(深度學(xué)習(xí)方法)
目標(biāo)檢測方案是在嵌入式平臺上進(jìn)行機(jī)器視覺的目標(biāo)檢測,通過深度學(xué)習(xí)的方法實現(xiàn)對多目標(biāo)物體進(jìn)行檢測并識別。使用Arm的嵌入式人工智能開發(fā)套件(EAIDK-610)為基礎(chǔ)平臺,通過網(wǎng)絡(luò)攝像機(jī)進(jìn)行視頻數(shù)據(jù)采集,EAIDK-610作為邊緣智能處理對視頻進(jìn)行分析,并實時顯示分析結(jié)果。
EAIDK-嵌入式人工智能開發(fā)套件(Embedded AI Development Kit 簡稱EAIDK),采用Arm架構(gòu)的人工智能開發(fā)平臺,專為 AI 精心打造,面向邊緣計算的人工智能開發(fā)套件。
硬件平臺具備語音、視覺等傳感器數(shù)據(jù)采集能力,及適用于多場景的運(yùn)動控制接口;智能軟件平臺支持視覺處理與分析、語音識別、語義分析、SLAM 等應(yīng)用和主流開源算法,滿足AI 教育、算法應(yīng)用開發(fā)、產(chǎn)品原型開發(fā)驗證等需求。