遼寧RK3399主板圖像識(shí)別模塊算法定制

無(wú)人機(jī)夜間工作時(shí)需要依靠紅外機(jī)芯進(jìn)行高清成像，而想要具備AI檢測(cè)識(shí)別的能力則可以通過(guò)植入圖像處理板。成都慧視可以根據(jù)需求提供整套的建設(shè)方案，實(shí)現(xiàn)快速集成開(kāi)發(fā)?；垡昖iztra-LE026圖像處理板+MiNO?17紅外機(jī)芯的組合方案，兩款產(chǎn)品均使用小巧設(shè)計(jì)，整體組合重量在30g左右，并且都采用小功耗設(shè)計(jì)，用在無(wú)人機(jī)領(lǐng)域不會(huì)過(guò)多增加負(fù)擔(dān)。在算法的賦能下，能夠?qū)崿F(xiàn)穩(wěn)定的目標(biāo)檢測(cè)識(shí)別。Viztra-LE026圖像處理板重量在10g左右，采用了瑞芯微全國(guó)產(chǎn)化芯片RV1126，能夠輸出2.0TOPS的算力，功耗不高于4W。能夠以30Hz幀率跟蹤像素2*2的目標(biāo)，能夠識(shí)別像素為12*12的目標(biāo)，且識(shí)別率高于85%。而MiNO?17紅外機(jī)芯重量在20g左右（凈重5g（不含鏡頭）），像素分辨率為640*512，采用9/13/25mm三種定焦設(shè)計(jì)，支持18中偽彩選擇，功耗小于0.75W。分別是利用RV1126開(kāi)發(fā)而成的Viztra-LE026圖像處理板；遼寧RK3399主板圖像識(shí)別模塊算法定制

此前，九號(hào)電動(dòng)車的自平衡技術(shù)一次次刷新人們的認(rèn)知，而其中一款探索版車型，甚至加入了智能攝像頭，能夠識(shí)別行人、障礙物，自動(dòng)規(guī)劃行駛路線，達(dá)成自動(dòng)駕駛的目的。很多人好奇這種怎么做到的，其實(shí)很簡(jiǎn)單，車輛內(nèi)部攝像頭安裝了具備圖像處理的傳感器。這種傳感器就是圖像處理板，這類AI板卡在目標(biāo)識(shí)別算法的賦能下，就能夠?qū)σ曇胺秶奈矬w進(jìn)行AI分類識(shí)別，從而幫助車輛進(jìn)行避障。像成都慧視開(kāi)發(fā)的高性能AI圖像處理板Viztra-HE030，采用的是RK3588開(kāi)發(fā)而成，憑借其工業(yè)級(jí)的性能，6.0TOPS的算力，就能夠在車輛行駛過(guò)程中的復(fù)雜環(huán)境下進(jìn)行周邊環(huán)境的快速AI識(shí)別分類。當(dāng)然，算法的能力也十分關(guān)鍵，由于車輛行駛環(huán)境的不斷變化，算法面臨的識(shí)別畫(huà)面也不斷變化，如何精細(xì)的進(jìn)行識(shí)別，關(guān)系到車輛的行駛安全。安徽RK3399開(kāi)發(fā)板圖像識(shí)別模塊軟件開(kāi)發(fā)無(wú)人機(jī)用圖像處理板怎么選？

成都慧視推出的深度學(xué)習(xí)算法開(kāi)發(fā)平臺(tái)SpeedDP，它的主要功能就是幫助進(jìn)行算法模型的測(cè)試驗(yàn)證，進(jìn)行快速的針對(duì)大量數(shù)據(jù)的AI自動(dòng)標(biāo)注，然后提升自身算法能力。在無(wú)人機(jī)智能炮彈測(cè)試驗(yàn)證中，通過(guò)對(duì)原始算法的模型訓(xùn)練，能夠不斷評(píng)估算法的能力，然后對(duì)新的打擊數(shù)據(jù)集目標(biāo)進(jìn)行AI自動(dòng)標(biāo)注，讓算法在學(xué)習(xí)中不斷變得聰明。通過(guò)SpeedDP的應(yīng)用，能夠極大減少整個(gè)測(cè)試驗(yàn)證所需時(shí)間，減少人力成本支出，減少項(xiàng)目開(kāi)發(fā)周期，讓工程師不再為繁瑣的圖像標(biāo)注浪費(fèi)時(shí)間將更多的精力放在更重要的領(lǐng)域。

“啟明935A”系列芯片已經(jīng)成功點(diǎn)亮，并完成各項(xiàng)功能性測(cè)試，達(dá)到車規(guī)級(jí)量產(chǎn)標(biāo)準(zhǔn)。啟明935A是行業(yè)首顆基于Chiplet(芯粒/小芯片)異構(gòu)集成范式的自動(dòng)駕駛芯片，但并非單一芯片，而是一個(gè)家族系列。啟明935HUBChiplet可以和不同數(shù)量的大熊星座AIChiplet互相搭配，再結(jié)合靈活的封裝方式，快速形成不同性能等級(jí)的SoC芯片。它還支持高帶寬的PBLink多芯互連，雙芯雙向帶寬128GB/s，四芯雙向帶寬64GB/s。啟明935A每顆芯片都支持比較大20路的1080p60攝像頭輸入，可應(yīng)用于各類端側(cè)AI部署。得益于大熊星座NPU天然支持Transformer結(jié)構(gòu)，初步支持的模型有Yolo系列、ResNet50、PSPNet、PointNet++、TrafficSign_Retinanet、BevDet、miniCPM、Unet_ResNet50、PointPillars、PillarNest、M2track、BevFusion、PaliGemma、LLaMa-3B、8B等等。成都慧視開(kāi)發(fā)的Viztra-HE032圖像處理板擁有6.0TOPS的算力。

在2024年的巴黎奧運(yùn)會(huì)上，AI的應(yīng)用成為了競(jìng)技之外的另一個(gè)焦點(diǎn)，讓運(yùn)動(dòng)員、觀眾、管理人員體驗(yàn)到了和以往賽事與眾不同的氛圍。其中，安全作為不可避免的話題，成為本次AI作用比較大的領(lǐng)域之一。前期建設(shè)時(shí)，就采用了智能體育館的方案，配有先進(jìn)的傳感器和物聯(lián)網(wǎng)設(shè)備，通過(guò)對(duì)實(shí)時(shí)人流的大量數(shù)據(jù)分析，來(lái)預(yù)測(cè)觀眾接下去會(huì)去看什么，優(yōu)化下一場(chǎng)場(chǎng)館的安保、座位等事務(wù)，提升觀眾體驗(yàn)，提高安保水平。另一方面，攝像頭收集畫(huà)面時(shí)，還會(huì)對(duì)監(jiān)控畫(huà)面的每一個(gè)人進(jìn)行安全識(shí)別分析，針對(duì)于“禁區(qū)”除了常規(guī)的面部識(shí)別外，還會(huì)對(duì)每個(gè)進(jìn)入場(chǎng)館或者在場(chǎng)館附近徘徊逗留的人進(jìn)行AI分析，來(lái)發(fā)現(xiàn)潛在的威脅和異常。然后一旦出現(xiàn)可疑人員或者物品，就可以立即向現(xiàn)場(chǎng)安保發(fā)去坐標(biāo)，從而提升整個(gè)場(chǎng)館內(nèi)外的總體安全性。慧視可以定制圖像識(shí)別模塊。云南圖形圖像識(shí)別模塊器

100Hz高幀頻視頻接入需要RK3588圖像處理板。遼寧RK3399主板圖像識(shí)別模塊算法定制

實(shí)現(xiàn)這些功能的技術(shù)中，圖像處理基于AI圖像處理板這一傳感器。板卡具備快速圖像處理識(shí)別的硬件能力，植入相應(yīng)的AI算法，無(wú)人機(jī)就相當(dāng)于裝上了“智慧眼”，而且這個(gè)“智慧眼”居于高空，能夠在一個(gè)定點(diǎn)，俯瞰大范圍，實(shí)時(shí)監(jiān)控貨物的存放狀態(tài)。遠(yuǎn)程控制技術(shù)基于網(wǎng)絡(luò)通信，通過(guò)和圖像處理板的結(jié)合，能夠?qū)崿F(xiàn)低延時(shí)低帶寬的圖像傳輸處理。在實(shí)際落地應(yīng)用中，可以采用成都慧視開(kāi)發(fā)的高性能圖像處理板，其中RV1126系列的Viztra-LE026圖像處理板，就是無(wú)人機(jī)的完美搭子。這款圖像處理板具備2.0TOPS的算力，能夠根據(jù)無(wú)人機(jī)型號(hào)進(jìn)行接口定制，整體尺寸在40mm×40mm×10mm左右（核心板+接口板），小巧的外形即便是小型無(wú)人機(jī)也能夠裝上。此外，板卡整體功耗在4W左右，不會(huì)過(guò)多增加無(wú)人機(jī)的負(fù)擔(dān)。遼寧RK3399主板圖像識(shí)別模塊算法定制