背景分析

AI相機(jī)可以用在沒有網(wǎng)絡(luò)通信或在4G流量卡通信的場(chǎng)景，這是一種離散式部署。然而AI相機(jī)與普通相機(jī)相比，

價(jià)格較高且技術(shù)發(fā)展不成熟。在水利農(nóng)業(yè)領(lǐng)域中，對(duì)于河道漂浮物識(shí)別、人車識(shí)別等模型沒有成熟的數(shù)據(jù)，

需要我們自己訓(xùn)練，但是AI相機(jī)數(shù)據(jù)抓取采集、數(shù)據(jù)管理方面存在挑戰(zhàn)，這就造成在實(shí)際應(yīng)用中對(duì)專屬模型

訓(xùn)練的困難。另外AI相機(jī)沒有完善的云平臺(tái)管理機(jī)制，當(dāng)設(shè)備安裝到現(xiàn)場(chǎng)后，隨著數(shù)據(jù)的增多數(shù)據(jù)管理不易 。

設(shè)計(jì)思路

實(shí)施方案

利用現(xiàn)場(chǎng)邊緣計(jì)算云盒所接的攝像頭采集現(xiàn)場(chǎng)圖片數(shù)據(jù)，也可以直接在云平臺(tái)對(duì)圖片進(jìn)行上傳，然后對(duì)圖片進(jìn)行

標(biāo)注并保存成數(shù)據(jù)集，我們?cè)谏疃葘W(xué)習(xí)框架yolov5預(yù)置的預(yù)訓(xùn)練的模型yolov5s的基礎(chǔ)上，以R3588的NPU為硬件

基礎(chǔ)，使用采集到的數(shù)據(jù)集對(duì)模型進(jìn)行迭代優(yōu)化，生成定制化的人車模型，進(jìn)而放在模型庫以備后面使用。

AI智能云盒子：

選擇EC-R3588SPC智能工業(yè)主機(jī)作為AI智能盒設(shè)備。這款設(shè)備配備了八核64位處理器，支持多種操作系統(tǒng)，如

Linux、Windows等。

除此之外，它還具有強(qiáng)大的計(jì)算能力和豐富的接口，能夠滿足多種應(yīng)用場(chǎng)景下的需求，為我們的河道監(jiān)控系統(tǒng)

提供穩(wěn)定可靠的硬件支持。

攝像頭：

現(xiàn)場(chǎng)采用普通能聯(lián)網(wǎng)的攝像頭即可。

我們的硬件平臺(tái)基于具備NPU的神經(jīng)處理單元，在OpenCV等計(jì)算機(jī)視覺庫上，利用識(shí)別算法對(duì)視頻流的圖像進(jìn)行

提取。然后，將這些圖像傳遞給我們定制的模型進(jìn)行推理預(yù)測(cè)，從而檢測(cè)視頻中的人物、垃圾、車輛等數(shù)據(jù)，

并生成新的視頻流進(jìn)行推送。同時(shí)，我們還會(huì)將檢測(cè)到的數(shù)據(jù)發(fā)送到服務(wù)器端進(jìn)行存儲(chǔ)。

模型訓(xùn)練：

完成了人車模型訓(xùn)練。將采集到的數(shù)據(jù)保存成數(shù)據(jù)集，在深度學(xué)習(xí)框架yolov5預(yù)置的預(yù)訓(xùn)練的模型yolov5s的基

礎(chǔ)上，使用采集到的數(shù)據(jù)集對(duì)模型進(jìn)行迭代優(yōu)化，生成了人車識(shí)別的定制化的模型。