摘要:信息技術(shù)的飛速發(fā)展,人們對(duì)多媒體圖像處理的要求越來(lái)越迫切,文章通過(guò)借鑒嵌入式系統(tǒng)在信號(hào)處理、電子技術(shù)和計(jì)算機(jī)等領(lǐng)域的成功應(yīng)用經(jīng)驗(yàn),在分析機(jī)器視覺(jué)系統(tǒng)特點(diǎn)的基礎(chǔ)上,將機(jī)器視覺(jué)和嵌入式技術(shù)相結(jié)合,設(shè)計(jì)一種基于嵌入式處理器TMS320C6205的圖像識(shí)別系統(tǒng)。介紹了系統(tǒng)工作原理和特點(diǎn),給出了系統(tǒng)硬件結(jié)構(gòu)圖和軟件的實(shí)現(xiàn)方案,實(shí)驗(yàn)結(jié)果顯示,圖像識(shí)別系統(tǒng)在光照比較好的條件下,能取得令人滿意的效果。
關(guān)鍵詞:嵌入式系統(tǒng) ;TMS320C6205 ;圖像識(shí)別 ;pSOS+
由于數(shù)字計(jì)算技術(shù)及相應(yīng)的信號(hào)處理技術(shù)的飛速發(fā)展,近幾十年來(lái)數(shù)字圖像處理技術(shù)發(fā)展非常迅速,并在科學(xué)研究、工農(nóng)業(yè)生產(chǎn)、資源的遙感探測(cè)、煤礦井下安全、醫(yī)療衛(wèi)生、航天探索等各個(gè)領(lǐng)域內(nèi)應(yīng)用越來(lái)越廣泛。在以往的嵌入式設(shè)備中,由于受到處理器運(yùn)算速度及內(nèi)存大小等硬件條件的限制,不適合對(duì)圖像進(jìn)行復(fù)雜的處理。目前,隨著芯片技術(shù)特別是低價(jià)位多功能處理器的發(fā)展,在嵌入式系統(tǒng)中對(duì)視頻進(jìn)行處理成為可能。針對(duì)嵌入式系統(tǒng)領(lǐng)域的這一新特點(diǎn),提出了一種在嵌入式系統(tǒng)上進(jìn)行圖像識(shí)別處理的方案。
1 嵌入式系統(tǒng)中圖像識(shí)別特點(diǎn)
機(jī)器視覺(jué)是目前智能機(jī)器人領(lǐng)域中的研究熱點(diǎn)之一,涉及光電子學(xué)、圖像處理、模式識(shí)別及計(jì)算機(jī)技術(shù)等諸多學(xué)科領(lǐng)域,內(nèi)容極為廣泛。機(jī)器視覺(jué)中圖像處理與目標(biāo)識(shí)別的特點(diǎn)是處理數(shù)據(jù)量大、計(jì)算復(fù)雜,對(duì)算法的實(shí)時(shí)性和精度要求高。
在嵌入式系統(tǒng)中進(jìn)行圖像識(shí)別對(duì)內(nèi)存有嚴(yán)格要求。因?yàn)閳D像的信息量本來(lái)就很大,而且在對(duì)圖像進(jìn)行識(shí)別時(shí)還要開辟多個(gè)緩沖區(qū)來(lái)保存連續(xù)的幾幀圖像信息和中間的運(yùn)算結(jié)果信息等[1]。如一幅352×288,24位色圖像約300KB空間,在對(duì)視頻流中目標(biāo)進(jìn)行識(shí)別時(shí)最少要開辟三個(gè)緩沖區(qū),其中兩個(gè)緩沖區(qū)用來(lái)保存從視頻流中得到的圖像,一個(gè)緩沖區(qū)個(gè)來(lái)保存中間計(jì)算結(jié)果。此外還要為操作系統(tǒng)預(yù)留足夠內(nèi)存空間。便于系統(tǒng)的進(jìn)一步升級(jí),系統(tǒng)采用了32M內(nèi)存。
2 系統(tǒng)硬件設(shè)計(jì)方案
系統(tǒng)選用TMS320C6205(簡(jiǎn)稱6205)作為處理器,EMIF接口擴(kuò)展了ASRAM和FLASH。存儲(chǔ)圖像的ASRAM選用容量為8Mbits的GS78132B,其存儲(chǔ)格式為256K×32bits,可以存儲(chǔ)兩幅512×512×16bits的圖像;存儲(chǔ)運(yùn)算參數(shù)的ASRAM也選用GS78132B,用于存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)、濾波器系數(shù)和運(yùn)算過(guò)程的中間結(jié)果。它們?cè)贓MIF中的存儲(chǔ)器空間分別為CE0和CE2。FLASH選用容量為8Mbits的AM29LV800,用于存儲(chǔ)引導(dǎo)程序和應(yīng)用程序,它在EMIF中的存儲(chǔ)器空間為CE1。6205用McBSP與SAA7111的I2C總線接口連接(將McBSP設(shè)置成通用I/O口,用軟件實(shí)現(xiàn)I2C協(xié)議),通過(guò)I2C對(duì)SAA7111進(jìn)行控制。SAA7111輸出的數(shù)據(jù)直接存儲(chǔ)到GS78132B,存儲(chǔ)過(guò)程中的地址和控制信號(hào)由FPGA根據(jù)SAA7111的時(shí)序產(chǎn)生。
整個(gè)嵌入式圖像識(shí)別處理系統(tǒng)主要由FLASH、SDRAM,TM1300,CCD攝像頭和視頻編碼器SAA7111組成[2]。
圖像采集前端處理器采用PHILIPS公司的SAA7111,它是Philips公司的以PC為平臺(tái)的可編程視頻輸入處理芯片。利用其同步信號(hào)vref、行同步參考信號(hào)href、奇偶場(chǎng)標(biāo)志信號(hào)rtso、像素時(shí)鐘信號(hào)llc2就可以完成圖像信號(hào)的抽取、數(shù)據(jù)線服用以及中斷邏輯的產(chǎn)生。SAA7111解碼輸出的是720×576分辨率的圖像,通過(guò)邏輯控制,可以分別采樣720×576,360×288,180×144等格式圖像,從而滿足不同信道的應(yīng)用需求。同時(shí),通過(guò)對(duì)SAA7111的輸出信號(hào)進(jìn)行邏輯綜合產(chǎn)生的DSP的DMA觸發(fā)事件,保證圖像數(shù)據(jù)的實(shí)時(shí)不丟失采集存儲(chǔ)。
以處理器TMS320C6205和視頻解碼器SAA7111為核心集成一個(gè)高性能的多媒體處理系統(tǒng)。其系統(tǒng)配置圖如圖1所示。
圖1 系統(tǒng)配置圖
3 系統(tǒng)軟件實(shí)現(xiàn)方案
系統(tǒng)中采用pSOS+實(shí)時(shí)操作系統(tǒng)。pSOS+內(nèi)核是一個(gè)高效的微內(nèi)核,用來(lái)調(diào)度、管理和分配資源,協(xié)調(diào)各種異步的任務(wù)和事件[3]。TMS320C6XXX系列具有豐富的芯片支持函數(shù)庫(kù)(ChipSupport Library),處理器有一個(gè)穩(wěn)定的、開放的軟件開發(fā)環(huán)境(SDE:Software Development Environment),因此我們可以運(yùn)用C/C++高級(jí)編程語(yǔ)言開發(fā)高效的多媒體應(yīng)用程序。應(yīng)用程序在SDE環(huán)境下開發(fā)的,其主要是對(duì)實(shí)時(shí)視頻中的運(yùn)動(dòng)目標(biāo)進(jìn)行識(shí)別和提取。整個(gè)流程分為系統(tǒng)初始化,背景提取,目標(biāo)識(shí)別和識(shí)別結(jié)果處理四個(gè)步驟。
3.1 系統(tǒng)初始化
pSOS+系統(tǒng)中,一個(gè)應(yīng)用程序就是一個(gè)任務(wù)。任務(wù)要管理自身的系統(tǒng)資源,如處理器、輸入輸出、內(nèi)存等。應(yīng)用程序需要對(duì)系統(tǒng)硬件資源進(jìn)行初始化,系統(tǒng)初始化的主要源代碼:
procGetCapabilities(&cap);
_Cache_Copyback((char *)viBuf[i].Y,szY);
IcpOpen(&icpInst,&icpInstSup);
IcpLoadCoff(icpInst,NULL);
ViGetAdapterVideoStandard(viInst,adapterType,0,&videostandard);
ViInstanceSetup(viInst,&viInstup);
ViYUVSetup(viInst,&viYUVInstSup);
初始化代碼主要是返回處理器的信息;內(nèi)存拷貝;為ICP(圖像協(xié)處理器)指派一個(gè)實(shí)例,為操作準(zhǔn)備ICP;用過(guò)濾系數(shù)加載ICP;得到解碼器上指定適配器的顏色標(biāo)準(zhǔn);設(shè)置和改變實(shí)例參數(shù);初始化主板上的解碼器,設(shè)置和改變YUV操作模式的參數(shù)。
3.2 背景提取
背景圖像作為圖像識(shí)別的參考幀,選擇一幅高質(zhì)量的背景圖片對(duì)整個(gè)系統(tǒng)的識(shí)別準(zhǔn)確率有很大影響。在上電時(shí)系統(tǒng)不夠穩(wěn)定,從攝像頭采集的圖像數(shù)據(jù)噪聲很大,用均值濾波(求和取平均)的方法來(lái)除去它,得到穩(wěn)定的背景圖像。系統(tǒng)初始化后隔一秒從攝像頭提取五幀圖像,對(duì)其取平均,得到均值圖像。然后再?gòu)臄z像頭取一幀圖像(即當(dāng)前幀)與均值圖像相減得差值圖像。根據(jù)差值圖像的特點(diǎn)可判斷系統(tǒng)是否已開始正常工作。背景提取流程如圖2所示。
在沒(méi)有運(yùn)動(dòng)目標(biāo)的情況下差值圖像的值應(yīng)該全為零,由于圖像有噪聲,所以系統(tǒng)的實(shí)際差值會(huì)比較小。因此設(shè)定一個(gè)閾值跟這些差值進(jìn)行比較,如果超過(guò)閾值的差值點(diǎn)數(shù)小于整幅圖像點(diǎn)數(shù)的千分之一,則認(rèn)為噪聲信號(hào)不是很嚴(yán)重,當(dāng)前幀可以作為背景,否則表明從攝像頭進(jìn)來(lái)的圖像受干擾嚴(yán)重,不能用來(lái)進(jìn)行處理,要重復(fù)以上過(guò)程,直到取得滿意的背景幀。
圖2 背景提取流程 圖3 圖像識(shí)別流程圖
3.3 圖像識(shí)別
圖像識(shí)別是從運(yùn)動(dòng)視頻中識(shí)別出活動(dòng)目標(biāo)。為了改善圖像輸出,對(duì)從攝像頭取得的圖像進(jìn)行灰度變換。灰度變換就是通過(guò)一個(gè)斜率k來(lái)作兩個(gè)區(qū)域的線性變換。如果圖像偏暗(灰度集中在較暗區(qū)域),使斜率K>1來(lái)改善,如果圖像灰度集中在較亮的區(qū)域而使圖像偏亮,則使k<1來(lái)改善。
使模糊的圖像變得更加清晰,圖像中物體的輪廓更加明顯,需要對(duì)圖像進(jìn)行銳化。圖像銳化有微分法和高通濾波法。采用微分法的梯度銳化直接用梯度值來(lái)表示圖像。這樣在圖像變化緩慢的地方,其值很小,而在圖像線條輪廓等變化較快的地方,其值很大。
要得到運(yùn)動(dòng)物體的輪廓,必須對(duì)視頻中的連續(xù)幀進(jìn)行處理。應(yīng)用程序?qū)Ξ?dāng)前捕獲幀和背景圖像都進(jìn)行灰度變換、圖像銳化后;對(duì)它們作差分,得到差值幀;再對(duì)差值幀進(jìn)行中值濾波和二值化處理得到二值化圖像。中值濾波會(huì)使圖像變的較模糊,但它同時(shí)也能抑制干擾較大的圖像噪聲,為進(jìn)一步的處理作準(zhǔn)備。二值化通過(guò)設(shè)定閾值來(lái)消除干擾較弱的圖像噪聲。圖像中可能會(huì)有一些受干擾嚴(yán)重,相對(duì)孤立的點(diǎn),這些點(diǎn)如果存在,對(duì)下一步求運(yùn)動(dòng)物體矩形框會(huì)產(chǎn)生不良的影響。解決方法是對(duì)二值化圖像進(jìn)行掃描,如果其中某點(diǎn)周圍的八個(gè)點(diǎn)都為黑,則把該點(diǎn)值設(shè)為零,這樣就除去二值化圖像中的一些零散點(diǎn)。把經(jīng)過(guò)處理后的二值化圖像進(jìn)行聚類,即相同的點(diǎn)成一類,記下點(diǎn)的坐標(biāo),即點(diǎn)在圖像數(shù)組中的位置。然后遍歷圖像中代表著運(yùn)動(dòng)物體的點(diǎn)的坐標(biāo),算出運(yùn)動(dòng)物體的最大矩形框,記下框高。至此,活動(dòng)視頻中的運(yùn)動(dòng)目標(biāo)就用矩形框鎖定。圖像識(shí)別流程如圖3所示。
3.4 識(shí)別結(jié)果處理
實(shí)際應(yīng)用中,選擇感興趣的、效果最好的、最重要的目標(biāo)圖片保存。根據(jù)系統(tǒng)中可用存儲(chǔ)器的大小和存儲(chǔ)目標(biāo)圖片的質(zhì)量,確定系統(tǒng)所存儲(chǔ)圖片的數(shù)量。圖像識(shí)別系統(tǒng)感興趣的目標(biāo)是人,同時(shí)要兼顧目標(biāo)圖像足夠的清晰度,所以選擇活動(dòng)目標(biāo)高度至少要大于1/4整幅圖像高度的圖像幀進(jìn)行保存。在存儲(chǔ)器可用空間,為了更新目標(biāo)圖像,采用的方法是從所有已保存的圖像中去掉目標(biāo)框高最小的圖像。識(shí)別結(jié)果處理流程如圖4所示。
圖4 識(shí)別結(jié)果處理流程圖
圖5 圖像識(shí)別系統(tǒng)實(shí)驗(yàn)
4 實(shí)驗(yàn)結(jié)果
圖像識(shí)別系統(tǒng)實(shí)驗(yàn)過(guò)程如圖5所示,識(shí)別結(jié)果顯示,系統(tǒng)在光照比較好的條件下對(duì)活動(dòng)視頻中的人、小車等運(yùn)動(dòng)目標(biāo)識(shí)別比較成功,能取得令人滿意的效果。但在光線很暗,或者雷雨天,識(shí)別效果不很理想,進(jìn)一步完善識(shí)別技術(shù)將是深入研究的課題。
參考文獻(xiàn):
[1] 王新成. 高級(jí)圖像處理技術(shù)[M]. 北京:中國(guó)科學(xué)技術(shù)出版社,2001.
[2] 操勇,毛勇.TM1300嵌入式多媒體網(wǎng)絡(luò)通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子技術(shù)應(yīng)用,2003.
[3] 鄭更生,謝治平,賀貴明. 基于實(shí)時(shí)多處理器操作系統(tǒng)內(nèi)核的視頻終端研究[J]. 計(jì)算機(jī)工程,2004 ,30(18 ):146-148.
朱艷芹(1982-)
女,湖北鄂州人,武漢工程大學(xué)2005級(jí)檢測(cè)技術(shù)與自動(dòng)化裝置專業(yè)碩士研究生,現(xiàn)任惠州經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院機(jī)電工程系電子教研室專任教師、講師。
摘自《自動(dòng)化博覽》2012年第四期