基于S3C2410處理器和Linux操作系統(tǒng)實現(xiàn)數(shù)字圖像處理系統(tǒng)的設計
引言
在研究遠程數(shù)字圖像處理與傳輸?shù)倪^程中,需要在遠端現(xiàn)場進行圖像處理,本文提出一個集圖像采集、處理與顯示于一體的嵌入式數(shù)字圖像處理系統(tǒng),通過圖像獲取設備獲取目標圖像并進行相關的算法處理,通過模塊化編程,將原始圖像和圖像處理結果獨立顯示出來,修改圖像處理模塊可以對不同的數(shù)字圖像處理算法進行驗證和分析。利用本文所建立的系統(tǒng)可以大大提高遠端數(shù)字圖像處理的效率,并可利用該系統(tǒng)的網(wǎng)絡功能實現(xiàn)遠程傳輸,本文僅就系統(tǒng)的圖像獲取與處理功能作簡要分析。
1系統(tǒng)組成
硬件組成以S3C2410為核心,S3C2410內部集成了一個USB主控制器,所以無須外接USB控制芯片就可以做為USB主機.USBHost控制器與視頻采集攝像頭相連,通過在USB接口上外接的帶USB口的攝像頭,實現(xiàn)圖像采集。處理后的圖像可以顯示在一個320X240分辨率的液晶屏幕上,F(xiàn)lash用作存儲器保存系統(tǒng)軟件和圖像采集、處理的結果。圖1給出了系統(tǒng)的硬件組成框圖,圖2給出了系統(tǒng)的軟件層次結構圖。
圖1硬件組成構圖
圖2軟件層次結構閣
軟件組成可以分為引導程序、操作系統(tǒng)和圖像采集與處理三部分。
引導程序的作用是初始化硬件設備、建立內存空間的映射圖,從而將系統(tǒng)的軟硬件環(huán)境帶到一個合適的狀態(tài),以便為最終調用操作系統(tǒng)內核或用戶應用稃序準備好正確的環(huán)境。在本應用中采用的是ViVi作為引導程序來引導操作系統(tǒng)。
本系統(tǒng)選擇的是ARM-Linux作為操作系統(tǒng),針對本系統(tǒng)的具體應用,需要配置操作系統(tǒng)內核支持VideoForLinux和USBOV511Camera,同時去掉一些不需要的模塊以減小操作系統(tǒng)內核的體積。操作系統(tǒng)內核是通過引導程序ViVi來下載到Flash存儲器上的,而引導程序ViVi則是通過Jtag下載到Flash存儲器中的。
圖像的采集、處理、顯示的程序是運行在ARM-Linux操作系統(tǒng)之上的,其中圖像采集與圖像顯示模塊與操作系統(tǒng)平臺緊密相關,而圖像處理算法部分與平臺無關。
2圖像采集
在本設計中通過USB攝像頭來采集圖像,在Linux內核中視頻部分的接口是VideoForLinux(V4L),V4L標準定義了一套接口,內核、驅動、應用程序遵循這個接口標準就可以使視頻設備正常工作。目前V4L涵蓋了視、音頻流捕捉與處理方面的內容,USB攝像頭也屬于V4L支持的范疇。
在ARM-Linux中,攝像頭設備映射為/dev/v41/vide00,所以只需對這個設備按照V4L標準規(guī)定的流程進行操作就可以了。以下是關鍵步驟的程序代碼。
第一步:打開采集設備
Fd_video=open(”/dev/v41/video0”,0_RDWR);
第二步:查詢設備屬性
rc=ioctl(Fd_video,VIDIOCGCAP,&vC);通過設備驅動程序提供的ioctl接口來查詢設備的相關屬性,具體屬性用structtvideo_capture類型的結構體變量vc來存儲。video_capture是Linux下對視頻設備描述的結構體變量類型之一。
第三步:查詢、設置將要采集的圖像的格式,包括大小、顏色位數(shù)、圖像數(shù)據(jù)表示格式等信息。在Linux中,這些信息保存在一個structvideo_picture類型的變量中。在本設計中用全局變量vp來保存查淘的信息。
ret=iocfl(Fd_video,VIDIOCGPICT,&vp);//圖像相關信息保存在vP變量中
可以通過以VIDIOCSPICT為參數(shù)的ioctl調用來設置圖像的類型,如在本系統(tǒng)中支持如下幾種類型的圖像:24位RGB888格式的彩色圖像、16位RGB565格式的彩色圖像、256級灰度的灰度圖像。設置方法是先對vp的成員變量vp.palette進行賦值,如VIDEO_PALETTE_RGB24、VIDEO_PALETFE_RGB565或者VIDEO_PALETYE_GREY等之一,然后調用ioetl(video,VIDIOCSPICT,&vp)來設置。同樣也可以設置分辨率等其它參數(shù),方法與設置數(shù)據(jù)格式大同小異,不再贅述。
第四步:建立內存映射,把視頻設備的數(shù)據(jù)緩沖區(qū)地址映射到用戶進程地址空間,這樣做比直接調用read()函數(shù)讀取數(shù)據(jù)的速度要快的多。在本設計中定義了一個unsignedchar*型的指針變量memoryMap來保存數(shù)據(jù)緩沖區(qū)的映射地址。
memoryMap=(unsignedchar*)mmap(0,memoryBuffer.size,PROT_READ|PROT_WRITE,MAP_SHARED,F(xiàn)d_video,0);//建立數(shù)據(jù)緩沖區(qū)的映射
第五步:讀取數(shù)據(jù)。到這一步就可以采集圖像數(shù)據(jù)了,可以在采集到一幅圖像的數(shù)據(jù)后觸發(fā)下一個幅圖像開始采集的信號,然后在這段時間里進行圖像處理的運算,這樣可以最大限度的利用圖像采集設備,從而提高系統(tǒng)的效率。攝像頭的驅動提供了這種雙緩沖機制,通過向攝像頭發(fā)送VIDIOCMCAPTURE控制命令,就會觸發(fā)采集圖像數(shù)據(jù)到指定的緩沖區(qū)中,這一步是不會阻塞當前進程的,程序會執(zhí)行下一條指令而不是等到數(shù)據(jù)采集完畢。通過向攝像頭發(fā)送VIDIOCSYNC控制命令,當前進程就會阻塞直到指定的緩沖區(qū)數(shù)據(jù)填滿。處理的流程如下所示:
VIDIOCMCA玎uREbuffer0//觸發(fā)buffer0開始采集
While(1)
{
VIDIOCMCAPTUREbuffer1//觸發(fā)buffer1開始采集
VIDIOCSYNCbuffer0//同步buffer0中的數(shù)據(jù)
。..
//processbuffer0//處理得到的buffer0中數(shù)據(jù)
。..
VIDIOCMCAPTUREbuffer0//觸發(fā)buffer0開始采集
VIDIOCSYNCbuffer1//同步buffer1中的數(shù)據(jù)
。..
//processbuffer1//處理得到的bufferl中數(shù)據(jù)
。..
}
3圖像處理
圖像處理是一門復雜的技術,它涉及到圖像預處理、圖像分析、圖像理解等多個方面。它和其它多個學科有著密切的聯(lián)系,尤其是近年來模式識別理論和技術、人工智能理論、分形理論以及小波分析技術等相關理論和技術的發(fā)展,為圖像處理技術的研究提供了堅實的理論基礎和新的分析手段。針對于不同應用背景采用的處理流程和算法各不相同,但是都必須首先獲得圖像的數(shù)據(jù),然后在根據(jù)需要選擇處理流程和相關算法。在這里本文并不詳細介紹圖像處理的流程和算法,只給出在本系統(tǒng)平臺上實現(xiàn)的圖像處理算法的效果圖。圖3是通過攝像頭采集到的彩色圖像,圖4是經過灰度轉化、二值化、邊緣檢測、細化和連通域榆測后的效果圖。
圖3攝像頭采集到的圖像
圖4處理效果顯示
4圖像顯示
本設計采用的是一個240X320分辨率的16位液晶屏幕,可以通過操作S3C2410內部的相關寄存器來直接控制顯示,由于采用了ARM-Linux作為操作系統(tǒng),可以直接操作Linux下的Framebuffer設備來完成圖像的顯示,幀緩沖(Framebuffer)是Linux為顯示設備提供的一個接口,把顯存抽象后的一種設備,他允許上層應用程序在圖形模式下直接對顯示緩沖區(qū)進行讀寫操作。這種操作是抽象的、統(tǒng)一的。用戶不必關心物理顯存的位置、換頁機制等等具體細節(jié)。這些都是由Framebuffer設備驅動來完成的。
在應用程序中首先要打開Framebuffer設備,在Linux系統(tǒng)中Framebuffer設備一般映射為/dev/fb,可以有多個設備。然后調用ioctl提供的接口獲取設備信息,主要是獲得當前Framebuffer設備的分辨率、色深、每一行數(shù)據(jù)占的字節(jié)數(shù)。關鍵的一步是將屏幕緩沖區(qū)映射到用戶空間,F(xiàn)ramebuffer設備可以看成是顯存的映像,但是Linux所有的設備驅動均在內核態(tài)工作,所以無法在當前進程空間中直接訪問,通過映射機制可以直接把顯存的起始地址映射到當前進程的地址空間,從而可以快速方便的實現(xiàn)顯示,建立映射的方法如下:
pfb=mmap(0,F(xiàn)BDraw_finfo.smem_len,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);//以read、write和share方式映射
屏幕上坐標為(x,y)的點在顯存中的位置是:
pro+x*(fb_vinfo.bits_per_pixel》》3)+Y*fb_finfo.line_length,對這個位置賦響應的顏色值就可以在屏幕上顯示出來。需要注意的是當色深(fb_vinfo.bits_per_pixel)不同時,顏色值的格式也不一樣。
把經過圖像處理后的圖像數(shù)據(jù)或者采集到的原始圖像數(shù)據(jù)轉化成Framebuffer設備的顏色數(shù)據(jù)格式(RGB565、RGB888等)后,將數(shù)據(jù)復制到從地址pfb開始的內存中,就可以實現(xiàn)圖像的顯示。
5結束語
本文設計了以ARM核處理器S3C2410為計算與控制核心,以ARM-Linux為操作系統(tǒng)的圖像采集、處理、顯示的一個平臺,用于圖像處理中算法驗證,調試與實際使用表明,該系統(tǒng)具有良好的使用效果和較高的丁作效率,現(xiàn)已用于戰(zhàn)場偵察系統(tǒng)的演示。同時本系統(tǒng)具有功耗小、體積小、網(wǎng)絡功能強等特點,可以方便的擴展到偵察、安防、視頻采集等領域。
本文創(chuàng)新點:利用ARM平臺,結合嵌入式操作系統(tǒng)進行圖像采集和處理,在較小的系統(tǒng)內實現(xiàn)了主要的圖像系統(tǒng)功能,取得較好的效果,并具有良好的應用前景。
責任編輯:gt