直播推薦
企業(yè)動態(tài)
- 紛享銷客發(fā)布首個企業(yè)級智能CRM平臺ShareAI
- 揭秘西企業(yè)數(shù)字化+低碳化轉(zhuǎn)型“工具箱”:西門子Xcelerator
- 企業(yè)AI賦能數(shù)智制造,用友U9 cloud世界級云ERP煥新升級
- 《“智“領(lǐng)石化,“質(zhì)“造未來——威圖石化行業(yè)數(shù)智化實踐白皮書》隆重發(fā)布
- 攜手共贏!德國Agfa搭載瑞典IPCO鋼帶,實現(xiàn)印刷設(shè)備振動銳減6倍,提升印刷速度與精度
- 創(chuàng)四方集團榮獲“知名商標(biāo)品牌閃亮”證書,助力品牌戰(zhàn)略升級
- 皇冠CAD(CrownCAD)2025 R3版本來了,率先開啟C“Ai”D時代!
- 電費砍半!中國制冷展:海爾發(fā)布AI建筑最新成果
推薦展會
摘要:在嵌入式手機開發(fā)平臺上實現(xiàn)視頻解碼處理的方法。首先介紹視頻解碼在嵌入式平臺上的處理流程,然后具體分析視頻解碼算法中各個關(guān)鍵模塊的實現(xiàn)方法,zui后對該平臺上的處理性能進行分析并給出結(jié)論。
關(guān)鍵詞:嵌入式平臺視頻解碼AVS-M
視頻業(yè)務(wù)作為下一代移動通信的重要應(yīng)用,已經(jīng)越來越受到重視。目前,很多移動通信設(shè)備和智能手機都提供嵌入式操作系統(tǒng),支持第三方的小應(yīng)用程序。因此,在嵌入式手機平臺上開發(fā)視頻應(yīng)用具有很好的前景。但是,由于目前手機平臺資源有限,不能實現(xiàn)復(fù)雜性較高的實時視頻壓縮編碼,所以首先要實現(xiàn)視頻的解碼處理。下面介紹在嵌入式手機平臺上實現(xiàn)視頻解碼處理的方法及相應(yīng)結(jié)果。
1 系統(tǒng)處理流程
在嵌入式平臺上實現(xiàn)的視頻解碼可以分為系統(tǒng)設(shè)置(包括操作系統(tǒng)初始化等)和視頻解碼處理兩部分。處理流程如圖l所示。
1.1 系統(tǒng)設(shè)置
完成初始化系統(tǒng),調(diào)用系統(tǒng)程序完成CPU初始化,配置寄存器以確保存儲器訪問正確。對嵌入式操作系統(tǒng)的內(nèi)核進行初始化,以μITRON操作系統(tǒng)為例,調(diào)用vs_ta_knl和ivsta_knl實現(xiàn)操作系統(tǒng)初始化。初始化過程主要包括:
(1)設(shè)置終端寄存器和矢量寄存器(VBR)等關(guān)鍵寄存器。
(2)初始化內(nèi)核工作區(qū)。
(3)創(chuàng)建初始化定義對象。
(4)啟動生成的系統(tǒng)初始化程序,包括定時器(timer)、存儲管理單元(MMU)等。
(5)轉(zhuǎn)向多任務(wù)進程(MultiTasking),并開始*個任務(wù)。
由于視頻解碼算法采用C語言實現(xiàn),因此還要完成任務(wù)的配置和初始化等工作以及C語言運行環(huán)境配置等。
在完成操作系統(tǒng)內(nèi)核初始化之后,程序進入多任務(wù)狀態(tài),其中視頻解碼處理部分作為主任務(wù)開始執(zhí)行。
1.2 視頻解碼處理
視頻解碼處理部分是整個系統(tǒng)的主任務(wù)其*步仍然是任務(wù)配置和初始化。首先通過寄存器配置啟動CACHE并初始化,主要完成指令CACHE(IC)、操作數(shù)CACHE(0C)使能以及其他必需的模塊操作。接下來初始化LCD顯示模塊,包括設(shè)置LCD初始化參數(shù)、LCD驅(qū)動參數(shù)及LCD繪圖參數(shù)。RGB轉(zhuǎn)換單元初始化用于使能視頻引擎單元及視頻色彩空間的轉(zhuǎn)換。
在解碼開始前,先對解碼參數(shù)初始化,包括分配存儲和倒換緩沖區(qū)、初始化查找表等。而后通過解析壓縮的標(biāo)準(zhǔn)視頻數(shù)據(jù)流獲取序列和圖像參數(shù)集及標(biāo)記信息。若解析得到的信息顯示存在一幀圖像數(shù)據(jù),則進入主處理模塊進行圖像解碼;否則釋放資源,任務(wù)結(jié)束。在每一幀圖像解碼完成后,通常得到Y(jié)CbCr格式的數(shù)據(jù),通過RGB轉(zhuǎn)換單元變換成可在LCD顯示的RGB格式的數(shù)據(jù)(后處理),送入相應(yīng)的緩沖區(qū),實現(xiàn)LED顯示。然后繼續(xù)解析碼流,直到完成整個序列的解碼、顯示。zui后釋放資源,任務(wù)結(jié)束。
2 視頻解碼算法實現(xiàn)
目前,比較流行的視頻壓縮標(biāo)準(zhǔn)主要有MPEG4和H.264。其中H.264的壓縮效率和圖像質(zhì)量在同等條件下要優(yōu)于MPFEC4,同時也更適合移動應(yīng)用。擁有自主知識產(chǎn)權(quán)的移動視頻標(biāo)準(zhǔn)AVS-M也在制定。AVS-M與H.264Basehne在標(biāo)準(zhǔn)框架上有很多相似之處,下面對這兩種標(biāo)準(zhǔn)中采用的關(guān)鍵處理模塊進行分析。
由于嵌入式移動終端的主頻和存儲資源有限,因此實現(xiàn)視頻解碼的關(guān)鍵在于如何優(yōu)化程序,提高執(zhí)行效率,降低存儲需求。針對嵌入式處理器的特點,考慮到資源的有效利用,在實現(xiàn)視頻解碼過程中應(yīng)采用下列策略:
(1)優(yōu)化數(shù)據(jù)結(jié)構(gòu)。例如采用合理的數(shù)據(jù)結(jié)構(gòu),提高指針和數(shù)組的尋址效率等。
(2)改善數(shù)據(jù)處理流程。例如將解碼過程中宏塊的預(yù)測模式、運動矢量的初始化在幀一級實現(xiàn),通過模塊模糊化盡可能減少各個模塊之間數(shù)據(jù)緩存的倒換等。
(3)充分利用硬件平臺特點。例如提高CACHE命中率、有效利用片上存儲資源、實現(xiàn)軟件流水等。
以AVS-M為例,對標(biāo)準(zhǔn)視頻序列總線進行測試,得到如表l所示的視頻解碼算法中各部分的處理時間比例。
在解碼過程中,反量化/反變換模塊、運動補償模塊和重構(gòu)模塊占用了大部分處理資源,因此這里主要考慮對這三個模塊的處理。
2.1 反量化/反變換
為降低運算量,H.264基線和AVS-M的變換采用整數(shù)離散余弦的4×4變換,變換矩陣由全部是整數(shù)的核心矩陣和系數(shù)矩陣組成。系數(shù)矩陣與量化過程結(jié)合,變換部分就成為可逆的整數(shù)變換。視頻解碼過程中,從碼流解析出每個4×4塊的量化系數(shù)進行反量化和反變換,生成該4×4數(shù)據(jù)塊的參差矩陣,與預(yù)測矩陣共同重構(gòu)出解碼圖像塊。實現(xiàn)此功能可采取以下策略:
(1)將4×4量化系數(shù)矩陣用一維數(shù)組來表示,避免在每次取操作數(shù)時兩次尋址,提高尋址效率。
(2)在同一個模塊實現(xiàn)反量化、反變換和重構(gòu)。整個操作過程均針對存放16個量化系數(shù)的數(shù)組進行,每完成一個運算過程直接更新數(shù)組相應(yīng)的元素,從而避免塊數(shù)據(jù)的倒換。完成該操作后即得到解碼圖像塊。
(3)將重構(gòu)過程中的兩重4次循環(huán)的內(nèi)循環(huán)打開,實現(xiàn)軟件流水。也可以在整個宏塊的所有4×4塊均完成反量化和反變換后對兩重16次循環(huán)采用軟件流水,這樣可必提高速度,但增加了存儲資源占用。
(4)反量化過程采用查找表實現(xiàn),降低了運算復(fù)雜性。查找表存入CACHE,可提高訪問速度。
采用上述方法可大大提高處理速度,同時節(jié)省存儲資源。
2.2 運動補償
為降低碼率,H.264和AVS-M采用1/4像素精度的亮度插值預(yù)測和1/8像素精度的色度插值預(yù)測。插值過程占用了運動補償?shù)拇蟛糠謺r間。因此,在處理運動補償時。應(yīng)采用如下策略:
(1)并行他處理。視頻處理中,1/2像素插值通過水平FIR濾波器和垂直FIR濾波器實現(xiàn)。對于亮度插值,每個像素點的取值范圍在[O,255],濾波器抽頭系數(shù)在[-63,64]之間.每個插值計算的結(jié)果不會超出[-6630,22950],因此可以用16位運算器實現(xiàn)。而目前采用的嵌入式處理器至少是32位的,因此在每個指令周期可以并行完成至少兩個插值運算,進而大大減少了插值運算時間。
(2)預(yù)擴展參考圖像邊界。對于帖間預(yù)測,預(yù)測數(shù)據(jù)塊根據(jù)運動矢量在參考圖像中確定預(yù)測參考塊(根據(jù)運動矢量的取值,參考塊數(shù)據(jù)可以是參考像素值,也可以是1/2像素或1/4像素插值結(jié)果)。當(dāng)運動矢量指向的參考樣本超出圖像參考邊界時,需要使用圖像內(nèi)距離該參考樣本zui近的整數(shù)樣本代替。如果每次在參考樣本超出邊界時進行判。斷和賦值,則會增加判斷次數(shù)并會導(dǎo)致軟件流水中斷。為此,可以預(yù)先將參考圖像根據(jù)邊緣像素值做水平和垂直擴展。參考樣本全在參考圖像外面時,不論運動矢量延伸多大,所得到的預(yù)測塊像素值都是相同的,可以將擴展的寬度設(shè)定為宏塊的寬,高度以確保結(jié)果的正確性。這樣就不再需要判斷,同時解決了軟件流水問題。
(3)提高CACHE命中率。由于CACHE的存儲空間有限,不可能將參考圖像全部放入CACHE,因此考慮根據(jù)運動矢量的統(tǒng)計特性將zui有可能的參考樣本放入CACHE,用以提高命中率。
由表2可知,大多數(shù)測試序列基本可以達到實時解碼(15幀/秒)。目前市場上的主流智能手機的主頻在150MHz以上,而視頻格式通常采用QCIF(大小為176×144)或近似大小的視頻格式,遠小于未來的主流視頻格式——QVGA。因此,該嵌入式視頻處理系統(tǒng)可以直接應(yīng)用于移動終端產(chǎn)品。
免責(zé)聲明
- 凡本網(wǎng)注明"來源:智能制造網(wǎng)"的所有作品,版權(quán)均屬于智能制造網(wǎng),轉(zhuǎn)載請必須注明智能制造網(wǎng),http://towegas.com。違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
- 企業(yè)發(fā)布的公司新聞、技術(shù)文章、資料下載等內(nèi)容,如涉及侵權(quán)、違規(guī)遭投訴的,一律由發(fā)布企業(yè)自行承擔(dān)責(zé)任,本網(wǎng)有權(quán)刪除內(nèi)容并追溯責(zé)任。
- 本網(wǎng)轉(zhuǎn)載并注明自其它來源的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點或證實其內(nèi)容的真實性,不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品來源,并自負版權(quán)等法律責(zé)任。
- 如涉及作品內(nèi)容、版權(quán)等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
2025第十一屆中國國際機電產(chǎn)品交易會 暨先進制造業(yè)博覽會
展會城市:合肥市展會時間:2025-09-20