[go: up one dir, main page]

TW201635796A - 影像處理裝置與方法 - Google Patents

影像處理裝置與方法 Download PDF

Info

Publication number
TW201635796A
TW201635796A TW104118515A TW104118515A TW201635796A TW 201635796 A TW201635796 A TW 201635796A TW 104118515 A TW104118515 A TW 104118515A TW 104118515 A TW104118515 A TW 104118515A TW 201635796 A TW201635796 A TW 201635796A
Authority
TW
Taiwan
Prior art keywords
image
input
high frequency
pixel
image processing
Prior art date
Application number
TW104118515A
Other languages
English (en)
Other versions
TWI561068B (en
Inventor
陳正岳
謝俊興
楊峻瑜
孫志剛
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Publication of TW201635796A publication Critical patent/TW201635796A/zh
Application granted granted Critical
Publication of TWI561068B publication Critical patent/TWI561068B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

一種影像處理裝置包含高頻平移元件、高頻擷取元件、細節增益產生元件以及影像輸出元件。高頻平移元件用以擷取並平移輸入影像中之第一高頻部分以產生一第一影像;高頻擷取元件用以擷取輸入影像中之第二高頻部分以產生第二影像;細節增益產生元件用以儲存轉換表,並根據輸入影像中輸入像素的像素值與轉換表,產生輸入像素分別對應的細節增益;影像輸出元件用以疊加第一影像與第二影像,並根據細節增益與比例疊加結果產生輸出影像之高頻成分。

Description

影像處理裝置與方法
本揭示內容與一種影像處理裝置與方法有關,特別是與一種提升影像銳利度(sharpness)的影像處理裝置與方法有關。
一般影像資料在傳送與儲存時,因受限於傳輸速率或儲存空間等,往往需採用低解析度的影像格式,為了符合高解析度顯示裝置之影像規格,再利用影像插補(interpolation)技術提升解析度,使低解析度之影像可顯示於高解析度規格之顯示裝置,然而,影像插補技術雖可加入新像素,但產生的影像往往有模糊或影像品質不佳等問題。而超解析度技術(super resolution,SR)乃是在模糊的影像中增加細節的方法,習知的超解析度技術中有以下數種做法。
第一種乃是使用多禎低解析度影像組成單禎高解析度影像,由於多禎時間軸上相近的低解析度影像所包含的場景相同,因此會包含該場景的不同細節,因此,此做法自多禎時間相近的低解析度影像中分別取出單禎高解析度 影像的部分細節而形成高解析度影像。但此做法須耗費大量記憶體來儲存多禎低解析度影像的資訊。
另一種做法則是以學習基礎生成高解析度影像,此做法乃是以低解析度影像中的區塊特徵搜尋高解析度影像資料庫,以高解析度影像資料庫中相合的影像區塊取代低解析度影像中的區塊,但此做法不只須耗費大量記憶體來儲存高解析度影像資料庫,在以區塊特徵搜尋影像資料庫時亦須耗費大量計算資源。
因此,亟須一種低硬體成本與計算資源需求的影像處理裝置與方法來以提升影像銳利度與增加影像細節。
本揭示內容之一態樣為一種影像處理裝置,包含高頻平移元件、高頻擷取元件、細節增益產生元件以及影像輸出元件。高頻平移元件用以擷取並平移輸入影像中之第一高頻部分以產生一第一影像;高頻擷取元件用以擷取輸入影像中之第二高頻部分以產生第二影像;細節增益產生元件用以儲存轉換表,並根據輸入影像中輸入像素的像素值與轉換表,產生輸入像素分別對應的細節增益;影像輸出元件用以比例疊加第一影像與第二影像,並根據細節增益與比例疊加結果產生一輸出影像的高頻成分。
於一實施例中,影像輸出元件將輸出影像的高頻成分混合至輸入影像,以產生輸出影像。
於一實施例中,細節增益產生元件用以自輸入像素中取出與一第一輸入像素間隔一個像素以上的多個鄰 近像素,並根據第一輸入像素與鄰近像素的像素值總和查詢轉換表,以產生細節增益中對應至第一輸入像素者,且第一輸入像素為輸入像素中之一。
於一實施例中,細節增益產生元件用以自第一輸入像素之上下左右四個方向,分別取出與第一輸入像素間隔一個像素之像素,做為鄰近像素。
於一實施例中,細節增益產生元件所儲存之轉換表對應至之一週期性連續函數。
於一實施例中,細節增益在0~N倍之間。
於一實施例中,影像高頻平移元件包含至少二過衝高通濾波器,用以對輸入影像進行濾波處理並產生多個高頻平移影像,高頻平移影像中分別包含第一高頻成分,自高頻平移影像中選取像素值之絕對值最高者做為第一影像。
於一實施例中,過衝高通濾波器分別對應至不同的多個遮罩(mask),遮罩於中心和外圍之係數為正數,且其餘係數為負數。
於一實施例中,高頻擷取元件包含至少二高通濾波器,分別對應至不同的遮罩,並且用以對輸入影像進行濾波處理產生多個高頻影像,高頻影像中分別包含第二高頻成分,自高頻影像中選取像素值之絕對值最高者做為第二影像。
本揭示內容之另一態樣為一種影像處理方法,包含下述步驟:擷取並平移輸入影像中之多個第一高頻部分以產生第一影像;擷取輸入影像中之多個第二高頻部分以產 生第二影像;根據輸入影像中多個輸入像素的像素值與一轉換表,產生輸入像素分別對應的細節增益;比例疊加第一影像與第二影像,並根據細節增益與比例疊加結果產生一輸出影像的高頻成分。
於一實施例中,將輸出影像的高頻成分混合至輸入影像,以產生輸出影像。
於一實施例中,產生細節增益之步驟包含:自輸入像素中,取出與第一輸入像素間隔一個像素以上的多個鄰近像素,並根據第一輸入像素與鄰近像素的像素值總和查詢轉換表,以產生細節增益中對應至第一輸入像素者,且第一輸入像素為輸入像素之一。
於一實施例中,產生細節增益之步驟包含:自第一輸入像素之上下左右四個方向,分別取出與第一輸入像素間隔一個像素之像素,做為鄰近像素。
於一實施例中,轉換表對應至之週期性連續函數。
於一實施例中,細節增益在0~N倍之間。
於一實施例中,產生第一影像之步驟包含:以至少二過衝高通濾波器對輸入影像進行濾波處理,並產生多個分別包含第一高頻成分的高頻平移影像,自高頻平移影像中選取像素值之絕對值最高者做為第一影像。
於一實施例中,過衝高通濾波器分別對應至不同的遮罩,遮罩於中心和外圍之係數為正數,其餘係數為負數。
於一實施例中,產生第二影像之步驟包含:以至少二高通濾波器對輸入影像進行濾波處理,高通濾波器分別對應至不同的遮罩,濾波處理後產生多個分別包含第二高頻成分的高頻影像,自高頻影像中選取像素值之絕對值最高者做為第二影像。
本揭示內容之影像處理裝置與方法以低硬體成本和低計算資源要求,以單張低解析度影像產生高解析度影像,提升影像之銳利度與細節。
100‧‧‧影像處理裝置
110‧‧‧高頻平移元件
112A‧‧‧過衝高通濾波器
112B‧‧‧過衝高通濾波器
120‧‧‧高頻擷取元件
122A‧‧‧高通濾波器
122B‧‧‧高通濾波器
130‧‧‧細節增益產生元件
140‧‧‧影像輸出元件
150‧‧‧輸入影像
151‧‧‧輸出影像
210‧‧‧第一輸入像素
220‧‧‧像素
220A~220D‧‧‧鄰近像素
310~350‧‧‧遮罩
360A~360B‧‧‧過衝高通濾波器遮罩
370A~370F‧‧‧高通濾波器遮罩
600‧‧‧影像處理方法
S610~S640‧‧‧步驟
第1圖係依照本揭示內容實施例繪示一種影像處理裝置的方塊示意圖;第2A圖係依照本揭示內容一實施例繪示之鄰近像素示意圖;第2B圖係依照本揭示內容實施例繪示之轉換表對應函數圖;第3A~3E圖係為數位影像濾波器對應之遮罩示意圖;第4圖係依照本揭示內容實施例繪示的高頻平移元件示意圖;第5A圖係依照本揭示內容實施例繪示的高頻擷取元件示意圖;第5B~5E圖係依照本揭示內容實施例繪示之高通濾波器對應之遮罩示意圖;以及 第6圖依照本揭示內容實施例繪示之一種影像處理方法的流程圖。
為了使本揭示內容之敘述更加詳盡與完備,可參照所附之圖式及以下所述各種實施例,圖式中相同之號碼代表相同或相似之元件。另一方面,眾所週知的元件與步驟並未描述於實施例中,以避免對本揭示內容造成不必要的限制。此外,圖式僅以說明為目的,並未依照原尺寸作圖。
人眼觀察數位影像時,對比度(contrast)是影響感知影像品質(perceptual image quality)的重要因素,由於人類視覺系統(human visual system,HVS)的特性,高對比度之影像能使人眼觀察到更多影像中的細節,另外,由於心理物理效應(psychophysical effect),高對比度(特別是高對比影像中的高頻部分)往往也讓觀察者認為影像有較高的銳利度,進而提高感知影像品質。根據實驗結果,影像中加入適量的高頻隨機雜訊可提升人眼所觀察到的感知影像品質,然而,完全隨機或過量的雜訊反而會造成感知影像品質下降。
因此,本揭示內容揭示一種影像處理裝置100,用以處理輸入影像150以產生輸出影像151,其硬體元件如第1圖所示。第1圖係依照本揭示內容實施例繪示一種影像處理裝置100的方塊示意圖,其中,平行四邊形方塊代表輸入或輸出資料,長方形方塊代表硬體元件。輸入影像 150為低解析度影像經一般影像插補(interpolation)技術增加像素後所得之高解析度影像,但一般影像插補技術僅可產生平滑的輸入影像150,並無法增加輸入影像150之細節,因此,輸入影像150仍有細節不足造成的影像模糊問題。本揭示內容之影像處理裝置100用以處理輸入影像150,以增加影像細節,並提升輸出影像151之影像品質。以下將分別介紹各元件之操作細節。
應注意到,當輸入影像150為彩色影像時,像素值可以紅綠藍(RGB)三原色之強度值表示,或是以色調、飽和度和亮度(HSV)之強度值表示,另外尚有其他像素值表示方式,並不限於上述所舉示例。當輸入影像150為灰階影像時,像素值則以灰階強度表示。為便於說明,以下將以像素值為灰階強度值為例說明,本領域具通常知識者在閱讀本揭示內容後,可將所揭示內容應用至使用不同像素值表示方式的彩色影像,即本揭示內容不以灰階影像為限。
影像處理裝置100包含高頻平移元件110、高頻擷取元件120、細節增益產生元件130以及影像輸出元件140。高頻平移元件110用以擷取並平移輸入影像150中之第一高頻部分以產生第一影像。高頻擷取元件120用以擷取輸入影像150中之第二高頻部分以產生第二影像;細節增益產生元件130用以儲存轉換表,轉換表紀錄一輸入值與一輸出值的對應關係,細節增益產生元件130根據輸入影像150中輸入像素的像素值與轉換表產生輸入像素分別對應的細節增益;影像輸出元件140用以比例疊加第一影像與第二影 像,並根據細節增益與比例疊加結果產生輸出影像151的高頻成分。
細節增益產生元件130根據輸入影像150中像素之像素值,並透過轉換表加入隨機成分以產生細節增益,而影像輸出元件140則計算輸入影像150中經平移的第一高頻部分與未經平移的第二高頻部分之比例疊加結果(或稱加權疊加結果),以產生輸出影像151的高頻成分。在一些實施例中,影像輸出元件140直接將所產生輸出影像151的高頻成分將混和至輸入影像150中,進而產生對比度較輸入影像150高且影像細節更加豐富的輸出影像151。具體而言,混合高頻平移元件110所產生之第一影像將增加輸出影像151中包含的影像細節,而根據包含隨機成分的細節增益來混合第一影像與第二影像使得輸出影像151之最高頻率大於輸入影像150,以下將對細節增益產生元件130做進一步之說明。
第2A圖係依照本揭示內容一實施例繪示之鄰近像素示意圖,於本實施例中,第一輸入像素210為輸入影像150的輸入像素其中一者,細節增益產生元件130用以自輸入像素中取出與第一輸入像素210間隔一個像素以上的多個鄰近像素(如像素220),與像素220用相同方式標示之像素即為符合條件之像素,而細節增益產生元件130自其中選取多個作為鄰近像素,並且以第一輸入像素210與鄰近像素的像素值總和做為輸入值查詢轉換表,以所對應輸出值作為對應至第一輸入像素210之細節增益。
細節增益產生元件130於取出第一輸入像素210之鄰近像素時,選擇與第一輸入像素210相隔一個像素以上之輸入像素,即與像素220標示相同之像素,如此一來,第一輸入像素210與其相鄰之輸入像素所取得之鄰近像素不會重複,相鄰的輸入像素對應之像素值總和有較大差異,因此查詢轉換表所產生的細節增益也更有機會不同,使得相鄰的輸入像素將會對應至差別較大的細節增益,進一步放大輸出影像151中相鄰像素之像素值的差別,達到提高影像對比度之目的。另外,由於細節增益用於混合輸入影像150中之第一高頻部分與第二高頻部分,因此輸出影像151仍與輸入影像150相關,輸出影像151所加入之細節,亦即經細節增益加權過後的第一影像與第二影像,也將與輸入影像150一致,進而產生自然的輸出影像151。
於一實施例中,細節增益產生元件130用以自第一輸入像素210之上下左右四個方向,分別取出與第一輸入像素210間隔一個像素之像素做為鄰近像素220A~220D。於其他實施例中,細節增益產生元件130自上下左右以及對角方向,分別取出與第一輸入像素210間隔一個像素之像素做為8個鄰近像素,並以此8個鄰近像素與第一輸入像素210之像素值和產生細節增益。本領域具通常知識者可根據應用選取鄰近像素,並不限於所舉示例。
於另一實施例中,細節增益產生元件130所儲存之轉換表對應至如第2B圖所示之週期性連續函數,週期性連續函數之週期性使輸入影像150中亮部(高像素值)和 暗部(低像素值)之輸入像素均有機會對應至高細節增益或低細節增益,讓產生的細節增益中包含隨機性。另外,當影像處理裝置100用以處理影像串流或連續性的影音檔案時,兩張時間連續的輸入影像150中拍攝到同一場景或物體之影像區域的像素值不會完全相同,會因雜訊影響有細微的差異,而週期性連續函數之連續性使連續兩張輸入影像150中受雜訊干擾的部分,對應至相近的細節增益,使連續兩張輸出影像151中拍攝到相同場景或物體之區域有穩定且不跳動的影像品質。於第2B圖中,週期性連續函數為重複的三角形函數,於其他實施例中,週期性連續函數可為重複的半圓形函數,本領域具通常知識者可思及其他週期性連續函數,並不限於所舉示例。
於另一實施例中,轉換表中輸入值所對應的細節增益之值範圍在0~N倍之間。於一些實施例中,細節增益之範圍可為0~N之間的任意小數。於其他實施例中,轉換表中輸入值所對應之細節增益之值的範圍為0~127之間的任意整數,以方便對像素值進行數位運算。本領域具通常知識者在閱讀本揭示內容後,可依需要設計N之大小與細節增益之數值型態,不限於上述所舉示例。
在說明高頻平移元件110與高頻擷取元件120的細節前,先參照第3A~3E圖以簡介數位影像濾波器。第3A~3E圖係為數位影像濾波器對應之遮罩示意圖,數位影像濾波器用以對數位影像進行空間頻率(Spatial frequency)的濾波處理,根據不同的應用場景,可調整數 位影像濾波器所對應遮罩的方向、寬度和係數。第3A~3D圖所示為寬度為5個像素的5-tap濾波器,且第3A~3B圖繪示對應至對角方向5-tap濾波器的遮罩310~320,第3C圖繪示對應至垂直方向5-tap濾波器的遮罩330,第3D圖繪示對應至水平方向5-tap濾波器的遮罩340,於一些應用中,如第3E圖所示,數位影像濾波器對應至二維的遮罩350。另外,數位影像濾波器之遮罩係數根據不同的用途而設計,遮罩310~350之中心係數為正,而其他係數為負,表示遮罩310~350對應至一高通濾波器,若遮罩310~350之係數皆為正且係數總合為1,遮罩310~350對應至一低通濾波器。於不同的應用中,遮罩之寬度可根據應用需求設計,並不限於上述所舉示例。
數位影像經高通濾波器處理後,可得數位影像中所包含之高頻部分,即數位影像中像素值改變較大或頻繁改變的部分,如影像之邊緣或者影像中具有紋理的區域(textured area)。影像處理裝置100中之高頻平移元件110和高頻擷取元件120,便是針對輸入影像150中包含的高頻部分進行處理。
於一實施例中,高頻平移元件110中包含互相並聯耦接的二過衝高通濾波器112A~112B,用以對輸入影像150進行濾波處理並產生多個高頻平移影像,高頻平移影像中分別包含第一高頻成分,而高頻平移元件110自高頻平移影像中選取像素值之絕對值最高者做為第一影像。在某些實施例中,過衝高通濾波器亦可稱為過衝濾波器 (overshoot filter)。
舉例而言,如第4圖所示,高頻平移元件110所包含之過衝高通濾波器112A/112B分別對應至不同的過衝高通濾波器遮罩360A以及過衝高通濾波器遮罩360B,過衝高通濾波器遮罩360A~360B於中心和外圍之係數為正數,且其餘係數為負數,與一般高通濾波器所對應之遮罩不同,因此,過衝高通濾波器112A~112B處理輸入影像150所擷取之第一高頻部分會受過衝效應(overshooting)影響產生平移,也就是說,過衝高通濾波器112A~112B處理輸入影像150所產生之高頻平移影像中,像素值高的區域對應至輸入影像150經平移過的邊緣以及具細膩紋理之區域,高頻平移元件110自高頻平移影像中取出第一影像後,影像輸出元件140將第一影像混合入輸出影像151中,使輸出影像151包含豐富的影像細節。在本實施例中,過衝高通濾波器遮罩360A中外圍之係數左右邊各一者為正數,而在其他實施例中,為正數之外圍係數並不僅限於左右邊各一者,可為至少兩者以上。
於本實施例中,過衝高通濾波器遮罩360A~360B分別為水平方向與垂直方向,過衝高通濾波器112A~112B分別用以擷取且平移輸入影像150中水平和垂直方向的第一高頻部分,作為高頻平移影像,高頻平移元件110則自水平和垂直方向的高頻平移影像中,取得像素值之絕對值最高者(即對應至變化最大之像素)作為第一影像,使第一影像中包含輸入影像150對應至不同方向的第一高 頻部分。
於其他實施例中,高頻平移元件110包含三個以上的過衝高通濾波器,分別對應至不同方向、不同寬度以及不同係數的遮罩,遮罩於中心和外圍之係數為正數,且其餘係數為負數,本領域具通常知識者可依應用需求,調整過衝高通濾波器之數量以及所對應之遮罩,並不限於本揭示內容所舉示例。
於一實施例中,如第5A圖所示,高頻擷取元件120包含互相並聯耦接的至少二高通濾波器122A~122B,分別對應至多個不同的遮罩370A~370B,高通濾波器122A~122B用以對輸入影像150進行濾波處理產生多個高頻影像,高頻影像中分別包含第二高頻成分,高頻擷取元件120自高頻影像中選取像素值之絕對值最高者做為第二影像。
於其他實施例中,高頻擷取元件120包含4個高通濾波器,分別對應至第5B~5E圖所示之高通濾波器遮罩370C~370F,每一遮罩於遮罩中心之係數為正數,其餘係數為0或負數。以上所述高頻擷取元件120所包含高通濾波器之數目,以及每一高通濾波器所對應之遮罩方向、寬度與係數僅為示例,本領域具通常知識者可視應用需求自行設計,上述示例並非用以限定本揭示內容。
於一實施例中,影像輸出元件140包含加權加法器與乘法器,加權加法器用以比例疊加第一影像和第二影像,所述比例疊加結果亦可稱為第一影像與第二影像的加權 和(weighted sum),影像輸出元件140中乘法器用以將第一影像和第二影像之比例疊加結果乘上細節增益,並以乘法器所得結果作為輸出影像151的高頻成分。在某些實施例中,加法器可由加法器所替代,表示第一影像和第二影像疊加之比例為1:1,加法器用以疊加第一影像和第二影像以得到一疊加結果,以疊加結果乘上細節增益作為輸出影像151的高頻成分。於一些實施例中,影像輸出元件140更以另一加法器將輸出影像151的高頻成分與輸入影像150相加,以產生輸出影像151。本領域據通常知識者可使用其他類型硬體元件實作影像輸出元件140,上述示例並非用以限定本揭示內容。
影像處理裝置100具備低硬體成本和低計算資源要求,並根據單張低解析度之輸入影像150產生高解析度輸出影像151,藉以提升輸入影像150之影像銳利度並產生豐富的影像細節,且影像處理裝置100對於輸入影像150紋理較密之區域特別具有效果。
第6圖依照本揭示內容實施例繪示之一種影像處理方法的流程圖。應瞭解到,雖然流程圖中對於影像處理方法600係以特定順序的步驟來做描述,然此並不限制本發明所提及步驟的前後順序,另外在實作中可增加或減少所述步驟。另外,為了方便及清楚說明,以第1圖所示的影像處理裝置100執行影像處理方法600為例來進行闡述,但本揭示內容並不以此為限。
於影像處理方法600之操作流程中,影像處理 裝置100擷取並平移輸入影像中之第一高頻部分以產生一第一影像(步驟S610)。第一影像中包含輸入影像中經平移的第一高頻部分,用以增加輸出影像之細節。於一實施例中,影像處理裝置100以至少二過衝高通濾波器對輸入影像進行濾波處理,並產生多個高頻平移影像,高頻平移影像中像素值之絕對值最高者分別對應至輸入影像150中的第一高頻成分,亦即,輸入影像150中邊緣以及像素值改變頻繁之區域,影像處理裝置100並自高頻平移影像中選取像素值最之絕對值最高者做為第一影像。過衝高通濾波器分別對應至不同的遮罩,遮罩於中心和外圍之係數為正數,其餘係數為負數。過衝高通濾波器及其對應之遮罩的細節如前所述,於此不再贅述。
影像處理裝置100擷取輸入影像中之第二高頻部分以產生一第二影像(步驟S620),第二影像中包含輸入影像中的第二高頻部分,用以加強輸出影像之銳利度。於一實施例中,影像處理裝置100以至少二高通濾波器對輸入影像進行濾波處理,高通濾波器分別對應至不同的遮罩,濾波處理後產生多個分別包含第二高頻成分的高頻影像,自高頻影像中選取像素值之絕對值最高者做為第二影像。高通濾波器及其對應之遮罩的細節如前所述,於此不再贅述。
影像處理裝置100根據輸入影像中輸入像素的像素值與一轉換表產生輸入像素分別對應的細節增益(步驟S630),轉換表包含輸入值與輸出值的對應關係,影像處理裝置100根據輸入像素之像素值決定輸入值,並查詢轉換表 以所對應之輸出值作為細節增益。
於一實施例中,輸入影像的輸入像素中有一第一輸入像素,影像處理裝置100自輸入像素中取出與第一輸入像素間隔一個像素以上的多個鄰近像素,以第一輸入像素與鄰近像素的像素值總和查詢轉換表,以產生對應至第一輸入像素的細節增益。於另一實施例中,影像處理裝置100自第一輸入像素之上下左右四個方向,分別取出與第一輸入像素間隔一個像素之像素做為鄰近像素。取出鄰近像素之細節如前所述,於此不再贅述。
轉換表用以將鄰近像素之像素值和對應至一細節增益倍率,於一實施例中,轉換表對應至之一週期性連續函數。於再一實施例中,轉換表儲存之細節增益在0~N倍之間。轉換表之設計細節如前所述,於此不再贅述。
影像處理裝置100比例疊加第一影像與第二影像,並根據細節增益與比例疊加結果產生輸出影像的高頻部分(步驟S640),在某些實施例的步驟S640中,影像處理裝置100用以比例疊加第一影像和第二影像以得到另一疊加結果,並根據細節增益將另一疊加結果混合至輸入影像,以產生一輸出影像,其中,所述另一疊加結果亦可稱為第一影像與第二影像的加權和(weighted sum)。在某些實施例中,影像處理裝置100以1:1之比例疊加第一影像和第二影像,第一影像和第二影像疊加的比例可根據不同應用自行訂定,本揭示內容不以此為限。
由於輸出影像包含輸入影像、輸入影像第一高 頻部分經平移後產生的第一影像以及擷取輸入影像第二高頻部分產生的第二影像,故輸出影像較輸入影像包含更多細節,影像對比度亦有所提升。另外,產生細節增益使輸出影像中包含新的高頻成分,而新的高頻成分之空間頻率較輸入影像所包含之最高頻率還要更高,提升輸出影像之最高頻率亦使輸出影像有更佳的感知影像品質。
綜上所述,本揭示內容所提供之影像處理裝置100以及影像處理方法600不需高昂的硬體成本與計算資源消耗,並使用單張輸入影像,得出包含豐富影像細節之輸出影像,提高輸出影像之視覺解析度與感知影像品質。當輸入影像為多張時間上連續的影像資料時,亦可使連續的輸出影像穩定不跳動,提升觀眾的視覺享受。
雖然本揭示內容已以實施方式揭露如上,然其並非用以限定本揭示內容,任何熟習此技藝者,在不脫離本揭示內容之精神和範圍內,當可做各種之更動與潤飾,因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧影像處理裝置
110‧‧‧高頻平移元件
112A‧‧‧過衝高通濾波器
112B‧‧‧過衝高通濾波器
120‧‧‧高頻擷取元件
122A‧‧‧高通濾波器
122B‧‧‧高通濾波器
130‧‧‧細節增益產生元件
140‧‧‧影像輸出元件
150‧‧‧輸入影像
151‧‧‧輸出影像

Claims (18)

  1. 一種影像處理裝置,包含:一高頻平移元件,用以擷取並平移一輸入影像中之複數個第一高頻部分以產生一第一影像;一高頻擷取元件,用以擷取該輸入影像中之複數個第二高頻部分以產生一第二影像;一細節增益產生元件,用以儲存一轉換表,並根據該輸入影像中複數個輸入像素的像素值與該轉換表產生該些輸入像素分別對應的複數個細節增益;以及一影像輸出元件,用以比例疊加該第一影像與該第二影像,並根據該些細節增益與比例疊加結果產生一輸出影像的高頻成份。
  2. 如請求項1所述之影像處理裝置,其中該影像輸出元件將該輸出影像之高頻成分混合至該輸入影像,以產生該輸出影像。
  3. 如請求項1所述之影像處理裝置,其中該細節增益產生元件用以自該些輸入像素中取出與一第一輸入像素間隔一個像素以上的複數個鄰近像素,並根據該第一輸入像素與該些鄰近像素的像素值總和查詢該轉換表,以產生該些細節增益中對應至該第一輸入像素者,其中該第一輸入像素為該些輸入像素中之一者。
  4. 如請求項3所述之影像處理裝置,其中該細節增益產生元件用以自該第一輸入像素之上下左右四個方向,分別取出與該第一輸入像素間隔一個像素之像素,做為該些鄰近像素。
  5. 如請求項1所述之影像處理裝置,其中該細節增益產生元件所儲存之該轉換表對應至一週期性連續函數。
  6. 如請求項1所述之影像處理裝置,其中該些細節增益之值範圍在0~N倍之間。
  7. 如請求項1所述之影像處理裝置,其中該高頻平移元件包含至少二過衝高通濾波器,用以對該輸入影像進行濾波處理並產生複數個高頻平移影像,自該些高頻平移影像中選取像素值之絕對值最高者做為該第一影像,該些高頻平移影像中分別包含該些第一高頻成分。
  8. 如請求項7所述之影像處理裝置,其中該些過衝高通濾波器分別對應至不同的複數個遮罩(mask),該些遮罩於中心和外圍之係數為正數,且其餘係數為負數。
  9. 如請求項1所述之影像處理裝置,其中該高頻擷取元件包含至少二高通濾波器,用以對該輸入影像進行濾波處理產生複數個高頻影像,自該些高頻影像中選取像素值之絕對值最高者做為該第二影像,該些高頻影像中分別包含該些第二高頻成分。
  10. 一種影像處理方法,包含:擷取並平移一輸入影像中之複數個第一高頻部分以產生一第一影像;擷取該輸入影像中之複數個第二高頻部分以產生一第二影像;根據該輸入影像中複數個輸入像素的像素值與一轉換 表,產生該些輸入像素分別對應的複數個細節增益;以及比例疊加該第一影像與該第二影像,並根據該些細節增益與比例疊加結果產生一輸出影像的高頻成份。
  11. 如請求項10所述之影像處理方法,更包含:將該輸出影像之高頻成分混合至該輸入影像,以產生該輸出影像。
  12. 如請求項10所述之影像處理方法,其中產生該些細節增益之步驟包含:自該些輸入像素中,取出與一第一輸入像素間隔一個像素以上的複數個鄰近像素,並根據該第一輸入像素與該些鄰近像素的像素值總和查詢該轉換表,以產生該些細節增益中對應至該第一輸入像素者,其中該第一輸入像素為該些輸入像素之一者。
  13. 如請求項12所述之影像處理方法,其中產生該些細節增益之步驟包含:自該第一輸入像素之上下左右四個方向,分別取出與該第一輸入像素間隔一個像素之像素,做為該些鄰近像素。
  14. 如請求項10所述之影像處理方法,其中該轉換表對應至一週期性連續函數。
  15. 如請求項10所述之影像處理方法,其中該些細節增益之值範圍在0~N倍之間。
  16. 如請求項10所述之影像處理方法,其中產生該第一影像之步驟包含:以至少二過衝高通濾波器對該輸入影像進行濾波處 理,並產生複數個高頻平移影像,自該些高頻平移影像中選取像素值之絕對值最高者做為該第一影像,其中該些高頻平移影像中分別包含該些第一高頻成分。
  17. 如請求項16所述之影像處理方法,其中該些過衝高通濾波器分別對應至不同的複數個遮罩,該些遮罩於中心和外圍之係數為正數,其餘係數為負數。
  18. 如請求項10所述之影像處理方法,其中產生該第二影像之步驟包含:以至少二高通濾波器對該輸入影像進行濾波處理,產生複數個高頻影像,自該些高頻影像中選取像素值之絕對值最高者做為該第二影像,其中該些高頻影像中分別包含該些第二高頻成分。
TW104118515A 2015-03-25 2015-06-08 Image processing apparatus and method TWI561068B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510133092.5A CN106161875B (zh) 2015-03-25 2015-03-25 图像处理装置与方法

Publications (2)

Publication Number Publication Date
TW201635796A true TW201635796A (zh) 2016-10-01
TWI561068B TWI561068B (en) 2016-12-01

Family

ID=56975693

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118515A TWI561068B (en) 2015-03-25 2015-06-08 Image processing apparatus and method

Country Status (3)

Country Link
US (1) US9619864B2 (zh)
CN (1) CN106161875B (zh)
TW (1) TWI561068B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020065143A (ja) * 2018-10-16 2020-04-23 セイコーエプソン株式会社 画像処理装置、画像処理装置の制御方法、及び表示装置
JP7437921B2 (ja) * 2019-11-22 2024-02-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20230351568A1 (en) * 2020-06-10 2023-11-02 Konica Minolta, Inc. Reflection-component-reduced image generating device, reflection component reduction inference model generating device, reflection-component-reduced image generating method, and program
TWI786497B (zh) * 2020-12-22 2022-12-11 宏正自動科技股份有限公司 影像輸出裝置、影像接收裝置及影像傳輸方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
JP4356134B2 (ja) * 1999-04-16 2009-11-04 ソニー株式会社 画像処理装置及び画像処理方法
US6611627B1 (en) * 2000-04-24 2003-08-26 Eastman Kodak Company Digital image processing method for edge shaping
US6735330B1 (en) * 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
US6714688B1 (en) * 2000-11-10 2004-03-30 Eastman Kodak Company Method and apparatus for enhancing the edge contrast of an interpolated digital image
JP2002344746A (ja) * 2001-05-22 2002-11-29 Sanyo Electric Co Ltd 輪郭補正回路および輪郭補正方法
US7130483B2 (en) * 2001-12-12 2006-10-31 Samsung Electronics Co., Ltd. Method for enhancing a digital image while suppressing undershoots and overshoots
CN101288099B (zh) * 2005-10-12 2012-11-21 松下电器产业株式会社 视觉处理装置及方法
CN2838175Y (zh) * 2005-10-19 2006-11-15 上海广电(集团)有限公司中央研究院 一种去除视频孤立噪声点的装置
JP4778859B2 (ja) * 2006-08-10 2011-09-21 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN100417191C (zh) * 2006-09-01 2008-09-03 上海大学 一种图像组合降噪方法
TW201001334A (en) * 2008-06-20 2010-01-01 Altek Corp Adjustment method of color tone for digital image and electronic apparatus thereof
US8284314B2 (en) * 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
JP2013219462A (ja) * 2012-04-05 2013-10-24 Sharp Corp 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
US9123140B1 (en) * 2013-09-25 2015-09-01 Pixelworks, Inc. Recovering details in single frame super resolution images

Also Published As

Publication number Publication date
US20160284056A1 (en) 2016-09-29
CN106161875A (zh) 2016-11-23
TWI561068B (en) 2016-12-01
CN106161875B (zh) 2019-02-15
US9619864B2 (en) 2017-04-11

Similar Documents

Publication Publication Date Title
Virtanen et al. CID2013: A database for evaluating no-reference image quality assessment algorithms
DE102013017122B4 (de) Verfahren zum Herstellen automatischer Cinemagramme auf einer Bildgebungsvorrichtung
Zheng et al. Segmented spherical projection-based blind omnidirectional image quality assessment
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
US11328399B2 (en) Method and apparatus, and storage medium for processing style image
CN104299185A (zh) 一种图像放大方法、图像放大装置及显示设备
JP2017187994A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
TW201635796A (zh) 影像處理裝置與方法
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
CN106126255A (zh) 图片板块的标题的背景色的调整方法及装置
Burger et al. Histograms and image statistics
WO2013161111A1 (ja) 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム
CN108307162A (zh) 高效灵活的色彩处理器
CN109636739B (zh) 图像饱和度增强的细节处理方法及装置
US8873884B2 (en) Method and system for resizing an image
JP2001014454A (ja) 画像処理装置
CN112954355A (zh) 图像帧的处理方法及装置
Bonanomi et al. I3D: a new dataset for testing denoising and demosaicing algorithms
WO2018166084A1 (zh) 一种高尔夫球场图的图像处理方法、装置及设备
CN116258644A (zh) 图像增强方法、装置、计算机设备、存储介质
CN108305235A (zh) 多张图片融合的方法及装置
Rattanapitak et al. Comparative efficiency of color models for multi-focus color image fusion
CN113706665B (zh) 一种图像处理方法和装置
Tajima et al. Chromatic interpolation based on anisotropy-scale-mixture statistics
Wu et al. Reconstructing the Colors of Underwater Images Based on the Color Mapping Strategy