[go: up one dir, main page]

TW201817232A - 影像處理方法及相關裝置 - Google Patents

影像處理方法及相關裝置 Download PDF

Info

Publication number
TW201817232A
TW201817232A TW106127174A TW106127174A TW201817232A TW 201817232 A TW201817232 A TW 201817232A TW 106127174 A TW106127174 A TW 106127174A TW 106127174 A TW106127174 A TW 106127174A TW 201817232 A TW201817232 A TW 201817232A
Authority
TW
Taiwan
Prior art keywords
image
image data
image processing
data
sub
Prior art date
Application number
TW106127174A
Other languages
English (en)
Inventor
卓聖田
鄭青佩
楊學炎
Original Assignee
聯詠科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯詠科技股份有限公司 filed Critical 聯詠科技股份有限公司
Publication of TW201817232A publication Critical patent/TW201817232A/zh

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種影像處理方法,包含有對一第一影像資料執行子像素渲染處理(Subpixel Rendering,SPR),以產生一第二影像資料;以及對該第二影像資料進行編碼,以產生一第三影像資料,該第三影像資料的資料量小於該第二影像資料的資料量。

Description

影像處理方法及相關裝置
本發明係指一種影像處理方法及影像處理裝置,尤指一種可執行子像素渲染處理(Subpixel Rendering,SPR)之影像處理方法及影像處理裝置。
近年來,隨著影像顯示技術的持續提升,對高解析度顯示裝置的需求亦大幅增加。在影像解析度提高的情況下,高解析度顯示裝置之顯示驅動積體電路往往需要消耗額外的電力並花費更多時間來處理高解析度影像資料,以驅動數量不斷增加的像素。子像素渲染處理(Subpixel Rendering,SPR)技術即是通過特定的子像素配置方式在一顯示面板上顯示高解析度影像資料。根據子像素渲染處理,具有全彩(full-color)像素(每一像素皆包含紅色、綠色、藍色(分別簡稱為R、G、B)之子像素)的輸入影像資料被轉換為具有特定子像素配置之像素的輸出影像資料,例如每一像素僅包含RGB子像素當中二者,另一顏色成分則由相鄰像素提供(或借入)。在一範例中,當每一條顯示線上的子像素為RG及BG交替配置時,具有RG子像素之像素可向具有BG子像素之相鄰像素借用藍色子像素,以顯示影像資料。在另一範例中,當每一條顯示線上的子像素為RG、BR及GB交替配置時,具有BR子像素之像素可向具有RG子像素或GB子像素之相鄰像素借用綠色子像素,以顯示影像資料。
第1圖為習知位於一顯示驅動積體電路之一影像處理單元10之示意圖。影像處理單元10可從一影像輸入單元100接收一影像資料D1a。影像輸入單元100可以是一應用處理器(application processor),但不限於此。影像資料D1a係一畫面資料(frame data),例如1080×1920像素之8位元RGB資料,其中,1080×1920為畫面解析度(或稱為影像解析度)。影像處理單元10包含有一壓縮編碼器102、一畫面緩存器(frame buffer)104、一壓縮解碼器106、一影像增強(image enhancement)單元108及一子像素渲染處理單元110。為減少顯示驅動積體電路所採用的畫面緩存器104的尺寸,壓縮編碼器102可用來縮小影像資料D1a的資料量(或稱資料尺寸),以進行後續處理或傳輸。舉例來說,壓縮編碼器102可對具有N×M像素之影像資料D1a(其資料量為K位元)進行編碼,以產生一影像資料D2a。假設壓縮編碼器102之資料壓縮率(壓縮前資料量/壓縮後資料量)為3:1,則影像資料D2a之資料量為影像資料D1a之資料量的1/3,即1/3×K位元。當影像輸入單元100所傳送之影像資料D1a被編碼為影像資料D2a之後,壓縮編碼器102可將影像資料D2a傳送至畫面緩存器104。舉例來說,若影像資料D1a為8位元之RGB資料且其畫面解析度為1080×1920像素時,此K位元之影像資料D1a共包含1080×1920×3×8=49,766,400位元。
畫面緩存器104的容量至少應足以容納壓縮編碼器102所產生之影像資料D2a。畫面緩存器104可儲存來自於壓縮編碼器102之影像資料D2a。壓縮解碼器106可存取畫面緩存器104以接收影像資料D2a,並對影像資料D2a進行解碼以產生影像資料D3a,影像資料D3a的資料量相同於影像資料D1a。壓縮解碼器106可傳送影像資料D3a至影像增強單元108。影像資料D3a可進一步由影像增強單元108進行處理,以對影像資料D3a進行運算並改良(如銳利度的改良),進而在不影響資料量的情況下產生影像資料D4。最後,子像素渲染處理單元110可對影像資料D4a執行子像素渲染處理,亦即,將來自於影像增強單元108之K位元影像資料D4a轉換為欲在一顯示面板112上以特定子像素配置進行顯示之2/3×K位元的影像資料D5a。影像資料D5之資料量相關於顯示面板112上的子像素配置方式。
由於顯示驅動積體電路中大部分電路成本來自於畫面緩存器,因此,畫面緩存器的容量為重要的設計問題。在影像處理單元10中,壓縮編碼器102可採用適合的壓縮率(壓縮前的資料量/壓縮後的資料量)來降低所需的畫面緩存器104容量。當影像解析度及輸入影像資料量(來自影像輸入單元100)同步增加時,採用較大壓縮率來降低畫面緩存器的需求量並非良好的解決方案,這是因為具有較高壓縮率的壓縮編碼器102往往存在更高的複雜度。
因此,本發明之主要目的即在於提供一種可執行子像素渲染處理(Subpixel Rendering,SPR)之影像處理方法及影像處理裝置。
本發明揭露一種影像處理方法,該影像處理方法包含有對一第一影像資料執行子像素渲染處理,以產生一第二影像資料;以及對該第二影像資料進行編碼,以產生一第三影像資料,該第三影像資料的資料量小於該第二影像資料的資料量。
本發明另揭露一種影像處理裝置,用來對一顯示器上的影像顯示進行渲染處理,該影像處理裝置包含有一子像素渲染處理單元及一壓縮編碼器。該子像素渲染處理單元可用來對一第一影像資料執行子像素渲染處理,以產生一第二影像資料。該壓縮編碼器可用來對該第二影像資料進行編碼,以產生一第三影像資料,該第三影像資料的資料量小於該第二影像資料的資料量。
以下段落將提出一種新穎的影像處理單元結構以及數個實施例。
請參考第2圖,第2圖為本發明實施例一影像處理單元20之示意圖。影像處理單元20設置於一影像處理裝置,影像處理單元20可從影像輸入單元100接收一影像資料D1b。影像處理單元20亦包含有一壓縮編碼器202、一畫面緩存器204、一壓縮解碼器206、一影像增強單元208及一子像素渲染處理單元210。設置有影像處理單元20之影像處理裝置可以是用於行動裝置或手持式裝置(如行動電話、平板電腦、相機等)之一顯示驅動積體電路,或用於電視機或顯示器之一時序控制器(timing controller)。若影像處理單元20設置於用於行動裝置之一顯示驅動積體電路時,影像輸入單元100可以是一應用處理器(application processor);或者,若影像處理單元20設置於用於電視機之一時序控制器時,影像輸入單元100可以是一電視控制器;或者,若影像處理單元20設置於用於顯示器(搭配桌上型電腦)之一時序控制器時,影像輸入單元100可以是一圖形控制器。第2圖繪示一方塊圖,其中每一方塊代表相關於特定功能之電路或組件。此外,第2圖亦可解讀為一流程圖,其中每一方塊代表流程之一步驟。
不同於第1圖之影像處理單元10,第2圖之影像輸入單元100傳送原始影像資料D1b至影像增強單元208,而不是傳送影像資料D1b至壓縮編碼器202。影像資料D1b之畫面解析度可為N×M像素,且資料量(或稱資料尺寸)可為K位元。影像增強單元208可在不影響資料量的情況下,對影像資料D1b執行影像增強,以產生一影像資料D2b。影像增強可相關於影像銳利度(或對比度)、飽和度、亮度、或任何關於影像資料D1b之特性。換句話說,影像增強單元208可將影像資料D1b轉換為影像資料D2b。接著,子像素渲染處理單元210可對影像增強單元208所傳送之影像資料D2b執行子像素渲染處理,以產生一影像資料D3b。在第2圖之實施例中,影像資料D3b之資料量為2/3×K位元。影像資料D3b的資料量係根據顯示面板112上的子像素配置方式而定。需注意的是,影像資料D3b具有影像資料D2b之2/3尺寸僅為基於每一像素包含二個子像素(例如RG、BG)的子像素配置之下的一種實施例,對於其它子像素配置方式(如平均每一像素包含1.5或2.5個子像素)而言,子像素渲染處理單元210可採用不同演算法來產生不同資料量的影像資料D3b。接著,壓縮編碼器202即可對影像資料D3b進行編碼,以減少影像資料的資料量。通過上述編碼流程並採用資料壓縮率為3:1之壓縮編碼器202,影像資料D3b可被編碼為資料量2/9×K位元之一影像資料D4b。壓縮編碼器202之資料壓縮率亦可不同於3:1,且不限定於任何特定比例。當影像資料D4b產生之後,壓縮編碼器202即可傳送影像資料D4b至畫面緩存器204。
畫面緩存器204的容量至少應足以容納壓縮編碼器202所輸出之影像資料D4b。畫面緩存器204可儲存來自於壓縮編碼器202之影像資料D4b。壓縮解碼器206可存取畫面緩存器204以取得影像資料D4b,接著對影像資料D4b進行解碼以產生一影像資料D5b,影像資料D5b之資料量為2/3×K位元,相同於子像素渲染處理單元210所產生之影像資料D3b的資料量。壓縮解碼器206可提供影像資料D5b,用來產生資料電壓以驅動顯示面板112上的像素。需注意的是,影像資料D5b為數位資料,一驅動電路(未繪示)可將影像資料D5b轉換為類比資料電壓用以驅動像素,其相關運作方式應為本領域具通常知識者所熟知,在此不贅述。
相較於第1圖之習知影像處理單元10而言,當壓縮編碼器202之壓縮率相同於壓縮編碼器102之壓縮率時(例如第1圖及第2圖所示之3倍壓縮,即壓縮率3:1),影像處理單元20所包含之畫面緩存器204的容量至少需容納2/9×K位元,小於畫面緩存器104的容量(其至少需容納1/3×K位元)。通過在編碼流程(亦即,通過壓縮編碼器202)之前執行子像素渲染處理(通過子像素渲染處理單元210),可實現畫面緩存器的容量的縮減。因此,使用影像處理單元20的影像處理裝置之實際面積及成本皆可獲得降低。
在影像處理單元10中,由於輸入至影像增強單元108之影像資料D3a並非來自於影像輸入單元100之原始影像,而是由壓縮解碼器106解碼之影像資料,因此影像增強單元108所產生之影像資料D4a可能存在衰減。相較之下,在影像處理單元20中,影像增強單元208對影像資料D1b執行影像增強,此時影像資料D1b尚未進行編碼及解碼處理。因此,相較於影像增強單元108所產生之影像資料D4a而言,影像增強單元208所產生之影像資料D2b具有較佳的品質。
關於子像素渲染處理之運作方式詳述如下。子像素渲染處理單元210可實行子像素渲染處理技術,其可根據顯示面板112上的實際子像素配置來提供像素資料,以提升視覺顯示的解析度。舉例來說,第3圖為以RGB條狀(RGB stripe type)配置的一全彩(full-color,或稱true-color)顯示面板上像素之示意圖。每一像素(如像素p_11)包含有三個子像素(如紅色子像素r_11、綠色子像素g_11、藍色子像素b_11)。然而,第1圖或第2圖中顯示面板112的子像素可依不同的子像素幾何型態來進行配置,第4圖為本發明實施例用於顯示面板112之像素的一種子像素配置範例之示意圖。顯示面板112包含有:包含一紅色子像素R_11及一綠色子像素G_11之一像素P_11、包含一藍色子像素B_12及一綠色子像素G_12之一像素P_12、包含一藍色子像素B_21及一綠色子像素G_21之一像素P_21、以及包含一紅色子像素R_22及一綠色子像素G_22之一像素P_22。每一子像素之灰階或亮度可根據來自影像處理單元20之影像資料D5b而定。第4圖之顯示面板112繪示了一種用於液晶顯示(Liquid Crystal Display,LCD)面板的布局實施例,其中,紅色及藍色子像素相較於綠色子像素而言具有較大開口率(aperture ratio),用來補償紅色或藍色子像素,其數量少於綠色子像素的數量。需注意的是,用來接收本發明實施例所產生的影像資料之顯示面板不限於液晶顯示面板或有機發光二極體(Organic Light Emitting Diode,OLED)顯示面板。
第5圖為一畫面50的影像資料之示意圖,該影像資料可視為子像素渲染處理單元210所接收的影像資料D2b。第6圖為一畫面60的影像資料之示意圖,該影像資料可視為子像素渲染處理單元210所產生的影像資料D3b,並依照第4圖之RGBG子像素配置方式在具有N×M像素之顯示面板上進行顯示。由此可知,畫面60中紅色及藍色子像素之解析度為畫面50中紅色及藍色子像素之解析度的一半。在第5圖及第6圖中,r(n,m)、g(n,m)、b(n,m)、R(n,m)、G(n,m)及B(n,m)代表每一子像素資料,且R(n,m)、G(n,m)、B(n,m)不同於r(n,m)、g(n,m)、b(n,m)。舉例來說,子像素渲染處理單元210可根據畫面50中的子像素資料r(n,m)及其相鄰子像素資料r(n,m-1)和r(n,m+1)來產生畫面60中的子像素資料R(n,m)。
由於傳送至影像處理單元20之壓縮編碼器202的影像資料為2/3×K位元之影像資料D3b而不是K位元之影像資料D1b,因此,較小的影像資料D3b可提高壓縮編碼器202的運作效能。
當壓縮編碼器202接收到影像資料D3b之後,壓縮編碼器202可執行一編碼流程,此編碼流程可依循業界常見的標準例如視訊電子標準協會(Video Electronics Standards Association,VESA)的顯示串流壓縮(Display Stream Compression,DSC)技術、高通(Qualcomm)的畫面緩存器壓縮(Frame Buffer Compression,FBC)技術、或任何其它可行的資料壓縮機制。在一實施例中,壓縮編碼器202可以是一顯示串流壓縮編碼器,但不限於此。
壓縮解碼器206可執行一解碼流程,解碼流程為壓縮編碼器202之編碼流程的反向操作。壓縮解碼器206可依循業界常見的標準例如視訊電子標準協會的顯示串流壓縮技術、高通的畫面緩存器壓縮技術、或任何其它可行的資料解壓縮機制。
在第1圖之習知影像處理單元10中,若畫面的刷新率(refresh rate)為60赫茲時(即每秒60個畫面),無論壓縮編碼器102每秒輸入多少畫面至畫面緩存器104,壓縮解碼器106都必須每1/60秒從畫面緩存器104讀取一影像資料D2a。然而,影像輸入單元100輸入影像資料D1a至影像處理單元10的幀率(frame rate)可能小於60赫茲的刷新率,例如30赫茲。在此情況下,為符合60赫茲的刷新率,壓縮解碼器106須從畫面緩存器104重複讀取相同畫面(即影像資料D2a)二次以執行二次解碼流程,影像增強單元108須對相同畫面(即影像資料D3a)執行影像增強二次,且子像素渲染處理單元110須對相同畫面(即影像資料D4a)執行子像素渲染處理二次,上述運作浪費大量的電力。
對第2圖之影像處理單元20(或可視為第2圖之流程)來說,在相似的條件下(刷新率為60Hz但幀率為30Hz),影像增強單元208、子像素渲染處理單元210及壓縮編碼器202皆依據30赫茲的幀率而不是60赫茲的刷新率來進行運作,因而不需要對相同畫面執行相同操作二次。惟壓縮解碼器206須從畫面緩存器204讀取相同畫面(即影像資料D4b)二次以執行二次解碼流程,進而符合60赫茲之刷新率。相較於影像處理單元10的耗電量,當影像處理單元20從影像輸入單元100接收的影像資料之幀率低於刷新率時,影像處理單元20之耗電量可大幅降低。
此外,在影像處理單元10中,由於影像資料D3a是由編碼及解碼流程(分別通過壓縮編碼器102及壓縮解碼器106)所產生,影像增強單元108執行影像增強之影像資料D3a可能存在衰減。若影像資料D3a是經過大幅度的壓縮(及解壓縮)而產生,影像資料D3a可能十分模糊且遺漏許多細節。在此情況下,影像增強單元108所產生的影像資料D4a將無法達到良好的畫面品質。相較之下,在影像處理單元20中,影像增強單元208執行影像增強之影像資料D1b尚未經過編碼流程及解碼流程,也就是說,影像增強並非在壓縮解碼器206所重新建立的影像資料上執行。因此,相較於影像增強單元108所產生的影像資料D4a而言,影像增強單元208所產生的影像資料D2b可保留更多細節。如此一來,相較於影像處理單元10所輸出的影像資料D5a,影像處理單元20所輸出的影像資料D5b可實現較高的品質。
值得注意的是,影像處理單元20僅為本發明的一種範例實施例,本領域具通常知識者可據以進行修飾或變化,而不限於此。舉例來說,第1圖中壓縮編碼器102之壓縮率以及第2圖中壓縮編碼器202之壓縮率皆設定為3:1,因此,壓縮編碼器102可將K位元之影像資料D1a轉換為1/3×K位元,壓縮編碼器202可將2/3×K位元之影像資料D3b轉換為2/9×K位元。然而,本發明的實施方式不限於此。
舉例來說,請參考第7圖,第7圖為本發明實施例一影像處理單元30之示意圖。影像處理單元30之結構類似於第2圖中影像處理單元20之結構,故下文中相同元件皆以相同編號及符號表示。不同於影像處理單元20之壓縮編碼器202,在影像處理單元30中,一壓縮編碼器302之壓縮率為2:1,表示壓縮編碼器302可將2/3×K位元之影像資料D3b編碼為1/3×K位元之影像資料D4c。在此情況下,影像處理單元30所包含的畫面緩存器304的容量至少需足以容納1/3×K位元。影像處理單元30可設置於一影像處理裝置,而設置有影像處理單元30之影像處理裝置可以是用於行動裝置或手持式裝置(如行動電話、平板電腦、相機等)之一顯示驅動積體電路,或用於電視機或顯示器之一時序控制器。
在一範例實施例中,採用本發明實施例之影像處理單元的影像處理裝置可同時支援多個影像處理路徑,其可包含第1圖所示之習知流程(其資料壓縮率為3:1)以及第7圖所示之流程(其資料壓縮率為2:1),此外,具有至少1/3×K位元容量之畫面緩存器可進行共用,用來儲存壓縮編碼器102所產生之影像資料或儲存壓縮編碼器302所產生之影像資料。在另一範例實施例中,一影像處理裝置可同時支援多個影像處理路徑,其可包含第1圖所示之習知流程以及第2圖所示之流程,此外,具有至少1/3×K位元容量之畫面緩存器可進行共用,用來儲存壓縮編碼器102所產生之影像資料或儲存壓縮編碼器202所產生之影像資料,畫面緩存器可儲存的資料量1/3×K位元足以用來儲存影像資料D4b(2/9×K位元)。
畫面緩存器204及304可選用一隨機存取記憶體(Random-Access Memory,RAM)、一靜態隨機存取記憶體(Static RAM,SRAM)、一動態隨機存取記憶體(Dynamic RAM,DRAM)、一影像隨機存取記憶體(Video RAM,VRAM)、一快閃記憶體(Flash Memory)等。顯示面板112可以是一液晶顯示面板或有機發光二極體顯示面板。
請參考第8圖,第8圖為本發明實施例一影像處理單元40之示意圖,第8圖及下文將以相同於第2圖之編號來說明影像資料。第8圖除了繪示影像處理單元40之外,另繪示一影像處理單元42。影像處理單元40包含有一影像增強單元408、一子像素渲染處理單元410及一壓縮編碼器402。影像處理單元42包含有一畫面緩存器404及一壓縮解碼器406。影像處理單元42耦接於影像處理單元40,且壓縮編碼器402所產生之影像資料(D4b)被傳送至影像處理單元42並儲存於畫面緩存器404。雖然各單元(402至410)可實現於不同影像處理裝置,但各別單元皆之功能皆相似於第2圖中各單元,在此不贅述。
影像處理單元40及影像處理單元42可分別設置於不同影像處理裝置。在一實施例中,影像處理單元40可設置於一行動裝置之一應用處理器,而影像處理單元42可設置於該行動裝置之一顯示驅動積體電路(用於小型或中型顯示面板)。在另一實施例中,影像處理單元40可設置於一電視控制器或一圖形控制器,而影像處理單元42可設置於一時序控制器(用於大型顯示面板)。若使用影像處理單元42之影像處理裝置與使用影像處理單元40之影像處理裝置共同運作時,使用影像處理單元42之影像處理裝置可具有較少的影像處理工作量,這是因為影像增強、子像素渲染處理及壓縮編碼皆可由使用影像處理單元40之影像處理裝置進行處理。
上述關於影像處理單元之影像處理運作可歸納為一影像處理流程90,如第9圖所示。影像處理流程90可執行於影像處理單元20或30,或可執行於影像處理單元40及42的組合,其包含以下步驟:
步驟900: 開始。
步驟902: 影像增強單元對一原始影像資料(如影像資料D1b)執行影像增強,以產生一第一影像資料(如影像資料D2b)。
步驟904: 子像素渲染處理單元對第一影像資料(如影像資料D2b)執行子像素渲染處理,以產生一第二影像資料(如影像資料D3b)。
步驟906: 壓縮編碼器對第二影像資料(如影像資料D3b)進行編碼,以產生一第三影像資料(如影像資料D4b),第三影像資料的資料量小於第二影像資料的資料量。
步驟908: 將第三影像資料(如影像資料D4b)儲存於一畫面緩存器。
步驟910: 壓縮解碼器對第三影像資料(如影像資料D4b)進行解碼,以產生欲顯示之一第四影像資料(如影像資料D5b)。
步驟912: 結束。
關於影像處理流程90之詳細運作方式及變化可參考前述段落的說明,在此不贅述。
綜上所述,在本發明實施例之影像處理單元中,影像增強及子像素渲染處理可在壓縮編碼/解碼及緩存器儲存運作之前執行。因此,子像素渲染處理單元可有效減少儲存於畫面緩存器之影像資料量。如此一來,藉由在編碼流程之前執行子像素渲染處理的方式,可降低所需的畫面緩存器容量,同時,對於使用本發明實施例之影像處理單元或影像處理方法之裝置而言,亦可降低裝置的實際尺寸及成本。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
10、20、30、40、42‧‧‧影像處理單元
100‧‧‧影像輸入單元
102、202、302、402‧‧‧壓縮編碼器
104、204、304、404‧‧‧畫面緩存器
106、206、306、406‧‧‧壓縮解碼器
108、208、408‧‧‧影像增強單元
110、210、410‧‧‧子像素渲染處理單元
112‧‧‧顯示面板
D1a、D2a、D3a、D4a、D5a、D1b、D2b、D3b、D4b、D5b、D4c、D5c‧‧‧影像資料
p_11、p_12、p_21、p_22、P_11、P_12、P_21、P_22‧‧‧像素
r_11、g_11、b_11、r_12、g_12、b_12、r_21、g_21、b_21、r_22、g_22、b_22、R_11、G_11、B_12、G_12、B_21、G_21、R_22、G_22、r(n,m)、g(n,m)、b(n,m)、R(n,m)、G(n,m)、B(n,m)‧‧‧子像素
50、60‧‧‧畫面
90‧‧‧影像處理流程
900~912‧‧‧步驟
第1圖為習知位於一顯示驅動積體電路之一影像處理單元之示意圖。 第2圖為本發明實施例一影像處理單元之示意圖。 第3圖為以RGB條狀配置的一全彩顯示面板上像素之示意圖。 第4圖為本發明實施例用於顯示面板之像素的一種子像素配置範例之示意圖。 第5圖為一畫面的影像資料之示意圖。 第6圖為一畫面的影像資料之示意圖。 第7圖為本發明實施例一影像處理單元之示意圖。 第8圖為本發明實施例一影像處理單元之示意圖。 第9圖為本發明實施例一影像處理流程之示意圖。

Claims (15)

  1. 一種影像處理方法,包含有: 對一第一影像資料執行子像素渲染處理(Subpixel Rendering,SPR),以產生一第二影像資料;以及 對該第二影像資料進行編碼,以產生一第三影像資料,該第三影像資料的資料量小於該第二影像資料的資料量。
  2. 如請求項1所述之影像處理方法,另包含有: 將該第三影像資料儲存於一畫面緩存器(frame buffer);以及 對該第三影像資料進行解碼,以產生欲顯示之一第四影像資料。
  3. 如請求項2所述之影像處理方法,其中對該第一影像資料執行子像素渲染處理、編碼該第二影像資料、儲存該第三影像資料、以及解碼該第三影像資料之步驟係運作在一影像處理裝置中。
  4. 如請求項3所述之影像處理方法,另包含有: 在該影像處理裝置中,對一原始影像資料執行影像增強(image enhancement),以產生該第一影像資料。
  5. 如請求項3所述之影像處理方法,其中該影像處理裝置係一顯示驅動積體電路或一時序控制器(timing controller)。
  6. 如請求項2所述之影像處理方法,其中對該第一影像資料執行子像素渲染處理以及編碼該第二影像資料之步驟係運作在一第一影像處理裝置中,而儲存該第三影像資料以及解碼該第三影像資料之步驟係運作在一第二影像處理裝置中。
  7. 如請求項6所述之影像處理方法,另包含有: 在該第一影像處理裝置中,對一原始影像資料執行影像增強,以產生該第一影像資料。
  8. 如請求項6所述之影像處理方法,其中該第一影像處理裝置係一處理器,且該第二影像處理裝置係一顯示驅動積體電路或一時序控制器。
  9. 如請求項1所述之影像處理方法,其中對該第一影像資料執行子像素渲染處理以及編碼該第二影像資料之步驟係運作在一處理器中。
  10. 一種影像處理裝置,用來對欲顯示於一顯示器上的影像進行渲染處理,該影像處理裝置包含有: 一子像素渲染處理(Subpixel Rendering,SPR)單元,用來對一第一影像資料執行子像素渲染處理,以產生一第二影像資料;以及 一壓縮編碼器,用來對該第二影像資料進行編碼,以產生一第三影像資料,該第三影像資料的資料量小於該第二影像資料的資料量。
  11. 如請求項10所述之影像處理裝置,另包含有: 一畫面緩存器(frame buffer),用來儲存該第三影像資料;以及 一壓縮解碼器,用來對該第三影像資料進行解碼,以產生欲顯示之一第四影像資料。
  12. 如請求項10所述之影像處理裝置,另包含有: 一影像增強單元,用來對一原始影像資料執行影像增強,以產生該第一影像資料。
  13. 如請求項11所述之影像處理裝置,其中該影像處理裝置係一顯示驅動積體電路或一時序控制器(timing controller)。
  14. 如請求項10所述之影像處理裝置,其中該影像處理裝置係一處理器。
  15. 如請求項14所述之影像處理裝置,另包含有: 一影像增強單元,用來對一原始影像資料執行影像增強,以產生該第一影像資料。
TW106127174A 2016-08-11 2017-08-10 影像處理方法及相關裝置 TW201817232A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662373979P 2016-08-11 2016-08-11
US62/373,979 2016-08-11
US15/673,432 2017-08-10
US15/673,432 US20180048914A1 (en) 2016-08-11 2017-08-10 Image processing method and related apparatus

Publications (1)

Publication Number Publication Date
TW201817232A true TW201817232A (zh) 2018-05-01

Family

ID=61159575

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106127174A TW201817232A (zh) 2016-08-11 2017-08-10 影像處理方法及相關裝置

Country Status (3)

Country Link
US (1) US20180048914A1 (zh)
CN (1) CN107734337A (zh)
TW (1) TW201817232A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713922B (zh) * 2017-01-13 2020-03-06 京东方科技集团股份有限公司 图像处理方法和电子设备
KR102618692B1 (ko) 2018-06-15 2024-01-02 삼성전자주식회사 노이즈 또는 디서의 영향을 감소시키기 위한 디스플레이 구동 회로 및 방법
WO2020191516A1 (zh) * 2019-03-22 2020-10-01 华为技术有限公司 一种图像数据处理的装置和方法
CN112416231B (zh) * 2020-10-20 2022-05-24 华为技术有限公司 滚动条的显示方法、装置、电子设备和可读存储介质
CN115396674B (zh) * 2022-10-31 2023-03-31 摩尔线程智能科技(北京)有限责任公司 用于处理至少一个图像帧的方法、装置、介质及计算装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6582980B2 (en) * 2001-01-30 2003-06-24 Eastman Kodak Company System for integrating digital control with common substrate display devices
US7184066B2 (en) * 2001-05-09 2007-02-27 Clairvoyante, Inc Methods and systems for sub-pixel rendering with adaptive filtering
US7352374B2 (en) * 2003-04-07 2008-04-01 Clairvoyante, Inc Image data set with embedded pre-subpixel rendered image
CN101171619B (zh) * 2005-04-04 2012-12-05 三星电子株式会社 显示器系统中的预子像素着色图像处理
JP5573316B2 (ja) * 2009-05-13 2014-08-20 セイコーエプソン株式会社 画像処理方法および画像処理装置
KR20120052739A (ko) * 2010-11-16 2012-05-24 삼성전자주식회사 디스플레이 구동 장치 및 그것의 영상 데이터 압축 및 복원 방법
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR102253039B1 (ko) * 2013-11-04 2021-05-20 삼성디스플레이 주식회사 영상 데이터 인코딩 장치 및 방법
KR20160007970A (ko) * 2014-07-10 2016-01-21 삼성디스플레이 주식회사 표시 장치 및 그것의 구동 방법

Also Published As

Publication number Publication date
US20180048914A1 (en) 2018-02-15
CN107734337A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
US10553145B2 (en) Pixel structure, display panel and driving method thereof
TW201817232A (zh) 影像處理方法及相關裝置
JP5923343B2 (ja) 表示装置、表示装置の駆動方法、及び、電子機器
KR102103730B1 (ko) 디스플레이 구동장치 및 이를 포함하는 디스플레이 장치
JP2007041595A (ja) 映像信号処理装置、それを搭載する液晶表示装置、及びその駆動方法
JP2013057853A (ja) 表示装置、表示装置の駆動方法、及び、電子機器
JP7420497B2 (ja) Rgbg形式の画像データ表示方法、rgbg形式画像データの色変換方法、表示装置およびプログラム
US7868898B2 (en) Methods and apparatus for efficiently accessing reduced color-resolution image data
US11158287B2 (en) Methods and systems for compressing and decompressing display demura compensation data
TWI647683B (zh) 電子裝置、顯示驅動器以及顯示面板的顯示資料產生方法
TWI550557B (zh) 視訊資料壓縮格式
JP2006047993A (ja) データ変換装置
KR102239895B1 (ko) 입력 영상의 업 스케일링을 위한 데이터 변환부와 데이터 변환 방법
US10726815B2 (en) Image processing apparatus, display panel and display apparatus
US7609277B2 (en) Method and apparatus for spatial and temporal dithering
US20080303758A1 (en) Display Device
CN116601695A (zh) 用于针对demura校正的自适应二次采样的方法和装置
JP2009511995A (ja) カラー画素データを記憶してディスプレイを駆動する方法及びその実行手段、及びこの方法を用いた表示装置
CN117496918A (zh) 一种显示控制方法、显示控制装置和系统
US10504414B2 (en) Image processing apparatus and method for generating display data of display panel
US9984611B2 (en) Display apparatus and operating method thereof