TWI689206B

TWI689206B - 影像處理裝置以及自動白平衡方法

Info

Publication number: TWI689206B
Application number: TW105126679A
Authority: TW
Inventors: 曺周鉉
Original assignee: 南韓商三星電子股份有限公司
Priority date: 2015-09-10
Filing date: 2016-08-22
Publication date: 2020-03-21
Also published as: KR102346522B1; CN106534821A; US9979944B2; CN106534821B; KR20170030933A; US20170078636A1; TW201717612A

Abstract

一種用於影像資料的自動白平衡方法包括計算影像資料的區塊方差，並選擇具有高於區塊方差值的區塊方差的區塊。該方法更包括：選擇包含於在顏色空間中所定義的灰度區中的補片，對灰度區的補片應用對應區塊方差作為權重，調整顏色空間中的第一平均值，並自由參照經調整的第一平均值而選擇的補片中選擇屬於亮度域中的第一分佈的第一補片候選項。該方法更包括：選擇在灰度區中對應於錨點的縮小的灰度區，並自包含於縮小的灰度區中的補片中選擇在顏色空間及亮度域中具有第二分佈的第二補片候選項，並藉由將自第一補片候選項及第二補片候選項分別提取的第一RGB增益及第二RGB增益加以組合來計算影像資料的最終增益。

Description

影像處理裝置以及自動白平衡方法

[相關申請案的交叉參考]

本申請案主張於2015年9月10日提出申請的韓國專利申請案第10-2015-0128483號的優先權，所述韓國專利申請案的主題併入本案供參考。

本發明概念是有關於影像處理裝置，且更具體而言是有關於在影像處理裝置中自動調整白平衡的方法。

白平衡是一種過程，所述過程確定自輸入影像選擇的畫素或畫素集合(下文稱為「補片(patch)」)的顏色為白色，並在之後根據所確定畫素或補片的顏色差異分量(即，R或B)的一或多個增益來全部或部分地調整所述影像的一或多種顏色。使用所偵測補片(或畫素)的紅色、綠色、藍色(RGB)比率來確定由於應用所述影像資料的亮度條件來調整可隨色溫而變化的白平衡而引起的被成像物體的具有顏色方差的白色補片。藉由根據色溫調整影像的紅色(R)的增益及藍色(B)的增益來執行用於使總色感(total color sense)發生偏移並對顏色平衡進行調諧的顏色校正。

一般而言，當使用例如數位相機等各種成像裝置對同一物體進行成像(例如，在靜態影像中)時，影像的色表(color appearance)會根據不同亮度條件(例如，白光照明、螢光(fluorescent)照明、太陽光等)而變化。人眼具有色彩恆定性(color constancy)，因此在不同亮度條件下均可辨認白色。然而，影像裝置可基於包含於不同亮度條件中的RGB分量來辨認物體的顏色。舉例而言，當特定亮度條件中的色溫高時，影像裝置可再現影像的包含藍色顏色分量的「白色」。另一方面，當另一亮度條件中的色溫低時，影像裝置可再現影像的包含紅色顏色分量的「白色」。

因此，當色溫因亮度條件而變化時，需要調整白平衡以正確地呈現白色。舉例而言，調整包含藍色的白色以增加紅色(即，R)的增益並減少藍色(即，B)的增益。準確地偵測作為白平衡的基準的白色分量來準確地調整所述白平衡。然而，可使用具有複雜性及高成本的自動白平衡(auto white balance，AWB)來準確地偵測白色分量。因此，需要實作高速度且低功耗的自動白平衡方法以使含納裝置(incorporating device)適用於行動應用。

本發明概念的實施例提供一種能夠減少為偵測影像資料的白色分量而花費的成本並提供高準確度的影像處理裝置及其自動白平衡方法。

根據本發明概念的實施例，自影像裝置的影像感測器提供的影像資料的一種自動白平衡方法可包括：計算包含於影像資料中的多個區塊的偏差；以及選擇所計算偏差高於臨限值的區塊；自包含於所選擇區塊中的一個區塊中的補片中選擇包含於在顏色空間中所定義的灰度區中的補片；對所述灰度區的所述補片應用方差作為權重；調整所述顏色空間中的第一平均值；並自由參照經調整的第一平均值而選擇的補片中選擇屬於亮度域中的第一分佈的第一補片候選項；選擇在所述灰度區中對應於一個錨點的縮小的灰度區並自包含於所述縮小的灰度區中的補片中選擇在顏色空間及亮度域中具有第二分佈的第二補片候選項；以及藉由將自所述第一補片候選項及所述第二補片候選項分別提取的第一RGB增益及第二RGB增益加以組合來計算所述影像資料的最終增益。

根據本發明概念的實施例，一種影像處理裝置可包括：影像感測器，用以感測影像並輸出所感測的所述影像作為影像資料；以及影像訊號處理器，用以將所述影像資料劃分成多個區塊，選擇其中顏色空間中每一區塊的方差高於臨限值的區塊，自包含於所選擇的所述區塊中的一個區塊中的補片中選擇包含於在所述顏色空間中所定義的灰度區中的補片，藉由對包含於所述顏色空間中的所述灰度區中的補片執行平均值偏移並在亮度域中進行置信度範圍選擇來計算第一RGB增益，並藉由對包含於所述顏色空間中縮小的灰度區中的補片執行平均值偏移並在所述亮度域中進行置信度範圍選擇來計算第二RGB增益。所述影像訊號處理器可將所述第一RGB增益與所述第二RGB增益加以組合並可提供最終增益作為所述影像資料的自動白平衡的顏色分量的增益。

根據本發明概念的實施例，影像處理裝置的一種影像資料的自動白平衡方法可包括：將影像資料劃分成多個影像單元並在顏色空間中計算每一所劃分影像單元的方差；自所述影像單元中選擇各自的方差超過臨限值的影像單元並自所選擇的所述影像單元中選擇包含於灰度區中的影像單元；自所述所選擇影像單元中選擇在所述顏色空間中或在亮度域中具有第一置信度的第一候選單元；自所述第一候選單元中選擇包含於較所述灰度區小的縮小的灰度區中的影像單元；以及自所選擇的所述影像單元中選擇在所述顏色空間中或在所述亮度域中具有第二置信度的第二候選單元。選擇所述第一候選單元及所述選擇所述第二候選單元可包括應用所述方差作為權重來執行平均值偏移運算。

100:影像處理裝置

110:鏡頭

120、1040:影像感測器

130:影像訊號處理器

135:混合自動白平衡模組

200:影像

220:區塊

310、320、330、340:灰度區

350:第一最終候選項

360:白色補片候選項

S110、S120、S130、S132、S134、S136、S138、S140、S141、S143、S145、S147、S149、S150:步驟

1000:電子系統

1010:應用處理器

1011:顯示串列介面主機

1012:相機串列介面主機

1013、1061:實體層

1020:全球定位系統

1030:全球互通微波存取

1033:無線區域網路

1035:超寬頻帶

1041:相機串列介面裝置

1050:顯示器

1051:顯示串列介面裝置

1060:射頻晶片

1070:儲存器

1080:麥克風

1085:動態隨機存取記憶體

1090:揚聲器

DES:光學解串器

Di:半徑

SER:光學串列器

根據參照以下圖式所作的以下說明，上述及其他目的以及特徵將變得顯而易見，其中除非另外指明，否則在通篇各圖式中相同的參考編號指代相同的部件，且其中：圖1是說明根據本發明概念的實施例的影像處理裝置的方塊圖。

圖2是說明根據本發明概念的實施例的混合自動白平衡方法的流程圖。

圖3是用於闡述關於圖2中所述影像的區塊及補片的定義的方塊圖。

圖4是用於闡述根據本發明概念的實施例的選擇灰度區的方法的曲線圖。

圖5是用於更詳細闡述圖5所示步驟S130的流程圖。

圖6是說明圖5所述平均值偏移運算的補片的分佈圖。

圖7是說明關於圖5所述的補片在亮度Y域中進行的統計處理的分佈圖。

圖8是說明在顏色空間中由平均值偏移運算所選擇的補片在灰度區中的分佈以及在亮度Y域中的統計方法的曲線圖。

圖9是用於闡述圖2所示步驟S140的流程圖。

圖10是說明根據本發明概念的實施例的縮小的灰度區的曲線圖。

圖11是說明根據本發明概念的實施例的進行混合自動白平衡的電子系統的方塊圖。

現在將在下文中參照其中示出本發明實施例的附圖更全面地闡述本發明概念。然而，本發明概念可以諸多不同的形式實施而不應被視為僅限於所說明的實施例。確切而言，提供該些實施例是為了使本發明內容透徹及完整，並將向熟習此項技術者全面地傳達本發明的範圍。在書面說明及圖式通篇中，相同的參考編號及標記指代相同或相似的元件。

應理解，當稱一元件「連接至」或「耦合至」另一元件時，該元件可直接連接至或耦合至所述另一元件抑或可存在中間元件。相比之下，當稱一元件「直接連接」或「直接耦合」至另一元件時，則不存在中間元件。本文中所用之用語「及/或」包括相關列出項其中一或多個項的任意及所有組合且可縮寫為「/」。

應理解，儘管本文中可能使用用語「第一」、「第二」等來闡述各種元件，然而該些元件不應受限於該些用語。該些用語僅用於區分各個元件。舉例而言，第一訊號可被稱為第二訊號，且相似地，第二訊號可被稱為第一訊號，而此並不背離本發明的教示內容。

本文所用用語僅用於闡述特定實施例，而並非旨在限制本發明。除非上下文中清楚地另外指明，否則本文所用的單數形式「一(a、an)」及「所述(the)」旨在亦包含複數形式。更應理解，當在本說明書中使用用語「包含(comprises)」及/或「包含(comprising)」、或「包括(includes)」及/或「包括(including)」時，是用於指明所述特徵、區、整數、步驟、操作、元件、及/或組件的存在，但不排除一或多個其他特徵、區、整數、步驟、操作、元件、組件及/或其群組的存在或添加。

除非另外定義，否則本文所用的全部用語(包括技術及科學用語)的意義均與本發明所屬技術領域中具有通常知識者所通常理解的意義相同。更應理解，該些用語(例如在常用辭典中所定義的用語)應被解釋為具有與其在相關技術背景及/或本申請案中的意義一致的意義，且除非本文中明確地如此定義，否則不應將其解釋為具有理想化或過於正式的意義。

可藉由由影像訊號處理器(image signal processor，ISP)提供的功能性來全部或部分地實施以下各實施例。然而，熟習此項技術者應理解，可使用硬體及/或軟體組件以各種不同方式實作下文所述示例性特徵及方法。

圖1是說明根據本發明概念的實施例的影像處理裝置100的方塊圖。參照圖1，影像處理裝置100可包括鏡頭110、影像感測器120、以及影像訊號處理器(ISP)130。

鏡頭110可用於將物體的影像聚焦於影像感測器120上。影像感測器120可感測所接收影像並將所感測影像轉換成對應數位資料。影像感測器120可包括以由列及行形成的矩陣形式排列的多個影像感測器畫素。影像感測器120可包括電荷耦合裝置(charge coupled device，CCD)或互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)影像感測器(例如，接觸式影像感測器(Contact Image Sensor，CIS))。然而，被具體地實作的影像感測器120可使物體「成像」並提供對應影像資料(例如，Bayer影像資料)。存在以不同方式指示顏色及明亮度的不同形式的影像資料，例如使用紅色、綠色及藍色(RGB)資料及方法論者、使用YUV資料及方法論者等。

影像訊號處理器130可自影像感測器120接收影像資料，並處理所接收影像資料以提供經白平衡的影像資料。舉例而言，影像訊號處理器130可驅動本發明概念的某些實施例中的混合自動白平衡模組135，其中混合自動白平衡模組135用於對構成影像的多個區塊計算顏色空間的區塊方差。之後，可自被選擇用於執行白平衡的區塊中排除具有較參考方差值小的方差的區塊。

因此，影像訊號處理器130可自所選擇區塊中選擇某些補片(例如，包含於前面所指出的灰度區中的區塊部分)。可接著對灰度區補片執行統計式平均值偏移運算。亦即，可使用平均值偏移運算來進一步選擇所述補片中的某些補片(例如，包含於特定範圍的亮度Y域中的補片)，且可自所選擇補片計算第一RGB增益。

此外，影像訊號處理器130可在用於獲得第一RGB增益的補片中定義縮小的灰度區，可對包含於所述縮小的灰度區中的補片執行平均值偏移運算。在此過程期間，影像訊號處理器130可選擇包含於特定範圍的亮度域中的補片中的某些補片以計算自所述縮小的灰度區中選擇的補片的第二RGB增益。

影像訊號處理器130可應用區塊方差(例如，在計算第一RGB增益及第二RGB增益之前所計算的方差)來計算可用作加權因數(或權重)的最終RGB增益。此處，影像訊號處理器130可使用最終RGB增益-其可藉由對第一RGB增益及第二RGB增益應用所述區塊方差作為權重來產生-作為控制訊號來調整影像的顏色再現及/或明亮度。舉例而言，可使用包含於圖1所示影像訊號處理器130中的混合自動白平衡模組135來實作此種類型的自動白平衡運算。可在包括韌體的硬體及/或軟體中實作混合自動白平衡模組135。

當對影像應用根據本發明概念的實施例的混合自動白平衡模組135時，可針對不同的且各種各樣的亮度環境而高效地過濾顏色分量，藉此提高白平衡的計算的準確度。此外，用於提取RGB增益的運算可相對容易且簡單，從而達成快速的白平衡效能。

圖2是說明根據本發明概念的實施例的混合自動白平衡方法的流程圖。參照圖2，可藉由將顏色空間的灰度區確定與統計方法加以組合、並對所接收影像資料應用所述組合結果來確定最佳白平衡。

參照圖1及圖2，影像訊號處理器130自影像感測器120接收影像資料(步驟S110)。由影像感測器120感測並提供的所述影像資料可為RGB訊號或YUV訊號。然而，所述影像資料可包括某些雜訊分量。舉例而言，在所述影像資料中可包含由於物體具有對於影像的顏色空間而言相對大的顏色權重、或由於亮度環境之間的色溫差異而發生畸變的顏色資訊。因溫度差異或主色(dominant color)而引起的顏色畸變可根據用於拍攝影像的影像感測器的類型的作業狀態而變化。

在接收到影像資料後，可計算影像資料的區塊方差(步驟S120)。就此而言，可將影像劃分成多個區塊，其中所述區塊中的每一者進一步劃分成多個補片，且每一補片包括多個畫素。所述補片中的每一者均可由顏色空間資訊不同地表徵。舉例而言，每一補片可由RGB顏色空間資訊、YUV顏色空間資訊、及/或正規化r(b)顏色空間資訊表徵。此外，每一區塊可由與作為構成部分的補片相關聯的顏色空間資訊的平均值表徵。此處，區塊的顏色空間資訊可包含於對應區塊資訊中。

因此，多個區塊的顏色空間資訊可由與所述多個區塊(包括(例如)包含於影像資料中的全部數目的區塊(下文稱為「全部區塊」))相關聯的平均顏色空間資訊值表徵。因此，所具有的平均值相對接近所述全部區塊的平均顏色空間資訊值的特定區塊可被確定為具有影像的主色。因此，可自從中選擇一或多個候選白色補片的區塊群組中排除被確定為具有主色的區塊。舉例而言，可排除具有較參考方差值小的區塊方差(σ²)的區塊(下文中，被稱為「未被選擇的區塊」)，同時可選擇具有大於或等於所述參考方差值的區塊方差的區塊(下文中，被稱為「所選擇區塊」)。

除計算對應於所接收影像資料的影像的一或多個區塊方差外，亦可自包含於所述所選擇區塊中的補片中選擇包含於灰度區中的補片。此處，將在下文中闡述用於定義灰度區的某些方法、及可用於選擇包含於所述灰度區中的補片的方法。

在計算一或多個區塊方差及選擇灰度區補片之後，可使用某些以統計方式選擇的灰度區補片(即，使用統計處理方法自所述灰度區中的補片中選擇的灰度區補片)來計算第一RGB增益。此時，應注意，某些灰度區補片可具有某種類型的顏色分量。因此，可使用根據區塊方差進行的平均值偏移運算及附加選擇來選擇補片。因此，可藉由在附加亮度域中對所述所選擇補片應用統計方法來進一步選擇具有白色分量且置信度大於或等於特定置信度水準的補片。在本發明概念的某些實施例中，在進行亮度Y域中的統計選擇之後可使用所選擇的補片的正規化r(b)值來計算第一RGB增益。

上述補片的選擇(步驟S130)可被視作「補片的第一選擇」。此外，可進行「補片的第二選擇」。舉例而言，可對在步驟S130中已選擇的補片執行附加(或進一步)的選擇。

因此，可定義較所考量的初始灰度區小的灰度區(即，「縮小的灰度區」)。舉例而言，所述縮小的灰度區可具有與所選擇補片候選項的顏色平均值(color average)鄰近的錨點。亦即，在計算第一RGB增益的步驟(步驟S130)期間，可選擇所述所選擇白色補片候選項中包含於所述縮小的灰度區中的白色補片候選項中的某些補片，且可使用在顏色空間中被應用至所述所選擇補片候選項的統計處理及亮度Y域中的統計處理來選擇最終補片候選項。以此種方式，可使用最終補片候選項來計算第二RGB增益(步驟S140)。

接著，可藉由將第一RGB增益與第二RGB增益加以組合來計算最終RGB增益(步驟S150)。舉例而言，最終RGB增益可為自第一RGB增益及第二RGB增益計算的平均值。

在上述實施例中，一種混合自動白平衡方法包括藉由組合使用灰度區選擇、影像資料的統計學考量、以及所選擇補片的顏色空間增益中的至少一種計算來選擇候選白色補片。因此，可快速地選擇灰度區，且可藉由被應用至所選擇灰度區補片的統計運算來應用根據區塊方差進行的平均值偏移運算。上述是根據本發明概念的實施例的運算方法的一個實例，所述實施例提供了簡單且清楚的計算方法，藉此提供高速度的自動白平衡。

圖3是進一步說明參照圖1及圖2所述上述方法的某些步驟的概念化圖式。此處，影像200包括被劃分成多個區塊的多個畫素，其中畫素的每一區塊被進一步劃分成多個補片。

因此，影像200可包括與在螢幕上顯示的不同顏色及/或亮度有關的資訊。亦即，所述多個畫素中的每一畫素可包括指示顏色分量及/或亮度分量的資訊(例如與RGB方法或YUV方法相關聯的資訊)。

如前面所述，可將區塊用作影像200的構成單元。區塊的大小可被定義成高效率地處理及管理在螢幕上顯示的影像資料。舉例而言，在根據貼片(tile)映射方法來執行影像處理期間，每一區塊可對應於一個貼片。舉例而言，將闡述自圖3所示多個區塊中選擇的第(i，j)個區塊220作為實例。應注意，儘管圖3示出其中影像200被劃分成49個單個區塊(例如，7×7個區塊)的實例，然而本發明概念的範圍並非僅限於此。在圖3中，第(i，j)個區塊220被進一步劃分成多個補片(例如，x×y個補片)，其中每一補片包括至少一個畫素。

可計算區塊方差(σ²)-如藉由圖2所示方法中的步驟 S120所確定者-作為影像200的平均顏色空間資訊的可變性量度(measure of variability)。舉例而言，可對影像200中的每一區塊計算平均顏色空間資訊(例如，使用影像200的全部區塊(或補片)的RGB資料或YUV資料)。此處，區塊方差(σ²)可指示RGB值或YUV值不同於影像平均值的程度。具有相對高或大的區塊方差(σ²)的區塊可被視作顏色相對遠離總體影像的主色或特性的區塊。相比之下，具有相對低或小的區塊方差(σ²)的區塊可被視作具有與影像的主色對應的顏色的區塊。因此，包含於具有小的區塊方差(σ²)的區塊中的補片可被視作可能不具有白色分量(component)的補片，而具有大的區塊方差(σ²)的補片可被視作可能具有白色分量的補片。換言之，具有相對大的區塊方差(σ²)的區塊更有可能包括隨後將被確定為白色補片的補片。

可藉由一種將具有降到方差臨限值以下的區塊方差(σ²)的區塊排除在外的方法來減少被應用根據本發明概念的統計方法的平均值偏移運算的區塊或補片的數目。此外，根據參考圖2所述的方法(例如，步驟S150)，可藉由考量對應區塊方差(σ²)(例如，在其中應用處於兩個最終RGB增益之間的平均值作為權重的區塊方差)來選擇最終補片。

以上，本發明概念的實施例包括使用區塊方差(σ²)特性根據影像的平均值來確定對應區塊的顏色空間資訊的可變性。然而，本發明概念的範圍並非僅限於此。舉例而言，應理解，可使用標準差(standard deviation)(σ)、偏差係數(coefficient of variation)等等作為影像的對應區塊的顏色空間可變性的量度。

圖4是闡述可在本發明概念的某些實施例中使用的一種選擇灰度區的方法的曲線圖。參照圖4，在r(b)平面中說明與補片相關聯的顏色資訊的分佈，其中‘r’等於‘R/(R+B+G)’或‘R/G’，且‘b’是‘B/(R+B+G)’或‘B/G’且可為正規化顏色空間值。

參照圖1及圖4，影像處理裝置100可使用補片化資料(patching data)而不使用由所感測影像提供的全部資料，所述補片化資料基於關於所采樣資料的窗口的一部分(例如，區塊或補片)中的平均值。灰度區的平均值可為白色點，且因此可選擇灰度區以使用所述補片化資料來提取所述白色點。此外，當因特定亮度條件而出現色偏(color cast)時，灰色的RGB分量之間的比率可發生變化。因此，可藉由選擇對應於影像感測器的灰度區以及使用包含於所述灰度區中的補片來獲得所述白色點。如圖4中所說明，可在r(b)平面的顏色空間中定義所述灰度區。

可確定在各種亮度下所辨識的白色指標(pointer)以定義灰度區。灰度區310可由錨點(r1，b4)及半徑Di確定。此時，半徑Di可為根據影像感測器120在對應色溫下的色譜特性而確定的值。亦即，灰度區310可為在色溫相對高的發光體處被影像感測器120辨認為灰色的顏色分量的分佈。然而，當對各種亮度條件進行假設時，灰度區可相對變寬。

灰度區320可由錨點(r2，b3)及半徑Di確定。亦即，灰度區320可為在與灰度區310的色溫相比色溫相對低的給定亮度條件下被影像感測器120辨認為灰色的顏色分量的分佈。灰度區330可由錨點(r3，b2)及半徑Di確定。亦即，灰度區330可為在與灰度區320的色溫相比色溫相對低的亮度條件下被影像感測器120辨認為灰色的顏色分量的分佈。灰度區340可由錨點(r4，b1)及半徑Di確定。灰度區340可為在與灰度區330中的色溫相比色溫相對低的亮度條件下被影像感測器120辨認為灰色的顏色分量的分佈。

可由灰度區310、灰度區320、灰度區330、及/或灰度區340定義相對於各種亮度條件的影像感測器120的灰度區。在定義灰度區時，可偵測未被選擇的區塊的根據其區塊方差(σ²)的補片的顏色資訊是否包含於所述灰度區中。此外，可自所確定的一或多個白色補片候選項中排除置於灰度區外部的補片。

應注意，在圖4所說明的實施例中，假設灰度區310、灰度區320、灰度區330、及灰度區340中的每一者的半徑Di相同。然而，本發明概念的範圍可並不僅限於此。舉例而言，應理解，用於限制灰度區310、灰度區320、灰度區330、及灰度區340中的每一者的範圍的半徑被提供作為在對應色溫下的專門大小。

圖5是進一步說明前面參照圖2所述方法中的步驟S130的一個實例的流程圖。參照圖5，可藉由根據應用至在圖4中針對顏色空間所述的灰度空間中所包含的補片的統計方法執行平均值偏移運算、並對給定的亮度Y域進行統計選擇來提取白色點。

因此，可執行根據正規化顏色空間r(b)座標的區塊方差(σ²)進行的平均值偏移運算(步驟S132)。平均值(μ)可存在於與包含於灰度區中的補片相關聯的正規化顏色空間中。舉例而言，可存在與包含於灰度區中的補片相關聯的‘r’(即，R/(R+G+B))分量或‘b’(即，B/(R+G+B))分量中的每一者的平均值。然而，可自包含於灰度區中的補片中選擇受影像的主色或所述影像中的顏色的相對大小值影響的補片。因此，包含於灰度區中的補片事實上可為包含顏色的補片。此外，可存在包含於灰度區中的補片中被包含於不同區塊中的補片。某些補片可屬於具有相對大的區塊方差(σ²)的區塊，且某些補片可屬於具有相對小的區塊方差(σ²)的區塊。因此，可藉由對包含於灰度區中的補片中具有大的區塊方差(σ²)的補片應用較高的權重(即，較大的加權因數)及對包含於灰度區中的補片中具有小的區塊方差(σ²)的補片應用較低的權重(即，較小的加權因數)來再次獲得補片的平均值。藉由應用所述權重而計算的平均值可對應於經偏移的平均值(μ')。

現在，可重新選擇基於所述經偏移的平均值(μ')的補片候選項(步驟S134)。亦即，可選擇對應於以所述經偏移的平均值(μ')為中心的置信度(例如，95%)區間的補片。

可針對在步驟S134中所(重新)選擇的補片中的每一者對亮度Y域進行選擇(步驟S136)。一般而言，根據亮度Y的光譜應理解，亮度條件的變化將導致白色分量發生較黑色分量大的變化。因此，具有以亮度Y域中的平均值(μ)為中心的白色分量的補片可相對更多地被選擇。

接著，可參照根據亮度Y域而選擇的補片候選項來計算顏色空間的自動白平衡的增益(步驟S138)。亦即，可參照在步驟S138中所選擇的補片的平均RGB值來計算用於調整的顏色分量的增益，以使顏色分量的比率保持相等。在本發明概念的某些實施例中，所計算增益將為第一RGB增益。

圖6是進一步說明圖5中所述平均值偏移運算的分佈圖。參照圖6，可使用包含於灰度區中的補片中的每一者的區塊方差(σ²)作為權重。此外，可將未使用區塊方差(σ²)加以計算的平均值(μ)偏移至使用區塊方差(σ²)的經偏移的平均值(μ')。此將在下文中更詳細地闡述。

正規化r(b)顏色空間的正態分佈圖可具有圖6所示的高斯分佈(Gaussian distribution)。亦即，包含於灰度區中的補片的正規化‘r’(即，R/(R+G+B))點或‘b’(即，B/(R+G+B))點可形成為正態分佈的形式。此處，平均值μ或標準差σ可為‘r’分量或‘b’分量中的一者。

然而，可改變應用包含於灰度區中的補片的正規化顏色分量的區塊方差(σ²)作為權重的所述經偏移的平均值μ'。即使補片包含於灰度區中，事實上亦可存在受影像中作為主導顏色的顏色影響的補片。可藉由其中對補片應用小的權重的平均值偏移運算來進行附加補片選擇。可藉由對應置信度中的平均值偏移運算及補片選擇來另外地排除每一區塊中未被確定成不為灰色的補片。

圖7是進一步說明在亮度Y域中對圖5中所述補片進行統計處理的分佈圖。參照圖7，黑色與以平均值μ為中心的白色之間的距離可不同地應用至在亮度Y域中所選擇的補片且可選擇所述補片。

一般而言，根據關於發光體的變化的亮度Y的光譜應理解，白色分量的變化大於黑色分量的變化。因此，藉由選擇以亮度Y域中的平均值μ為中心的白色分量大的補片，可使選擇白色點的可能性高。可將被選擇成對白色側提供大的容差(allowance)的補片的以亮度Y域中的平均值μ為中心的範圍確定為‘a’及‘b’。此處，黑色側的點‘a’與平均值μ之間的距離(即，μ-a)可被設定為較白色側的點‘b’與平均值μ之間的距離(即，b-μ)短。

圖8是說明藉由顏色空間中的平均值偏移運算而選擇的補片在灰度區中的分佈及亮度Y域中的統計方法的曲線圖。參照圖8，藉由在顏色空間及亮度Y域中的每一者中進行平均值偏移運算及藉由對白色分量提供容差範圍的統計運算而選擇的補片可被顯示為第一最終候選項350。此時，灰度區310、灰度區320、灰度區330、以及灰度區340可分別對應於圖4中所述以錨點(rm，bm)為中心的具有半徑Di的環路(circuit)。

與灰度區310、灰度區320、灰度區330、以及灰度區340 的平均值點(圖中未示出)相比，在圖5所示步驟S136中所選擇的補片的平均值(rs，bs)可為被偏移了特定距離的點。此外，第一最終候選項350的邊界可與灰度區320及灰度區330中的每一者交疊。此處所選擇的第一最終候選項350是示例性的。然而，本發明概念的概念可不僅限於此。舉例而言，第一最終候選項350可以各種形式包含於灰度區310、灰度區320、灰度區330、以及灰度區340中。

影像訊號處理器130可基於藉由應用統計方法而確定的經偏移的平均值(rs，bs)來計算第一RGB增益。亦即，每一分量的增益可被確定成使得以對應於平均值(rs，bs)的RGB分量的比率為基準，影像的R、G、及B中的每一者的分量具有相同的大小。然而，影像訊號處理器130可不迅速地對對應影像資料應用所確定的第一RGB增益。可藉由將第一RGB增益與第二RGB增益加以組合來確定最終RGB增益，第二RGB增益是在下文將闡述的縮小的灰度區中進行的附加選擇操作之後產生。

圖9是進一步闡述如在圖2所示方法的步驟S140中所述的計算被補片化的灰度區的第二RGB增益的步驟的流程圖。參照圖9，可藉由對包含於參照圖8所述第一最終候選項350中的補片執行統計平均值偏移運算及在亮度Y域中進行選擇來提取白色點。

可選擇在正規化顏色空間中最接近第一最終候選項350的平均值(rs，bs)的錨點(rf，bf)(步驟S141)。亦即，分別對應於灰度區310、灰度區320、灰度區330、以及灰度區340的錨點中最接近平均值(rs，bs)的錨點。可藉由簡單地計算距離而容易地確定所述錨點。

可選擇對應於所選擇錨點(rf，bf)的單位灰度區(步驟S143)。此處，所選擇單位灰度區在功能上變成縮小的灰度區。舉例而言，可將縮小的灰度區確定為與最接近平均值(rs，bs)的錨點對應的灰度區330。在此種情形中，可排除第一最終候選項350中包含於灰度區320中的補片。

可選擇第一最終候選項350中範圍與縮小的灰度區330交疊的白色補片候選項360(步驟S145)。此外，可在白色補片候選項360的正規化顏色空間r(b)座標處執行平均值偏移運算。平均值(μ)可存在於包含於白色補片候選項360中的補片的正規化顏色空間中。然而，可存在包含於縮小的灰度區中的補片中事實上受物體的顏色影響的補片，所述物體的顏色具有影像的主色或大小值相對大。所述補片可包含於灰度區中，但事實上可為包含顏色的補片。白色補片候選項360中的某些補片可屬於區塊方差(σ²)相對大的區塊，且白色補片候選項360的某些補片可屬於區塊方差(σ²)相對小的區塊。因此，可藉由對包含於縮小的灰度區中的補片中區塊方差(σ²)大的補片應用大的權重以及對包含於縮小的灰度區中的補片中區塊方差(σ²)小的補片應用小的權重來再次獲得補片的平均值。藉由應用權重所計算的平均值可對應於經偏移的平均值(μ')。可重新選擇基於經偏移的平均值(μ')的補片候選項。亦即，可選擇對應於以經偏移的平均值(μ')為中心的置信度(例如，95%)區間的補片。

接著，可在亮度Y域中對在步驟S145中所選擇的補片中的每一者進行選擇(步驟S147)。一般而言，根據關於發光體的變化的亮度Y的光譜應理解，白色分量的變化大於黑色分量的變化。因此，以平均值(μ)為中心的白色分量大的補片可更多地被選擇。在此步驟中，所選擇白色補片候選項可被稱為「第二最終候選項」。

可參照在亮度Y域中所選擇的第二最終候選項來計算顏色空間中自動白平衡的增益(步驟S149)。亦即，可參照在步驟S147中所選擇的補片的平均RGB值來計算用於調整的顏色分量的增益，以使顏色分量的比率保持相等。在本發明概念的某些實施例中，所計算增益可為第二RGB增益。

以上，闡述了對縮小的灰度區中的白色補片候選項選擇第二最終候選項的方法。當將藉由第二最終候選項而提取的第二RGB增益與前面藉由第一最終候選項而提取的上述第一RGB增益加以組合時，可計算根據本發明概念的實施例的最終RGB增益。

圖10是說明根據本發明概念的實施例的縮小的灰度區的圖。參照圖10，可選擇縮小的灰度區作為對應於多個錨點中的一者的單位灰度區。

在圖9所示步驟S141及步驟S143中，可在標準化顏色空間中選擇最接近第一最終候選項350的平均值(rs，bs)的錨點 (rf，bf)。亦即，分別對應於灰度區310、灰度區320、灰度區330、以及灰度區340的錨點中最接近平均值(rs，bs)的錨點。此外，可選擇對應於所選擇錨點(rf，bf)的單位灰度區330。舉例而言，可將縮小的灰度區確定為與最接近第一最終候選項350的平均值(rs，bs)的錨點對應的灰度區330。在此種情形中，可自統計運算中排除第一最終候選項350中的包含於灰度區320中的補片。

以上，闡述了根據本發明概念的實施例的混合自動白平衡方法。被示例成RGB顏色空間及正規化r(b)顏色空間的本發明概念的實施例主要用於闡述本發明概念的特性。然而，本發明概念的範圍並非僅限於此。舉例而言，可根據本發明概念的實施例將YUV訊號方法中的顏色差異空間(UV)用作根據本發明概念的實施例的白平衡運算。

圖11是說明根據本發明概念的實施例的包括影像感測器的電子系統的方塊圖。參照圖11，電子系統1000可以資料處理裝置實作，所述資料處理裝置使用或支援行動產業處理器介面(mobile industry processor interface，MIPI)，例如行動電話、可攜式數位助理(portable digital assistant，PDA)、個人媒體播放器(personal media player，PMP)或智慧型電話。電子系統1000可包括應用處理器1010、影像感測器1040、以及顯示器1050。

實作於應用處理器1010中的相機串列介面(camera serial interface，CSI)主機1012可經由相機串列介面而與影像感測器1040的相機串列介面裝置1041進行串列通訊。此時，光學解串器 (optical deserializer)DES可實作於相機串列介面主機1012中，且光學串列器(optical serializer)SER可實作於相機串列介面裝置1041中。此外，應用處理器1010可包括進行根據本發明概念實施例的自動白平衡的影像訊號處理器(image signal processor，ISP)。

實作於應用處理器1010中的顯示串列介面(display serial interface，DSI)主機1011可經由顯示串列介面而與顯示器1050的顯示串列介面裝置1051進行串列通訊。此時，光學串列器SER可實作於顯示串列介面主機1011中，且光學解串器DES可實作於顯示串列介面裝置1051中。

電子系統1000可包括用於與應用處理器1010進行通訊的射頻(radio frequency，RF)晶片1060。舉例而言，射頻晶片1060的實體層1061及應用處理器1010的實體層1013可經由DigRF介面來彼此交換資料。

電子系統1000可更包括全球定位系統(global positioning system，GPS)1020、儲存器1070、麥克風1080、動態隨機存取記憶體(dynamic random access memory，DRAM)1085、以及揚聲器1090。電子系統1000可使用全球互通微波存取(world-wide interoperability for microwave access，WiMAX)1030、無線區域網路(wireless local area network，WLAN)1033、以及超寬頻帶(ultra-wide band，UWB)1035等進行通訊。

根據本發明概念的實施例，可實作影像裝置來提供能夠明顯地減小演算法的複雜性並具有準確度的自動白平衡功能。

應理解，熟習此項技術者可由此得到各種潤飾及其他等效實施例。本發明概念的範圍由隨附申請專利範圍界定。

S110、S120、S130、S140、S150‧‧‧步驟

Claims

一種用於影像資料的自動白平衡方法，所述影像資料被劃分成多個區塊且與由影像感測器偵測的影像相關聯，所述方法包括：計算所述多個區塊中的每一者的對應區塊方差；指示所述多個區塊中具有高於方差參考值的區塊偏差的所選擇區塊；自包含於所選擇的所述區塊中的一者中的多個補片中選擇包含於在顏色空間中所定義的灰度區中的補片；對所選擇的所述補片應用對應區塊方差作為權重，調整所述顏色空間中的第一平均值，並自由參照經調整的第一平均值而選擇的所述補片中選擇屬於亮度域中的第一分佈的第一補片候選項；選擇在所述灰度區中對應於一個錨點的縮小的灰度區，並自包含於所述縮小的灰度區中的補片中選擇屬於顏色空間及亮度域中的第二分佈的第二補片候選項；以及藉由將自所述第一補片候選項及所述第二補片候選項分別提取的第一RGB增益及第二RGB增益加以組合來計算所述影像資料的最終增益。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中所述灰度區包括在所述顏色空間中的多個色溫處與所述影像感測器相關聯的多個錨點，且所述灰度區是由自與所述錨點相關聯的中心延伸的半徑定義。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中所述顏色空間被定義為對於紅色分量值、綠色分量值、及藍色分量值之和而言所述紅色分量值及所述藍色分量值中的每一者的正規化值。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中所述顏色空間被定義為藉由將紅色分量值及藍色分量值中的每一者除以綠色分量值而產生的正規化值。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中所述應用所述對應區塊方差包括：應用與包含於所述灰度區中的每一補片的顏色分量對應的區塊的權重來計算第二平均值；自包含於所述灰度區中的補片中選擇基於所述第二平均值而包含於置信度範圍中的補片；以及自包含於所述置信度範圍中的補片中選擇包含於亮度分佈範圍中的補片作為所述第一補片候選項。
如申請專利範圍第5項所述的用於影像資料的自動白平衡方法，其中所述亮度分佈範圍被設定成使對於亮度的平均值而言在白色方向上的範圍寬於對於所述亮度的所述平均值而言在黑色方向上的範圍。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中選擇所述縮小的灰度區包括：選擇與所述灰度區的所述第一補片候選項的平均值最接近的錨點；自所述灰度區中選擇與以所述錨點為中心的單位圓對應的灰度區作為所述縮小的灰度區；對包含於所述縮小的灰度區中的補片應用與區塊相關聯的權重來計算第三平均值；自包含於所述縮小的灰度區中的補片中選擇基於所述第三平均值而包含於置信度範圍中的補片；以及自包含於所述置信度範圍中的補片中選擇包含於亮度分佈範圍中的補片作為所述第二補片候選項。
如申請專利範圍第7項所述的用於影像資料的自動白平衡方法，其中所述縮小的灰度區對應於對於最接近所述平均值的錨點而言包含於一半徑內的多個補片。
如申請專利範圍第1項所述的用於影像資料的自動白平衡方法，其中所述計算所述最終增益包括：對所述第一RGB增益應用所述第一補片候選項所屬於的區塊方差作為權重來計算第一增益；對所述第二RGB增益應用所述第二補片候選項所屬於的區塊方差作為權重來計算第二增益；以及將所述第一增益與所述第二增益相加來計算所述最終增益。
一種影像處理裝置，包括：影像感測器，用以感測影像並輸出所感測的所述影像作為影像資料；以及影像訊號處理器，用以將所述影像資料劃分成多個區塊，選擇在顏色空間中具有高於參考方差值的區塊方差的區塊，自包含於所選擇的所述區塊中的一者中的補片中選擇包含於在所述顏色空間中所定義的灰度區中的補片，藉由對包含於在所述顏色空間中的所述灰度區中的補片執行平均值偏移並在亮度域中進行置信度範圍選擇來計算第一RGB增益，並且藉由對包含於所述顏色空間中縮小的灰度區中的補片執行所述平均值偏移並在所述亮度域中進行所述置信度範圍選擇來計算第二RGB增益，其中所述影像訊號處理器將所述第一RGB增益與所述第二RGB增益加以組合，以提供最終增益作為所述影像資料的自動白平衡的顏色分量的增益。
如申請專利範圍第10項所述的影像處理裝置，其中所述灰度區對應於在所述影像感測器的特性所應用於的至少一個錨點周圍包含於一半徑內的顏色空間，所述至少一個錨點對應於至少一個色溫。
如申請專利範圍第11項所述的影像處理裝置，其中所述影像訊號處理器對所述灰度區的補片應用所述顏色空間中的區塊方差作為權重並使用所述權重執行平均值偏移。
如申請專利範圍第12項所述的影像處理裝置，其中所述影像訊號處理器基於經偏移的平均值自所選擇的補片中選擇亮度域中一亮度範圍的補片並使用所選擇的所述補片來計算所述第一RGB增益，且所述亮度範圍被提供成使得基於所選擇的所述補片的亮度條件的平均值，白色方向上的範圍大於黑色方向上的範圍。
如申請專利範圍第11項所述的影像處理裝置，其中所述縮小的灰度區對應於在錨點周圍置於一半徑內的補片的色區，所述錨點是所述至少一個錨點中與用於計算所述第一RGB增益的補片的平均值最接近的錨點。
如申請專利範圍第10項所述的影像處理裝置，其中所述影像訊號處理器包括混合自動白平衡模組，所述混合自動白平衡模組用以計算所述第一RGB增益、所述第二RGB增益及所述最終增益。
一種用於由影像處理裝置產生的影像資料的自動白平衡方法，所述方法包括：將所述影像資料劃分成多個區塊並計算顏色空間中所述多個區塊中的每一者的區塊方差；自所述多個區塊中選擇具有超過參考值的區塊方差的區塊，並進一步自所選擇的所述區塊中選擇包含於灰度區中的區塊；自所選擇的所述區塊中選擇在所述顏色空間中或在亮度域中具有第一置信度的第一候選單元；自所述第一候選單元中選擇包含於較所述灰度區小的縮小的灰度區中的影像單元；以及自所選擇的所述影像單元中選擇在所述顏色空間中或在所述亮度域中具有第二置信度的第二候選單元，其中選擇所述第一候選單元及所述選擇所述第二候選單元均包括使用對應區塊方差作為權重來執行平均值偏移運算。
如申請專利範圍第16項所述的用於由影像處理裝置產生的影像資料的自動白平衡方法，其中選擇所述第一候選單元包括：藉由應用包含於所述灰度區中的區塊的所述對應區塊方差來執行平均值偏移運算；基於作為所述平均值偏移運算的結果而提供的平均值來選擇具有所述第一置信度的白色影像單元；以及藉由自所述白色影像單元中選擇處於一亮度範圍內的影像單元來提供所述第一候選單元。
如申請專利範圍第16項所述的用於由影像處理裝置產生的影像資料的自動白平衡方法，其中所述灰度區及所述縮小的灰度區中的至少一者被映射至在所述多個區塊中的每一者的正規化顏色空間中對應於特定色溫的範圍。
如申請專利範圍第16項所述的用於由影像處理裝置產生的影像資料的自動白平衡方法，更包括：分別自所述第一候選單元及所述第二候選單元計算第一增益及第二增益。
如申請專利範圍第19項所述的用於由影像處理裝置產生的影像資料的自動白平衡方法，更包括：對所述第一增益及所述第二增益應用所述對應區塊方差作為權重，並使用所述權重確定所述影像的顏色空間增益。
一種用於被劃分成多個區塊的影像資料的自動白平衡方法，所述方法包括：計算所述多個區塊中的每一者各自的區塊方差；自所述多個區塊中選擇具有超過參考區塊值的區塊方差的區塊；辨識顏色空間中的至少一個灰度區並使用包含於所述灰度區中的灰度區補片來提取所述灰度區的白色點；以及藉由在正規化域中對所述灰度區補片的平均值進行偏移並應用對應區塊方差作為權重來計算所述灰度區補片中的所選擇灰度區補片的第一增益。
如申請專利範圍第21項所述的用於被劃分成多個區塊的影像資料的自動白平衡方法，更包括：選擇所述灰度區補片中在第一置信度水準以內靠近經偏移的平均值的至少一個所述灰度區補片；在亮度Y域中自所述灰度區補片中的所述至少一個灰度區補片中選擇補片候選項；以及參照所述補片候選項計算所述顏色空間的所述自動白平衡的增益。
如申請專利範圍第21項所述的用於被劃分成多個區塊的影像資料的自動白平衡方法，其中所述影像資料被表達為RGB資料。