TWI589150B - ３ｄ自動對焦顯示方法及其系統 - Google Patents

Description

3D自動對焦顯示方法及其系統

本發明揭露一種自動對焦方法，特別的是有關於一種3D自動對焦顯示方法及其自動對焦系統。

立體顯示器的基本技術是在於呈現偏移影像，此種偏移影像分別在左眼和右眼中顯示。接著將這兩個二維偏移影像在大腦中合併以得到的3D深度的感知。有許多顯示技術的方法來實現立體3D影像，例如用於裸視3D影像的偏光和快門鏡片，雙凸透鏡和屏障鏡片，如同雙顯示器的使用例如用於虛擬實境的頭戴式產品。

許多人觀看立體視頻時遇到眼睛疲勞和不適，這是眾所周知的，此種不適有多種因素。這樣的例子中，大家所知道的是例如3D眼鏡造成的身體不適，從頭戴式產品由於視頻影像相對於使用者頭部移動時的等待時間所造成的頭暈現象，以及由串擾(cross-talk)所造成的影像模糊。以上所述的實施例均是涉及在硬件顯示技術的不足而造成的問題。

值得注意的是，3D立體內容的品質也是觀看3D立體顯示器時造成眼睛疲勞和眼睛疲勞的主要原因。一般來說，有三種方法來形成立體3D影像，此立體3D影像是自然擷取使用立體照相機系統，從2D影像轉換，這意味著由原始的2D影像的兩個視圖，是從電腦程式的模式中產生的。 計算引起觀看者不適的3D立體內容的相關特性不是那麼重要。但這是確實存在可靠的指標來量化3D立體內容，例如垂直視差以及在眼中所看到的立體影像的色彩，對比度和亮度的差異。

3D立體內容質量的一個關鍵特性在於調節-收斂衝突(accommodation-convergence conflict.)。調節(accommodation)定義為眼睛的聚焦平面，及收斂(convergence)是指眼睛的聚焦點。在自然中，調節和收斂是同時透過觀看者的眼球到影像之間的距離來確定。自然觀看造成同步進行收斂及調節。在3D立體顯示器上觀看影像的情況下，調節指的是實體顯示的距離，而收斂指的是感知到屏幕上的虛擬影像之間的距離，它具有一個虛擬雙眼深度和將前面或感知距離背後的顯示屏幕。在觀看3D的顯示，其收斂和調節會分開且不是相等的。因此，眼睛疲勞問題實質上是由於3D立體內容在顯示器上觀看而引起非自然的觀看，其中人的眼睛是非自然的觀看習慣，此種非自然的觀看的程度，在一個可容忍的範圍內，是可以藉由3D立體內容影像本身來判斷。

在3D立體內容的收斂和調整的分離程度是由3D立體內容的水平視差特性來決定。值得注意的是，有一個區域或是收斂調節分離的範圍通常是人的眼睛可以接受的範圍且在此區域或是此範圍內最小的眼睛疲勞和應變可能會存在。3D立體內容的水平視差的理想是在這個區域或範圍內，以避免不良觀看症狀。

根據習知技術的缺點，本發明揭露一種在3D顯示器上觀看影像時實現自動對焦功能的方法以及系統，此自動對焦的方法及系統採用 眼球軌跡技術、深度圖攝像系統來達成。

本發明所揭露的3D自動對焦顯示方法及其系統的另一目的在於，建立一個3D系統可以模擬自然觀看(natural viewing)。因此，本發明所揭露的3D自動對焦顯示方法及其系統不須要眼鏡或其他輔助用具來觀看，以增加方便性以及擴大應用性以最佳化模擬自然觀看的環境。

自然觀看的模擬進一步是通過眼球追蹤技術系統(eye tracking technology system)來實現。對於觀看者的眼睛來說，一個3D顯示系統的調節是指觀看者的眼睛其距離顯示器以及可以假設至觀看者或是3D影像在彼此之間沒有相對的移動之下所表示的固定距離。觀看者的眼睛的收斂點(或稱聚焦點)是根據在任何情況下來呈現的物體及3D內容的場景，因此不是固定的。因此，為了確定在關於觀看者的眼睛的焦點到顯示的座標將提出一個自動對焦顯示系統，以便更好地表示自然的觀看的能力。

根據以上所述顯示及眼球追蹤系統，本發明提供一種3D自動對焦顯示方法，其包含兩種系統的整合。其方法包括先顯示3D立體內容影像，其中觀看者的眼球聚焦在實體空間的特定點上。接著執行眼球追蹤步驟，其中可以得到觀看者的焦點座標(x1,y1)，並利用眼球追蹤系統來判斷觀看者的焦點座標(x1,y1)。然後再將此觀看者的焦點座標(x1,y1)映射至顯示器座標(x2,y2)，其表示為顯示器的像素座標(pixel coordinate)。對影像執行景深映射步驟以得到相對應影像的深度圖。此深度圖可以利用硬體元件或是透過利用景深結構運算來處理3D立體影像來得到。相對於影像的顯示器座標(x2,y2)做為3D立體顯示器系統影像處理模組的輸入參數。其影像處理模組利用輸入顯示器座標(x2,y2)以及利用影像深度圖來確認影像在座 標上那個區域。影像深度圖是影像的區域的識別的因素，即影像深度圖是由不同區域的區段的結合，其中每一區段定義為影像的一組像素，其具有相同的深度值或是在同一個深度值的範圍內。影像處理模組利用影像與深度數據的結合來修正3D立體影像，其體現了顯示器座標(x2,y2)將成為焦點。接著影像處理模組藉由形成子像素圖案(RGB圖案)來輸出修正後的聚焦影像以及將其輸出至顯示器以形成子像素圖案以及輸出至顯示器以便於觀看。

根據上述3D自動對焦顯示方法，本發明還揭露一種3D自動對焦系統，其不需要眼鏡就可以顯示立體內容以及3D立體自動對焦影像特徵。3D自動對焦顯示系統包含3D自動立體顯示模組(3D auto-stereoscopic display module)、前視影像擷取感測模組(front viewer image capturing sensor module)(眼球追蹤相機)，用以直接執行眼球追蹤功能以得到影像的第一焦點座標(x1,y1)、後視影像擷取感測模組(rear viewer image capturing sensor module)(立體深度相機)，用以擷取立體影像及/或隨著影像深度圖擷取2D影像。此系統也包含多個影像處理模組。影像處理模組用於形成、增益以及輸出以顯示3D立體影像。3D立體影像是利用2D影像以及相對於2D影像的深度圖訊息來形成。3D立體影像的增益是藉由在3D立體影像上執行數個影像分析以及過濾運算以及利用影像數據以及深度圖數據來修正3D立體影像。另一個影像處理模組是利用外插法(extrapolating)來外插第一焦點座標(x1,y1)來執行自動對焦以及將觀看者的焦點座標(x1,y1)轉譯成相對於顯示模組的顯示器焦點座標(x2,y2)(第二座標)，接著對影像的區段進行確認以體現顯示器座標(x2,y2)以及形成合適的立體增益影像以確認所顯示的立體影像是在焦點上。最 後的影像處理模組具有輸入以及增益立體影像以及接著執行RGB次像素運算以輸出立體影像至顯示模組上。

步驟11~步驟17‧‧‧3D自動對焦顯示方法的各步驟流程

2‧‧‧3D自動對焦顯示系統

21‧‧‧前視影像擷取感測模組

23‧‧‧後視影像擷取感測模組

25‧‧‧影像處理模組

27‧‧‧顯示模組

30、302、304‧‧‧聚焦焦點

第1圖表示本發明所揭露3D自動對焦顯示方法的各步驟流程示意圖。

第2圖表示本發明所揭露的3D自動對焦顯示系統方塊圖。

第3圖表示後視影像擷取感測模組為立體攝像裝置時，於顯示模組上得到3D立體圖的示意圖。

第4圖表示後視影像擷取感測模組為時間測距攝像裝置時，於顯示模組上得到3D立體圖的示意圖。

第5圖至第7圖表示根據本發明所揭露的技術，3D影對焦的各步驟示意圖。

首先請參考第1圖，第1圖表示本發明所揭露3D自動對焦顯示方法的各步驟流程示意圖。在第1圖中，步驟11，提供3D立體影像。接著於步驟111，對影像執行眼球追蹤(eye-tracking)步驟，其中啟動或是使用前視影像擷取感測模組。眼球追蹤步驟會得到觀看者的眼球的焦點座標(focal point coordination)(x1,y1)。步驟113，將焦點座標(x1,y1)映射至顯示器的座標位置以得到相對於在顯示器上的影像的所在位置的焦點座標為(x2,y2)。另外於步驟121，於執行步驟111時，也同時對影像執行景深映射(depth map)步驟以得到原始影像的影像檔案組(image file set)以及其相對應的深度圖。接著，於步驟123，判斷影像檔案組是否為3D立體影像，若否，則執行步驟125， 將影像檔案組利用深度圖轉換成3D立體影像，若是，則執行步驟127，利用景深映射步驟修正或是增強影像檔案組，藉此以得到此影像的3D立體影像及影像的深度圖。

接著於步驟13，利用3D影像自動對焦步驟將相對於影像的焦點座標的顯示器座標(x2,y2)、3D立體影像以及影像深度映射來執行影像處理，相對於焦點座標(x2,y2)而形成新的具有對焦校正的3D立體影像。步驟15，執行子像素映射(sub pixel mapping)步驟，在3D立體影像中已經經過對焦校正。最後於步驟17，輸出3D立體影像對焦校正影像其可以在顯示器上體現焦點座標(x2,y2)。

更明確來說，根據本發明所揭露的3D自動對焦顯示方法是將兩個系統整合。其方法包括3D立體內容的顯示影像，如步驟11，其觀看者的眼睛聚焦在實體空間的特定點上。接著，執行眼球追蹤步驟，如步驟111，該步驟用以得到觀看者的焦點座標(x1,y1)，並利用眼球追蹤系統來判斷觀看者的焦點座標(x1,y1)。接下來，將觀看者的焦點座標(x1,y1)映射至顯示器的座標(x2,y2)，如步驟113，其顯示器的座標(x2,y2)由顯示器的像素座標來表示。在影像上執行深度映射步驟是為了得到相對應影像的深度圖，如步驟121。深度圖可以利用硬體得到或利用深度影像處理運算來處理3D立體影像來得到。顯示器的座標(x2,y2)相對應於影像是用來作為本發明所揭露的3D自動對焦顯示系統2的影像處理模組25的輸入參數。影像處理模組25判斷該影像的區域座標是利用所輸入的顯示器的座標(x2,y2)的位置以及利用影像深度映射。影像深度映射是影像的區域的卻識別因素。就其他方面來說，深度映射是不同區域的區段的結合。每一個區段定義為影像的 像素的集合，該集合具有相同的深度值或是在相同的深度值的範圍內。影像處理模組25體現顯示器的座標(x2,y2)且在校正後會聚焦。影像處理模組接著25輸出校正聚焦影像，這個校正影像是由次像素圖案(RGB圖案)所形成並對觀看者來輸出次像素圖案。

接著，請參考第2圖，第2圖表示本發明所揭露的3D自動對焦顯示系統方塊圖。在第2圖中，3D自動對焦顯示系統2包括前視影像擷取感測模組(front viewer image capturing sensor module)21、後視影像擷取感測模組(rear viewer image capturing sensor module)23、影像處理模組(image processing module)25及顯示模組(display module)27，其中影像處理模組25分別與前視影像擷取感測模組21、後視影像擷取感測模組23及顯示模組27彼此電性連接。其中前視影像擷取感測模組21用以對影像執行眼球追蹤功能，以得到影像所在位置的焦點座標(x1,y1)，於本發明的實施例中，前視影像擷取感測模組21可以是具有紅外線感測器的攝像模組(camera module)，其與影像瞳孔檢測處理(image pupil detection processing)相結合而能夠將觀看者的眼球中的焦點予以定位。

後視影像擷取感測模組23，用以對影像進行影像擷取，且為本發明中立體影像的來源。在本發明的較佳實施例中，後視影像擷取感測模組23可以是具有時間測距的感測器(time-of-flight sensor)的立體攝像模組(stereo camera module)。此種影像模組可以以本機來擷取立體影像，以及使用飛行感測器來擷取相對於深度圖的影像。對於另一種的後視影像擷取感測模組其包括不具有時間測距的感測器的立體攝像裝置以及2D影像感測器，但並不限於此。這些模組可以經過利用立體或是2D影像的影像處理方 式來建立體及深度圖並且將其輸出。

影像處理模組25，用以執行影像處理步驟。此影像處理步驟包括立體影像及相對應的深度圖的識別和建立影像數據組(image data set)，一個立體影像的和其相應的深度圖。影像處理模組25處理觀看者的眼球的焦點座標(x1,y1)並將其映射(mapping)至另一個相對於顯示模組27的顯示器的焦點座標(x2,y2)以及執行自動對焦增益及校正步驟，使得顯示器的焦點座標(x2,y2)可以體現在顯示模組27中。

當經過影像處理模組25處理之後，校正後的3D立體影像可以體現顯示器的焦點座標(x2,y2)，且傳送至可以顯示3D立體影像的顯示模組27，使得對於與影像區段具有特定焦聚的觀看者來顯示3D立體影像。

根據上述，請接著參考第3圖，第3圖表示後視影像擷取感測模組為立體攝像裝置時，於顯示模組上得到3D立體影像的示意圖。在第3圖中，立體影像可以包含三個影像(例如心型、星星及笑臉)。在此立體影像的中心為虛線，此虛線是用來表示第3圖的影像是具有深度的影像，並且同時具有左側影像及右側影像，但這些都是由相同的影像如心型、星星及笑臉藉由不同的觀看者的聚焦位置擷取到的影像所產生的。影像處理模組25最後執行3D子像素映射步驟。此子像素映射步驟是將左側和右側的影像合併形成RGB影像，並可以輸出至顯示模組27讓觀看者可以看到一個正確3D對焦立體影像。

請參考第4圖，第4圖表示由具有其相對應的深度圖的顯示模組得到的影像的示意圖。於相對應的深度圖可以由幾種方式得到其包括，但不限於此，時間測距感測器、深度圖計算積體電路(depth map calculating integrated circuit)以及軟體影像處理運算(soft image processing algorithms)由2D或3D立體影像來建構深度圖。一般的深度圖具有一組深度值其分配至其對應的影像的每一個像素。在本發明中，影像處理模組25處理這些深度值並且利用影像處理運算來定義區段或根據深度值的範圍來定義深度值的區域。本發明的自動對焦影像處理利用深度圖來確定影像的區段，並藉由其相對應的深度圖來定義，以體現了第二焦點座標(x2,y2)及根據影像的區段或是部份的影像來建立校正後的對焦立體影像，以體現在此區段中的影像。第5圖至第7圖表示3D影對焦的各步驟示意圖。當顯示器提供觀看者(或者使用者)觀看3D立體影像時，感知3D影像會同時在觀看者的左眼及右眼中產生深度(depth)和視差差距(parallax disparity)兩種視覺影像。但左眼和右眼在觀看3D立體影像時，會先產生聚焦焦點30。攝像系統面對觀看者且具有追蹤觀看者的眼球以及經由影像感測和軟體影像處理的結合來得到觀看者的焦點，即當觀看者看著第6圖中的星星時，在觀看者的眼中會產生視差差距，在所觀察的星星上則會有另一聚焦焦點302。因為星星是3D立體影像，在顯示器上不同的位置與觀看者的眼球的距離及深淺(或指距離螢幕的遠近)有所不同，因此在觀看一個3D立體影像(星星)時會產生視差差距。

接著請繼續參考第7圖。攝像系統中的後視攝像擷取感測模組是沿著影像的深度圖來得到觀看影像的深度映射訊息。在第7圖中，在心型圖案上具有觀察者在觀看時的另一聚焦焦點304，觀看者在觀看圖面左邊的心型時，藉由此聚焦焦點304利用後視攝像擷取感測模組來取得心型的深度映射訊息，最後再利用影像感測器及軟體影像處理的結結構來得到該心型影像的深度圖訊息。最後根據上述重新計算觀看者的眼球至顯示器之間 的距離以及根據眼球追蹤系統將眼球所看到的每一個深淺不一的影像(或可以稱為像素)結合，而得到3D立體影像。

步驟11~步驟17‧‧‧3D自動對焦顯示方法的各步驟流程

Claims (9)

1. 一種3D自動對焦顯示方法，包含：提供一影像；對該影像執行一眼球追蹤步驟以得到該影像的一第一焦點座標(x1,y1)；將該第一焦點座標(x1,y1)映射至一顯示器座標位置以得到相對於該影像的深度圖且該顯示器座標位置為一第二焦點座標為(x2,y2)；利用該第二焦點座標為(x2,y2)做為一輸入參數及利用該影像的該深度圖以確認該影像所在的一區域；根據該影像所在的該區域判斷該影像是否為一3D立體影像，並利用一景深映射步驟藉由該影像及在該區域的多個深度數據修正該3D影像，以體現該第二焦點座標(x2,y2)成為一聚焦影像；以及將修正後的該聚焦影像輸出至一顯示器於該顯示器上顯示該3D立體影像。
2. 如申請專利範圍第1項所述的3D自動對焦顯示方法，其中該影像可以是風景、人像或是實體物品。
3. 如申請專利範圍第1項所述的3D自動對焦顯示方法，其中在該影像景深度圖是由不同區域的多個區段的結合。
4. 如申請專利範圍第3項所述的3D自動對焦顯示方法，其中每一該區段為該影像的一組像素，且該影像具有相同的深度值或是在同一個深度值的範圍。
5. 一種3D自動對焦顯示系統，包含：一前視影像擷取感測模組，用以對一影像執行一眼球追蹤功能以得到該 影像的一第一焦點座標(x1,y1)；一後視影像擷取感測模組，用以擷取該影像；一影像處理模組，用以處理該影像並利用一外插法來外插該第一焦點座標(x1,y1)來執行自動對焦以及將該第一焦點座標(x1,y1)轉譯成相對於該顯示模組的該第二焦點座標(x2,y2)，再對該影像的一區段進行確認以體現該第二焦點座標(x2,y2)以及形成合適的一立體增益影像並確認所顯示的該3D立體影像是在該顯示器的一焦點上；以及一顯示模組，用以顯示該3D立體影像。
6. 如申請專利範圍第5項所述的3D自動對焦顯示系統，其中該前視影像擷取感測模組為具有感測器的攝像裝置或是具有瞳孔偵測的網路攝像裝置。
7. 如申請專利範圍第5項所述的3D自動對焦顯示系統，其中該後視影像擷取感測模組為時間測距攝像裝置、立體攝像裝置或是具有景深產生影像的網路攝像裝置。
8. 如申請專利範圍第5項所述的3D自動對焦顯示系統，其中該影像處理模組還包括利用一2D影像以及相對於該2D影像的一深度圖訊息來形成該3D立體影像。
9. 如申請專利範圍第5項所述的3D自動對焦顯示系統，其中該影像處理模組還包括藉由在該3D立體影像上執行數個影像分析以及過濾運算以及利用一影像數據以及一深度圖數據來修正該3D立體影像。