TW201931311A - 立體影像調整方法與顯示裝置 - Google Patents
立體影像調整方法與顯示裝置 Download PDFInfo
- Publication number
- TW201931311A TW201931311A TW107101243A TW107101243A TW201931311A TW 201931311 A TW201931311 A TW 201931311A TW 107101243 A TW107101243 A TW 107101243A TW 107101243 A TW107101243 A TW 107101243A TW 201931311 A TW201931311 A TW 201931311A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- unit
- dimensional
- pixel
- pixels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/095—Refractive optical elements
- G02B27/0955—Lenses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一種立體影像調整方法與實現此方法的一種顯示裝置,在方法中,先取得一用以重建立體影像的集成影像,集成影像由多個單元影像組成,接著取得每個單元影像的畫素值,並能根據硬體資訊決定從其中的一維畫素中選取一個範圍的畫素,之後將選取的畫素的畫素值以遞增、遞減、連續重複畫素值或其任意組合的方式填到每個單元影像的一維畫素區所區分的多個區域中,以形成一新的單元影像,經反覆以上步驟,可以形成一新的集成影像。此新建的集成影像將可降低影像區塊之間的差異,讓觀看者在移動中觀看立體影像時,影像不會因為畫素差異過大發生影像不自然的問題。
Description
說明書公開一種影像調整方法與裝置,特別是一種通過調整形成立體影像的單元影像而解決影像不自然問題的立體影像調整方法與顯示裝置。
習知技術顯示立體影像的方法,多數是應用了雙眼看到同一個物體會產生視差的原理,因此設計出讓雙眼能夠分別看到具有差異的兩個影像的立體圖案,或是循序播放兩種不同影像的動態影像,常見是通過特殊眼鏡觀看,如紅藍眼鏡、偏光眼鏡或快門眼鏡,如此因為雙眼視差而在腦中融合成具有深度的立體視覺效果。
另有方法是提供一種立體顯示裝置,通過顯示裝置中的光學元件,在不用特殊眼鏡的情況下,可使得觀賞者能夠在特定的觀看角度讓雙眼分別接收到具有影像差異的影像,也能產生具有深度的立體視覺效果。
然而,在習知裸視3D的技術上,當觀看立體影像的觀看者移動位置時,視覺上會從立體影像的一個區塊移到另一個區塊(region/area),會因為影像中畫素差異過大而產生視覺上跳動而不自然的現象。
為了解決觀看立體影像的觀看者移動位置時視覺上產生因為影像區塊之間畫素差異大而產生跳動的不自然現象,揭露書公開一種立體影像調整方法與顯示裝置,其中主要方式之一是通過調整形成立體影像的單元影像(element image)的平滑度以降低影像區塊之間的差異,讓影像不會因為畫素差異過大發生影像不自然的問題。
根據實施例,所述立體影像調整方法包括,先取得用以重建立體影像的集成影像,而集成影像由多個單元影像組成,立體影像調整方法即針對單元影像調整平滑度來解決畫素差異過大的問題,同時保持一定數量之影像資訊,使立體影像能完成重建。方法接著取得每個單元影像的畫素值,並自每個單元影像的一維畫素中選取一個範圍的畫素,之後一維畫素區分為多個區域,再將這個選取的畫素的畫素值以遞增、遞減方式或連續重複畫素值,或是這三種方式的組合填到每個單元影像的一維畫素區所區分的多個區域中,以形成一新的單元影像。經反覆以上選取各單元影像中各個一維畫素的一個範圍畫素,以及將選取畫素的畫素值填到各單元影像的各個一維畫素的多個區域中等步驟,可形成一新的集成影像。
以上方法同時適用一個單元影像的兩個維度的畫素,其中自每個單元影像的一維畫素中選取畫素的範圍係根據顯示立體影像的顯示裝置中的多光學元件的物理資訊所決定,如投射立體影像的空間位置與各光學元件之間的空間關係,以及各光學元件與顯示裝置中顯示面板的空間關係。
根據揭露書揭示的顯示裝置實施例,其中包括呈現立體影像的多光學元件模組、顯示集成影像的顯示單元、驅動顯示的顯示驅動單元,以及一影像處理單元,影像處理單元用以執行上述立體影像調整方法。
所述顯示裝置,在一實施例中,多光學元件模組有關的物理資訊至少包括投射立體影像的空間位置與各光學元件之間的空間關係,以及各光學元件與該顯示單元中顯示面板的空間關係,而光學元件為一透鏡組,並形成透鏡陣列。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效,請參閱以下有關本發明之詳細說明、圖式,相信本發明之目的、特徵與特點,當可由此得以深入且具體之瞭解,然而所附圖式僅提供參考與說明用,並非用來對本發明加以限制者。
1‧‧‧顯示面板
11‧‧‧顯示影像
12‧‧‧影像處理單元
2‧‧‧多光學元件模組
21‧‧‧基部
22‧‧‧透鏡部
5‧‧‧觀看位置
301‧‧‧多光學元件模組
303‧‧‧顯示單元
305‧‧‧顯示驅動單元
307‧‧‧影像處理單元
309‧‧‧輸入介面單元
311‧‧‧記憶單元
30‧‧‧立體影像來源
6,6’‧‧‧位置
90,100‧‧‧一維畫素
901,101‧‧‧選取畫素
902,903,904,102,103,104‧‧‧回填區
110‧‧‧一維畫素
111‧‧‧畫素
112,113,114‧‧‧回填區
步驟S401~S409‧‧‧顯示裝置中產生立體影像的流程
步驟S501~S505‧‧‧顯示裝置中產生立體影像的流程
步驟S701~S711‧‧‧立體影像調整流程
圖1顯示為顯示裝置實施例示意圖之一;圖2顯示為顯示裝置實施例示意圖之二;圖3顯示為顯示裝置之電路實施例方塊圖;圖4顯示為顯示裝置中產生立體影像的實施例流程圖之一;圖5顯示為顯示裝置中產生立體影像的實施例流程圖之二;圖6示意顯示觀看者移動觀看立體影像的示意圖;圖7所示流程圖描述立體影像調整方法的實施例流程;圖8顯示一個單元影像的畫素示意圖;圖9顯示取出單元影像畫素填回多個區域的實施例示意圖之一;圖10顯示取出單元影像畫素填回多個區域的實施例示意圖之二;圖11顯示取出單元影像畫素填回多個區域的實施例示意圖之三。
說明書揭露的實施例關於一種立體影像調整方法與顯示裝
置,所揭示的立體影像調整方法適用於一設有多光學元件而用於顯示立體影像的顯示裝置上,相關顯示裝置的實施例可參考圖1所示的實施例示意圖。
此圖顯示為顯示裝置結構示意圖,其中顯示面板1可為具有背光模組(未顯示於此圖中)的液晶顯示面板(LCD),亦不排除其他具有背光模組的顯示器形式,或是可為具有自發光特性的有機發光二極體(OLED)。顯示面板1顯示的顯示影像11為通過一顯示立體影像的方法所產生的一種集成影像(integral image),集成影像由多個單元影像(element image)組成,單元影像即為對應圖中所示實施例所示由多個透鏡組組成的多光學元件模組2的各個透鏡組的影像,其中顯示影像11上的每個單元影像可為一對一、一對多、多對一等方式對應到每個透鏡組位置的影像。
在多光學元件模組2中,設有基部21與透鏡部22,透鏡部22上的各個光學元件可為一透鏡組,透鏡組可由一或多個凸透鏡與凹透鏡組成,多光學元件形成一透鏡矩陣。系統即通過多光學元件模組2呈現出立體影像,然而,在此技術概念下,觀看位置5所在位置與相對於顯示裝置的角度將影響到所述集成影像與單元影像的形成。圖中顯示裝置的影像處理單元12除了執行一般影像處理程序外,即執行所述的產生立體影像的電腦程序,可以根據觀看位置5的觀看位置、立體影像顯示的位置,以及多光學元件模組2中各透鏡組的物理特性,以及各元件彼此之間的空間關係調整參考影像、演算單元影像,以及形成集成影像。根據立體影像產生系統實施例,若使用者改變了觀看位置5,可以適應性地提供使用者在其觀看位置5適當的觀看內容。所述影像處理單元12為一數位訊號處理器或一微處理器,更可用以執行立體影像調整方法。
圖中所示的顯示裝置可以為手機、平板、電腦等具有平面螢幕的電子裝置,顯示面板1設於下層,其負責顯示尚未經過光線
重現的平面圖像,主要為顯示集成影像的顯示元件;多光學元件模組2設於較上層,具有調控光場的功效,可以調控立體影像的光線角度,讓原本尚未重組的平面影像進行重新分配和組合。在此實施例中,集成影像通過多光學元件模組2實現光線重新分配和組合,進而顯示重組的立體影像。
多光學元件模組2實施例可為多個透鏡組組成的透鏡矩陣,組成透鏡部22,其物理特性如材質與透鏡曲率造成的折射率與穿透性,加上透鏡矩陣的透鏡組數量與排列方式,配合顯示面板1的設置,能決定立體影像的高度、可視角度範圍及清晰度等三維影像內容。
各透鏡組可如單一透鏡(single lens)、透鏡陣列(lens array)、雙凸透鏡(lenticular lens)、菲涅耳透鏡(Fresnel lens),成像時可以配合針孔(pin hole)、針孔陣列(pin hole array)、光障壁(barrier),以及特定點光源(point light source)。其中顯示裝置或可以一種顯示器陣列的形式將影像顯示出來,經透鏡映射在預設位置上。
圖2以另一示意圖描述顯示裝置實施例,系統通過顯示面板1顯示由單元影像組成的集成影像,經由多光學元件模組2重現立體影像。
如圖顯示的實施例,同樣見於圖1,使用者從其觀看位置5看到「3D」的浮空立體影像,而此立體影像是由顯示面板1顯示出顯示影像11,這是一個由多個單元影像形成的集成影像,每個單元影像是對應到一個多光學元件模組2中的單一光學元件,也就是一個透鏡組。
由於透鏡部22上的每個透鏡組設於不同的位置,當多光學元件模組2欲重建出一個浮空的立體影像時,而且是在某個觀看位置5要看到的立體影像,顯然每個位置的透鏡組所投射出去的影像要投向設定好的空間位置上,因此每個位置的透鏡組應要投射
不一樣的影像,也就涉及對應每個光學元件的單元影像彼此將具有一個差異。
舉例來說,要投射一個浮空立體影像時,位於投射的立體影像左方的光學元件應該要投射出偏重立體影像左方的某個投射角度的單元影像;位於立體影像右方的光學元件應要投射較偏重立體影像右方的某個投射角度的單元影像;位於立體影像下方的光學元件應要投射較偏重立體影像下方而向上投射的單元影像。更者,所述浮空立體影像表示與顯示平面相距一個距離,顯示效果如同浮在空中一般,但另有實施例,並不排除有下沉在顯示平面中的效果。
以上實施例所描述的顯示裝置可以電路系統實現,實施例可參考圖3所示的電路方塊圖。
顯示裝置可以硬體並搭配軟體實現立體影像調整方法,其中硬體的部分如一個顯示裝置,包括圖中顯示相互電性連接的電路單元,主要元件包括一多光學元件模組301,由多個單一光學元件組成,用以呈現一立體影像,可如以上實施例所述,每個光學元件為一透鏡組,透鏡組則可由一或多個凸透鏡與凹透鏡組成,此多光學元件即形成一透鏡矩陣。系統包括一顯示單元303,包括一個顯示面板,用以顯示一集成影像,集成影像可通過多光學元件模組301重建後,可呈現出立體影像。
系統包括一顯示驅動單元305,此可為顯示面板的驅動電路,能夠產生影像控制訊號,以驅動顯示單元303顯示集成影像。系統包括一影像處理單元307,實施例可為一種影像處理積體電路,如一種數位訊號處理器或是特定軟體實現的模組,除了用以執行呈現立體影像的電腦程序外,更用以執行立體影像調整方法,影像處理單元307連接有一記憶單元311,記憶單元311如系統的記憶體,用以暫存影像數據、系統運作指令以及演算指令,能夠提供運算用的指令集與相關影像數據,可作為緩衝器,用以暫存系
統運作時產生的檔案。
系統設有輸入介面單元309,用以連接外部立體影像來源30,當影像處理單元307運作產生立體影像時,先通過輸入介面單元309接收一立體影像資訊。所述立體影像來源30可以為通過特定軟硬體所繪製完成的立體圖資,在其中之一實施例中,其中記載立體影像的立體座標、色度等資訊,可包括立體影像的色彩資訊以及三維空間資訊,另有實施例可為二維平面影像以及一張深度圖(depth map)。
當影像處理單元307執行立體影像調整方法時,係執行儲存於記憶單元311中儲存的軟體指令,立體影像調整方法主要包括先取得用以重建立體影像的集成影像,集成影像由多個單元影像組成,經取得每個單元影像的畫素值,可以自每個單元影像中選取一個範圍的畫素,將選取的畫素的畫素值填到每個單元影像的一維畫素區所區分的多個區域中,以形成一新的單元影像,也就能形成一新的集成影像。這個集成影像將可降低影像區塊之間的差異,使得讓觀看者在移動中觀看立體影像時,影像不會因為畫素差異過大發生影像不自然的問題。
接著根據立體影像資訊建立一空間相對關係,實際上可以一參考影像反映此空間相對關係,而此參考影像可以反映出最後顯示的立體影像,此參考影像為使用者設定完成,用以設定欲呈現得到的立體影像,接著,系統根據與多光學元件模組301有關的物理資訊演算對應各光學元件的單元影像,並對應多光學元件的多個單元影像形成提供顯示單元303顯示的集成影像,集成影像經顯示驅動單元305驅動顯示後,通過多光學元件模組301呈現立體影像。
所述與多光學元件模組有關的物理資訊主要涉及各光學元件的物理特性,更至少包括一投射立體影像的空間位置與各光學元件之間的空間關係,例如立體影像距離每個光學元件(如透鏡組)
的距離與相對角度;以及各光學元件與顯示單元303中一顯示面板的空間關係,例如各光學元件與顯示面板之間距。
以上所述的空間關係,可將系統置於同一空間座標系中,以立體影像的空間座標與各光學元件的相對座標計算得出立體影像距離每個光學元件的距離與相對角度,各光學元件之間的相對位置也因此可以得出,各光學元件與顯示面板之間距也能得到。空間關係亦可能包括多光學元件模組上的每一個光學元件的相對位置,以及相對顯示面板的距離和像素大小的搭配。之後,可根據所述的各樣空間關係在顯示立體影像時輸入要顯示的立體影像資訊,包括根據使用者觀看位置設定立體影像顯示的斜向角度,再經過光線追跡(ray tracing),而後形成單元影像,並產生在顯示面板上顯示的尚未重建的集成影像。
圖4接著顯示顯示裝置中產生立體影像的實施例流程圖之一,在達成相同結果的前提下,以下步驟順序的簡單置換並不會影響發明的實施方式。
在此實施例流程中,開始如步驟S401,系統自外部影像源接收立體影像資訊,舉例來說,所接收的立體影像資訊包括立體影像的色彩資訊以及三維空間資訊,實施例如一平面影像資料與一深度圖,或是一組描述立體影像的座標值與一色度值。其中平面影像的資訊可以包括畫素座標(x,y)與色度值(chromatic value),深度圖記載了平面影像中每個畫素的深度值(z值),使得重現影像時描述立體影像的座標值(x,y,z),並加上色度值,以正確顯示出影像中每個部分的正確空間位置與顏色,產生立體影像。
之後如步驟S403,系統根據接收的立體影像資訊,以及使用者所設定的需求,如觀看位置、立體影像投射位置,或由系統自動偵測使用者觀看位置,如偵測使用者眼球,如此建立參考影像(reference image)。根據實施例之一,輸入的原始立體影像經一座標轉換成為參考影像,其中將根據一座標轉換演算法演算出一
組轉換參數。
接著,如步驟S405,系統取得與多光學元件有關的物理資訊,包括光學元件(如透鏡組)尺寸與特性,包括單一透鏡組、多透鏡矩陣的設置座標、尺寸、曲率等,以及光學元件投射的空間位置、各光學元件與顯示單元/面板的空間關係、投射位置與各光學元件之間的空間關係等。之後,如步驟S407,系統將根據原始立體影像資訊與參考影像之間建立一座標轉換函式,演算法可根據硬體的特性,如各光學元件各透鏡的物理資訊,加上座標轉換函式,將參考影像演算為對應各光學元件(如各透鏡)的單元影像(elemental image)。
再如步驟S409,根據多個單元影像產生一集成影像(integral image),集成影像為提供給系統中顯示裝置中顯示單元(如顯示面板、背光模組等)顯示的影像,集成影像包括有多個單元影像,每個單元影像對應了每個光學元件。使得最終集成影像通過多光學元件顯示立體影像,這個立體影像也是符合以上使用者設定或是系統自動判斷的參考影像。
在此一提的是,在產生參考影像時,將涉及對應每個光學元件(包括一對一、一對多或多對一的方式)顯示面板位置,在一般情況不一定要參考使用者觀看位置。但是,在一實施例中,由於使用者可能以斜向觀看立體影像,因此所計算的各單元影像將產生變化,並可考量光線傳出並透過多光學元件時重新匯聚成立體影像,甚至是浮空或下沉於顯示裝置以上、以下或前後的立體影像的各種物理資訊,演算法上再配合不同角度的顯示設定參考影像,導致最後產生的單位影像與集成影像也有差異。
接著,如圖5所示的顯示裝置中產生立體影像的實施例流程圖,成像於顯示裝置上,立體影像與顯示裝置的相對位置並非限制,其中發明概念更可以應用在兩組(或以上)顯示裝置顯示同一個或多個立體影像的實施方式。
當如前述實施例,系統產生反映出定最終成像的立體影像的參考影像,以及演算出單元影像,並結合形成集成影像,如步驟S501,輸入集成影像至系統中的顯示驅動單元,這是一個驅動顯示單元顯示畫面的驅動電路,驅動顯示單元顯示畫面,集成影像將顯示出來,通過多光學元件模組,如步驟S503,分別在各光學元件上重建出對應的單元影像,最後,如步驟S505,在多光學元件模組上的某個空間位置重建出立體影像。
在此成像的過程中,立體影像可以顯示於顯示裝置中多光學元件形成的一顯示平面之上、之下,或前後方,可參考圖1與圖2所示的示意圖。更者,若立體影像資訊關於一動態立體影像,即建立連續多張反映空間相對關係的參考影像,輸出多張集成影像,以及最後通過多光學元件顯示一動態立體影像。
值得一提的是,影像顯示裝置通過如圖1、圖2顯示的透鏡矩陣將顯示於顯示面板的集成影像重新匯聚成立體影像,當重建某個立體影像時,特別是在具有某個角度偏向的立體影像,系統可以主動排除會產生偏差影像(deviation image)的對應單元影像,偏差影像可以根據參考影像判斷,或可預先設定排除,或是事後比對重建影像後排除,排除偏差影像的方式包括修正、取捨、刪除等手段,才形成集成影像。例如邊緣的單元影像,可能在經過透鏡投射時,產生了會產生偏差的影像,此類單元影像可以被排除。
更者,當觀看立體影像的觀看者相對影像顯示裝置移動位置時,示意圖如圖6所示,顯示有觀看者在位置6觀看影像顯示裝置產生立體影像「3D」,此立體影像由經過多光學元件模組2中多個透鏡部22重建的多個區域(area)的平面影像所組成。
當觀看者在一個可視範圍內從原本第一位置6移動到第二位置6’,在其視覺上會從立體影像「3D」的一個區塊移到另一個區塊,若影像中畫素與畫素之間在某些位置差異過大,將會在視覺
上會產生跳動而不自然的現象,根據立體影像調整方法的實施例,主要可通過調整單元影像(element image)本身的平滑度,讓影像不會因為鄰近畫素差異過大發生影像不自然的問題。
通過調整單元影像的方式達到某種程度的平滑度以解決影像畫素差異過大的問題,相關實施方式係以軟體程序實現,由顯示裝置中的影像處理單元執行的流程可參考圖7所示流程實施例。
其中立體影像調整方法的主要概念是,因為在觀看由顯示裝置呈現出的立體影像的觀看者移動時,包括左右、前後或上下移動,期間產生色塊的切換(flipping),視覺上會從立體影像的一個區塊移到另一個區塊(area),會因為形成立體影像的二維影像上的色塊之間的畫素差異過大在視覺上看到影像跳動或錯誤,而方法的主要概念是調整形成集成影像的單元影像的畫素差異,適度增加平滑度,讓影像不會因為畫素差異過大發生影像不自然的問題。然而,要注意的是,調整平滑度也不能過度而失出立體影像的效果,如選取範圍過小,因此步驟當中在選取單元影像的一維畫素的一範圍畫素以及切割多個區域時,需要考量整體顯示環境的需要,也就是涉及顯示裝置中多光學元件有關的物理資訊。
根據圖7顯示流程實施例,一開始,如步驟S701,取得呈現立體影像的集成影像,集成影像由多個對應顯示裝置中多光學元件中各透鏡組的單元影像所組成,單元影像一般為二維影像(MxN pixels),因此所揭示立體影像調整方法應用於單元影像的兩個維度的畫素。
再如步驟S703,通過軟體程序得出每個單元影像的畫素值,畫素值一般可指色彩值與亮度值,接著,如步驟S705,方法可設定一個選取窗,自動根據顯示環境與需求選取單元影像的一維畫素的某一個範圍畫素;同時,或是不同步驟中,如步驟S707,將單元影像的一維畫素區分為多個區域,多個區域可以為平均等分,或是不等分的區分。
之後,如步驟S709,用選取的畫素填到每個區域,根據實施例之一,可以將選取的畫素的畫素值以遞增或遞減方式填到每個單元影像的一維畫素區所區分的多個區域中,填入的方式也不排除可以在區域內搭配連續重複的畫素值,即如步驟S711,可以上述幾種方式的組合填入選取的畫素值以形成一新的單元影像。這個新的單元影像也就是經過平滑度調整過的單元影像,再經反覆選取各單元影像中各個一維畫素的一個範圍畫素,以及將選取畫素的畫素值填到各單元影像的各個一維畫素的多個區域中,能形成一新的集成影像。
通過新的集成影像重建立體影像,其中光線由集成影像產生,經過多個透鏡組組成的透鏡矩陣(多光學元件模組)投射出來,光線受到多光學元件模組的物理特性(如材質與透鏡曲率)造成的折射率與穿透性改變,這部分也是影像調整步驟中選取畫素範圍與切割區域的主要考量之一,之後配合透鏡矩陣的透鏡組數量與排列方式,以及顯示面板的設置,能決定立體影像的高度、可視角度範圍及清晰度等三維影像內容。
所述畫素值如色彩值與亮度值,每個畫素可有各自的色彩值,如採三原色顯示,分成紅、綠、藍三種子像素(RGB色域),另可採用青、品紅、黃和黑(CMYK色域)。
經前述立體影像調整方法可以形成新的單元影像與集成影像,同理可以適用各單元影像的另一維度的畫素,選定特定範圍的畫素主要是依照硬體的特性選擇,如圖8所示一個單元影像的畫素示意圖,一個單元影像具有兩個維度的畫素,每個維度的畫素可以編號,如圖9所示取出單元影像畫素填回多個區域的實施例示意圖。
圖9示意顯示有一維畫素90,其中畫素順序編號自1至30,根據需要,軟體程序設有一選取窗,以決定當中的一個範圍的畫素,如選取畫素901,選擇靠近中間的畫素理由之一是這段畫素包
括了較完整的影像資訊,但仍可依據實際需求選擇其他範圍的畫素。
此例中,選取畫素901涵蓋了10個畫素,而單元影像將在這個維度上區分為多個區域(zone),此例形成回填區902,903,904,再將選取窗內的畫素重新回填每個區域,實施例之一係將選取的畫素的畫素值係依照畫素編號以遞減與遞增方式順序填到回填區902,903,904。此例顯示回填區902是以遞減方式從畫素編號20填到畫素編號11;回填區903是以遞增方式從畫素編號11填到編號20;回填區904再以遞減方式從畫素編號20填到畫素編號11。如此可見,在幾個回填區902,903,904的鄰接處有相近的畫素值,並接著套用在其他列的畫素,整體來看,可以有效調整單元影像的平滑度。
在其中回填選取窗的畫素值的步驟中,回填的方式包括漸增、漸減等順序,實際實施時並不限制特定方式。
圖10顯示取出單元影像畫素填回多個區域的另一實施例示意圖,此例顯示從一維畫素100(畫素編號1到30)中選擇出選取一個區間的畫素101,此例也是選擇靠近中間區域的畫素,而區分的區域並不是照等比例,形成回填區102,103,104。
同理,此例顯示回填區102是以遞減方式從畫素編號20填到畫素編號12,其中畫素值可以不用連續,而使得與相鄰區域(如回填區103)之間的邊界畫素值差異在一特定範圍內;回填區103是以遞增方式從畫素編號11填到編號20,其中也可能具有連續重複的畫素;回填區104再以遞減方式從畫素編號20填到畫素編號15。如此可見,在幾個回填區102,103,104的鄰接處仍然具有相近的畫素值,並接著套用在其他列的畫素,有效調整單元影像的平滑度。
圖11顯示一維畫素110(畫素編號1到30),從中選取出一個區間的畫素111,原一維畫素110則區分為回填區112,113與
114。要形成一個新的單元影像,在此實施例中,各一維畫素110中的個別區域可以遞增、遞減或連續重複畫素值(也就是小範圍內回填連續多個重複的畫素值),或是其任意組合的方式回填畫素值,而各回填區與其相鄰區域的邊界畫素值實質上不能差異太大。在此一提的是,實際實施產生新的單元影像時,在每個一維畫素中的個別回填區內以遞增、遞減與連續重複(相同畫素值)的方式回填畫素值時,可以任意組合遞增、遞減與連續重複畫素值這幾種回填方式的次數與前後順序。
此例中,回填區112是以遞減方式從畫素編號20填到畫素編號12,其中畫素值可以不用連續;回填區113則是在一個區域內以搭配遞增、遞減與重複畫素值的方式回填畫素值,如此例中各回填畫素編號為13,14,15,16,16,16,17,17,17,15,14,13,15,15,15,15,17,19,其中包括有遞增或遞減畫素值的排列,同時搭配有連續重複的畫素值,如連續畫素編號16,17與15;回填區114則是以遞增方式回填畫素值。同理,在回填區112,113,114的鄰接處填入在一定範圍內相近的畫素值,可調整單元影像的平滑度。
整體來看,選取窗(901,101)的決定仍有考量是否消除了影像中的立體資訊,若取太小,平滑化(smooth)過多了,影響立體的效果,若取太大,又不能解決視覺上的問題。
是以,根據揭露書所載實施例,所提出的立體影響調整方法,以及實現此方法的顯示裝置主要是從調整單元影像的方式著手,通過平滑化每個單元影像,產生經過平滑化的集成影響,以產生最終經過平滑化調整的立體影像,可有效解決畫素之間差異過大而影響觀看者視覺上不自然的問題。
以上所述僅為本發明之較佳可行實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
Claims (10)
- 一種立體影像調整方法,包括:取得一集成影像,該集成影像由多個單元影像組成,通過一透鏡陣列重建一立體影像;取得每個單元影像的畫素值;自每個單元影像的一維畫素中選取一個範圍的畫素;將選取的畫素的畫素值以遞增、遞減或連續重複畫素值,或是以任意組合的方式填到每個單元影像的一維畫素區所區分的多個區域中,以形成一新的單元影像;以及經反覆選取各單元影像中各個一維畫素的一個範圍畫素,以及將選取畫素的畫素值填到各單元影像的各個一維畫素的多個區域中,形成一新的集成影像。
- 如請求項1所述的立體影像調整方法,其中該單元影像為一二維影像,該立體影像調整方法應用於該單元影像的兩個維度的畫素。
- 如請求項2所述的立體影像調整方法,其中該畫素值係包括色彩值與亮度值。
- 如請求項2所述的立體影像調整方法,其中,將選取的畫素的畫素值係依照畫素編號以遞減、遞增並搭配連續重複畫素值的方式順序填到每個單元影像的一維畫素區所區分的各個區域中。
- 如請求項1至4其中之一所述的立體影像調整方法,其中自每個單元影像的一維畫素中選取畫素的範圍係根據顯示該立體影像的一顯示裝置中的多光學元件的物理資訊所決定。
- 如請求項5所述的立體影像調整方法,其中該多光學元件有關的物理資訊至少包括一投射該立體影像的空間位置與各光學元件之間的空間關係,以及各光學元件與該顯示裝置中一顯示面板的空間關係。
- 如請求項5所述的立體影像調整方法,其中,形成該集成影像的方法包括:接收一立體影像資訊;根據該立體影像資訊建立一空間相對關係;取得與一顯示裝置中多光學元件有關的物理資訊;根據該空間相對關係以及該多光學元件有關的物理資訊演算對應各光學元件的該單元影像;以及對應該多光學元件的多個單元影像形成提供該顯示裝置顯示的該集成影像,該集成影像通過該多光學元件顯示該立體影像。
- 一種顯示裝置,包括:一多光學元件模組,用以呈現一立體影像;一顯示單元,用以顯示一集成影像,通過該多光學元件模組呈現該立體影像;一顯示驅動單元,用以驅動該顯示單元顯示該集成影像;以及一影像處理單元,用以執行一立體影像調整方法,包括:取得該集成影像,該集成影像由多個單元影像組成;取得每個單元影像的畫素值;自每個單元影像的一維畫素中選取一個範圍的畫素;將選取的畫素的畫素值以遞增、遞減或連續重複畫素值,或是以任意組合的方式填到每個單元影像的一維畫素區所區分的多個區域中,以形成一新的單元影像;以及經反覆選取各單元影像中各個一維畫素的一個範圍畫素,以及將選取畫素的畫素值填到各單元影像的各個一維畫素的多個區域中,形成一新的集成影像。
- 如請求項8所述的顯示裝置,其中自每個單元影像的一維畫素 中選取畫素的範圍係根據顯示該立體影像的該顯示裝置中的多光學元件的物理資訊所決定。
- 如請求項9所述的顯示裝置,其中該多光學元件模組有關的物理資訊至少包括一投射該立體影像的空間位置與各光學元件之間的空間關係,以及各光學元件與該顯示單元中一顯示面板的空間關係;其中該光學元件為一透鏡組,該透鏡組由一或多個凸透鏡與凹透鏡組成,該多光學元件形成一透鏡矩陣。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107101243A TWI661391B (zh) | 2018-01-12 | 2018-01-12 | 立體影像調整方法與顯示裝置 |
US15/922,022 US10473945B2 (en) | 2018-01-12 | 2018-03-15 | Method for tuning a three-dimensional image and a display apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107101243A TWI661391B (zh) | 2018-01-12 | 2018-01-12 | 立體影像調整方法與顯示裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI661391B TWI661391B (zh) | 2019-06-01 |
TW201931311A true TW201931311A (zh) | 2019-08-01 |
Family
ID=67213845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107101243A TWI661391B (zh) | 2018-01-12 | 2018-01-12 | 立體影像調整方法與顯示裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10473945B2 (zh) |
TW (1) | TWI661391B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI782384B (zh) * | 2021-01-06 | 2022-11-01 | 幻景啟動股份有限公司 | 浮空影像系統 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11425363B2 (en) * | 2020-04-09 | 2022-08-23 | Looking Glass Factory, Inc. | System and method for generating light field images |
CN116601533A (zh) * | 2020-12-11 | 2023-08-15 | 罗灵光学创新有限公司 | 制造具有连续动画的合成图像 |
WO2022225977A1 (en) | 2021-04-19 | 2022-10-27 | Looking Glass Factory, Inc. | System and method for displaying a three-dimensional image |
TWI866367B (zh) * | 2023-08-02 | 2024-12-11 | 友達光電股份有限公司 | 立體顯示裝置及立體顯示方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5090337B2 (ja) * | 2005-04-08 | 2012-12-05 | リアルディー インコーポレイテッド | 平面パススルーを有する自動立体ディスプレイ |
KR102218777B1 (ko) | 2014-09-11 | 2021-02-19 | 엘지디스플레이 주식회사 | 무안경 입체영상표시장치 |
KR102284841B1 (ko) * | 2014-12-26 | 2021-08-03 | 엘지디스플레이 주식회사 | 무안경 입체영상표시장치 |
CN108432245B (zh) * | 2015-12-29 | 2021-03-02 | 皇家飞利浦有限公司 | 自动立体显示设备和显示方法 |
TWI614533B (zh) * | 2016-02-01 | 2018-02-11 | 群睿股份有限公司 | 立體顯示裝置 |
KR102670407B1 (ko) * | 2016-12-26 | 2024-05-30 | 엘지디스플레이 주식회사 | 무안경 입체 영상 표시장치 |
-
2018
- 2018-01-12 TW TW107101243A patent/TWI661391B/zh active
- 2018-03-15 US US15/922,022 patent/US10473945B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI782384B (zh) * | 2021-01-06 | 2022-11-01 | 幻景啟動股份有限公司 | 浮空影像系統 |
Also Published As
Publication number | Publication date |
---|---|
TWI661391B (zh) | 2019-06-01 |
US10473945B2 (en) | 2019-11-12 |
US20190219832A1 (en) | 2019-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI665905B (zh) | 立體影像產生方法、成像方法與系統 | |
TWI661391B (zh) | 立體影像調整方法與顯示裝置 | |
KR102121389B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
CN104079919B (zh) | 使用主动亚像素渲染的高密度多视点图像显示系统及方法 | |
JP3966830B2 (ja) | 立体表示装置 | |
KR102030830B1 (ko) | 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
JP6517245B2 (ja) | 三次元画像を生成するための方法及び機器 | |
TWI420152B (zh) | A Method of Multi - view Three - dimensional Image Display | |
KR102143473B1 (ko) | 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 | |
CN111869202B (zh) | 用于减少自动立体显示器上的串扰的方法 | |
KR20150144439A (ko) | 입체 영상 표시 장치 | |
CN208257981U (zh) | 一种基于子像素的led裸眼3d显示装置 | |
CN105158915B (zh) | 一种基于三合一led裸眼3d显示装置及制备方法 | |
CN106463087A (zh) | 用于显示器的驱动值的生成 | |
US10986329B2 (en) | Autostereoscopic 3-dimensional display | |
CN109782452B (zh) | 立体影像产生方法、成像方法与系统 | |
KR101975246B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
KR101957243B1 (ko) | 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 | |
CN108769656B (zh) | 基于虚拟子像素的三合一led裸眼3d显示装置及方法 | |
CN110072098B (zh) | 立体影像调整方法与显示设备 | |
KR102271171B1 (ko) | 무안경 다시점 3d 디스플레이 장치 및 그의 영상 처리 방법 | |
TWI771969B (zh) | 適應眼睛位置的立體影像數據的產生方法與顯示系統 | |
JP5928280B2 (ja) | 多視点画像生成装置及び方法 | |
KR20160051404A (ko) | 무안경 입체영상표시장치 및 그 구동방법 | |
CN106291952B (zh) | 一种裸眼3d图像的显示方法、装置及液晶显示屏 |