[go: up one dir, main page]

TWI387934B - 多視角影像之建構方法及系統 - Google Patents

多視角影像之建構方法及系統 Download PDF

Info

Publication number
TWI387934B
TWI387934B TW098146266A TW98146266A TWI387934B TW I387934 B TWI387934 B TW I387934B TW 098146266 A TW098146266 A TW 098146266A TW 98146266 A TW98146266 A TW 98146266A TW I387934 B TWI387934 B TW I387934B
Authority
TW
Taiwan
Prior art keywords
view image
image
threads
view
new
Prior art date
Application number
TW098146266A
Other languages
English (en)
Other versions
TW201123072A (en
Inventor
Ludovic Angot
wei hao Huang
wei jia Huang
Kai Che Liu
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW098146266A priority Critical patent/TWI387934B/zh
Priority to US12/752,600 priority patent/US20110157311A1/en
Priority to US13/110,105 priority patent/US20110216065A1/en
Publication of TW201123072A publication Critical patent/TW201123072A/zh
Application granted granted Critical
Publication of TWI387934B publication Critical patent/TWI387934B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

多視角影像之建構方法及系統
本發明是有關於一種影像之建構方法及系統,且特別是有關於一種多視角影像之建構方法及系統。
數位影像具有「不浪費底片、不佔空間、永不褪色、容易儲存、方便攜帶、容易編修」等優點,使得數位影像已經逐漸取代傳統底片所拍攝之照片。
隨著數位影像科技的發展,各種影像編修技術也不斷的發展。透過影像編修技術可以美化照片,或者加入有趣的圖案,甚至是編修成一多視角立體影像。
然而,多視角立體影像的建構方法相當的複雜。以目前的處理技術而言,許多無法有效地提升處理速度,使得多視角立體影像仍然無法普遍被接受。
本發明係有關於一種多視角影像之建構方法及系統,其利用平行處理之方式來提升多視角影像之處理速度。
根據本發明之一方面,提出一種多視角影像之建構方法。多視角影像之建構方法包括以下步驟。一影像擷取單元提供一張原始影像及此原始影像之深度資訊。一處理單元之數個執行緒(Threads)依據深度資訊,以平行處理之方式對原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像。新視角影像之視角與原始影像之視角不同。各個執行緒以平行處理之方式對原始影像及新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像。
根據本發明之另一方面,提出一種多視角影像之建構系統。多視角影像之建構系統包括一影像擷取單元及一處理單元。影像擷取單元用以提供一張原始影像及此原始影像之深度資訊。處理單元具有數個執行緒(Threads)。其中此些執行緒依據深度資訊以平行處理之方式對原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像。新視角影像之視角與原始影像之視角不同。此些執行緒以平行處理之方式對原始影像及新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像。
為讓本發明之上述內容能更明顯易懂,下文特舉各種實施例,並配合所附圖式,作詳細說明如下:
以下係提出實施例進行詳細說明,實施例僅用以作為範例說明,並不會限縮本發明欲保護之範圍。此外,實施例中之圖式係省略不必要之元件,以清楚顯示本發明之技術特點。
第一實施例
請參照第1圖,其繪示原始影像P0之示意圖。當拍攝者從某一角度拍攝一張原始影像P0時,每一個景物距離拍攝者的距離不同。舉例來說,第1圖之第一景物A1是距離拍攝者最近的景物,第二景物A2是距離拍攝者最遠的景物。
請參照第2圖,其繪示不同視角的示意圖。拍攝者拍攝原始影像P0時在視角C0。當拍攝者移動至視角C1+~C4+或視角C1-~C4-時,第一景物A1與第二景物A2會在畫面上左右移動。
舉例來說,第3圖繪示拍攝者往右移動之新視角影像P4+之示意圖。由於第1圖之第一景物A1靠近原始影像P0的左側,且第二景物A2靠近原始影像P0的右側,隨著拍攝者往右移動,第一景物A1會往左移動,第二景物A2則會往右移動。
第4圖繪示拍攝者往左移動之新視角影像P4-之示意圖。隨著拍攝者往左移動時,第一景物A1會往右移動,第二景物A2則會往左移動。
請參照第5圖,其繪示原始影像P0、新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+及多視角影像PM之關係圖。透過像素平移程序(Pixel Rendering),可將原始影像P0的每一像素平移至適當的位置,以順利建構出新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+。在像素平移過程中,新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+可能會出現缺口G(如第3圖所示)的現象,此時則可透過像素插補程序(Hole Filling)來填補缺口G。然後,多張新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+及原始影像P0可以透過交錯排列程序(View Interlace)後,即可組合成一張多視角影像PM。也就是說,可以在一張多視角影像PM上看到不同視角的影像。
請參照第6A圖,其繪示本發明第一實施例之多視角影像建構系統100之示意圖。多視角影像建構系統100包括一影像擷取單元110及一處理單元120。影像擷取單元110例如是一照相機、一攝影機或連接影像儲存媒體之連接埠。當影像擷取單元110為照相機或攝影機時,原始影像P0可以由照相機或攝影機即時擷取。當影像擷取單元110為連接埠時,原始影像P0可以預先儲存於影像儲存媒體,再透過連接埠來擷取。處理單元120具有數個執行緒(Threads)121。處理單元120例如是至少一個單核心處理器之組合、至少一個雙核心處理器之組合或至少一個多核心處理器之組合。
本實施例係採用平行處理之方式來建構多視角影像PM(繪示於第10圖)。請參照第6B圖,其繪示本發明第一實施例之多視角影像PM之建構方法的流程圖。以下更搭配一流程圖詳細說明本實施例之多視角影像PM之建構方法。
首先,在步驟S101中,影像擷取單元110提供原始影像P0及原始影像P0之深度資訊。
接著,在步驟S102中,處理單元120之執行緒121依據深度資訊,以平行處理之方式對原始影像P0之至少一列像素進行像素平移程序(Pixel Rendering)及像素插補程序(Hole Filling),以形成至少一張新視角影像。在本實施例中,此步驟係形成多張新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+為例做說明。
請參照第7圖,其繪示兩種原始影像P0’、P0”在左右不同視角之示意圖。如第7圖之案例一所示,在視角C0之原始影像P0’中,前景物A1’在左側,後景物A2’在右側。當拍攝者移動至視角C4-時,前景物A1’與後景物A2’會靠近。所以,在視角C4-的新視角影像P4-’中,前景物A1’與後景物A2’將產生遮蔽效應。為了讓前景物A1’遮蔽後景物A2’,因此在執行像素平移程序時,可以先平移原始影像P0’的後景物A2’,再平移原始影像P0’的前景物A1’。也就是以由右向左之方向來進行像素平移程序。
再如第7圖之案例一所示,當拍攝者移動至視角C4+時,前景物A1’與後景物A2’會分離,而產生缺口G。缺口G的內容大多為後景物A2’,因此在執行像素差補程序時,可以先採用新視角影像P4+’之後景物A2’來填補缺口G。也就是以由右向左之方向來進行像素插補程序。
再如第7圖之案例二所示,在視角C0之原始影像P0”中,前景物A1”在右側,後景物A2”在左側。當拍攝者移動至視角C4-時,前景物A1”與後景物A2”會分離,而產生缺口G。缺口G的內容大多為後景物A2”,因此在執行像素差補程序時,可以先採用新視角影像P4-”中鄰近缺口G之後景物A2”來填補缺口G。也就是以由左向右之方向來進行像素插補程序。
再如第7圖之案例二所示,當拍攝者移動至視角C4+時,前景物A1”與後景物A2”會靠近,而產生遮蔽效應。為了讓前景物A1”遮蔽後景物A2”,因此在執行像素平移程序時,可以先平移原始影像P0”的後景物A2”,再平移原始影像P0”的前景物A1”。也就是以由左向右之方向來進行像素平移程序。
上述像素平移程序與像素插補程序整理成如以下表一:
在一張原始影像中,可能不止一個前景影像及一個後景物影像。一個前景物可能在某一個後景物的左側,也可能同時在另一個後景物的右側。因此,當拍攝者移動至新視角時,可能會同時出現遮蔽效應及缺口效應。因此,在建構新視角影像時,遮蔽效應及缺口效應皆為必須處理的事項。
請參照第8A~8B圖,其分別繪示在某一新視角影像採用像素平移程序與像素插捕程序之方向示意圖。根據上述表一,我們可以發現:不論原始影像P0的景物關係多麼複雜,在視角C4-時,均可採用由右至左之方向來進行像素平移程序(如第8A圖所示),然後再採用由左至右之方向來進行像素插補程序(如第8B圖所示),即可處理完畢所有可能的遮蔽效應與缺口效應。請參照第9圖,其繪示第8A~8B圖之新視角影像於同一步驟完成像素平移程序與像素插捕程序之方向示意圖。由於像素平移程序與像素插捕程序之方向剛好相反,因此可以將像素平移程序與像素插補程序合併運作。如此一來,即可在同一步驟完成像素平移程序與像素插補程序。
另外,在視角C4+時,則可採用由左至右之方向來進行像素平移程序,然後再採用由右至左之方向來進行像素插補程序。同樣地,由於像素平移程序與像素插捕程序之方向剛好相反,因此可以將像素平移程序與像素插補程序合併運作。如此一來,即可在同一步驟完成像素平移程序與像素插補程序。
所以,在此步驟中,每一執行緒121只需朝一方向進行像素平移程序,再朝相反之另一方向進行像素插補程序,即可在同一步驟完成像素平移程序及像素插補程序。
此外,本實施例係採用多個執行緒121來進行像素平移程序及像素插補程序。每一執行緒121可以對應於一列或數列像素。每一執行緒121可以同時處理像素平移程序及像素插補程序,以增加處理速度。若執行緒121之數目係為原始影像P0之列數,則每一執行緒121對應於原始影像P0之其中一列,以使原始影像P0的每一列均可同時進行像素平移程序及像素插補程序。
再者,一張原始影像P0可以建構出多張不同視角新視角影像。若執行緒121之數目係為原始影像之列數與新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+之張數的乘積,則每一新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+的每一列均可同時進行像素平移程序及像素插補程序。
然後,在步驟S104中,各個執行緒121以平行處理之方式對原始影像P0及此些新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像PM。
請參照第10圖,其繪示第一實施例之原始影像P0及多張新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+進行交錯排列程序之示意圖。(0,0,C4-,R)代表視角C4-之新視角影像P4-位於座標(0,0)之紅色像素,(0,0,C4-,G)代表視角C4-之新視角影像P4-位於座標(0,0)之綠色像素,(0,0,C4-,B)代表視角C4-之新視角影像P4-位於座標(0,0)之藍色像素,依此類推。原始影像P0及此些新視角影像P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+之像素係以階梯狀結構排列而組成一張多視角影像PM。
多視角影像PM之排列方式取決於顯示器的解析度、選用哪些視角、選用新視角影像中的那個位置及選用哪些顏色。本實施例係採用多個執行緒121來平行處理交錯排列程序。若執行緒121之數目係為多視角影像PM之列數、多視角影像PM之行數與原色數量的乘積時,多視角影像PM之每一像素均可同時完成交錯排列程序。
在第一實施例執行交錯排列程序(Interlace)之後,可能會產生鉅齒效應,因此可以先將各個新視角影像之解析度與最終之多視角影像PM之解析度調整一致,再進行交錯排列程序。如此一來,可以有效低減少鉅齒效應。
舉例來說,當每個新視角影像之解析度與最終之多視角影像PM之解析度調整至一致時,多視角影像PM之像素位置可以直接對應到各個新視角的像素位置,以減少鉅齒效應。
第二實施例
請參照第11圖,其繪示左眼視角影像PL及右眼視角影像PR進行交錯排列程序之示意圖。本實施例與第一實施例不同之處在於採用兩張不同視角之影像來組成一張多視角影像,其餘相同之處不再重述。
如第11圖所示,此些執行緒121將左眼視角影像PL之奇數列排列於多視角影像PM’之奇數列,並將右眼視角影像PR之偶數列排列於多視角影像PM’之偶數列。如此一來,使用者可以利用左右偏光鏡片來觀看到立體影像。
在另一實施例中,此些執行緒121亦可以將左眼視角影像PL之奇數列排列於多視角影像PM’之偶數列,並將右眼視角影像PR之偶數列排列於多視角影像PM’之奇數列。採用這樣的方式也可以達到立體影像的效果。
在另一實施例中,此些執行緒121亦可以將左眼視角影像PL之偶數列排列於多視角影像PM’之偶數列,並將右眼視角影像PR之奇數列排列於多視角影像PM’之奇數列。採用這樣的方式也可以達到立體影像的效果。
在另一實施例中,此些執行緒121亦可以將左眼視角影像PL之偶數列排列於多視角影像PM’之奇數列,並將右眼視角影像PR之奇數列排列於多視角影像PM’之偶數列。採用這樣的方式也可以達到立體影像的效果。
請參照第12圖,其繪示原始影像P0及一張新視角影像PN進行交錯排列程序之示意圖。在另一實施例中,此些執行緒121也可將原始影像P0及新視角影像PN組成一張多視角影像PM”。如第12圖所示,此些執行緒121將原始影像P0之奇數列排列於多視角影像之奇數列,並將新視角影像PN之偶數列排列於多視角影像PM”之偶數列。如此一來,使用者也可以利用左右偏光鏡片來觀看到立體影像。
在另一實施例中,此些執行緒121亦可將原始影像P0之奇數列排列於多視角影像PM”之偶數列,並將新視角影像PN之偶數列排列於多視角影像PM”之奇數列。採用這樣的方式也可以達到立體影像的效果。
在另一實施例中,此些執行緒121亦可將原始影像P0之偶數列排列於多視角影像PM”之偶數列,並將新視角影像PN之奇數列排列於多視角影像PM”之奇數列。採用這樣的方式也可以達到立體影像的效果。
在另一實施例中,此些執行緒121亦可將原始影像P0之偶數列排列於多視角影像PM”之奇數列,並將新視角影像PN之奇數列排列於多視角影像PM”之偶數列。採用這樣的方式也可以達到立體影像的效果。
在本實施例中,像素插補程序可以取缺口附近的像素來填補缺口,所以可以直接在交錯排列程序時,同時進行像素插補程序。
其中,本實施例採用兩張不同視角之影像來組成一張多視角影像係可利用一編程介面系統來快速進行交錯排列程序。編程介面系統例如是OpenGL(Open Graphics Library)。請參照第13圖,其繪示利用編程介面系統進行交錯排列程序之示意圖。以下係以上述左眼視角影像PL及右眼視角影像PR為例做說明。首先,此些執行緒121將左眼視角影像PL及右眼視角影像PR各自顯示於OpenGL的模板快取(Stencil Buffer)91。其中,左眼視角影像PL顯示於通道0,右眼視角影像PR顯示於通道1。然後,將模板塊取91之資料繪製到OpenGL的後框架緩衝(back frame buffer)92。接著,此些執行緒121再將後框架緩衝92之資料交換(swap)至前框架緩衝(front frame buffer)93。然後,此些執行緒121即可將交錯排列程序後的多視角影像PM顯示出來。
雖然上述編程介面系統之運作係以左眼視角影像PL及右眼視角影像PR為例做說明,然而編程介面系統亦可應用於上述新視角影像PN及原始影像PO。
綜上所述,雖然本發明已以各種實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100...多視角影像之建構系統
110...影像擷取單元
120...處理單元
121...執行緒
91...模板快取
92...後框架緩衝
93...前框架緩衝
A1...第一景物
A1’、A1”...前景物
A2...第二景物
A2’、A2”...後景物
C4-、C3-、C2-、C1-、C0、C1+、C2+、C3+、C4+...視角
G...缺口
P0、P0’、P0”...原始影像
P4-、P3-、P2-、P1-、P1+、P2+、P3+、P4+、P4-”、P4+”、PN...新視角影像
PL...左眼視角影像
PM、PM’、PM”...多視角影像
PR...右眼視角影像
S101、S102、S104...流程步驟
第1圖繪示原始影像之示意圖;
第2圖繪示不同視角的示意圖;
第3圖繪示拍攝者往右移動之新視角影像之示意圖;
第4圖繪示拍攝者往左移動之新視角影像之示意圖;
第5圖繪示原始影像、新視角影像及多視角影像之關係圖;
第6A圖繪示本發明第一實施例之多視角影像之建構系統之示意圖;
第6B圖繪示本發明第一實施例之多視角影像之建構方法的流程圖;
第7圖繪示兩種原始影像在左右不同視角之示意圖
第8A~8B圖分別繪示在某一新視角影像採用像素平移程序與像素插捕程序之方向示意圖;
第9圖繪示第8A~8B圖之新視角影像於同一步驟完成像素平移程序與像素插捕程序之方向示意圖;
第10圖繪示第一實施例之原始影像及多張新視角影像進行交錯排列程序之示意圖;
第11圖繪示第二實施例之左眼視角影像及右眼視角影像進行交錯排列程序之示意圖;
第12圖繪示第三實施例之原始影像及一張新視角影像進行交錯排列程序之示意圖;以及
第13圖繪示利用編程介面系統進行交錯排列程序之示意圖。
S101、S102、S104...流程步驟

Claims (36)

  1. 一種多視角影像之建構方法,包括:一影像擷取單元提供一張原始影像及該原始影像之深度資訊;一處理單元之複數個執行緒(Threads)依據該深度資訊,以平行處理之方式對該原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像,該新視角影像之視角與該原始影像之視角不同;以及該些執行緒以平行處理之方式對該原始影像及該新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像,其中該原始影像及該新視角影像之至少一個像素係以一階梯狀結構排列而組成該多視角影像。
  2. 如申請專利範圍第1項所述之多視角影像之建構方法,其中各該執行緒係在同一步驟完成該像素平移程序及該像素插補程序。
  3. 如申請專利範圍第1項所述之多視角影像之建構方法,其中各該執行緒係朝一方向進行該像素平移程序,各該執行緒係朝相反之另一方向進行該像素插補程序。
  4. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該新視角影像為該原始影像之右邊時,各該執行緒係由左往右進行該像素平移程序。
  5. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該新視角影像為該原始影像之左邊時,各該執 行緒係由右往左進行該像素平移程序。
  6. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該新視角影像為該原始影像之右邊時,各該執行緒係由右往左進行該像素插補程序。
  7. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該新視角影像為該原始影像之左邊時,各該執行緒係由左往右進行該像素插補程序。
  8. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該執行緒之數目係由該原始影像之列數及該些新視角影像之張數來決定。
  9. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該執行緒之數目係為該原始影像之列數與該些新視角影像之張數的乘積。
  10. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該執行緒之數目係由該多視角影像之列數、該多視角影像之行數及原色數量來決定。
  11. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該執行緒之數目係為該多視角影像之列數、該多視角影像之行數與原色數量的乘積。
  12. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該些新視角影像係為一左眼視角影像及一右眼視角影像,該交錯排列程序之步驟包括:該些執行緒顯示該左視角影像及該右視角影像於一模板快取;該些執行緒將模板塊取之資料繪製到一後框架緩 衝;以及該些執行緒將該後框架緩衝之資料交換至一前框架緩衝。
  13. 如申請專利範圍第1項所述之多視角影像之建構方法,其中該交錯排列程序之步驟包括:該些執行緒顯示該新視角影像及該原始影像於一模板快取(Stencil Buffer);該些執行緒將該模板塊取之資料繪製到一後框架緩衝(back frame buffer);以及該些執行緒將該後框架緩衝之資料交換至一前框架緩衝(front frame buffer)。
  14. 一種多視角影像之建構系統,包括:一影像擷取單元,用以提供一張原始影像及該原始影像之深度資訊;以及一處理單元,具有複數個執行緒(Threads),其中該些執行緒依據該深度資訊以平行處理之方式對該原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像,該新視角影像之視角與該原始影像之視角不同;並且該些執行緒以平行處理之方式對該原始影像及該新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像,其中該原始影像及該新視角影像之至少一個像素係以一階梯狀結構排列而組成該多視角影像。
  15. 如申請專利範圍第14項所述之多視角影像之建構系統,其中各該執行緒係在同一步驟完成該像素平移程序及該像素插補程序。
  16. 如申請專利範圍第14項所述之多視角影像之建構系統,其中各該執行緒係朝一方向進行該像素平移程序,各該執行緒係朝相反之另一方向進行該像素插補程序。
  17. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該新視角影像為該原始影像之右邊時,各該執行緒係由左往右進行該像素平移程序。
  18. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該新視角影像為該原始影像之左邊時,各該執行緒係由右往左進行該像素平移程序。
  19. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該新視角影像為該原始影像之右邊時,各該執行緒係由右往左進行該像素插補程序。
  20. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該新視角影像為該原始影像之左邊時,各該執行緒係由左往右進行該像素插補程序。
  21. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該執行緒之數目係有關於該原始影像之列數及該些新視角影像之張數。
  22. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該執行緒之數目係為該原始影像之列數與該些新視角影像之張數的乘積。
  23. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該執行緒之數目係有關於該多視角影像之列數、該多視角影像之行數及原色數量。
  24. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該執行緒之數目係為該多視角影像之列數、該多視角影像之行數與原色數量的乘積。
  25. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該些新視角影像係為一左眼視角影像及一右眼視角影像,並且該些執行緒顯示該左視角影像及該右視角影像於一模板快取;該些執行緒將模板塊取之資料繪製到一後框架緩衝;該些執行緒將該後框架緩衝之資料交換至一前框架緩衝。
  26. 如申請專利範圍第14項所述之多視角影像之建構系統,其中該些執行緒顯示該新視角影像及該原始影像於一模板快取;該些執行緒將該模板塊取之資料繪製到一後框架緩衝;以及該些執行緒將該後框架緩衝之資料交換至一前框架緩衝。
  27. 一種多視角影像之建構方法,包括:一影像擷取單元提供一張原始影像及該原始影像之深度資訊; 一處理單元之複數個執行緒(Threads)依據該深度資訊,以平行處理之方式對該原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像,該新視角影像之視角與該原始影像之視角不同;以及該些執行緒以平行處理之方式對該原始影像及該新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像,其中在進行該交錯排列程序之步驟中:該些執行緒顯示該新視角影像及該原始影像於一模板快取(Stencil Buffer),或該些執行緒顯示一左視角影像及一右視角影像於一模板快取;該些執行緒將該模板塊取之資料繪製到一後框架緩衝(back frame buffer);以及該些執行緒將該後框架緩衝之資料交換至一前框架緩衝(front frame buffer)。
  28. 如申請專利範圍第27項所述之該交錯排列程序之步驟,其中該左視角影像之奇數列與該右視角影像之偶數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  29. 如申請專利範圍第27項所述之該交錯排列程序之步驟,其中該左視角影像之偶數列與該右視角影像之奇數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  30. 如申請專利範圍第27項所述之該交錯排列程 序之步驟,其中該新視角影像之偶數列與該原始影像之奇數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  31. 如申請專利範圍第27項所述之該交錯排列程序之步驟,其中該新視角影像之奇數列與該原始影像之偶數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  32. 一種多視角影像之建構系統,包括:一影像擷取單元,用以提供一張原始影像及該原始影像之深度資訊;以及一處理單元,具有複數個執行緒(Threads),其中該些執行緒依據該深度資訊以平行處理之方式對該原始影像之至少一列像素進行一像素平移程序(Pixel Rendering)及一像素插補程序(Hole Filling),以形成至少一張新視角影像,該新視角影像之視角與該原始影像之視角不同;並且該些執行緒以平行處理之方式對該原始影像及該新視角影像之至少一個像素進行一交錯排列程序(View Interlace),以形成一張多視角影像,其中該些新視角影像係為一左視角影像及一右視角影像,並且該些執行緒顯示該左視角影像及該右視角影像於一模板快取,或該些執行緒顯示該新視角影像及該原始影像於一模板快取;該些執行緒將該模板塊取之資料繪製到一後框架緩 衝;以及該些執行緒將該後框架緩衝之資料交換至一前框架緩衝。
  33. 如申請專利範圍第32項所述之該交錯排列程序之步驟,其中該左視角影像之奇數列與該右視角影像之偶數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  34. 如申請專利範圍第32項所述之該交錯排列程序之步驟,其中該左視角影像之偶數列與該右視角影像之奇數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  35. 如申請專利範圍第32項所述之該交錯排列程序之步驟,其中該新視角影像之偶數列與該原始影像之奇數列係分別交錯排列於該多視角影像之奇數列及偶數列。
  36. 如申請專利範圍第32項所述之該交錯排列程序之步驟,其中該新視角影像之奇數列與該原始影像之偶數列係分別交錯排列於該多視角影像之奇數列及偶數列。
TW098146266A 2009-12-31 2009-12-31 多視角影像之建構方法及系統 TWI387934B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW098146266A TWI387934B (zh) 2009-12-31 2009-12-31 多視角影像之建構方法及系統
US12/752,600 US20110157311A1 (en) 2009-12-31 2010-04-01 Method and System for Rendering Multi-View Image
US13/110,105 US20110216065A1 (en) 2009-12-31 2011-05-18 Method and System for Rendering Multi-View Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098146266A TWI387934B (zh) 2009-12-31 2009-12-31 多視角影像之建構方法及系統

Publications (2)

Publication Number Publication Date
TW201123072A TW201123072A (en) 2011-07-01
TWI387934B true TWI387934B (zh) 2013-03-01

Family

ID=44187025

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098146266A TWI387934B (zh) 2009-12-31 2009-12-31 多視角影像之建構方法及系統

Country Status (2)

Country Link
US (1) US20110157311A1 (zh)
TW (1) TWI387934B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101731343B1 (ko) * 2010-07-14 2017-04-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102710951B (zh) * 2012-05-09 2014-06-25 天津大学 基于散斑结构光深度相机的多视点计算成像方法
US9076249B2 (en) 2012-05-31 2015-07-07 Industrial Technology Research Institute Hole filling method for multi-view disparity maps
CN104010182B (zh) * 2013-02-27 2016-05-11 晨星半导体股份有限公司 影像撷取方法及影像撷取装置
TWI526046B (zh) * 2013-05-29 2016-03-11 惟勤科技股份有限公司 提供觀看者在不同觀看角度下仍可接收到正確立體影像的方法
US10511831B2 (en) 2017-01-04 2019-12-17 Innolux Corporation Display device and method for displaying
CN110930496B (zh) * 2019-11-19 2021-01-26 北京达佳互联信息技术有限公司 视图绘制方法、装置、电子设备和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US5537144A (en) * 1990-06-11 1996-07-16 Revfo, Inc. Electro-optical display system for visually displaying polarized spatially multiplexed images of 3-D objects for use in stereoscopically viewing the same with high image quality and resolution
KR950005944B1 (ko) * 1992-01-31 1995-06-07 주식회사금성사 비디오 화면 줌(zoom)장치
US5410365A (en) * 1992-04-02 1995-04-25 Sony Corporation Video camera with coarse analog and fine digital black level adjustment
JP3329887B2 (ja) * 1992-06-17 2002-09-30 ゼロックス・コーポレーション 2光路液晶ライトバルブカラー表示装置
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
WO1996041331A1 (en) * 1995-06-07 1996-12-19 Gregory Barrington, Ltd. Free-vision three-dimensional image with enhanced viewing
US6157351A (en) * 1997-08-11 2000-12-05 I-O Display Systems, Llc Three dimensional display on personal computer
US6281904B1 (en) * 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
US6476850B1 (en) * 1998-10-09 2002-11-05 Kenneth Erbey Apparatus for the generation of a stereoscopic display
US7098888B2 (en) * 2000-04-28 2006-08-29 Texas Tech University System Development of stereoscopic-haptic virtual environments
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
AU2002952874A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
AU2002952872A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image generation
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
KR101038452B1 (ko) * 2003-08-05 2011-06-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티뷰 이미지 생성
KR100786862B1 (ko) * 2004-11-30 2007-12-20 삼성에스디아이 주식회사 배리어 장치, 이를 이용한 입체영상 표시장치 및 그구동방법
DE602006005785D1 (de) * 2005-01-12 2009-04-30 Koninkl Philips Electronics Nv Tiefenwahrnehmung
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
US8207962B2 (en) * 2007-06-18 2012-06-26 Mediatek Inc. Stereo graphics system based on depth-based image rendering and processing method thereof
KR101420237B1 (ko) * 2008-02-25 2014-07-17 삼성전자주식회사 이웃 포인트의 탐색이 용이한 3d 영상 처리 방법
EP2211213A2 (en) * 2009-01-21 2010-07-28 Sergio Lara Pereira Monteiro Method for transferring images with incoherent randomly arranged fiber optical bundle and for displaying images with randomly arranged pixels

Also Published As

Publication number Publication date
US20110157311A1 (en) 2011-06-30
TW201123072A (en) 2011-07-01

Similar Documents

Publication Publication Date Title
TWI387934B (zh) 多視角影像之建構方法及系統
JP5431726B2 (ja) 画像および関連データの組み合わされた交換
US8698797B2 (en) Method and device for generating multi-views three-dimensional (3D) stereoscopic image
US8503764B2 (en) Method for generating images of multi-views
CN101902582B (zh) 一种立体视频字幕添加方法及装置
CN102572482A (zh) 基于fpga的立体视频到多视点视频的3d重构方法
TWI428007B (zh) 視訊處理裝置及方法
CN103562963A (zh) 用于角切片真3d显示器的对准、校准和渲染的系统和方法
CN105224288B (zh) 双目三维图形渲染方法及相关系统
US8368690B1 (en) Calibrator for autostereoscopic image display
CN102447934A (zh) 稀疏镜头采集的组合立体图像系统中立体元的合成方法
TW201016013A (en) Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
CN105704476B (zh) 一种基于边缘修复的虚拟视点图像频域快速获取方法
CN102137268B (zh) 立体视频的行交错和棋盘格的渲染方法及装置
CN102238411B (zh) 一种用于体视三维显示的图像显示方法
US8797383B2 (en) Method for stereoscopic illustration
JP4489610B2 (ja) 立体視可能な表示装置および方法
CN111343444B (zh) 一种立体图像生成方法及装置
CN106937103A (zh) 一种图像处理方法及装置
US20120163700A1 (en) Image processing device and image processing method
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
JP4267364B2 (ja) 立体画像処理方法
US10931927B2 (en) Method and system for re-projection for multiple-view displays
JP4966941B2 (ja) 3次元映像データ生成方法、3次元映像データ生成システム、及び3次元映像データ生成プログラム