TWI825892B - 立體格式影像偵測方法與使用該方法的電子裝置 - Google Patents
立體格式影像偵測方法與使用該方法的電子裝置 Download PDFInfo
- Publication number
- TWI825892B TWI825892B TW111129017A TW111129017A TWI825892B TW I825892 B TWI825892 B TW I825892B TW 111129017 A TW111129017 A TW 111129017A TW 111129017 A TW111129017 A TW 111129017A TW I825892 B TWI825892 B TW I825892B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- format
- matching
- stereoscopic
- disparity
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims description 14
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 101150013335 img1 gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一種立體格式影像偵測方法與使用該方法的電子裝置。立體格式影像偵測方法包括下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。對第一影像與第二影像進行立體匹配處理,以產生第一影像與第二影像的一視差圖。根據視差圖計算第一影像中多個第一像素與第二影像中多個第二像素的匹配數量。根據匹配數量判斷輸入影像是否為符合立體影像格式的立體格式影像。
Description
本發明是有關於一種電子裝置,且特別是有關於一種立體影像產生方法與使用該方法的電子裝置。
隨著顯示技術的進步,支援三維(three dimension,3D)影像播放的顯示器已逐漸普及。3D顯示與二維(two dimension,2D)顯示的差異在於,3D顯示技術可讓觀賞者感受到影像畫面中的立體感,例如人物立體的五官與景深(depth of field)等等,而傳統的2D影像則無法呈現出此種效果。3D顯示技術的原理是讓觀賞者的左眼觀看左眼影像及讓觀賞者的右眼觀看右眼影像,以讓觀賞者感受到3D視覺效果。隨著3D立體顯示器技術的蓬勃發展,可提供人們視覺上有身歷其境之感受。可知的,3D顯示器需針對特定3D影像格式的影像採用對應的3D顯示技術播放,否則將會造成3D顯示器無法正確顯示影像。因此,如何準確地辨識出符合特定3D影像格式的影像內容為本領域技術人員所關心的議題。
有鑑於此,本發明提出一種立體格式影像偵測方法與使用該方法的電子裝置,其可準確地辨別輸入影像是否為立體格式影像。
本發明實施例提供一種立體格式影像偵測方法,其包括下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。對第一影像與第二影像進行立體匹配處理,以產生第一影像與第二影像的一視差圖(disparity map)。根據視差圖計算第一影像中多個第一像素與第二影像中多個第二像素的匹配數量。根據匹配數量判斷輸入影像是否為符合立體影像格式的立體格式影像。
本發明實施例提供一種電子裝置,其包括儲存裝置以及處理器。處理器連接儲存裝置,經配置以執行下列步驟。依據立體影像格式分割輸入影像而獲取第一影像與第二影像。對第一影像與第二影像進行立體匹配處理,以產生第一影像與第二影像的一視差圖。根據視差圖計算第一影像中多個第一像素與第二影像中多個第二像素的匹配數量。根據匹配數量判斷輸入影像是否為符合立體影像格式的立體格式影像。
基於上述,於本發明的實施例中,輸入影像基於立體影像格式而被分割以獲取第一影像與第二影像。透過對第一影像與第二影像進行立體匹配處理而獲取一視差圖。輸入影像是否符合立體影像格式可基於視差圖的匹配情況來判定。藉此,可有效地判斷輸入影像是否為立體格式影像,從而提昇3D顯示技術的使用者體驗與應用範圍。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1是依照本發明一實施例的電子裝置的示意圖。請參照圖1,電子裝置10可包括儲存裝置110與處理器120。處理器120耦接儲存裝置110。電子裝置10可實施為筆記型電腦、智慧型手機、平板電腦、桌上型電腦、機上盒或遊戲機等等。
於一實施例中,電子裝置10可與立體(3D)顯示器20組成3D顯示系統。3D顯示器20可以是裸視3D顯示器或眼鏡式3D顯示器。從另一方面來看,3D顯示器20可以是頭戴顯示裝置或提供3D影像顯示功能的電腦螢幕、桌上型螢幕或電視等等。3D顯示系統可為單一整合系統或分離式系統。具體而言,3D顯示系統中的3D顯示器20、儲存裝置110與處理器120可實作成一體式(all-in-one,AIO)電子裝置,例如頭戴顯示裝置、筆記型電腦、智慧型手機、平板電腦或遊戲機等等。或者,3D顯示器20可透過有線傳輸介面或是無線傳輸介面與處理器120相連,像是頭戴顯示裝置、桌上型螢幕、電視機或電子看板等等。
儲存裝置110用以儲存影像、資料與供處理器120存取的程式碼(例如作業系統、應用程式、驅動程式)等資料,其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其組合。
處理器120耦接儲存裝置110,例如是中央處理單元(central processing unit,CPU)、應用處理器(application processor,AP),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、影像訊號處理器(image signal processor,ISP)、圖形處理器(graphics processing unit,GPU)或其他類似裝置、積體電路或其組合。處理器120可存取並執行記錄在儲存裝置110中的程式碼與軟體模組,以實現本發明實施例中的立體格式影像偵測方法。
一般而言,為了讓使用者感受到3D視覺效果,使用者的左眼與右眼需要分別觀看到對應至不同視角的影像內容(即左眼影像與右眼影像)。左眼影像與右眼影像將被合成為立體格式影像,以透過不同的3D顯示技術顯示立體格式影像,而讓觀賞者的左眼觀看左眼影像及讓觀賞者的右眼觀看右眼影像。於本發明的實施例中,電子裝置10可判斷輸入影像是否為符合立體影像格式的立體格式影像。藉此,於一些實施例中,3D顯示器20可支援多種顯示模式,像是2D顯示模式以及關聯於一或多種3D顯示技術的3D顯示模式。若電子裝置10可準確地判斷輸入影像為何種立體格式影像,3D顯示器20可自動切換為適合的顯示模式來顯示立體影像內容。
圖2是依照本發明一實施例的立體格式影像偵測方法的流程圖。請參照圖2,本實施例的方式適用於上述實施例中的電子裝置10,以下即搭配電子裝置10中的各項元件說明本實施例的詳細步驟。
於步驟S210,處理器120依據立體影像格式分割輸入影像而獲取第一影像與第二影像。於一些實施例中,輸入影像可為影像串流或影片裡的單幀影像。於一些實施例中,輸入影像可為利用螢幕擷取功能而獲取的影像。於一些實施例中,輸入影像可例如是某一應用程式所產生的影像。於一些實施例中,第一影像尺寸相同於第二影像尺寸。換言之,立體格式影像將被分割為解析度相同的兩張影像。
於一些實施例中,立體影像格式可包括左右並排格式、上下排列格式、棋盤圖案格式、或交錯格式。處理器120將根據立體影像格式的種類而自立體格式影像擷取出第一影像與第二影像。舉例而言,圖3A至圖3D是依照本發明一實施例的切割輸入影像的示意圖。
請參照圖3A所示實施例,當要偵測輸入影像IMG_i1是否符合左右並排(Side-by-Side,SBS)格式時,處理器120可將輸入影像IMG_i1切割為左半邊的第一影像IMG_31與右半邊的第二影像IMG_32。
請參照圖3B所示實施例,當要偵測輸入影像IMG_i2是否符合上下並排(Top and Bottom,TB)格式時,處理器120可將輸入影像IMG_i2切割為上半邊的第一影像IMG_33與下半邊的第二影像IMG_34。
請參照圖3C所示實施例,當要偵測輸入影像IMG_i3是否符合交錯(Interlacing)格式時,處理器120可先沿水平方向將輸入影像IMG_i3切割為多個子影像IMG_s1~IMG_s10。然後,處理器120合併子影像IMG_s1、IMG_s3、IMG_s5、IMG_s7、IMG_s9而獲取第一影像IMG_35,並合併子影像IMG_s2、IMG_s4、IMG_s6、IMG_s8、IMG_s10而獲取第二影像IMG_36。然而,圖3C所示子影像的數目僅為示範性說明,並非用以限定本發明。
請參照圖3D所示實施例,當要偵測輸入影像IMG_i4是否符合棋盤(CheckerBoard)格式時,處理器120可根據棋盤樣式而先將輸入影像IMG_i4切割為呈現棋盤式排列的多個子影像(例如子影像IMG_c1、IMG_c2、IMG_c3、IMG_c4)。然後,處理器120合併多個子影像(例如子影像IMG_c1與IMG_c3)而獲取第一影像IMG_37,並合併多個子影像(例如子影像IMG_c2與IMG_c4)而獲取第二影像IMG_38。然而,圖3D所示子影像的數目僅為示範性說明,並非用以限定本發明。
接著,於步驟S220,處理器120對第一影像與第二影像進行立體匹配處理,以產生第一影像與第二影像的一視差圖(disparity map)。於一些實施例中,處理器120可依據塊匹配演算法(Block-matching algorithm)對第一影像與第二影像進行立體匹配處理,以估測視差資訊並獲取視差圖。於一些實施例中,處理器120可依據光流演算法(Optical flow algorithm)對第一影像與第二影像進行立體匹配處理,以估測視差資訊並獲取視差圖。於一些實施例中,處理器120可將第一影像與第二影像輸入至經訓練的深度神經網路模型來獲取視差圖。於一些實施例中,視差圖中元素數量對等於第一影像與第二影像的解析度。舉例而言,假設第一影像與第二影像的解析度為640*480,則視差圖可包括對應至640*480個像素位置的視差資訊。
於步驟S230,處理器120根據視差圖計算第一影像中多個第一像素與第二影像中多個第二像素的匹配數量。於一些實施例中,視差圖包括多個有效視差值與多個無效視差值,匹配數量為有效視差值的數量。
詳細而言,於立體匹配處理過程中,若第一影像中的某一第一像素可成功匹配至第二影像中的某一第二像素,則處理器120可獲取對應的有效視差值。相反地,若第一影像中的某一第一像素無法成功匹配至第二影像中的任何第二像素,則處理器120可獲取對應的無效視差值。因此,透過統計視差圖中的有效視差值的數量,可獲取第一影像中多個第一像素成功匹配至第二影像中多個第二像素的匹配數量。於一些實施例中,視差圖中的無效視差值將被設定為一負數值,而視差圖中的有效視差值將被設定為大於等於0的整數值,但本發明不限制於此。
於步驟S240,處理器120根據匹配數量判斷輸入影像是否為符合立體影像格式的立體格式影像。可知的,若匹配數量夠多,可判定第一影像與第二影像為對應至相同拍攝場景的左眼影像與右眼影像,因此處理器120可據以判斷輸入影像為符合立體影像格式的立體格式影像。
更詳細而言,圖4是依照本發明一實施例的判斷輸入影像是否為立體格式影像的流程圖。請參照圖4,步驟S240可實施為子步驟S241~子步驟S243。於子步驟S241,處理器120判斷匹配數量是否符合匹配條件。
於一些實施例中,處理器120可比較匹配數量與預設門檻值來判斷匹配數量是否符合匹配條件。若匹配數量大於預設門檻值,則處理器120可判定匹配數量符合匹配條件。若匹配數量未大於預設門檻值,則處理器120可判定匹配數量不符合匹配條件。上述預設門檻值可根據輸入影像的影像解析度來設置。亦即,不同的影像解析度將對應至不同的預設門檻值。
於一些實施例中,處理器120可計算匹配數量與第一影像的像素數量的匹配比例,並判斷匹配比例是否大於一門檻值。也就是說,匹配比例為第一影像中成功匹配的第一像素佔所有第一像素的一個比例值,可由百分比或小於1且大於0的數值來表示。若匹配比例大於門檻值,處理器120可判定匹配數量符合匹配條件。若匹配比例未大於門檻值,處理器120可判定匹配數量不符合匹配條件。於比較匹配比例與門檻值的實施例中,相同的門檻值可適用於不同的影像解析度。
若步驟S241判斷為是,於子步驟S242,反應於匹配數量符合匹配條件,處理器120決定輸入影像為符合立體影像格式的立體格式影像。相反地,若步驟S241判斷為否,於子步驟S243,反應於匹配數量不符合匹配條件,處理器120決定輸入影像非為符合立體影像格式的立體格式影像。亦即,若匹配數量符合匹配條件,代表自輸入影像中擷取的第一影像與第二影像即為對應至相同場景的左眼影像與右眼影像,因而可判定輸入影像為一立體格式影像。
圖5是依照本發明一實施例的立體格式影像偵測方法的流程圖。請參照圖5,本實施例的方式適用於上述實施例中的電子裝置10,以下即搭配電子裝置10中的各項元件說明本實施例的詳細步驟。
於步驟S502,處理器120依據立體影像格式分割輸入影像IMG1而獲取第一影像IMG_L與第二影像IMG_R。於步驟S504,處理器120對第一影像IMG_L與第二影像IMG_R進行一立體匹配處理,以產生第一影像IMG_L與第二影像IMG_R的一視差圖D_map。
詳細而言,圖6是依照本發明一實施例的獲取視差圖的示意圖。處理器120以第一影像上IMG_L的第一目標像素點P1為中心取第一影像區塊B1。接著,處理器120可根據第一目標像素點P1的Y軸位置獲取水平掃描線SL1,以沿著水平掃描線SL1獲取第二影像IMG_R上多個第二影像區塊(圖6是以第二影像區塊B2_1~B2_9為代表進行說明)。亦即,第一影像區塊B1的Y軸位置相同於這些第二影像區塊B2_1~B2_9的Y軸位置,且第一影像區塊B1的尺寸相同於第二影像區塊B2_1~B2_9的尺寸。須說明的是,圖6的9個第二影像區塊B2_1~B2_9僅用以示範性說明。於一些實施例中,處理器120可以一個像素為掃描單位而獲取多個第二影像區塊。
然後,處理器120計算第一影像區塊B1與第二影像IMG_R上多個第二影像區塊之間的多個相似度。於一些實施例中,這些相似度也可為匹配成本(matching cost)或基於匹配成本而生成的數值。舉例而言,處理器120將依序計算第一影像區塊B1上各個第一像素點的灰階值與第二影像區塊B2_1上對應的第二像素點的灰階值之間的絕對差值,並在將所有的絕對差值加總後取倒數,以獲取第一影像區塊B1與第二影像區塊B2_1之間的相似度。假設第一影像區塊B1的尺寸為91*91,則處理器120可獲取91*91個絕對差值。
然而,於其他實施例中,處理器120也可基於其他計算方式,例如平方差(Square Difference,SD)演算法、像素異性測量(Pixel Dissimilarity Measure,PDM)演算法、標準化交叉相關(Normalized Cross Correlation,NCC)演算法等等,來獲取對應至多個第二影像區塊的匹配成本。於一些實施例中,處理器120還可執行成本聚合(cost aggregation)來獲取對應至多個第二影像區塊的匹配成本。
透過沿水平掃描線SL1重複執行相似度計算的步驟,處理器120可獲取分別對應至多個第二影像區塊的相似度,亦即處理器120依序對第一影像與各第二影像區塊進行相似度計算,而獲取多個第二影像區塊分別對應的相似度。於是,處理器120將根據分別對應至水平掃描線SL1上多個第二影像區塊的相似度,獲取視差圖D_map上對應至第一目標像素點P1的一有效視差值或一無效視差值。
詳細而言,根據分別對應至水平掃描線SL1上多個第二影像區塊的相似度,處理器120可判斷第一影像區塊B1是否匹配於多個第二影像區塊其中之一。於圖6的範例中,水平掃描線SL1上多個第二影像區塊分別對應的相似度可如相似度曲線C1所示。處理器120可根據相似度曲線C1搜尋出匹配第一目標影像區塊B1的第二目標影像區塊(即圖6所示的第二影像區塊B2_6)。例如,若處理器120可搜尋相似度曲線C1的最大相似度且此最大相似度大於一相似度門檻值,則處理器120可判定第一影像區塊B1匹配於對應至上述最大相似度的一第二影像區塊B2_6。或者,於一些實施例中,若處理器120也可搜尋多個差異度中的最小差異度且此最小差異度小於一差異度門檻值,則處理器120可判定第一影像區塊B1匹配於對應至上述最小差異度的一第二影像區塊。其中,於一些實施例中,差異度與相似度可互為倒數關係。此外,於一些實施例中,處理器120還可根據將這些匹配成本代入一能量函數,並透過最佳化能量函數的方式來搜尋到匹配於第一影像區塊B1的第二影像區塊。
如圖6所示,若根據相似度獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊(即第二影像區塊B2_6),處理器120將基於第二目標影像區塊中心的第二目標像素點P2的X軸位置X2與第一目標像素點P1的X軸位置X1獲取視差圖D_map上對應至第一目標像素點P1的有效視差值d1。另一方面,若根據相似度未獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊,代表這些第二影像區塊所對應的相似度都不符合預設條件,像是相似度最大值未大於相似度門檻值、差異度最小值未小於差異度門檻值,或最佳化能量函數的問題是無解的等等。因此,若根據相似度未獲取第二影像區塊中匹配於第一目標影像區塊B1的第二目標影像區塊,則處理器120將獲取視差圖D_map上對應至第一目標像素點P1的無效視差值。又或者,於一些實施例中,處理器120可對視差圖D_map進行去雜訊處理,而將可信度較低的多個原始有效視差值替換為無效視差值。
請回到圖5,於步驟S506,處理器120根據視差圖D_map計算匹配數量,並計算匹配數量與第一影像IMG_L的像素數量的一匹配比例R1。亦即,將匹配數量除以第一影像IMG_L的像素數量而獲取匹配比例R1。於步驟S508,處理器120判斷匹配比例R1是否大於門檻值。若是,於步驟S510,處理器120判定輸入影像為立體格式影像,並可控制3D顯示器20以對應的3D模式來顯示輸入影像。舉例而言,處理器120可判定輸入影像為立體格式影像。若否,於步驟S512,處理器120判定輸入影像非為立體格式影像,並可控制3D顯示器20以2D模式來顯示輸入影像。
須說明的是,以至少一個處理器執行之立體格式影像偵測方法的處理程序並不限於上述實施形態之例。舉例而言,可省略上述步驟(處理)之一部分,亦可以其他順序執行各步驟。又,可組合上述步驟中之任二個以上的步驟,亦可修正或刪除步驟之一部分。或者,亦可除了上述各步驟外還執行其他步驟。
綜上所述,於本發明實施例中,可有效地辨別輸入影像是否為符合多種不同的立體影像格式的立體格式影像,從而可提昇3D顯示技術的使用者體驗與應用範圍。像是,在判定輸入影像為立體格式影像之後,3D顯示器可自動切換至適當的影像播放模式,從而提升使用者體驗。或者,在判定輸入影像為立體格式影像之後,3D顯示器可得知左眼影像與右眼影像於輸入影像中的佔據區塊,以利進行後續3D顯示所需的影像處理。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置
110:儲存裝置
120:處理器
20:3D顯示器
IMG_i1, IMG_i2, IMG_i3, IMG_i4, IMG1:輸入影像
IMG_31, IMG_33, IMG_35, IMG_37, IMG_L:第一影像
IMG_32, IMG_34, IMG_36, IMG_38, IMG_R:第二影像
D_map:視差圖
R1:匹配比例
P1:第一目標像素點
P2:第二目標像素點
B1:第一目標影像區塊
B2_1~B2_9:第二影像區塊
SL1:水平掃描線
C1:相似度曲線
Y1:Y軸位置
X1, X2:X軸位置
d1:有效視差值
S210~S240、S241~S243、S502~S512:步驟
圖1是依照本發明一實施例的電子裝置的示意圖。
圖2是依照本發明一實施例的立體格式影像偵測方法的流程圖。
圖3A至圖3D是依照本發明一實施例的切割輸入影像的示意圖。
圖4是依照本發明一實施例的判斷輸入影像是否為立體格式影像的流程圖。
圖5是依照本發明一實施例的立體格式影像偵測方法的流程圖。
圖6是依照本發明一實施例的獲取視差圖的示意圖。
S210~S240:步驟
Claims (16)
- 一種立體格式影像偵測方法,適用於一電子裝置,所述方法包括:依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像;對所述第一影像與所述第二影像進行一立體匹配處理,以產生所述第一影像與所述第二影像的一視差圖(disparity map);根據所述視差圖計算所述第一影像中多個第一像素與所述第二影像中多個第二像素的匹配數量;以及根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像,其中根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括:判斷所述匹配數量是否符合一匹配條件。
- 如請求項1所述的立體格式影像偵測方法,其中根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的所述立體格式影像的步驟包括:反應於所述匹配數量符合所述匹配條件,決定所述輸入影像為符合所述立體影像格式的所述立體格式影像;以及反應於所述匹配數量不符合所述匹配條件,決定所述輸入影像非為符合所述立體影像格式的所述立體格式影像。
- 如請求項2所述的立體格式影像偵測方法,其中判斷所述匹配數量是否符合所述匹配條件的步驟包括:計算所述匹配數量與所述第一影像的像素數量的一匹配比例;以及判斷所述匹配比例是否大於一門檻值,其中若所述匹配比例大於所述門檻值,所述匹配數量符合所述匹配條件;以及若所述匹配比例未大於所述門檻值,所述匹配數量不符合所述匹配條件。
- 如請求項1所述的立體格式影像偵測方法,其中所述視差圖包括多個有效視差值與多個無效視差值,所述匹配數量為所述有效視差值的數量。
- 如請求項1所述的立體格式影像偵測方法,其中對所述第一影像與所述第二影像進行所述立體匹配處理,以產生所述第一影像與所述第二影像的所述視差圖的步驟包括:以所述第一影像上的第一目標像素點為中心取一第一影像區塊;計算所述第一影像區塊與所述第二影像上多個第二影像區塊之間的多個相似度,其中所述第一影像區塊的Y軸位置相同於所述第二影像區塊的Y軸位置;以及根據分別對應至所述第二影像區塊的所述相似度,獲取所述視差圖上對應至所述第一目標像素點的一有效視差值或一無效視差值。
- 如請求項5所述的立體格式影像偵測方法,其中根據分別對應至所述第二影像區塊的所述相似度,獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值或所述無效視差值的步驟包括:若根據所述相似度獲取所述第二影像區塊中匹配於所述第一目標影像區塊的一第二目標影像區塊,基於所述第二目標影像區塊中心的第二目標像素點的X軸位置與所述第一目標像素點的X軸位置獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值;以及若根據所述相似度未獲取所述第二影像區塊中匹配於所述第一目標影像區塊的所述第二目標影像區塊,獲取所述視差圖上對應至所述第一目標像素點的所述無效視差值。
- 如請求項1所述的立體格式影像偵測方法,其中所述第一影像尺寸相同於所述第二影像尺寸。
- 如請求項1所述的立體格式影像偵測方法,其中所述立體影像格式包括左右並排格式、上下排列格式、棋盤圖案格式、或交錯格式。
- 一種電子裝置,包括:一儲存裝置,記錄有多個模組;以及一處理器,連接所述儲存裝置,經配置以:依據一立體影像格式分割一輸入影像而獲取一第一影像與一第二影像; 對所述第一影像與所述第二影像進行一立體匹配處理,以產生所述第一影像與所述第二影像的一視差圖(disparity map);根據所述視差圖計算所述第一影像中多個第一像素與所述第二影像中多個第二像素的匹配數量;以及根據所述匹配數量判斷所述輸入影像是否為符合所述立體影像格式的一立體格式影像,其中所述處理器經配置以:判斷所述匹配數量是否符合一匹配條件。
- 如請求項9所述的電子裝置,其中所述處理器經配置以:反應於所述匹配數量符合所述匹配條件,決定所述輸入影像為符合所述立體影像格式的所述立體格式影像;以及反應於所述匹配數量不符合所述匹配條件,決定所述輸入影像非為符合所述立體影像格式的所述立體格式影像。
- 如請求項10所述的電子裝置,其中所述處理器經配置以:計算所述匹配數量與所述第一影像的像素數量的一匹配比例;以及判斷所述匹配比例是否大於一門檻值, 其中若所述匹配比例大於所述門檻值,所述匹配數量符合所述匹配條件;以及若所述匹配比例未大於所述門檻值,所述匹配數量不符合所述匹配條件。
- 如請求項9所述的電子裝置,其中所述視差圖包括多個有效視差值與多個無效視差值,所述匹配數量為所述有效視差值的數量。
- 如請求項9所述的電子裝置,其中所述處理器經配置以:以所述第一影像上的第一目標像素點為中心取一第一影像區塊;計算所述第一影像區塊與所述第二影像上多個第二影像區塊之間的多個相似度,其中所述第一影像區塊的Y軸位置相同於所述第二影像區塊的Y軸位置;以及根據分別對應至所述第二影像區塊的所述相似度,獲取所述視差圖上對應至所述第一目標像素點的一有效視差值或一無效視差值。
- 如請求項13所述的電子裝置,其中所述處理器經配置以:若根據所述相似度獲取所述第二影像區塊中匹配於所述第一目標影像區塊的一第二目標影像區塊,基於所述第二目標影像區塊中心的第二目標像素點的X軸位置與所述第一目標像素點的X 軸位置獲取所述視差圖上對應至所述第一目標像素點的所述有效視差值;以及若根據所述相似度未獲取所述第二影像區塊中匹配於所述第一目標影像區塊的所述第二目標影像區塊,獲取所述視差圖上對應至所述第一目標像素點的所述無效視差值。
- 如請求項9所述的電子裝置,其中所述第一影像尺寸相同於所述第二影像尺寸。
- 如請求項9所述的電子裝置,其中所述立體影像格式包括左右並排格式、上下排列格式、棋盤圖案格式、或交錯格式。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111129017A TWI825892B (zh) | 2022-08-02 | 2022-08-02 | 立體格式影像偵測方法與使用該方法的電子裝置 |
US18/073,579 US20240046608A1 (en) | 2022-08-02 | 2022-12-02 | 3d format image detection method and electronic apparatus using the same method |
EP22214500.5A EP4319150A1 (en) | 2022-08-02 | 2022-12-19 | 3d format image detection method and electronic apparatus using the same method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111129017A TWI825892B (zh) | 2022-08-02 | 2022-08-02 | 立體格式影像偵測方法與使用該方法的電子裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI825892B true TWI825892B (zh) | 2023-12-11 |
TW202408225A TW202408225A (zh) | 2024-02-16 |
Family
ID=84537962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111129017A TWI825892B (zh) | 2022-08-02 | 2022-08-02 | 立體格式影像偵測方法與使用該方法的電子裝置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240046608A1 (zh) |
EP (1) | EP4319150A1 (zh) |
TW (1) | TWI825892B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120300027A1 (en) * | 2011-05-24 | 2012-11-29 | Funai Electric Co., Ltd. | Stereoscopic image display device |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2534844A2 (en) * | 2010-02-09 | 2012-12-19 | Koninklijke Philips Electronics N.V. | 3d video format detection |
US20120007954A1 (en) * | 2010-07-08 | 2012-01-12 | Texas Instruments Incorporated | Method and apparatus for a disparity-based improvement of stereo camera calibration |
JP2013089981A (ja) * | 2011-10-13 | 2013-05-13 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP6071422B2 (ja) * | 2012-10-29 | 2017-02-01 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
CN105450411B (zh) * | 2014-08-14 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 利用卡片特征进行身份验证的方法、装置及系统 |
EP4094433A4 (en) * | 2020-01-22 | 2024-02-21 | Nodar Inc. | Non-rigid stereo vision camera system |
CN111601097B (zh) * | 2020-04-10 | 2020-12-18 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
-
2022
- 2022-08-02 TW TW111129017A patent/TWI825892B/zh active
- 2022-12-02 US US18/073,579 patent/US20240046608A1/en active Pending
- 2022-12-19 EP EP22214500.5A patent/EP4319150A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120300027A1 (en) * | 2011-05-24 | 2012-11-29 | Funai Electric Co., Ltd. | Stereoscopic image display device |
Non-Patent Citations (2)
Title |
---|
LAI WENNENG: "Chapter 4: 3D camera and 3D display", COURSE HANDOUTS, TAIWAN, 1 January 2012 (2012-01-01), Taiwan, pages 1 - 35, XP009559822 * |
網路文獻 Wenqiao Zhu; Dongming Lu; Changyu Diao; Jingzhou Huang, Variational stereo matching with left right consistency constraint, IEEEㄝ 2011 International Conference of Soft Computing and Pattern Recognition (SoCPaR), |
Also Published As
Publication number | Publication date |
---|---|
TW202408225A (zh) | 2024-02-16 |
US20240046608A1 (en) | 2024-02-08 |
EP4319150A1 (en) | 2024-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160105636A1 (en) | Image Processing Method and Device | |
WO2012153447A1 (ja) | 画像処理装置、映像処理方法、プログラム、集積回路 | |
CN102905145B (zh) | 立体影像系统、影像产生方法、影像调整装置及其方法 | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
US20130069934A1 (en) | System and Method of Rendering Stereoscopic Images | |
CN102905141A (zh) | 二维转三维转换装置及其方法 | |
TWI491244B (zh) | 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置 | |
TWI825892B (zh) | 立體格式影像偵測方法與使用該方法的電子裝置 | |
TWI478100B (zh) | 影像深度估計方法及其裝置 | |
CN104767985A (zh) | 使用区域分布分析以自动检测三维图像格式的方法 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
TWI790560B (zh) | 並排影像偵測方法與使用該方法的電子裝置 | |
JP6025740B2 (ja) | エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法 | |
TWI826033B (zh) | 影像顯示方法與3d顯示系統 | |
CN117635684A (zh) | 立体格式图像检测方法与使用该方法的电子装置 | |
KR20110091377A (ko) | 최적시차 3d 영상물 제작방법, 그리고, 기록매체 | |
US11902502B2 (en) | Display apparatus and control method thereof | |
WO2018000610A1 (zh) | 一种基于图像类型判断的自动播放方法和电子设备 | |
US20230325969A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
JP5459231B2 (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
TWM626645U (zh) | 電子裝置 | |
JP6131256B2 (ja) | 映像処理装置及びその映像処理方法 | |
JP6131256B6 (ja) | 映像処理装置及びその映像処理方法 | |
JP5987899B2 (ja) | 生成装置、生成プログラムおよび生成方法 | |
CN102769763B (zh) | 三维影像摄相机及其相关控制方法 |