[go: up one dir, main page]

TW201439984A - 影像編輯方法以及影像處理裝置 - Google Patents

影像編輯方法以及影像處理裝置 Download PDF

Info

Publication number
TW201439984A
TW201439984A TW102113223A TW102113223A TW201439984A TW 201439984 A TW201439984 A TW 201439984A TW 102113223 A TW102113223 A TW 102113223A TW 102113223 A TW102113223 A TW 102113223A TW 201439984 A TW201439984 A TW 201439984A
Authority
TW
Taiwan
Prior art keywords
pattern
image
distance
blur
function
Prior art date
Application number
TW102113223A
Other languages
English (en)
Other versions
TWI605418B (zh
Inventor
Kun-Nan Cheng
Yu-Chuan Shen
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW102113223A priority Critical patent/TWI605418B/zh
Priority to US14/250,981 priority patent/US9319581B2/en
Publication of TW201439984A publication Critical patent/TW201439984A/zh
Application granted granted Critical
Publication of TWI605418B publication Critical patent/TWI605418B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本發明所揭露之一種影像編輯方法可用以編輯一原始影像。該原始影像至少包括一清晰圖案與一模糊圖案,分別對應被攝影之一對焦物件以及一失焦物件。該影像編輯方法包括下列步驟:取得該失焦物件與一鏡頭之間的一失焦物件距離;依據該失焦物件距離以及一光學參數,對該模糊圖案進行一反模糊處理以得到一處理後圖案;以及,依據該處理後圖案以及該清晰圖案形成一處理後影像。

Description

影像編輯方法以及影像處理裝置
本發明係相關於影像處理方法與裝置,尤指對一數位相機拍攝所產生的原始影像之處理方法與裝置。
由於影像擷取技術的快速發展,數位相機已經成為日常生活中不可獲缺的電子裝置。為了能夠輕易的操作數位相機,一般常用的消費型相機(傻瓜相機或者手機所配備的相機)具備較深的景深(field of depth),因此可以輕易的拍攝出清晰的影像。
專業相機(例如單眼相機)具備大光圈以及淺景深的特性,需要有高度拍攝技巧的使用者來操作。而單眼相機所拍攝的影像具有較高的層次感,消費型相機則無法拍攝出類似專業相機的拍攝效果。
然而如同使用者所知,操作專業相機時,有許多參數需要選取,譬如說對焦、鏡頭濾鏡、鏡頭焦距、光圈值、曝光時間等等。一旦選取不當,可能會使得本來希望清晰的圖案,因為被攝影的物件沒有落入目標景深中,而變得模糊。
而如何將原始影像中一模糊的圖案,處理成一個清晰的圖案,或是處理另一個不一樣的模糊圖案,即為本發明所欲解決的目的。
本發明之一實施例提供一種影像編輯方法,用以編輯一原始影像。該原始影像至少包括一清晰圖案與一模糊圖案,分別對應被攝影之一對焦物件以及一失焦物件。該影像編輯方法包括下列步驟:取得該失焦物件與一鏡頭之間的一失焦物件距離;依據該失焦物件距離以及一光學參數,對該模糊圖案進行一反模糊處理以得到一處理後圖案;以及,依據該處理後圖案以及該清晰圖案形成一處理後影像。
本發明之另一實施例提供一種影像編輯方法,用以編輯一原始影像。該原始影像包括一模糊圖案以及一原始圖案。該模糊圖案對應一被攝影物件。該影像編輯方法包括下列步驟:取得該被攝影物件與一鏡頭之間的一物件距離;取得一相機偏移量;根據該物件距離、該相機偏移量、以及一光學參數,對該模糊圖案進行一反模糊處理,以形成一處理後圖案;以及,使用該處理後圖案以及該原始圖案,來形成一處理後影像。
本發明之一實施例提供一種影像處理裝置,用以處理透過一鏡頭攝影產生的一原始影像。該影像處理裝置包含有一處理器以及一距離偵測單元。該處理器從該原始影像中辨識出一清晰圖案以及一模糊圖案,分別對應被攝影之一對焦物件以及一 失焦物件。該距離偵測單元取得該失焦物件與該鏡頭之間的一失焦物件距離。該處理器依據該失焦物件距離以及該鏡頭之一光學參數,對該模糊圖案進行一反模糊處理以得到一處理後圖案。該處理器依據該處理後圖案以及該清晰圖案形成一處理後影像。
為了對本案之上述及其他方面有更佳的瞭解,下文特舉實施例,並配合所附圖式,作詳細說明如下:
20‧‧‧對焦物件
22‧‧‧實像
24‧‧‧點光源
25‧‧‧拍攝鏡頭
26‧‧‧位置
28‧‧‧模糊圖案的範圍
29‧‧‧模糊圖案的範圍
30‧‧‧點光源
32‧‧‧成像位置
34‧‧‧模糊圖案的範圍
36‧‧‧光圈
37‧‧‧影像編輯方法
38‧‧‧光圈
39、39L、39R‧‧‧相機
40、40L、40R‧‧‧原始影像
42‧‧‧臉孔
42d‧‧‧平移量
42f‧‧‧臉孔圖案
42SIM2‧‧‧模擬臉孔圖案
44‧‧‧樹
44d‧‧‧平移量
44f‧‧‧樹圖案
44SIM‧‧‧模擬樹圖案
46‧‧‧遠山
46d‧‧‧平移量
46f‧‧‧遠山圖案
46SIM‧‧‧模擬遠山圖案
46SIM2‧‧‧模擬遠山圖案
48、49‧‧‧模擬影像
50‧‧‧模糊處理
52‧‧‧反模糊處理
80‧‧‧數位相機
82‧‧‧鏡頭
84‧‧‧相機機身
86‧‧‧距離偵測單元
88‧‧‧感光元件
90‧‧‧光學參數提供器
92‧‧‧處理器
94‧‧‧記憶體
96‧‧‧水平與垂直位移感測器
98‧‧‧螢幕
S10、S12、S14、S121、S122‧‧‧步驟
S42、S44、S46‧‧‧距離
第1A圖,其所繪示為一對焦物件的成像以及一未聚焦點光源所產生的散景。
第1B圖顯示一點光源位於拍攝鏡頭第一側的2倍焦距(2f)到1倍焦距之內。
第1C圖顯示一較大的光圈所產生之散景。
第2圖顯示本發明之一實施例中的一影像編輯方法。
第3A圖顯示一相機拍攝一臉孔、一樹以及一遠山。
第3B圖顯示相機所產生的一原始影像。
第3C圖顯示在原始影像中的樹圖案以及模擬產生之模擬樹圖案彼此的關係。
第3D圖顯示臉孔圖案、模擬樹圖案、模擬遠山圖案組合後的模擬影像。
第4圖顯示以兩台相機拍攝一臉孔、一樹以及一遠山。
第5分別顯示兩相機中所產生的原始影像。
第6圖顯示本發明之實施例中的一些應用。
第7圖顯示依據本發明所實施的一數位相機。
第8圖顯示第7圖中之數位相機的功能方塊圖。
以下先利用簡單的幾何光學來介紹相機的成像原理以及對對焦與失焦物件的影響。
請參照第1A圖,其所繪示為對焦物件20的成像以及一失焦點光源所產生的散景(bokeh),所謂散景即是影像中位於準焦之外的部份。
拍攝鏡頭25的焦距為f,對焦物件20在拍攝鏡頭25第一側的2倍焦距(2f)上。可以從簡單的光學理論推知,在拍攝鏡頭25的第二側二倍焦距(2f)上的位置會產生一樣大小的實像22。換句話說,將相機的感光元件(optical sensor)移動至拍攝鏡頭的第二側實像22的位置即可獲得該對焦物件20的清晰圖案。
假設拍攝鏡頭25的焦距為f,對焦物件20與拍攝鏡頭25之間的距離為Dn,實像22與拍攝鏡頭25之間的距離為In,則上述關係需符合造鏡者公式(Lensmaker’s equation),亦即:(1/Dn)+(1/In)=(1/f)。
根據上述的原理,相機進行對焦時,判斷對焦物件20與拍攝鏡頭25的距離後,即可根據拍攝鏡頭25的焦距來推算出實像22的正確成像位置In。因此,移動相機中的感光元件至In位置後,即可獲得該對焦物件20的實像22。
第1A圖中的點光源24位於拍攝鏡頭25第一側的2 倍焦距之外。依據造鏡者公式,其成像位置26,將會位於第二側的一倍到二倍焦距之間。然而,為了獲得對焦物件20的清晰影像,相機中的感光元件是坐落於第二側二倍焦距(2f)上。因此,點光源24所發出的部分光線,通過光圈36後,聚焦在成像位置26,然後在感光元件上,擴散成一個具有一定範圍的模糊圖案,形成散景。這模糊圖案的範圍於第1A圖中標示為28。
從第1A圖可以推知,點光源24越遠離對焦物件20與拍攝鏡頭25,點光源24的成像位置26就越靠近拍攝鏡頭25的第二側一倍焦距f,模糊圖案就越大,其亮度、清晰度、對比度會越差。
第1B圖顯示對焦物件20在拍攝鏡頭25第一側的2倍焦距(2f)上,點光源30位於拍攝鏡頭25第一側的2倍焦距(2f)到1倍焦距之內。依據造鏡者公式,其點光源30的成像位置32,將會位於第二側的二倍焦距之外。類似第1A圖的結果,點光源30也會在相機中的感光元件產生模糊圖案,其範圍標示為34。點光源30越遠離對焦物件20而接近拍攝鏡頭25,成像位置32就越遠離拍攝鏡頭25,模糊圖案就越大。
第1C圖類似第1A圖,兩者差異僅僅於光圈值的不同。第1A圖中的光圈36比第1C圖中的光圈38大,第1C圖中模糊圖案的範圍標示為29。從第1A圖與第1C圖中的比較可知,光圈越小,散景就越小。兩者比較也可以得知,散景之模糊圖案的形狀,會受到光圈的形狀所影響。譬如說,如果光圈有六個葉 片,葉片所形成的光通道形狀可能為六角形,在感光元件上的模糊圖案就可能有六芒星的圖案。
由第1A、1B與1C圖可以推知,散景的結果,跟拍攝鏡頭25的光學參數、點光源的位置、以及對焦物件的位置有關。拍攝鏡頭25的光學參數包含有焦距f、光圈大小形狀、透光率等等。對焦物件的位置等同於相機中的感光元件之坐落位置,兩者的關係須符合造鏡者公式。
第2圖顯示本發明之一實施例中的一影像編輯方法37。在一實施例中,影像編輯方法37實施於一攝影裝置(例如相機),或是一電腦系統中,作為一影像後製軟體。此影像後製軟體可由一相機鏡頭製造廠所提供,專門對於相機拍攝後所產生的原始影像進行處理。
首先,步驟S10先找出原始影像中的一些原始圖案以及每個原始圖案所對應的物件到拍攝鏡頭之間的個別物件距離。譬如說,這些原始圖案有些是清晰的,有些是模糊的。原始清晰圖案所對應的被拍攝物件稱之為對焦物件、原始模糊圖案所對應的被拍攝物件稱之失焦物件。接著,步驟S12將一些原始模糊圖案進行反模糊處理,而產生後製模擬圖案。這些後製模擬圖案理論上可以比原始模糊圖案清晰。步驟S14以原始清晰圖案以及後製模擬圖案結合組成一模擬影像。
在一實施例中,步驟S12包含有步驟S121與S122。步驟S121根據拍攝鏡頭的許多光學參數,以及物件距離,可以 得到一模糊處理。舉例來說,假定拍攝鏡頭的光圈虛擬地變得無窮小(類似針孔照相機),此時散景可以完全忽略,感光元件上可以產生一虛擬影像,其都由虛擬清晰圖案所構成,不論被攝影之物件是對焦還是失焦。每個失焦物件可以視為數個點光源的組合。原始影像中的原始模糊圖案,可以說是失焦物件所對應之虛擬清晰圖案經過模糊處理後的結果。這個模糊處理,類似先前的散景形成原因所解釋的,將會跟拍攝鏡頭的光學參數、失焦物件的位置、以及對焦物件的位置有關。舉例來說,模糊處理可以用查表或是理論推導而獲得。
步驟S122根據模糊處理,對原始模糊圖案進行反模糊處理,而產生後製模擬圖案。因為模糊處理以及原始模糊圖案都為已知,所以可以利用解聯立方程式、反推或是追朔等的數學分析方法,得知是怎麼樣的一個後製模擬圖案,經過模糊處理後,可以產生原始模糊圖案。理論上,這個後製模擬圖案可以近似或是等於一失焦物件所對應之虛擬清晰圖案。
第3A圖顯示一相機39拍攝一臉孔42、一樹44、以及一遠山46。第3B圖顯示相機39,在一特定光學參數的條件下,像是一定的焦距、光圈、透光率等,所產生的原始影像40,其中大致可以找到一臉孔圖案42f、一樹圖案44f、一遠山圖案46f。如同原始影像40中所顯示,在這裡假定臉孔42是對焦物件,樹44與遠山46是失焦物件。第2圖中之步驟S10可以找出第3A圖中臉孔42、樹44、以及遠山46到相機39之間的個別距離: S42、S44、S46,如第3A圖所示。
第3C圖顯示樹圖案44f以及模擬樹圖案44SIM的關係,其中,模擬樹圖案44SIM經過模糊處理50處理後,可以得到樹圖案44f,而樹圖案44f經過反模糊處理52處理後,可以得到模擬樹圖案44SIM。從距離S42以及S44,以及一些相機39中的光學參數,可以得知第3C圖中的模糊處理50。模擬處理50的反函數為反模糊處理52。所以,依據距離S42以及S44、相機39中的光學參數、以及樹圖案44f,第2圖中的步驟S12可以推知模擬樹圖案44SIM。類似的,模擬遠山圖案46SIM也可以被推知。
第3D圖顯示,依據第2圖中之步驟S14,臉孔圖案42f、模擬樹圖案44SIM、模擬遠山圖案46SIM組合後的模擬影像48。如同第3D圖所示,模擬樹圖案44SIM以及模擬遠山圖案46SIM分別取代了第3B圖中的樹圖案44f以及遠山圖案46f
決定物件距離
在一實施例中,物件與拍攝鏡頭間的各距離可以利用一距離偵測單元(例如紅外線距離偵測單元)來取得。譬如說紅外線距離偵測單元發射紅外線至所有的攝影之物件並據以獲得各物件與偵測單元之間的距離。此距離偵測單元可安置於一相機上供作利用。或者,利用同一鏡頭以調整焦點的方式快速拍攝多張連續影像,而根據聚焦位置以及圖案的清晰度可以獲得各物件與拍攝鏡頭之間的距離。或者根據不同顏色光波長經過透鏡的折射差異,例如RGB三色其過透鏡焦點的微小差異,根據RGB圖 案清晰程度來判斷距離的方法。或者,根據經驗法則,例如較近的物件其圖案較大較遠的物件其圖案較小,或者互相覆蓋的圖案來得知所有物件的前後關係,並估算出所有物件與拍攝鏡頭之間的距離。
在本發明的一實施例中,物件與拍攝鏡頭之間的距離,可利用兩張原始影像來確認。第4圖顯示以兩台相機39L與39R取代第3A圖之相機39。兩台相機水平39L與39R彼此相距一定距離。第5圖分別顯示相機39L與39R中所產生的原始影像40L與40R
因為相機39L與39R之間有一定的距離,所以原始影像40L與40R雖然近似,但會有些許的不同。相對於原始影像40L中的臉孔圖案42f,原始影像40R中臉孔圖案42f往左有一平移量42d。類似的,原始影像40L與40R中的樹圖案44f的位置之間有平移量44d,小於平移量42d。遠山圖案44f在原始影像40L與40R中的位置則幾乎沒有改變,兩者之間的平移量46d近乎0。從第5圖可知,平移量42d>平移量44d>平移量46d
如同第4圖所示,距離S46>距離S44>距離S42。換言之,一個圖案在第5圖中兩個原始影像40L與40R中的平移量,跟相對應物件到相機39L與39R之間的距離,有一定的關係。只要知道一原始圖案在兩個原始影像40L與40R中的平移量,就可以決定相對應物件距離一相機的距離。等效來說,平移量就是一種三維深度(3D Depth),其代表了對應物件跟一相機的距離。當 然以上僅僅介紹一種三維深度的取得,並不是用於限制本發明。
原始影像40L與40R不一定需要兩個相機來產生。舉例來說,利用一具有二個拍攝鏡頭的相機,可以同時拍攝同一場景。兩個原始影像的畫素量或是解析度不必要相等。譬如說,其中之一的解析度比較高,做為之後要影像處理產生模擬影像用;另一個的解析度比較低,純粹用來跟比較高解析度的原始影像作比較,找出物件到相機之間的距離。
當然,也可以利用單一拍攝鏡頭快速左右移動來拍攝相同場景取得兩個影像,即可推知該原始影像中原始圖案因為鏡頭左右移動所導致的平移量,供作所有物件與欲模擬鏡頭之間的距離的參考。
反模糊處理
假定一失焦點光源,在沒有散景的虛擬條件下,在感光元件上產生了一圖案,其以5x5畫素陣列POINT SHARP 表示如下:
在一定的光學參數下,這失焦點光源因為散景的效果,假設在感光元件上產生了另一個圖案,其以5x5畫素陣列POINT REAL 舉例表示如下:
這樣的散景效果,可以視為一模糊函數H(f,A,Sp,Ssharp)對畫素陣列POINT SHARP 所進行的模糊處理產生的結果,其中,f,A,Sp,Ssharp分別焦距、光圈值、點光源的位置、以及對焦物件之位置(等同感光元件之坐落位置)。以上的例子中,可以定義POINT REAL =POINT SHARP H(f,A,Sp,Ssharp),其中,表示迴旋(convolution)。在以上的條件下,可以得到以下的模糊函數H(f,A,Sp,Ssharp)。
如同先前所述,模糊函數H跟光學參數、此失焦點光源的位置、以及對焦物件之位置有關。舉例來說,當失焦點光源的位置變了,模糊函數H也會跟著改變。
一被攝物品可以視為點光源的組合。假定其沒有散景的狀況下,失焦物品可以在感光元件上清晰成像的模擬圖案,以畫素陣列P SHARP 表示;如果有散景的狀況下,可以在感光元件上模糊成像的原始圖案,以原始畫素陣列P REAL 表示。畫素陣列P SHARP P REAL 兩者將有以下公式(1)關係:
或簡化的寫成:
假定存在有反模糊函數G,符合以下條件
H G=1;其中,1為單位矩陣,也就是矩陣中只有中間一個元素為1,其他的元素都為0。那公式(1)可以推演如下:
也就是P REAL G=P SHARP
換言之,只要反模糊函數G存在,就可以將原本有散景效果的原始圖案(以原始畫素陣列P REAL 表示)以反模糊函數G進行反模糊處理,反推而得到模擬圖案,其理論上就是以比較清晰的畫素陣列P SHARP 所表示。
實際方面,反模糊函數G可能不存在,例如出現數學除零或是過於複雜等因素。但是,從數值分析觀點而言,當分析最小誤差函數條件下,可以藉由梯度(gradient)迭代或是遞迴(iteration)等方法,或是加上放寬收斂條件等等,一定可以得到一個近似或是可以接受的反模糊函數G。
因為H G=1,所以反模糊函數G跟相機的光學參 數、失焦物件的位置、以及對焦物件之位置有關。舉例來說,一使用本發明的影像後製軟體可以找到原始影像中對焦物件以及失焦物件的三維深度,來做為兩者距離相機鏡頭的位置。然後再依據拍攝產生原始影像時的光圈、曝光時間等光學參數,透過查表法或是演算公式,直接提供針對一失焦物件的反模糊函數G
在另一個實施例中,影像後製軟體可以依據對焦物件以及失焦物件的三維深度、光圈、以及曝光時間等,先得到模糊函數H,然後才推算出反模糊函數G。模糊函數H可以先依據對焦物件以及失焦物件的三維深度、光圈、以及曝光時間等之不同變數組合,一一的以一相機鏡頭實際拍攝量測的方式,建立出許多的參考模糊函數。在實際的影像後製處理時,先用查表,從所有已經預先建好的參考模糊函數中,找到最接近的參考模糊函數H REF ,然後用內插法或是外推法,來計算出一適當的模糊函數H。之後,可以用此模糊函數H,用解聯立方程式的方式,來推算出反模糊函數G
在另一個實施例中,反模糊函數G並不需要得知。如同先前所述,只要得知對焦物件以及失焦物件的三維深度等以及一相機鏡頭本身的光學特性(譬如鏡頭光圈、以及曝光時間等),模糊函數H就可以建立或是得知。依據本發明所實施例的一影像後製軟體,可以先提供一個初始圖案,其經過模糊函數H的模糊處理後,產生結果圖案。然後以數學分析的方法,改變初始圖案,使結果圖案越來越逼近原始影像中的原始圖案。當結果 圖案與原始圖案小到一定程度時,就以初始圖案來跟原始影像中其他圖案相組合成為模擬影像。如此,也實現了反模糊處理的動作。
不同的應用
在一依據本發明所實施的一影像後製軟體中,除了可以產生經過反模糊處理所得到的模擬圖案所組合的模擬影像,該影像後製軟體可以更進一步的模擬一個非拍攝鏡頭的特性,依據另一個非拍攝鏡頭的模糊函數H,來對第一次產生的模擬影像進行進一步的模擬。這進一步的模擬可以選取模擬影像中一些圖案,以一個非拍攝鏡頭的模糊函數H來進行模糊處理,產生散景效果,然後重組成為另一個模擬影像。
以第6圖為例來說,反模糊處理可以將原始影像40中的樹圖案44f與遠山圖案46f變得清晰,形成模擬影像48。影像後製軟體可以更進一步的,模擬另一個焦距不同的鏡頭,使用另一套光學參數,虛擬地把樹44變為對焦物件,對模擬影像48中的模擬遠山圖案46SIM以及原始臉孔圖案42f進行兩個不一樣的模糊處理,產生模擬遠山圖案46SIM2與模糊的模擬臉孔圖案42SIM2,而再加上模擬樹圖案44SIM,得到模擬影像49。舉例來說,可以依據另一套光學參數、臉孔42(原始對焦物件)距離鏡頭之位置距離S42、樹44到鏡頭之位置距離S44,來找出相對應模糊函數,對模擬影像48中的原始臉孔圖案42f進行模糊處理,產生模擬影像49中的模擬臉孔圖案42SIM2
在另一個實施例中,一影像後製軟體可以直接將針對拍攝鏡頭的反模糊處理以及針對非拍攝鏡頭的模糊處理組合,直接提供鏡頭轉換後,所可能對於原始影像40產生的效果。換言之,依據本發明所實施的一影像後製軟體可以直接從原始影像40,將其中的臉圖案42f、樹圖案44f與遠山圖案46f,經過模擬轉換處理,分別成為模擬臉圖案42SIM2、模擬樹圖案44SIM與模擬遠山圖案46SIM2,如同第6圖所示。
反偏移處理
在曝光時,如果相機因為手震,產生了偏移,也會導致原始影像有模糊問題。依據本發明所實施的一影像後製軟體,可以依據相機本身的偏移量、被拍攝之物件位置、以及相機的光學參數等,將原始影像中一些模糊原始圖案,轉換成比較清晰的模擬圖案。模擬圖案可以和原始影像中的一些原始圖案重組,形成一模擬影像。
相機偏移發生,所導致的模糊原始影像,也可以視為一模糊函數H對一虛擬的沒有發生偏移之清晰影像進行模糊處理的結果。所以,公式(1)一樣適用在此,如下
其中,P SHARP 為一被攝物件在沒有相機偏移發生時,所應該在感光元件呈現的畫素陣列;P REAL 為該被攝物件在相機偏移發生時,在感光元件上呈現的原始畫素陣列。
舉例來說,P SHARP 為一點光源所形成的聚焦影像, 以5x5矩陣表示如下:
在相機發生偏移量Shift後,所形成的影像以原始畫素陣列P REAL 表示如下。
可以推得知,當下的模糊函數H應為:
這個模糊函數H,除了跟攝影鏡頭的光學參數、此點光源的位置、以及感光元件之坐落位置有關之外,還跟相機的偏移量Shift有關。
如同先前所說明的,如果模糊函數H的反函數(也就是反模糊函數G)存在,那就可以將原始畫素陣列P REAL ,經過反模糊函數G處理,得到一個模擬畫素陣列P SIM-GUESS 。這模擬 畫素陣列應該會近似清晰的畫素陣列P SHARP 。當然,就算模糊函數H的反函數不存在,也可以用數學分析的方法,利用模糊函數H以及數值分析的手法,來推知產生模擬畫素陣列P SIM-GUESS 。模擬畫素陣列P SIM-GUESS 可以用來取代原始畫素陣列P REAL ,用來形成一張比較清晰的模擬影像。
在此對於相機的偏移所要找到模糊函數H或是反模糊函數G,需要知道相機的偏移量Shift,來作為一個輸入。舉例來說,一相機上配備有水平與垂直位移感測器,來決定此相機在曝光時的偏移量Shift。在本發明的一實施例中,依據攝影鏡頭的光學參數、一模糊圖案之對應被攝影物距離攝影鏡頭的位置、感光元件之坐落位置、以及相機的偏移量Shift,一影像後製軟體可以找出一模糊函數H,然後推算出反模糊函數G,最後以反模糊函數G對模糊圖案進行反模糊處理,得到模擬圖案,然後跟其他的模擬圖案或是原始影像中的一原始圖案,組合成為模擬影像。
實施裝置
在一實施例,以上所述之影像處理方法可以執行於一數位相機中,如第7圖所示。數位相機80具有一鏡頭82裝備於相機機身84上。相機機身84具有一距離偵測單元86,可用來偵測前方所有被攝影之物件與數位相機80之間的距離。
第8圖顯示第7圖中的數位相機80中的元件之功能方塊圖。數位相機80內部具有距離偵測單元86、感光元件88、光學參數提供器90、處理器92、記憶體94、水平與垂直位移感 測器96、以及螢幕98。
數位相機80以鏡頭82拍攝前方之物件後,感光元件88可以是一影像感測器,用來提供一原始影像。距離偵測單元86可以提供處理器92一些相關資訊,可用來得知原始影像中每個畫素所對應的被攝影物件到數位相機80的物件距離。處理器92可以從原始影像中的對比度、以及距離偵測單元86所提供的距離資料,來辨識出原始影像中的清晰圖案與模糊圖案。清晰圖案所對應的物件稱為對焦物件,而模糊圖案所對應的物件稱為失焦物件。
在一實施例中,光學參數提供器90提供鏡頭82的焦距以及光圈等的光學參數。如同先前所述,依據這些光學參數、清晰圖案與模糊圖案的物件距離,處理器92可以得知產生模糊圖案所經歷的模糊函數H與相對應的反模糊函數G。處理器92可以以反模糊函數G,對模糊圖案進行反模糊處理,而得到模擬圖案。處理器92將模擬圖案與清晰圖案重組後,可以得到一模擬影像,顯示在螢幕98上。
在一實施例中,記憶體94中紀錄了不同光學參數與距離資料之每一個組合所對應的參考反模糊函數G REF。處理器92依據光學參數、清晰圖案與模糊圖案的物件距離,先從眾多參考反模糊函數G REF中找到最適切的一個或兩個參考反模糊函數G REF,然後以內差法或是外推法得到模糊圖案所對應的反模糊函數G
在另一個實施例中,記憶體94中紀錄了不同光學參數與距離資料之每一個組合所對應的參考模糊函數H REF。處理器92依據光學參數、清晰圖案與模糊圖案的物件距離,先從眾多參考模糊函數H REF中找到最適切的一個或兩個參考模糊函數H REF,然後以內差法或是外推法得到模糊圖案所應該經歷的模糊函數H,接著反推出模糊圖案所對應的反模糊函數G
在一實施例中,距離偵測單元86可以是一紅外線距離偵測單元。在另一個實施例中,距離偵測單元86可以另一個鏡頭,提供另一個原始影像,解析度低於感光元件88所提供的原始影像。處理器92比較兩個原始影像,得到其中的三維深度,作為一種物件距離。
水平與垂直位移感測器96提供數位相機80在感光元件88曝光產生原始影像時所遭遇的偏移量Shift。從這個偏移量Shift、原始影像中圖案之物件距離、以及鏡頭82的光學參數,處理器92可以得知原始影像中的模糊圖案所經歷的模糊函數H與相對應的反模糊函數G。處理器92可以將模糊圖案,以模糊函數H或反模糊函數G進行反模糊處理後,得到模擬圖案。處理器92將模擬圖案與清晰圖案重組後,可以得到一模擬影像,顯示在螢幕98上。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
37‧‧‧影像編輯方法
S10、S12、S14、S121、S122‧‧‧步驟

Claims (18)

  1. 一種影像編輯方法,用以編輯一原始影像,其至少包括一清晰圖案以及一模糊圖案,分別對應被攝影之一對焦物件以及一失焦物件,該影像編輯方法包括下列步驟:取得該失焦物件與一鏡頭之間的一失焦物件距離;依據該失焦物件距離以及一光學參數,對該模糊圖案進行一反模糊處理以得到一處理後圖案;以及依據該處理後圖案以及該清晰圖案形成一處理後影像。
  2. 如申請專利範圍第1項所述之影像編輯方法,其中,對該模糊圖案進行該反模糊處理以得到一處理後圖案之步驟,包含有:依據該失焦物件距離以及該光學參數,得到一模糊函數;依據該模糊函數,推算出一反模糊函數;以及依據該反模糊函數處理該模糊圖案,以得到該處理後圖案。
  3. 如申請專利範圍第2項所述之影像編輯方法,其中,得到該模糊函數之步驟,包含有:提供複數個參考模糊函數;以及依據該失焦物件距離以及該光學參數,從該等參考模糊函數中,選擇一參考模糊函數,並據以決定該模糊函數。
  4. 如申請專利範圍第1項所述之影像編輯方法,其中,對該模糊圖案進行該反模糊處理以得到一處理後圖案之步驟,包含有:根據該失焦物件距離以及該光學參數,決定一模糊函數;提供一初始圖案;以該模糊函數對該初始圖案進行一模糊處理,以得到一結果圖案;調整該初始圖案,以使該結果圖案逼近該模糊圖案;以及以該初始圖案作為該處理後圖案。
  5. 如申請專利範圍第4項所述之影像編輯方法,其中,該模糊處理為該反模糊處理之一反函數。
  6. 如申請專利範圍第1項所述之影像編輯方法,其中,該原始影像係為一第一原始影像,取得該失焦物件距離之該步驟包含有:取得一第二原始影像;以及依據該第一與該第二原始影像,以取得該失焦物件距離。
  7. 如申請專利範圍第1項所述之影像編輯方法,其中,取得該失焦物件距離之該步驟包含有:以一距離偵測單元發射電磁波至該失焦物件,以偵測該失焦 物件距離。
  8. 如申請專利範圍第1項所述之影像編輯方法,其中,該處理後影像為一第一處理後影像,該影像編輯方法另包含有:取得該對焦物件與該鏡頭之間的一對焦物件距離;以及依據該對焦物件距離以及另一光學參數,對該處理後影像之至少一部分進行一模糊處理後,以得到一第二處理後影像。
  9. 一種影像編輯方法,用以編輯一原始影像,其至少包括一模糊圖案以及一原始圖案,該模糊圖案對應一被攝影物件,該影像編輯方法包括下列步驟:取得該被攝影物件與一鏡頭之間的一物件距離;取得一相機偏移量;根據該物件距離、該相機偏移量、以及一光學參數,對該模糊圖案進行一反模糊處理,以得到一處理後圖案;以及使用該處理後圖案以及該原始圖案,來形成一處理後影像。
  10. 如申請專利範圍第9項所述之影像編輯方法,另包含有:以一位移感測器,來決定該相機偏移量。
  11. 一種影像處理裝置,用以處理透過一鏡頭攝影產生的一原始影像,包含有: 一處理器,從該原始影像中辨識出一清晰圖案以及一模糊圖案,分別對應被攝影之一對焦物件以及一失焦物件;以及一距離偵測單元,取得該失焦物件與該鏡頭之間的一失焦物件距離;其中,該處理器依據該失焦物件距離以及該鏡頭之一光學參數,對該模糊圖案進行一反模糊處理以得到一處理後圖案;以及依據該處理後圖案以及該清晰圖案形成一處理後影像。
  12. 如申請專利範圍第11項所述之影像處理裝置,該影像處理裝置另包含有一記憶體,儲存有複數參考模糊函數,該處理器依據該失焦物件距離以及該光學參數,從該等參考模糊函數中選擇一參考模糊函數,並據以決定一模糊函數。
  13. 如申請專利範圍第12項所述之影像處理裝置,其中該處理器依據該模糊函數,推算出一反模糊函數,以及依據該反模糊函數對該模糊圖案進行該反模糊處理,以得到該處理後圖案。
  14. 如申請專利範圍第12項所述之影像處理裝置,其中該處理器提供並調整一初始圖案,以使該初始圖案利用該模糊函數進行一模糊處理所得到的一結果圖案逼近該模糊圖案,以及以該初始圖案作為該模擬圖案。
  15. 如申請專利範圍第11項所述之影像處理裝置,該影像處理裝置另包含有一記憶體,其記錄了複數參考反模糊函數,且該處理器依據該等參考反模糊函數之其中之一、該光學參數、以及該失焦物件距離對該模糊圖案進行該反模糊處理,以得到該處理後圖案。
  16. 如申請專利範圍第11項所述之影像處理裝置,其中,該距離偵測單元使該處理器取得另一原始影像,且該處理器依據該二原始影像,以取得該失焦物件距離。
  17. 如申請專利範圍第11項所述之影像處理裝置,另包含有一位移感測器,提供該原始影像供應器於產生該原始影像時之一偏移量。
  18. 如申請專利範圍第17項所述之影像處理裝置,其中,該處理器根據該失焦物件距離、該光學參數、以及該偏移量,對該模糊圖案進行該反模糊處理,以得到該處理後圖案。
TW102113223A 2013-04-15 2013-04-15 影像編輯方法以及影像處理裝置 TWI605418B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102113223A TWI605418B (zh) 2013-04-15 2013-04-15 影像編輯方法以及影像處理裝置
US14/250,981 US9319581B2 (en) 2013-04-15 2014-04-11 Image editing method and associated apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102113223A TWI605418B (zh) 2013-04-15 2013-04-15 影像編輯方法以及影像處理裝置

Publications (2)

Publication Number Publication Date
TW201439984A true TW201439984A (zh) 2014-10-16
TWI605418B TWI605418B (zh) 2017-11-11

Family

ID=51686863

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113223A TWI605418B (zh) 2013-04-15 2013-04-15 影像編輯方法以及影像處理裝置

Country Status (2)

Country Link
US (1) US9319581B2 (zh)
TW (1) TWI605418B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6347675B2 (ja) * 2014-06-06 2018-06-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
CN118301474B (zh) * 2024-06-03 2024-08-30 浙江大华技术股份有限公司 图像成像方法、系统、电子设备和计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624859B2 (ja) * 2001-06-19 2005-03-02 カシオ計算機株式会社 撮像装置、ソフトフォーカス画像撮影方法
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
TWI273215B (en) * 2005-09-23 2007-02-11 Ind Tech Res Inst Object size measuring system and method thereof
JP4585456B2 (ja) * 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
TWI393980B (zh) 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
JP5173954B2 (ja) * 2009-07-13 2013-04-03 キヤノン株式会社 画像処理装置及び画像処理方法
US8406510B2 (en) 2010-03-10 2013-03-26 Industrial Technology Research Institute Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
US8432479B2 (en) * 2010-04-30 2013-04-30 Apple Inc. Range measurement using a zoom camera
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
US9137441B2 (en) * 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
US9070050B2 (en) * 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset

Also Published As

Publication number Publication date
US9319581B2 (en) 2016-04-19
TWI605418B (zh) 2017-11-11
US20140307977A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
KR102618542B1 (ko) ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
TWI538512B (zh) 調整對焦位置的方法及電子裝置
JP5273408B2 (ja) 2写真照合に基づく奥行き推定のための4次元多項式モデル
JP6271990B2 (ja) 画像処理装置、画像処理方法
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
TWI474096B (zh) 用於影像處理的成像系統及其方法
JP6786225B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
WO2010016625A1 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
US20120307009A1 (en) Method and apparatus for generating image with shallow depth of field
WO2011119267A2 (en) Blur function modeling for depth of field rendering
CN101764925A (zh) 数字图像的浅景深模拟方法
TWI543582B (zh) 影像編輯方法以及相關之模糊參數建立方法
CN104702824A (zh) 摄像装置及摄像装置的控制方法
US20170187938A1 (en) Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image
JP2012514886A (ja) 映像データ獲得方法及び装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2012195797A (ja) パンフォーカス画像生成装置
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP6877936B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2017060010A5 (zh)
CN104125385B (zh) 影像编辑方法以及影像处理装置
TWI605418B (zh) 影像編輯方法以及影像處理裝置
US7899315B2 (en) Method of automatically adjusting the depth of field
CN103426143B (zh) 影像编辑方法以及相关的模糊参数建立方法
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees