TWI647658B - 影像特徵自動辨識裝置、系統及方法 - Google Patents
影像特徵自動辨識裝置、系統及方法 Download PDFInfo
- Publication number
- TWI647658B TWI647658B TW106133740A TW106133740A TWI647658B TW I647658 B TWI647658 B TW I647658B TW 106133740 A TW106133740 A TW 106133740A TW 106133740 A TW106133740 A TW 106133740A TW I647658 B TWI647658 B TW I647658B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- image feature
- sample images
- images
- sample
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
Abstract
本發明公開一種影像特徵自動辨識裝置、系統及方法。影像特徵自動辨識方法包括下列步驟:對分別具有不同的影像特徵的多個樣品圖像進行影像處理程序,並分別將影像處理程序所產生的影像處理結果與標準圖像進行疊合以產生擴增的多個樣品圖像;將擴增前、後的多個樣品圖像提供給深度學習系統,以建立影像特徵自動辨識演算法,其包括有針對影像特徵的辨識標準;擷取待檢測物的待測圖像,以影像特徵自動辨識演算法對待測圖像進行分析,並根據辨識標準判斷待測圖像是否具有影像特徵。
Description
本發明涉及一種影像特徵自動辨識裝置、系統及方法,特別是涉及一種將用於深度學習系統的樣品圖像先進行擴增的影像特徵自動辨識裝置、系統及方法。
隨著機器學習(Machine Learning)技術的越趨成熟,無論在影像識別、語音辨識或自然語言處理等各方面,都有了更加多樣化的應用。
其中,影像辨識技術與機器學習技術的結合尤其出色,除了在基本的手寫文字辨識、物件識別以及人臉辨識等應用之外,深度學習(Deep Learning)和影像辨識整合的技術,也時常結合自動光學檢測(Automated Optical Inspection,簡稱AOI)系統,而被應用在產品生產過程中的產品品質管控。
機器學習演算法是一類從資料中自動分析獲得規律,並利用規律對未知資料進行預測的演算法。很顯然,為了確保深度學習所產生出來的演算法能夠正確地判別未知資料,必須在深度學習的訓練過程(Training)中提供大量的樣品資料,尤其是,大量有標記(Label)的樣品資料,以便深度學習的模型(model)能夠充分且正確地學習到判別的關鍵。
然而,大量樣品的蒐集並非易事,尤其當深度學習系統被應用在產品生產過程的品質管控上,通常要學習辨識的標記即為產
品的瑕疵特徵,假如要求產品的生產者先產出極大量的瑕疵產品,且人工挑選出大量的瑕疵樣品並進行標記後,才能夠有效應用深度學習系統協助產生能夠自動辨識瑕疵特徵的演算法,進而通過自動辨識瑕疵特徵的演算法,回過頭來協助生產者進行品質管控以及改善製程,這顯然並不是一個非常理想的方案。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種影像特徵自動辨識裝置、系統及方法,能通過大量擴增樣品圖像的數量,有效提升深度學習系統下的訓練過程所能接觸到的資料多樣性,進而能增進深度學習系統應用於影像特徵自動辨識的效率與正確性。
為了解決上述的技術問題,本發明所採用的其中一技術方案是,提供一種影像特徵自動辨識裝置,其包括一儲存單元、一處理單元以及一影像擷取單元,其中,所述儲存單元儲存有一資料庫,所述資料庫儲存有一第一影像特徵類別群組以及至少一標準圖像,所述第一影像特徵類別群組儲存有多個第一樣品圖像,每一個所述第一樣品圖像分別具有不同的第一影像特徵;所述處理單元與所述儲存單元訊號連接;所述影像擷取單元與所述處理單元訊號連接,以用於擷取一待檢測物的一待測圖像。所述處理單元讀取所述資料庫中的多個所述第一樣品圖像,多個所述第一樣品圖像進行影像處理程序以分別產生多個影像處理結果,且多個所述影像處理結果分別與多個所述標準圖像進行疊合,以分別產生擴增的多個第一樣品圖像。所述處理單元根據擴增前以及擴增後的多個所述第一樣品圖像執行一深度學習系統的訓練程序,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準。所述處理單元自所述影像擷取單元取得所述待測圖像,所述處理單元執行所述影像特徵自動辨識演算法對所述待測圖像進行分析,且所述處理
單元根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵。
為了解決上述的技術問題,本發明所採用的另外一技術方案是,提供一種影像特徵自動辨識系統,其包括一伺服端以及一檢測端,其中,所述伺服端包括一儲存單元以及一處理單元,所述儲存單元儲存有一資料庫,所述資料庫儲存有一第一影像特徵類別群組以及至少一標準圖像,所述第一影像特徵類別群組儲存有多個第一樣品圖像,每一個所述第一樣品圖像分別具有不同的第一影像特徵;所述處理單元與所述儲存單元訊號連接。其中,所述處理單元讀取所述資料庫中的多個所述第一樣品圖像,並分別進行一影像處理程序,且分別將所述影像處理程序所產生的影像處理結果各自與所述標準圖像進行疊合以產生擴增的多個第一樣品圖像;所述處理單元根據擴增前以及擴增後的多個第一樣品圖像執行一深度學習系統的訓練程序,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準。所述檢測端與所述伺服端訊號連接,且能由所述伺服端接收所述影像特徵自動辨識演算法,所述檢測端包括一影像擷取模組以及一處理模組,所述影像擷取模組用以擷取一待檢測物的一待測圖像;所述處理模組與所述影像擷取模組訊號連接,以自所述影像擷取模組取得所述待測圖像,所述處理模組執行所述影像特徵自動辨識演算法對所述待測圖像進行分析,並根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵。
為了解決上述的技術問題,本發明所採用的另外再一技術方案是,提供一種影像特徵自動辨識方法,其包括下列步驟:對分別具有不同的第一影像特徵的多個第一樣品圖像進行一影像處理程序,並分別將所述影像處理程序所產生的影像處理結果與不具有所述第一影像特徵的一標準圖像進行疊合以產生擴增的多個第
一樣品圖像;將擴增前以及擴增後的多個第一樣品圖像提供給一深度學習系統,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準;擷取一待檢測物的一待測圖像,以所述影像特徵自動辨識演算法對所述待測圖像進行分析,並根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵。
本發明的有益效果在於,本發明技術方案所提供的影像特徵自動辨識裝置、系統及方法,其能通過“對分別具有不同影像特徵的多個樣品圖像進行影像處理程序,並與不具有所述影像特徵的標準圖像進行疊合以產生擴增的多個樣品圖像”以及“將擴增前以及擴增後的多個樣品圖像提供給深度學習系統”的技術特徵,以提升深度學習系統下的訓練過程所能接觸到的資料多樣性,進而能增進深度學習系統應用於影像特徵自動辨識的效率與正確性,且在尚未累積到及大量的瑕疵樣品的階段,就能夠採用深度學習系統產生影像特徵自動辨識演算法,在新產品製程的早期階段,就能有效地運用影像特徵自動辨識技術改善製程減少瑕疵,節省大量的時間與成本。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與附圖,然而所提供的附圖僅用於提供參考與說明,並非用來對本發明加以限制。
1‧‧‧裝置
11、211‧‧‧儲存單元
111、2111‧‧‧資料庫
12、212‧‧‧處理單元
13‧‧‧影像擷取單元
2‧‧‧系統
21‧‧‧伺服端
22‧‧‧檢測端
221‧‧‧處理模組
222‧‧‧影像擷取模組
23‧‧‧樣品圖像供應端
P0‧‧‧標準圖像
D1‧‧‧第一影像特徵
P11...P1n、P1(n+1)...P1N、P111、P112、P113‧‧‧第一樣品圖像
G1‧‧‧第一影像特徵類別群組
D2‧‧‧第二影像特徵
P21~P2N、P211、P212‧‧‧第二樣品圖像
G2‧‧‧第二影像特徵類別群組
圖1為本發明第一實施例的影像特徵自動辨識裝置功能方塊圖。
圖2A為通過本發明第一實施例的影像處理程序調整第一樣品圖像的影像形狀的調整結果示意圖。
圖2B為通過本發明第一實施例的影像處理程序調整第二樣品圖像的影像灰階的調整結果示意圖。
圖3為本發明第二實施例的影像特徵自動辨識系統功能方塊
圖。
圖4為本發明第三實施例的影像特徵自動辨識方法的主要流程圖。
圖5為本發明第四實施例的影像特徵自動辨識方法執行預檢驗程序的流程圖。
以下是通過特定的具體實施例來說明本發明所公開有關“影像特徵自動辨識裝置、系統及方法”的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不悖離本發明的精神下進行各種修飾與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。
[第一實施例]
請參閱圖1、圖2A以及圖2B所示,圖1為本發明第一實施例的影像特徵自動辨識裝置功能方塊圖。圖2A為通過本發明第一實施例的影像處理程序調整第一樣品圖像的影像形狀的調整結果示意圖。圖2B為通過本發明第一實施例的影像處理程序調整第二樣品圖像的影像灰階的調整結果示意圖。由上述圖中可知,本發明第一實施例提供一種影像特徵自動辨識裝置1,其包括儲存單元11、處理單元12以及影像擷取單元13。
請參閱圖1所示,儲存單元11儲存有資料庫111,資料庫111儲存有第一影像特徵類別群組G1、第二影像特徵類別群組G2以及至少一標準圖像P0。第一影像特徵類別群組G1儲存有多個第一樣品圖像P11~P1N;第二影像特徵類別群組G2儲存有多個第二
樣品圖像P21~P2N。處理單元12與儲存單元11訊號連接;影像擷取單元13與處理單元12訊號連接,以用於擷取待檢測物(圖式未顯示)的待測圖像。
為了方便說明,以下藉由隱形眼鏡的瑕疵檢測為例,說明本發明第一實施例的影像特徵自動辨識裝置1的運作方式。請搭配圖1的功能方塊圖,一併參閱圖2A以及圖2B所示。在本發明的第一實施例中,裝置1的儲存單元11儲存有人工篩選後認定為合格的隱形眼鏡圖像(即標準圖像P0)以及多個不同的瑕疵隱形眼鏡圖像(即第一樣品圖像P11~P1N及第二樣品圖像P21~P2N),前述合格的隱形眼鏡圖像以及多個不同的瑕疵隱形眼鏡圖像都被儲存在資料庫111中。
在本實施例中,多個第一樣品圖像P11~P1N分別具有不同的第一影像特徵D1,多個第二樣品圖像P21~P2N分別具有不同的第二影像特徵D2。更具體的說,當特定隱形眼鏡帶有氣泡時,拍攝該隱形眼鏡所獲得的樣品圖像,相較於合格的隱形眼鏡圖像,會具有「有氣泡」的瑕疵特徵(下稱「氣泡瑕疵」),在本實施例中便將此「氣泡瑕疵」的瑕疵特徵做為第一影像特徵D1,而具備第一影像特徵D1的樣品圖像即為本實施例中的第一樣品圖像P11~P1N。根據拍攝到的瑕疵隱形眼鏡,每一個第一樣品圖像P11~P1N上的第一影像特徵D1(即氣泡)都會略有不同。另一方面,當特定隱形眼鏡在生產的過程中,於脫模時在邊緣處產生瑕疵,則拍攝該隱形眼鏡所獲得的樣品圖像,相較於合格的隱形眼鏡圖像,會具有「邊緣處產生瑕疵」的瑕疵特徵(下稱「脫模瑕疵」),在本實施例中便將此「脫模瑕疵」的瑕疵特徵做為第二影像特徵D2,而具備第二影像特徵D2的樣品圖像即為本實施例中的第二樣品圖像P21~P2N。根據拍攝到的瑕疵隱形眼鏡,每一個第二樣品圖像P21~P2N上的第二影像特徵D2(即「脫模瑕疵」)也都會略有不同。
為了讓深度學習系統能夠正確的辨識出不同的瑕疵特徵,必須將瑕疵特徵適當地進行分類以及標記。此外,更重要的是,須提供足夠數量的樣品圖像供深度學習系統進行學習。在本實施例中,隱形眼鏡的生產者可能先以人工的方式(當然也可以在AOI檢測裝置的輔助下),圈選出有瑕疵的樣品圖像,並根據瑕疵的類型,分門別類地將具有第一影像特徵D1的第一樣品圖像P11~P1N儲存到資料庫111的第一影像特徵類別群組G1中、將具有第二影像特徵D2的第二樣品圖像P21~P2N儲存到資料庫111的第二影像特徵類別群組G2中。舉例來說,可以各自將100筆具有第一影像特徵D1的第一樣品圖像P11~P1N數據以及100筆具有第二影像特徵D2的第二樣品圖像P21~P2N數據儲存到資料庫111中。
然而,為了讓後續產生的演算法能夠精準地進行影像特徵自動辨識,因此,本發明先對樣品圖像進行擴增。在本實施例中,處理單元12會先讀取資料庫111中的多個樣品圖像,並且對多個樣品圖像進行影像處理程序,以分別產生多個影像處理結果。影像處理程序包括影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合。處理單元12將多個影像處理結果分別與多個標準圖像P0進行疊合,以分別產生擴增的多個樣品圖像。
具體地舉例來說,請參閱圖2A所示,在本實施例中,處理單元12會先讀取資料庫111中的第一樣品圖像P11,並通過影像形狀調整程序對第一樣品圖像P11進行拉伸或變形,以產生多個影像處理結果,且多個影像處理結果分別與標準圖像P0進行疊合,以分別產生擴增的多個第一樣品圖像P111~P113。更具體地說,是針對第一樣品圖像P11的第一影像特徵D1(即圖像上被圈選出的「氣泡瑕疵」部分)進行拉伸或變形,並將變形後的影像處理結果分別與標準圖像P0進行疊合。
另請參閱圖2B所示,在本實施例中,處理單元12也可以先
讀取資料庫111中的第二樣品圖像P21,並通過影像灰階調整程序對第二樣品圖像P21的第二影像特徵D2(或僅針對圖像上位在隱形眼鏡邊緣的「脫模瑕疵」部分)進行灰階調整,以產生多個影像處理結果,且將多個影像處理結果分別與標準圖像P0進行疊合,以分別產生擴增的多個第二樣品圖像P211以及P212。
雖然在上面分別以影像形狀調整程序對第一樣品圖像P11進行拉伸或變形,並通過影像灰階調整程序對第二樣品圖像P21進行灰階調整,但是影像處理程序的類別與第一影像特徵D1或第二影像特徵D2的類別並沒有固定的對應關係。此外,前述影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之間也不是相互排斥的關係,而是可以相互組合搭配進行影像調整,甚至加入其他影像調整方法共同對樣品圖像進行調整,以增加影像處理結果的多樣性。據此,便能夠將原先各自只有100筆的第一樣品圖像P11~P1N以及第二樣品圖像P21~P2N數據大量擴增(例如,分別擴增至10萬筆數據)。
需要特別一提的是,在本實施例中,資料庫111僅儲存有一個標準圖像P0,但是本發明並不以此為限,具體的作法,也可以在每一個影像特徵類別群組中,分別儲存一個標準圖像P0,並分別執行影像處理以及疊合等作業。
接下來,處理單元12根據擴增前以及擴增後的多個第一樣品圖像P11~P1N以及多個第二樣品圖像P21~P2N,執行深度學習系統的訓練程序,以建立影像特徵自動辨識演算法。具體來說,所採用的深度學習系統可以是Caffe、Theano、TensorFlow或者Lasagne、Keras甚至DSSTNE等的框架,本發明並不具體限定採用何種框架進行。通過前述方式所產生的影像特徵自動辨識演算法,包括有針對第一影像特徵D1(在本實施例中為「氣泡瑕疵」)的第一辨識標準以及針對第二影像特徵D2(在本實施例中為「脫模瑕疵」)的第二辨識標準。
在影像特徵自動辨識演算法建立完成後,便能夠以本發明的裝置1對待檢測物進行檢測。具體地說,影像擷取單元13(如攝像鏡頭)擷取待檢測物的待測圖像,接著,處理單元12自影像擷取單元13取得待測圖像,並執行影像特徵自動辨識演算法對待測圖像進行分析。處理單元12根據第一辨識標準判斷待測圖像是否具有第一影像特徵D1,並根據第二辨識標準判斷待測圖像是否具有第二影像特徵D2。
至此,就是本發明的影像特徵自動辨識裝置1基礎的運作方式。在本實施例中,通過大量擴增第一樣品圖像P11~P1N以及第二樣品圖像P21~P2N,使得在深度學習系統的訓練程序中,能夠建立出更精準的影像特徵自動辨識演算法。
[瑕疵類別的發現與建立]
需要特別說明的是,雖然上面直接以「氣泡瑕疵」與「脫模瑕疵」做例子說明,但本發明並不限於在一開始就要設定多種瑕疵類型以進行檢測,也可以在最開始只設定一種瑕疵特徵做檢測,而在後續執行影像特徵自動辨識演算法對待測圖像進行分析的過程中,才根據檢測結果篩選並建立其他要進行檢驗的瑕疵特徵類別。
舉例來說,假設原先資料庫111中僅儲存有第一影像特徵類別群組G1,且所產生的影像特徵自動辨識演算法僅僅設定了對第一樣品圖像P11~P1N的第一影像特徵D1進行辨識的第一辨識標準。然而,在通過影像特徵自動辨識演算法對多個待測圖像進行檢驗的過程中,處理單元12判斷多個待測圖像不符合標準圖像P0,但都具有第二影像特徵D2,此時,處理單元12能夠在資料庫111中建立第二影像特徵D2類別群組G2,並分別將多個具有第二影像特徵D2的待測圖像各自紀錄為多個第二樣品圖像P21,並儲存於第二影像特徵D2類別群組G2中。通過這個方式,有助於發現並建立新的瑕疵類別,以便能更主動地針對產品上未知的缺陷進行即時改善。
[正確率驗證與改善]
通過上面介紹的流程,已經足以使本發明的深度學習系通能夠利用十分龐大且多樣的樣品圖像進行訓練,而能夠產生判斷較為精準的影像特徵自動辨識演算法。然而,前述擴增後所產生的樣品圖像,當然也可以再次進行影像處理程序,進一步擴增成為更大量的樣品圖像,而可能更進一步地提高影像特徵自動辨識演算法辨識的精準度。為了確認是否有必要再次對樣品圖像進行擴增,本發明的裝置1還可以在實際運用影像特徵自動辨識演算法對待測圖像進行檢驗前,預先驗證所產生的影像特徵自動辨識演算法進行辨識作業的正確率。
具體的作法,是由處理單元12在執行一深度學習系統的訓練程序前,先將多個第一樣品圖像P11~P1N中的一部分(例如2成)第一樣品圖像P11~P1n選為第一驗證用圖像,並以其餘的多個(例如其餘的8成)第一樣品圖像P1(n+1)~P1N執行深度學習系統的訓練程序。並且,在深度學習系統建立影像特徵自動辨識演算法後,處理單元12執行影像特徵自動辨識演算法對先前挑選出的第一驗證用圖像進行驗證。也就是說,根據影像特徵自動辨識演算法中的第一辨識標準,判斷第一驗證用圖像是否具有第一影像特徵D1,以確認影像特徵自動辨識演算法中的第一辨識標準的正確性。如果無法辨識出第一驗證用圖像具有第一影像特徵D1,或將不具有第一影像特徵D1的圖像(例如標準圖像P0)辨識為具有第一影像特徵D1,則表示辨識結果錯誤;反之,表示辨識結果正確。
裝置1的使用者可以藉由處理單元12預先設定第一正確率門檻值,此外,還可以根據需要調整第一驗證用圖像的數量在多個
第一樣品圖像P11中所佔的比例。實際進行時,可以將第一驗證用圖像的數量設定在全部第一樣品圖像P11中的3%至50%。在執行影像特徵自動辨識演算法,並根據第一辨識標準判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1後,記錄其辨識結果正確或錯誤,換句話說,根據判斷結果紀錄第一辨識標準對第一影像特徵D1的第一辨識正確率。
接下來,將第一辨識正確率與預先設定的第一正確率門檻值相互比較。在第一辨識正確率低於第一正確率門檻值時,表示提供給深度學習系統進行訓練的樣品圖像可能並不足夠,因此,為了能夠執行更進一步的訓練,處理單元12將多個第一樣品圖像P11再次進行影像處理程序,以進一步產生擴增的多個第一樣品圖像P11。當然,為了驗證再次重新擴增後的樣品圖像,被提供給深度學習系統進行訓練,並修正第一辨識標準後,是否已經能夠產生足夠精確的影像特徵自動辨識演算法,因此,仍要進行前述的驗證程序。具體地說,處理單元12從再次擴增後的多個第一樣品圖像P11中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像P11再次提供給深度學習系統,以修正第一辨識標準,並以修正後的第一辨識標準再次判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1,並再次獲得第一辨識正確率。也就是說,倘若不能達到第一正確率門檻值,便會回到影像處理程序將樣品圖像再進一步擴增。直到第一辨識正確率高於(包括剛好達到)第一正確率門檻值時,才將影像特徵自動辨識演算法實際應用於待檢測物的檢測,並由處理單元12執行影像特徵自動辨識演算法,以根據影像特徵自動辨識演算法中最終修正的第一辨識標準,判斷擷取自待檢測物的待測圖像是否具有第一影像特徵D1。為了避免一開始設定過高的第一正確率門檻值,導致一直達不到標準,而造成影像處理程序不斷地擴增樣品圖像,也可以設定其他停止條件,但其並非本發明所與強調的重
點,具體條件如何設定在這裡不另外贅述。
[預檢驗]
另一方面,還需要考慮的一個問題是,假使在最初提供的樣品圖像中,第一影像特徵D1的多樣性就不足,那麼很可能會影響到後續建立的影像特徵自動辨識演算法在進行識別時的正確性,即使對樣品圖像進行反覆擴增,也可能因為一開始的多樣性太低而無法進行有效率的訓練程序。為了解決此一問題,在本實施例中,裝置1在執行影像處理程序前,還能夠使處理單元12預先執行一個預檢驗程序。
具體地說,處理單元12將多個第一樣品圖像P11~P1N(尚未進行任何影像處理程序)中的3%至50%選為第一預檢用圖像,並將第一樣品圖像P11中的其餘多個第一樣品圖像P11~P1N提供給深度學習系統,以建立包括有針對第一影像特徵D1的一第一預檢驗標準。在此一過程中,由於只是要初步確認所取得的第一樣品圖像P11~P1N是否具備足夠的多樣性,因此可以採用架構較簡化的深度學習系統進行。同樣地,也要通過處理單元12設定門檻,在此將其定義為第一預檢驗門檻值。由於只是對於第一樣品圖像P11~P1N的多樣性做一個初步判斷,因此,第一預檢驗門檻值不必設定太高。相較於前述用於確保最終判斷準確率的第一正確率門檻值,此處的第一預檢驗門檻值的數值要求較低,因此,在同時有採取預檢驗以及正確率驗證的情形下,第一預檢驗門檻值會低於第一正確率門檻值。處理單元12根據第一預檢驗標準判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1,並且根據判斷結果紀錄第一預檢驗標準對第一影像特徵D1的第一預檢驗正確率。
在前述預檢驗程序中,假使第一預檢驗正確率有達到第一預檢驗門檻值,表示第一樣品圖像P11~P1N的多樣性有達到期望的
標準,因此可以繼續進行本發明的主要流程,換句話說,可以接著執行影像處理程序;反之,假使第一預檢驗正確率低於第一預檢驗門檻值時,表示第一樣品圖像P11~P1N的多樣性其實是不足夠的,此時便應當終止程序,不要執行後續的影像處理程序,而應當先採集更多具有不同第一影像特徵D1的第一樣品圖像P11~P1N,以確保能夠對深度學習系統進行實質有效的訓練。
[第二實施例]
請參閱圖3所示,圖3為本發明第二實施例的影像特徵自動辨識系統2功能方塊圖。由上圖可知,本發明的第二實施例提供一種影像特徵自動辨識系統2,其包括伺服端21、檢測端22以及樣品圖像供應端23,樣品圖像供應端23也與伺服端21訊號連接,以提供。在本實施例中,伺服端21是影像特徵自動辨識演算法的提供者,檢測端22與伺服端21訊號連接,且能由伺服端21接收影像特徵自動辨識演算法,以使檢測端22能夠執行影像特徵自動辨識演算法,對待檢測物的待測圖像進行檢測與分析。至於樣品圖像供應端23也是與伺服端21訊號連接,而能夠提供多個第一樣品圖像P11~P1N至伺服端21。在系統2的實際架構上,檢測端22可能跟樣品圖像供應端23是同一的,但也可能被分別設置。
特別說明的是,從圖3所示的方塊圖可以看出,在本實施例中,伺服端21、檢測端22以及樣品圖像供應端23是通過網路彼此訊號連接,而能夠彼此交換訊號(例如傳送樣品圖像或影像特徵自動辨識演算法),然而,本發明所稱的「訊號連接」並不限於此,將伺服端21、檢測端22以及樣品圖像供應端23其中任一端的資料儲存於光碟、快閃記憶體或硬碟等儲存媒介,再將資料提供給其他任何一端,也符合此處所稱的「訊號連接」,特此指明。
同樣以隱形眼鏡的瑕疵檢測為例子,簡單來說,樣品圖像供應端23(隱形眼鏡生產與檢驗者)為了得到可以自動辨識「氣泡
瑕疵」(第一影像特徵D1)的影像特徵自動辨識演算法,因此將多個具有不同的第一影像特徵D1的第一樣品圖像P11~P1N提供給伺服端21(演算法提供者)。伺服端21在接收到多個第一樣品圖像P11~P1N後通過一連串的步驟產生影像特徵自動辨識演算法,並且將影像特徵自動辨識演算法提供給檢測端22(隱形眼鏡生產與檢驗者),以便檢測端22能夠將影像特徵自動辨識演算法應用在所生產的隱形眼鏡(待檢測物)的檢測上。換句話說,雖然伺服端21並不進行隱形眼鏡的檢測,但會從有需求的樣品圖像供應端23處取得產生影像特徵自動辨識演算法的材料,並且將成品(影像特徵自動辨識演算法)提供給同樣有需求且將會執行影像特徵自動辨識演算法的檢測端22。
具體的說,伺服端21包括儲存單元211以及處理單元212,儲存單元211儲存有資料庫2111,資料庫2111儲存有第一影像特徵類別群組G1以及至少一標準圖像P0,第一影像特徵類別群組G1儲存有多個第一樣品圖像P11~P1N(由樣品圖像供應端23所提供),每一個第一樣品圖像P11~P1N分別具有不同的第一影像特徵D1。處理單元212與儲存單元211訊號連接,而能夠讀取資料庫2111中的多個第一樣品圖像P11~P1N,並分別進行一影像處理程序。影像處理程序包括影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合。處理單元212分別將影像處理程序所產生的影像處理結果各自與標準圖像P0進行疊合以產生擴增的多個第一樣品圖像P11~P1N。
處理單元212根據擴增前以及擴增後的多個第一樣品圖像P11~P1N執行一深度學習系統的訓練程序,以建立影像特徵自動辨識演算法,影像特徵自動辨識演算法包括有針對第一影像特徵D1的第一辨識標準。
更具體地說,在本實施例中,處理單元212在執行深度學習
系統的訓練程序前,便會先將多個第一樣品圖像P11~P1N中的至少一樣品圖像選為第一驗證用圖像,並以其餘的多個第一樣品圖像P11~P1N執行深度學習系統的訓練程序。實際操作時,第一驗證用圖像的數量為多個,且第一驗證用圖像的數量佔多個第一樣品圖像P11~P1N數量的3%至50%。此外,處理單元212設定第一正確率門檻值,並且在深度學習系統建立影像特徵自動辨識演算法後,處理單元212執行影像特徵自動辨識演算法,以根據第一辨識標準判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1,以確認第一辨識標準的正確性。處理單元212根據判斷結果紀錄第一辨識標準對第一影像特徵D1的第一辨識正確率,並且將第一辨識正確率與前述第一正確率門檻值相比較。
當第一辨識正確率低於第一正確率門檻值時,處理單元212將多個第一樣品圖像P11~P1N再次進行影像處理程序,以進一步產生擴增的多個第一樣品圖像P11~P1N,並且從再次擴增後的多個第一樣品圖像P11~P1N中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像P11~P1N再次提供給深度學習系統,以修正第一辨識標準,並以修正後的第一辨識標準再次判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1,並再次獲得第一辨識正確率。反之,假使第一辨識正確率已經達到第一正確率門檻值,則可將影像特徵自動辨識演算法提供予檢測端22。
檢測端22包括影像擷取模組222以及處理模組221,影像擷取模組222用以擷取待檢測物的待測圖像。處理模組221與影像擷取模組222訊號連接,而能夠從影像擷取模組222取得待測圖像。檢測端22從伺服端21接收影像特徵自動辨識演算法後,處理模組221執行影像特徵自動辨識演算法對待測圖像進行分析,並根據第一辨識標準判斷待測圖像是否具有第一影像特徵D1。
需要特別一提的是,由於在本實施例中的資料庫2111是位於
伺服端21,而不在檢測端22,因此,在本實施例中,當檢測端22的處理模組221判斷多個待測圖像不符合標準圖像P0,但都具有第二影像特徵D2時,檢測端22會分別將多個具有第二影像特徵D2的待測圖像各自紀錄為多個第二樣品圖像,並將多個第二樣品圖像提供給伺服端21。在這之後,再由伺服端21的處理單元212於資料庫2111中建立第二影像特徵類別群組G2,並將多個接收自檢測端22的第二樣品圖像儲存於第二影像特徵類別群組G2中。
在完成新的類別建立之後,伺服端21的處理單元212也可以進一步讀取資料庫2111中的多個第二樣品圖像,並分別進行影像處理程序,且分別將影像處理程序所產生的影像處理結果各自與標準圖像P0進行疊合以產生擴增的多個第二樣品圖像。且處理單元212根據擴增前以及擴增後的多個第一樣品圖像P11~P1N執行深度學習系統的訓練程序,以在影像特徵自動辨識演算法中建立針對第二影像特徵D2的第二辨識標準。完成之後,伺服端21可以重新提供影像特徵自動辨識演算法給檢測端22。當檢測端22重新接收到影像特徵自動辨識演算法後,且處理模組221以影像特徵自動辨識演算法對待測圖像進行分析時,其是根據第一辨識標準判斷待測圖像是否具有第一影像特徵D1,並根據第二辨識標準判斷待測圖像是否具有第二影像特徵D2。
如同先前所說,本發明通過上述的技術特徵,可以使得檢測端22將影像特徵自動辨識演算法的實際使用結果,即時反饋給伺服端21,讓伺服端21能夠做更進一步的分析。
另外一種實施方式,是在檢測端22使用影像特徵自動辨識演算法進行檢測後,發現有不良產品未被檢出(無論是否預先設定要辨識的瑕疵特徵),而由人工紀錄的方式將對應的待測圖像儲存成樣品圖像,並提供給伺服端21進行分析。若伺服端21在分析之後發現有新的瑕疵類別,則另行通知檢測端22調整、優化製程,形成一種良性的互動過程。
如同在第一實施例中提到的,假使在最初提供的樣品圖像中,第一影像特徵D1的多樣性就不足,那麼很可能會影響到後續建立的影像特徵自動辨識演算法在進行識別時的正確性。因此,在本實施例中,裝置1在執行影像處理程序前,還能夠使處理單元12預先執行一個預檢驗程序。伺服端21從樣品圖像供應端23接收到多個第一樣品圖像P11~P1N後,也能夠先進行育檢驗程序以確認所接收到的第一樣品圖像P11~P1N是否具有足夠的多樣性。具體來說,伺服端21的處理單元212將多個第一樣品圖像P11~P1N中的3%至50%(較佳為15%至25%)選為第一預檢用圖像,並將第一樣品圖像P11~P1N中的其餘多個第一樣品圖像P11~P1N(即50%至97%的第一樣品圖像P11~P1N,較佳為75%至85%的第一樣品圖像P11~P1N)提供給深度學習系統,以建立包括有針對第一影像特徵D1的第一預檢驗標準。同樣地,在本實施例中也會通過處理單元212設定第一預檢驗門檻值。處理單元212根據深度學習系統建立的第一預檢驗標準判斷標準圖像P0以及多個第一驗證用圖像是否具有第一影像特徵D1,並根據判斷結果紀錄第一預檢驗標準對第一影像特徵D1的第一預檢驗正確率。得到第一預檢驗正確率後,處理單元212將第一預檢驗正確率與預先設定的第一預檢驗門檻值相比較。
假使第一預檢驗正確率低於第一預檢驗門檻值,則表示樣品圖像供應端23提供的第一樣品圖像P11~P1N多樣性不足,此時,在本實施例中,伺服端21不會執行後續影項擴增程序,而是向樣品圖像供應端23索取更多不同的第一樣品圖像P11~P1N,以充實第一樣品圖像P11~P1N的多樣性。理所當然地,在接收到更多第一樣品圖像P11~P1N後,仍然要再次通過育檢驗程序確認其多樣性是否已經達到標準。反之,在第一預檢驗正確率達到第一預檢驗門檻值時,伺服端21就可以繼續進行本發明的主要流程,換句話說,會對所接收到的執行第一樣品圖像P11~P1N影像處理程序
以進行擴增。
[第三實施例]
請參閱圖4所示。圖4為本發明第三實施例的影像特徵自動辨識方法的主要流程圖。以下通過圖4說明本發明所提供的影像特徵自動辨識方法的主要流程。本發明的影像特徵自動辨識方法主要包括下列步驟:S100:取得樣品圖像;S102:通過影像處理程序擴增樣品圖像;S104:在多個樣品圖像中選取驗證用圖像;S106:將其餘樣品圖像提供給深度學習系統進行訓練;S108:以驗證用圖像檢驗深度學習系統產出的影像特徵自動辨識演算法;S110:判斷辨識正確率是否達到正確率門檻值,若是,進入步驟S112;若否(低於),則回到步驟S102;S112:擷取待檢測物的待測圖像;S114:以影像特徵自動辨識演算法辨識待測圖像。
具體的說,本發明的影像特徵自動辨識方法在取得樣品圖像後,首先會針對樣品圖像進行影像處理程序以進行擴增(步驟S100以及步驟S102)。其具體作法是針對分別具有不同的第一影像特徵的多個第一樣品圖像,進行影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合,並分別將影像處理程序所產生的影像處理結果與不具有第一影像特徵的標準圖像進行疊合以產生擴增的多個第一樣品圖像。
為了驗證擴增後的第一樣品圖像是否已經足以建立出具有精確檢驗效果的影像特徵自動辨識演算法,因此,在此階段預先將
多個第一樣品圖像中的至少一樣品圖像選為第一驗證用圖像(步驟S104)。於此同時,也可以一併設定第一正確率門檻值。在本實施例中,第一驗證用圖像的數量佔多個第一樣品圖像數量的3%至50%(例如,採取20%)。第一正確率門檻值,可以視產品針對特定瑕疵的容錯率做適度調整,舉例來說,針對隱形眼鏡的「氣泡瑕疵」,由於屬於較嚴重的瑕疵,且檢測難度不是非常高,應當要求較高的正確率,此時,可將第一正確率門檻值設定為99%以上。另一方面,當本發明的影像特徵自動辨識方法同時被應用於檢測第二影像特徵時,也可以針對第二影像特徵以及具有第二影像特徵的第二樣品圖像,選出第二驗證用圖像,並設定第二正確率門檻值。針對隱形眼鏡的「脫模瑕疵」,由於屬於較難精確判斷的瑕疵,若第二影像特徵為隱形眼鏡的「脫模瑕疵」,此時可以考慮將第二正確率門檻值設定為90~95%左右。
接下來,將擴增前以及擴增後的多個第一樣品圖像(或包括第二樣品圖像)提供給深度學習系統進行訓練,以建立影像特徵自動辨識演算法(步驟S106)。影像特徵自動辨識演算法包括有針對第一影像特徵的第一辨識標準。
由於先前已經在多個第一樣品圖像中選出一部分做為第一驗證用圖像,因此,在深度學習系統建立影像特徵自動辨識演算法後,根據第一辨識標準判斷第一驗證用圖像是否具有第一影像特徵,藉此對深度學習系統產出的影像特徵自動辨識演算法進行檢驗(步驟S108)。具體做法是,執行影像特徵自動辨識演算法,並根據第一辨識標準判斷標準圖像以及多個第一驗證用圖像是否具有第一影像特徵,根據判斷結果紀錄第一辨識標準對第一影像特徵的第一辨識正確率,接著,將第一辨識正確率與預先設定的第一正確率門檻值做比較,以確認第一辨識正確率是否高於預先設定的第一正確率門檻值(步驟S110)。
倘若第一辨識正確率低於第一正確率門檻值,則回到步驟
S102,將多個第一樣品圖像再次進行影像處理程序,以進一步產生擴增的多個第一樣品圖像,並且依序執行步驟S104至步驟S110,從再次擴增後的多個第一樣品圖像中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像再次提供給深度學習系統,以修正第一辨識標準,並以修正後的第一辨識標準再次判斷標準圖像以及多個第一驗證用圖像是否具有第一影像特徵,並再次獲得第一辨識正確率。再次獲得第一辨識正確率後,再次與預先設定的第一正確率門檻值做比較,直到第一辨識正確率達到第一正確率門檻值。
在第一辨識正確率達到第一正確率門檻值之後,就可以將所建立的影像特徵自動辨識演算法實際應用於檢測待檢測物。具體來說,首先要擷取待檢測物的待測圖像(步驟S112),接下來,以影像特徵自動辨識演算法對待測圖像進行分析,並根據第一辨識標準判斷待測圖像是否具有第一影像特徵(步驟S114)。
以上就是本發明的影像特徵自動辨識方法的主要流程。當然,本發明的影像特徵自動辨識方法,還能夠在判斷多個待測圖像不符合標準圖像,但都具有第二影像特徵時,分別將多個待測圖像紀錄為多個第二樣品圖像。此部分細節可參考第一及第二實施例,在此不重覆贅述。另外,在將本發明的影像特徵自動辨識方法應用於具有不同的第二影像特徵的多個第二樣品圖像時,同樣要進行如下程序:對分別具有不同的第二影像特徵的多個第二樣品圖像進行影像處理程序,並分別將影像處理程序所產生的影像處理結果與不具有第二影像特徵的標準圖像進行疊合以產生擴增的多個第二樣品圖像;將擴增前以及擴增後的多個第二樣品圖像提供給深度學習系統,以在影像特徵自動辨識演算法中建立針對第二影像特徵的一第二辨識標準;擷取待檢測物的待測圖像,以影像特徵自動辨識演算法對待測圖像進行分析;其中,根據第一辨識標準判斷待測圖像是否具有第一影像特徵;其中,根據第
二辨識標準判斷待測圖像是否具有第二影像特徵。
[第四實施例]
為了確保最開始的樣品圖像具有足夠的多樣性,本發明的影像特徵自動辨識方法也可以在前述第三實施例的步驟S100至步驟S102的中間,再加上預檢驗流程。請參閱圖5所示,圖5為本發明第四實施例的影像特徵自動辨識方法執行預檢驗程序的流程圖。本發明的影像特徵自動辨識方法,在執行預檢驗程序時主要包括下列步驟:S100:取得樣品圖像;S116:在多個樣品圖像中選取預檢用圖像;S118:將其餘樣品圖像提供給深度學習系統進行訓練;S120:以預檢用圖像檢驗樣品圖像多樣性;S122:判斷辨識正確率是否高於預檢驗門檻值,若是,進入步驟S102;若否(低於),則回到步驟S100;S102:通過影像處理程序擴增樣品圖像;具體的說,本發明的影像特徵自動辨識方法在取得樣品圖像後,會先將多個第一樣品圖像中的3%至50%選為第一預檢用圖像(步驟S100以及步驟S116)。於此同時,也可以一併設定第一預檢驗門檻值。如同先前所說,第一預檢驗門檻值不必像第一正確率門檻值那麼高,因此,可以設定為70%至90%,當然,具體情況可視需要自行調整。
接下來,將第一樣品圖像中的其餘多個第一樣品圖像提供給深度學習系統進行訓練,以建立包括有針對第一影像特徵的第一預檢驗標準(步驟S118)。
在前述步驟完成後,以預檢用圖像檢驗樣品圖像多樣性(步驟S120)。具體來說,是根據第一預檢驗標準判斷標準圖像以及多
個第一預檢用圖像是否具有第一影像特徵,根據判斷結果紀錄第一預檢驗標準對第一影像特徵的第一預檢驗正確率。
接下來,將第一預檢驗正確率與第一預檢驗門檻值相比較(步驟S122)。其中,在第一預檢驗正確率低於第一預檢驗門檻值時,表示第一樣品圖像的多樣性不足,有必要增加具有不同的第一影像特徵的第一樣品圖像的數量,因此回到步驟S100,取得更多具有不同的第一影像特徵的第一樣品圖像;反之,在第一預檢驗正確率達到第一預檢驗門檻值時,即可接續進行本發明影像特徵自動辨識方法的主要流程,換言之,即可進入步驟S102,執行影像處理程序擴增第一樣品圖像。
[實施例的有益效果]
本發明的有益效果在於,本發明技術方案所提供的影像特徵自動辨識裝置、系統及方法,其能通過“對分別具有不同影像特徵的多個樣品圖像進行影像處理程序,並與不具有影像特徵的標準圖像進行疊合以產生擴增的多個樣品圖像”以及“將擴增前以及擴增後的多個樣品圖像提供給深度學習系統”的技術特徵,以提升深度學習系統下的訓練過程所能接觸到的資料多樣性,進而能增進深度學習系統應用於影像特徵自動辨識的效率與正確性,且在尚未累積到及大量的瑕疵樣品的階段,就能夠採用深度學習系統產生影像特徵自動辨識演算法,在新產品製程的早期階段,就能有效地運用影像特徵自動辨識技術改善製程減少瑕疵,節省大量的時間與成本。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及附圖內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
Claims (19)
- 一種影像特徵自動辨識裝置,其包括:一儲存單元,其儲存有一資料庫,所述資料庫儲存有一第一影像特徵類別群組以及至少一標準圖像,所述第一影像特徵類別群組儲存有多個第一樣品圖像,每一個所述第一樣品圖像分別具有不同的第一影像特徵;一處理單元,其與所述儲存單元訊號連接;以及一影像擷取單元,其與所述處理單元訊號連接,以用於擷取一待檢測物的一待測圖像:其中,所述處理單元讀取所述資料庫中的多個所述第一樣品圖像,多個所述第一樣品圖像進行影像處理程序以分別產生多個影像處理結果,且多個所述影像處理結果分別與多個所述標準圖像進行疊合,以分別產生擴增的多個第一樣品圖像;其中,所述處理單元根據擴增前以及擴增後的多個所述第一樣品圖像執行一深度學習系統的訓練程序,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準;其中,所述處理單元自所述影像擷取單元取得所述待測圖像,所述處理單元執行所述影像特徵自動辨識演算法對所述待測圖像進行分析,且所述處理單元根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵;其中,所述處理單元在判斷多個所述待測圖像不符合所述標準圖像,但都具有一第二影像特徵時,在所述資料庫建立一第二影像特徵類別群組,並分別將多個具有所述第二影像特徵的所述待測圖像各自紀錄為多個第二樣品圖像,並儲存於所述第二影像特徵類別群組中。
- 如請求項1所述的裝置,其中,所述影像處理程序包括影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合。
- 如請求項1所述的裝置,其中,所述處理單元還進一步執行下列程序:在執行一深度學習系統的訓練程序前,將多個所述第一樣品圖像中的至少一第一樣品圖像選為一第一驗證用圖像,並以其餘的多個所述第一樣品圖像執行所述深度學習系統的訓練程序;以及在所述深度學習系統建立所述影像特徵自動辨識演算法後,根據所述第一辨識標準判斷所述第一驗證用圖像是否具有所述第一影像特徵,以確認所述第一辨識標準的正確性。
- 如請求項3所述的裝置,其中,所述第一驗證用圖像的數量為多個,且所述第一驗證用圖像的數量佔多個所述第一樣品圖像數量的3%至50%,所述處理單元還進一步執行下列程序:設定一第一正確率門檻值;以及執行所述影像特徵自動辨識演算法,並根據所述第一辨識標準判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一辨識標準對所述第一影像特徵的一第一辨識正確率;其中,在所述第一辨識正確率低於所述第一正確率門檻值時執行下列步驟:將多個第一樣品圖像再次進行所述影像處理程序,以進一步產生擴增的多個第一樣品圖像;以及從再次擴增後的多個第一樣品圖像中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像再次提 供給所述深度學習系統,以修正所述第一辨識標準,並以修正後的所述第一辨識標準再次判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,並再次獲得所述第一辨識正確率;其中,在所述第一辨識正確率達到所述第一正確率門檻值時,根據所述第一辨識標準判斷擷取自所述待檢測物的所述待測圖像是否具有所述第一影像特徵。
- 如請求項1所述的裝置,其中,所述處理單元還進一步執行下列程序:讀取所述資料庫中的多個所述第二樣品圖像,並分別進行所述影像處理程序,且分別將所述影像處理程序所產生的影像處理結果各自與所述標準圖像進行疊合以產生擴增的多個第二樣品圖像;根據擴增前以及擴增後的多個第一樣品圖像執行所述深度學習系統的訓練程序,以在所述影像特徵自動辨識演算法中建立針對所述第二影像特徵的一第二辨識標準;以及根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵,並根據所述第二辨識標準判斷所述待測圖像是否具有所述第二影像特徵。
- 如請求項1所述的裝置,其中,所述處理單元在執行所述影像處理程序前,還進一步執行下列程序:將多個所述第一樣品圖像中的3%至50%選為第一預檢用圖像,並將所述第一樣品圖像中的其餘多個第一樣品圖像提供給所述深度學習系統,以建立包括有針對所述第一影像特徵的一第一預檢驗標準;設定一第一預檢驗門檻值;以及 根據所述第一預檢驗標準判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一預檢驗標準對所述第一影像特徵的一第一預檢驗正確率;其中,在所述第一預檢驗正確率達到所述第一預檢驗門檻值時,執行所述影像處理程序;以及其中,在所述第一預檢驗正確率低於所述第一預檢驗門檻值時,終止程序。
- 一種影像特徵自動辨識系統,其包括:一伺服端,其包括:一儲存單元,其儲存有一資料庫,所述資料庫儲存有一第一影像特徵類別群組以及至少一標準圖像,所述第一影像特徵類別群組儲存有多個第一樣品圖像,每一個所述第一樣品圖像分別具有不同的第一影像特徵;以及一處理單元,其與所述儲存單元訊號連接;其中,所述處理單元讀取所述資料庫中的多個所述第一樣品圖像,並分別進行一影像處理程序,且分別將所述影像處理程序所產生的影像處理結果各自與所述標準圖像進行疊合以產生擴增的多個第一樣品圖像;其中,所述處理單元根據擴增前以及擴增後的多個第一樣品圖像執行一深度學習系統的訓練程序,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準;以及一檢測端,其與所述伺服端訊號連接,且能由所述伺服端接收所述影像特徵自動辨識演算法,所述檢測端包括:一影像擷取模組,其用以擷取一待檢測物的一待測圖像;以及 一處理模組,其與所述影像擷取模組訊號連接,以自所述影像擷取模組取得所述待測圖像,所述處理模組執行所述影像特徵自動辨識演算法對所述待測圖像進行分析,並根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵;其中,所述檢測端的所述處理模組在判斷多個所述待測圖像不符合所述標準圖像,但都具有一第二影像特徵時,分別將多個具有所述第二影像特徵的所述待測圖像各自紀錄為多個第二樣品圖像,並將多個所述第二樣品圖像提供給所述伺服端;其中,所述伺服端的所述處理單元在所述資料庫建立一第二影像特徵類別群組,並將多個所述第二樣品圖像儲存於所述第二影像特徵類別群組中。
- 如請求項7所述的系統,其中,所述影像處理程序包括影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合。
- 如請求項7所述的系統,其中,所述處理單元還進一步執行下列程序:在執行一深度學習系統的訓練程序前,將多個所述第一樣品圖像中的至少一樣品圖像選為第一驗證用圖像,並以其餘的多個第一樣品圖像執行所述深度學習系統的訓練程序;以及在所述深度學習系統建立所述影像特徵自動辨識演算法後,根據所述第一辨識標準判斷所述第一驗證用圖像是否具有所述第一影像特徵,以確認所述第一辨識標準的正確性。
- 如請求項9所述的系統,其中,所述第一驗證用圖像的數量為 多個,且所述第一驗證用圖像的數量佔多個所述第一樣品圖像數量的3%至50%,所述處理單元還進一步執行下列程序:設定一第一正確率門檻值;以及執行所述影像特徵自動辨識演算法,並根據所述第一辨識標準判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一辨識標準對所述第一影像特徵的一第一辨識正確率;其中,在所述第一辨識正確率低於所述第一正確率門檻值時,執行下列步驟:將多個第一樣品圖像再次進行所述影像處理程序,以進一步產生擴增的多個第一樣品圖像;以及從再次擴增後的多個第一樣品圖像中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像再次提供給所述深度學習系統,以修正所述第一辨識標準,並以修正後的所述第一辨識標準再次判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,並再次獲得所述第一辨識正確率;其中,在所述第一辨識正確率達到所述第一正確率門檻值時,將所述影像特徵自動辨識演算法提供予所述檢測端。
- 如請求項7所述的系統,其中,所述處理單元還進一步執行下列程序:讀取所述資料庫中的多個所述第二樣品圖像,並分別進行所述影像處理程序,且分別將所述影像處理程序所產生的影像處理結果各自與所述標準圖像進行疊合以產生擴增的多個第二樣品圖像;以及根據擴增前以及擴增後的多個第一樣品圖像執行所述深度學習系統的訓練程序,以在所述影像特徵自動辨識演算法中建 立針對所述第二影像特徵的一第二辨識標準。
- 如請求項11所述的系統,其中,所述處理模組以所述影像特徵自動辨識演算法對所述待測圖像進行分析時,是根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵,並根據所述第二辨識標準判斷所述待測圖像是否具有所述第二影像特徵。
- 如請求項7所述的系統,還進一步包括:一樣品圖像供應端,其與所述伺服端訊號連接,以提供多個所述第一樣品圖像至所述伺服端;其中,所述伺服端的所述處理單元還進一步執行下列程序:將多個所述第一樣品圖像中的3%至50%選為第一預檢用圖像,並將所述第一樣品圖像中的其餘多個第一樣品圖像提供給所述深度學習系統,以建立包括有針對所述第一影像特徵的一第一預檢驗標準;設定一第一預檢驗門檻值;以及根據所述第一預檢驗標準判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一預檢驗標準對所述第一影像特徵的一第一預檢驗正確率;其中,在所述第一預檢驗正確率低於所述第一預檢驗門檻值時,從所述樣品圖像供應端接收更多具有不同的第一影像特徵的所述第一樣品圖像;其中,在所述第一預檢驗正確率達到所述第一預檢驗門檻值時,執行所述影像處理程序。
- 一種影像特徵自動辨識方法,其包括下列步驟: 對分別具有不同的第一影像特徵的多個第一樣品圖像進行一影像處理程序,並分別將所述影像處理程序所產生的影像處理結果與不具有所述第一影像特徵的一標準圖像進行疊合以產生擴增的多個第一樣品圖像;將擴增前以及擴增後的多個第一樣品圖像提供給一深度學習系統,以建立一影像特徵自動辨識演算法,所述影像特徵自動辨識演算法包括有針對所述第一影像特徵的一第一辨識標準;擷取一待檢測物的一待測圖像,以所述影像特徵自動辨識演算法對所述待測圖像進行分析,並根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵;以及在判斷多個所述待測圖像不符合所述標準圖像,但都具有一第二影像特徵時,分別將多個所述待測圖像紀錄為多個第二樣品圖像。
- 如請求項14所述的方法,其中,所述影像處理程序包括影像形狀調整程序、影像對比度調整程序、影像灰階調整程序以及影像色溫調整程序之中的一種或兩種以上的組合。
- 如請求項14所述的方法,還進一步包括:在將多個第一樣品圖像提供給所述深度學習系統前,將多個所述第一樣品圖像中的至少一樣品圖像選為第一驗證用圖像,並將所述第一樣品圖像中的其餘多個第一樣品圖像提供給所述深度學習系統;以及在所述深度學習系統建立所述影像特徵自動辨識演算法後,根據所述第一辨識標準判斷所述第一驗證用圖像是否具有所述第一影像特徵,以確認所述第一辨識標準的正確性。
- 如請求項16所述的方法,其中,所述第一驗證用圖像的數量為多個,且所述第一驗證用圖像的數量佔多個所述第一樣品圖像數量的3%至50%,所述方法還進一步包括:設定一第一正確率門檻值;以及執行所述影像特徵自動辨識演算法,並根據所述第一辨識標準判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一辨識標準對所述第一影像特徵的一第一辨識正確率;其中,在所述第一辨識正確率低於所述第一正確率門檻值時,執行下列步驟:將多個第一樣品圖像再次進行所述影像處理程序,以進一步產生擴增的多個第一樣品圖像;以及從再次擴增後的多個第一樣品圖像中,再次選出3%至50%為第一驗證用圖像,並將其餘的多個第一樣品圖像再次提供給所述深度學習系統,以修正所述第一辨識標準,並以修正後的所述第一辨識標準再次判斷所述標準圖像以及多個所述第一驗證用圖像是否具有所述第一影像特徵,並再次獲得所述第一辨識正確率;其中,在所述第一辨識正確率達到所述第一正確率門檻值時,根據所述第一辨識標準判斷擷取自所述待檢測物的所述待測圖像是否具有所述第一影像特徵。
- 如請求項14所述的方法,還進一步包括:對分別具有不同的第二影像特徵的多個第二樣品圖像進行所述影像處理程序,並分別將所述影像處理程序所產生的影像處理結果與不具有所述第二影像特徵的所述標準圖像進行疊合以產生擴增的多個第二樣品圖像;將擴增前以及擴增後的多個第二樣品圖像提供給所述深度學 習系統,以在所述影像特徵自動辨識演算法中建立針對所述第二影像特徵的一第二辨識標準;以及擷取所述待檢測物的所述待測圖像,以所述影像特徵自動辨識演算法對所述待測圖像進行分析;其中,根據所述第一辨識標準判斷所述待測圖像是否具有所述第一影像特徵;其中,根據所述第二辨識標準判斷所述待測圖像是否具有所述第二影像特徵。
- 如請求項14所述的方法,其中,在執行所述影像處理程序前,先執行一預檢驗程序,所述預檢驗程序包括:將多個所述第一樣品圖像中的3%至50%選為第一預檢用圖像,並將所述第一樣品圖像中的其餘多個第一樣品圖像提供給所述深度學習系統,以建立包括有針對所述第一影像特徵的一第一預檢驗標準;設定一第一預檢驗門檻值;以及根據所述第一預檢驗標準判斷所述標準圖像以及多個所述第一預檢用圖像是否具有所述第一影像特徵,根據判斷結果紀錄所述第一預檢驗標準對所述第一影像特徵的一第一預檢驗正確率;其中,在所述第一預檢驗正確率低於所述第一預檢驗門檻值時,增加具有不同的第一影像特徵的所述第一樣品圖像的數量;以及其中,在所述第一預檢驗正確率達到所述第一預檢驗門檻值時,執行所述影像處理程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106133740A TWI647658B (zh) | 2017-09-29 | 2017-09-29 | 影像特徵自動辨識裝置、系統及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW106133740A TWI647658B (zh) | 2017-09-29 | 2017-09-29 | 影像特徵自動辨識裝置、系統及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI647658B true TWI647658B (zh) | 2019-01-11 |
TW201915941A TW201915941A (zh) | 2019-04-16 |
Family
ID=65803768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106133740A TWI647658B (zh) | 2017-09-29 | 2017-09-29 | 影像特徵自動辨識裝置、系統及方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI647658B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210010953A1 (en) * | 2019-07-12 | 2021-01-14 | SVXR, Inc. | Methods and Systems for Defects Detection and Classification Using X-rays |
WO2023102880A1 (zh) * | 2021-12-10 | 2023-06-15 | 曾稼志 | 气管插管影像的处理方法与系统以及气管插管的成效评量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201327418A (zh) * | 2011-12-19 | 2013-07-01 | Ind Tech Res Inst | 影像識別方法及系統 |
CN104102919A (zh) * | 2014-07-14 | 2014-10-15 | 同济大学 | 一种有效防止卷积神经网络过拟合的图像分类方法 |
CN104458755A (zh) * | 2014-11-26 | 2015-03-25 | 吴晓军 | 一种基于机器视觉的多类型材质表面缺陷检测方法 |
TW201523462A (zh) * | 2013-11-04 | 2015-06-16 | Beijing Jingdong Shangke Information Technology Co Ltd | 圖像目標類別識別方法及裝置 |
US20160253359A1 (en) * | 2013-05-07 | 2016-09-01 | Picscout (Israel) Ltd. | Efficient image matching for large sets of images |
US20170186144A1 (en) * | 2015-12-28 | 2017-06-29 | Powerchip Technology Corporation | Method, image processing system and computer-readable recording medium for item defect inspection |
-
2017
- 2017-09-29 TW TW106133740A patent/TWI647658B/zh not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201327418A (zh) * | 2011-12-19 | 2013-07-01 | Ind Tech Res Inst | 影像識別方法及系統 |
US20160253359A1 (en) * | 2013-05-07 | 2016-09-01 | Picscout (Israel) Ltd. | Efficient image matching for large sets of images |
TW201523462A (zh) * | 2013-11-04 | 2015-06-16 | Beijing Jingdong Shangke Information Technology Co Ltd | 圖像目標類別識別方法及裝置 |
CN104102919A (zh) * | 2014-07-14 | 2014-10-15 | 同济大学 | 一种有效防止卷积神经网络过拟合的图像分类方法 |
CN104458755A (zh) * | 2014-11-26 | 2015-03-25 | 吴晓军 | 一种基于机器视觉的多类型材质表面缺陷检测方法 |
US20170186144A1 (en) * | 2015-12-28 | 2017-06-29 | Powerchip Technology Corporation | Method, image processing system and computer-readable recording medium for item defect inspection |
Also Published As
Publication number | Publication date |
---|---|
TW201915941A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190197679A1 (en) | Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof | |
KR100598381B1 (ko) | 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법 | |
CN109685756A (zh) | 影像特征自动辨识装置、系统及方法 | |
TWI647658B (zh) | 影像特徵自動辨識裝置、系統及方法 | |
CN113269769A (zh) | 一种基于图像配准的缺陷检测方法、系统及设备 | |
KR102666787B1 (ko) | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 | |
US8358831B2 (en) | Probe mark inspection | |
CN115861161A (zh) | 机器学习系统、学习数据收集方法以及存储介质 | |
WO2023113773A1 (en) | Manufacturing defect detection augmented training sets | |
CN117911365B (zh) | 一种基于图像处理技术的工件质量检测方法及系统 | |
CN114494117A (zh) | 器件胶水分布的检测方法、装置、存储介质及电子设备 | |
CN113808116A (zh) | 基于图像识别的智能检测方法、系统及产品检测系统 | |
CN113691804A (zh) | 一种检测功能验证方法、装置、设备和介质 | |
US20240013369A1 (en) | Image defect detecting system, generation method of image defect detecting system and non-transitory computer readable medium | |
CN118706838A (zh) | 产品质量检测设备的检测方法、装置和电子设备 | |
US11727673B1 (en) | Visual analysis method for cable element identification | |
CN117630003A (zh) | 一种零件缺陷的检测方法和装置 | |
CN116609359A (zh) | 一种芯片焊线检测方法、装置、电子设备及存储介质 | |
TWI757590B (zh) | 輝度均勻檢測系統及輝度均勻檢測方法 | |
CN114494122A (zh) | 目标对象的检测方法、装置、存储介质及电子设备 | |
CN115346164A (zh) | 组件识别模型的自动模型重建方法及系统 | |
CN113192021A (zh) | 检测方法及装置、检测设备和存储介质 | |
CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
CN117906937B (zh) | 一种水压试验方法、试验系统及存储介质 | |
CN113808067B (zh) | 电路板检测方法、视觉检测设备及具有存储功能的装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |