TWI638332B

TWI638332B - Hierarchical object detection system with parallel architecture and method thereof

Info

Publication number: TWI638332B
Application number: TW105139175A
Authority: TW
Inventors: 張國清; 李傳仁; 朱振緯
Original assignee: 財團法人車輛研究測試中心
Priority date: 2016-11-29
Filing date: 2016-11-29
Publication date: 2018-10-11
Also published as: TW201820257A

Abstract

本發明提出一種具平行架構之階層式標的物偵測系統及其方法，包含至少影像擷取裝置擷取出至少一影像資料，並搜尋影像資料中的複數障礙物位置影像，影像處理裝置係電性連接影像擷取裝置，以接收影像擷取裝置所傳輸障礙物位置影像，再利用平行化架構分類方法自障礙物位置影像中取得至少一標的物影像及其之複數框選範圍，同步分離這些框選範圍並擷取出每一框選範圍的特徵值，利用卷積神經網路同時辨識框選範圍的特徵值，以自標的物影像中找出正確的框選範圍輸出，藉此達到即時偵測車外標的物之準確率，同時精確取出標的物的框架範圍，以避免偵測錯誤。

Description

具平行架構之階層式標的物偵測系統及其方法

本發明係關於一種車外標的物的偵測系統及其方法，尤其係指一種具平行架構之階層式標的物偵測系統及其方法。

有鑑於行車安全技術的提升，越來越多辨別車外障礙物的偵測技術產生，例如行人偵測、障礙物偵測等，以及這些偵測技術可以應用在各種偵測不同環境的偵測裝置中，並將其結合至車輛的防撞系統中，使得使用者可以在短時間內作出即時的防撞預警。

然而，目前的行人偵測或障礙物偵測技術，例如有使用平行架構的適應性物體分類方法，可以應用在各種複雜道路場景中，有效使用方向梯度演算法（Histogram of Oriented Gradient，HOG）及支持向量機（Support Vector Machine，SVM）分類法對車外障礙物的特徵作分類，以即時在影像資料中選出障礙物位置影像及其框選範圍。但此一適應性物體分類方法在複雜場景中，因為可以作出即時的障礙物分類，但有時在障礙物的框選上仍然容易形成一些誤判，例如對障礙物的框選範圍有誤，使得防撞系統在應用上可能無法立即辨識，或是距離估算錯誤等情況發生，錯誤率的發生或許不高，但在行車安全上，仍然會讓使用者有所顧慮。

再者，也有習知技術使用卷積神經網路（Convolutional Neural Network，CNN）對車外影像作整張影像特徵的擷取，一般CNN的基本架構包含有特徵提取層及特徵映射層，在特徵提取層中，每個神經元的輸入與前一層的局部相連並提取局部的特徵，一旦局部特徵被擷取後，局部特徵與其它特徵間的位置關係也會跟著確定；另外，在特徵映射層中，每個計算層係由複數特徵映射組成，每一特徵映射係為一平面，且平面上的所有神經元之權值相等。除此之外，因為神經元共享權值而減少了網路自由參數的個數，卷積神經網路中的每一個卷積層都伴隨著一個用來求局部平均與二次提取的計算層，利用此一兩次特徵提取結構以減小特徵的解析度，藉此將所輸入的車外影像特徵值作分析，以判斷障礙物的正確性。但CNN的卷積層卷積方法在作整個車外影像特徵擷取時，因為計算量非常的龐大，在作第一層特徵提取時，需要耗費一些時間才能取出特徵，然後再作第二層的判斷，以輸出正確的技術特徵。

因此，之前用於車外障礙物分析的技術具有框選範圍的估算錯誤，或是在具備精確判斷時，需要耗費更長的估算時間，而無法有效達成「即時」判斷，因此本發明提出一種具平行架構之階層式標的物偵測系統及其方法，以有效克服上述的問題。

本發明的主要目的係在提供一種具平行架構之階層式標的物偵測系統及其方法，利用平行化架構方法結合卷積神經網路，利用兩階層的分析，以加速影像處理的效率，使得影像處理的時間減低許多，因此相對地增加了防撞系統的應變時間，以及使影像判斷的錯誤率降低，徹底減少失誤率的產生。

本發明的另一目的係在提供一種具平行架構之階層式標的物偵測系統及其方法，應用在車輛的防撞系統中，可以使駕駛在發生碰撞前得到預警，減少車輛追撞事故、迎面撞車事故或路面相關的事故，即時又正確的判斷可以完整地保護車輛及其駕駛者與道路上其他用路人的安全。

為了到達上述的目的，本發明提供一種具平行架構之階層式標的物偵測方法，包含下列步驟，先擷取出至少一影像資料，再從影像資料中搜尋出複數障礙物位置影像，利用平行化架構分類方法可以從這些障礙物位置影像中，取得至少一標的物影像及標的物影像的複數框選範圍，接著同步分離這些框選範圍，並擷取出每一框選範圍的特徵值，最後再利用卷積神經網路，同時辨識出每一框選範圍的特徵值，並從標的物影像中找出正確的框選範圍輸出。

為了到達上述的目的，本發明亦提供一種具平行架構之階層式標的物偵測系統，包含至少一影像擷取裝置擷取出至少一影像資料，並自影像資料中搜尋出複數障礙物位置影像，及一影像處理裝置電性連接至影像擷取裝置，以接收影像擷取裝置所傳輸的障礙物位置影像，影像處理裝置再從障礙物位置影像中取得至少一標的物影像及標的物影像的複數框選範圍，並且同步分離這些框選範圍，以擷取出每一框選範圍的特徵值，影像處理裝置再同時辨識出每一框選範圍的特徵值，以即時從標的物影像中找出正確的框選範圍輸出。

本發明中係利用平滑視窗方法搜尋出影像資料中的障礙物位置影像，並利用影像演算器影像演算法以平行化方式框選、計算及分類這些障礙物位置影像的特徵資料，以及利用可平行化之分類器從這些障礙物位置影像的特徵資料中作分類。

再者，本發明利用卷積神經網路第二層之卷積方法，同步分離出每一框選範圍，並擷取出框選範圍的特徵值，再利用卷積神經網路第二層之類神經網路，對每一框選範圍的特徵值作辨識。

並且，上述平行化架構分類方法取得標的物影像及標的物影像的框選範圍，係利用一影像演算器執行，以及一複雜度分類器電性連接影像演算器，再接收影像演算器所傳輸之資料，並利用一卷積神經網路第二層之卷積方法作後續處理。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明主要可結合在自動緊急煞車系統（Autonomous Emergency Braking，AEB）中，並可以應用在車輛的障礙物偵測之影像系統中，例如自動駕駛系統（Autonomous Driving Assistant System，ADS）或倒車碰撞警示系統（Parking Collision Avoidance System，PCAS）等系統中，並利用本發明之具平行架構之階層式標的物偵測系統及其方法可以降低計算複雜度並同時提升準確率。

首先，請先參照本發明第一圖所示，一種具平行架構之階層式標的物偵測系統10包含有至少一影像擷取裝置12及一影像處理裝置14，影像處理裝置14係電性連接影像擷取裝置12及一顯示器16，本實施例中係以一個影像擷取裝置12為例，且影像擷取裝置12係為具數位訊號處理器（Digital Signal Processor，DSP）之感光耦合元件（Charge Coupled Device，CCD）攝影機，在影像處理裝置14中更包含有一影像演算器142及一複雜度分類器144，影像演算器142係電性連接複雜度分類器144，影像處理裝置14係為微電腦車載機，影像演算器142係為結合方向梯度直方圖（Histogram of Oriented Gradient，HOG）及支持向量機（Support Vector Machine，SVM）分類法之影像演算器，複雜度分類器144係為卷積神經網路（Convolutional Neural Network）分類器。

承接上段，影像擷取裝置12可以從車外環境中擷取至少一影像資料122，本實施例係以一個影像資料122為例說明，當影像擷取裝置12擷取出影像資料122後，可以從影像資料122中搜尋出複數障礙物位置影像124，再將複數障礙物位置影像124傳輸至影像處理裝置14中，經由影像處理裝置14處理這些障礙物位置影像124，藉由影像演算器142利用平行化架構分類方法，並從這些障礙物位置影像124中，取得至少一標的物影像146以及框選標的物影像146的框選範圍，本實施例係以一個標的物影像146為例說明。影像演算器142再將標的物影像146以及框選標的物影像146的框選範圍傳輸至複雜度分類器144，複雜度分類器144利用卷積神經網路第二層之卷積方法同步分離這些框選範圍以擷取出每一框選範圍的特徵值後，影像處理裝置14中的複雜度分類器144再同時辨識出每一框選範圍的特徵值，以即時從標的物影像146中找出正確的框選範圍，影像處理裝置14再將正確的標的物影像146及其正確的框選範圍輸出到顯示器16中顯示。

為了更進一步地瞭解本發明係如何以具平行架構之階層式標的物偵測方法來達到即時偵測，並且可以減低偵測錯誤率的方式，請參閱本發明第二圖及第三a圖~第三c圖所示，並請同時參照第一圖。首先，如步驟S10所示，利用影像擷取裝置12擷取至少一影像資料122，本實施例係以一個影像資料122為例說明，接著進入到下一步驟。如步驟S12所示，影像擷取裝置12可以先辨識出影像資料122所在的場景，例如：晴天、雨天或夜晚等，接著依照不同場景的設定判斷，從影像資料122中的感興趣區域（Region Of Interest，ROI）中，搭配平滑視窗（Sliding Window）方法搜尋出複數障礙物位置影像124，例如第三a圖中的人體影像124a、124b、車子影像124c及路燈影像124d，在本實施例中不限制影像資料122的場景或是感興趣區域的範圍，感興趣區域的範圍主要是在一般車輛所擷取之影像資料122的畫面下方及中心位置，可以透過使用者需求而調整。如步驟S14所示，影像擷取裝置12將所取得的這些障礙物位置影像124資料傳輸至影像處理裝置14，其係藉由影像演算器142利用一影像演算法以平行化方式作框選、計算及分類這些障礙物位置影像124，以及利用一可平行化之分類法，從這些障礙物位置影像124的特徵資料中分類出至少一標的物影像146，以及因為再找出標的物影像146後，會在標的物影像146的周圍設有框選範圍148，好讓影像處理裝置14得知標的物影像146的實際位置，但因為由影像演算法與可平行化之分類法所結合的平行化架構分類方法，容易因為分類標準的設計，使得標的物影像146的周圍會產生複數個框選範圍148。在本實施例中的影像演算法係為方向梯度直方圖，可平行化之分類法係為支持向量機分類法，有關標的物影像146的數量可依照使用者需求而作設定，在本實施例先以行人為例說明，因此會找出二標的物影像146，同時也就是人體影像124a、124b，由於利用影像演算法及可平行化之分類法可能會產生出誤差，因此在作框選二標的物影像146時，容易在二標的物影像146周圍產生複數個框選範圍148，如第三b圖所示。

接著，請續參本發明第一圖、第二圖及第三a圖~第三c圖所示，說明完取得上述所述之標的物影像146及其複數框選範圍148後，因為此時影像處理裝置14仍然無法有效的掌握標的物影像146最正確的框選範圍148，過於紛亂的框選範圍會造成辨識的時候產生問題，因此，影像演算器142會再將標的物影像146及其複數框選範圍148傳輸到複雜度分類器144中作運算，並進入下一步驟。如步驟S16所示，複雜度分類器144利用卷積神經網路第二層之卷積方法，將標的物影像146周圍的複數框選範圍148展開，並同步分離這些複數框選範圍148，並同時藉由卷積方法擷取出所分離之每一框選範圍148的特徵值。如步驟S18所示，接著複雜度分類器144再利用卷積神經網路第二層之類神經網路對每一框選範圍148的特徵值作辨識，例如本實施例中，使用者是設定需辨識出行人，因此會將與人體有關之參數，設定在複雜度分類器144中，以利用卷積神經網路去對卷積方法擷取出的特徵值作辨識，在此一步驟中，複雜度分類器144就會對如人體影像124a、124b的二標的物影像146所分離出的每一周圍框選範圍148特徵作辨識，以框選出最正確的框選範圍148a，利用此一框選範圍148a有效選取出人體影像124a、124b，並將此一正確的框選範圍148a輸出，如可以輸出到顯示器16，並將最正確的標的物影像146及其框選範圍148a顯示在顯示器16畫面上，以對使用者作警示。從第三c圖中，可以清楚得知人體影像124a、124b周圍之框選範圍148a的下底線L，藉由此一下底線L即可清楚計算出使用者所駕駛的車輛與人體影像124a、124b的實際距離為何，更可以產生出有效的防撞預警機制，或是在自動駕駛時可以有效避開行人，以防止估算錯誤的情事發生。

本發明的具平行架構之階層式標的物偵測系統及其方法與習知技術相比，比起一般使用卷積神經網路的分類方法，本發明可以省下至少五分之四的辨識時間，習知的卷積神經網路的分類方法需要先透過第一層的簡單類神經網路進行分析，以判斷出障礙物的正確性，接著再利用第二層的分析再次驗證第一層是否正確。但是在利用習知卷積神經網路的分類方法時，需要先將整張影像特徵擷取出來，因為此一計算量相當龐大，所需要耗費的時間也隨即增多，而本案利用平行化架構分類方法取代卷積神經網路的分類方法之第一層分析，可以節省更多的時間。

承接上段，再者，本案比起僅結合方向梯度直方圖及平行化支持向量機的障礙物辨識方法，本發明只占此方法的十分之一處理時間。並且比起此一障礙物辨識方法，本發明更明顯在框選範圍的精確度上，獲得更大幅的提升。例如在辨識條件相同嚴謹下，習知的障礙物辨識方法可能會遺漏框選到如行人的障礙物，造成辨識行人產生嚴重的誤差；或是為了避免遺漏辨識出行人，在辨識條件放寬時，習知的障礙物辨識方法就可能會在框選如行人之障礙物時，會在行人的周圍產生過多的框選範圍，使得辨識行人時會出現誤差，進而可能導致車輛在自動駕駛或是防撞時出現問題，例如無法有效計算出車輛與行人的實際距離，使得車輛使用者或其他用路人的安全產生隱憂。而利用本發明的具平行架構之階層式標的物偵測系統及其方法，不僅可以減少判斷的時間，更可以達成精確的判斷，以使車輛在作自動駕駛系統或倒車碰撞警示系統時，可以更精確的掌控車輛，以保障車輛使用者及其他用路人的安全。

然而，本發明並不以辨識行人為限制，使用者可以自行決定，需利用卷積神經網路對何種障礙物進行辨識，再利用卷積神經網路對此障礙作參數設定，即可在自動駕駛或防撞系統中設定欲辨識的障礙物，當找到標的物之障礙物後，即可立即利用卷積神經網路對標的物周圍的框選範圍之特徵值進行判斷，以找出正確的框選範圍，使得車輛的自動駕駛或是防撞系統可以更有效地掌控與障礙物的距離，並且減少辨識時間，以增加使用者的反應時間。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍。

10‧‧‧偵測系統

12‧‧‧影像擷取裝置

122‧‧‧影像資料

124‧‧‧障礙物位置影像

124a、124b‧‧‧人體影像

124c‧‧‧車子影像

124d‧‧‧路燈影像

14‧‧‧影像處理裝置

142‧‧‧影像演算器

144‧‧‧複雜度分類器

146‧‧‧標的物影像

148、148a‧‧‧框選範圍

16‧‧‧顯示器

L‧‧‧下底線

第一圖為本發明的方塊示意圖。第二圖為本發明的步驟流程圖。第三a圖為本發明搜尋影像資料之障礙物位置影像的影像示意圖。第三b圖為本發明找出標的物影像之複數框選範圍的影像示意圖。第三c圖為本發明找出標的物影像之正確框選範圍的影像示意圖。

Claims

一種具平行架構之階層式標的物偵測方法，包含下列步驟：(a)擷取至少一影像資料；(b)搜尋該影像資料中的複數障礙物位置影像；(c)利用平行化架構分類方法自該等障礙物位置影像中取得至少一標的物影像及其之複數框選範圍；(d)利用卷積神經網路第二層之卷積方法同步分離該等框選範圍，並擷取出每一該框選範圍之特徵值；以及(e)利用該卷積神經網路第二層之類神經網路同時辨識每一該框選範圍之該特徵值，以自該至少一標的物影像中找出正確之該框選範圍輸出。
如請求項1所述之具平行架構之階層式標的物偵測方法，其中在該步驟(b)中，利用平滑視窗(Sliding Window)方法搜尋出該影像資料中的該等障礙物位置影像。
如請求項1所述之具平行架構之階層式標的物偵測方法，其中在該步驟(c)中更包含下列步驟：利用一影像演算法以平行化方式框選、計算及分類該等障礙物位置影像的特徵資料；以及利用一可平行化之分類法自該等障礙物位置影像之該特徵資料中，分類出該至少一標的物影像及其之該等複數框選範圍。
如請求項3所述之具平行架構之階層式標的物偵測方法，其中該影像演算法係為方向梯度直方圖，及該分類法係為支持向量機分類法。
如請求項1所述之具平行架構之階層式標的物偵測方法，其中在該步驟(b)中更包含下列步驟：辨識該至少一影像資料所在的場景；以及自該影像資料中之一感興趣區域搜尋該等障礙物位置影像。
一種具平行架構之階層式標的物偵測系統，包含：至少一影像擷取裝置，其係擷取至少一影像資料，並自該至少一影像資料中搜尋出複數障礙物位置影像；以及一影像處理裝置，其係電性連接該至少一影像擷取裝置，以接收該至少一影像擷取裝置所傳輸之該等障礙物位置影像，該影像處理裝置包含一影像演算器及一複雜度分類器，該複雜度分類器係為卷積神經網路分類器，該複雜度分類器係電性連接該影像演算器，該影像演算器係利用平行化架構分類方法自該等障礙物位置影像中取得至少一標的物影像及其之複數框選範圍，該複雜度分類器接收該影像演算器所傳輸之該至少一標的物影像及其之該等框選範圍的資料，並利用一卷積神經網路第二層之卷積方法同步分離該等框選範圍以擷取出每一該框選範圍之特徵值，該影像處理裝置再同時辨識出每一該框選範圍之該特徵值，該複雜度分類器再利用該卷積神經網路第二層之類神經網路辨識出該特徵值，以即時自該至少一標的物影像中找出正確之該框選範圍輸出。
如請求項7所述之具平行架構之階層式標的物偵測系統，其中該影像演算器係為結合方向梯度直方圖及支持向量機分類法之影像演算器。