TWI482123B - 多狀態目標物追蹤方法及系統 - Google Patents

Description

多狀態目標物追蹤方法及系統

本發明是有關於一種多狀態目標物追蹤方法。

近年來隨著環境安全的議題越來越受到重視，視訊監控技術的研究也越來越重要，除了傳統的視訊錄影監控外，智慧型事件偵測(detection)及行為辨識(recognition)的需求也與日俱增，如何第一時間掌握事件的發生並立刻採取應變措施，更是智慧型視訊監控系統所必須具備的功能，正確的事件偵測以及行為辨識除了必須仰賴準確的目標物偵測(object segmentation)外，還必須具備穩定的追蹤(tracking)，才能完整描述一個事件過程，紀錄偵測物資訊並分析其行為。

事實上，人潮密度低的環境，追蹤只要目標物偵測精準，一般常見的追蹤技術就有一定的準確度，例如一般背景模型前景偵測(foreground detection)配合位移量預測及特徵比對。但是人潮密度高的環境下，前景偵測效果不好，使得預測、特徵擷取困難，追蹤的準確度相對降低。必須依靠另一無需背景模型追蹤技術來解決此問題。但是因為又缺少背景模型所能提供的特徵資訊(顏色、長寬、面積等)，所以必須依靠大量的目標物，才足以提供追蹤所需的特徵。相對的，在人潮密度低的環境下，追蹤未必比建立背景模型的追蹤要好。因此，一個可適應真實監控環境的追蹤模式切換機制是相當重要的。

本揭露提供一種多狀態目標物追蹤方法，透過人潮密度的分析，可自動判別並使用最適當的追蹤模式追蹤目標物。

本揭露提供一種多狀態目標物追蹤系統，持續偵測人潮密度的變化，適時切換追蹤模式以追蹤目標物。

本揭露提出一種多狀態目標物追蹤方法，其係在擷取到包括多張影像的視訊串流時，偵測這些影像的人潮密度，並與門檻值比較，以決定用以追蹤這些影像中多個目標物所使用的追蹤模型。其中，當所偵測之人潮密度小於門檻值時，即使用背景模型來追蹤影像中的目標物；而當所偵測之人潮密度大於等於門檻值時，則使用無背景模型追蹤影像中的目標物。

本揭露提出一種多狀態目標物追蹤系統，其包括影像擷取裝置、處理裝置。影像擷取裝置係用以擷取包括多張影像的視訊串流。處理裝置係耦接影像擷取裝置，而用以追蹤影像中多個目標物，其包括人潮密度偵測模組、比較模組、背景追蹤模組及無背景追蹤模組。其中，人潮密度偵測模組係用以偵測影像的人潮密度。比較模組係用以將人潮密度偵測模組所偵測之人潮密度與門檻值比較，以決定用以追蹤影像中多個目標物所使用的追蹤模型。背景追蹤模組係在比較模組判斷人潮密度小於門檻值時，使用背景模型來追蹤影像中的目標物。無背景追蹤模組則是在比較模組判斷人潮密度大於等於門檻值時，使用無背景模型來追蹤影像中的目標物。

基於上述，本揭露之多狀態目標物追蹤方法及系統藉由偵測視訊串流中各張影像的人潮密度，自動選擇使用背景模型或無背景模型追蹤目標物，並根據真實環境的變化以調整追蹤模式，達到有效及正確追蹤目標物的目的。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉範例實施例，並配合所附圖式作詳細說明如下。

本揭露提出一套完整而實用的多狀態目標物追蹤機制，可適應真實監控環境人潮密度。藉由正確判斷人潮密度，並選擇適當的追蹤模式，以及模式切換和切換之間的資料傳遞，以達到在任何環境都能有效及正確的追蹤。

第一範例實施例

圖1是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤系統的方塊圖，圖2則是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤方法的流程圖。請同時參照圖1及圖2，本範例實施例之追蹤系統100包括影像擷取裝置110及處理裝置120。其中，處理裝置120耦接於影像擷取裝置110，並可區分為人潮密度偵測模組130、比較模組140、背景追蹤模組150及無背景追蹤模組160。以下即搭配追蹤系統100中的各項元件說明本範例實施例之物件偵測方法的詳細步驟：首先，由影像擷取裝置110擷取包括多張影像的視訊串流(步驟S210)。其中，影像擷取裝置110例如是閉路電視(Closed Circuit Television,CCTV)或網路攝影機(IP camera)等監控設備，而用以擷取特定區域的影像以進行監控。上述之視訊串流在被影像擷取裝置110擷取後，隨即透過有線或無線的方式傳送至處理裝置120，以進行後續處理。

處理裝置120在接收到視訊串流時，即利用人潮密度偵測模組130對其中的多張影像進行人潮密度的偵測(步驟S220)。詳細地說，人潮密度偵測模組130可利用前景偵測單元132對影像進行前景偵測，藉以偵測出影像中的目標物。所述前景偵測單元132例如是使用一般的背景相減法、邊緣偵測法或角點偵測法等影像處理方法來偵測不同時間之影像間的變化量，而能夠分辨出影像中的目標物。然後，人潮密度偵測模組130會再利用人潮密度計算單元134來計算目標物在影像中所佔的比例，以作為這些影像的人潮密度。

接著，處理裝置120利用比較模組140將人潮密度偵測模組130所偵測之人潮密度拿來與一個門檻值做比較，以決定追蹤影像中目標物所使用的追蹤模型(步驟S230)。所述追蹤模型包括適合用在單純環境的背景模型，以及適合用在複雜環境的無背景模型。

當比較模組140判斷人潮密度小於門檻值時，即由背景追蹤模組150使用背景模型來追蹤影像中的目標物(步驟S240)。其中，背景追蹤模組150係計算前後時間目標物的位移量，並預測目標物下一時間出現的位置，而藉由對所預測位置周圍的區域進行區域性特徵比對，以獲得目標物的移動資訊。

詳細地說，圖3是依照本揭露第一範例實施例所繪示之背景追蹤方法的流程圖。請同時參照圖1及圖3，本範例實施例係介紹圖1中的背景追蹤模組150執行背景追蹤方法的詳細步驟。其中，背景追蹤模組150係區分為位移量計算單元152、位置預測單元154、特徵比對單元156及資訊更新單元158，其功能分述如下：首先，由位移量計算單元152計算各個目標物在目前影像與前一張影像之間的位移量(步驟S310)。接著，位置預測單元154則會依據位移量計算單元152所計算的位移量，預測目標物在下一張影像出現的位置(步驟S320)。在獲得目標物的預測位置後，特徵比對單元156即可對目標物在目前影像及下一張影像中出現位置周圍的關聯區域進行區域性特徵比對，以獲得特徵比對結果(步驟S330)。最後。資訊更新單元158會根據特徵比對單元156所獲得的特徵比對結果，選擇新增、繼承或刪除該目標物的相關資訊(步驟S340)。

回到圖2的步驟S230，當比較模組140判斷人潮密度大於等於門檻值時，即由無背景追蹤模組160使用無背景模型來追蹤影像中的目標物(步驟S250)。其中，無背景追蹤模組150係針對影像中的多個特徵點進行運動向量(motion vector)的分析，而藉由觸動向量的比對，即可獲得目標物的移動資訊。

詳細地說，圖4是依照本揭露第一範例實施例所繪示之無背景追蹤方法的流程圖。請同時參照圖1及圖4，本範例實施例係介紹圖1中的無背景追蹤模組160執行無背景追蹤方法的詳細步驟。其中，無背景追蹤模組160係區分為目標物偵測單元162、運動向量計算單元164、比較單元166及資訊更新單元168，其功能分述如下：首先，目標物偵測單元162會應用多種人物特徵來偵測影像中具有一種或多種人物特徵的目標物(步驟S410)。其中，所述人物特徵例如是人物臉部的眼睛、鼻子、嘴巴等臉部特徵，或是身體其他部位的特徵，而可用以分辨出影像中的人物。接著，由運動向量計算單元164計算各個目標物在目前影像與前一張影像之間的運動向量(步驟S420)。比較單元166則接著將運動向量計算單元164所計算的運動向量拿來與一個門檻值比較，而獲得一個比較結果(步驟S430)。最後，資訊更新單元168即可根據比較單元166的比較結果，選擇新增、繼承或刪除目標物的相關資訊(步驟S440)。

舉例來說，圖5(a)及圖5(b)是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤方法的範例。請先參照圖5(a)，其係針對影像510進行人潮密度的偵測及比較，而判斷出影像510中目標物的狀態屬於低人潮密度，因此選擇背景模型來追蹤影像510中的目標物，而獲得較佳的追蹤結果520。接著參照圖5(b)，其係針對影像530進行人潮密度的偵測及比較，而判斷出影像530中目標物的狀態屬於高人潮密度，因此選擇無背景模型來追蹤影像530中的目標物，而獲得較佳的追蹤結果540。

綜上所述，本範例實施例係根據人潮密度的多寡選擇最適合的追蹤模型來追蹤影像中的目標物，而能夠適應各種環境，提供最佳的追蹤結果。值得注意的是，本範例實施例使用背景模型或無背景模型進行目標物的追蹤是針對整張影像。然而，在另一範例實施例中，可進一步依據目標物的分佈狀況將影像區分為多個區域，並針對每個區域選擇適合的追蹤模型來進行目標物的追蹤，藉以獲得較佳的追蹤效果，以下則再舉一範例實施例詳細說明。

第二範例實施例

圖6則是依照本揭露第二範例實施例所繪示之多狀態目標物追蹤方法的流程圖。請同時參照圖1及圖6，本範例實施例之追蹤方法適用於圖1的追蹤系統100，以下即搭配追蹤系統100中的各項元件說明本範例實施例之物件偵測方法的詳細步驟：首先，由影像擷取裝置110擷取包括多張影像的視訊串流(步驟S610)，此視訊串流在被擷取後隨即透過有線或無線的方式傳送至處理裝置120。

接著，處理裝置120將利用人潮密度偵測模組130對視訊串流中的多張影像進行人潮密度的偵測。其中，本範例實施例同樣是利用人潮密度偵測模組130中的前景偵測單元132對影像進行前景偵測，藉以偵測出影像中的目標物(步驟S620)。然而，與前述範例實施例不同的是，本範例實施例在利用人潮密度計算單元134計算人潮密度時，則是針對影像中目標物分佈的多個區域分別進行計算，而將各個區域中目標物所佔之比例作為該區域的人潮密度(步驟S630)。

相對地，處理裝置120在選擇追蹤模型時，則是利用比較模組140將各個區域的人潮密度拿來與門檻值做比較，以決定用以追蹤這些區域中目標物所使用的追蹤模型(步驟S640)。所述追蹤模型包括適合用在單純環境的背景模型，以及適合用在複雜環境的無背景模型。

當比較模組140判斷區域的人潮密度小於門檻值時，即由背景追蹤模組150使用背景模型來追蹤此區域中的目標物(步驟S650)。其中，背景追蹤模組150係計算前後時間此區域內目標物的位移量，並預測目標物下一時間出現的位置，而藉由區域性特徵比對以取得目標物的移動資訊。

當比較模組140判斷區域的人潮密度大於等於門檻值時，即由無背景追蹤模組160使用無背景模型來追蹤此區域中的目標物(步驟S660)。其中，無背景追蹤模組150係針對區域中的多個特徵點進行運動向量的分析，而藉由觸動向量的比對，即可獲得此區域內目標物的移動資訊。

需注意的是，本範例實施例在取得各個區域的目標物資訊後，還包括利用一個目標物資訊融合模組(未繪示)，將影像中各區域利用背景追蹤模組150或無背景追蹤模組160進行目標物追蹤所獲得的移動資訊結合，而獲得整張影像的目標物資訊(步驟S670)。

舉例來說，圖7是依照本揭露第二範例實施例所繪示之多狀態目標物追蹤方法的範例。請參照圖7，本範例實施例係針對影像700進行目標物追蹤，而藉由前景偵測以及人潮密度偵測，可將影像700區分為區域710及區域720。而藉由將區域710及區域720的人潮密度與門檻值的比較，即可判斷其所屬狀態，而可選擇適合的追蹤模式以進行目標物追蹤。其中，區域720可判斷為具有低人潮密度，因此選擇背景模型來追蹤區域720中目標物；區域710可判斷為具有高人潮密度，因此選擇無背景模型來追蹤區域710中目標物。最後，將區域720及區域710中利用背景追蹤模型及無背景追蹤模型進行目標物追蹤所獲得的移動資訊結合，即可獲得整張影像700的目標物資訊。

綜上所述，本範例實施例之追蹤系統100即可根據所偵測目標物的分佈狀況，將影像區分為多個區域來進行人潮密度的計算以及追蹤模型的選擇，而能夠提供最佳的追蹤結果。

值得注意的是，本揭露在使用上述追蹤方法取得目標物資訊之後，仍持續偵測人潮密度的變化，以適時地切換追蹤模型，藉以達到較佳的追蹤效果，以下則再舉一範例實施例詳細說明。

第三範例實施例

圖8則是依照本揭露第三範例實施例所繪示之多狀態目標物追蹤方法的流程圖。請同時參照圖1及圖8，本範例實施例之追蹤方法適用於圖1的追蹤系統100，以下即搭配追蹤系統100中的各項元件說明本範例實施例之多狀態目標物追蹤方法的詳細步驟：首先，處理裝置120會根據比較模組140的判斷結果，選擇使用背景追蹤模組150或無背景追蹤模組160來追蹤影像中的目標物(步驟S810)。

而在追蹤目標物的同時，處理裝置120仍持續利用人潮密度偵測模組130偵測影像的人潮密度(步驟S820)，並利用利用比較模組140將人潮密度偵測模組130所偵測之人潮密度拿來與門檻值做比較(步驟S830)。

其中，當比較模組140發現人潮密度偵測模組130所偵測之人潮密度因為增加而超過門檻值時，則會將目標物的追蹤模式由原本使用背景追蹤模組150進行背景追蹤的模式切換為使用無背景追蹤模組160進行無背景追蹤。同理，當比較模組140發現人潮密度偵測模組130所偵測之人潮密度因為減少而低於門檻值時，則會將目標物的追蹤模式由原本使用無背景追蹤模組160進行無背景追蹤的模式切換為使用背景追蹤模組150進行背景追蹤(步驟S840)。

值得一提的是，本範例實施例持續偵測人潮密度並更新追蹤模式的方式亦適用於第二範例實施例將影像區分為多個區域並分別進行人潮密度計算、追蹤模式判斷以及目標物追蹤的情況，只要是區域內的人潮密度因為增加或減少以致於跨越門檻值的分隔時，即可適應性地切換追蹤模式，而達到較佳的追蹤效果。

綜上所述，本揭露之多狀態目標物追蹤方法及系統藉由人潮密度偵測、多模式追蹤模式切換、追蹤資料繼承等一連串的自動偵測及切換步驟，因此可在不同環境下，選擇出最適當的追蹤模式持續並穩定的追蹤目標物。

雖然本揭露已以範例實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100．．．追蹤系統

110．．．影像擷取裝置

120．．．處理裝置

130．．．人潮密度偵測模組

132．．．前景偵測單元

134．．．人潮密度計算單元

140．．．比較模組

150．．．背景追蹤模組

152．．．位移量計算單元

154．．．位置預測單元

156．．．特徵比對單元

158．．．資訊更新單元

160．．．無背景追蹤模組

162．．．目標物偵測單元

164．．．運動向量計算單元

166．．．比較單元

168．．．資訊更新單元

510、530、700．．．影像

520、540．．．追蹤結果

710、720．．．區域

S210~S250．．．本揭露第一範例實施例之多狀態目標物追蹤方法之各步驟

S310~S340．．．本揭露第一範例實施例之背景追蹤方法之各步驟

S410~S440．．．本揭露第一範例實施例之無背景追蹤方法之各步驟

S610~S670．．．本揭露第二範例實施例之多狀態目標物追蹤方法之各步驟

S810~S840．．．本揭露第三範例實施例之多狀態目標物追蹤方法之各步驟

圖1是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤系統的方塊圖。

圖2是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤方法的流程圖。

圖3是依照本揭露第一範例實施例所繪示之背景追蹤方法的流程圖。

圖4是依照本揭露第一範例實施例所繪示之無背景追蹤方法的流程圖。

圖5(a)及圖5(b)是依照本揭露第一範例實施例所繪示之多狀態目標物追蹤方法的範例。

圖6則是依照本揭露第二範例實施例所繪示之多狀態目標物追蹤方法的流程圖。

圖7是依照本揭露第二範例實施例所繪示之多狀態目標物追蹤方法的範例。

圖8則是依照本揭露第三範例實施例所繪示之多狀態目標物追蹤方法的流程圖。

S210~S250．．．本發明第一範例實施例之多狀態目標物追蹤方法之各步驟

Claims (16)

1. 一種多狀態目標物追蹤方法，包括：擷取包括多張影像之一視訊串流；偵測該視訊串流中該些影像之一人潮密度，並與一門檻值比較，以決定用以追蹤該些影像中多個目標物所使用之一追蹤模型；當所偵測之該人潮密度小於該門檻值時，使用一背景模型追蹤該些影像中的該些目標物；以及當所偵測之該人潮密度大於等於該門檻值時，使用一無背景模型追蹤該些影像中的該些目標物。
2. 如申請專利範圍第1項所述之多狀態目標物追蹤方法，其中偵測該些影像之該人潮密度的步驟包括：對該些影像進行一前景偵測(foreground detection)，以偵測出該些影像中的目標物；以及計算該些目標物所分佈的多個區域中該些目標物所佔之比例，以作為該些區域之人潮密度。
3. 如申請專利範圍第2項所述之多狀態目標物追蹤方法，其中對該些影像進行該前景偵測，以偵測出該些影像中的目標物的步驟包括：利用一背景相減法、一邊緣偵測法及一角點偵測法其中之一或其組合者偵測該些影像中的目標物。
4. 如申請專利範圍第2項所述之多狀態目標物追蹤方法，其中決定用以追蹤該些影像中該些目標物所使用之該追蹤模型的步驟包括：根據所偵測各該些區域之人潮密度，選擇使用該背景模型或該無背景模型追蹤該區域中的該些目標物。
5. 如申請專利範圍第2項所述之多狀態目標物追蹤方法，其中在根據所計算各該些區域之人潮密度，選擇使用該背景模型或該無背景模型追蹤該區域中的該些目標物的步驟之後，更包括：結合各該些區域使用該背景模型或該無背景模型所追蹤之該些目標物的移動資訊，以作為該影像的一目標物資訊。
6. 如申請專利範圍第1項所述之多狀態目標物追蹤方法，其中使用該背景模型追蹤該些影像中的該些目標物的步驟包括：計算各該些目標物在目前影像與前一張影像之間的一位移量；依據該位移量預測該目標物在該下一張影像出現的一位置；對該目標物在該目前影像及該下一張影像中出現之位置周圍的一關聯區域進行一區域性特徵比對，以獲得一特徵比對結果；以及根據該特徵比對結果，選擇新增、繼承或刪除該目標物的相關資訊。
7. 如申請專利範圍第1項所述之多狀態目標物追蹤方法，其中使用該無背景模型追蹤該些影像中的該些目標物的步驟包括：應用多種人物特徵偵測該些影像中具有一或多種該些人物特徵的目標物；計算各該些目標物在目前影像與下一張影像之間的一運動向量；比較該運動向量及一門檻值以獲得一比較結果；以及根據該比較結果，選擇新增、繼承或刪除該目標物的相關資訊。
8. 如申請專利範圍第1項所述之多狀態目標物追蹤方法，其中在使用該背景模型或該無背景模型追蹤該些影像中的該些目標物的步驟之後，更包括：持續偵測該些影像之該人潮密度，並與該門檻值比較；以及當該人潮密度因增加而超過該門檻值，或是因減少而低於該門檻值時，切換所使用之該追蹤模型，並用以追蹤該些影像中的該些目標物。
9. 一種多狀態目標物追蹤系統，包括：一影像擷取裝置，擷取包括多張影像之一視訊串流；以及一處理裝置，耦接該影像擷取裝置以追蹤該些影像中多個目標物，包括：一人潮密度偵測模組，偵測該些影像之一人潮密度；一比較模組，將該人潮密度偵測模組所偵測之該人潮密度與一門檻值比較，以決定用以追蹤該些影像中多個目標物所使用之一追蹤模型；一背景追蹤模組，當該比較模組判斷該人潮密度小於該門檻值時，使用一背景模型追蹤該些影像中的該些目標物；以及一無背景追蹤模組，當該比較模組判斷該人潮密度大於等於該門檻值時，使用一無背景模型追蹤該些影像中的該些目標物。
10. 如申請專利範圍第9項所述之多狀態目標物追蹤系統，其中該人潮密度偵測模組包括：一前景偵測單元，對該些影像進行一前景偵測，以偵測出該些影像中的目標物；以及一人潮密度計算單元，計算該些目標物所分佈的多個區域中該些目標物所佔之比例，以作為該些區域之人潮密度。
11. 如申請專利範圍第10項所述之多狀態目標物追蹤系統，其中該前景偵測單元包括利用一背景相減法、一邊緣偵測法及一角點偵測法其中之一或其組合者偵測該些影像中的目標物。
12. 如申請專利範圍第10項所述之多狀態目標物追蹤系統，其中該比較模組更包括根據該人潮密度偵測模組所偵之各該些區域的人潮密度，選擇使用該背景模型或該無背景模型追蹤該區域中的該些目標物。
13. 如申請專利範圍第10項所述之多狀態目標物追蹤系統，其中該處理裝置更包括：一目標物資訊融合模組，連接該背景追蹤模組及該無背景追蹤模組，結合各該些區域使用該背景模型或該無背景模型所追蹤之該些目標物的移動資訊，以作為該影像的一目標物資訊。
14. 如申請專利範圍第9項所述之多狀態目標物追蹤系統，其中該背景追蹤模組包括：一位移量計算單元，計算各該些目標物在目前影像與前一張影像之間的一位移量；一位置預測單元，連接該位移量計算單元，依據該位移量預測該目標物在該下一張影像出現的一位置；一特徵比對單元，連接該位置預測單元，對該目標物在該目前影像及該下一張影像中出現之位置周圍的一關聯區域進行一區域性特徵比對，以獲得一特徵比對結果；以及一資訊更新單元，連接該特徵比對單元，根據該特徵比對結果，選擇新增、繼承或刪除該目標物的相關資訊。
15. 如申請專利範圍第9項所述之多狀態目標物追蹤系統，其中該無背景追蹤模組包括：一目標物偵測單元，應用多種人物特徵偵測該些影像中具有一或多種該些人物特徵的目標物；一運動向量計算單元，計算各該些目標物在目前影像與下一張影像之間的一運動向量；一比較單元，將該運動向量計算單元所計算之該運動向量與一門檻值比較以獲得一比較結果；以及一資訊更新單元，連接該比較單元，根據該比較結果，選擇新增、繼承或刪除該目標物的相關資訊。
16. 如申請專利範圍第9項所述之多狀態目標物追蹤系統，其中該比較模組更包括在該人潮密度偵測模組所偵測之人潮密度因增加而超過該門檻值，或是因減少而低於該門檻值時，切換使用該背景追蹤模組及該無背景追蹤模組，以追蹤該些影像中的該些目標物。