TWI494865B - 從深度資訊中截取目標物的方法 - Google Patents

Description

從深度資訊中截取目標物的方法

本發明涉及從深度資訊中截取目標物的方法，尤指一種從深度資訊中截取目標人體的方法。

使用攝影機拍攝的人體影像需要先分離目標人體(前景)與背景。前景擷取方法已有許多研究，例如幀差法、背景建模與光流法等，茲簡述如下。

幀差法：將影像與前一幀的影像相減，取變化值大於一閥值的部分作為前景。

背景建模：將畫面中較無變動的部分，建立成一背景模型，再將輸入影像與背景相減得到前景。

光流法：計算畫面中各點的移動向量，取等速移動或移動量大的部分作為前景。

但這些方法多基於「移動物體為前景」的假設，且受限於色彩影像輸入，易受到畫面中的光線、人物陰影與變動背景部分干擾，更有無法辨別同色背景的問題。

職是之故，發明人鑒於習知技術之缺失，乃思及改良發明之意念，終能發明出本案之「從深度資訊中截取目標物的方法」。

本發明提出的方法適用於深度感測裝置所獲得的深度矩陣，與用於灰階或彩色二維影像的方法相比，能利用額外的距離維度資訊來分離出空間中的物件。與一般使用深度閥值(將目標物的前後深度定為最小/最大深度，過濾掉之外的部分)的方式相比，本發明所提出的方法不須定義精確的閥值大小，容許較大的人體移動範圍，可以更有效的截取人體輪廓。另與使用深度資訊來定位人體各部位、關節位置的方法相比，本發明所提出的方法不需先前資料的訓練與比對，能降低運行時的計算量。

本案之主要目的在於提供一種從深度資訊中截取目標物的方法，能利用額外的距離維度資訊來分離出空間中的物件，不須定義精確的閥值大小，容許較大的人體移動範圍，可以更有效的截取人體輪廓，且本發明所提出的方法不需先前資料的訓練與比對，能降低運行時的計算量。

本案之又一主要目的在於提供一種從一深度資訊中截取一目標物的方法，包含下列之步驟：提供一深度矩陣，用以產生複數個三維空間點；依據該複數個三維空間點以重新取樣並補入至少一延伸點，俾產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值與位於該主區塊之一前視圖邊界，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。

本案之下一主要目的在於提供一種從一深度資訊中截取一目標物的方法，包含下列之步驟：提供一深度矩陣，用以產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。

本案之再一主要目的在於提供一種從一深度矩陣中截取一目標物的方法，包含下列之步驟：從該深度矩陣中獲取複數個區塊；從該等區塊中確定一主區塊；從該等區塊中確定一前端區塊；以及聯集該主區塊與該前端區塊以作為該目標物。

為了讓本發明之上述目的、特徵、和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：

本發明所提岀之方法是一種基於深度資訊的目標人體擷取方法，係利用一深度感測裝置取得場景的連續深度矩陣，再藉由對此深度資訊進行後續處理，定義出空間中的物件，以取出感興趣的目標物。首先，此方法對單張深度矩陣做前處理轉為空間點，並重新對深度值取樣並延伸來連接一物件的點。接著從處理後的空間點判斷所屬物件與其體積，過濾掉過小的物件，根據前張的位置定位人體，並處理連接處被遮蔽的問題。藉此達成擷取目標人體之目的。

本發明所提岀之方法將從一感測裝置所得到的連續深度矩陣中取出目標物所占的位置。深度矩陣為紀錄一場景深度資訊的矩陣，表示此場景中物體到感測裝置的平行距離。若此感測裝置之感測範圍為長h寬w，則此深度矩陣即為h行w列之矩陣。而矩陣之一元素為此點到感測裝置面上的深度值，越近越小，隨著距離越遠而有越大的值。如第一圖所示，場景中有一向前舉臂之人體，感測裝置的感測範圍為長120寬160，則可以得到一160x120之矩陣。其中位於(75,50)的元素值代表原畫面中人體手臂距離感測裝置的值。

本例中此距離值以公釐記數，範圍約從500至6000。而軀幹部份的值皆大於手掌部分，亦即手掌部分離裝置較近。設若此裝置每秒可傳回多張深度矩陣，將一段時間內的所有深度矩陣依序收集，稱之為連續深度矩陣，如第二圖所示，可用以表示每個時間點上的深度資訊。此深度矩陣可由多種方式取得，如TOF camera,Stereo Camera等。

以下動作流程參考第三圖，對連續深度矩陣其中之一張執行，設為第k張深度矩陣：

1.　將深度矩陣轉為空間點：即原本位於矩陣中(x,y)的元素其值為z，則將此元素轉為一三維座標點(x,y,z)。如第四圖，可見場景中各物件在三維空間上有深度上的區隔。但一物件上的點未完全鄰接，因此需要下述兩步驟處理。

i.深度重新取樣：將所有點上的z軸值同除一取樣範圍s，使各點的距離縮近。代表此範圍內，只要有座標點存在即視為有值。

ii.補延伸點：在每點的z軸上向後一定距離t作補點動作。經過此二步驟後將盡可能使畫面中屬於同一物件的點連通。上述該兩步驟其執行後之結果分別如第五圖(a)與第五圖(b)所示。亦即第五圖(a)與第五圖(b)分別顯示一依據本發明之較佳實施例與第三圖所示之流程圖所獲得之未處理的點集之二維上視圖與重新取樣並補點後之二維上視圖。

2.三維連通區塊標記：對上述取樣補點後的點集合進行連通區塊標記，即將相連的點標示為同一區域。例如(2,1,2)與(2,1,3)、(2,2,2)會被判斷為相連區塊，但(9,8,7)則不屬於上述區塊(若其中沒有其他相連點)。經過連通區塊標記過程的步驟，其結果如第六圖所示，其係顯示一依據本發明之較佳實施例與第三圖所示之流程圖所獲得之三維連通區塊標記後的二維示意圖。圖上編號為該區塊的標記編號(在顯示幕的畫面上可以顏色區分)，圓圈標示該區塊質心位置，圓圈大小則代表區塊點數量。

3.對各區塊做如下判斷：

i.　將區塊以其體積分為大區塊與小區塊

ii.　從大區塊中根據第k-1張深度矩陣之目標物位置，選出質心距離最近的區塊做為主區塊。(初始化k=0時，使用手動圈選或人臉辨識來決定初始目標位置。)

iii.　從小區塊中根據上一步驟之主區塊，經下述判斷選出：

a.　在前視角上，其邊緣有相鄰。且

b.　深度值小於主區塊

將符合條件的小區塊加入為前端區塊

最後合併主區塊與前端區塊，即為新的目標物，第七圖為最後的單張目標擷取結果，第八圖則為連續深度矩陣的目標擷取結果。

實施例：

1.一種從一深度資訊中截取一目標物的方法，包含下列之步驟：

提供一深度矩陣，用以產生複數個三維空間點；依據該複數個三維空間點以重新取樣並補入至少一延伸點，俾產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值與位於該主區塊之一前視圖邊界，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。

2.根據實施例1所述之方法，其中該提供一深度矩陣步驟，更包括下列之步驟：

進行一深度重新取樣，將各該複數個三維空間點的一z軸座標值同除一取樣範圍，其中當該取樣範圍內，有至少一座標點存在時，即視為有一值；以及在各該複數個三維空間點的一z軸上，向後一固定距離作一補延伸點動作。

3.根據實施例1或2所述之方法，其中該提供一深度矩陣步驟，更包括下列之步驟：

將彼此相鄰接的各該複數個三維空間點標示為同一區域，以產生該複數個三維連通區塊。

4.根據以上任一實施例所述之方法，其中該已知之目標區塊之一初始目標位置是以一手動圈選方式或以一人臉辯識方式來決定，且該目標物為一人體。

5.一種從一深度資訊中截取一目標物的方法，包含下列之步驟：

提供一深度矩陣，用以產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。

6.根據實施例5所述之方法，其中該前端區塊位於該主區塊之一前視圖邊界，且該提供一深度矩陣步驟更包括下列之步驟：

進行一深度重新取樣，將各該複數個三維空間點的一z軸座標值同除一取樣範圍，其中當該取樣範圍內，有至少一座標點存在時，即視為有值；在各該複數個三維空間點的一z軸上向後一定距離t作一補延伸點動作；以及將彼此相鄰接的各該複數個三維空間點標示為同一區域，以產生該複數個三維連通區塊。

7.一種從一深度矩陣中截取一目標物的方法，包含下列之步驟：

從該深度矩陣中獲取複數個區塊；從該等區塊中確定一主區塊；從該等區塊中確定一前端區塊；以及聯集該主區塊與該前端區塊以作為該目標物。

8.根據實施例7所述之方法，其中該從該深度矩陣中獲取複數個區塊步驟，更包括下列之步驟：

使用該深度矩陣中之一元素(x,y)之一深度值z，以產生一三維座標點(x,y,z)；當該三維座標點(x,y,z)之該深度值z小於一預定值時，即以該三維座標點(x,y,z)代表一三維空間點，使產生複數個三維空間點；以及依據該複數個三維空間點以重新取樣並補入至少一延伸點，俾產生該複數個區塊。

9.根據實施例7或8所述之方法，其中該從該等區塊中確定一主區塊步驟，更包括下列之步驟：

當該複數個區塊的其中之任一具有一體積大於一預設值時，則計算該區塊之一質心與一已知之目標區塊之一質心的一距離；以及計算各該距離中之一最小值，並將該距離為該最小值之一特定之該區塊設定為一主區塊，且該從該等區塊中確定一前端區塊之步驟，更包括一步驟：當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值與位於該主區塊之一前視圖邊界，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊。

10.根據以上任一實施例所述之方法，其中各該區塊為一三維連通區塊，該已知之目標區塊之一初始目標位置是以一手動圈選方式或以一人臉辯識方式來決定，且該目標物為一人體。

綜上所述，本發明提供一種從深度資訊中截取目標物的方法，能利用額外的距離維度資訊來分離出空間中的物件，不須定義精確的閥值大小，容許較大的人體移動範圍，可以更有效的截取人體輪廓，且本發明所提出的方法不需先前資料的訓練與比對，能降低運行時的計算量，故其確實具有進步性與新穎性。

是以，縱使本案已由上述之實施例所詳細敘述而可由熟悉本技藝之人士任施匠思而為諸般修飾，然皆不脫如附申請專利範圍所欲保護者。

第一圖：其係顯示一以灰階顏色對應表示其各點深度值的輸入之深度矩陣的示意圖；

第二圖：其係顯示一以灰階顏色對應表示其各點深度值的連續深度矩陣的示意圖；

第三圖：其係顯示一依據本發明之較佳實施例所提出之從一深度資訊中截取一目標物的方法之流程圖；

第四圖：其係顯示一將深度矩陣轉換至三維空間點之三維示意圖；

第五圖(a)與第五圖(b)：其係分別顯示一依據本發明之較佳實施例與第三圖所示之流程圖所獲得之未處理的點集之二維上視圖與重新取樣並補點後之二維上視圖；

第六圖：其係顯示一依據本發明之較佳實施例與第三圖所示之流程圖所獲得之三維連通區塊標記後的二維示意圖；

第七圖：其係顯示一單張目標擷取結果的二維示意圖；以及

第八圖：其係顯示一連續前景擷取結果的二維示意圖。

Claims (10)

1. 一種從一深度資訊中截取一目標物的方法，包含下列之步驟：提供一深度矩陣，用以產生複數個三維空間點；依據該複數個三維空間點以重新取樣並補入至少一延伸點，俾產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值與位於該主區塊之一前視圖邊界，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。
2. 如申請專利範圍第1項所述之方法，其中該提供一深度矩陣步驟，更包括下列之步驟：進行一深度重新取樣，將各該複數個三維空間點的一z軸座標值同除一取樣範圍，其中當該取樣範圍內，有至少一座標點存在時，即視為有一值；以及在各該複數個三維空間點的一z軸上，向後一固定距離作一補延伸點動作。
3. 如申請專利範圍第2項所述之方法，其中該提供一深度矩陣步驟，更包括下列之步驟：將彼此相鄰接的各該複數個三維空間點標示為同一區域，以產生該複數個三維連通區塊。
4. 如申請專利範圍第1項所述之方法，其中該已知之目標區塊之一初始目標位置是以一手動圈選方式或以一人臉辯識方式來決定，且該目標物為一人體。
5. 一種從一深度資訊中截取一目標物的方法，包含下列之步驟：提供一深度矩陣，用以產生複數個三維連通區塊；當該複數個三維連通區塊的其中之任一具有一體積大於一預設值時，則計算該三維連通區塊之一質心與一已知之目標區塊之一質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該三維連通區塊設定為一主區塊；當該複數個三維連通區塊的其中之任一具有該體積小 於或等於該預設值，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊；以及將該主區塊與該前端區塊之一點集合聯集作為該已知之目標區塊。
6. 如申請專利範圍第5項所述之方法，其中該前端區塊位於該主區塊之一前視圖邊界，且該提供一深度矩陣步驟更包括下列之步驟：進行一深度重新取樣，將各該複數個三維空間點的一z軸座標值同除一取樣範圍，其中當該取樣範圍內，有至少一座標點存在時，即視為有值；在各該複數個三維空間點的一z軸上向後一定距離t作一補延伸點動作；以及將彼此相鄰接的各該複數個三維空間點標示為同一區域，以產生該複數個三維連通區塊。
7. 一種從一深度矩陣中截取一目標物的方法，包含下列之步驟：從該深度矩陣中獲取複數個區塊；當該等複數個區塊的其中之任一具有一體積大於一預設值時，則計算該區塊之一質心與一已知之目標區塊之一 質心的一距離；計算各該距離中之一最小值，並將該距離為該最小值之一特定之該區塊設定為一主區塊；從該等複數個區塊中確定一前端區塊；以及聯集該主區塊與該前端區塊以作為該目標物。
8. 如申請專利範圍第7項所述之方法，其中該從該深度矩陣中獲取複數個區塊步驟，更包括下列之步驟：使用該深度矩陣中之一元素(x,y)之一深度值z，以產生一三維座標點(x,y,z)；當該三維座標點(x,y,z)之該深度值z小於一預定值時，即以該三維座標點(x,y,z)代表一三維空間點，使產生複數個三維空間點；以及依據該複數個三維空間點以重新取樣並補入至少一延伸點，俾產生該複數個區塊。
9. 如申請專利範圍第7項所述之方法，其中該從該等區塊中確定一前端區塊之步驟，更包括一步驟：當該複數個三維連通區塊的其中之任一具有該體積小於或等於該預設值與位於該主區塊之一前視圖邊界，且具有一深度值小於該主區塊之一深度值時，則將該體積小於或等於該預設值之一特定之該三維連通區塊設定為一前端區塊。
10. 如申請專利範圍第7項所述之方法，其中各該區塊為一三維連通區塊，該已知之目標區塊之一初始目標位置是以 一手動圈選方式或以一人臉辯識方式來決定，且該目標物為一人體。