TWI620076B - 人體動作的分析系統 - Google Patents
人體動作的分析系統 Download PDFInfo
- Publication number
- TWI620076B TWI620076B TW105143764A TW105143764A TWI620076B TW I620076 B TWI620076 B TW I620076B TW 105143764 A TW105143764 A TW 105143764A TW 105143764 A TW105143764 A TW 105143764A TW I620076 B TWI620076 B TW I620076B
- Authority
- TW
- Taiwan
- Prior art keywords
- action
- feature
- training
- template
- static
- Prior art date
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
一種人體動作的分析系統藉由動作模板的建立，可大幅地降低該動作辨識之計算及比對所需的數據量，而能即時地辨識人體的動作，進而判讀該人體之動作所代表的情感為何。
Description
本發明是關於一種分析系統，特別是關於一種人體動作的分析系統。
台灣將進入老齡化的社會，政府亦大力的推廣長照服務，而長照服務並不能僅是針對生理方面的健康照護，還得兼顧心理方面的照護，因此，如何的藉由人體外在的肢體動作來判定其心理因素為日漸重要之技術。
一般來說，情感判讀系統是以多種訓練動作對機器進行訓練及歸類，而當機器在實際測試中捕捉到人體動作時，將人體動作與機器中的訓練動作進行比對，若有相似度高的訓練動作，即可判讀人體動作所對應的動作種類為何。但由於每個人在作相同的姿勢表達情感時，其動作可能會有所差異，因此，通常提升情感判讀的準確度都是以大量的訓練動作對機器進行訓練，使得每個動作種類包含著一定數量以上的訓練動作，以讓更多的人體動作能夠搜尋到相似的訓練動作。但由於所需判讀的動作種類較多時，將導致整體系統之訓練動作的數量大幅提高，此外，為了要確實地捕捉人體動作，訓練動作及人體動作的偵數(Frame per second)一般均大於30，這將使得資料庫的資料相當龐大，而在人體之動作與訓練動作須一一比對才能得知是否相似的情況下，導致機器在補捉到人體動作影像時，並無法即時地判讀人體的動作及對應之情感為何。
本發明的主要目的在於藉由建立動作模板的方式，使得一種動作類型只對應有一個動作模板，因此，攝影機捕捉到人體動作時，僅須與該動作類型的動作模板進行比對即可得知是否屬於該動作類型，可大幅地降低系統所需之運算時間，而能即時地辨識人體的動作及對應之情感。
本發明之一種人體動作的分析系統包含一訓練動作資料庫、一模板選擇模組、一深度攝影機、一非靜態序列分割模組及一動作相似計算模組，該訓練動作資料庫定義有複數種動作類別，且各該動作類別具有複數個訓練動作，該模板選擇模組耦接該訓練動作資料庫，且該模板選擇模組根據各該動作類別之該些訓練動作產生各該動作類別的一動作模板，且各該動作之該動作模板儲存於一動作模板資料庫中，該深度攝影機用以擷取一人體之一動作，該非靜態序列分割模組耦接該深度攝影機，以接收該人體之該動作，其中該非靜態序列分割模組用以擷取該動作之非靜態的部份而產生一非靜態動作，該動作相似計算模組耦接該動作模板資料庫及該非靜態序列分割模組，該動作相似計算模組用以計算該非靜態動作與該些動作類別之該動作模板之間的相似度。
本發明藉由該動作種類之該動作模板的建立，大幅地減少該動作相似計算模組所需計算及比對的數據量，因此能夠降低整體系統的運算時間，而能在補捉到該人體之該動作時辨識該人體的該動作接近哪種動作種類，進而判讀該人體之情感。
請參閱第1圖，為本發明之一實施例，一種人體動作的分析系統100，其包含一訓練動作資料庫110、一前處理模組120、一特徵擷取模組130、一模板選擇模組140、一動作模板資料庫150、一深度攝影機160、一前處理模組170、一特徵擷取模組180、一非靜態序列分割模組190及一動作相似計算模組200，其中該訓練動作資料庫110、該前處理模組120、該特徵擷取模組130及該模板選擇模組140為該系統的訓練部份，該深度攝影機160、該前處理模組170、該特徵擷取模組180、該非靜態序列分模組190及該動作相似計算模組200為系統的測試部份。
該訓練動作資料庫110儲存有複數種動作類別，如：舉手、鞠躬…等，而為了進行後續之動作模組的建立，各個動作類別具有複數個用來訓練的訓練動作，換句話說，在建立該訓練動作資料庫110時，會先定義該些動作類別，再以一深度攝影機拍攝不同人體進行該動作類別之動作時的動態影片，以作為該動作類別下的該些訓練動作。在本實施例中，是以微軟Kinect V2進行該些訓練動作的拍攝，因此，各該訓練動作會包含有25個骨架節點的三維位置的動態資訊，如第2圖所示為Kinect V2所捕捉之25個骨架節點的示意圖。
由於25個關節點之三維位置的動態資訊量還是過多，且作為人體動作判讀之系統，有些骨架節點的資訊並不重要，因此，請參閱第1及3圖，在本實施例中，透過該前處理模組120擷取25個骨架節點中的12個骨架節點，其中12個骨架節點為(排序對應至第3圖中的數字)：1. 脊柱中間(Spine-Mid)、2. 頭(Head)、3. 右肘(Right elbow)、4. 右手(Right hand)、5. 右膝蓋(Right knee)、6. 右踝關節(Right ankle)、7. 左踝關節(Left ankle)、8. 左膝蓋(Left knee)、9. 左手(Left hand)、10. 左肘(Left elbow)、11. 右肩(Right shoulder)及12. 左肩(Left shoulder)，該些骨架節點在後文表示為：
，其中
為第1號骨架節點(脊柱中間)，
為第12號骨架節點(左肩)，其餘數字以此類推。
請參閱第1及3圖，考量到每個訓練動作在深度攝影機拍攝時，可能會在整個圖面偏左或偏右，造成不同訓練動作之骨架節點座標有著相當大的差異，此外，每個人身高體型的差異，也會導致骨架節點至骨架節點之間距離的不同，這些差異均會造成動作上的誤判。因此，在本實施例中，藉由該特徵擷取模組130對該些訓練動作的12個骨架節點進行運算處理，其中，該特徵擷取模組130耦接該前處理模組120，該特徵擷取模組130根據該些骨架節點資訊中的兩個骨架節點資訊計算一相對節點資訊。請參閱第3圖，在本實施例中，是採用
、
、
、
、
、
、
、
、
、
、
、
、
、
及
這15個向量作為15個相對節點，其計算方式為兩個骨架節點之座標相減而得，這樣的方式可解決座標位置差異的問題。接著，該特徵擷取模組130將該相對節點進行座標軸轉換，將各該相對節點由直角座標轉換為球座標，並只採用天頂角
及方位角
，而可解決骨架節點至骨架節點之間距離的不同的問題，其中經由座標軸轉換之該相對節點資訊作為該訓練動作之特徵。在本實施例中，每個訓練動作具有15個特徵，而若各該動作類型具有
R個訓練動作，則各該動作類型之特徵的矩陣可表示為：
其中，
為第1個訓練動作的第1個特徵，
為第1個訓練動作的第
k個特徵，
為第
i個訓練動作的第1個特徵，
為第
i個訓練動作的第
k個特徵，
為訓練動作的數量，由所拍攝之該訓練動作的數量而定，
K為各該訓練動作的特徵數量，本實施例中，特徵數量為15。請參閱第4圖，由於該訓練動作為動態資訊，會隨著影格時序而變化，因此，各該訓練動作的特徵為一時變之函數，可表示為：
，其中
為第
i個訓練動作，
為第
i個訓練動作的特徵函數的矩陣，
為第
k個特徵函數，
為該訓練動作的影格數量。
請參閱5圖，為
R個訓練動作進行特徵擷取後之特徵函數的示意圖，可得知由於每個訓練動作之每個特徵皆為時變之函數，使得一個動作類型之該些訓練動作經過上述的處理後，還是具有相當大的資訊量。因此，藉由該模板選擇模組140耦接該訓練動作資料庫110，以接收該動作類型之該些訓練動作的特徵，且該模板選擇模組140根據各該動作類別之該些訓練動作的特徵產生各該動作類別的一動作模板，且將各該動作之該動作模板儲存於一動作模板資料庫150中，也就是在多個訓練動作的其中之一特徵中選取最具代表性的特徵作為該動作模板的一模板特徵，藉此能讓單一個動作類型僅具有15個時變之特徵，而能大幅地降低系統後續進行比對時所需的運算時間。
詳言之，該模板選擇模組140是根據該些訓練動作之該特徵定義一動作特徵重心，並將最接近該動作特徵重心之該訓練動作之該特徵設為該動作模板之該模板特徵，其中，該模板選擇模組140根據其中之一訓練動作之該特徵與其他訓練動作之該特徵間的一相對距離的平均值乘上2倍標準差作為該訓練動作之該特徵與該動作特徵重心之間的一距離，該相對距離的平均值乘上2倍標準差的表示式為：
for i=1,…,
R k=1,…,
K其中，
代表為第
i個訓練動作之第
k個特徵，
為第
i個訓練動作之第
k個特徵之該相對距離的平均值，
為第
i個訓練動作之第
k個特徵之該相對距離的標準差，
代表為第
j個訓練動作之第
k個特徵，
為第
i個訓練動作之第
k個特徵與第
j個訓練動作之第
k個特徵間的該相對距離，DTW為動態時間函數(Dynamic Time Warping)，
為第
i個訓練動作的第
k個特徵，
為第
j個訓練動作的第
k個特徵，
R為該些訓練動作的數量，
K為該些特徵的數量。
各該訓練動作之特徵的該相對距離可表示為一矩陣：
該動作模板的該模板特徵的表示式為：
為該動作模板的第
k個模板特徵。
請再參閱第5及6圖，由於該模板選擇模組140是以該些訓練動作之單一特徵為單位進行該動作模板的建立，因此，在一動作種類之該動作模板中的各該模板特徵可能來自不同或相同的該訓練動作，也就是圖中所示之
、
、
可能是相同之該訓練動作或不同之該訓練動作，藉此能讓該動作模板的該些模板特徵更具代表性，進而利於後續之相似度的比對。
請參閱第1圖，該人體動作的分析系統100完成各該動作種類之該動作模板的建立後即可進行測試部份，在測試部份中，藉由該深度攝影機160擷取一人體之一動作，在本實施例中，該深度攝影機160亦為微軟Kinect V2，因此該人體之該動作也會有25個骨架節點，該前處理模組170及該特徵擷取模組180分別對25個骨架節點之資訊進行運算處理，其中該前處理模組170及該特徵擷取模組180的處理方式與該前處理模組120及該特徵擷取模組130相同，在此不在贅述，因此，該人體之該動作由該前處理模組170及該特徵擷取模組180的運算處理後可得到15個時變之特徵函數。
測試部份與訓練部份的差異在於該人體之該動作的擷取時，由於系統無法預測人體是否開始動作，而可能會擷取到非動態之影像，因此，在測試部份具有該非靜態序列分割模組190，以由該深度攝影機160接收該人體之該動作，其中，該非靜態序列分割模組190用以擷取該動作之非靜態的部份而產生一非靜態動作。擷取之方法為該非靜態序列分割模組190接收
L個影格之該動作後判斷其中是否有超過
L/
2個影格為非靜態的部份，也就是判斷該人體是否已經開始動作，若是則儲存
L+
N個影格之該動作於一動作資料庫中，並同時判斷該人體之該動作於
L個動作影格中為非靜態的部份是否為0，也就是判斷該人體是否已經停止動作，若是則擷取
L+
N個影格之動作為該非靜態動作，若否則持續儲存
L+
N個動作影格於該動作資料庫中。
請參閱第1圖，該非靜態序列分割模組190完成該非靜態動作之擷取後，將其傳送至該動作相似計算模組200，該動作相似計算模組200耦接該動作模板資料庫150及該非靜態序列分割模組190，以計算該非靜態動作與該些動作類別之該動作模板之間的相似度。在本實施例中，該動作相似計算模組200計算式為：
for k=1,…,
K c=1,…,
C其中，DTW為動態時間函數(Dynamic Time Warping)，
為該人體之該動作之非靜態的部份的第
k個特徵，
為第
c個動作模板的第
k個特徵，
K為該些特徵的數量，
C為該些動作模板的數量。
由於經過該動作模板的建立，每個動作種類僅對應有15個特徵，因此在進行相似度的比對時，亦僅須比對
個特徵，即可判別該人體之該動作最接近於哪個動作種類，而能即時地辨識人體的動作及對應之情感為何。
本發明之保護範圍當視後附之申請專利範圍所界定者為準，任何熟知此項技藝者，在不脫離本發明之精神和範圍內所作之任何變化與修改，均屬於本發明之保護範圍。
100‧‧‧人體動作的分析系統
110‧‧‧訓練動作資料庫
120‧‧‧前處理模組
130‧‧‧特徵擷取模組
140‧‧‧模板選擇模組
150‧‧‧動作模板資料庫
160‧‧‧深度攝影機
170‧‧‧前處理模組
180‧‧‧特徵擷取模組
190‧‧‧非靜態序列分割模組
200‧‧‧動作相似計算模組
第1圖：依據本發明之一實施例，一種人體動作的分析系統的功能方塊圖。 第2圖：依據本發明之一實施例，一深度攝影機所擷取之骨架節點示意圖。 第3圖：依據本發明之一實施例，一前處理模組及一特徵擷取模組對骨架節點進行處裡的示意圖。 第4圖：依據本發明之一實施例，一訓練動作隨影格時序變化的示意圖。 第5圖：依據本發明之一實施例，一模板選擇模組建立一動作模板的示意圖。 第6圖：依據本發明之一實施例，該動作模板之各模板特徵隨影格時序變化的示意圖。
Claims (9)
- 一種人體動作的分析系統，其包含：一訓練動作資料庫，其定義有複數種動作類別，且各該動作類別具有複數個訓練動作；一模板選擇模組，耦接該訓練動作資料庫，且該模板選擇模組根據各該動作類別之該些訓練動作產生各該動作類別的一動作模板，且各該動作之該動作模板儲存於一動作模板資料庫中；一深度攝影機，用以擷取一人體之一動作；一非靜態序列分割模組，耦接該深度攝影機，以接收該人體之該動作，其中該非靜態序列分割模組用以擷取該動作之非靜態的部份而產生一非靜態動作；以及一動作相似計算模組，耦接該動作模板資料庫及該非靜態序列分割模組，該動作相似計算模組用以計算該非靜態動作與該些動作類別之該動作模板之間的相似度；其中各該訓練動作具有至少一特徵，其中該模板選擇模組根據該些訓練動作之該特徵定義一動作特徵重心，並將最接近該動作特徵重心之該訓練動作之該特徵設為該動作模板之一模板特徵；其中該模板選擇模組根據其中之一訓練動作之該特徵與其他訓練動作之該特徵間的一相對距離的平均值乘上2倍標準差作為該訓練動作之該特徵與該動作特徵重心之間的一距離，其中該相對距離的平均值乘上2倍標準差的表示式為：ρ ik =μ(s ik )+2×ρ(s ik )
- 如申請專利範圍第1項所述之人體動作的分析系統，其中各該訓練動作之特徵的該相對距離可表示為一矩陣：
- 如申請專利範圍第1項所述之人體動作的分析系統，其另包含有一前處理模組，該前處理模組耦接該訓練動作資料庫，該前處理模組用以擷取該些訓練動作的複數個骨架節點資訊。
- 如申請專利範圍第3項所述之人體動作的分析系統，其另包含有一 特徵擷取模組，該特徵擷取模組耦接該前處理模組，該特徵擷取模組根據該些骨架節點資訊中的兩個骨架節點資訊計算一相對節點資訊，且該特徵擷取模組將該相對節點資訊進行座標軸轉換，其中經由座標軸轉換之該相對節點資訊為該訓練動作之一特徵。
- 如申請專利範圍第1項所述之人體動作的分析系統，其另包含有一前處理模組，該前處理模組耦接該深度攝影機，該前處理模組用以擷取該些人體之該動作的複數個骨架節點資訊。
- 如申請專利範圍第5項所述之人體動作的分析系統，其另包含有一特徵擷取模組，該特徵擷取模組耦接該前處理模組，該特徵擷取模組根據該些骨架節點資訊中的兩個骨架節點資訊計算一相對節點資訊，且該特徵擷取模組將該相對節點資訊進行座標軸轉換，其中經由座標軸轉換之該相對節點資訊為該人體之該動作之一特徵。
- 如申請專利範圍第1項所述之人體動作的分析系統，其中該非靜態序列分割模組擷取該動作之非靜態的部份為：該非靜態序列分割模組接收L個影格之該動作後判斷其中是否有超過L/2個影格為非靜態的部份，若是則儲存L+N個動作影格於一動作資料庫中，並同時判斷該人體之該動作於L個動作影格中為非靜態的部份是否為0，若是則擷取L+N個動作影格為該非靜態動作，若否則持續儲存L+N個動作影格於該動作資料庫中。
- 如申請專利範圍第7項所述之人體動作的分析系統，其中該動作相似計算模組計算式為：
- 一種人體動作的分析系統，其包含：一訓練動作資料庫，其定義有複數種動作類別，且各該動作類別具有複數個訓練動作；一模板選擇模組，耦接該訓練動作資料庫，且該模板選擇模組根據各該動作類別之該些訓練動作產生各該動作類別的一動作模板，且各該動作之該動作模板儲存於一動作模板資料庫中；一深度攝影機，用以擷取一人體之一動作；一非靜態序列分割模組，耦接該深度攝影機，以接收該人體之該動作，其中該非靜態序列分割模組用以擷取該動作之非靜態的部份而產生一非靜態動作；以及一動作相似計算模組，耦接該動作模板資料庫及該非靜態序列分割模組，該動作相似計算模組用以計算該非靜態動作與該些動作類別之該動作模板之間的相似度；其中各該訓練動作具有至少一特徵，其中該模板選擇模組根據該些訓練動作之該特徵定義一動作特徵重心，並將最接近該動作特徵重心之該訓練動作之該特徵設為該動作模板之一模板特徵；其中該非靜態序列分割模組擷取該動作之非靜態的部份為：該非靜態序列分割模組接收L個影格之該動作後判斷其中是否有超過L/2個影格為非靜態的部 份，若是則儲存L+N個動作影格於一動作資料庫中，並同時判斷該人體之該動作於L個動作影格中為非靜態的部份是否為0，若是則擷取L+N個動作影格為該非靜態動作，若否則持續儲存L+N個動作影格於該動作資料庫中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105143764A TWI620076B (zh) | 2016-12-29 | 2016-12-29 | 人體動作的分析系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW105143764A TWI620076B (zh) | 2016-12-29 | 2016-12-29 | 人體動作的分析系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI620076B true TWI620076B (zh) | 2018-04-01 |
| TW201824020A TW201824020A (zh) | 2018-07-01 |
Family
ID=62640055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105143764A TWI620076B (zh) | 2016-12-29 | 2016-12-29 | 人體動作的分析系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI620076B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI753382B (zh) * | 2020-03-16 | 2022-01-21 | 國立中正大學 | 對一影像中的人體進行三維人體骨架估測的方法、三維人體骨架估測器、及估測器之訓練方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI664550B (zh) * | 2018-07-26 | 2019-07-01 | 華夏學校財團法人華夏科技大學 | 高爾夫球運動員揮桿姿勢檢測系統 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI415032B (zh) * | 2009-10-30 | 2013-11-11 | Univ Nat Chiao Tung | Object tracking method |
| EP2843621A1 (en) * | 2013-08-26 | 2015-03-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Human pose calculation from optical flow data |
-
2016
- 2016-12-29 TW TW105143764A patent/TWI620076B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI415032B (zh) * | 2009-10-30 | 2013-11-11 | Univ Nat Chiao Tung | Object tracking method |
| EP2843621A1 (en) * | 2013-08-26 | 2015-03-04 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Human pose calculation from optical flow data |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI753382B (zh) * | 2020-03-16 | 2022-01-21 | 國立中正大學 | 對一影像中的人體進行三維人體骨架估測的方法、三維人體骨架估測器、及估測器之訓練方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201824020A (zh) | 2018-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ji et al. | Interactive body part contrast mining for human interaction recognition | |
| Chen et al. | Facial expression recognition in video with multiple feature fusion | |
| Ahmad et al. | Human action recognition using deep multilevel multimodal (${M}^{2} $) fusion of depth and inertial sensors | |
| Shen et al. | Emotion recognition based on multi-view body gestures | |
| Zheng et al. | Recent advances of deep learning for sign language recognition | |
| WO2018228218A1 (zh) | 身份识别方法、计算设备及存储介质 | |
| Agrawal et al. | A survey on manual and non-manual sign language recognition for isolated and continuous sign | |
| CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
| JP2013178816A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| CN107832736B (zh) | 实时人体动作的识别方法和实时人体动作的识别装置 | |
| CN105373810B (zh) | 一种用于建立动作识别模型的方法及系统 | |
| TWI767775B (zh) | 影像式情緒辨識系統和方法 | |
| CN109919085A (zh) | 基于轻量型卷积神经网络的人人交互行为识别方法 | |
| CN112906520A (zh) | 一种基于姿态编码的动作识别方法及装置 | |
| Samanta et al. | On the role of head motion in affective expression | |
| Vadlapati et al. | Facial recognition using the opencv libraries of python for the pictures of human faces wearing face masks during the covid-19 pandemic | |
| KR20170040693A (ko) | Au 기반의 감성 표정 정보 추출 방법 | |
| Song et al. | Video understanding-based random hand gesture authentication | |
| TWI620076B (zh) | 人體動作的分析系統 | |
| Kumar et al. | Mobile Sign Language Interpretation Using Inception Ver. 3 Classifier | |
| Goel et al. | Implementation of AI/ML for human emotion detection using facial recognition | |
| Neyra-Gutiérrez et al. | Feature extraction with video summarization of dynamic gestures for peruvian sign language recognition | |
| Praneel et al. | Malayalam sign language character recognition system | |
| Żarkowski | Identification-driven emotion recognition system for a social robot | |
| Sams et al. | Signbd-word: Video-based bangla word-level sign language and pose translation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |