[go: up one dir, main page]

JP7397282B2 - 静止判定システム及びコンピュータプログラム - Google Patents

静止判定システム及びコンピュータプログラム Download PDF

Info

Publication number
JP7397282B2
JP7397282B2 JP2019165678A JP2019165678A JP7397282B2 JP 7397282 B2 JP7397282 B2 JP 7397282B2 JP 2019165678 A JP2019165678 A JP 2019165678A JP 2019165678 A JP2019165678 A JP 2019165678A JP 7397282 B2 JP7397282 B2 JP 7397282B2
Authority
JP
Japan
Prior art keywords
image area
frames
user
region
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019165678A
Other languages
English (en)
Other versions
JP2021043730A (ja
Inventor
昂矢 橋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixi Inc
Original Assignee
Mixi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixi Inc filed Critical Mixi Inc
Priority to JP2019165678A priority Critical patent/JP7397282B2/ja
Publication of JP2021043730A publication Critical patent/JP2021043730A/ja
Priority to JP2023197608A priority patent/JP2024015004A/ja
Application granted granted Critical
Publication of JP7397282B2 publication Critical patent/JP7397282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、静止判定システム及びコンピュータプログラムに関する。
特許文献1には、運動動作を行っているユーザーの画像を取得し、その画像に基づいて人間動作スクリーニングスコアを生成し、そのスコアに基づいてパーソナル化エクササイズプログラムを生成する方法が開示されている。
特開2016-73789号公報
このようなユーザーの動作の評価を行う上で、身体の静止判定を安定的に行う必要が生じていた。
本発明はこのような事情に鑑みてなされたものであり、ユーザー動作の静止判定を安定的に行うことを可能にする、静止判定システム及びコンピュータプログラムを提供するものである。
本発明によれば、ユーザーの身体が静止しているか否かを判定するシステムであって、撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定するシステムが提供される。
このような構成とすることにより、ユーザーの身体における特定の部位について静止判定を安定的に行う事が可能となる。
本発明の第1実施形態の判定システム1の構成図である。 携帯端末10の外観を示す図である。 携帯端末10のハードウェア構成を示すブロック図である。 判定システム1の機能ブロック図である。 判定方法の処理の流れを示すフローチャートである。 部位特定部32による部位の特定を示す説明図である。 画像領域設定部33による領域設定の一例を示す図である。 画像領域設定部33による領域設定の他の例を示す図である。 静止判定部34による静止判定を説明する図である。 本発明の第2実施形態の判定システム1の構成図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
<1.第1実施形態>
(1-1.判定システム1の全体構成)
図1に示すように、本発明の第1実施形態の判定システム1は、携帯端末10を備える。携帯端末10は、複数のアプリケーションプログラムをインストール可能な、スマートフォンやタブレット端末などを用いることができる。
本実施形態では、携帯端末10はカメラ20を備え、ユーザーUを前側から撮影するように配置されている。なお、図1に示す構成は例示であって、携帯端末10は、ユーザーUの前側以外の位置に配置されていてもよい。
(1-2.携帯端末10の構成)
図2に示すように、携帯端末10の筐体12には、その正面12Aに、画面に画像を表示する画像表示手段であるタッチパネルディスプレイ14が備えられる。タッチパネルディスプレイ14は、例えばLCD(Liquid Crystal Display)及びタッチセンサを備える。LCDは、各種画像を表示し、タッチセンサは、指、スタイラス、又はペン等の指示体を用いて行われる各種入力操作を受け付ける。
また、携帯端末10の正面12Aには、音が入力されるマイクロフォン16、音を出力するスピーカ18、及び被写体を撮像するカメラ20が備えられる。カメラ20は、筐体12の正面12Aだけでなく筐体12の背面にも備えられる。さらに、筐体12の側面12Bには、携帯端末10を起動又は停止させるための電源ボタンやスピーカ18が出力する音のボリューム調整ボタン等の操作ボタン22が備えられる。
また、携帯端末10の筐体12には、メモリカードが挿入されるスロットやUSB(Universal Serial Bus)端子等が備えられる。
図3は、携帯端末10の電気的構成を示す機能ブロック図である。
携帯端末10は、上記構成に加え、制御部24、記憶部26、通信部28を備える。
制御部24は、例えば、CPU(Central Processing Unit)、マイクロプロセッサ、DSP(Digital Signal Processor)等であり、携帯端末10の全体の動作を制御する。
記憶部26は、例えば、RAM(Random Access Memory)やDRAM(Dynamic Random Access Memory)等を含み、制御部24による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。
記憶部26は、さらに、フラッシュメモリ等の不揮発性メモリを含み、画像等の各種データ及び制御部24の処理に利用されるプログラム等を保存する。記憶部26に記憶されるプログラムは、例えば、携帯端末10の基本的な機能を実現するためのOS(Operating System)、各種ハードウェア制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのアプリケーションプログラム等である。また、記憶部26には、詳細を後述する本実施形態に係る判定方法を実行するためのプログラムが予め記憶されている。
通信部28は、例えばNIC(Network Interface Controller)であり、携帯電話網等の通信網に接続する機能を有する。なお、通信部28は、NICに代えて又はNICと共に、無線LAN(Local Area Network)に接続する機能、無線WAN(Wide Area Network)に接続する機能、例えばBluetooth(登録商標)等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。
これら制御部24、記憶部26、通信部28、タッチパネルディスプレイ14、マイクロフォン16、スピーカ18、カメラ20、及び操作ボタン22は、システムバス30を介して相互に電気的に接続されている。従って、制御部24は、記憶部26へのアクセス、タッチパネルディスプレイ14に対する画像の表示、ユーザーによるタッチパネルディスプレイ14や操作ボタン22に対する操作状態の把握、マイクロフォン16への音の入力、スピーカ18からの音の出力、カメラ20に対する制御、及び通信部28を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。
(1-3.機能ブロック図)
図4は、本実施形態に係る判定機能に関する機能ブロック図である。
図4に示すように、制御部24は、撮影部31と、部位特定部32と、画像領域設定部33と、静止判定部34を含む。
撮影部31は、ユーザーUの動作を撮影して複数のフレームを含む撮影データを取得する。部位特定部32は、取得された撮影データについて、静止判定の対象となるユーザーUの所定の部位を特定する。
画像領域設定部33は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部34は、画像領域のフレーム間の差分に基づいて、特定された所定の部位が静止しているか否かを判定する。
上述した制御部24が備える各機能構成は、記憶部26に記憶されているコンピュータプログラムによって実現される。また、コンピュータプログラムは、コンピュータ読み取り可能な非一時的な記録媒体に格納し、必要に応じて当該記録媒体から読み出してもよい。
(1-4.判定処理の流れ)
図5を参照し、判定システム1を用いた静止判定の処理の流れを詳細に説明する。
ステップS110において、撮影部31は、ユーザーUの動作を撮影する。ここで、当該撮影がNフレーム/秒でT秒間行われた場合、撮影データに含まれるフレーム数Mは、N×Tで算出される。N,Tは正の実数であり、Mは自然数である。各フレームには静止画像が含まれる。Nは例えば60であり、Tは例えば5である。この場合、撮影データには、300枚(M=60×5=300)の静止画像が含まれることとなる。
ステップS120において、部位特定部32は、取得された撮影データについて、静止判定の対象となるユーザーUの部位の特定を行う。この特定は、一例として、撮影データを構成する各静止画像に対する二次元姿勢推定による姿勢モデルに基づいて行うことができる。
二次元姿勢推定では、例えば深層学習を用いたアルゴリズムによって、静止画像中のユーザーUの複数の特徴点の座標を推定することで、ユーザーUの姿勢を二次元的に推定することができる。さらに、複数の静止画像に対して二次元姿勢推定することで、ユーザーUの骨格の動きを計測することも可能となる。
図6に、複数の特徴点の配置例を示す。図6は、ユーザーUが右足で片足立ちをしている場合の画像を例示している。ここで、特徴点0~14は、それぞれ、頭(0)、首(1)、右肩(2)、右肘(3)、右手(4)、左肩(5)、左肘(6)、左手(7)、腰(8)、右股関節(9)、右膝(10)、右足首(11)、左股関節(12)、左膝(13)、左足首(14)に対応する。
このように、二次元姿勢推定によって各静止画像においてユーザーUの特徴点0~14の座標を取得すると、これらの座標に基づいて、ユーザーの姿勢を推定することができる。なお、特徴点の数や配置は、本実施形態のものに限定されず、適宜変更可能である。
このように、各撮影データを構成する各静止画像について二次元姿勢推定で得られた複数の特徴点の座標を、計測データとして取得することができる。ここで、撮影データがMフレームで構成される場合、その撮影データに対応する計測データもMフレームで構成される。
部位特定部32は、取得した計測データ(すなわち、複数の特徴点の座標)に基づいて、ユーザーUの身体における所定の部位を特定する。ここで、部位特定部32は、ユーザーUの動作に応じて、特定すべき部位を変更してもよい。この場合、部位特定部32は、全ての特徴点について計測データを取得する必要はなく、ユーザーUが行う動作毎に特定すべき部位のみについて計測データの取得を行ってもよい。
ステップS130において、画像領域設定部33は、特定された所定の部位に対応づけられる画像領域Dを設定する。画像領域Dの設定にあたり、ユーザーUの動作ごとに対応する特徴点が記憶部26に記憶されている。一例として、図7に示す右足で片足立ちをする動作については、上半身の部位である1~7の特徴点が所定の部位として対応づけられている。そこで、画像領域設定部33は、記憶部26を参照し、特徴点1~7を含む画像を画像領域Dとして設定する。また、画像領域設定部33は、例えば、特定すべき部位が上半身である場合、特徴点8(腰)よりも上側の画像を画像領域Dとして設定してもよい。
また、図8に示す他の例では、ユーザーUが左腕を伸ばした場合が例示されている。このような場合に、左腕の位置を特徴点5~7の座標位置から推定するために、特徴点5~7を含む画像を画像領域Dとして設定してもよい。
ステップS140において、静止判定部34は、画像領域のフレーム間の差分に基づいて、特定された所定の部位が静止しているか否かを判定する。具体的には、静止判定部34は、取得された撮影データにおける連続する3つのフレームについて、画像領域に含まれる各ピクセルに対する階調値の差分を算出し、特定された所定の部位が静止しているか否かを判定する。
以下、図9を参照して具体的に説明する。図9には、取得された撮影データから選出された3つの連続する画像G1~G3が示されている。なお、当該撮影データは、300枚の静止画像(M=300)で構成されているとし、始点フレームF1から終点フレームF300で構成される。画像G1~G3は、それぞれ、フレームFn~Fn+2(1≦n≦298)に対応する。
画像G1~G3は、それぞれ、画像領域設定部33によって設定された画像領域D1~D3を含む。ここで、画像領域D1~D3は、複数のピクセルごとに0~255までの階調値を有する。すなわち、以下の(式1)~(式3)で表すことができる。
ここで、D1(i,j)は、画像領域D1に含まれる各ピクセルを意味する。演算子「∋」は、取りうる値を意味する。静止判定部34は、フレームが連続する画像領域ごとの差分の絶対値を差分画像F12,F23として算出する。
次に、静止判定部34は、差分画像F12およびF23に対して、論理積を計算して論理積画像Faを算出する。
ここで、演算子「∩」は、積集合を意味する。次に、静止判定部34は、任意の閾値Tと比較することにより二値化処理を行い、二値化された差分画像Ftを算出する。
上記処理により、画像領域D1~D3において、静止していると判定された部分(ピクセル)は階調値が255となり、静止していないと判定されたピクセルは階調値が0となる。なお、閾値Tは、静止判定において求める精度に応じて適宜設定すればよい。
次に、差分画像Ftにおけるピクセル値の総和Fを算出し、静止判定の判定値Fvを算出する。
以上のようにして、フレームFn~Fn+2(1≦n≦298)について、複数(本実施形態では298個)の判定値Fvが求まる。この判定値Fvに対して、所定の統計処理を行い、予め定められた閾値と比較することにより、静止判定が行われる。ここでの統計処理とは、例えば、単純和、加重和、又はこれに基づく値(単純平均、加重平均)などの統計的に求まる値を算出する処理である。
以上のようにして、本実施形態に係る判定システム1は、撮影部31と、部位特定部32と、画像領域設定部33と、静止判定部34を備える。撮影部31は、ユーザーの動作を撮影して複数フレームを含む撮影データを取得する。部位特定部32は、取得された撮影データについて、ユーザーの身体における所定の部位を特定する。
画像領域設定部33は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部34は、画像領域のフレーム間の差分に基づいて所定の部位が静止しているか否かを判定する。
このような構成とすることにより、ユーザーの身体の特定の部位について、検出時のブレなどの影響を抑制することができ、静止判定を安定的に行うことが可能となる。
<2.第2実施形態>
図10を参照し、第2実施形態に係る判定システム1について説明する。第2実施形態に係る判定システム1は、携帯端末10としての親機10aおよび子機10bを含む点で第1実施形態と異なる。以下、第1実施形態との相違点を中心に説明する。
図10に示すように、本実施形態においては、ユーザーUの右側、左側、後側に子機10bが配置される。子機10bは、親機10aと同様に、携帯端末10で構成される。親機10aと子機10bは、通信部28を通じて通信可能に構成されている。子機10bは、撮影部31として機能し、複数の方向からユーザーUの動作を撮影し、撮影データを複数取得する。
子機10bで取得された撮影データは、親機10aに対して送信される。親機10aの部位特定部32は、取得された複数の撮影データに対してそれぞれ所定の部位を特定する。
静止判定部34は、複数の方向から取得された撮影データに対して、ユーザーUに対する撮影方向に基づく重み付けを設定する。静止判定部34は、画像領域設定部33によって設定された画像領域のフレーム間の差分と、当該重み付けとに基づいて、ユーザーの所定の部位が静止しているか否かを判定する。
このような構成とすることにより、複数の撮影データに基づいてユーザーの身体が静止しているか否かを解析することとなり、より安定的に静止判定を行うことができる。
ここで、好ましくは、静止判定部34は、撮影するユーザーUの動作に応じて、撮影方向に基づく重み付けを設定してもよい。撮影方向に基づく重み付けは、特定された所定の部位に対応づけられて設定される。すなわち、ユーザーUの動作において、所定の部位ごとに動きが検知されやすい方向からの撮影データについて、重み付けを大きく設定することなどが考えられる。
このような構成とすることにより、ユーザーの動作に応じて撮影方向に基づく重み付けを変化させることが可能となり、より安定的に静止判定を行うことができる。
<3.その他の実施形態>
以上、実施形態について説明したが、本願の技術的範囲の適用範囲は、上記実施形態に限定されるものではない。
たとえば、静止判定部34は、取得した撮影データに含まれる連続したLフレームの中から、静止判定の判定値に基づいて選択された3つのフレームを判定対象フレームとして選出する仕様としてもよい。
この場合、静止判定部34は、たとえば、始点となるフレームが異なるP通りの連続する3つのフレーム(L=3)について静止判定の判定値を算出する。ここで、Pは自然数である。静止判定部34は、P通りの判定値をユーザーUの動きが小さい順に並べたときの順位がQ位以内であることであるフレームを判定対象フレームとして選出してもよい。なお、Lは3以外の値とすることもできる。
例えば、P=90で、Q=10であれば、90通りの判定値Fvの中から値が小さい10個の判定値Fvを選出する。また、P=90で、Q=1であり、フレームF121から始まる連続する3つのフレーム(つまり、フレームF121~F123)の判定値Fvが最小であれば、フレームF121~F123が判定対象フレームとなる。なお、フレームF0を始点とする連続する3つのフレームについて判定値Fvを算出してもよいが、撮像開始直後のデータは信頼性が低い。つまり、計測データのうち最初の複数のフレームを除外して判定対象フレームを特定することによって判定の信頼性を高めてもよい。
また、第2実施形態のように複数の方向から撮影する場合の評価対象フレームの選出にあたっては、重み付けが最も大きい撮影方向からの撮影データから、静止判定の判定値Fvを算出して判定対象フレームを選出してもよい。この場合、選出された判定対象フレームに対応する他の撮影方向のフレームの判定値Fvを算出し、各方向の判定値Fvに撮影方向に基づく重み付けを考慮して静止判定を行うこととなる。
また、上記実施形態では、スマートフォンやタブレットなどの携帯端末10を用いて判定システム1を構成しているが、判定システム1を構成している装置の少なくとも1つは、通信可能で且つ撮影機能を有する任意の装置(例:Webカメラ)であってもよい。
さらに、本発明は、上述の判定システムを実現させるための携帯端末を機能させるプログラムとして実現することもできる。
さらに、本発明は、上述のプログラムを格納する、コンピュータが読み取り可能な非一時的な記録媒体として実現することもできる。
<4.実施形態の特徴>
以下、本発明の実施形態の特徴をまとめる。
判定システム1は、撮影部31と、部位特定部32と、画像領域設定部33と、静止判定部34を備える。撮影部31は、ユーザーの動作を撮影して複数フレームを含む撮影データを取得する。部位特定部32は、取得された撮影データについて、ユーザーの身体における所定の部位を特定する。画像領域設定部33は、特定された所定の部位に対応づけられる画像領域を設定する。静止判定部34は、画像領域のフレーム間の差分に基づいて所定の部位が静止しているか否かを判定する。
このような構成とすることにより、ユーザーの身体の特定の部位について、検出時のブレなどの影響を抑制することができ、静止判定を安定的に行うことが可能となる。
判定システム1の備える部位特定部32は、撮影データから推定される姿勢モデルに基づいて、ユーザーUの身体における所定の部位を特定してもよい。
このような構成とすることにより、ユーザーの身体における部位の特定を安定的に実現することができる。
部位特定部32は、ユーザーUの動作に基づいて所定の部位を特定してもよい。
このような構成とすることにより、動作ごとに特定する部位を設定することとなり、より安定的に部位の特定を行うことができる。
撮影データの複数フレームは、Mフレームで構成され、静止判定部34は、撮影データの中から始点となるフレームが異なるP通りの連続するLフレームに対して、フレーム間の差分に基づいて所定の部位の静止度合いについての判定値Fvを算出し、P通りの判定値Fvを所定の部位の動きが小さい順に並べたときの順位がQ位以内であるLフレームに基づいて、特定された所定の部位が静止しているか否かを判定してもよい。
このような構成とすることにより、静止判定の対象を絞り込むこととなり、より安定的に静止判定を行うことができる。
撮影部31は、複数の方向から前記ユーザーの動作を撮影して撮影データを複数取得し、部位特定部32は、取得された前記複数の撮影データに対してそれぞれ前記所定の部位を特定してもよい。
このような構成とすることにより、複数の撮影データを解析することとなり、より安定的に静止判定を行うことができる。
静止判定部34は、複数の撮影データに対して、ユーザーUに対する撮影方向に基づく重み付けを設定し、画像領域のフレーム間の差分と、撮影データの重み付けとに基づいて、所定の部位が静止しているか否かを判定してもよい。
このような構成とすることにより、複数のデータに対して撮影方向での重み付けを行うこととなり、より安定的に静止判定を行うことができる。
静止判定部34は、ユーザーUの動作に応じて、撮影方向に基づく重み付けを設定してもよい。
このような構成とすることにより、動作に応じて撮影方向の重み付けを変化させることとなり、より安定的に静止判定を行うことができる。
本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :判定システム
10 :携帯端末
10a :親機
10b :子機
11 :特徴点
12 :筐体
12A :正面
12B :側面
13 :特徴点
14 :タッチパネルディスプレイ
16 :マイクロフォン
18 :スピーカ
20 :カメラ
22 :操作ボタン
24 :制御部
26 :記憶部
28 :通信部
30 :システムバス
31 :撮影部
32 :部位特定部
33 :画像領域設定部
34 :静止判定部
U :ユーザー

Claims (8)

  1. ユーザーの身体が静止しているか否かを判定するシステムであって、
    撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
    前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体において手と手以外とを含む複数の特徴点のうち前記撮影データに基づく複数の特徴点に対応づけられている所定の部位を特定し、
    前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、システム。
  2. ユーザーの身体が静止しているか否かを判定するシステムであって、
    撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
    前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
    前記部位特定部は、前記撮影データから推定される姿勢モデルに基づいて、前記所定の部位を特定する、システム。
  3. ユーザーの身体が静止しているか否かを判定するシステムであって、
    撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
    前記撮影部は、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定部は、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
    前記撮影データの複数フレームは、Mフレームで構成され、
    前記静止判定部は、
    前記撮影データの中から始点となるフレームが異なるP通りの連続するLフレームに対して、フレーム間の差分に基づいて前記所定の部位の静止度合いについての判定値を算出し、
    前記P通りの判定値を前記所定の部位の動きが小さい順に並べたときの順位がQ位以内であるLフレームに基づいて、特定された前記所定の部位が静止しているか否かを判定する、システム。
  4. ユーザーの身体が静止しているか否かを判定するシステムであって、
    撮影部と、部位特定部と、画像領域設定部と、静止判定部を備え、
    前記撮影部は、複数の方向から前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定部は、取得された前記撮影データに対してそれぞれ前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定部は、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定部は、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、システム。
  5. コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
    前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体において手と手以外とを含む複数の特徴点のうち前記撮影データに基づく複数の特徴点に対応づけられている所定の部位を特定し、
    前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。
  6. コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
    前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
    前記部位特定ステップでは、前記撮影データから推定される姿勢モデルに基づいて、前記所定の部位を特定する、コンピュータプログラム。
  7. コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
    前記撮影ステップでは、前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定ステップでは、取得された前記撮影データについて、前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定し、
    前記撮影データの複数フレームは、Mフレームで構成され、
    前記静止判定ステップでは、
    前記撮影データの中から始点となるフレームが異なるP通りの連続するLフレームに対して、フレーム間の差分に基づいて前記所定の部位の静止度合いについての判定値を算出し、
    前記P通りの判定値を前記所定の部位の動きが小さい順に並べたときの順位がQ位以内であるLフレームに基づいて、特定された前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。
  8. コンピュータに、撮影ステップと、部位特定ステップと、画像領域設定ステップと、静止判定ステップを備える、ユーザーの身体が静止しているか否かの判定方法を実行させるコンピュータプログラムであって、
    前記撮影ステップでは、複数の方向から前記ユーザーの動作を撮影して複数フレームを含む撮影データを取得し、
    前記部位特定ステップでは、取得された前記撮影データに対してそれぞれ前記ユーザーの身体における所定の部位を特定し、
    前記画像領域設定ステップでは、特定された前記所定の部位に対応づけられる画像領域を設定し、
    前記静止判定ステップでは、前記画像領域のフレーム間の差分に基づいて前記所定の部位が静止しているか否かを判定する、コンピュータプログラム。
JP2019165678A 2019-09-11 2019-09-11 静止判定システム及びコンピュータプログラム Active JP7397282B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019165678A JP7397282B2 (ja) 2019-09-11 2019-09-11 静止判定システム及びコンピュータプログラム
JP2023197608A JP2024015004A (ja) 2019-09-11 2023-11-21 静止判定システム及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019165678A JP7397282B2 (ja) 2019-09-11 2019-09-11 静止判定システム及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023197608A Division JP2024015004A (ja) 2019-09-11 2023-11-21 静止判定システム及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021043730A JP2021043730A (ja) 2021-03-18
JP7397282B2 true JP7397282B2 (ja) 2023-12-13

Family

ID=74862403

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019165678A Active JP7397282B2 (ja) 2019-09-11 2019-09-11 静止判定システム及びコンピュータプログラム
JP2023197608A Pending JP2024015004A (ja) 2019-09-11 2023-11-21 静止判定システム及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023197608A Pending JP2024015004A (ja) 2019-09-11 2023-11-21 静止判定システム及びコンピュータプログラム

Country Status (1)

Country Link
JP (2) JP7397282B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056861A (ja) 1999-06-08 2001-02-27 Matsushita Electric Ind Co Ltd 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2012098988A (ja) 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
WO2012147961A1 (ja) 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2015170206A (ja) 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056861A (ja) 1999-06-08 2001-02-27 Matsushita Electric Ind Co Ltd 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2012098988A (ja) 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
WO2012147961A1 (ja) 2011-04-28 2012-11-01 Necシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2015170206A (ja) 2014-03-07 2015-09-28 富士通株式会社 検出装置および検出方法

Also Published As

Publication number Publication date
JP2024015004A (ja) 2024-02-01
JP2021043730A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
CN111742350B (zh) 虚拟试穿系统、虚拟试穿方法、信息处理装置、以及存储介质
CN102981603B (zh) 图像处理装置和图像处理方法
KR20190044952A (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
JP2012253483A (ja) 画像処理装置、画像処理方法、およびプログラム
EP2894851B1 (en) Image processing device, image processing method, program, and computer-readable storage medium
JP6002058B2 (ja) 画像処理装置、方法、及びプログラム
JP5613741B2 (ja) 画像処理装置、方法、及びプログラム
US20220198780A1 (en) Information processing apparatus, information processing method, and program
JP6008025B2 (ja) 画像処理装置、画像処理方法、およびプログラム
TW201909058A (zh) 活動支援方法、程式及活動支援系統
JP2019058285A (ja) 活動支援方法、プログラム、及び活動支援システム
JPWO2020059716A1 (ja) サイズ測定システム
CN110738548B (zh) 虚拟试衣的方法、装置、移动终端及计算机可读存储介质
JP7397282B2 (ja) 静止判定システム及びコンピュータプログラム
JP2020092944A (ja) ユーザー動作の評価システム及びコンピュータプログラム
JP7591743B2 (ja) 身体機能推定システム、身体機能推定方法、及び、プログラム
JP2014225301A (ja) 画像処理装置、方法、及びプログラム
CN118354716A (zh) 判断方法、判断装置、以及判断系统
JP2021092918A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
TWI819512B (zh) 資訊處理裝置、資訊處理方法及資訊處理程式
JP7564481B2 (ja) 運動メニューの決定システム、プログラムおよび方法
KR101643913B1 (ko) 정보 이용자의 특성에 따른 정보 표시 위치 결정 시스템
JP7561357B2 (ja) 判定方法、判定装置、及び、判定システム
JP7390891B2 (ja) クライアント装置、サーバ、プログラム、及び、情報処理方法
JP6840211B1 (ja) 指示不要アクティブライブネスチェックシステム、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7397282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150