JP6492483B2 - 検出装置、検出方法及びプログラム - Google Patents
検出装置、検出方法及びプログラム Download PDFInfo
- Publication number
- JP6492483B2 JP6492483B2 JP2014192130A JP2014192130A JP6492483B2 JP 6492483 B2 JP6492483 B2 JP 6492483B2 JP 2014192130 A JP2014192130 A JP 2014192130A JP 2014192130 A JP2014192130 A JP 2014192130A JP 6492483 B2 JP6492483 B2 JP 6492483B2
- Authority
- JP
- Japan
- Prior art keywords
- setting
- face
- detection
- person
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
撮像画像から撮像処理を実行するための物体を検出する検出装置であって、
前記物体とは異なる所定対象物を判別する判別手段と、
前記判別手段により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段と、
前記判別手段により複数の所定対象物が判別され、前記認証手段により、前記判別手段により判別された前記所定対象物が何れも予め登録されている特定対象物であると判定されなかった場合に、当該所定対象物のうち、撮像画像内の左右両端に存する何れか一方の所定対象物を、撮像画像内における前記物体の検出領域を設定する際の位置の基準として特定する特定手段と、
前記特定手段により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定手段と、
を備えることを特徴としている。
図1に示すように、本実施形態の撮像装置100は、中央制御部1と、メモリ2と、撮像部3と、撮像制御部4と、画像データ生成部5と、記憶部6と、画像記録部7と、表示部8と、操作入力部9とを備えている。
また、中央制御部1、メモリ2、撮像部3、撮像制御部4、画像データ生成部5、記憶部6、画像記録部7及び表示部8は、バスライン10を介して接続されている。
なお、表示パネル8aは、例えば、装置本体部100Aに対して光軸X方向に略直交する垂直方向の軸周りに略180°回動自在に軸支されていても良く、この場合も、表示パネル8aをレンズ部3aの露出面と同じ側とした状態では、所謂、自分撮りを行うことができる。
電子撮像部3bは、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等のイメージセンサから構成され、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部3は、レンズ部3aを通過する光の量を調整する絞りを備えていても良い。
撮像制御部4は、図示は省略するが、タイミング発生器、ドライバなどを備えている。撮像制御部4は、タイミング発生器、ドライバにより電子撮像部3bを走査駆動して、所定周期毎に光学像を電子撮像部3bにより二次元の画像信号に変換させ、当該電子撮像部3bの撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部5に出力させる。また、撮像制御部4は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス調整処理)等の被写体を撮像する際の条件の調整制御を行う。
なお、撮像制御部4の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、状態判定部4aは、撮像部3により撮像されて表示部8に表示される被写体の画像を当該被写体自身に視認させることが可能な所定の状態(所謂、自分撮りの状態)であるか否かを判定する。
具体的には、状態判定部4aは、撮像部3による被写体の撮像の際に、撮像部3の撮像方向(レンズ部3aの露出方向)と表示パネル8aの表示方向が略等しくなっている状態であるか否かを判定する。例えば、状態判定部4aは、装置本体部100Aに対して表示パネル8aが略180°回動したことを機械的に検出するスイッチ(図示略)の検出信号や、表示パネル8aの重力方向に対する傾きを検出するセンサ(例えば、加速度センサ等;図示略)の検出信号の入力に基づいて、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっているか否かを判定する。
そして、状態判定部4aは、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっていると判定した場合に、撮像部3により撮像されて表示部8に表示される被写体の画像を当該被写体自身に視認させることが可能な所定の状態であると特定する。
本実施形態において、判別部4bは、所定の顔検出処理を行い、逐次表示されるライブビュー画像L内から不特定の人の顔が含まれる顔領域を検出する。顔領域が検出された場合、判別部4bは、人の顔を判別したこととなる。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、判別部4bによってライブビュー画像L内から人の顔が判別された場合、認証部4cは、この人の顔の画像データを顔画像データファイル6aに登録されている特定の人の顔に係る認証用特徴情報と照合し、この人の顔が特定の人の顔であるか否かを判定する。そして、この人の顔の画像データと一致する認証用特徴情報が検出された場合、認証部4cは、当該認証用特徴情報を有するID番号の人の顔を認証したこととなる。
本実施形態において、特定部4dは、認証部4cにより特定の人の顔が複数認証された場合、これらの特定の人の顔のうち優先順位が最も高い人の顔を特定する。例えば、図3に示すように、認証部4cによりID番号「0001」と「0002」の人の顔が認証された場合、特定部4dは、優先順位が1位であるID番号「0001」の人の顔を、検出領域Tを設定する際の位置の基準として特定する。ただし、優先順位が最も高い人の顔の位置を基準とした検出領域Tの設定が不可能であると設定部4e(後述)により判定された場合、特定部4dは、次に優先順位が高い人の顔を、検出領域Tを設定する際の位置の基準として特定する。そして、優先順位が最も低い人の顔の位置を基準としても検出領域Tの設定が不可能であると設定部4eにより判定された場合、特定部4dは、優先順位が最も高い人の顔を再度特定することとなる。かかる場合、設定部4eは、所定条件(設定条件3;後述)の下、検出領域Tを設定することとなる。
なお、認証部4cにより認証された特定の人の顔が何れも検出領域Tの設定対象外(モーションシャッタ設定対象外)の場合(図3のID番号「0003」参照)、特定部4dは、認証部4cにより認証された何れの人の顔も、検出領域Tを設定する際の位置の基準として特定しない。かかる場合、設定部4eは、所定条件(設定条件4;後述)の下、検出領域Tを設定することとなる。
例えば、図11(a)に示すように、判別部4bにより3人の顔Ia,Ib,Icが判別された場合、特定部4dは、ライブビュー画像L内の左右両端に存する人の顔Ia,Icのそれぞれについて、当該人の顔Ia,Ic以外の人の顔Ibが存しない側のライブビュー画像Lの端までの距離d1,d2を算出する。かかる場合、距離d1よりも距離d2の方が長いため、当該距離が長い方の人の顔Icを、検出領域Tを設定する際の位置の基準として特定する。
本実施形態において、特定部4dにより特定された人の顔が認証部4cにより認証された特定の人の顔(認証部4cにより認証された特定の人の顔が複数ある場合には優先順位が最も高い人の顔)である場合、設定部4eは、当該特定の人の顔の大きさが検出領域Tを設定可能な大きさであるか否かを判定する。具体的には、設定部4eは、当該特定の人の顔の顔画像の縦方向の長さと所定の比率とを乗算することに導出された値を半径とする円であって、その円の中心が当該特定の人の顔の中心と一致するようにした円を設定する。そして、この円の円周が一部でもライブビュー画像Lの領域に掛かる場合(図7(a),(b)参照)は、設定部4eは、検出領域Tを設定可能な大きさであると判定する。ここで、設定部4eは、この円の円周上を、手を動かしやすい位置とみなし当該円周上の何れかに検出領域Tを設定することとなる。
具体的には、設定部4eは、例えば、図10(d)に示すように、上述した円の半径を小さくしていき、ライブビュー画像Lの領域に円周の一部が最初に掛かった位置、すなわち当該特定の人の顔から最も離れた位置に検出領域Tを設定する。
具体的には、設定部4eは、上述した円周上において、検出部4bにより検出されたライブビュー画像L内の他の人の顔と重ならないことを条件に、(1)当該特定の人の利き腕側(図3参照)であり、かつ、当該特定の人の顔の中心に対して所定の角度(仰角)をなす位置、(2)真上よりは下側の利き腕側、(3)真下よりは上側の利き腕側、(4)利き腕でない側であり、かつ、当該特定の人の顔の中心に対して所定の角度(仰角)をなす位置、(5)真上よりは下側の利き腕でない側、(6)真下よりは上側の利き腕でない側、の上記(1)〜(6)の順に検出領域Tを設定可能な領域を検索する。なお、特定の人の利き腕がどちらであるかは、図3に示すように、当該特定の人のID番号と対応付けられて顔画像データファイル6aに登録されている利き腕に係る情報に基づき判断することができるようになっている。
検索の結果、例えば、図8(a)〜(f)に示すように、検出領域Tを設定可能な領域が検出された場合、設定部4eは、設定条件2を満たすと判定し、当該領域に検出領域Tを設定する。ここで、図8(a),(b)は、上記(1)の当該特定の人の利き腕側であり、かつ、当該特定の人の顔の中心に対して所定の角度(仰角)をなす位置で検出領域Tを設定することができたときの一例を示す図である。また、同図(c)は、上記(2)の真上よりは下側の利き腕側で検出領域Tを設定することができたときの一例を示す図である。また、同図(d)は、上記(4)の利き腕でない側であり、かつ、当該特定の人の顔の中心に対して所定の角度(仰角)をなす位置で検出領域Tを設定することができたときの一例を示す図である。また、同図(e)は、上記(3)の真下よりは上側の利き腕側で検出領域Tを設定することができたときの一例を示す図である。また、同図(f)は、上記(6)の真下よりは上側の利き腕でない側で検出領域Tを設定することができたときの一例を示す図である。なお、所定の角度(仰角)は、例えば、45°で、人が自然に手を上げることができる角度に設定されているが、任意に変更できるようにしてもよい。
具体的には、上述した円周上において、ライブビュー画像L内の他の人の顔と重なっても良いことを条件に、設定条件2の(1)〜(6)の順に検出領域Tを設定可能な領域を検索する。そして、検索の結果、例えば、図10(b)に示すように、検出領域Tを設定可能な領域が検出された場合、設定部4eは、当該領域に検出領域Tを設定する。ここで、図10(b)は、ライブビュー画像L内の他の人の顔と重なっても良いことを条件に、設定条件2の上記(1)の当該特定の人の利き腕側であり、かつ、当該特定の人の顔の中心に対して所定の角度(仰角)をなす位置で検出領域Tを設定することができたときの一例を示す図である。
具体的には、図12(a),(b)に示すように、設定部4eは、認証部4cにより認証された特定の人の顔M,Nの位置によらず、予め決められた特定位置(例えば、ライブビュー画像L内の右上の角)に検出領域Tを設定する。
具体的には、設定部4eは、特定部4dにより特定された人の顔を中心とする上述の円周上において、ライブビュー画像L内の他の人の顔と重ならないことを条件に、(1)当該人の顔以外の人の顔が存しない側であり、かつ、当該人の顔の中心に対して所定の角度(仰角)をなす位置、(2)真上よりは下側、(3)真下よりは上側、の上記(1)〜(3)の順に検出領域Tを設定可能な領域を検索する。当該検索の結果、検出領域Tを設定可能な領域が検出された場合、当該領域に検出領域Tを設定する。より具体的には、例えば、図11(b)に示すように、設定部4eは、特定部4dにより特定された人の顔Icを中心とする上述の円周上において、上記(1)〜(3)の順に検出領域Tを設定可能な領域を検索する。かかる場合、当該人の顔Ic以外の人の顔Ia,Ibが存しない側(Icの右側)であり、かつ、当該人の顔Icの中心に対して所定の角度(仰角)をなす位置に検出領域Tを設定可能であるため、この位置に検出領域Tを設定することとなる。一方、検出領域Tを設定可能な領域が検出されなかった場合、設定部4eは、当該人の顔を中心とする上述の円周上において、ライブビュー画像L内の他の人の顔と重なっても良いことを条件に、当該人の右側(利き腕側とみなす)であり、かつ、当該人の顔の中心に対して所定の角度(仰角)をなす位置を最優先とし、次いで、設定条件1の(2)〜(3)の順に検出領域Tを設定可能な領域を検索する。そして、設定部4eは、検索された領域に検出領域Tを設定する。
一方、当該人の顔の大きさが検出領域Tを設定可能な大きさでないと判定された場合、設定部4eは、設定条件テーブル6b(図13参照)のうちの設定条件5の下、検出領域Tを設定する。なお、設定条件5の下になされる検出領域Tの設定方法は、上述した特定部4dにより特定された人の顔が認証部4cにより認証された特定の人の顔であるときと同様であるため、その説明は省略する。
具体的には、検出部4fは、逐次表示されるライブビュー画像L内の検出領域T内の画素値の変動に基づいて画像の変化を検出することにより物体を検出する。
なお、図示は省略するが、検出領域Tにはモーションシャッタを開始するための開始指標がOSD(On Screen Display)表示される。
本実施形態において、開始制御部4gは、設定部4eにより設定された検出領域Tにおいて、検出部4fにより物体(例えば、被写体となる人の手)が検出された場合、撮像部3による被写体の撮像画像の撮影処理を実行する。
また、画像データ生成部5は、生成した画像データをバッファメモリとして使用されるメモリ2や画像記録部7に転送する。
本実施形態では、画像記録部7は、例えば、開始制御部4gにより撮影処理を実行した際に撮像された画像の画像データ等を記録する。
なお、表示パネル8aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
具体的には、操作入力部9は、例えば、シャッタボタン、動作モードや機能等の選択指示に係る上下左右のカーソルボタン、決定ボタン等を具備する操作部(図示略)を備えている。
そして、ユーザにより操作部の各種ボタンが操作されると、操作入力部9は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部9から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像等)を各部に実行させる。
なお、操作入力部9は、表示部8の表示パネル8aと一体となって設けられたタッチパネル(図示略)を有して構成されていても良い。
次に、本実施形態の撮像装置100によるモーションシャッタ処理について図4を参照して説明する。
図4は、モーションシャッタ処理に係る動作の一例を示すフローチャートである。
一方、ステップS1にて、撮像部3の撮像方向と表示パネル8aの表示方向が略等しくなっていると判定されると(ステップS1;YES)、表示制御部8bは、撮像部3により撮像されて画像データ生成部5により生成された複数の画像フレームを所定の再生フレームレートで逐次更新しながらライブビュー画像Lを表示パネル8aに表示させる(ステップS2)。
そして、ステップS4において、人の顔が検出(判別)されない場合(ステップS4;NO)、モーションシャッタ処理を終了する。
一方、ステップS4において、人の顔が検出(判別)された場合(ステップS4;YES)、認証部4cは、顔認証処理(ステップS5)を行い、ライブビュー画像L内において検出された人の顔が予め顔画像データファイル6aに登録されている特定の人の顔であるか否かを判定する。
次いで、開始制御部4gは、検出領域Tにおいて物体が検出されたことに応じて、撮像部3による被写体の撮像画像の撮影処理(ステップS10)を行い、モーションシャッタ処理を終了する。
次に、検出領域設定処理1について、図5を参照して詳細に説明する。
図5は、検出領域設定処理1に係る動作の一例を示すフローチャートである。
次いで、特定部4dは、左右両端に存する人の顔のうち、当該人の顔以外の人の顔が存しない側のライブビュー画像Lの端までの距離が長い方の人の顔を、検出領域Tを設定する際の位置の基準として特定し(ステップS104)、ステップS106へ移行する。
ステップS106において、特定された人の顔が検出領域Tを設定可能な大きさであると判定された場合(ステップS106;YES)、設定部4eは、設定条件1に応じて、検出領域Tを設定し(ステップS107)、検出領域設定処理1を終了する。
一方、ステップS106において、特定された人の顔が検出領域Tを設定可能な大きさでないと判定された場合(ステップS106;NO)、設定部4eは、設定条件5に応じて、検出領域Tを設定し(ステップS108)、検出領域設定処理1を終了する。
次に、検出領域設定処理2について、図6を参照して詳細に説明する。
図6は、検出領域設定処理2に係る動作の一例を示すフローチャートである。
一方、ステップS202において、操作対象(モーションシャッタ設定対象)の顔があると判定された場合(ステップS202;YES)、特定部4dは、優先順位の最も高い特定の人の顔を、検出領域Tを設定する際の位置の基準として特定する(ステップS203)。
ステップS204において、特定された特定の人の顔が検出領域Tを設定可能な大きさでないと判定された場合(ステップS204;NO)、設定部4eは、設定条件5に応じて、検出領域Tを設定し(ステップS214)、検出領域設定処理2を終了する。
一方、ステップS204において、特定された特定の人の顔が検出領域Tを設定可能な大きさであると判定された場合(ステップS204;YES)、設定部4eは、設定条件2の下、検出領域Tの設定が可能であるか否かを判定する(ステップS209)。
一方、ステップS209において、設定条件2の下、検出領域Tの設定が可能でないと判定された場合(ステップS209;NO)、特定部4dは、認証部4cにより認証された特定の人の顔がまだ他にもあるか否かを判定する(ステップS211)。
一方、ステップS211において、認証部4cにより認証された特定の人の顔が他にはないと判定された場合(ステップS211;NO)、設定部4eは、設定条件3に応じて、検出領域Tを設定し(ステップS213)、検出領域設定処理2を終了する。
ステップS207において、特定された特定の人の顔が検出領域Tを設定可能な大きさでないと判定された場合(ステップS207;NO)、設定部4eは、設定条件5に応じて、検出領域Tを設定し(ステップS214)、検出領域設定処理2を終了する。
一方、ステップS207において、特定された特定の人の顔が検出領域Tを設定可能な大きさであると判定された場合(ステップS207;YES)、ステップS209へ移行する。
従って、判別部4bにより複数の人の顔が判別された場合に、当該複数の人の顔に応じて検出領域Tがそれぞれ設定されることがないので、検出領域Tが無闇に設定されることを防止することができ、検出領域Tにおける物体の誤検出を減らすことができる。また、特に、検出領域Tは、特定部4dにより特定された人の顔の状態に応じて、所定位置に設定されることとなるので、好適な位置に検出領域Tを設定することができ、ユーザ所望の物体の検出のみを確実に行うことができる。
従って、予め登録されている特定の人の顔に対してのみ検出領域Tが設定されるので、検出領域Tが無闇に設定されることを防止することができ、検出領域Tにおける物体の誤検出を減らすことができる。また、特に、検出領域Tは、特定部4dにより特定された特定の人の顔の状態に応じて、所定位置に設定されることとなるので、より好適な位置に検出領域Tを設定することができ、ユーザ所望の物体の検出のみをより確実に行うことができる。
従って、優先順位が最も高い特定の人の顔を優先し、当該特定の人の顔の状態に応じて、所定位置に検出領域Tが設定されることとなるので、より好適な位置に検出領域Tを設定することができ、ユーザ所望の物体の検出のみをより確実に行うことができる。
従って、モーションシャッタ設定対象外の特定の人の顔の状態に応じて、所定位置に検出領域Tが設定されることを防止することができるので、検出領域Tにおける物体の誤検出を減らすことができる。
従って、当該特定の人は検出領域Tに向けて手をスムーズに移動させることができるので、モーションシャッタの使い勝手が向上することとなる。
従って、判別部4bにより複数の人の顔が判別された場合に、当該複数の人の顔に応じて検出領域Tがそれぞれ設定されることがないので、検出領域Tが無闇に設定されることを防止することができ、検出領域Tにおける物体の誤検出を減らすことができる。また、特に、ライブビュー画像L内の左右両端に存する人の顔のうち、当該人の顔以外の人の顔が存しない側のライブビュー画像Lの端までの距離が長い方の人の顔を、検出領域Tを設定する際の位置の基準として特定することとなる。これにより、当該人の顔以外の人の顔が存しない好適な位置に検出領域Tを設定し易くなる。
また、設定部4eによって、特定部4dにより特定された人の顔の位置に対して、その人が手を動かしやすい位置、具体的には、当該人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位置に検出領域Tを設定することとなる。これにより、特定部4dにより特定された人は検出領域Tに向けて手をスムーズに移動させることができるので、モーションシャッタの使い勝手が向上することとなる。
また、設定部4eによって、特定部4dにより特定された人の顔の位置に対して、その人の顔以外の人の顔が存しない側に検出領域Tを設定するので、当該人の顔以外の人の顔と重ならない位置に検出領域Tを設定することができることとなり、検出領域Tにおける物体の誤検出を減らすことができる。
例えば、上記実施形態にあっては、特定部4dは、認証部4cにより特定の人の顔が認証されなかったものの判別部4bにより複数の人の顔が判別された場合、ライブビュー画像L内の左右両端に存する人の顔のうち、当該人の顔以外の人の顔が存しない側のライブビュー画像Lの端までの距離を算出し、この距離が長い方の人の顔を、検出領域Tを設定する際の位置の基準として特定するようにしたが、これに限らず、ライブビュー画像L内の左右両端に存する人の顔のうち、当該人の顔以外の人の顔が存しない側のライブビュー画像Lの端までの領域の面積を算出し、この面積が大きい方の人の顔を、検出領域Tを設定する際の位置の基準として特定するようにしても良い。
すなわち、プログラムを記憶するプログラムメモリ(図示略)に、判別処理ルーチン、特定処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、判別処理ルーチンにより中央制御部1のCPUを、所定対象物を判別する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、判別処理ルーチンにより複数の所定対象物が判別された場合に、撮像画像内における物体の検出領域を設定する際の位置の基準となる所定対象物を特定する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部1のCPUを、特定処理ルーチンにより特定された所定対象物の状態に応じて、所定位置に検出領域を設定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像画像から物体を検出する検出装置であって、
所定対象物を判別する判別手段と、
前記判別手段により複数の所定対象物が判別された場合に、撮像画像内における前記物体の検出領域を設定する際の位置の基準となる所定対象物を特定する特定手段と、
前記特定手段により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定手段と、
を備えることを特徴とする検出装置。
<請求項2>
前記設定手段は、前記特定手段により特定された所定対象物の状態に応じて、撮像画像内で当該所定対象物に近接する位置に前記検出領域を設定することを特徴とする請求項1に記載の検出装置。
<請求項3>
前記判別手段により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段を更に備え、
前記特定手段は、前記認証手段により前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項1又は2に記載の検出装置。
<請求項4>
前記特定対象物に係る情報には、優先順位に係る情報が対応付けられて登録されているものがあり、
前記特定手段は、前記認証手段により前記特定対象物であると判定された所定対象物が複数ある場合に、当該複数の所定対象物のうち、前記優先順位に応じて特定対象物であると判定された所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項3に記載の検出装置。
<請求項5>
前記特定対象物には、前記検出領域を設定する際の位置の基準として特定されないようにした特別対象物があり、
前記設定手段は、前記認証手段により前記特定対象物であると判定された所定対象物が前記特別対象物である場合に、当該所定対象物の状態によらない特定位置に前記検出領域を設定することを特徴とする請求項3又は4に記載の検出装置。
<請求項6>
前記所定対象物は、人の顔であり、
前記判別手段は、人の顔を判別し、
前記認証手段は、前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定し、
前記特定手段は、前記認証手段により前記人の顔が予め登録されている特定の人の顔であると判定された場合に、当該人の顔を、前記検出領域を設定する際の位置の基準として特定し、
前記設定手段は、前記認証手段により前記特定の人の顔であると判定された人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定することを特徴とすることを特徴とする請求項3〜5の何れか一項に記載の検出装置。
<請求項7>
前記設定手段は、前記人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位置に前記検出領域を設定することを特徴とする請求項6に記載の検出装置。
<請求項8>
前記設定手段は、前記検出領域が前記認証手段により前記特定の人の顔であると判定された人の顔以外の人の顔と重なる場合に、当該人の顔と重ならない位置に前記検出領域を設定することを特徴とする請求項6又は7に記載の検出装置。
<請求項9>
前記特定の人の顔に係る情報には、当該特定の人の利き腕に係る情報が対応付けられて登録されているものがあり、
前記設定手段は、前記特定の人の利き腕側に前記検出領域を設定することを特徴とする請求項6〜8の何れか一項に記載の検出装置。
<請求項10>
前記判別手段により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段を更に備え、
前記特定手段は、前記認証手段により、前記判別手段により判別された前記所定対象物が何れも予め登録されている特定対象物であると判定されなかった場合に、当該所定対象物のうち、撮像画像内の左右両端に存する何れか一方の所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項1又は2に記載の検出装置。
<請求項11>
前記特定手段は、前記撮像画像内の左右両端に存する所定対象物のうち、当該所定対象物以外の所定対象物が存しない側の撮像画像の端までの距離が長い方の所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項10に記載の検出装置。
<請求項12>
前記設定手段は、前記特定手段により特定された所定対象物の位置に対して、当該所定対象物以外の所定対象物が存しない側に前記検出領域を設定することを特徴とする請求項11に記載の検出装置。
<請求項13>
前記所定対象物は、人の顔であり、
前記判別手段は、人の顔を判別し、
前記認証手段は、前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定し、
前記特定手段は、前記判別手段により判別された人の顔が何れも予め登録されている特定の人の顔であると判定されなかった場合に、当該人の顔のうち、撮像画像内の左右両端に存する何れか一方の人の顔を、前記検出領域を設定する際の位置の基準として特定し、
前記設定手段は、前記特定手段により特定された人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定することを特徴とすることを特徴とする請求項10〜12の何れか一項に記載の検出装置。
<請求項14>
前記設定手段は、前記人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位置に前記検出領域を設定することを特徴とする請求項13に記載の検出装置。
<請求項15>
撮像画像から物体を検出する検出装置であって、
所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段と、
前記認証手段により前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物の状態に応じて、所定位置に撮像画像内における前記物体の検出領域を設定する設定手段と、
を備えることを特徴とする検出装置。
<請求項16>
前記所定対象物は、人の顔であり、
前記認証手段は、前記人の顔が予め登録されている特定の人の顔であるか否かを判定し、
前記設定手段は、前記認証手段により前記人の顔が予め登録されている特定の人の顔であると判定された場合に、当該人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定することを特徴とすることを特徴とする請求項15に記載の検出装置。
<請求項17>
前記設定手段は、前記人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位置に前記検出領域を設定することを特徴とする請求項16に記載の検出装置。
<請求項18>
撮像手段により逐次撮像される画像内から移動し得る物体である特定対象物の位置を検出する物体検出手段と、
前記物体検出手段により検出された前記特定対象物の位置に基づいて物体の移動を検出する検出領域を設定する設定手段と、
前記設定手段により設定された検出領域内で物体の移動を検出する移動検出手段と、
前記物体検出手段により検出された前記特定対象物が移動を検出する対象であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定手段による検出領域の設定を制御する制御手段と、
を備えることを特徴とする検出装置。
<請求項19>
前記制御手段は、前記判定手段により前記特定対象物が移動を検出する対象でないと判定された場合には、当該特定対象物が移動を検出する対象であると判定された場合と比較して、前記移動し得る物体の位置と前記検出領域の位置とがより離れるように前記設定手段による検出領域の設定を制御することを特徴とする請求項18に記載の検出装置。
<請求項20>
前記制御手段は、前記物体検出手段により前記特定対象物が複数検出された場合には、前記判定手段による各々の特定対象物に対する判定結果に応じて、各々の特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定手段による検出領域の設定を制御することを特徴とする請求項18又は19に記載の検出装置。
<請求項21>
撮像画像から物体を検出する検出方法であって、
所定対象物を判別する処理と、
複数の所定対象物が判別された場合に、撮像画像内における前記物体の検出領域を設定する際の位置の基準となる所定対象物を特定する処理と、
前記検出領域を設定する際の位置の基準となる所定対象物として特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する処理と、
を含むことを特徴とする検出方法。
<請求項22>
撮像画像から物体を検出する検出装置のコンピュータに、
所定対象物を判別する判別機能、
前記判別機能により複数の所定対象物が判別された場合に、撮像画像内における前記物体の検出領域を設定する際の位置の基準となる所定対象物を特定する特定機能、
前記特定機能により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定機能、
を実現させることを特徴とするプログラム。
<請求項23>
撮像画像から物体を検出する検出方法であって、
所定対象物が予め登録されている特定対象物であるか否かを判定する処理と、
前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物の状態に応じて、所定位置に撮像画像内における前記物体の検出領域を設定する処理と、
を含むことを特徴とする検出方法。
<請求項24>
撮像画像から物体を検出する検出装置のコンピュータに、
所定対象物が予め登録されている特定対象物であるか否かを判定する認証機能、
前記認証機能により前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物の状態に応じて、所定位置に撮像画像内における前記物体の検出領域を設定する設定機能、
を実現させることを特徴とするプログラム。
<請求項25>
撮像手段により逐次撮像される画像内から移動し得る物体を検出する検出方法であって、
前記物体である特定対象物の位置を検出する処理と、
検出された前記特定対象物の位置に基づいて物体の移動を検出する検出領域を設定する処理と、
設定された検出領域内で物体の移動を検出する処理と、
検出された前記特定対象物が移動を検出する対象であるか否かを判定する処理と、
判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記設検出領域の設定を制御する処理と、
を含むことを特徴とする検出方法。
<請求項26>
撮像手段により逐次撮像される画像内から移動し得る物体を検出する検出装置のコンピュータに、
前記物体である特定対象物の位置を検出する物体検出機能、
前記物体検出機能により検出された前記特定対象物の位置に基づいて物体の移動を検出する検出領域を設定する設定機能、
前記設定機能により設定された検出領域内で物体の移動を検出する移動検出機能、
前記物体検出機能により検出された前記特定対象物が移動を検出する対象であるか否かを判定する判定機能、
前記判定機能による判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定機能による検出領域の設定を制御する制御機能、
を実現させることを特徴とするプログラム。
1 中央制御部
3 撮像部
4 撮像制御部
4a 状態判定部
4b 判別部
4c 認証部
4d 特定部
4e 設定部
4f 検出部
4g 開始制御部
6 記憶部
6a 顔画像データファイル
6b 設定条件テーブル
8 表示部
8a 表示パネル
8b 表示制御部
T 検出領域
Claims (24)
- 撮像画像から撮像処理を実行するための物体を検出する検出装置であって、
前記物体とは異なる所定対象物を判別する判別手段と、
前記判別手段により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段と、
前記判別手段により複数の所定対象物が判別され、前記認証手段により、前記判別手段により判別された前記所定対象物が何れも予め登録されている特定対象物であると判定されなかった場合に、当該所定対象物のうち、撮像画像内の左右両端に存する何れか一方の所定対象物を、撮像画像内における前記物体の検出領域を設定する際の位置の基準として特定する特定手段と、
前記特定手段により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定手段と、
を備えることを特徴とする検出装置。 - 前記設定手段は、前記特定手段により特定された所定対象物の状態に応じて、撮像画像内で当該所定対象物に近接する位置に前記検出領域を設定することを特徴とする請求項1に記載の検出装置。
- 前記設定手段は、前記特定手段により特定された所定対象物の状態に応じて、撮像画像内で当該所定対象物の中心から所定の距離離れた同心円の円周上の何れかに前記検出領域を設定することを特徴とする請求項1又は2に記載の検出装置。
- 前記特定手段は、前記認証手段により前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項1〜3の何れか一項に記載の検出装置。
- 前記特定対象物に係る情報には、優先順位に係る情報が対応付けられて登録されているものがあり、
前記特定手段は、前記認証手段により前記特定対象物であると判定された所定対象物が複数ある場合に、当該複数の所定対象物のうち、前記優先順位に応じて特定対象物であると判定された所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項4に記載の検出装置。 - 前記特定対象物には、前記検出領域を設定する際の位置の基準として特定されないようにした特別対象物があり、
前記設定手段は、前記認証手段により前記特定対象物であると判定された所定対象物が前記特別対象物である場合に、当該所定対象物の状態によらない特定位置に前記検出領域を設定することを特徴とする請求項4又は5に記載の検出装置。 - 前記所定対象物は、人の顔であり、
前記判別手段は、人の顔を判別し、
前記認証手段は、前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定し、
前記特定手段は、前記認証手段により前記人の顔が予め登録されている特定の人の顔であると判定された場合に、当該人の顔を、前記検出領域を設定する際の位置の基準として特定し、
前記設定手段は、前記認証手段により前記特定の人の顔であると判定された人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定することを特徴とすることを特徴とする請求項4〜6の何れか一項に記載の検出装置。 - 前記設定手段は、前記人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位置に前記検出領域を設定することを特徴とする請求項7に記載の検出装置。
- 前記設定手段は、前記検出領域が前記認証手段により前記特定の人の顔であると判定された人の顔以外の人の顔と重なる場合に、当該人の顔と重ならない位置に前記検出領域を設定することを特徴とする請求項7又は8に記載の検出装置。
- 前記特定の人の顔に係る情報には、当該特定の人の利き腕に係る情報が対応付けられて登録されているものがあり、
前記設定手段は、前記特定の人の利き腕側に前記検出領域を設定することを特徴とする請求項7〜9の何れか一項に記載の検出装置。 - 前記特定手段は、前記撮像画像内の左右両端に存する所定対象物のうち、当該所定対象物以外の所定対象物が存しない側の撮像画像の端までの距離が長い方の所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする請求項1〜10の何れか一項に記載の検出装置。
- 前記設定手段は、前記特定手段により特定された所定対象物の位置に対して、当該所定対象物以外の所定対象物が存しない側に前記検出領域を設定することを特徴とする請求項11に記載の検出装置。
- 前記所定対象物は、人の顔であり、
前記判別手段は、人の顔を判別し、
前記認証手段は、前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定し、
前記特定手段は、前記判別手段により判別された人の顔が何れも予め登録されている特定の人の顔であると判定されなかった場合に、当該人の顔のうち、撮像画像内の左右両端に存する何れか一方の人の顔を、前記検出領域を設定する際の位置の基準として特定し、
前記設定手段は、前記特定手段により特定された人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定することを特徴とすることを特徴とする請求項11〜12の何れか一項に記載の検出装置。 - 前記設定手段は、前記人の顔の位置に対して、所定の距離離れ且つ所定の角度をなす位に前記検出領域を設定することを特徴とする請求項13に記載の検出装置。
- 撮像手段により逐次撮像される画像内から撮像処理を実行するための特定対象物の位置を検出する物体検出手段と、
前記物体検出手段により検出された前記特定対象物の位置に基づいて移動し得る物体の移動を検出する検出領域を設定する設定手段と、
前記設定手段により設定された検出領域内で前記移動し得る物体の移動を検出する移動検出手段と、
前記物体検出手段により検出された前記特定対象物が移動を検出する対象であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定手段による検出領域の設定を制御する制御手段と、
を備えることを特徴とする検出装置。 - 前記制御手段は、前記判定手段により前記特定対象物が移動を検出する対象でないと判定された場合には、当該特定対象物が移動を検出する対象であると判定された場合と比較して、前記移動し得る物体の位置と前記検出領域の位置とがより離れるように前記設定手段による検出領域の設定を制御することを特徴とする請求項15に記載の検出装置。
- 前記制御手段は、前記物体検出手段により前記特定対象物が複数検出された場合には、前記判定手段による各々の特定対象物に対する判定結果に応じて、各々の特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定手段による検出領域の設定を制御することを特徴とする請求項15又は16に記載の検出装置。
- 撮像画像から撮像処理を実行するための物体を検出する検出方法であって、
前記物体とは異なる所定対象物を判別する処理と、
判別された所定対象物が予め登録されている特定対象物であるか否かを判定する処理と、
複数の所定対象物が判別され、判別された前記所定対象物が何れも予め登録されている特定対象物であると判定されなかった場合に、当該所定対象物のうち、撮像画像内の左右両端に存する何れか一方の所定対象物を、撮像画像内における前記物体の検出領域を設定する際の位置の基準として特定する処理と、
前記検出領域を設定する際の位置の基準となる所定対象物として特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する処理と、
を含むことを特徴とする検出方法。 - 撮像画像から撮像処理を実行するための物体を検出する検出装置のコンピュータに、
前記物体とは異なる所定対象物を判別する判別機能、
前記判別機能により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証機能、
前記判別機能により複数の所定対象物が判別され、前記認証機能により、前記判別機能により判別された前記所定対象物が何れも予め登録されている特定対象物であると判定されなかった場合に、当該所定対象物のうち、撮像画像内の左右両端に存する何れか一方の所定対象物を、撮像画像内における前記物体の検出領域を設定する際の位置の基準として特定する特定機能、
前記特定機能により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定機能、
を実現させることを特徴とするプログラム。 - 撮像手段により逐次撮像される画像内から撮像処理を実行するための特定対象物を検出する検出方法であって、
前記特定対象物の位置を検出する処理と、
検出された前記特定対象物の位置に基づいて移動し得る物体の移動を検出する検出領域を設定する処理と、
設定された検出領域内で前記移動し得る物体の移動を検出する処理と、
検出された前記特定対象物が移動を検出する対象であるか否かを判定する処理と、
判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記検出領域の設定を制御する処理と、
を含むことを特徴とする検出方法。 - 撮像手段により逐次撮像される画像内から撮像処理を実行するための特定対象物を検出する検出装置のコンピュータに、
前記特定対象物の位置を検出する物体検出機能、
前記物体検出機能により検出された前記特定対象物の位置に基づいて移動し得る物体の移動を検出する検出領域を設定する設定機能、
前記設定機能により設定された検出領域内で前記移動し得る物体の移動を検出する移動検出機能、
前記物体検出機能により検出された前記特定対象物が移動を検出する対象であるか否かを判定する判定機能、
前記判定機能による判定結果に応じて、前記特定対象物の位置と前記検出領域の位置との関係が変化するように前記設定機能による検出領域の設定を制御する制御機能、
を実現させることを特徴とするプログラム。 - 撮像画像から撮像処理を実行するための物体を検出する検出装置であって、
前記物体とは異なる所定対象物を判別する判別手段と、
前記判別手段により判別された所定対象物が予め登録されている特定対象物であるか否かを判定する認証手段と、
前記認証手段により前記所定対象物が予め登録されている特定対象物であると判定された場合に、当該所定対象物を、前記物体の検出領域を設定する際の位置の基準として特定する特定手段と、
前記特定手段により特定された所定対象物の状態に応じて、所定位置に前記検出領域を設定する設定手段と、
を備え、
前記特定対象物に係る情報には、優先順位に係る情報が対応付けられて登録されているものがあり、
前記特定手段は、前記認証手段により前記特定対象物であると判定された所定対象物が複数ある場合に、当該複数の所定対象物のうち、前記優先順位に応じて特定対象物であると判定された所定対象物を、前記検出領域を設定する際の位置の基準として特定することを特徴とする検出装置。 - 撮像画像から撮像処理を実行するための物体を検出する検出装置であって、
前記物体とは異なる人の顔を判別する判別手段と、
前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定する認証手段と、
前記認証手段により前記人の顔が予め登録されている特定の人の顔であると判定された場合に、当該人の顔を、前記物体の検出領域を設定する際の位置の基準として特定する特定手段と、
前記検出領域が前記認証手段により前記特定の人の顔であると判定された人の顔以外の人の顔と重なる場合に、当該人の顔と重ならない位置に前記検出領域を設定する設定手段と、
を備えることを特徴とする検出装置。 - 撮像画像から撮像処理を実行するための物体を検出する検出装置であって、
前記物体とは異なる人の顔を判別する判別手段と、
前記判別手段により判別された人の顔が予め登録されている特定の人の顔であるか否かを判定する認証手段と、
前記認証手段により前記人の顔が予め登録されている特定の人の顔であると判定された場合に、当該人の顔を、前記物体の検出領域を設定する際の位置の基準として特定する特定手段と、
前記認証手段により前記特定の人の顔であると判定された人の顔の位置に対して、その人が手を動かしやすい位置に前記検出領域を設定する設定手段と、
を備え、
前記特定の人の顔に係る情報には、当該特定の人の利き腕に係る情報が対応付けられて登録されているものがあり、
前記設定手段は、前記特定の人の利き腕側に前記検出領域を設定することを特徴とする検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192130A JP6492483B2 (ja) | 2014-09-22 | 2014-09-22 | 検出装置、検出方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192130A JP6492483B2 (ja) | 2014-09-22 | 2014-09-22 | 検出装置、検出方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016063502A JP2016063502A (ja) | 2016-04-25 |
JP2016063502A5 JP2016063502A5 (ja) | 2017-11-02 |
JP6492483B2 true JP6492483B2 (ja) | 2019-04-03 |
Family
ID=55796247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014192130A Active JP6492483B2 (ja) | 2014-09-22 | 2014-09-22 | 検出装置、検出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6492483B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107707815B (zh) * | 2017-09-26 | 2019-10-15 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009117975A (ja) * | 2007-11-02 | 2009-05-28 | Oki Electric Ind Co Ltd | 撮影装置および撮影方法 |
JP5880135B2 (ja) * | 2012-02-29 | 2016-03-08 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
-
2014
- 2014-09-22 JP JP2014192130A patent/JP6492483B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016063502A (ja) | 2016-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP4264663B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
KR100924685B1 (ko) | 촬상 장치 및 그 제어 방법 | |
JP6024728B2 (ja) | 検出装置、検出方法及びプログラム | |
CN103297670B (zh) | 被摄体判断装置以及被摄体判断方法 | |
US20150172531A1 (en) | Image capturing apparatus, communication apparatus, and control method therefor | |
JP2008197837A (ja) | 画像処理装置 | |
US9628700B2 (en) | Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program | |
US20100026830A1 (en) | Self-timer photographing apparatus and method involving checking the number of persons | |
US20140300688A1 (en) | Imaging apparatus and method of controlling the same | |
US9992405B2 (en) | Image capture control apparatus and control method of the same | |
US11496670B2 (en) | Electronic device with display screen capable of reliable detection of a user selected displayed eye region in a scene to be captured, and region selection method | |
JP2014146989A (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP5880135B2 (ja) | 検出装置、検出方法及びプログラム | |
JP6270578B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2014067315A (ja) | 認証装置、認証方法、および、そのプログラム | |
US8866934B2 (en) | Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium | |
JP6492483B2 (ja) | 検出装置、検出方法及びプログラム | |
JP6693071B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5228927B2 (ja) | 電子機器、動作制御方法及びプログラム | |
JP6128929B2 (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP6432290B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP6443156B2 (ja) | 検出装置、検出制御方法、及びプログラム | |
JP2010171841A (ja) | 撮像装置 | |
JP2020115679A (ja) | 物体検出装置、検出制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6492483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |