[go: up one dir, main page]

JP2010200195A - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP2010200195A
JP2010200195A JP2009045084A JP2009045084A JP2010200195A JP 2010200195 A JP2010200195 A JP 2010200195A JP 2009045084 A JP2009045084 A JP 2009045084A JP 2009045084 A JP2009045084 A JP 2009045084A JP 2010200195 A JP2010200195 A JP 2010200195A
Authority
JP
Japan
Prior art keywords
moving image
condition
recording
electronic camera
object scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2009045084A
Other languages
English (en)
Inventor
Yoshinori Hama
芳典 浜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2009045084A priority Critical patent/JP2010200195A/ja
Publication of JP2010200195A publication Critical patent/JP2010200195A/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【構成】イメージセンサ16は、被写界を捉える撮像面を有し、被写界像を繰り返し出力する。I/F38は、イメージセンサ16から繰り返し出力された被写界像を動画像として記録する動画記録処理を実行する。CPU26は、被写界に属する人物が顔の周りに腕で丸を描く動作を示したときI/F38を起動し、同じ人物が顔の前で腕を交差させる動作を示したときI/F38を停止する。
【効果】動画記録処理は、被写界に出現する人物の動きに応じて起動/停止される。したがって、動画記録処理の起動/停止のためのボタン操作が不要となり、操作性が向上する。
【選択図】図2

Description

この発明は、電子カメラに関し、特に、撮像面によって捉えられた被写界を表す画像データを被写界に現れた特定パターンの検出に応答して記録する、電子カメラに関する。
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、被写体となる撮影者が手のひらを電子カメラに向けると、手のひらの形と色が電子カメラによって認識され、シャッタレリーズ動作が実行される。
特開2002−252806号公報
しかし、背景技術は、動画像の記録処理を想定しておらず、動画記録時の操作性の向上に限界がある。
それゆえに、この発明の主たる目的は、動画記録時の操作性を向上させることができる、電子カメラを提供することである。
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、被写界像を繰り返し出力する撮像手段(16)、撮像手段から繰り返し出力された被写界像を動画像として記録する記録手段(38)、第1条件を満足する物体が被写界に出現したとき記録手段を起動する起動手段(S57)、および第2条件を満足する物体が被写界に出現したとき記録手段を停止する停止手段(S67)を備える。
好ましくは、第1条件は被写界において注目する物体が第1の動きを示すという第1動き条件を含み、第2条件は被写界において注目する物体が第2の動きを示すという第2動き条件を含む。
好ましくは、第1条件を満足する物体の属性を登録する登録手段(S53)をさらに備え、第2条件は被写界において注目する物体の属性が登録手段によって登録された属性に沿うという属性条件を含む。
好ましくは、起動手段は第1条件を満足する物体の出現から第1時間が経過した時点で記録手段を起動する。
好ましくは、記録手段によって記録された動画像のうち第2条件を満足する物体の出現までの第2時間に相当する一部の動画像を削除する削除手段(S11)がさらに備えられる。
この発明に従う撮像制御方法は、被写界像を繰り返し出力する撮像手段(16)、および撮像手段から繰り返し出力された被写界像を動画像として記録する記録手段(38)を備える電子カメラ(10)によって実行される撮像制御方法であって、第1条件を満足する物体が被写界に出現したとき記録手段を起動する起動ステップ(S57)、および第2条件を満足する物体が被写界に出現したとき記録手段を停止する停止ステップ(S67)を備える。
この発明によれば、動画像の記録処理は、被写界に出現する物体の条件に応じて起動/停止される。したがって、動画記録の起動/停止のためにカメラ上のボタンを操作する必要がなくなり、操作性が向上する。
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 撮像面における評価エリアおよび物体検出エリアの割り当て状態の一例を示す図解図である。 図2実施例によって参照される辞書の一例を示す図解図である。 (A)は図2実施例によって捉えられる被写界の一例を示す図解図であり、(B)は図2実施例によって捉えられる被写界の他の一例を示す図解図であり、(C)は図2実施例によって捉えられる被写界のその他の一例を示す図解図である。 図2実施例の動作の一部を示すタイミング図である。 図2実施例に適用されるCPUの動作の一部を示すフロー図である。 図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。 図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
[基本的構成]
図1を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段1は、被写界像を繰り返し出力する。記録手段2は、撮像手段1から繰り返し出力された被写界像を動画像として記録する。記録手段2は、第1条件を満足する物体が被写界に出現したとき起動手段3によって起動され、第2条件を満足する物体が被写界に出現したとき停止手段4によって停止される。
このように、動画像の記録処理は、被写界に出現する物体の条件に応じて起動/停止される。したがって、動画記録の起動/停止のためにカメラ上のボタンを操作する必要がなくなり、操作性が向上する。
[実施例]
図2を参照して、この実施例のディジタルビデオカメラ10は、光学レンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。撮像面は、原色ベイヤ配列の色フィルタ(図示せず)によって覆われる。したがって、各画素では、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報を有する電荷が光電変換によって生成される。
電源が投入されると、CPU26は、動画撮像タスクの下で、動画取り込み処理のためにドライバ18を起動する。ドライバ18は、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。
カメラ処理回路20は、イメージセンサ16から出力された各フレームの生画像データに色分離,白バランス調整,YUV変換などの処理を施し、YUV形式の画像データを出力する。カメラ処理回路20から出力された生画像データは、メモリ制御回路30を通してSDRAM32に書き込まれる。
LCDドライバ34は、こうしてSDRAM32に格納された画像データをメモリ制御回路30を通して1/60秒毎に読み出し、読み出された画像データに基づいてLCDモニタ36を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
カメラ処理回路20は、上述の処理に加えて、YUV変換によって得られた画像データのY成分つまりYデータをAE評価回路22およびAF評価回路24に与える。
AE評価回路22は、カメラ処理回路20から与えられたYデータのうち図3に示す評価エリアEVAに属する一部のYデータを1/60秒毎に積分し、積分値つまり輝度評価値を出力する。一方、AF評価回路24は、カメラ処理回路20から与えられたYデータのうち同じ評価エリアEVAに属する一部のYデータの高周波成分を1/60秒毎に積分し、積分値つまりフォーカス評価値をCPU26に与える。
CPU26は、輝度評価値を参照したAE処理を撮像パラメータ調整タスクの下で実行し、適正露光量が得られる絞り量および露光時間を絞りユニット14およびドライバ18に設定する。この結果、LCDモニタ36から出力される動画像の明るさが適度に調整される。CPU26はまた、フォーカス評価値を参照したコンティニュアスAF処理を撮像パラメータ調整タスクの下で実行し、光学レンズ12を合焦点に配置する。この結果、LCDモニタ36から出力される動画像の鮮鋭度が継続的に高い値を保つ。
CPU26は、SDRAM32に格納された最新1フレームの画像データに注目したパターン認識処理を、記録制御タスクの下で実行する。パターン認識処理では、図3に示す物体検出エリアDETに属する人物像が、図4に示す辞書DICに収められたパターンPT1およびPT2の各々と照合される。
パターンPT1は、顔の周りに腕で丸を描く動作を完了した時点の人物の姿勢を表す。また、パターンPT2は、顔の前で腕を交差させる動作を完了した時点の人物の姿勢を表す。したがって、パターン認識処理は、動的である人物の動作のうち、1/60秒毎の静的な人物の姿勢をパターンPT1およびPT2の各々と比較する処理に相当する。
なお、この実施例では、“人物の動作”は、“人物の動き”,“人物の振る舞い”,“人物の行動”などと同義である。
動画記録処理が停止している状態でパターンPT1にマッチする人物が物体検出エリアDETに出現すると、記録制御タスクは、3秒を測定するタイマTM1のリセット&スタートを実行し、さらにパターンPT1に相当する姿勢を示した人物の色(人物の色:具体的には人物が着用している服の色)を属性情報としてレジスタRGST1に登録する。タイマTM1にタイムアウトが発生すると、記録制御タスクから動画撮像タスクに向けて記録開始命令が発行される。
動画撮像タスクは、こうして発行された記録開始命令に応答して、動画記録処理の開始をI/F38に要求する。I/F38は、記録媒体40に動画ファイルを作成し、SDRAM32に格納された画像データをメモリ制御回路30を通して読み出し、そして読み出された画像データを作成された動画ファイルに書き込む。
動画記録処理が起動している状態でパターンPT2にマッチする人物像が物体検出エリアDETに出現すると、記録制御タスクは、パターンPT2を示した人物の色を検出し、検出された色がレジスタRGST1に登録された色と一致するか否かを判別する。注目する2つの色が一致すれば、記録制御タスクは動画撮像タスクに向けて記録終了命令を発行する。
動画撮像タスクは、こうして発行された記録終了命令に応答して、動画記録処理の終了をI/F38に要求する。I/F38は、動画ファイルへの画像データの書き込みを停止し、動画ファイルをクローズする。動画撮像タスクはその後、動画ファイルに蓄積された画像データのうち終端の3秒に相当する画像データの削除をI/F38に要求する。要求された画像データは、I/F38によって動画ファイルから削除される。
物体検出エリアDETに属する被写界が図5(A)→図5(B)→図5(C)の順に変化した場合は、以下の要領で処理動作が実行される。なお、図5(A)〜図5(C)によれば、人物HM1は、顔の周りに腕で丸を描く動作を示した後に、物体検出エリアDETから姿を消す。人物HM1は、数十秒後に再び物体検出エリアDETに現れ、顔の前で腕を交差させる動作を示す。
パターンPT1は、人物HM1が顔の周りに腕で丸を描く動作を完了した時点で認識される。人物HM1の服の色はレジスタRGST1に登録され、動画記録処理は3秒後に起動される(図6参照)。人物HM1が再び物体検出エリアDETに現れ、顔の前で腕を交差させる動作を示すと、パターンPT2が認識される。人物HM1の服の色はレジスタRGST1に登録された色と一致するため、動画記録処理は速やかに停止される(図6参照)。記録された動画像のうち終端の3秒に相当する動画像は、その後、記録媒体40から削除される(図6参照)。
CPU26は、図7に示す動画撮像タスク,図8に示す撮像パラメータ調整タスク,および図9〜図10に示す記録制御タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ42に記憶される。
図7を参照して、ステップS1では動画取り込み処理を実行する。この結果、スルー画像がLCDモニタ36から出力される。ステップS3では、記録開始命令が発行されたか否かを判別する。判別結果がNOからYESに更新されるとステップS5に進み、動画記録処理の開始をI/F38に要求する。I/F38は、記録媒体40に動画ファイルを作成し、SDRAM32に格納された画像データをメモリ制御回路30を通して読み出し、そして読み出された画像データを作成された動画ファイルに書き込む。
ステップS7では記録終了命令が発行されたか否かを判別する。判別結果がNOからYESに更新されるとステップS9に進み、動画記録処理の終了をI/F38に要求する。I/F38は、動画ファイルへの画像データの書き込みを停止し、動画ファイルをクローズする。ステップS11では、動画ファイルに蓄積された画像データのうち終端の3秒に相当する画像データの削除をI/F38に要求する。この結果、要求された画像データがI/F38によって削除される。ステップS11の処理が完了すると、ステップS3に戻る。
図8を参照して、ステップS21では露光量およびフォーカスを初期化し、ステップS23では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、ステップS25でAE評価回路22から輝度評価値を取り込み、ステップS27でAE処理を実行する。これによってLCDモニタ36に表示される動画像の明るさが適度に調整される。ステップS29ではAF評価回路24からフォーカス評価値を取り込み、続くステップS31でコンティニュアスAF処理を実行する。これによって、LCDモニタ40に表示される動画像の鮮鋭度が継続的に高い値を保つ。ステップS31の処理が完了すると、ステップS23に戻る。
図9を参照して、ステップS41ではフラグFLGを“0”に設定する。フラグFLGは動画記録処理が起動状態および停止状態のいずれにあるかを識別するためのフラグであり、FLG=0が停止状態を示す一方、FLG=1が起動状態を示す。
ステップS43では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されるとステップS45に進み、SDRAM32に格納された最新1フレームの被写界像からパターンPT1および/またはPT2を探索するパターン認識処理を実行する。
ステップS47ではパターンPT1の認識に成功したか否かを判別し、ステップS49ではフラグFLGの状態を判別する。フラグFLGが“0”を示す状態(=動画記録処理が停止されている状態)でパターンPT1の認識に成功すると、ステップS47およびS49でYESと判別し、タイマTM1のリセット&スタートをステップS51で実行する。続くステップS53では、パターンPT1に相当する姿勢を示した人物の色をレジスタRGST1に登録する。登録処理が完了すると、ステップS43に戻る。
なお、フラグFLGが“1”を示す状態(=動画記録処理が起動している状態)でパターンPT1の認識に成功したときは、ステップS49でNOと判別し、ステップS51〜S53の処理を実行することなくステップS43に戻る。
ステップS47でNOであれば、タイマTM1にタイムアウトが発生したか否かをステップS55で判別する。判別結果がNOからYESに更新されると、ステップS57で記録開始命令を発行し、ステップS59でフラグFLGを“1”に更新する。更新処理が完了すると、ステップS43に戻る。
ステップS55でNOであれば、パターンPT2の認識に成功したか否かをステップS61で判別する。判別結果がYESであれば、パターンPT2に相当する姿勢を示した人物の色をステップS63で検出し、検出した色がレジスタRGST1に登録された色と一致するか否かをステップS65で判別する。注目する2つの色が一致すれば、ステップS67で記録終了命令を発行し、ステップS69でタイマTM1をストップする。ステップS71ではフラグFLGを“0”に更新し、更新処理が完了するとステップS43に戻る。
なお、ステップS61でNOであれば、ステップS63以降の処理を実行することなくステップS43に戻る。また、ステップS65でNOであれば、ステップS67以降の処理を実行することなくステップS43に戻る。
以上の説明から分かるように、イメージセンサ16は、被写界を捉える撮像面を有し、被写界像を繰り返し出力する。I/F38は、イメージセンサ16から繰り返し出力された被写界像を動画像として記録する動画記録処理を実行する。CPU26は、被写界に属する人物が顔の周りに腕で丸を描く動作を示したとき動画記録処理を起動し(S57)、同じ人物が顔の前で腕を交差させる動作を示したとき動画記録処理を停止する(S67)。
このように、動画記録処理は、被写界に出現する人物の動きに応じて起動/停止される。したがって、動画記録処理の起動/停止のためのボタン操作が不要となり、操作性が向上する。
また、この実施例では、取り込まれた画像データに対してパターン認識処理を施すことによって動画撮像タスクを起動させるため、リモコン受光部などの部品が不要となり、小型化およびコストダウンを実現することができる。
なお、この実施例では、パターンPT1に相当する姿勢を示した人物の服の色をレジスタRGST1に登録するようにしているが、これに代えてパターンPT1に相当する姿勢を示した人物の顔をレジスタRGST1に登録するようにしてもよい。
また、この実施例では、一人の人物を物体検出エリアDETで捉えることを想定しているが(図5(A)〜図5(C)参照)、たとえば野球チームのユニフォームのような同じ服を着用した複数の人物を物体検出エリアDETで捉えることも考えられる。すると、服の色をレジスタRGST1に登録する上述の実施例は、同じ服を着用した複数の人物の集合を撮影する場合に好適である可能性がある。
さらに、この実施例では民生用のディジタルビデオカメラを想定しているが、この発明は監視カメラにも適用できる。ここで、被写界に現れるライトの点灯を動画記録処理の起動条件とし、同じライトの消灯を動画記録処理の停止条件とするようにすれば、ライトが点灯している時間帯の監視映像のみを記録するような監視制御が可能となる。
また、この実施例では外付けの記録媒体に動画ファイルを作成するようにしているが、動画ファイルは電子カメラ本体に内蔵されたメモリに作成するようにしてもよい。
10 …ディジタルビデオカメラ
16 …イメージセンサ
20 …カメラ処理回路
26 …CPU
32 …SDRAM
42 …フラッシュメモリ

Claims (6)

  1. 被写界像を繰り返し出力する撮像手段、
    前記撮像手段から繰り返し出力された被写界像を動画像として記録する記録手段、
    第1条件を満足する物体が被写界に出現したとき前記記録手段を起動する起動手段、および
    第2条件を満足する物体が前記被写界に出現したとき前記記録手段を停止する停止手段を備える、電子カメラ。
  2. 前記第1条件は前記被写界において注目する物体が第1の動きを示すという第1動き条件を含み、
    前記第2条件は前記被写界において注目する物体が第2の動きを示すという第2動き条件を含む、請求項1記載の電子カメラ。
  3. 前記第1条件を満足する物体の属性を登録する登録手段をさらに備え、
    前記第2条件は前記被写界において注目する物体の属性が前記登録手段によって登録された属性に沿うという属性条件を含む、請求項1または2記載の電子カメラ。
  4. 前記起動手段は前記第1条件を満足する物体の出現から第1時間が経過した時点で前記記録手段を起動する、請求項1ないし3のいずれかに記載の電子カメラ。
  5. 前記記録手段によって記録された動画像のうち前記第2条件を満足する物体の出現までの第2時間に相当する一部の動画像を削除する削除手段をさらに備える、請求項1ないし4のいずれかに記載の電子カメラ。
  6. 被写界像を繰り返し出力する撮像手段、および前記撮像手段から繰り返し出力された被写界像を動画像として記録する記録手段を備える電子カメラによって実行される撮像制御方法であって、
    第1条件を満足する物体が被写界に出現したとき前記記録手段を起動する起動ステップ、および
    第2条件を満足する物体が前記被写界に出現したとき前記記録手段を停止する停止ステップを備える、撮像制御方法。
JP2009045084A 2009-02-27 2009-02-27 電子カメラ Ceased JP2010200195A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009045084A JP2010200195A (ja) 2009-02-27 2009-02-27 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009045084A JP2010200195A (ja) 2009-02-27 2009-02-27 電子カメラ

Publications (1)

Publication Number Publication Date
JP2010200195A true JP2010200195A (ja) 2010-09-09

Family

ID=42824412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009045084A Ceased JP2010200195A (ja) 2009-02-27 2009-02-27 電子カメラ

Country Status (1)

Country Link
JP (1) JP2010200195A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015573A (ja) * 2013-07-04 2015-01-22 カシオ計算機株式会社 撮像装置、及び動画撮影方法、プログラム
KR20180015241A (ko) * 2015-08-26 2018-02-12 시아오미 아이엔씨. 무인기의 촬영 제어 방법 및 장치, 전자 기기

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050149A (ja) * 1998-07-27 2000-02-18 Sony Corp ビデオカメラ
JP2006033567A (ja) * 2004-07-20 2006-02-02 Hitachi Ltd 撮影装置および撮影方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050149A (ja) * 1998-07-27 2000-02-18 Sony Corp ビデオカメラ
JP2006033567A (ja) * 2004-07-20 2006-02-02 Hitachi Ltd 撮影装置および撮影方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015573A (ja) * 2013-07-04 2015-01-22 カシオ計算機株式会社 撮像装置、及び動画撮影方法、プログラム
KR20180015241A (ko) * 2015-08-26 2018-02-12 시아오미 아이엔씨. 무인기의 촬영 제어 방법 및 장치, 전자 기기
KR101982743B1 (ko) * 2015-08-26 2019-05-27 시아오미 아이엔씨. 무인기의 촬영 제어 방법 및 장치, 전자 기기

Similar Documents

Publication Publication Date Title
US7430369B2 (en) Image capture apparatus and control method therefor
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
JP5409189B2 (ja) 撮像装置及びその制御方法
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
CN106575027B (zh) 摄像装置及其被摄体跟踪方法
CN100591099C (zh) 摄像装置
CN101547311B (zh) 摄像装置
US8350918B2 (en) Image capturing apparatus and control method therefor
JP4974812B2 (ja) 電子カメラ
JP5228354B2 (ja) ディジタルカメラ
WO2015107927A1 (ja) 画像処理装置および方法、並びにプログラム
JP5137622B2 (ja) 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法
JP2004349750A (ja) ディジタル・カメラおよびその制御方法
JP2008288797A (ja) 撮像装置
JP2006087083A (ja) 撮像装置及び撮像装置の制御方法
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
JP5298887B2 (ja) デジタルカメラ
JP4891674B2 (ja) カメラ
KR101605129B1 (ko) 디지털 촬영 장치, 그 제어 방법 및 이를 기록한 기록 매체
JP2010200195A (ja) 電子カメラ
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP2014053706A (ja) 電子カメラ
JP2007208355A (ja) 撮影装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130206

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130404

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20140226