[go: up one dir, main page]

JP4556995B2 - 撮像装置及びその露出制御方法、露出制御プログラム - Google Patents

撮像装置及びその露出制御方法、露出制御プログラム Download PDF

Info

Publication number
JP4556995B2
JP4556995B2 JP2007318028A JP2007318028A JP4556995B2 JP 4556995 B2 JP4556995 B2 JP 4556995B2 JP 2007318028 A JP2007318028 A JP 2007318028A JP 2007318028 A JP2007318028 A JP 2007318028A JP 4556995 B2 JP4556995 B2 JP 4556995B2
Authority
JP
Japan
Prior art keywords
exposure
frame rate
exposure control
control condition
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007318028A
Other languages
English (en)
Other versions
JP2009141834A5 (ja
JP2009141834A (ja
Inventor
芳幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007318028A priority Critical patent/JP4556995B2/ja
Priority to US12/329,956 priority patent/US8107002B2/en
Publication of JP2009141834A publication Critical patent/JP2009141834A/ja
Publication of JP2009141834A5 publication Critical patent/JP2009141834A5/ja
Application granted granted Critical
Publication of JP4556995B2 publication Critical patent/JP4556995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像時におけるフレームレートの変更が可能な撮像装置、及びその露出制御方法と、露出制御プログラムに関するものである。
従来、撮像装置には撮像時のフレームレートを変更可能なものがあるが、自動露出(AE)制御を行っている状態で撮像中にフレームレートを上げると、その後におけるフレーム毎の露光時間が短くなる場合がある。一方、一般的な自動露出制御では、前のフレームで撮像した画像の明るさに応じて次のフレームの撮像の絞り値やシャッタ速度、出力信号の増幅率等の露出制御値を決定している。そのため、上記のようにフレームレートの変更に伴い露光時間が変化したとしても、それに露出制御が追従できず、フレームレートの変更直後の画像が著しく暗くなってしまうことがある。
これを解決可能とする技術として、例えば下記特許文献1には、次のフレームでフレームレートが高くなり、かつそれに伴い露光時間が短くなる場合には、露光時間の変化分(減少分)を打ち消すための補正量を算出するととともに、撮像素子の出力信号のレベルに応じていったん決定した絞り値や出力信号の増幅率等の露出制御値(直接的には制御量)を上記補正量を付加することにより予め補正し、補正後の絞り値や出力信号の増幅率を用いて次のフレームの撮像時における露出を制御する技術が記載されている。係る技術によれば、撮像中にフレームレートが高いレートに変更された場合における撮像画像の明るさの変化を未然に防止することができる。
特開2007−195038号公報
しかしながら、上記技術においてはフレームレートの変更直後に設定する絞り値やシャッタ速度、出力信号の増幅率等の露出制御値を、フレームレートの変更に伴う露光時間の変化分を打ち消すための補正量によって一律に補正するため、補正後の露出制御値やそれらの組合せが、必ずしもその後の撮像に適したものになるとは限らない。
すなわち露出制御に際して、例えば画質の低下を防止する目的で出力信号の増幅率を低く抑えたり、絞り動作に伴う駆動音等のノイズの発生を抑制することを目的として、絞り値の変化の頻度を少なくしたりするといった制御条件がある場合には、係る制御条件に従って各々の露出制御値やその組合せを制御する必要があるが、前述した技術では補正後の露出制御値が前記制御条件を満足するものになるとは限らないという問題があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、所定の制御条件に従った最適な露出制御を行いながら、フレームレートの変更に伴う撮像画像の明るさの変化を防止することが可能な撮像装置及びその露出制御方法、露出制御プログラムを提供することを目的とする。
請求項1記載の発明は、フレームレートが変更可能な撮像手段と、この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段と、前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用し、前記撮像手段の出力フレームレートが前記第1のフレームレートよりも高速の第2のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された第2の露出制御条件を定常的に適用するように、フレームレートに応じて露出制御条件を選択する選択手段と、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を前記第2の露出制御条件として設定する切換制御手段とを備えたことを特徴とする。
請求項2記載の発明は、前記第2の露出制御条件は、前記第1の露出制御条件と比べて調整可能な露光時間の上限を下げた制御条件であることを特徴とする。
請求項3記載の発明は、前記第2の露出制御条件は、前記第2のフレームレートで制限される最長の露光時間に対応して決められた第2の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする。
請求項4記載の発明は、前記切換制御手段は、前記撮像手段のフレームレートが前記第2のフレームレートに切り換える際に、露光時間を前記第2の露光時間に設定した状態において適正露出が確保できるレンズの絞り値を特定し、調整可能なレンズの絞り値を前記特定されたレンズの絞り値に固定された制御条件を前記第2の露出制御条件として設定することを特徴とする。
請求項5記載の発明は、前記第2の露出制御条件は、調整可能なレンズの絞り値を前記特定されたレンズの絞り値に固定するとともに、調整可能な露光時間を前記第2の露光時間に固定する制御条件であることを特徴とする。
請求項6記載の発明は、前記第2の露出制御条件は、増幅率を含む全ての撮影パラメータを固定する制御条件であることを特徴とする。
請求項7記載の発明は、前記第2の露出制御条件は、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が明るく変化した場合は、露光時間が短くなるように変化させ、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が暗く変化した場合は、増幅率が高くなるように変化させる制御条件であることを特徴とする。
請求項8記載の発明は、前記制御手段は、前記第2の露出制御条件は、前記適正露出を確保した際の被写体の明るさに対して、被写体の明るさが変化していない場合は、露光時間を前記第2の露光時間に設定するとともにレンズの絞り値を前記特定されたレンズの絞り値に設定した状態を基準状態とし、被写体の明るさ変化に応じて基準状態を変化させる制御条件であることを特徴とする。
請求項9記載の発明は、露出制御モードとして複数のモードが設けられ、前記切換制御手段は、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、前記露出制御モードとして露出固定モードが設定されていない場合は、被写体の明るさ変化に応じて基準状態を変化させる制御条件を前記第2の露出制御条件として設定し、前記露出制御モードとして露出固定モードが設定されている場合は、全ての撮影パラメータを固定する制御条件を前記第2の露出制御条件として設定することを特徴とする。
請求項10記載の発明は、前記第1の露出制御条件は、前記第1のフレームレートで制限される最長の露光時間に対応して決められた第1の露光時間であり、前記第2の露光時間よりも長い第1の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする。
請求項11記載の発明は、前記第1の露出制御条件は、前記第1のフレームレートで制限される最長の露光時間および電源周波数に対応する所定の露光時間に対応して決められた第1の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする。
請求項12記載の発明は、前記切換制御手段は、使用地域による電源周波数の違いに応じて前記調整可能な露光時間の上限の異なる制御条件を前記第2の露出制御条件として設定することを特徴とする。
請求項13記載の発明は、前記第1の露出制御条件は、前記露光時間を前記第1の露光時間よりも長くする必要があるほど被写体が暗くなった場合に、レンズの絞り値を変化させる制御条件であることを特徴とする。
請求項14記載の発明は、前記撮像手段により撮像された被写体画像を撮影待機状態で表示する表示手段を備え、前記第1のフレームレートは、前記撮影待機状態で使用されるフレームレートであるとともに、前記第2のフレームレートは、撮影モードとして設けられている高速撮影モードで使用されるフレームレートであることを特徴とする。
請求項15記載の発明は、前記第1の露出制御条件および前記第2の露出制御条件は、前記露光時間、レンズの絞り値、および増幅率を含む複数種の撮影パラメータの組み合わせを規定する所定のプログラム線図で示される制御条件であり、前記露出制御手段は、このプログラム線図上の位置を被写体の明るさの変化に従って移動させることで、被写体の明るさに応じた適正露出を確保する露出制御を実行することを特徴とする。
請求項16記載の発明は、前記露出制御手段により設定される絞り値に応じて開閉度合を複数段階に制御される絞りを備え、前記第2のフレームレートは、前記露出制御手段による絞り値の変更に伴う前記絞りの開閉動作時間内に複数回の撮像を行うフレームレートであることを特徴とする。
請求項17記載の発明は、前記フレームレートの変更に伴い前記露出制御手段により絞り値が変更された場合における前記撮像手段の撮像動作の開始タイミングを前記絞りの開閉動作の完了後に制御する撮像開始タイミング制御手段を備えたことを特徴とする。
請求項18記載の発明は、前記切換制御手段は、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに変更する際の一時的な露出制御による適正露出の確保に際し、前記露出制御手段に、前記レンズの絞り値以外の他の撮影パラメータを所定の基準状態に固定した状態で、被写体の明るさに応じた適正露出が得られるような前記レンズの絞り値を特定させ、前記第2のフレームレートに変更された後の定常的な露出制御による適正露出の確保においては、レンズの絞り値が前記特定されたレンズの絞り値に固定された制御条件を前記第2の露出制御条件として設定することを特徴とする。
請求項19記載の発明は、前記所定の基準状態は、露光時間を前記第2のフレームレートで制限される最長の露光時間に対応して決められた第2の露光時間に設定するとともに、増幅率を設定可能な最低値に設定した状態であることを特徴とする。
請求項20記載の発明は、前記第2の露出制御条件は、レンズの絞り値を前記特定されたレンズの絞り値に固定するとともに、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が明るく変化した場合は、増幅率を設定可能な最低値に設定した状態で前記露光時間が短くなるように変化させ、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が暗く変化した場合は、前記露光時間を前記第2の露光時間に設定した状態で増幅率が高くなるように変化させる制御条件であることを特徴とする。
請求項21記載の発明は、フレームレートが変更可能な撮像手段と、この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段とを備えた撮像装置における露出制御方法において、前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用する工程と、前記撮像手段のフレームレートを前記第1のフレームレートから該第1のフレームレートよりも高速の第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を第2の露出制御条件として設定する工程と、前記撮像手段の出力フレームレートが前記第2のフレームレートに設定された後は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された前記第2の露出制御条件を定常的に適用する工程と、を含むことを特徴とする。
請求項22記載の発明は、フレームレートが変更可能な撮像手段と、この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段とを備えた撮像装置が有するコンピュータを、前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用し、前記撮像手段の出力フレームレートが前記第1のフレームレートよりも高速の第2のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された第2の露出制御条件を定常的に適用するように、フレームレートに応じて露出制御条件を選択する選択手段と、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を前記第2の露出制御条件として設定する切換制御手段として機能させることを特徴とする。
本発明によれば、所定の制御条件に従った最適な露出制御を行いながら、フレームレートの変更に伴う撮像画像の明るさの変化を防止することが可能となる。
以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明に係るデジタルカメラ1の概略構成を示す図である。このデジタルカメラ1は、撮影モードして静止画撮影モード及び動画撮影モードを有するものである。
デジタルカメラ1は、ズームレンズ及びフォーカスレンズを含む光学系と、光学系を駆動するレンズモータと、絞りと、絞りを開閉駆動するアクチュエータとから構成されたレンズ・アイリスブロック2を備えている。上記レンズモータやアクチュエータはCPU8の指令に基づき動作する一方、上記光学系及び絞りを介して被写体の光学像が撮像素子3に結像される。
本実施形態において撮像素子3はCMOSセンサであるとともに、出力フレームレートが異なる複数の駆動モードを有しており、駆動回路4により必要に応じて異なる所定の出力フレームレートで駆動され、被写体の光学像を光電変換し画像信号としてAGC5へ出力する。なお、本実施形態において撮像素子3の駆動モードは、静止画撮影モード及び動画撮影モードにおける撮影待機状態で使用される30fpsのモニタースルー・モードと、動画撮影モードにおける撮影時において、その下位モードとして通常ムービーモードが設定されているとき使用される60fpsの通常動画記録モードと、高速ムービーモードが設定されているとき使用される300fpsの高速動画記録モードの3種類である。
AGC5はアナログゲインコントローラであり、入力した画像信号のゲインをCPU8の指令に基づき調整し、ADC6へ出力する。ADC6はアナログデジタルコンバータであり、入力した画像信号をディジタルの画像データへ変換して画像処理部7へ出力する。
画像処理部7は、入力したゲイン調整後の画像データに対するガンマ補正や、撮影光原の種類に応じたホワイトバランス調整、画素毎のR,G,Bの色成分データの生成、生成したRGBデータからYUVデータを生成するYUV変換等の種々の画像処理を行い、生成したYUVデータをCPU8、及びCODEC(符号化、復号化器)9へ出力する。CPU8へ出力されたYUVデータは、液晶モニタ及びその駆動回路から構成される表示部10(表示手段)においてビデオ信号の変換された後、上記液晶モニタにスルー画像として表示される。
CODEC9へ出力されたYUVデータは、静止画モードでの撮影時にはJPEG方式等により圧縮符号化された後、静止画ファイルとしてメモリ11に記録され、動画モードでの撮影時にはMPEG方式等によりフレーム毎に圧縮符号化された後、順次メモリ11に送られ最終的には動画ファイルとして記録される。また、CODEC9は、再生モードにおいてCPU8によりメモリ11から読み出された静止画または動画データ(符号化データ)を復号しCPU8へ出力する。復号されたデータは表示部10において静止画、又は動画像として再生される。なお、前記メモリ11は、例えばカメラ本体に内蔵されたフラッシュメモリや、カメラ本体に着脱自在な各種のメモリカードである。
CPU8には操作部12、プログラムメモリ13、RAM14が接続されている。操作部12は、ユーザーによるデジタルカメラ1の操作を受け付けるための、シャッターキーやズームキー等の各種の操作ボタン等により構成される。
CPU8は、RAM14を作業メモリとして、プログラムメモリ13に記憶されている種々のプログラムを実行することにより上述した各部を制御する。特にプログラムメモリ13には、本発明に係る露出制御プログラムが格納されており、動画撮影モードでは後述する自動露出(AE)制御等を行うことにより、本発明の露出制御手段、制御手段、撮像開始タイミング制御手段、設定手段として機能する。
また、プログラムメモリ13は記憶データが書き換え可能な不揮発性メモリであって、前述したプログラム以外にも、CPU8によるAE制御で使用される複数種のプログラム線図を構成する制御データが記憶されている。さらに、プログラムメモリ13には、使用地域や使用言語等の初期設定情報や、必要に応じて変更可能なデジタルカメラ1の各種の機能設定に関する機能設定情報等も記憶されている。
次に、以上の構成からなるデジタルカメラ1において、ユーザーが高速ムービーモードを用いて動画撮影を行う場合の本発明に係る動作について説明する。なお。ここでは、便宜上、前述した初期設定情報にカメラの使用地域として関東が設定されているとともに、撮影時の光源として蛍光灯が自動又は手動により設定されている場合を前提とする。
図2は、動画撮影モードにおいて高速ムービーモードが選択されているときCPU8が実行する、主としてAE制御に関する処理手順を示したフローチャートである。
すなわちCPU8は動画撮影モードの設定とともに動作を開始し、直ちにモニタースルー・モード(出力フレームレートが30fps)で撮像素子3の駆動を開始するとともに、プログラムメモリ13に用意されている複数種のプログラム線図のうち、初期設定情報に含まれるカメラの使用地域情報に基づき選択した図3に示したモニタースルー用線図(第3のプログラム線図)を使用し、以下に説明する露出制御を開始する(ステップS1)。
このモニタースルー用線図は、後述する他のプログラム線図と同様、被写体の明るさが任意の明るさ(LV値)にあるときの適正露出を得るために必要な、シャッタースピード(露光時間)と、絞り値(絞りの開度)と、AGC5のゲイン(撮像信号の増幅率)の設定値の組み合わせ、つまり露出制御値の組み合わせ情報であり、斜めの軸が明るさ(LV値)、縦軸は絞り値(Fナンバー)、横軸は中心の破線を境に、右がシャッタースピード(sec)、左がゲイン(dB)である。
係る線図においては、例えば被写体の明るさが「9LV」のときには、露出制御値の組み合わせとして、「F4」、「1/50」、「+6dB」の組み合わせと、「F5.6」、「1/50」、「+12dB」の組み合わせとの異なる組み合わせが許容されており、明るさの変化に対する絞り値の変化にヒステリシスを持たせ、しかも絞り値を「F2.8」、「F4.0」、「F5.6」に限定されている。これにより、絞りの動作回数を極力減らすことによって撮影待機状態での消費電力を削減することができる。
また、横軸には、破線で示す中心付近にシャッタースピード「1/50」、ゲイン「0dB」が設定されており、破線よりも被写体が明るくなる場合にはシャッタースピードの変更により適正露出を確保し、破線よりも被写体が暗くなる場合にはゲインの変更により適正露出を確保するようになっており、シャッタースピードの下限が使用地域の電源周波数に応じたシャッタースピードに制限されている。これにより、スルー画像に蛍光灯のフリッカが生ずることが未然に防止できる。
なお、ここではカメラの使用地域として関東が設定されており、モニタースルー用線図として、シャッタースピードの調整可能な範囲が「1/50〜1/4000」で、ゲインの調整可能な範囲が「0dB〜+30dB」であるものを使用する場合を説明したが、カメラの使用地域の電源周波数が関西やアメリカ合衆国等のように60Hzの場合には、シャッタースピードの下限が「1/60」に設定された他のモニタースルー用線図を用いることとなる。
また、実際に使用するモニタースルー用線図を選択する方法については任意であり、動画撮影モードの設定直後に撮像した数フレーム分の画像における明るさ情報等の他の情報に基づき撮影場所の地域の電源周波数を判断し、その判断結果に基づき使用すべきモニタースルー用線図を選択するようにしてもよい。さらに、任意の時点でユーザーに電源周波数を選択させるものとし、最後に選択された電源周波数をプログラムメモリ13等に記憶しておくとともに、記憶している電源周波数に基づき選択するようにしてもよい。
引き続き、CPU8は、上記の露出制御を繰り返す間に、高速ムービーモードによる撮影(動画記録)の開始が指示されたら(ステップS2でYES)、まず、その時点における各々の露出制御値の設定内容から現在の被写体の明るさ(LV値)を取得した後(ステップS3)、まず、取得した被写体の明るさ(LV値)に基づき、プログラムメモリ13に用意されている図4に示した高速ムービー記録開始準用線図(第2のプログラム線図)によって現在のLV値に応じた絞り値を一義的に決定する(ステップS4)。
この高速ムービー記録開始準用線図は、これから開始する高速ムービーモードによる撮影に際し、各フレームにおける露光時間を可能な限り長くして、ゲインの増大による画像の劣化を防止すると同時に、絞り値を固定した状態で被写体の明るさの変化に追従して適正露出を確保するとき追従可能な明るさの範囲をより広く確保する、といった制御条件を満足するうえで最適であると考えられる絞り値を現在のLV値から一義的に決定するためのプログラム線図であって、具体的には以下のように構成されている。
すなわち、高速ムービー記録開始準備用線図は、前述した図3のモニタースルー用線図における斜めの軸、縦軸、横軸における明るさ(LV値)、絞り値(Fナンバー)、シャッタースピード(sec)及びゲイン(dB)の各値の配置つまり線図空間スケールを、後述する高速ムービー記録用線図(図5参照)と同様の線図空間スケールに変換したプログラム線図であって、シャッタースピードの調整範囲の低速側の下限を「1/300」、すなわち撮像素子3の出力フレームレートが「300fps」となる高速ムービーモードにおいて設定可能な最低速度に変更し、かつそれに応じて斜めの軸のLV値を明側にシフトするとともに、LV値と絞り値(図で破線)とが「1対1」又は「多対1」の関係となるようにしたものである。
引き続き、CPU8は、露出制御値としての絞り値に上記の高速ムービー記録開始準用線図を用いて決定した絞り値を設定し、シャッタースピードに高速ムービーモードで設定可能な最低速度(1/300)を設定し、ゲインに上記絞り値とシャッタースピードとに応じた値(例えばLV値が「12LV」のときには「+2dB」)を設定する(ステップS5)。
ここで、絞り値に変更があった場合には(ステップS6でYES)、変更後の絞り値に応じた絞りの動作(開度の変更動作)が完了するのを待ってから(ステップS7でYES)、撮像素子3の駆動モードを高速動画記録モード(出力フレームレートを300fps)に変更して高速ムービーモードによる動画記録を開始する(ステップS8)。これにより記録開始当初の数フレームの画像に絞り動作の様子(画像の明るさ変化等)が現れてしまうことが防止できる。つまり動画記録を直ちに開始すると、例えば変更後の絞り値に応じた開度が得られるまでの絞りの動作時間が3msec程度である場合には、最初の5フレーム程度に絞り動作の様子が現れるため、これを防止する。また、絞り値に変更がなければ(ステップS6でNO)、直ちに高速ムービーモードによる動画記録を開始する(ステップS8)。
その後、動画記録中においてCPU8は、高速ムービーモードでの露出制御内容に関する機能であって、ユーザーが必要に応じてオンオフ設定できる「露出固定」機能がオフ設定となっている場合、つまり露出制御モードとして露出固定モードが設定されている場合には(ステップS9でYES)、図5に示した高速ムービー記録用線図(第1のプログラム線図)を用いた露出制御を撮影(動画記録)の終了が指示されるまで繰り返し実行する(ステップS10、ステップS11でNO)。
この高速ムービー記録用線図は、絞り値は変えずに、シャッタースピードとゲインのみを被写体の明るさの変化に応じて変化させる絞り優先(絞り固定)の露出制御を行うために予め用意されたものである。具体的には、既説したように線図空間スケールが前述した図4の高速ムービー記録開始準備用線図と同一であるとともに、前述した絞り優先の露出制御を行わせるための線図(図で太線)が示されたものである。係る高速ムービー記録用線図を用いた露出制御を行うことにより、動画中に上述したような絞り動作の様子(画像の明るさ変化等)が現れたり、動画記録中の絞りの駆動音等のノイズが発生したりすることが防止でき、同時に、撮影中の消費電力を削減することができる。
なお、図に示した線図は、前述したステップS4で決定し固定される絞り値が「F4」である場合の線図であり、この場合、明るさが12LVのときの高速ムービーモードでの撮影開始時点では、図中に例示したようにシャッタースピードが「1/300」、ゲインが「+2dB」となる。
一方、上記とは異なり、前述した「露出固定」機能がオン設定となっている場合には(ステップS9でNO)、撮影(動画記録)の終了が指示されるまで、高速ムービーモードでの動画記録の開始に先立ち前述したステップS5で設定した絞り値、シャッタースピード、ゲインを維持した状態のままで動画記録を継続する(ステップS11でNO)。したがって、必要に応じて「露出固定」機能をオン設定しておくことにより、絞り値、シャッタースピード、ゲインの全ての設定値を固定した状態での撮影を行うことができる。例えば、カメラを固定した状態で動く被写体を高速度撮影するような場合には「露出固定」機能をオン設定しておくことにより、被写体の動きが捕らえやすい動画を得ることができる。
そして、これ以後CPU8は、撮影(動画記録)の終了が指示された時点で(ステップS11YES)、全ての処理を終了する。
ここで、以上説明した露出制御においては、撮影待機状態からの高速ムービーモードでの動画撮影の開始するとき、出力フレームレートの変更直後の適正露出の確保に際し、前述したように絞り値をシャッタースピードやゲインよりも優先して決定した後、決定した絞り値に応じてシャッタースピードやゲインを設定するようにした。
したがって撮像素子3の出力フレームレートが30fpsから300fpsに変更といったように、出力フレームレートの変更に伴いシャッタースピードの変更が不可欠となるほど大きく変更する場合であっても、前述したように高速ムービーモードでの撮影に際しては、先に述べたような制御条件を満足する露出制御を行いながら、同時にフレームレートの変更に伴う撮像画像の明るさの変化を防止することができる。
なお、本実施形態においては、撮像素子3の出力フレームレートの変更直後の適正露出の確保に際し、絞り値をシャッタースピードやゲインよりも優先して決定する場合について説明したが、出力フレームレートの変更直後の露出制御に要求される制御条件の内容によっては、ゲインをシャッタースピードや絞り値に優先して決定するようにしてもよい。
また、高速ムービーモードでの動画撮影時の露出制御に要求される制御条件に、各フレームにおける露光時間を可能な限り長くすることが含まれており、出力フレームレートの変更直後に設定すべきシャッタースピードを調整可能な最低速度とする場合について説明したが、出力フレームレートの変更直後に設定すべきシャッタースピードが特に決められていない場合であっても、本発明は有効である。
また、撮像素子3の出力フレームレートを変更する場合の例として、撮影待機状態から高速ムービーモードによる撮影を開始する場合を示したが、これ以外にも、動画撮影モードにおける撮影中に、例えば前述した通常ムービーモードと高速ムービーモードとを適宜変更可能な構成において通常ムービーモードから高速ムービーモードへのモード変更に際して前述したような露出制御を行うようにしてもよい。その場合であっても、前述した効果を得ることができる。
さらに、出力フレームレートが異なる複数の高速ムービーモード(例えば出力フレームレートが300fps、600fps、1200fps等)が用意されている構成において、撮影中に高速ムービーモードを、出力フレームレートがより高い他の高速ムービーモードに変更する際に前述したような露出制御を行うようにしてもよい。その場合であっても、前述した効果を得ることができる。
なお、以上の説明においては、本発明を動画撮影機能を有したデジタルカメラに適用した場合について説明したが、これ以外にも、出力フレームレートが変更可能な撮像素子を備えるとともに、所定の制御条件に従った自動露出制御機能を有するものであれば、本発明はデジタルビデオカメラやカメラ付き携帯電話端末等の他の撮像装置にも適用可能である。
本発明に係るデジタルカメラを示すブロック図である。 高速ムービーモードによる動画撮影時にCPUが実行する露出制御手順を示すフローチャートである。 撮影待機状態の露出制御に際して使用されるモニタースルー用線図である。 LV値に応じた絞り値を一義的に決定するために使用される高速ムービー記録開始準用線図である。 高速ムービーモードによる撮影中の露出制御に際して使用される高速ムービー記録用線図である。
符号の説明
1 デジタルカメラ
2 アイリスブロック
3 撮像素子
4 駆動回路
5 AGC
7 画像処理部
8 CPU
9 CODEC
10 表示部
13 プログラムメモリ

Claims (22)

  1. フレームレートが変更可能な撮像手段と、
    この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段と、
    前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用し、前記撮像手段の出力フレームレートが前記第1のフレームレートよりも高速の第2のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された第2の露出制御条件を定常的に適用するように、フレームレートに応じて露出制御条件を選択する選択手段と、
    前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を前記第2の露出制御条件として設定する切換制御手段
    を備えたことを特徴とする撮像装置。
  2. 前記第2の露出制御条件は、前記第1の露出制御条件と比べて調整可能な露光時間の上限を下げた制御条件であることを特徴とする請求項1記載の撮像装置。
  3. 前記第2の露出制御条件は、前記第2のフレームレートで制限される最長の露光時間に対応して決められた第2の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする請求項2記載の撮像装置。
  4. 前記切換制御手段は、前記撮像手段のフレームレートが前記第2のフレームレートに切り換える際に、露光時間を前記第2の露光時間に設定した状態において適正露出が確保できるレンズの絞り値を特定し、調整可能なレンズの絞り値を前記特定されたレンズの絞り値に固定された制御条件を前記第2の露出制御条件として設定することを特徴とする請求項3記載の撮像装置。
  5. 前記第2の露出制御条件は、調整可能なレンズの絞り値を前記特定されたレンズの絞り値に固定するとともに、調整可能な露光時間を前記第2の露光時間に固定する制御条件であることを特徴とする請求項3記載の撮像装置。
  6. 前記第2の露出制御条件は、増幅率を含む全ての撮影パラメータを固定する制御条件であることを特徴とする請求項5記載の撮像装置。
  7. 前記第2の露出制御条件は、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が明るく変化した場合は、露光時間が短くなるように変化させ、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が暗く変化した場合は、増幅率が高くなるように変化させる制御条件であることを特徴とする請求項4記載の撮像装置。
  8. 前記第2の露出制御条件は、前記適正露出を確保した際の被写体の明るさに対して、被写体の明るさが変化していない場合は、露光時間を前記第2の露光時間に設定するとともにレンズの絞り値を前記特定されたレンズの絞り値に設定した状態を基準状態とし、被写体の明るさ変化に応じて基準状態を変化させる制御条件であることを特徴とする請求項7記載の撮像装置。
  9. 露出制御モードとして複数のモードが設けられ、
    前記切換制御手段は、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、前記露出制御モードとして露出固定モードが設定されていない場合は、被写体の明るさ変化に応じて基準状態を変化させる制御条件を前記第2の露出制御条件として設定し、前記露出制御モードとして露出固定モードが設定されている場合は、全ての撮影パラメータを固定する制御条件を前記第2の露出制御条件として設定することを特徴とする請求項8記載の撮像装置。
  10. 前記第1の露出制御条件は、前記第1のフレームレートで制限される最長の露光時間に対応して決められた第1の露光時間であり、前記第2の露光時間よりも長い第1の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする請求項3記載の撮像装置。
  11. 前記第1の露出制御条件は、前記第1のフレームレートで制限される最長の露光時間および電源周波数に対応する所定の露光時間に対応して決められた第1の露光時間を前記調整可能な露光時間の上限とする制御条件であることを特徴とする請求項10記載の撮像装置。
  12. 前記切換制御手段は、使用地域による電源周波数の違いに応じて前記調整可能な露光時間の上限の異なる制御条件を前記第2の露出制御条件として設定することを特徴とする請求項11記載の撮像装置。
  13. 前記第1の露出制御条件は、前記露光時間を前記第1の露光時間よりも長くする必要があるほど被写体が暗くなった場合に、レンズの絞り値を変化させる制御条件であることを特徴とする請求項10乃至12記載の撮像装置。
  14. 前記撮像手段により撮像された被写体画像を撮影待機状態で表示する表示手段を備え、
    前記第1のフレームレートは、前記撮影待機状態で使用されるフレームレートであるとともに、前記第2のフレームレートは、撮影モードとして設けられている高速撮影モードで使用されるフレームレートであることを特徴とする請求項1乃至12記載の撮像装置。
  15. 前記第1の露出制御条件および前記第2の露出制御条件は、前記露光時間、レンズの絞り値、および増幅率を含む複数種の撮影パラメータの組み合わせを規定する所定のプログラム線図で示される制御条件であり、
    前記露出制御手段は、このプログラム線図上の位置を被写体の明るさの変化に従って移動させることで、被写体の明るさに応じた適正露出を確保する露出制御を実行することを特徴とする請求項1乃至12記載の撮像装置。
  16. 前記露出制御手段により設定される絞り値に応じて開閉度合を複数段階に制御される絞りを備え、
    前記第2のフレームレートは、前記露出制御手段による絞り値の変更に伴う前記絞りの開閉動作時間内に複数回の撮像を行うフレームレートであることを特徴とする請求項1乃至12記載の撮像装置。
  17. 前記フレームレートの変更に伴い前記露出制御手段により絞り値が変更された場合における前記撮像手段の撮像動作の開始タイミングを前記絞りの開閉動作の完了後に制御する撮像開始タイミング制御手段を備えたことを特徴とする請求項16記載の撮像装置。
  18. 前記切換制御手段は、前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに変更する際の一時的な露出制御による適正露出の確保に際し、前記露出制御手段に、前記レンズの絞り値以外の他の撮影パラメータを所定の基準状態に固定した状態で、被写体の明るさに応じた適正露出が得られるような前記レンズの絞り値を特定させ、前記第2のフレームレートに変更された後の定常的な露出制御による適正露出の確保においては、レンズの絞り値が前記特定されたレンズの絞り値に固定された制御条件を前記第2の露出制御条件として設定することを特徴とする請求項1記載の撮像装置。
  19. 前記所定の基準状態は、露光時間を前記第2のフレームレートで制限される最長の露光時間に対応して決められた第2の露光時間に設定するとともに、増幅率を設定可能な最低値に設定した状態であることを特徴とする請求項18記載の撮像装置。
  20. 前記第2の露出制御条件は、レンズの絞り値を前記特定されたレンズの絞り値に固定するとともに、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が明るく変化した場合は、増幅率を設定可能な最低値に設定した状態で前記露光時間が短くなるように変化させ、前記適正露出を確保した際の被写体の明るさに対して、更に被写体が暗く変化した場合は、前記露光時間を前記第2の露光時間に設定した状態で増幅率が高くなるように変化させる制御条件であることを特徴とする請求項19記載の撮像装置。
  21. フレームレートが変更可能な撮像手段と、この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段とを備えた撮像装置における露出制御方法において、
    前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用する工程と、
    前記撮像手段のフレームレートを前記第1のフレームレートから該第1のフレームレートよりも高速の第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を第2の露出制御条件として設定する工程と、
    前記撮像手段の出力フレームレートが前記第2のフレームレートに設定された後は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された前記第2の露出制御条件を定常的に適用する工程と、
    を含むことを特徴とする露出制御方法。
  22. フレームレートが変更可能な撮像手段と、この撮像手段の露光時間およびレンズの絞り値を含む複数種の撮影パラメータの組み合わせを、被写体の明るさに応じてどのように変化させるかを規定する制御条件に従って、自動露出制御を実行する露出制御手段とを備えた撮像装置が有するコンピュータを、
    前記撮像手段の出力フレームレートが第1のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として第1の露出制御条件を定常的に適用し、前記撮像手段の出力フレームレートが前記第1のフレームレートよりも高速の第2のフレームレートに設定されている間は、前記露出制御手段が前記自動露出制御に用いる制御条件として前記第1の露出制御条件と比べてレンズの絞り値の変化が抑制された第2の露出制御条件を定常的に適用するように、フレームレートに応じて露出制御条件を選択する選択手段と、
    前記撮像手段のフレームレートを前記第1のフレームレートから前記第2のフレームレートに切り換える際に、適正露出が確保できるレンズの絞り値を他の撮影パラメータに優先して特定し、この特定されたレンズの絞り値にレンズの絞り値の変化が抑制された制御条件を前記第2の露出制御条件として設定する切換制御手段と
    して機能させるための露出制御プログラム。
JP2007318028A 2007-12-10 2007-12-10 撮像装置及びその露出制御方法、露出制御プログラム Active JP4556995B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007318028A JP4556995B2 (ja) 2007-12-10 2007-12-10 撮像装置及びその露出制御方法、露出制御プログラム
US12/329,956 US8107002B2 (en) 2007-12-10 2008-12-08 Imaging apparatus capable of changing frame rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318028A JP4556995B2 (ja) 2007-12-10 2007-12-10 撮像装置及びその露出制御方法、露出制御プログラム

Publications (3)

Publication Number Publication Date
JP2009141834A JP2009141834A (ja) 2009-06-25
JP2009141834A5 JP2009141834A5 (ja) 2009-11-05
JP4556995B2 true JP4556995B2 (ja) 2010-10-06

Family

ID=40721232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318028A Active JP4556995B2 (ja) 2007-12-10 2007-12-10 撮像装置及びその露出制御方法、露出制御プログラム

Country Status (2)

Country Link
US (1) US8107002B2 (ja)
JP (1) JP4556995B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010160311A (ja) * 2009-01-08 2010-07-22 Panasonic Corp 撮像装置
US8189070B1 (en) * 2009-06-05 2012-05-29 Apple Inc. Image capturing devices using Sunny f/16 rule to override metered exposure settings
JP2012053029A (ja) * 2010-08-05 2012-03-15 Ricoh Co Ltd 測光・測距装置、測光・測距方法及びその測光・測距装置を有する撮像機器
JP5343995B2 (ja) * 2010-11-25 2013-11-13 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
JP5753371B2 (ja) * 2010-11-25 2015-07-22 キヤノン株式会社 撮像装置およびその制御方法
CN102088563B (zh) * 2010-11-26 2012-07-11 无锡银泰微电子有限公司 用于光学图像和光学视频设备中自适应帧率调控方法
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
JP5715436B2 (ja) * 2011-02-21 2015-05-07 キヤノン株式会社 撮像装置、及びその制御方法
JP5704957B2 (ja) 2011-02-22 2015-04-22 キヤノン株式会社 動画撮影装置及びその制御方法
JP2013042298A (ja) * 2011-08-12 2013-02-28 Nikon Corp 撮像装置及びフリッカー発生周波数検出方法
KR101989152B1 (ko) * 2012-02-10 2019-09-30 삼성전자주식회사 동영상 촬영 또는 재생 중, 정지 영상을 캡쳐하는 장치 및 방법
KR101864829B1 (ko) * 2012-05-30 2018-07-04 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
DE102014102689A1 (de) * 2014-02-28 2015-09-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung
JP5866674B1 (ja) * 2014-07-29 2016-02-17 パナソニックIpマネジメント株式会社 撮像装置
JP6466786B2 (ja) * 2015-06-12 2019-02-06 オリンパス株式会社 撮像装置、撮像方法およびプログラム
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
CN111107292B (zh) * 2019-02-28 2021-05-18 华为技术有限公司 一种录像帧率的控制方法、移动终端及计算机存储介质
WO2020250831A1 (ja) * 2019-06-13 2020-12-17 ソニー株式会社 撮像装置、撮像制御方法およびプログラム
CN113452921A (zh) * 2020-03-26 2021-09-28 华为技术有限公司 图像处理方法和电子设备
US11375142B1 (en) * 2021-09-10 2022-06-28 Qualcomm Incorporated Asymmetric exposure time adjustments for multi-frame high dynamic range imaging in low light conditions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269356A (ja) * 2004-03-19 2005-09-29 Canon Inc 画像データ記録装置および画像データ記録再生装置
JP2007195038A (ja) * 2006-01-20 2007-08-02 Sony Corp 撮像装置および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6602444B1 (en) * 1999-09-30 2003-08-05 H. B. Fuller Licensing & Financing Inc. Low melt flow composition
JP4173457B2 (ja) 2004-03-12 2008-10-29 富士フイルム株式会社 撮影装置及びその制御方法
JP4222278B2 (ja) 2004-09-03 2009-02-12 カシオ計算機株式会社 カメラ装置、及び露出制御方法
JP4475165B2 (ja) 2005-04-26 2010-06-09 カシオ計算機株式会社 撮像装置、露出制御方法及びプログラム
JP4861234B2 (ja) * 2007-04-13 2012-01-25 株式会社エルモ社 露出制御方法及び撮像装置
JP5276308B2 (ja) * 2007-11-21 2013-08-28 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269356A (ja) * 2004-03-19 2005-09-29 Canon Inc 画像データ記録装置および画像データ記録再生装置
JP2007195038A (ja) * 2006-01-20 2007-08-02 Sony Corp 撮像装置および画像処理方法

Also Published As

Publication number Publication date
US20090147122A1 (en) 2009-06-11
JP2009141834A (ja) 2009-06-25
US8107002B2 (en) 2012-01-31

Similar Documents

Publication Publication Date Title
JP4556995B2 (ja) 撮像装置及びその露出制御方法、露出制御プログラム
JP5656579B2 (ja) 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム
JP4845832B2 (ja) 撮像装置および制御方法
US9723220B2 (en) Imaging apparatus, control method, and program
US8520112B2 (en) Imaging device, display control method, and program
JP4466261B2 (ja) 撮像装置、明るさ補正方法及びプログラム
JP2007019973A (ja) 撮像装置及び撮像方法
US20140071324A1 (en) Imaging apparatus
JP5491163B2 (ja) 表示装置及びそれを用いた撮像装置
JP2008053931A (ja) 撮像装置
US7545432B2 (en) Automatic focusing method and digital photographing apparatus using the same
CN103986864B (zh) 拍摄装置和拍摄方法
JP2012124652A (ja) 撮像装置及び画像処理方法
JP2017028637A (ja) 撮像装置、その制御方法およびプログラム
JP2011049641A (ja) 撮影装置、その制御方法、及びプログラム
JP4366485B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4475165B2 (ja) 撮像装置、露出制御方法及びプログラム
JP6467830B2 (ja) 撮像装置、撮像方法及びプログラム
JP6795961B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2008124793A (ja) 撮像装置、撮像方法
JP7086155B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
US20230269467A1 (en) Electronic apparatus and control method thereof, and storage medium
US20230156309A1 (en) Image processing apparatus, image processing method, and image capturing apparatus
RU2430482C1 (ru) Устройство формирования изображений и способ управления им
JP5911253B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100712

R150 Certificate of patent or registration of utility model

Ref document number: 4556995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3