JP7608047B2 - レンズ装置、撮像装置、制御方法、およびプログラム - Google Patents

Description

本発明は、レンズ装置、撮像装置、制御方法、およびプログラムに関する。

特許文献１は、アクチュエータ毎に設けた制限値に基づく条件分岐によって、複数のアクチュエータを組み合わせた制御を行うズームレンズを開示している。特定の条件下において制御方法を切り替えるためには、アクチュエータへの指令信号を生成するための演算式（演算方法）を変更するのが一般的である。特許文献２のレンズ操作装置は、ズームレンズ群が望遠端もしくは広角端に位置する場合、またはフォーカスレンズ群が無限遠端もしくは至近端に位置する場合等の特定の条件下における制御方法の切り替えのために、演算方法の変更（演算の追加）を行っている。

特開平０５-１２７０６１号公報 特開平０６-１７５０００号公報

制御に影響を与える複数の要因のもとで制御を行う場合、当該複数の要因の相乗効果に基づく制御は困難である。特許文献１および特許文献２の制御は、条件成否に基づいて処理内容（制御内容）が分かれる分岐によって制御内容の変化が不連続となり、その結果、得られる画像の変化も不連続となることから、当該画像を視る者に違和感を与えうる。本発明は、例えば、制御内容の変化または得られる画像の変化における連続性の点で有利なレンズ装置を提供することを目的とする。

本発明の一つの側面は、第１光学部材および第２光学部材を有するレンズ装置であって、前記第１光学部材の駆動により前記レンズ装置の光学特性を変化させる第１駆動部、および前記第２光学部材の駆動により該光学特性を変化させる第２駆動部と、前記第１光学部材の駆動に関する第１状態を検出する第１検出部、および前記第２光学部材の駆動に関する第２状態を検出する第２検出部と、前記第１状態に関する第１情報および前記第２状態に関する第２情報に基づいて、前記第１駆動部に対する第１制御信号および前記第２駆動部に対する第２制御信号を生成する処理部とを有し、前記処理部は、前記第１情報および前記第２情報に基づいて、前記第１制御信号および前記第２制御信号に関する出力を並行して生成する単一の機械学習モデルを含み、前記第１情報および前記第２情報を入力としたときの前記第１情報に関する報酬に基づいて、前記機械学習モデルの機械学習パラメータを調整する学習部を更に有し、前記学習部は、前記第１状態に関する値の目標値に対する誤差が小さくなるほど高くなるように前記報酬を設定することを特徴とするレンズ装置である。

本発明によれば、例えば、制御内容の変化または得られる画像の変化における連続性の点で有利なレンズ装置を提供することができる。

各実施形態に係るシステム構成例を示す図 実施形態１に係るレンズ装置の構成例を示す図 学習のためのシステム構成例を示す図 ニューラルネットワークの入出力を例示する図 学習のためのフローチャートを例示する図 実施形態２に係る、学習のためのシステム構成例を示す図 ズームに関するニューラルネットワークの入出力を例示する図 フォーカスに関するニューラルネットワークの入出力を例示する図 実施形態３に係る、学習のためのシステム構成例を示す図 ニューラルネットワークの入出力を例示する図 実施形態４に係る、学習のためのシステム構成例を示す図 フォーカスレンズ群の位置誤差の許容範囲を例示する図 実施形態４に係る制御系の構成例を示す図

以下、添付図面を参照して本発明の実施形態を説明する。なお、実施形態を説明するための全図を通して、原則として（断りのない限り）、同一の部材等には同一の符号を付し、その繰り返しの説明は省略する。

〔実施形態１〕
図１は、実施形態１を含む各実施形態に係るシステム構成例を示す図である。図３は、学習のためのシステム構成例を示す図であり、かつ図１のシステム構成例における各装置のハードウェア資源およびソフトウェア構成を例示する図でもある。

＜レンズ装置の構成例＞
図２は、実施形態１に係るレンズ装置の構成例を示す図であり、それにとどまらず、カメラ本体の構成例も含むシステム（撮像装置）の構成例を示す図でもある。当該システムは、カメラ本体２００と、レンズ装置１００（交換レンズともいう）により構成されている。カメラ本体２００とレンズ装置１００とは、結合機構としてのマウント３００を介して機械的および電気的に接続されている。なお、マウント３００は、カメラ本体２００に属するマウントユニットとレンズ装置１００に属するマウントユニットとからなっていてもよいし、両マウントユニットを含んで構成されていてもよい。カメラ本体２００は、マウント３００に含まれている電源端子を介してレンズ装置１００に電源を供給しうる。また、カメラ本体２００とレンズ装置１００とは、マウント３００に含まれている通信端子を介して相互に通信を行いうる。

レンズ装置１００は、フィールドレンズ群１０１、変倍のために可動のズームレンズ群１０２、光量調節のための絞りユニット１０３、像振れ補正レンズ群１０４、焦点調節のために可動のフォーカスレンズ群１０５を含みうる。なお、以上の各レンズ群は、単一のレンズ要素からなる場合も含み、また、簡単のため単にレンズと表記する場合もある。ズームレンズ群１０２とフォーカスレンズ群１０５とのそれぞれは、不図示のレンズ保持枠によって保持されている。レンズ保持枠は、不図示のガイド軸に沿って（図中に破線で示す光軸に沿って）可動である。

ズームレンズ群１０２は、ズームレンズ駆動部１０６を介して光軸に沿って移動し、その位置は、検出部１０７によって検出される。フォーカスレンズ群１０５は、駆動部１１１を介して光軸に沿って移動し、その位置は、検出部１１２によって検出される。絞りユニット１０３は、駆動部１０８を介して駆動される絞り羽根を含み、光量調節を行う。絞りのＦ値は、検出部１０９によって検出される。像振れ補正レンズ群１０４は、駆動部１１０を介して光軸に直交する方向に沿って移動し、手振れ等に起因する像振れを低減する。像振れ補正レンズ群１０４の位置は、検出部１２１によって検出される。

駆動部１０６、駆動部１１１、１０８、駆動部１１０は、例えば超音波モータのようなアクチュエータを含んで構成されている。なお、当該アクチュエータは、それに限らず、ボイスコイルモータや、ＤＣモータ、ステッピングモータ等としうる。振れセンサ１２０（揺れセンサともいう）は、レンズ装置１００の振れ（振動）を検出するセンサであり、例えば、ジャイロを含んで構成される角速度センサである。

マイクロコンピュータ１１３（レンズマイコンまたは処理部ともいう）は、記憶部１１４、推定部１１５、制御部１１６、通信部１１７、決定部１１８（レンズ装置情報決定部ともいう）を含んでいる。ここで、記憶部１１４は、機械学習パラメータを記憶する。推定部１１５（生成部）は、フォーカスレンズ群のための駆動部１１１に対する制御信号を推定（生成）する。制御部１１６は、ズームレンズ群１０２、絞りユニット１０３、像振れ補正レンズ群１０４それぞれの位置を制御する。制御部は、例えば、制御対象の目標位置または速度と制御対象の位置または速度との間の偏差に基づくＰＩＤ制御により対応する駆動部のための制御信号を生成する。通信部１１７は、カメラ本体２００と通信する。決定部１１８は、推定部１１５での推定（生成）に使用するレンズ装置１００に関する入力情報を決定する。機械学習パラメータおよび入力情報については後述する。

カメラ本体２００は、撮像素子２０１、Ａ／Ｄ変換回路２０２、信号処理回路２０３、記録部２０４、マイクロコンピュータ２０５（カメラマイコンまたは処理部ともいう）、表示部２０６を含みうる。撮像素子２０１は、レンズ装置１００により形成された像を撮る撮像素子であり、ＣＣＤセンサまたはＣＭＯＳセンサを含みうる。Ａ／Ｄ変換回路２０２は、撮像素子２０１から出力されたアナログ信号（電気信号）をデジタル信号に変換する。信号処理回路２０３は、Ａ／Ｄ変換回路２０２から出力されたデジタル信号を映像（画像）データに変換する。記録部２０４は、信号処理回路２０３から出力された映像データを記録する。表示部２０６は、信号処理回路２０３から出力された映像データを表示する。操作部２０７は、使用者がカメラを操作するのに用いられる。カメラ本体の処理部２０５は、カメラ本体２００における制御を行う。処理部２０５は、通信部２０８と制御部２０９とを有している。通信部２０８は、通信部１１７を介してレンズ装置１００との通信を行う。制御部２０９は、信号処理回路２０３からの映像データおよび使用者による操作部２０７からの操作情報に基づいて、レンズ装置１００に対する指令を行う。通信部２０８は、制御部２０９からの当該指令をレンズ装置１００へ送信する。

＜映像の記録および表示＞
ここで、図２の構成例における映像の記録および表示について説明する。レンズ装置１００に入射した光は、フィールドレンズ群１０１、ズームレンズ群１０２、絞りユニット１０３、像振れ補正レンズ群１０４、フォーカスレンズ群１０５を介して、撮像素子２０１上に像を結ぶ。当該像は、撮像素子２０１により電気信号に変換され、当該電気信号は、Ａ／Ｄ変換回路２０２にてデジタル信号に変換され、当該デジタル信号は、信号処理回路２０３により映像データに変換される。当該映像データは、記録部２０４に記録される。また、表示部２０６は、当該映像データに基づいて映像を表示する。

＜フォーカス制御＞
ここでは、カメラ本体２００によるレンズ装置１００のフォーカス制御について説明する。制御部２０９は、信号処理回路２０３から出力された映像データに基づいて、オートフォーカス制御（ＡＦ制御ともいう）を行う。制御部２０９は、例えば、映像データのコントラストに基づいてフォーカスレンズ群１０５を動かして、被写体にピントが合うようにする制御を行う。制御部２０９は、フォーカスレンズ群１０５の移動に係る指令を通信部２０８に出力する。通信部２０８は、制御部２０９から指令を受け取ると、当該指令を制御コマンドに変換し、マウント３００の通信接点を介して当該制御コマンドをレンズ装置１００へ送信する。通信部１１７は、通信部２０８から受信した制御コマンドを上記の指令に変換し、当該指令を推定部１１５に出力する。推定部１１５は、当該指令が入力されると、記憶部１１４に記憶されている学習済みの機械学習パラメータを用いて、当該入力を含む複数の入力に基づく制御信号を生成し、当該制御信号をフォーカスレンズ群のための駆動部１１１へ出力する。当該複数の入力は、フォーカスレンズ群のための検出部１１２が検出したフォーカスレンズ群の位置に関する情報と、決定部１１８が決定したレンズ装置１００に関する入力情報である。推定部１１５が制御信号を生成する方法や、当該入力情報については、後述する。以上により、制御部２０９からの指令に基づいて、映像データのコントラストが最も大きくなるように、フォーカスレンズ群１０５を動かすことにより、適切なＡＦ制御を行うことができる。

＜絞り制御＞
ここでは、カメラ本体２００によるレンズ装置１００の絞りの制御について説明する。制御部２０９は、信号処理回路２０３から出力された映像データに基づいて、絞りの制御（露出制御）を行う。具体的には、制御部２０９は、映像データの輝度値が一定となるように、目標となるＦ値を決定する。制御部２０９は、決定したＦ値を指令として通信部２０８に出力する。通信部２０８は、制御部２０９から受信した指令を制御コマンドに変換し、当該制御コマンドを、マウント３００の通信接点を介してレンズ装置１００へ送信する。通信部１１７は、通信部２０８から受信した制御コマンドをＦ値に係る指令に変換し、当該指令を制御部１１６に出力する。制御部１１６は、当該指令と、検出部１０９が検出した絞りのＦ値とに基づいて制御信号を決定し、当該制御信号を駆動部１０８へ出力する。以上により、映像データの輝度値が一定となるようにＦ値が制御されるような、適切な露光制御を行うことができる。

＜ズーム制御＞
ここでは、カメラ本体２００によるレンズ装置１００のズームの制御について説明する。使用者は、操作部２０７を介してレンズ装置１００のズームの操作を行う。制御部２０９は、操作部２０７から出力された使用者によるズーム操作量に基づいて、ズームレンズ群１０２を動かすための指令（例えば速度指令）を通信部２０８に出力する。通信部２０８は、制御部２０９から受信した指令を制御コマンドに変換し、当該制御コマンドをマウント３００の通信接点を介してレンズ装置１００へ送信する。通信部１１７は、通信部２０８から受信した制御コマンドをズームのための指令に変換し、当該指令を制御部１１６に出力する。制御部１１６は、当該指令と、検出部１０７が検出したズームレンズ群の位置とに基づいて制御信号を決定し、当該制御信号をズームレンズ群のための駆動部１１１へ出力する。以上により、操作部２０７に対する使用者の操作に従って、ズームレンズ群１０２を移動することができる。

＜防振制御＞
ここでは、レンズ装置１００における防振（像の安定化）の制御について説明する。制御部１１６は、振れセンサ１２０から出力されたレンズ装置１００の振れに係る信号に基づいて、レンズ１００の振れによる像振れを低減するように、像振れ補正レンズ１０４の目標位置を決定する。制御部１１６は、当該目標位置と、検出部１２１が検出した像振れ補正レンズ１０４の位置とに基づいて制御信号を決定し、当該制御信号を像振れ補正レンズ１０４のための駆動部１１０へ出力する。以上により、撮像素子２０１の撮像により得られた像の振れを低減することができる。

＜フォーカス制御に対する要求事項＞
ここで、本実施形態におけるオートフォーカス制御について説明する。オートフォーカス制御に対する要求事項として、ここでは、位置誤差、速度、消費電力に関するものがあるものとする。

＜要求事項に係る位置誤差＞
位置誤差は、フォーカスレンズを目標位置へ移動する場合に、目標位置に対してどれだけ正確にフォーカスレンズ群を移動できるかを表す指標である。フォーカスレンズ群が特定の目標位置に移動することで特定の被写体にピントが合う。オートフォーカス制御では、目標位置と実際の位置との間の誤差が増加するほど、映像がぼける。なお、当該誤差が同一であっても、Ｆ値および最小錯乱円によって定まる焦点深度が深い場合はピントが合って見えるものの、焦点深度が浅い場合はピントがずれて見えることがあるのは周知のとおりである。

図１２は、フォーカスレンズ群の位置誤差の許容範囲を例示する図である。より具体的には、フォーカスレンズ群を初期位置から目標位置まで移動する場合における、焦点深度に対応する許容範囲を例示する図である。図１２の（ａ）は、焦点深度が深い場合を示し、図１２の（ｂ）は、焦点深度が浅い場合を示す。Ａ１、Ｂ１は、フォーカスレンズ群の初期位置を示し、Ａ２、Ｂ２は、フォーカスレンズ群の移動後の位置を示す。図中の点線は、光軸を示し、フォーカスレンズ群は、光軸に沿って移動する。焦点深度は、（ａ）の場合は深く、（ｂ）の場合は浅くなっている。（ａ）（ｂ）は、いずれも、目標位置に対して制御誤差分手前に停止した場合を示している。なお、（ａ）（ｂ）において、初期位置、目標位置、制御誤差は互いに同一であることとする。

（ａ）の場合は、移動後のフォーカスレンズの位置Ａ２は、焦点深度に対応する制御誤差（位置誤差）の許容範囲内となり、特定の被写体に対してピントが合った映像が得られる。一方、（ｂ）の場合は、移動後のフォーカスレンズの位置Ｂ２は、焦点深度に対応する制御誤差の許容範囲外となり、特定の被写体に対してピントがぼけた映像が得られる。このように、制御誤差（位置誤差）は同一であっても、焦点深度によって、制御誤差の許容範囲が変化するため、当該許容範囲に対する制御誤差の割合も変化する。焦点深度は、像面位置を評価するためのパラメータであるが、下記の式（１）のフォーカス敏感度を用いることにより、フォーカスレンズ群の位置または制御誤差（位置誤差）を評価するためのパラメータに変換することができる。
［像面の移動量］＝［フォーカス敏感度］×［フォーカスレンズ群の移動量］
・・・（１）

ここで、フォーカス敏感度は、フォーカスレンズ群の位置およびズームレンズ群の位置によって変化する値である。また、焦点深度は、Ｆ値によって変化する。従って、ピントを合わせるために求められるフォーカスレンズ群の制御誤差（位置誤差）は、フォーカスレンズ群の位置、ズームレンズ群の位置、絞りの位置（レンズ装置における特定の光学部材の状態）によって変化する。

＜要求事項に係る速度＞
ここで、要求事項としての速度は、フォーカスレンズ群を移動する場合の移動速度のことである。当該速度は、予め定められた単位時間あたりの移動量としてもよい。また、被写体にピントが合っている面（像面）の移動量を像面移動量、当該面の移動速度を像面移動速度とすると、フォーカスレンズ群の移動量は、像面移動量と比例関係にあるとみなすことができる。ただし、その比例定数は、レンズ装置を構成する光学系の状態（複数の光学部材の位置関係）によって変化しうる。この比例定数は、上記の式（１）におけるフォーカス敏感度に相当する。

フォーカスレンズ群の移動量が同一であったとしても、レンズ装置の状態によってフォーカス敏感度が高い場合は、像面移動量が相対的に大きく、フォーカス敏感度が低い場合は、像面移動量が相対的に小さい。従って、像面移動量が一定になるようにフォーカスレンズ群を移動させるためは、式（１）によって得られるフォーカスレンズ群の移動量でフォーカスレンズ群を移動させる必要がある。また、移動する被写体に常にピントが合った状態で像面移動速度を制御する場合、目標となる像面移動速度と実際の像面移動速度との間の許容誤差は、焦点深度により決定されうる。

ここで、フォーカス敏感度は、上述のように、フォーカスレンズ群の位置およびズームレンズ群の位置によって変化する。また、焦点深度はＦ値によって変化する。従って、一定の像面移動速度または被写体追尾等のために必要なフォーカスレンズ群の移動速度は、フォーカスレンズ群の位置、ズームレンズ群の位置、絞りの状態によって変化する。

また、動画撮影において録音されうる、フォーカスレンズ群の駆動に伴う音を特定の量（閾値）以下にすることが求められる場合がある。この場合は、フォーカスレンズ群の移動速度を特定の閾値以下にすればよい。

＜要求事項に係る消費電力＞
消費電力は、フォーカスレンズ群を駆動するのに消費する電力のことである。消費電力は、フォーカスレンズ群を移動させる時間および速度によって変化する。

消費電力を低減することにより、バッテリ容量を有効活用することができ、例えば、１回の充電で撮影可能な画像の枚数または時間を増やすことや、バッテリの小型化が可能になる。

上述した位置誤差、速度、消費電力に関する特定の要求事項を満たすようにすることにより、例えば、ユーザーにとって好ましいピント合わせを行うことができる。なお、複数の要求事項は、互いにトレードオフの関係を有しうる。例えば、位置誤差と消費電力とは、互いにトレードオフの関係を有しうる。焦点深度が深い場合は、焦点深度が浅い場合に比して、フォーカスレンズ群の位置偏差がピントに与える影響は小さい。このため、フォーカスレンズ群の位置誤差が焦点深度に対応する許容範囲に収まる限りにおいて制御誤差を許容すれば、消費電力を低減することができる。逆に、焦点深度が浅い場合は、フォーカスレンズ群の位置偏差がピントに与える影響は大きい。このため、フォーカスレンズ群の位置誤差が焦点深度に対応する許容範囲に収まるように制御誤差を低減すれば、消費電力が増加することになる。

また、被写体にピントを合わせ続けるフォーカス制御を行う場合、フォーカスレンズ群の目標位置と実際の位置との誤差（制御誤差または制御偏差ともいう）が焦点深度に対応する許容範囲内に収まり続けるようにする必要がある。そのためには、例えば、制御誤差が、当該許容範囲の内側における特定の範囲においては、フォーカスレンズ群の移動速度を相対的に遅くし、当該特定の範囲を超えた場合においては、フォーカスレンズ群の移動速度を相対的に速くする制御を行いうる。この場合、フォーカスレンズ群の移動速度が遅い程、消費電力を低減することができる。ここで、当該許容範囲は、焦点深度に基づいて決定されうる。また、フォーカスレンズ群の移動速度と像面移動速度との間の関係は、フォーカス敏感度に基づいて決定されうる。従って、ピントを合わせ続けるためのフォーカスレンズ群の移動速度は、フォーカスレンズ群の位置、ズームレンズ群の位置、絞りの状態に基づいて決定されうる。

以上のことから、フォーカスレンズ群のための駆動部に対する制御信号は、フォーカスレンズ群の移動に係る位置誤差、速度、消費電力のそれぞれに関する要求事項に基づいて変化しうる。

＜推定部１１５による制御信号の決定＞
推定部１１５は、ニューラルネットワーク（ＮＮとも記す）アルゴリズムが実装され、記憶部１１４に記憶された機械学習パラメータを参照し、当該機械学習パラメータを用いてＮＮアルゴリズムにより制御信号を決定する。図４は、ニューラルネットワークの入出力を例示する図である。実施形態１に係る学習モデル（学習済みモデル）としてのＮＮにおいて、入力Ｘ１は、通信部１１７から出力されたフォーカスレンズ群に対する目標位置である。入力Ｘ２は、検出部１１２から得られたフォーカスレンズ群１０５の実際の位置である。入力Ｘ３は、レンズ装置に係る情報としての焦点深度であり、入力Ｘ４は、レンズ装置に係る情報としてのフォーカス敏感度である。出力Ｙ１は、フォーカスレンズ群１０５のための駆動部１１１に対する制御信号である。ここで、焦点深度およびフォーカス敏感度のようなレンズ装置の光学特性に係る情報は、決定部１１８がレンズ装置に係る特定の情報（最小錯乱円、Ｆ値、フォーカスレンズ群の位置、ズームレンズ群の位置等）により決定しうる。以上のような入力および出力を有する学習済みモデルにより、フォーカスレンズ群のための駆動部に対する制御信号が生成される。

＜学習部の構成＞
図３は、学習のためのシステム構成例を示す図である。図３において、通信部１２２（ＰＣ通信部ともいう）は、ＰＣ４００（情報処理装置ともいう）と通信するための通信部である。ＰＣ４００は、プロセッサー（ＣＰＵ、ＧＰＵ）および記憶装置（ＲＯＭ、ＲＡＭ、ＨＤＤ）とを含んで構成されている。記憶装置は、プロセッサーが動作するためのプログラムやデータ等を記憶している。通信部４０４は、通信部１２２と通信するための通信部である。学習部４０３（機械学習部ともいう）は、推定部１１５における入力および出力を取得して学習を行う。当該学習の詳細は後述する。

ＰＣ４００における学習部４０３および通信部４０４は、ＨＤＤに記憶された実行プログラムがメモリ（ＲＯＭ、ＲＡＭ）上に展開され、ＣＰＵ等のハードウェア資源によって実行されることによって実現されうる。また、当該プログラムは、強化学習のための報酬を設定するルールが記述されている。当該ルールは後述する。

通信部４０４は、レンズ装置１００の通信部１２２からレンズ装置１００の動作ログの情報を受信する。当該動作ログは、推定部１１５における入力および出力を含む。当該動作ログの情報は、学習部４０３に入力される。学習部４０３は、動作ログの情報に基づいて機械学習を行い、当該機械学習のパラメータを出力する。学習部４０３での学習方法は、後述する。学習部４０３から出力された機械学習のパラメータは、通信部４０４を介してレンズ装置１００へ送信される。通信部１２２により受信された機械学習パラメータは、記憶部１１４に記憶される。記憶部１１４に記憶された機械学習パラメータは、推定部１１５によって参照され、推定部１１５のＮＮアルゴリズムに反映される。推定部１１５は、ＮＮアルゴリズムによって制御信号を出力し、駆動部１１１は、当該制御信号に基づいてフォーカスレンズ群１０５を駆動する。

ここで、ＧＰＵは、データの並列処理を効率的に行うことができるため、ディープラーニングにおける学習モデルのような学習モデルを用いて繰り返し学習を行う場合に有効である。よって、学習部４０３による処理にはＣＰＵに替えて又は加えてＧＰＵを用いうる。例えば、学習モデルを含む学習プログラムは、ＣＰＵとＧＰＵとが協働して実行するのが好ましい。なお、学習部４０３の処理は、ＧＰＵのみにより行われてもよい。

＜学習部４０３による学習済み機械学習パラメータの製造方法＞
次に、本実施形態に係る学習部４０３により実行される機械学習パラメータの学習方法（学習済みの機械学習パラメータの製造方法）を説明する。当該パラメータは、図３のシステムにおいて学習される。当該システムは、上述したように、レンズ装置１００とＰＣ４００とを含んで構成されている。

推定部１１５には、開始位置から停止位置まで予め決められた学習用の特定のパターンでフォーカスレンズ群１０５が移動するような制御信号を生成するプログラムが組み込まれている。フォーカスレンズ群１０５は、このプログラムに従って制御される。当該制御とそれに伴う学習とを繰り返すことにより、制御部１１６内の機械学習パラメータがＰＣ４００によって書き換えられる。図５は、学習のためのフローチャートを例示する図である。図５の各ステップは、ＰＣ４００の学習部４０３やレンズ装置１００の推定部１１５により実行されうる。

同図において、まず、ステップＳ１０１（機械学習パラメータの初期化）では、学習部４０３は、機械学習パラメータの初期値（例えば０）を、通信部４０４を介してレンズ装置１００へ送信する。ステップＳ１０２（レンズ群の制御、ログの取得）では、推定部１１５は、予め決められた開始位置から停止位置までフォーカスレンズ群１０５を移動させる。通信部１２２は、フォーカスレンズ群１０５の制御に係るログとして、制御信号、制御量、焦点深度、フォーカス敏感度、消費電力を取得する。制御信号は、推定部１１５から取得しうる。制御量（ここでは位置）は、検出部１１２から取得しうる。焦点深度およびフォーカス敏感度は、決定部１１８から取得しうる。駆動部１１１の消費電力は、駆動部１１１から取得しうる。駆動部１１１の消費電力は、モータの電源に設けられた電流検出部が検出した電流から得られる。以上のようなログは、通信部１１２からＰＣ４００へ送信される。

次に、ステップＳ１０３（報酬の付与）では、学習部４０３は、記憶部４１０（データ記憶部ともいう）等において予め記憶されたルールに従ってログに係る制御に対して報酬を与える。当該ルールについては後述する。続いて、ステップＳ１０４（機械学習パラメータの更新）では、学習部４０３は、報酬が最大化されるように機械学習パラメータを更新する。機械学習パラメータの更新は、誤差逆伝搬法によって行いうるが、それには限定されない。更新された機械学習パラメータは、記憶部４１０に記憶された後、通信部４０４および通信部１２２を経由して記憶部１１４に記憶される。ステップＳ１０５（機械学習終了の判定）では、更新部４１２（データ更新部ともいう）は、機械学習パラメータの学習が終了したか判定を行う。機械学習の終了は、機械学習（機械学習パラメータの更新）の反復回数が閾値に達したか、または機械学習における報酬の変化量が閾値より小さくなったか等により判定することができる。判定がｎｏ（機械学習未了）の場合、ステップＳ１０１へ処理が戻される。判定がｙｅｓ（機械学習終了）の場合、学習部４０３は、機械学習により得られた機械学習パラメータの情報を記憶部４１０に記憶させ、処理を終了する。

機械学習のアルゴリズムは、最近傍法や、ナイーブベイズ法、決定木、サポートベクターマシン等が挙げられる。また、ニューラルネットワークを利用する深層学習（ディープラーニング）も挙げられる。アルゴリズムは、それらには限定されず、利用可能なものを適宜選択して適用することができる。

＜報酬の設定方法＞
ここで、報酬の設定方法について説明する。報酬は、ここでは、位置誤差・速度誤差・消費電力の３項目に関して個別に付与ルールを定め、３項目にわたって合計されるものとする。位置誤差や速度誤差は、焦点深度やフォーカス敏感度によって許容量が変化するため、ここでは、許容量に対する割合に基づくルールとする。例えば、当該割合が１００％を下回るほど高い報酬（得点）を与え、当該割合が１００％を上回るほど低い報酬（得点）を与えるものとする。位置誤差は、目標位置と実際の位置との間の差である。目標位置は、推定部１１５が決定した目標とする制御量であり、ログから得られる。実際の位置は、検出部を介してログから得られる。速度誤差は、ここでは、目標とする像面移動速度と実際の像面移動速度との差であり、ログから取得または算出しうる。

例えば、目標とする像面移動速度は、推定部１１５が生成した目標位置のログ（履歴）から算出しうる。実際の像面移動速度は、実際の像面位置のログ（履歴）から算出しうる式（１）の移動量を速度で置換した下式（２）を用いて、ログから得られた、フォーカス敏感度とフォーカスレンズ群の移動速度とから、実際の像面の移動速度を得ることができる。
［像面移動速度］＝［フォーカス敏感度］×［フォーカスレンズ群移動速度］
…（２）

消費電力は、予め定められた上限値を下回るほど高い報酬を与える。機械学習モデルを得るのに、以上のような３項目に関して決まる報酬を用いることができる。

＜機械学習モデルにおける入力データと出力データとの間の相関関係＞
このような報酬設定によって、合焦性能および消費電力の点で有利な機械学習モデルのパラメータを調整することができる。機械学習モデル（ここではニューラルネットワーク）の入力には、機械学習モデルの出力としての、駆動部に対する制御信号とは相関関係を有する情報が含まれている。目標位置と実際の位置とからは、ピントを合わせるために必要なフォーカスレンズ群の移動量が得られる。焦点深度からは、目標位置に対する実際の位置の誤差に関する許容範囲が決まる。よって、当該許容範囲において誤差が小さくなるほど高くなる報酬を設定することにより、好ましい制御信号を期待できる。また、フォーカス敏感度からは、フォーカスレンズ群の移動量を像面移動量に置き換えられるため、像面移動量または像面移動速度の、その目標に対する誤差が小さくなるほど高くなる報酬を設定することにより、好ましい制御信号を期待できる。

＜本実施形態の利点＞
従来のレンズ制御では、位置誤差と速度誤差と消費電力とのそれぞれに関する要求に基づいて個別に設けた条件にしたがって制御内容が切り替わる（分岐する）アルゴリズムを構築していた。

具体的には、焦点深度またはフォーカス敏感度の範囲ごとに位置誤差の許容範囲を設定していた。そのため、制御信号は、それらの範囲の切り替わりに従って不連続に変化し、シームレスな制御を行うことはできなかった。本実施形態では、そのような条件分岐によらず、上述のような機械学習モデルによるため、位置、速度、消費電力の変化がシームレスとなるような制御信号を出力することができる。したがって、本実施形態によれば、制御内容の変化または画像の変化における連続性の点で有利なレンズ装置を提供することができる。

＜他の制御対象＞
本実施形態における制御対象は、フォーカスレンズ群には限定されず、例えば、ズームレンズ群や像振れ補正レンズ群、開口絞り等であってもよい。それらの場合は、機械学習モデル（例えばニューラルネットワーク）に入力するレンズ装置に関する情報（情報群）として、出力する制御信号とは相関関係を有する情報（情報群）を選択すればよい。例えば、ズーム操作環の回転角や、焦点距離、輝度等を含む情報（情報群）を選択すればよい。そうすることで、そのような制御においても、上述した本実施形態に係る効果を享受することができる。

例えば、ズームレンズの駆動制御に機械学習モデルを適用した場合、ズームレンズ群に対する目標位置と画角との情報から、画角変化率（単位時間当たりの画角変化）が一定となるようなズームレンズ群の駆動部への制御信号を得ることができる。この場合、画角変化率が一定に近づくほど高くなる報酬を設定すればよい。また、開口絞りの駆動制御に機械学習モデルを適用した場合、映像の輝度とＦ値とを入力として、映像の輝度変化に基づく（適合した）、開口絞りの駆動部に対する制御信号を得ることができる。例えば、開口絞りの駆動量が同じであっても、輝度が高くＦ値が明るい（小さい）場合は、輝度が低くＦ値が暗い（大きい）場合に比べ、急激な輝度変化となり、映像を見ている者に違和感を与えうる。この場合、輝度変化が小さいほど高くなる報酬を設定しうる。また、像振れ補正レンズ群の駆動制御に機械学習モデルを適用した場合、焦点距離と映像のシフト量とを入力として、焦点距離に基づく、像振れ補正レンズ群の駆動部に対する制御信号を得ることができる。像振れ補正レンズ群の移動量が同じであっても、焦点距離が長い場合は、映像のシフト量が大きくなるため、像振れ補正レンズ群を速く駆動する必要がある。この場合、像振れ補正レンズ群の位置誤差が小さいほど高くなる報酬を設定しうる。また、ジャイロを含む振れセンサは、電源投入後に出力が安定しない時間があるため、振れセンサの起動後の時間を入力とすることにより、当該時間に基づく、像振れ補正レンズ群の駆動部に対する制御信号を得ることができる。この場合、振れセンサの出力のドリフトが大きいほど低くなる報酬を設定しうる。また、撮像装置から得られた、映像のシフトベクトル（動きベクトル）に関する情報を入力とすることにより、当該シフトベクトルに基づく、像振れ補正レンズ群の駆動部に対する制御信号を得ることができる。この場合、シフトベクトルの絶対値が小さいほど高くなる報酬を設定しうる。

また、機械学習モデルに対する入力としては、レンズ装置の姿勢、温度、周囲音量も有用である。姿勢は、レンズや絞りを駆動する場合の重力の影響を変化させる結果、駆動部に必要な駆動トルクも変化させる。温度は、駆動部における潤滑油の特性を変化させる結果、駆動部に必要な駆動トルクも変化させる。周囲音量は、駆動部の駆動音の制約を介して、駆動速度を制約する。従って、以上のような状態量を入力とすることにより、当該状態量に基づく（適合した）、駆動部に対する制御信号を得ることができる。

〔実施形態２〕
＜多群制御（多モデル）に係る実施形態＞
実施形態２は、複数のレンズ群を並行して制御するシステムに関するものであり、ズームレンズ群・フォーカスレンズ群の協調制御の場合を例にして説明する。本実施形態では、２つの光学部材により撮影条件が決定される場合において、一方の光学部材の駆動部に対する制御信号を、他方の光学部材の制御情報をも機械学習モデル（ここではニューラルネットワーク）に入力して得る。なお、本実施形態は、実施形態１とは同様に、フォーカスレンズ群とズームレンズ群との組合せ以外の光学部材の組み合わせでの協調制御にも適用可能である。図６は、実施形態２に係る、学習のためのシステム構成例を示す図である。実施形態１とは異なるのは、一方のレンズ群の駆動部に対する制御信号を出力とするニューラルネットワークへの入力のうち少なくとも１つが他方のレンズ群の位置である点である。図６の構成例において、実施形態１の構成例とは異なる点を説明する。

レンズマイコン１１３（処理部ともいう）は、推定部Ａ７１５ａおよび推定部Ｂ７１５ｂを（制御対象のレンズ群の数に応じて；ここでは２つ）含んでいる。推定部Ａ７１５ａは、フォーカスレンズ群１０５の駆動部に対する制御信号を推定（出力）し、推定部Ｂ７１５ｂは、ズームレンズ群１０２の駆動部に対する制御信号を推定（出力）する。推定部Ａ７１５ａは、カメラ本体２００からの駆動指令に基づいて、ズームレンズ群１０２の位置からフォーカスレンズ群１０５の目標位置を決定し、当該目標位置に基づいてフォーカスレンズ群の駆動部に対する制御信号を出力（生成）する。推定部Ａ７１５ａは、被写体距離とズームレンズ群１０２の位置とフォーカスレンズ群１０５の位置との間の関係を示すテーブル情報を予め保持し、当該テーブル情報からフォーカスレンズ群１０５の目標位置を決定する。決定したフォーカスレンズ群１０５の目標位置は、機械学習パラメータを学習されたＮＮアルゴリズムの入力となる。推定部Ａ７１５ａの出力としての制御信号を与えられた駆動部１１１は、フォーカスレンズ群１０５を光軸に沿って移動させる。他方、推定部Ｂ７１５ｂは、ズームレンズ１０２の駆動部に対する制御信号を得、推定部Ｂ７１５ｂの出力としての制御信号を与えられた駆動部１０６は、ズームレンズ１０２を光軸に沿って移動させる。記憶部１１４は、推定部Ａ７１５ａおよび推定部Ｂ７１５ｂでそれぞれ用いる学習済みの機械学習パラメータを記憶している。

次に、本実施形態における学習部７０３により実行される機械学習パラメータの学習方法（学習済みの機械学習モデルの製造方法）について、実施形態１とは異なる点を説明する。推定部Ａ７１５ａ、制御部Ａ７１６ａ、学習部Ａ７０３ａは、ズームレンズ群１０２の制御において機能し、推定部Ｂ７１５ｂ、制御部Ｂ７１６ｂ、学習部Ｂ７０３ｂは、フォーカスレンズ群１０５の制御において機能する。

ここで、図７は、ズームに関するニューラルネットワークの入出力を例示する図である。当該ニューラルネットワーク（機械学習モデル）は、推定部Ａ７１５ａにおけるものである。まず、入力される情報（Ｘ１ないしＸ６）は、以下のとおりである。Ｘ１は、制御部１１６が決めたフォーカスレンズ群１０５の目標位置である。Ｘ２は、検出部１１２から得られたフォーカスレンズ群１０５の実際の位置（現在位置）である。Ｘ３は、レンズ装置の焦点深度である。Ｘ４は、レンズ装置のフォーカス敏感度である。Ｘ５は、制御部１１６が決めたズームレンズ群１０２の目標位置であり、Ｘ６は、検出部１０７から得られたズームレンズ群１０２の実際の位置である。なお、Ｘ４（フォーカス敏感度）は、フォーカスレンズ群１０５の移動量から像面移動量を得るための情報（値）である。出力される情報Ｙ２は、ズームレンズ群１０２の駆動部１０６に対する制御信号である。以上から分かるように、ニューラルネットワーク（機械学習モデル）には、ズームレンズ群１０２に係る制御信号を出力するにあたって、ズームレンズ群１０２とは別のレンズ群としてのフォーカスレンズ群１０５の情報を入力している。

図８は、フォーカスに関するニューラルネットワークの入出力を例示する図である。当該ニューラルネットワーク（機械学習モデル）は、推定部Ｂ７１５ｂにおけるものである。まず、入力される情報（Ｘ１ないしＸ６）は、以下のとおりである。Ｘ１は、制御部１１６が決めるフォーカスレンズ群１０５の目標位置である。Ｘ２は、検出部１１２から得られたフォーカスレンズ群１０５の実際の位置（現在位置）である。Ｘ３は、レンズ装置の焦点深度である。Ｘ４は、レンズ装置のフォーカス敏感度である。Ｘ５は、制御部１１６が決めたズームレンズ群１０２の目標位置である。Ｘ６は、検出部１０７から得られたズームレンズ群１０２の実際の位置である。出力される情報Ｙ１は、フォーカスレンズ群１０５の駆動部１１１に対する制御信号である。Ｘ４（フォーカス敏感度）は、ズームレンズ群１０２の移動量から像面移動量を得るための情報（値）である。以上から分かるように、ニューラルネットワーク（機械学習モデル）には、フォーカスレンズ群１０５に係る制御信号を出力するにあたって、フォーカスレンズ群１０５とは別のレンズ群としてのズームレンズ群１０２の情報を入力している。

機械学習モデル（機械学習パラメータ）の製造方法は、ＰＣ４００における学習部Ａ７０３ａおよび学習部Ｂ７０３ｂならびに処理部１１３における推定部Ａ７１５ａおよび推定部Ｂ７１５ｂにより実行されうる。その手順は、実施形態１におけるものと同様としうる。

＜本実施形態の利点＞
本実施形態に係る上述のような互いに異なる２つの機械学習済みモデル（ニューラルネットワーク）をそれぞれズームレンズ群１０２の制御とフォーカスレンズ群１０５の制御とに組み込むことにより、当該２つのレンズ群の相互協調制御が可能になる。これにより、ズームレンズ群にフォーカスレンズ群を追従させるのみの先行技術とは異なり、ズームレンズ群とフォーカスレンズ群とが相互に協調するような制御が可能となる。その結果、先行技術ではできなかった、フォーカスレンズ群の位置精度不足または速度不足のズームレンズ群の制御による補償ができることになる。

＜他の制御対象＞
なお、本実施形態では、フォーカス制御を扱ったが、協調制御は、それには限定されない。例えば、フォーカスレンズ群の移動による画角変化（画界変化）をズームレンズ群の移動により補償するためのフォーカスレンズ群とズームレンズ群との間の協調制御にも適用できる。また、ズームレンズ群の移動によるＦ値の変化を開口絞りの開口径（開口度）の調節により補償するためのズームレンズ群と開口絞りとの間の協調制御にも適用できる。像振れ補正のための、複数の像振れ補正レンズの間の協調制御や、像振れ補正レンズと像振れ補正撮像素子との間の協調制御、像振れ補正レンズと像振れ補正画像処理との間の協調制御等、像ブレ補正を行う複数の制御系の間の協調制御にも適用できる。

〔実施形態３〕
＜多群制御（１モデル）に係る実施形態＞
実施形態３も、実施形態２とは同様に、複数のレンズ群を並行して制御するシステムに関するものである。複数のレンズ群の並行制御を単一の機械学習モデル（ここではニューラルネットワーク）により行う点が実施形態２とは異なる。以下、フォーカス制御の例を説明する。

本実施形態は、２つのレンズ群により撮影条件（ここでは合焦状態または物体距離）が決定される場合に関する。その場合において、双方のレンズ群に関する情報を入力とし、双方のレンズ群の駆動部に対する制御信号を出力とする単一の機械学習モデル（ここではニューラルネットワーク）を用いる。図９は、実施形態３に係る、学習のためのシステム構成例を示す図である。実施形態１および実施形態２とは異なる点について以下に説明をする。処理部１１３に含まれている推定部８１５は、単一の機械学習モデル（ここではニューラルネットワーク）を含んで構成されている。当該ニューラルネットワークに入力されるレンズ装置の情報は、ズームレンズ群１０２およびフォーカスレンズ群１０５の位置情報を含み、ニューラルネットワークからの出力される情報は、それら双方のレンズ群の駆動部に対する制御信号となっている。それらの制御信号に基づいて、ズームレンズ群１０２とフォーカスレンズ群１０５とが並行して制御されることになる。

以上のように、推定部８１５は、ズームレンズ群１０２およびフォーカスレンズ群１０５双方の制御信号を並行して出力する。当該制御信号に従って、フォーカスレンズ駆動部１１１がフォーカスレンズ１０５を、ズームレンズ駆動部１０６がズームレンズ１０２を、それぞれ光軸に沿って移動させる。なお、記憶部１１４は、推定部８１５が用いる学習済みの機械学習パラメータを記憶している。

ここで、本実施形態における学習部８０３により実行される機械学習パラメータの学習方法（学習済みの機械学習モデルの製造方法）について、実施形態１とは異なる点を説明する。推定部８１５は、予め決められた、特定の変化パターンで駆動部１０６および駆動部１１１のための指令を生成する学習用プログラムが組み込まれている。学習用プログラムが動作している場合のログとして、推定部８１５に入力された情報および推定部８１５が出力した情報が取得される。ここで、図１０は、ニューラルネットワークの入出力を例示する図である。以下に、ニューラルネットワークに対する入力の情報を例示する。Ｘ１は、制御部１１６が決めたフォーカスレンズ群に対する指令である。Ｘ２は、検出部１１２から得られたフォーカスレンズ群１０５の実際の位置（現在位置）である。Ｘ３は、レンズ装置の焦点深度である。Ｘ４は、レンズ装置の上述のフォーカス敏感度である。Ｘ５は、制御部１１６が決めたズームレンズ群に対する指令である。Ｘ６は、検出部１０７から得られたズームレンズ群１０２の実際の位置である。Ｘ７は、ズームレンズ群１０２の移動に係るフォーカス敏感度（上述の式（１）において、［フォーカスレンズ群の移動量］を［ズームレンズ群の移動量］に置換して得られる「フォーカス敏感度」）である。Ｙ１は、駆動部１１１に対する制御信号であり、Ｙ２は、駆動部１０６に対する制御信号である。以上に説明した学習済みの機械学習モデルの製造（方法）は、ＰＣ４００の学習部８０３および処理部１１３の推定部８１５により実行されうる。当該製造（学習）の手順は、実施形態１におけるそれ（図５）とは同様としうる。

＜本実施形の利点＞
本実施形態により、２つのレンズ群の協調制御を単一の機械学習モデル（ニューラルネットワーク）で行うことができる。ズームレンズ群１０２の制御とフォーカスレンズ群１０５の制御との間に共通の処理がある場合は、ニューラルネットワークの内部において１つの処理に統合することができるため、処理部１１３の負荷を軽減することができる。これにより、実施形態２と比較した場合、推定部８１５の処理時間の短縮に有利となりうる。また、協調制御の同期性の点で有利となりうる。

＜他の制御対象＞
本実施形態は、フォーカス制御を扱ったが、協調制御は、それには限定されない。この点は、実施形態２の場合とは同様である。

〔実施形態４〕
＜補助的制御に係る実施形態＞
図１１は、実施形態４に係る、学習のためのシステム構成例を示す図である。本実施形態では、フォーカスレンズ群１０５に対してＰＩＤ制御を行う制御部１５１６と、制御部１５１６での制御を補助する制御を行う推定部１５１５とを有している点で、上述の実施形態とは異なっている。以下、フォーカス制御の例を説明する。

例えば、レンズ装置の姿勢・温度、レンズ装置に作用する重力、レンズ装置の駆動部における潤滑油等、レンズ装置の様々な状態または使用環境に適応した制御をＰＩＤ制御のみで行うのは困難である。また、駆動対象の動き出しおよび止まり際に関しては、動摩擦と静摩擦とが互いに切り替わるため、制御の精度や、安定した制御が困難となりうる。撮像装置においては、当該困難を伴う制御の下で得られた映像を視聴者が不快に感じる場合がありうる。本実施形態は、当該困難に鑑み、当該動き出しまたは当該止まり際のような制御の精度または安定性の点で不利な場合において、機械学習モデル（ここではニューラルネットワーク）を用いた補助的な制御を行う。

本実施形態は、フォーカス制御部１５１６、推定部１５１５、ＰＣ通信部１５２２、学習部１５０３を有する点で実施形態１とは異なっている。以下、図１１の構成例について、実施形態１のそれとは異なる点を説明する。

＜本実施形態に係るフォーカス制御＞
本実施形態に係るフォーカス制御において実施形態１におけるそれとは異なる点は、制御部１５１６および推定部１５１５を有している点である。本実施形態における制御部１５１６について図１３を参照して説明する。ここで、図１３は、実施形態４に係る制御系の構成例を示す図である。同において、Ｇ１は、通信部１１７から出力された駆動部１１１に対する目標位置である。Ｐ１は、検出部１１２から得られたフォーカスレンズ群１０５の実際の位置（現在位置）である。Ｅ１は、Ｇ１とＰ１との間の差（偏差）である。１５１６ａは、Ｐ制御処理を行うＰ制御器であり、１５１６ｂは、Ｉ制御処理を行うＩ制御器であり、１５１６ｃは、Ｄ制御処理を行うＤ制御器である。Ｏ１は、駆動部１１１に対する制御信号である。Ｘ１、Ｘ２、Ｘ３、Ｘ４は、図５におけるものと同じである。Ｙ１は、制御部１５１６の出力Ｏ１を制御の精度や安定性の点で有利なものとするための機械学習モデルの出力である。Σ１は、偏差Ｅ１を得るための演算部（減算器）であり、Σ２は、各制御器１５１６ａないし１５１６ｃからの出力の加算を行って制御信号Ｏ１を得るための演算部（加算器）である。

制御部１５１６は、目標位置Ｇ１、実際の位置Ｐ１との間の偏差Ｅ１を生成する。Ｐ制御器１５１６ａは、偏差Ｅ１に特定のゲインを乗じて得られた値を出力する。Ｉ制御器１５１６ｂは、偏差Ｅ１の積分値に特定のゲインを乗じて得られた値を出力する。Ｄ制御器１５１６ｃは、偏差Ｅ１の微分値に特定のゲインを乗じて得られた値を出力する。推定部１５１５がＸ１、Ｘ２、Ｘ３、Ｘ４に基づいてＹ１を出力する方法は、実施形態１におけるものと同様である。制御部１５１６は、Σ２により、Ｐ制御器１５１６ａの出力、Ｉ制御器１５１６ｂの出力、Ｄ制御器１５１６ｃの出力、推定部１５１５の出力Ｙ１を加算し、得られた制御信号Ｏ１を出力する。このようにして、フォーカスレンズ群１０５が制御される。

ここで、Σ２において推定部１５１５の出力Ｙ１を加算するか否かを特定の条件に基づいて判断してもよい。例えば、カメラ本体２００の処理部２０５からの動画撮影中であるか否かの情報に基づいて、動画撮影中である場合にはＹ１を加算し、それ以外の場合にはＹ１を加算しないようにしてもよい。フォーカスレンズ群１０５の動き出し又は止まり際での撮影がなされうる動画撮影の場合には、当該動きだし又は止まり際でのフォーカスレンズ群１０５の滑らかな動きを実現するために、推定部１５１５の出力Ｙ１を加算するようにしてもよい。そうすることにより、処理部１１３の処理負荷を軽減することができる。また、速度ムラが目立ちやすいフォーカスレンズ群１０５を閾値以下の低速で移動させる場合には、推定部１５１５の出力Ｙ１を加算するようにしてもよい。また、焦点深度が閾値以下であるために位置精度が求められる場合には、推定部１５１５の出力Ｙ１を加算するようにしてもよい。また、動画記録中の場合には、推定部１５１５の出力Ｙ１を加算するようにしてもよい。

＜学習済みの機械学習パラメータ（機械学習モデル）の製造方法＞
当該製造方法は、処理部１１３における推定部１５１５および通信部１５２２、ならびにＰＣ４００における学習部１５０３の構成において実施形態１におけるものとは異なる。推定部１５１５は、機械学習モデルの学習や動作の対象が、上述したようなフォーカスレンズ群１０５を移動させる特定の場合に限られている点である。例えば、学習用のプログラムは、フォーカスレンズ群１０５の動き出し又は止まり際を局限的に繰り返すものとしうる。また、当該プログラムは、レンズ装置１００の姿勢や温度等の互いに異なる状態または環境ごとに学習が実施されるものとしうる。

また、通信部１５２２から通信部４０４へ送信されるログの情報の点でも異なる。当該ログは、推定部１１５に関する入力および出力だけでなく、制御部１５１６に関する入力および出力も含まれる。なお、以上の点以外の学習方法は、実施形態１におけるものとは同様としうる。

＜本実施形態の利点＞
本実施形態により、レンズの制御に関して機械学習モデルを用いた制御とそれ以外の制御とを組み合わせることができる。これによって、機械学習モデルの学習範囲を限定して学習に要する時間を短縮したり、機械学習モデルの規模を小さくして推定部１１５の処理時間を短縮したりすることができる。また、例えば、高精度な制御が求められる場面には、機械学習モデルを用いた制御を適用し、それ以外の場合には、それ以外の制御を用いることにより、処理部１１３の処理負荷や消費電力を低減するようなこともできる。

＜他の制御対象＞
本実施形態は、フォーカス制御を扱ったが、補助的制御は、それには限定されない。この点は、実施形態２の場合とは同様である。なお、例えば、ズーム制御において、速度ムラが目立ちやすい閾値以下の低速でズームを行う（ズームレンズ群１０２を移動させる）場合に、補助的制御（推定部の出力の加算）行うようにしてもよい。

また、本実施形態は、ＰＩＤ制御と機械学習モデルとの組み合わせを例に示したが、互いに異なる機械学習モデルどうしの組合せとしてもよい。また、動き出しの場合と止まり際の場合とのそれぞれに対応する２つの学習モデルのような互いに異なる複数の機械学習モデルをＰＩＤ制御のような他の制御に組み合わせてもよい。

＜プログラム・記憶媒体・データ構造に係る実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムまたはデータ構造を、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーもしくは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１００ レンズ装置
１０６ 光学部材
１１１ 駆動部
１１３ 処理部
１２１ 検出部

Claims (14)

1. 第１光学部材および第２光学部材を有するレンズ装置であって、
   前記第１光学部材の駆動により前記レンズ装置の光学特性を変化させる第１駆動部、および前記第２光学部材の駆動により該光学特性を変化させる第２駆動部と、
   前記第１光学部材の駆動に関する第１状態を検出する第１検出部、および前記第２光学部材の駆動に関する第２状態を検出する第２検出部と、
   前記第１状態に関する第１情報および前記第２状態に関する第２情報に基づいて、前記第１駆動部に対する第１制御信号および前記第２駆動部に対する第２制御信号を生成する処理部とを有し、
   前記処理部は、前記第１情報および前記第２情報に基づいて、前記第１制御信号および前記第２制御信号に関する出力を並行して生成する単一の機械学習モデルを含み、
   前記第１情報および前記第２情報を入力としたときの前記第１情報に関する報酬に基づいて、前記機械学習モデルの機械学習パラメータを調整する学習部を更に有し、
   前記学習部は、前記第１状態に関する値の目標値に対する誤差が小さくなるほど高くなるように前記報酬を設定することを特徴とするレンズ装置。
2. 前記第１情報は、前記第１状態としての前記第１光学部材の位置と該位置に対応する目標位置とに関する情報を含むことを特徴とする請求項１に記載のレンズ装置。
3. 前記第１駆動部は、ズーミングに際して前記前記第１光学部材を移動させ、
   前記第１情報は、前記第１光学部材の位置と前記レンズ装置の画角との関係に関する情報、前記第１光学部材の移動量と前記レンズ装置の像面の移動量との関係に関する情報、前記レンズ装置の焦点深度に関する情報のうちの少なくとも一つを含むことを特徴とする請求項１または２に記載のレンズ装置。
4. 前記第２駆動部は、フォーカシングに際して前記第２光学部材を移動させ、
   前記第２情報は、前記第２光学部材の移動量と前記レンズ装置の像面の移動量との関係に関する情報、前記レンズ装置の焦点深度に関する情報、前記レンズ装置の物体距離に関する情報のうちの少なくとも一つを含むことを特徴とする請求項３に記載のレンズ装置。
5. 前記第２駆動部は、像振れ補正に際して前記第２光学部材を移動させ、
   前記第２情報は、前記第２光学部材の移動量と前記レンズ装置の像の移動量との関係を示す情報を含むことを特徴とする請求項３に記載のレンズ装置。
6. 前記第２駆動部は、前記第２光学部材としての開口絞りの開口径を変化させ、
   前記第２情報は、前記レンズ装置のＦ値に関する情報、前記レンズ装置を介して得られる画像の輝度に関する情報、前記第１光学部材の位置と前記開口絞りの開口度と前記レンズ装置のＦ値との関係に関する情報のうちの少なくとも一つを含むことを特徴とする請求項３に記載のレンズ装置。
7. 前記機械学習モデルは、ニューラルネットワークを含むことを特徴とする請求項１ないし６のうちいずれか一項に記載のレンズ装置。
8. 前記処理部は、前記制御信号に関する出力を生成する、前記機械学習モデルとは異なる制御部を含み、
   前記機械学習モデルは、前記制御部により生成された出力の変更を行って前記制御信号を得るための出力を生成することを特徴とする請求項１ないし７のうちいずれか一項に記載のレンズ装置。
9. 前記処理部は、予め定められた条件が満たされた場合に、前記変更を行うことを特徴とする請求項８に記載のレンズ装置。
10. 前記条件は、前記レンズ装置を介して行われる撮像に関する条件を含むことを特徴とする請求項９に記載のレンズ装置。
11. 前記撮像に関する条件は、前記撮像が動画の撮像であること、前記撮像により動画の記録が行われること、閾値以下の低速でズームが行われること、閾値以下の焦点深度で動画の撮像が行われることのうち少なくとも一つを含むことを特徴とする請求項１０に記載のレンズ装置。
12. 請求項１ないし１１のうちいずれか一項に記載のレンズ装置と、
    前記レンズ装置により形成された像を撮る撮像素子とを有することを特徴とする撮像装置。
13. 第１光学部材および第２光学部材の駆動により光学特性が変化するレンズ装置の制御方法であって、
    前記第１光学部材の駆動に関する第１状態および前記第２光学部材の駆動に関する第２状態を検出する第１ステップと、
    前記第１状態に関する第１情報および前記第２状態に関する第２情報に基づいて、前記第１光学部材の駆動を制御するための第１制御信号および前記第２光学部材の駆動を制御するための第２制御信号を生成する第２ステップとを有し、
    前記第２ステップでは、単一の機械学習モデルに前記第１情報および前記第２情報を入力することで、前記第１制御信号および前記第２制御信号に関する出力を並行して生成し、
    前記機械学習モデルの機械学習パラメータは、前記第１情報および前記第２情報を入力としたときの前記第１情報に関する報酬に基づいて調整され、
    前記報酬は、前記第１状態に関する値の目標値に対する誤差が小さくなるほど高くなるように設定されることを特徴とする制御方法。
14. 請求項１３に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images