JPWO2002067193A1 - 信号処理装置 - Google Patents

Abstract

本発明は、ユーザの操作を、ユーザが知らないうちに学習し、その学習結果に基づいて、そのユーザにとって最適な処理を行うことができるようにした信号処理装置に関する。学習部２２において、ユーザの操作に応じて供給される操作信号がモニタされ、学習に用いることができるかどうかが判定される。そして、操作信号が、学習に用いることのできる学習用操作信号である場合には、学習部２２は、その学習用操作信号に基づいて、入力信号を補正する規範である補正規範を学習する。一方、補正部２１では、入力信号が、学習により得られた補正規範に基づいて補正され、その補正後の信号が、出力信号として出力される。本発明は、ノイズを除去するＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）回路に適用できる。

Description

技術分野
本発明は、信号処理装置に関し、特に、例えば、ユーザの操作により、処理の内容や、処理の構造を変更することで、そのユーザにとって最適な処理を行うことができるようにする信号処理装置に関する。
背景技術
例えば、従来のＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）回路においては、ユーザが、その調整用のつまみを操作して、所定の位置に設定すると、そのつまみの位置に対応するノイズ除去処理が行われる。
ところで、ＮＲ回路に入力される信号のＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）や周波数特性等は、常に一定であるとは限らず、むしろ変化するのが一般的である。そして、ＮＲ回路に入力される信号のＳ／Ｎや周波数特性等が変化した場合、ユーザがつまみを操作して設定した位置に対応するノイズ除去処理において、ＮＲ回路に入力される信号に対して適切な処理が施されるとは限らず、このため、ユーザは、自身にとって適切なノイズ除去処理が施されるように、頻繁に、つまみを操作する必要があり、面倒であった。
発明の開示
本発明は、このような状況に鑑みてなされたものであり、ユーザの操作により、処理の内容や、処理の構造を変更することで、そのユーザにとって最適な処理を行うことができるようにするものである。
本発明の信号処理装置は、入力信号を信号処理する信号処理手段と、信号処理手段の信号処理結果を出力する出力手段とを備え、ユーザの操作に応じて供給される操作信号に基づいて、信号処理手段の処理の構造が変更されることを特徴とする。
前記信号処理手段には、入力信号より特徴を検出する特徴検出手段と、特徴検出手段により検出された特徴に基づいて、入力信号に対する処理の内容を決定する処理決定手段と、処理決定手段により決定された処理の内容に従って、入力信号への処理を実行する処理実行手段とを設けるようにさせることができ、操作信号に基づいて、特徴検出手段、処理決定手段、または、処理実行手段のうちの少なくともいずれかの処理の構造が変更されるようにすることができる。
前記出力手段には、信号処理手段の信号処理結果を呈示する呈示手段を含ませるようにすることができる。
前記操作信号に基づいて、特徴検出手段の処理の構造が変更されるようにすることができる。
前記操作信号は、複数種類の特徴のうちの、所定数の特徴の種類を指定する信号とするようにすることができ、特徴検出手段には、所定数の種類の特徴を検出するように、その処理の構造を変更させるようにすることができる。
前記特徴検出手段には、入力信号より所定数の種類の特徴を検出させるようにすることができ、処理決定手段には、特徴検出手段により入力信号より検出された所定数の種類の特徴に基づいて、入力信号に対する処理実行手段における処理の内容を決定させるようにすることができる。
前記入力信号は、画像信号とするようにすることができ、処理決定手段には、特徴検出手段により入力信号より検出された所定数の種類の特徴に基づいて、入力信号に対する処理の内容として、入力信号をそのまま出力するか否かを決定させるようにすることができ、処理実行手段には、処理決定手段の決定に従い、入力信号を選択的に出力することにより、入力信号である画像信号中のテロップを検出させるようにすることができる。
前記特徴検出手段には、操作信号に基づいて、予め用意されている特徴と異なる新たな種類の特徴を検出するように、その処理の構造を変更させるようにすることができる。
前記特徴検出手段は、予め用意されている特徴のダイナミックレンジ、最大値、中央値、最小値、和、分散、特徴が閾値よりも大きな入力信号の数、または特徴の線形一次結合を、新たな種類の特徴として検出させるようにすることができる。
前記操作信号に基づいて、処理決定手段の処理の構造が変更されるようにすることができる。
前記処理決定手段には、特徴の各値と、その値の特徴を有する入力信号に対する処理の内容との対応関係である特徴／処理対応関係を記憶させておくようにすることができ、特徴／処理対応関係において、入力信号から検出された特徴の値と対応付けられている処理の内容を、その入力信号に対する処理の内容として決定させるようにすることができる。
前記処理決定手段には、操作信号に基づいて、特徴／処理対応関係における処理の内容を変更することにより、その処理の構造を変更させるようにすることができる。
前記特徴／処理対応関係においては、入力信号に対して、第１の値の出力信号を出力する処理と、第２の値の出力信号を出力する処理との２つの処理の内容が存在するようにさせることができ、処理実行手段には、処理決定手段の決定に従い、入力信号を第１と第２の値に２値化させるようにすることができる。
前記操作信号に基づいて、処理実行手段の処理の構造が変更されるようにすることができる。
前記処理実行手段には、所定の学習用データより教師データを生成する教師データ生成手段と、学習用データより生徒データを生成する生徒データ生成手段と、生徒データと所定の予測係数との線形結合により求められる教師データの予測値と、その教師データとの誤差を最小とする予測係数を学習する学習手段と、入力信号と、学習手段により求められた予測係数とを線形結合することにより、出力信号を生成する出力信号生成手段とを設けるようにさせることができる。
前記学習手段には、誤差のＮ乗であるＮ乗誤差を、統計的に最小にする最小Ｎ乗誤差法により予測係数を学習させるようにすることができ、操作信号に基づいて、誤差のＮ乗を変更することにより、その処理の構造を変更させるようにすることができる。
前記学習手段には、Ｎ乗誤差として、２乗誤差と、操作信号に応じた重みとの積を採用することにより、操作信号に基づいて、誤差のＮ乗を変更させるようにすることができる。
前記学習手段には、操作信号に対応するＮ乗を用いたＮ乗誤差として、２乗誤差と、最小Ｎ’乗誤差法により求められる予測係数を用いて演算される教師データの予測値のＮ−２乗誤差との積を採用させるようにすることができる。
前記学習手段には、処理決定手段が決定する処理の内容毎に、予測係数を学習させるようにすることができ、出力生成手段には、入力信号と、その入力信号について処理決定手段が決定する処理の内容に対応する予測係数との線形結合により、出力信号を生成させるようにすることができる。
前記信号処理手段には、操作信号をモニタし、学習に用いることができるかどうかを判定する判定手段と、学習に用いることのできる操作信号である学習用操作信号に基づいて、入力信号を補正する規範である補正規範を学習する学習手段と、入力信号を、学習により得られた補正規範に基づいて補正し、その補正後の信号を、出力信号として出力する補正手段とを設けるようにさせることができる。
前記信号処理手段には、所定の学習用データより教師データを生成する教師データ生成手段と、学習用データより生徒データを生成する生徒データ生成手段と、生徒データと所定の予測係数との線形結合により求められる教師データの予測値と、その教師データとの誤差を最小とする予測係数を学習する学習手段と、入力信号と、学習手段により求められた予測係数とを線形結合することにより、出力信号を生成する出力信号生成手段とを設けるようにさせることができる。
前記信号処理手段には、誤差のＮ乗であるＮ乗誤差を、統計的に最小にする最小Ｎ乗誤差法により予測係数を学習させるようにすることができ、操作信号に基づいて、誤差のＮ乗を変更することにより、その処理の構造を変更させるようにすることができる。
前記学習手段には、Ｎ乗誤差として、２乗誤差と、操作信号に応じた重みとの積を採用することにより、操作信号に基づいて、誤差のＮ乗を変更させるようにすることができる。
前記学習手段には、操作信号に対応するＮ乗を用いたＮ乗誤差として、２乗誤差と、最小Ｎ’乗誤差法により求められる予測係数を用いて演算される教師データの予測値のＮ−２乗誤差との積を採用させるようにすることができる。
本発明の信号処理方法は、入力信号を信号処理する信号処理ステップと、信号処理ステップの処理での信号処理結果を出力する出力ステップとを含み、ユーザの操作に応じて供給される操作信号に基づいて、信号処理ステップの処理の構造が変更されることを特徴とする。
本発明の記録媒体のプログラムは、入力信号の信号処理を制御する信号処理制御ステップと、信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御ステップとを含み、ユーザの操作に応じて供給される操作信号に基づいて、信号処理制御ステップの処理の構造が変更されることを特徴とする。
本発明のプログラムは、入力信号の信号処理を制御する信号処理制御ステップと、信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御ステップとをコンピュータに実行させ、ユーザの操作に応じて供給される操作信号に基づいて、信号処理制御ステップの処理の構造が変更されることを特徴とする。
本発明においては、入力信号が信号処理され、信号処理結果が出力され、ユーザの操作に応じて供給される操作信号に基づいて、信号処理における処理の構造が変更される。
発明を実施するための最良の形態
図１は、本発明を適用した最適化装置の一実施の形態の構成例を示している。最適化装置は、入力信号に対して所定の処理（信号処理）を実行した後、その処理の結果得られる信号を出力信号として出力する。ユーザは、この出力信号を吟味（定性的に評価）して、自らの好みの出力信号ではない場合、ユーザの好みに対応した操作信号を最適化装置に入力する。最適化装置は、この操作信号に基づいて、処理の内容、および、処理の構造を変更し、再び入力信号に所定の処理を施し、出力信号を出力する。最適化装置は、このようにユーザの操作により入力される操作信号に対応して、処理の内容、および、処理の構造の変更を繰り返しながら、最適な処理（ユーザにとって最適な処理）を入力信号に施し、ユーザの好みにより近い出力信号を出力する。
図２は、図１の最適化装置の第１の詳細構成例を示している。
この最適化装置１においては、ユーザの操作を、ユーザが知らないうちに学習することにより、そのユーザにとって最適な処理を行うようになっている。即ち、最適化装置では、ユーザの操作に応じて供給される操作信号がモニタされ、学習に用いることができるかどうかが判定される。そして、操作信号が、学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、入力信号を補正する規範である補正規範が学習される。一方、入力信号は、学習により得られた補正規範に基づいて補正され、その補正後の信号が、出力信号として出力される。
最適化装置１は、補正部２１と学習部２２からなる処理部１１から構成されており、そこには、処理の対象となる入力信号の他、ユーザの操作に対応した操作信号が供給されるようになっている。
操作信号は、操作部２から供給されるようになっている。即ち、操作部２は、例えば、ロータリ型やスライド型のつまみや、スイッチ、ポインティングデバイス等で構成されており、ユーザの操作に対応した操作信号を、最適化装置１を構成する処理部１１に供給する。
最適化装置１を構成する補正部２１には、例えば、ディジタルの入力信号が供給されるとともに、学習部２２から、入力信号を補正する補正規範としての、例えば、補正パラメータが供給されるようになっている。補正部２１は、入力信号を、補正パラメータに基づいて補正（信号処理）し、その補正後の信号を、出力信号として出力する。
学習部２２には、操作部２からの操作信号が供給されるとともに、必要に応じて、入力信号または出力信号が供給されるようになっている。学習部２２は、操作信号をモニタし、学習に用いることができるかどうかを判定する。そして、学習部２２は、操作信号が、学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づき、入力信号を補正するのに用いられる補正パラメータを、必要に応じて、入力信号や出力信号を用いて学習し、補正部２１に供給する。
なお、学習部２２は、学習用データメモリ５３と学習情報メモリ５５とを内蔵しており、学習用データメモリ５３は、学習に用いられる学習用データを記憶し、学習情報メモリ５５は、学習によって得られる、後述する学習情報を記憶する。
次に、図３のフローチャートを参照して、図２の最適化装置１が行う処理（最適化処理）について説明する。
まず最初に、ステップＳ１において、学習部２２は、操作部２から学習用操作信号を受信したかどうかを判定する。ここで、ユーザは、操作部２を操作する場合、最初は、適当な操作を行い、その操作に応じて出力される出力信号を確認しながら、細かな操作を行って、最終的に最適であると思った出力信号が得られた時点で、操作を停止するのが一般的である。この、ユーザが最適であると思った出力信号が得られた時点における、操作部２の位置に対応する操作信号が、学習用操作信号であり、このため、学習部２２は、操作部２の操作が所定時間以上続いた後に、その操作が停止された場合に、その停止されたときの操作信号を、学習用操作信号と判定するようになっている。
ステップＳ１において、学習用操作信号を受信していないと判定された場合、即ち、例えば、ユーザが操作部２を操作していないか、あるいは、操作していても、最適な位置を探しているような操作をしている場合、ステップＳ２乃至Ｓ１０をスキップして、ステップＳ１１に進み、補正部２１は、入力信号を、既に設定されている補正パラメータにしたがって補正し、その補正結果としての出力信号を出力して、ステップＳ１に戻る。
また、ステップＳ１において、学習用操作信号を受信したと判定された場合、ステップＳ２に進み、学習部２２は、その学習用操作信号に基づいて、学習に用いる学習用データを取得し、ステップＳ３に進む。ステップＳ３では、学習用データメモリ５３が、ステップＳ２で取得された最新の学習用データを記憶する。
ここで、学習用データメモリ５３は、複数の学習用データを記憶することのできる記憶容量を有している。また、学習用データメモリ５３は、その記憶容量分だけの学習用データを記憶すると、次の学習用データを、最も古い記憶値に上書きする形で記憶するようになっている。従って、学習用データメモリ５３には、複数の学習用データであって、最近のものが記憶される。
ステップＳ３で学習用データメモリ５３に学習用データを記憶した後は、ステップＳ４に進み、学習部２２は、学習用データメモリ５３に記憶された最新の学習用データと、学習情報メモリ５５に記憶された学習情報とを用いて学習を行い、補正パラメータを求めて、ステップＳ５に進む。ステップＳ５では、学習部２２は、ステップＳ４の学習の途中で得られる新たな学習情報によって、学習情報メモリ５５の記憶内容を更新し、ステップＳ６に進む。
ステップＳ６では、学習部２２は、ステップＳ４で求めた補正パラメータの適正さを表す、後述するような適正度を求め、ステップＳ７に進み、その適性度に基づいて、ステップＳ４で求めた補正パラメータが適正であるかどうかを判定する。
ステップＳ７において、補正パラメータが適正であると判定された場合、ステップＳ８およびＳ９をスキップして、ステップＳ１０に進み、学習部２２は、その適正であると判定した補正パラメータを、補正部２１に出力して、ステップＳ１１に進む。従って、この場合、それ以降は、補正部２１において、ステップＳ４の学習で求められた新たな補正パラメータにしたがって、入力信号が補正される。
一方、ステップＳ７において、補正パラメータが適正でないと判定された場合、ステップＳ８に進み、学習部２２は、学習用データメモリ５３に記憶された学習用データのうちの、最近の学習用データのみを用いて学習を行い、補正パラメータを求めて、ステップＳ９に進む。ステップＳ９では、学習部２２は、ステップＳ８の学習の途中で得られる新たな学習情報によって、学習情報メモリ５５の記憶内容を更新し、ステップＳ１０に進む。この場合、ステップＳ１０では、学習部２２は、ステップＳ８で最近の学習用データのみから得られた補正パラメータを、補正部２１に出力して、ステップＳ１１に進む。従って、この場合、それ以降は、補正部２１において、ステップＳ８の学習で求められた新たな補正パラメータにしたがって、入力信号が補正される。
次に、図４は、図２の処理部１１を、例えば、画像信号や音声信号からノイズを除去するＮＲ回路に適用した場合の詳細構成例を示している。
重みメモリ３１は、学習部２２の、後述する選択部４１から供給される補正パラメータとしての重み（係数）Ｗ（例えば、０以上１以下の値）を記憶する。重みメモリ３２は、演算器３３から供給される重み１−Ｗを記憶する。
演算器３３は、学習部２２の選択部４１から供給される重みＷを、１．０から減算した減算値１−Ｗを、重みとして、重みメモリ３２に供給する。演算器３４は、入力信号と、重みメモリ３２に記憶された重み１−Ｗとを乗算し、その乗算値を、演算器３６に供給する。演算器３５は、重みメモリ３１に記憶された重みＷと、ラッチ回路３７に記憶（ラッチ）された出力信号とを乗算し、その乗算値を、演算器３６に供給する。演算器３６は、演算器３４，３５の両者の出力を加算し、その加算値を、出力信号として出力する。
ラッチ回路３７は、演算器３６が出力する出力信号をラッチし、演算器３５に供給する。
図４の実施の形態では、以上の重みメモリ３１および３２、演算器３３，３４，３５、および３６、並びにラッチ回路３７によって、処理部１１の補正部２１が構成されている。
選択部４１は、重み補正部４６が出力する重み、または操作信号処理部５０が出力する重みのうちのいずれか一方を選択し、補正パラメータとして、補正部２１に供給する。
入力信頼度計算部４２には、入力信号が供給されるようになっており、その入力信号の信頼性を表す入力信頼度を求めて、出力信頼度計算部４３と重み計算部４５に出力する。出力信頼度計算部４３は、入力信頼度計算部４２からの入力信頼度に基づいて、出力信号の信頼性を表す出力信頼度を求め、ラッチ回路４４と重み計算部４５に供給する。ラッチ回路４４は、出力信頼度計算部４３からの出力信頼度を記憶（ラッチ）し、出力信頼度計算部４３および重み計算部４５に供給する。
重み計算部４５は、入力信頼度計算部４２からの入力信頼度と、出力信頼度計算部４３からの出力信頼度とから、重みを計算し、重み補正部４６に出力する。重み補正部４６には、重みの他、パラメータ制御データメモリ５７から、補正パラメータとしての重みを制御するパラメータ制御データが供給されるようになっており、重み補正部４６は、重みを、パラメータ制御データによって処理（補正）し、選択部４１に供給する。
操作信号処理部５０には、操作部２（図２）から操作信号が供給されるようになっており、操作信号処理部５０は、そこに供給される操作信号を処理し、その操作信号に対応する重みを、選択部４１、教師データ生成部５１、および生徒データ生成部５２に供給する。さらに、操作信号処理部５０は、操作信号が、上述した学習用操作信号かどうかを判定し、操作信号が学習用操作信号である場合には、その旨のフラグ（以下、適宜、学習フラグという）を、出力する重みに付加する。
教師データ生成部５１は、操作信号処理部５０から、学習フラグ付きの重みを受信すると、学習の教師となる教師データを生成し、学習用データメモリ５３に供給する。即ち、教師データ生成部５１は、学習フラグが付加されている重みを、教師データとして、学習用データメモリ５３に供給する。
生徒データ生成部５２は、操作信号処理部５０から学習フラグ付きの重みを受信すると、学習の生徒となる生徒データを生成し、学習用データメモリ５３に供給する。即ち、生徒データ生成部５２は、例えば、上述の入力信頼度計算部４２、出力信頼度計算部４３、ラッチ回路４４、および重み計算部４５と同様に構成され、そこに供給される入力信号から重みを計算しており、学習フラグ付きの重みを受信したときに入力信号から計算された重みを、生徒データとして、学習用データメモリ５３に供給する。
学習用データメモリ５３は、教師データ生成部５１から供給される、学習用操作信号に対応する重みとしての教師データと、生徒データ生成部５２から供給される、その学習用操作信号を受信したときの入力信号から計算される重みとしての生徒データとのセットを、１セットの学習用データとして記憶する。なお、上述したように、学習用データメモリ５３は、複数の学習用データを記憶することができ、さらに、その記憶容量分だけの学習用データを記憶すると、次の学習用データを、最も古い記憶値に上書きする形で記憶するようになっている。従って、学習用データメモリ５３は、基本的に、最近の学習用データの幾つかが、常に記憶されている状態にある。
パラメータ制御データ計算部５４は、判定制御部５６の制御の下、学習用データメモリ５３に記憶された学習用データとしての教師データおよび生徒データ、さらには、必要に応じて、学習情報メモリ５５に記憶された学習情報を用いて、所定の統計的な誤差を最小にするパラメータ制御データを、新たな学習情報を演算することにより学習し、判定制御部５６に供給する。また、パラメータ制御データ計算部５４は、学習によって得られた新たな学習情報によって、学習情報メモリ５５の記憶内容を更新する。学習情報メモリ５５は、パラメータ制御データ計算部５４からの学習情報を記憶する。
判定制御部５６は、パラメータ制御データ計算部５４から供給されるパラメータ制御データの適正さを、学習用データメモリ５３に記憶された最近の学習用データを参照することにより判定する。また、判定制御部５６は、パラメータ制御データ計算部５４を制御し、パラメータ制御データ計算部５４から供給されるパラメータ制御データを、パラメータ制御データメモリ５７に供給する。パラメータ制御データメモリ５７は、その記憶内容を、判定制御部５６から供給されるパラメータ制御データによって更新し、重み補正部４６に供給する。
図４の実施の形態では、以上の選択部４１乃至重み補正部４６、および操作信号処理部５０乃至パラメータ制御データメモリ５７によって、処理部１１の学習部２２が構成されている。
以上のように構成されるＮＲ回路としての最適化装置１の処理部１１では、次のようにして、入力信号におけるノイズが除去される。
即ち、例えば、いま、説明を簡単にするために、図５Ａに示すような、真値が一定で、かつ時間的に変動するノイズが重畳された入力信号について、その平均をとることで、時間的に変動するノイズを除去することを考えると、ノイズの度合いとしての、例えば、ノイズのレベルが大きい入力信号（従って、Ｓ／Ｎの悪い信号）については、その重みを小さくし（あまり考慮しないようにする）、ノイズのレベルの小さい入力信号（従って、Ｓ／Ｎの良い信号）については、その重みを大きくすることにより、ノイズを効果的に除去することができる。
そこで、図４のＮＲ回路では、入力信号の評価値として、例えば、図５Ｂに示すような、入力信号の、真値に対する近さ、即ち、入力信号が真値であることの信頼性を表す入力信頼度を求め、その入力信頼度に対応した重み付けを入力信号に対して行いながら、その平均を計算することで、ノイズを効果的に除去するようになっている。
従って、図４のＮＲ回路では、入力信号について、その入力信頼度に対応した重みを用いた重み付け平均が求められ、出力信号として出力されるが、いま、時刻ｔにおける入力信号、出力信号、入力信頼度を、それぞれｘ（ｔ），ｙ（ｔ），α_ｘ（ｔ）と表すと、次式にしたがって、出力信号ｙ（ｔ）が求められることになる。
【数１】

なお、ここでは、入力信頼度α_ｘ（ｔ）が大きいほど、大きな重みを与えることとしている。
式（１）から、現在時刻ｔから１サンプル前の出力信号ｙ（ｔ−１）は、次式で求められる。
【数２】

また、出力信号ｙ（ｔ）についても、その出力信号ｙ（ｔ）の評価値として、真値に対する近さ、即ち、出力信号ｙ（ｔ）が真値であることの信頼性を表す出力信頼度α_ｙ（ｔ）を導入し、現在時刻ｔから１サンプル前の出力信号ｙ（ｔ−１）の出力信頼度α_{ｙ（ｔ−１）}を、次式で定義する。
【数３】

この場合、式（１）乃至（３）から、出力信号ｙ（ｔ）およびその出力信頼度α_ｙ（ｔ）は、次のように表すことができる。
【数４】

【数５】

また、時刻ｔにおいて、出力信号ｙ（ｔ）を求めるのに用いる重みを、ｗ（ｔ）と表し、これを、次式で定義する。
【数６】

式（６）から、次式が成り立つ。
【数７】

式（６）および（７）を用いると、式（４）における出力信号ｙ（ｔ）は、次のような乗算と加算による重み付け平均によって表すことができる。
【数８】

なお、式（８）で用いる重みｗ（ｔ）（および１−ｗ（ｔ））は、式（６）から、１サンプル前の出力信号ｙ（ｔ−１）の出力信頼度α_{ｙ（ｔ−１）}と、現在の入力信号ｘ（ｔ）の入力信頼度α_ｘ（ｔ）とから求めることができる。また、式（５）における現在の出力信号ｙ（ｔ）の出力信頼度α_ｙ（ｔ）も、その１サンプル前の出力信号ｙ（ｔ−１）の出力信頼度α_{ｙ（ｔ−１）}と、現在の入力信号ｘ（ｔ）の入力信頼度α_ｘ（ｔ）とから求めることができる。
ここで、入力信号ｘ（ｔ）の入力信頼度α_ｘ（ｔ）、または出力信号ｙ（ｔ）の出力信頼度α_ｙ（ｔ）として、それぞれの分散σ_ｘ（ｔ） ^２、またはσ_ｙ（ｔ） ^２の逆数を用いることとすると、即ち、入力信頼度α_ｘ（ｔ）、出力信頼度α_ｙ（ｔ）を、式
【数９】

とおくと、式（６）における重みｗ（ｔ）と、式（７）における重み１−ｗ（ｔ）は、次式で求めることができる。
【数１０】

【数１１】

なお、σ_ｙ（ｔ） ^２は、次式で求めることができる。
【数１２】

図４のＮＲ回路は、基本的には、式（６）にしたがい、重みｗ（ｔ）としての補正パラメータを演算する補正パラメータ演算処理を行い、その重みｗ（ｔ）を用いて、式（８）にしたがい、１サンプル前の出力信号ｙ（ｔ−１）と、現在の入力信号ｘ（ｔ）との重み付け平均を計算することで、入力信号ｘ（ｔ）に含まれるノイズを効果的に除去する補正処理を行う。
ところで、式（６）にしたがって求められた重みｗ（ｔ）による入力信号の補正処理の結果得られる出力信号が、必ずしも、ユーザが最適と感じるとは限らない。そこで、図４のＮＲ回路は、ユーザによる操作部２の操作を学習することにより、補正パラメータとしての重みｗ（ｔ）を制御（補正）するパラメータ制御データを求める制御データ学習処理を行い、そのパラメータ制御データによって補正した重みを用いて、入力信号の補正処理を行うようになっている。
制御データ学習処理は、次のようにして行われるようになっている。
即ち、ユーザが操作部２を操作することによって、ｉ回目に与えられた学習用操作信号に対応する重みＷ_ｉは、その学習用操作信号が与えられたときに入力された入力信号に対して、ユーザが最適なものと考えているとみることができ、従って、制御データ学習処理では、式（６）にしたがって求められる重みｗ（ｔ）を、学習用操作信号に対応する重みＷ_ｉに近い値（理想的には、同一の値）に補正することのできるパラメータ制御データを求めれば良い。
そこで、いま、式（６）にしたがって求められる重みｗ（ｔ）を、学習の生徒となる生徒データとするとともに、学習用操作信号に対応する重みＷ_ｉを、学習の教師となる教師データとして、生徒データとしての重みｗ（ｔ）から、例えば、次式に示すような、パラメータ制御データａとｂによって定義される一次式によって予測される、教師データとしての重みＷ_ｉの予測値Ｗ_ｉ’を求めることを考える。
【数１３】

なお、式（１３）において（後述する式（１４）、式（１６）乃至（２１）においても、同様）、ｗ_ｉは、教師データとしての学習用操作信号に対応する重みＷ_ｉが与えられたときに入力された入力信号に対して、式（６）にしたがって求められる生徒データとしての重みｗ（ｔ）を表す。
式（１３）から、教師データとしてのＷ_ｉと、その予測値Ｗ_ｉ’との誤差（予測誤差）ｅ_ｉは、次式で表される。
【数１４】

いま、式（１４）の予測誤差ｅ_ｉの、次式で表される自乗（２乗）誤差の総和
【数１５】

を最小にするパラメータ制御データａとｂを、最小自乗法（最小自乗誤差法ともいう）により求めることを考える。なお、式（１５）において（後述する式（１６）乃至（２１）においても、同様）、Ｎは、教師データと生徒データのセット数を表す。
まず、式（１５）の自乗誤差の総和を、パラメータ制御データａとｂで、それぞれ偏微分すると、次式が得られる。
【数１６】

【数１７】

式（１５）の自乗誤差の総和の最小値（極小値）は、式（１６）と（１７）の右辺を０にするａとｂによって与えられるから、式（１６）と（１７）の右辺を、それぞれ０とおくと、式（１６）からは式（１８）が、式（１７）からは式（１９）が、それぞれ得られる。
【数１８】

【数１９】

式（１９）を、式（１８）に代入することにより、パラメータ制御データａは、次式によって求めることができる。
【数２０】

また、式（１９）と（２０）から、パラメータ制御データｂは、次式によって求めることができる。
【数２１】

図４のＮＲ回路では、以上のようにして、パラメータ制御データａとｂを求める制御データ学習処理を行うようになっている。
次に、図６乃至図８のフローチャートを参照して、図４のＮＲ回路が行う補正処理、補正パラメータ演算処理、および制御データ学習処理について説明する。
まず最初に、図６のフローチャートを参照して、補正処理について説明する。
学習部２２の選択部４１から、補正部２１に対して、補正パラメータとしての重みｗ（ｔ）が供給されると、補正部２１の重みメモリ３１は、その重みｗ（ｔ）を上書きする形で記憶する。さらに、補正部２１の演算器３３は、重みｗ（ｔ）を１．０から減算し、重み１−ｗ（ｔ）を求め、重みメモリ３２に供給して、上書きする形で記憶させる。
そして、入力信号ｘ（ｔ）が供給されると、ステップＳ２１において、演算器３４は、その入力信号ｘ（ｔ）と、重みメモリ３２に記憶された重み１−ｗ（ｔ）との積を演算し、演算器３６に供給する。さらに、ステップＳ２１では、演算器３５が、重みメモリ３１に記憶された重みｗ（ｔ）と、ラッチ回路３７にラッチされた１サンプル前の出力信号ｙ（ｔ−１）との積を演算し、演算器３６に供給する。
そして、ステップＳ２２に進み、演算器３６は、入力信号ｘ（ｔ）および重み１−ｗ（ｔ）の積と、重みｗ（ｔ）および出力信号ｙ（ｔ−１）の積とを加算し、これにより、入力信号ｘ（ｔ）と出力信号ｙ（ｔ−１）の重み付け加算値（１−ｗ（ｔ））ｘ（ｔ）＋ｗ（ｔ）ｙ（ｔ−１）を求めて、出力信号ｙ（ｔ）として出力する。この出力信号ｙ（ｔ）は、ラッチ回路３７にも供給され、ラッチ回路３７は、出力信号ｙ（ｔ）を上書きする形で記憶する。その後、ステップＳ２１に戻り、次のサンプルの入力信号が供給されるのを待って、以下、同様の処理が繰り返される。
次に、図７のフローチャートを参照して、補正パラメータ演算処理について説明する。
補正パラメータ演算処理では、まず最初に、ステップＳ３１において、入力信頼度計算部４２が、例えば、入力信号の分散に基づく入力信頼度α_ｘ（ｔ）を求める。
即ち、入力信頼度計算部４２は、現在の入力信号のサンプルｘ（ｔ）の他、その過去数サンプルをラッチすることができる、図示せぬＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリを内蔵しており、現在の入力信号のサンプルｘ（ｔ）と、その過去数サンプルとを用いて、それらの分散を計算し、その逆数を、入力信頼度α_ｘ（ｔ）として求め、出力信頼度計算部４３および重み計算部４５に供給する。なお、入力信号の入力が開始された直後においては、分散を計算するのに必要な数の入力信号のサンプルが存在しない場合があるが、この場合には、例えば、デフォルトの値が、入力信頼度α_ｘ（ｔ）として出力される。
その後、ステップＳ３２に進み、重み計算部４５は、入力信頼度計算部４２からの入力信頼度α_ｘ（ｔ）を用い、式（６）にしたがって、重みｗ（ｔ）を求める。
即ち、入力信頼度計算部４２から重み計算部４５に対して、入力信頼度α_ｘ（ｔ）が供給されるタイミングにおいては、ラッチ回路４４において、出力信頼度計算部４３が１サンプル前に出力した出力信頼度α_{ｙ（ｔ−１）}がラッチされており、重み計算部４５は、ステップＳ３２において、入力信頼度計算部１２からの入力信頼度α_ｘ（ｔ）と、ラッチ回路４４にラッチされている出力信頼度α_{ｙ （ｔ−１）}とを用い、式（６）にしたがって、重みｗ（ｔ）を求める。この重みｗ（ｔ）は、重み補正部４６に供給される。
その後、ステップＳ３３に進み、重み補正部４６は、パラメータ制御データメモリ５７からパラメータ制御データを読み出し、ステップＳ３４に進む。ステップＳ３４では、重み補正部４６は、パラメータ制御データメモリ５７から読み出したパラメータ制御データが、重みｗ（ｔ）を補正しないモード、即ち、ユーザによる操作部２の操作に関係なく、重み計算部４５において、入力信頼度と出力信頼度から、いわば自動的に求められる重みｗ（ｔ）を、そのまま入力信号ｘ（ｔ）を補正するための重みＷとして用いるモード（以下、適宜、オートモードという）を表すオートモードデータとなっているかどうかを判定する。
ステップＳ３４において、パラメータ制御データがオートモードデータでないと判定された場合、ステップＳ３５に進み、重み補正部４６は、重み計算部４５から供給される重みｗ（ｔ）を、パラメータ制御データメモリ５７から供給されるパラメータ制御データａとｂによって定義される式（１３）の一次式にしたがって補正し、ステップＳ３６に進む。ステップＳ３６では、重み補正部４６が、補正後の重みを、選択部４１に供給し、ステップＳ３７に進む。ここで、式（１３）において、ｗ_ｉが、重み計算部４５から供給される重みｗ（ｔ）に相当し、Ｗ_ｉ’が、補正後の重みＷに相当する。
一方、ステップＳ３４において、パラメータ制御データがオートモードデータであると判定された場合、ステップＳ３５をスキップして、ステップＳ３６に進み、重み補正部４６は、重み計算部４５からの重みｗ（ｔ）を、そのまま選択部４１に供給し、ステップＳ３７に進む。
ステップＳ３７では、出力信頼度計算部４３は、出力信頼度を更新する。即ち、出力信頼度計算部４３は、直前のステップＳ３１で入力信頼度計算部４２が計算した入力信頼度α_ｘ（ｔ）と、ラッチ回路４４がラッチしている１サンプル前の出力信頼度α_{ｙ（ｔ−１）}とを、式（５）にしたがって加算することで、現在の出力信頼度α_ｙ（ｔ）を求め、ラッチ回路４４に上書きする形で記憶させる。
そして、ステップＳ３８に進み、選択部４１は、操作信号処理部５０の出力から、操作部２がユーザによって操作されているかどうかを判定する。ステップＳ３８において、操作部２が操作されていないと判定された場合、ステップＳ３９に進み、選択部４１は、重み補正部４６から供給された重み（以下、適宜、補正重みという）を選択し、補正部２１に出力して、ステップＳ３１に戻る。
また、ステップＳ３８において、操作部２が操作されていると判定された場合、ステップＳ４０に進み、選択部４１は、その操作に応じて、操作信号処理部５０が出力する重みを選択し、補正部２１に出力して、ステップＳ３１に戻る。
従って、図７の補正パラメータ演算処理においては、操作部２が操作されていない場合は、補正重みが、補正部２１に供給され、また、操作部２が操作されている場合は、その操作信号に対応する重みが、補正部２１に供給される。その結果、補正部２１では、操作部２が操作されていない場合は、補正重みによって、入力信号が補正され、操作部２が操作されている場合には、その操作信号に対応する重みによって、入力信号が補正される。
さらに、図７の補正パラメータ演算処理においては、オートモードの場合は、操作部２の操作に関係なく、入力信頼度と出力信頼度のみから、補正処理に用いられる重みが求められ、オートモードでない場合には、操作部２の操作に基づく、後述する図８の制御データ学習処理による学習によって得られるパラメータ制御データを用いて、補正処理に用いられる重みが求められる。
次に、図８のフローチャートを参照して、制御データ学習処理について説明する。
制御データ学習処理では、まず最初に、ステップＳ４１において、操作信号処理部５０が、学習用操作信号を、操作部２から受信したかどうかを判定し、受信していないと判定した場合、ステップＳ４１に戻る。
また、ステップＳ４１において、操作部２から、学習用操作信号を受信したと判定された場合、即ち、例えば、操作部２が、その操作の開始後、第１の時間ｔ１以上の間隔をあけることなく、第２の時間ｔ２以上連続して操作され、その後、第３の時間ｔ３以上連続して、その操作が停止された場合や、操作部２の操作の開始後、第３の時間ｔ３以上連続して、その操作が停止された場合など、ユーザが、所望の出力信号を得られるように、操作部２の操作を行ったと判定することができる場合、ステップＳ４２に進み、教師データ生成部５１が教師データを生成するとともに、生徒データ生成部５２が生徒データを生成する。
即ち、操作信号処理部５０は、学習用操作信号を受信した場合、その学習用操作信号に対応する重みＷ（例えば、操作部２の操作量や、操作部２としてのつまみやレバーなどの位置に対応した重みＷ）を、学習フラグとともに、教師データ生成部５１および生徒データ生成部５２に供給する。教師データ生成部５１は、学習フラグ付きの重みＷを受信すると、その重みＷを、教師データとして取得し、学習用データメモリ５３に供給する。また、生徒データ生成部５２は、学習フラグ付きの重みを受信すると、そのときの入力信号に対応する重みｗを、生徒データとして求め、学習用データメモリ５３に供給する。
ここで、入力信号に対応する重みｗとは、式（６）にしたがい、入力信頼度と出力信頼度とから、いわば自動的に求められる重みを意味し、上述したように、生徒データ生成部５２は、この入力信号に対応する重みｗを、入力信号から計算している。
学習用データメモリ５３は、教師データ生成部５１から教師データＷを受信するとともに、生徒データ生成部５２から生徒データｗを受信すると、ステップＳ４３において、その最新の教師データＷと生徒データｗのセットを記憶し、ステップＳ４４に進む。
ステップＳ４４では、パラメータ制御データ計算部５４が、教師データと生徒データを対象として、最小自乗法における足し込みを行う。
即ち、パラメータ制御データ計算部５４は、式（２０）や（２１）における生徒データｗ_ｉと教師データＷ_ｉとの乗算（ｗ_ｉＷ_ｉ）とサメーション（Σｗ_ｉＷ_ｉ）に相当する演算、生徒データｗ_ｉのサメーション（Σｗ_ｉ）に相当する演算、教師データＷ_ｉのサメーション（ΣＷ_ｉ）に相当する演算、生徒データｗ_ｉどうしの積のサメーション（Σｗ_ｉ ^２）に相当する演算を行う。
ここで、例えば、いま、既に、Ｎ−１セットの教師データと生徒データが得られており、最新の教師データと生徒データとして、Ｎセット目の教師データと生徒データが得られたとすると、その時点では、パラメータ制御データ計算部５４において、Ｎ−１セットの教師データと生徒データを対象とした足し込みが、既に行われている。従って、Ｎセット目の教師データと生徒データについては、既に行われているＮ−１セットの教師データと生徒データを対象とした足し込み結果を保持してあれば、その足し込み結果に、Ｎセット目の教師データと生徒データを足し込むことにより、最新の教師データと生徒データを含む、Ｎセットの教師データと生徒データの足し込み結果を得ることができる。
そこで、パラメータ制御データ計算部５４は、前回の足し込み結果を、学習情報として、学習情報メモリ５５に記憶させておくようになっており、この学習情報を用いて、Ｎセット目の教師データと生徒データについての足し込みを行うようになっている。なお、足し込みには、いままでの足し込みに用いた教師データと生徒データのセット数Ｎも必要であり、学習情報メモリ５５は、このセット数Ｎも、学習情報として記憶するようになっている。
パラメータ制御データ計算部５４は、ステップＳ４４において足し込みを行った後、その足し込み結果を、学習情報として、学習情報メモリ５５に上書きする形で記憶させ、ステップＳ４５に進む。
ステップＳ４５では、パラメータ制御データ計算部５４が、学習情報メモリ５５に記憶された学習情報としての足し込み結果から、式（２０）および（２１）によって、パラメータ制御データａおよびｂを求めることが可能であるかどうかを判定する。
即ち、教師データと生徒データのセットを、以下、適宜、学習対というものとすると、少なくとも、２つの学習対から得られた学習情報が存在しなければ、式（２０）および（２１）から、パラメータ制御データａおよびｂを得ることができない。そこで、ステップＳ４５では、学習情報から、パラメータ制御データａおよびｂを求めることが可能であるかどうかが判定される。
ステップＳ４５において、パラメータ制御データａおよびｂを求めることが可能でないと判定された場合、パラメータ制御データ計算部５４は、その旨を、判定制御部５６に供給し、ステップＳ４９に進む。ステップＳ４９では、判定制御部５６は、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａおよびｂを求めることができるだけの学習情報が存在しない場合には、図７で説明したように、入力信頼度と出力信頼度から自動的に求められる重みｗ（ｔ）が、そのまま入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ４５において、パラメータ制御データａおよびｂを求めることが可能であると判定された場合、ステップＳ４６に進み、パラメータ制御データ計算部５４は、学習情報を用い、式（２０）および（２１）を計算することで、パラメータ制御データａおよびｂを求め、判定制御部５６に供給して、ステップＳ４７に進む。
ステップＳ４７では、判定制御部５６は、パラメータ制御データ計算部５４からのパラメータ制御データａおよびｂによって定義される式（１３）の一次式にしたがい、学習用データメモリ５３に記憶された各生徒データから、対応する教師データの予測値を求め、その予測値の予測誤差（学習用データメモリ５３に記憶されている教師データに対する誤差）の、式（１５）で表される自乗誤差の総和を求める。さらに、判定制御部５６は、その自乗誤差の総和を、例えば、学習用データメモリ５３に記憶されている学習対の数で除算した正規化誤差を求め、ステップＳ４８に進む。
ステップＳ４８では、判定制御部５６は、正規化誤差が、所定の閾値Ｓ１より大（以上）であるかどうかを判定する。ステップＳ４８において、正規化誤差が所定の閾値Ｓ１より大であると判定された場合、即ち、パラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合、ステップＳ４９に進み、判定制御部５６は、上述したように、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａおよびｂを求めることができても、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、パラメータ制御データａおよびｂを求めることができるだけの学習情報が存在しない場合と同様に、入力信頼度と出力信頼度から自動的に求められる重みｗ（ｔ）が、そのまま入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ４８において、正規化誤差が所定の閾値Ｓ１より大でないと判定された場合、即ち、パラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合、ステップＳ５０に進み、判定制御部５６は、パラメータ制御データ計算部５４からのパラメータ制御データａおよびｂによって定義される式（１３）の一次式で表される回帰直線と、学習用データメモリ５３に記憶された最新の教師データおよび生徒データで規定される点との間の誤差（距離）εを求める。
そして、ステップＳ５１に進み、判定制御部５６は、誤差εの大きさが、所定の閾値Ｓ２より大（以上）であるかどうかを判定し、大でないと判定した場合、ステップＳ５２をスキップして、ステップＳ５３に進み、判定制御部５６は、ステップＳ４６で求められたパラメータ制御データａおよびｂを、パラメータ制御部データメモリ３７に出力する。パラメータ制御データメモリ５７は、判定制御部５６からのパラメータ制御データａおよびｂを上書きする形で記憶し、ステップＳ４１に戻る。
一方、ステップＳ５１において、誤差εの大きさが、所定の閾値Ｓ２より大であると判定された場合、ステップＳ５２に進み、判定制御部５６は、パラメータ制御データ計算部５４を制御することにより、学習用データメモリ５３に記憶された最近の教師データと生徒データとしての、最新の学習対から所定数の過去の学習対のみを用いて（学習情報メモリ５５の学習情報を用いずに）、パラメータ制御データａおよびｂを再計算させる。そして、ステップＳ５３に進み、判定制御部５６は、ステップＳ５２で求められたパラメータ制御データａおよびｂを、パラメータ制御部データメモリ３７に出力し、上書きする形で記憶させ、ステップＳ４１に戻る。
従って、パラメータ制御データａおよびｂを求めることができ、かつ、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合には、ユーザによる操作部２の操作に基づいて得られる学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂによって定義される式（１３）にしたがって、入力信頼度と出力信頼度から求められる重みｗ（ｔ）が補正され、その補正によって得られる補正重みＷが、入力信号ｘ（ｔ）の補正に用いられることになる。
ここで、ステップＳ４６で求められたパラメータ制御データａおよびｂによって定義される式（１３）の一次式で表される回帰直線は、図９Ａに示すように、Ｎセットの教師データと生徒データによって規定されるＮ個の点との自乗誤差（の総和）を最小にする直線であるが、ステップＳ５０では、この直線と、最新の教師データおよび生徒データで規定される点との間の誤差εが求められる。
そして、この誤差εの大きさが、閾値Ｓ２より大でない場合には、ステップＳ４６で求められたパラメータ制御データａおよびｂによって定義される式（１３）の一次式で表される回帰直線は、最新の教師データと生徒データで規定される点も含め、いままでに与えられた教師データと生徒データで規定される点のいずれも、比較的精度良く近似していると考えられる。
しかしながら、誤差εの大きさが、閾値Ｓ２より大の場合には、即ち、最新の教師データと生徒データで規定される点（図９Ｂにおいて○印で示す）が、図９Ｂに示すように、ステップＳ４６で求められたパラメータ制御データａおよびｂによって定義される式（１３）の一次式で表される回帰直線から大きく離れている場合には、何らかの原因で、ユーザが、いままでとは異なる傾向の操作部２の操作を行ったと考えられる。
そこで、この場合、判定制御部５６は、パラメータ制御データ計算部５４を制御することにより、ステップＳ５２において、学習用データメモリ５３に記憶された学習対のうちの、最近の学習対のいくつかのみを用いて、パラメータ制御データａおよびｂを再計算させる。
即ち、この場合、パラメータ制御データ計算部５４は、学習情報メモリ５５に記憶された過去の足し込み結果としての学習情報を用いずに（忘却して）、最近の幾つかの教師データと生徒データのセットのみを用いて、それらの教師データと生徒データによって規定される点の集合を最も良く近似する式（１３）の直線を定義するパラメータ制御データａおよびｂを再計算する。
具体的には、パラメータ制御データ計算部５４は、例えば、図９Ｃに示すように、最新の教師データと生徒データによって規定される点（図９Ｃにおいて○印で示す）と、その１回前に与えられた教師データと生徒データによって規定される点（図９Ｃにおいて△印で示す）とを通る直線を定義するパラメータ制御データａ’およびｂ’を求める。
以上のように、ユーザの操作に応じて供給される操作信号が、学習に用いることができるかどうかを判定し、学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、入力信号を補正する重みを補正するパラメータ制御データａおよびｂを学習するようにしたので、ユーザの操作を、ユーザが知らないうちに学習することができ、その結果、その学習結果に基づいて、ユーザにとって、徐々に適切な処理が行われるようになり、最終的には、ユーザにとって最適な処理が行われることになる。
これは、ユーザ側からみれば、ユーザが操作部２を通常操作していると、そのうちに、操作を行わなくても、各種の入力信号に対して、ユーザにとって最適なノイズ除去結果が得られることを意味し、従って、装置が、いわば手になじんでくることを意味する。そして、この手になじんでくる段階では、ユーザが、所望の出力信号を得られるように、操作部２の操作を行うことから、ユーザにおいては、操作部２の操作と、入力信号の補正に用いられる重みＷとの関係が、徐々に明確に認識されていくことになり、最終的には、ユーザによる操作部２の操作と、入力信号の補正に用いられる重みＷとが、定性的に関係付けられることになる。
また、図４のＮＲ回路においては、ユーザによる操作部２の操作にしたがい、補正部２１で行われる補正処理（図６）で用いられる重みＷが、ユーザにとって所望の出力信号が得られるように変更される。即ち、ユーザが操作部２を操作すると、操作信号処理部５０は、その操作に対応した操作信号が表す重みを出力し、選択部４１は、その重みを選択して、補正部２１に供給する。この場合、補正部２１では、ユーザの操作に対応した重みを用いて、式（８）で表される補正処理が行われる。そして、ユーザの操作により式（８）の重みｗ（ｔ）が変更される場合には、当然に、式（８）で表される処理（補正処理）の内容も変更することとなるから、図４のＮＲ回路では、ユーザの操作にしたがい、その「処理の内容」が、ユーザにとって所望の出力信号が得られるように変更されているということができる。
さらに、図４のＮＲ回路では、パラメータ制御データａおよびｂを求めることができない場合や、求めることができても、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、入力信頼度と出力信頼度とから自動的に求められる重みが、補正部２１における補正処理に用いられる。一方、パラメータ制御データａおよびｂを求めることができ、かつ、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合には、ユーザによる操作部２の操作に基づいて得られる学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂによって定義される式（１３）にしたがって、入力信頼度と出力信頼度から求められる重みが補正され、その補正によって得られる補正重みが、補正部２１による補正処理に用いられる。
即ち、図４のＮＲ回路では、ユーザから十分な数の学習対が入力されていない場合や、精度の高い近似が可能な学習対が入力されていない場合には、入力信頼度と出力信頼度とから自動的に求められる重みが、補正部２１における補正処理に用いられ、ユーザから精度の高い近似が可能な学習対が入力された場合には、その学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂによって求められる補正重みが、補正部２１における補正処理に用いられる。
従って、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合と、精度の高い近似が可能な学習対が得られた場合とでは、やはり、式（８）の重みｗ（ｔ）が変化し、その結果、その式（８）で表される補正処理の内容も変更することとなるから、かかる観点からも、図４のＮＲ回路では、ユーザの操作にしたがい、その「処理の内容」が、ユーザにとって所望の出力信号が得られるように変更されているということができる。
さらに、図４のＮＲ回路では、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合と、精度の高い近似が可能な学習対が得られた場合とで、補正処理に用いられる重みを算出する体系が変化する。
即ち、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合には、ユーザの操作に関係なく、入力信頼度と出力信頼度から、重みが求められる。一方、精度の高い近似が可能な学習対が得られた場合には、ユーザの操作に基づいて得られた学習対を用いた学習によって求められたパラメータ制御データに基づいて、重みが求められる。
従って、この場合、ユーザの操作にしたがい、重みを算出する処理体系、つまり、重みの求め方のアルゴリズムが、ユーザにとって所望の出力信号が得られるように変更されているということができる。
ここで、重みを求める処理を、関数Ｆで表すこととすると、上述の「処理の内容」の変更というのは、関数Ｆが変更されることに相当する。そして、関数Ｆが変更される場合としては、大きく分けて関数Ｆそれ自体の形が変わる場合（例えば、Ｆ＝ｘからＦ＝ｘ^２に変わる場合など）と、関数Ｆそれ自体の形は変わらないが、関数Ｆを定義する係数が変わる場合（例えば、Ｆ＝２ｘからＦ＝３ｘに変わる場合など）とがある。
いま、「処理の内容」の変更のうち、その処理を表す関数Ｆそれ自体の形が変わる場合を、「処理の構造」の変更というものとすると、上述のように、重みを算出する処理体系、すなわち、重みの求め方のアルゴリズムが変わることは、「処理の構造」の変更ということができる。
従って、図４のＮＲ回路では、ユーザの操作にしたがい、その「処理の内容」も、さらには、その「処理の構造」も変更され、これにより、ユーザにとって所望の出力信号が得られるようになっている。
なお、入力信号としては、画像信号や音声信号は勿論、その他の信号を用いることが可能である。但し、入力信号が画像信号の場合は、入力信頼度は、処理しようとしている画素に対して、空間的または時間的に近い位置にある複数の画素から求められる分散に基づいて計算することになる。
また、上述の場合には、説明を簡単にするため、学習部２２において、入力信頼度等から求められる重みｗを、パラメータ制御データａおよびｂによって定義される式（１３）の一次式によって、補正重みＷに補正するようにしたが、重みｗの補正は、実際には、より高次の式によって行うのが望ましい。また、その高次の式の次数は、例えば、最適化装置が適用されるアプリケーション等に基づいて適切な値に設定するのが望ましい。
さらに、重みｗから、補正重みＷを求める式（以下、適宜、補正重み算出式という）としては、式（１３）の１次式Ｗ＝ａｗ＋ｂの他に、例えば、２次式Ｗ＝ａｗ^２＋ｂｗ＋ｃや、３次式Ｗ＝ａｗ^３＋ｂｗ^２＋ｃｗ＋ｄなどの複数を用意しておき（ａ，ｂ，ｃ，ｄは、所定の係数）、その複数の補正重み算出式のうちの、正規化誤差が最小になるものを採用するようにすることが可能である。なお、この場合、ユーザの操作によって得られる学習対から求められる正規化誤差が最小になる補正重み算出式が選択され、その選択された補正重み算出式によって、補正重みが求められることになる。即ち、ユーザの操作にしたがい、補正重みの求め方のアルゴリズムが変更されることになる。従って、この場合も、ユーザの操作にしたがい、「処理の構造」が変更されているということができる。
次に、図１０は、図４の最適化装置１の処理部１１を、ＮＲ回路に適用した場合の他の詳細構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１０のＮＲ回路は、重み補正部４６が設けられておらず、入力信頼度計算部４２と生徒データ生成部５２に替えて、入力信頼度計算部６１と生徒データ生成部６２がそれぞれ設けられている他は、基本的に、図４における場合と同様に構成されている。
入力信頼度計算部６１は、入力信号の入力信頼度を、入力信号の複数のサンプルと、パラメータ制御データメモリ５７に記憶されたパラメータ制御データとから計算し、出力信頼度計算部４３と重み計算部４５に供給する。
生徒データ生成部６２は、入力信号と、出力信頼度計算部４３が出力する出力信頼度とを生徒データとして取得し、学習用データメモリ５３に供給する。
なお、図１０の実施の形態では、重み補正部４６が設けられていないため、重み計算部４５において求められた重みが、そのまま、選択部４１に供給されるようになっており、選択部４１は、この重み計算部４５が出力する重みと、操作信号処理部５０が出力する重みのうちのいずれか一方を、図４における場合と同様にして選択して出力するようになっている。
また、図１０の実施の形態では、パラメータ制御データは、入力信頼度を制御するデータとして機能する。
図１０のＮＲ回路でも、図４のＮＲ回路と同様に、補正処理、補正パラメータ演算処理、および制御データ学習処理が行われる。なお、補正処理としては、図６で説明した処理と同様の処理が行われるため、図１０のＮＲ回路については、補正処理の説明は省略し、補正パラメータ演算処理および制御データ学習処理について説明する。
即ち、図１０のＮＲ回路では、補正処理で用いられる、式（６）に示した重みを規定する入力信頼度α_ｘ（ｔ）が、例えば、次式で定義されるものとして、補正パラメータ演算処理および制御データ学習処理が行われる。
【数２２】

但し、式（２２）において、ａ_１，ａ_２，・・・，ａ_Ｎは、パラメータ制御データであり、ｘ_１，ｘ_２，・・・，ｘ_Ｎは、いま処理を施そうとしている入力信号のサンプル（注目サンプル）と所定の関係にある入力信号のサンプルである。ここで、入力信号が、例えば、画像信号である場合には、ｘ_１，ｘ_２，・・・，ｘ_Ｎとしては、例えば、注目サンプルとしての画素（図１１において×印で示す）と、その画素から、空間的または時間的に近い位置にある画素（図１１に○印で示す）を用いることができる。
式（２２）から、式（６）で与えられる重みｗ（ｔ）は、式（２３）に示すように表すことができる。
【数２３】

従って、入力信号ｘ_１，ｘ_２，・・・，ｘ_Ｎが入力された場合に、ユーザから与えられた重みＷを得るためには、式（２３）から、次式を満たすようなパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎを求めれば良いことになる。
【数２４】

そこで、式（２４）を変形すると、式（２５）を得ることができる。
【数２５】

式（２５）を常時満たすパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎを求めることは、一般に困難であるため、ここでは、例えば、式（２５）の左辺と右辺の自乗誤差の総和が最小になるパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎを、最小自乗法により求めることを考える。
ここで、式（２５）の左辺と右辺の自乗誤差の総和を最小にするということは、式（２３）によって与えられる重みｗ（ｔ）と、ユーザによって与えられる重みＷとの自乗誤差を最小にすること、即ち、ユーザによって与えられる重みＷを教師データとするとともに、式（２３）の重みｗ（ｔ）を定義する入力信号ｘ_１，ｘ_２，・・・，ｘ_Ｎ、および出力信頼度α_{ｙ（ｔ−１）}を生徒データとして、その生徒データから、式（２３）によって計算される重みｗ（ｔ）と、ユーザによって与えられる教師データとしての重みＷとの自乗誤差を最小にすることと等価であり、そのようなパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎと、生徒データとから式（２３）によって計算される重みｗ（ｔ）は、教師データＷとの誤差が小さいものとなる。
式（２５）の左辺と右辺の自乗誤差ｅ^２は、式（２６）で与えられる。
【数２６】

自乗誤差ｅ^２を最小にするパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎは、式（２６）の自乗誤差ｅ^２を、ａ_１，ａ_２，・・・，ａ_Ｎそれぞれで偏微分したものが０となるという条件、即ち、次式によって与えられる。
【数２７】

式（２７）に、式（２６）を代入して計算すると、式（２８）が得られる。
【数２８】

従って、行列Ｘ，Ａ，Ｙそれぞれを、式（２９）に示すように定義すると、これらの行列Ｘ，Ａ，Ｙには、式（２８）から、式（３０）の関係が成立する。
【数２９】

【数３０】

但し、式（２９）におけるサメーション（Σ）は、入力信号ｘ_１乃至ｘ_Ｎと、その入力信号ｘ_１乃至ｘ_Ｎが入力されたときにユーザから与えられた重みＷとのセットの数についてのサメーションを意味する。
式（３０）は、例えば、コレスキー法などによって、行列（ベクトル）Ａ、即ち、パラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎについて解くことができる。
図１０のＮＲ回路は、以上のように、ユーザによって与えられる重みＷを教師データとするとともに、式（２３）の重みｗ（ｔ）を定義する入力信号ｘ_１，ｘ_２，・・・，ｘ_Ｎ、および出力信頼度α_{ｙ（ｔ−１）}を生徒データとして、その生徒データから、式（２３）によって計算される重みｗ（ｔ）と、ユーザによって与えられる教師データとしての重みＷとの自乗誤差を最小にするパラメータ制御データａ_１，ａ_２，・・・，ａ_Ｎを、最小自乗法により学習する制御データ学習処理を行う。さらに、図１０のＮＲ回路は、そのパラメータ制御データａ_１乃至ａ_Ｎで定義される式（２２）から入力信頼度α_ｘ（ｔ）を求め、さらに、その入力信頼度α_ｘ（ｔ）と出力信頼度α_{ｙ（ｔ−１）}から、式（２３）にしたがって、補正パラメータとしての重みを求める補正パラメータ演算処理を行う。
そこで、図１２のフローチャートを参照して、図１０のＮＲ回路による補正パラメータ演算処理について説明する。
補正パラメータ演算処理では、まず最初に、ステップＳ６１において、入力信頼度計算部６１が、パラメータ制御データメモリ５７からパラメータ制御データを読み出し、ステップＳ６２に進む。ステップＳ６２では、入力信頼度計算部６１は、パラメータ制御データメモリ５７から読み出したパラメータ制御データが、入力信頼度をパラメータ制御データを用いずに求めるモード、即ち、ユーザによる操作部２の操作に関係なく、入力信頼度を、入力信号だけから、いわば自動的に求めるモード（このモードも、以下、適宜、オートモードという）を表すオートモードデータとなっているかどうかを判定する。
ステップＳ６２において、パラメータ制御データがオートモードデータでないと判定された場合、ステップＳ６３に進み、入力信頼度計算部６１は、パラメータ制御データメモリ５７から読み出したパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２２）の一次式にしたがい、そこに供給される最新のＮ個の入力信号のサンプルｘ_１乃至ｘ_Ｎを用いて求め、出力信頼度計算部４３および重み計算部４５に供給して、ステップＳ６５に進む。
また、ステップＳ６２において、パラメータ制御データがオートモードデータであると判定された場合、ステップＳ６４に進み、入力信頼度計算部６１は、例えば、図７のステップＳ３１における場合と同様に、入力信号のみを用い、その分散に基づく入力信頼度α_ｘ（ｔ）を求め、出力信頼度計算部４３および重み計算部４５に供給する。
そして、ステップＳ６５では、重み計算部４５は、入力信頼度計算部６１からの入力信頼度α_ｘ（ｔ）と、ラッチ回路４４においてラッチされた、出力信頼度計算部４３が１サンプル前に出力した出力信頼度α_{ｙ（ｔ−１）}とを用い、式（２３）にしたがって、重みｗ（ｔ）を求める。この重みｗ（ｔ）は、重み計算部４５から選択部４１に供給される。
その後、ステップＳ６６に進み、出力信頼度計算部４３は、図７のステップＳ３７における場合と同様に、入力信頼度計算部６１から供給された入力信頼度α_ｘ（ｔ）と、ラッチ回路４４がラッチしている１サンプル前の出力信頼度α_{ｙ（ｔ−１）}とを、式（５）にしたがって加算することで、出力信頼度α_ｙ（ｔ）を更新し、ラッチ回路４４に上書きする形で記憶させる。
そして、ステップＳ６７に進み、選択部４１は、操作信号処理部５０の出力から、操作部２がユーザによって操作されているかどうかを判定する。ステップＳ６７において、操作部２が操作されていないと判定された場合、ステップＳ６８に進み、選択部４１は、重み計算部４５から供給された重みを選択し、補正部２１に出力して、ステップＳ６１に戻る。
また、ステップＳ６７において、操作部２が操作されていると判定された場合、ステップＳ６９に進み、選択部４１は、その操作に応じて、操作信号処理部５０が出力する重みを選択し、補正部２１に出力して、ステップＳ６１に戻る。
従って、図１２の補正パラメータ演算処理においては、操作部２が操作されていない場合は、入力信頼度に基づいて算出された重みが、補正部２１に供給され、また、操作部２が操作されている場合は、その操作信号に対応する重みが、補正部２１に供給される。その結果、補正部２１では、操作部２が操作されていない場合は、入力信頼度に基づく重みによって、入力信号が補正され、操作部２が操作されている場合には、その操作信号に対応する重みによって、入力信号が補正される。
さらに、図１２の補正パラメータ演算処理においては、オートモードの場合は、操作部２の操作に関係なく、入力信号の分散に基づく入力信頼度から、補正処理に用いられる重みが求められ、オートモードでない場合には、操作部２の操作に基づいて、後述する図１３の制御データ学習処理による学習によって得られるパラメータ制御データを用いて求められる入力信頼度から、補正処理に用いられる重みが求められる。
次に、図１３のフローチャートを参照して、図１０のＮＲ回路が行う制御データ学習処理を説明する。
制御データ学習処理では、まず最初に、ステップＳ７１において、図８のステップＳ４１における場合と同様に、操作信号処理部５０が、学習用操作信号を、操作部２から受信したかどうかを判定し、受信していないと判定した場合、ステップＳ７１に戻る。
また、ステップＳ７１において、操作部２から、学習用操作信号を受信したと判定された場合、即ち、例えば、操作部２が、その操作の開始後、第１の時間ｔ１以上の間隔をあけることなく、第２の時間ｔ２以上連続して操作され、その後、第３の時間ｔ３以上連続して、その操作が停止された場合や、操作部２の操作の開始後、第３の時間ｔ３以上連続して、その操作が停止された場合など、ユーザが、所望の出力信号を得られるように、操作部２の操作を行ったと判定することができる場合、ステップＳ７２に進み、教師データ生成部５１が教師データを生成するとともに、生徒データ生成部６２が生徒データを生成する。
即ち、操作信号処理部５０は、学習用操作信号を受信した場合、その学習用操作信号に対応する重みＷを、学習フラグとともに、教師データ生成部５１および生徒データ生成部６２に供給する。教師データ生成部５１は、学習フラグ付きの重みＷを受信すると、その重みＷを、教師データとして取得し、学習用データメモリ５３に供給する。
一方、生徒データ生成部６２は、入力信号をバッファリングするバッファ（図示せず）を内蔵しており、入力信号を、そのバッファに、その記憶容量分だけ常に記憶しており、学習フラグ付きの重みを受信すると、そのときに入力された入力信号のサンプルと所定の位置関係にある入力信号のサンプルｘ_１乃至ｘ_Ｎを、その内蔵するバッファから読み出す。さらに、生徒データ生成部６２は、出力信頼度計算部４３から、出力信頼度α_{ｙ（ｔ−１）}を読み出す。そして、生徒データ生成部６２は、これらの入力信号のサンプルｘ_１乃至ｘ_Ｎと、出力信頼度α_{ｙ（ｔ−１）}とを、生徒データとして、学習用データメモリ５３に供給する。
学習用データメモリ５３は、教師データ生成部５１から教師データＷを受信するとともに、生徒データ生成部６２から生徒データｘ_１乃至ｘ_Ｎおよびα_{ｙ（ｔ−１）}を受信すると、ステップＳ７３において、その最新の教師データＷと生徒データｘ_１乃至ｘ_Ｎおよびα_{ｙ（ｔ−１）}のセット（学習対）を記憶し、ステップＳ７４に進む。
ステップＳ７４では、パラメータ制御データ計算部５４が、教師データと生徒データを対象として、最小自乗法における足し込みを行う。
即ち、パラメータ制御データ計算部５４は、式（２９）における行列ＸとＹの要素となっている生徒データどうしの積、および生徒データと教師データの積、並びにそれらのサメーションに相当する演算を行う。
なお、ステップＳ７４における足し込みは、図８のステップＳ４４における場合と同様に行われる。即ち、学習情報メモリ５５には、前回の足し込み結果が、学習情報として記憶されており、パラメータ制御データ計算部５４は、この学習情報を用いて、最新の教師データと生徒データについての足し込みを行う。
パラメータ制御データ計算部５４は、ステップＳ７４において足し込みを行った後、その足し込み結果を、学習情報として、学習情報メモリ５５に上書きする形で記憶させ、ステップＳ７５に進み、パラメータ制御データ計算部５４が、学習情報メモリ５５に記憶された学習情報としての足し込み結果から、式（３０）を、行列Ａについて解くことが可能であるかどうか、即ち、パラメータ制御データａ_１乃至ａ_Ｎを求めることが可能であるかどうかを判定する。
即ち、式（３０）は、所定数以上の学習対から得られた学習情報が存在しなければ、行列Ａについて解くことができず、その要素となっているパラメータ制御データａ_１乃至ａ_Ｎを求めることができない。そこで、ステップＳ７５では、学習情報から、パラメータ制御データａ_１乃至ａ_Ｎを求めることが可能であるかどうかが判定される。
ステップＳ７５において、パラメータ制御データａ_１乃至ａ_Ｎを求めることが可能でないと判定された場合、パラメータ制御データ計算部５４は、その旨を、判定制御部５６に供給し、ステップＳ７９に進む。ステップＳ７９では、判定制御部５６は、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａ_１乃至ａ_Ｎを求めることができるだけの学習情報が存在しない場合には、図１２で説明したように、入力信号の分散に基づく入力信頼度から求められる重みが、入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ７５において、パラメータ制御データを求めることが可能であると判定された場合、ステップＳ７６に進み、パラメータ制御データ計算部５４は、学習情報を用い、式（３０）を、行列Ａについて解くことで、その要素となっているパラメータ制御データａ_１乃至ａ_Ｎを求め、判定制御部５６に供給して、ステップＳ７７に進む。
ステップＳ７７では、判定制御部５６は、パラメータ制御データ計算部５４からのパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）にしたがい、学習用データメモリ５３に記憶された各生徒データから、対応する教師データの予測値を求め、その予測値の予測誤差（学習用データメモリ５３に記憶されている教師データに対する誤差）の、式（２６）で表される自乗誤差の総和を求める。さらに、判定制御部５６は、その自乗誤差の総和を、例えば、学習用データメモリ５３に記憶されている学習対の数で除算した正規化誤差を求め、ステップＳ７８に進む。
ステップＳ７８では、判定制御部５６は、正規化誤差が、所定の閾値Ｓ１より大（以上）であるかどうかを判定する。ステップＳ７８において、正規化誤差が所定の閾値Ｓ１より大であると判定された場合、即ち、パラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合、ステップＳ７９に進み、判定制御部５６は、上述したように、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａ_１乃至ａ_Ｎを求めることができても、そのパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、パラメータ制御データａ_１乃至ａ_Ｎを求めることができるだけの学習情報が存在しない場合と同様に、入力信号の分散に基づく入力信頼度から求められる重みが、入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ７８において、正規化誤差が所定の閾値Ｓ１より大でないと判定された場合、即ち、パラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合、ステップＳ８０に進み、判定制御部５６は、パラメータ制御データ計算部５４で求められたパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）の面（線）と、学習用データメモリ５３に記憶された最新の教師データおよび生徒データで規定される点との間の誤差（距離）εを求める。
そして、ステップＳ８１に進み、判定制御部５６は、誤差εの大きさが、所定の閾値Ｓ２より大（以上）であるかどうかを判定し、大でないと判定した場合、ステップＳ８２をスキップして、ステップＳ８３に進み、判定制御部５６は、ステップＳ７６で求められたパラメータ制御データａ_１乃至ａ_Ｎを、パラメータ制御部データメモリ３７に出力する。パラメータ制御データメモリ５７は、判定制御部５６からのパラメータ制御データａ_１乃至ａ_Ｎを上書きする形で記憶し、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
一方、ステップＳ８１において、誤差εの大きさが、所定の閾値Ｓ２より大であると判定された場合、ステップＳ８２に進み、判定制御部５６は、パラメータ制御データ計算部５４を制御することにより、学習用データメモリ５３に記憶された最近の教師データと生徒データのみを用いて、パラメータ制御データａ_１乃至ａ_Ｎを再計算させる。そして、ステップＳ８３に進み、判定制御部５６は、ステップＳ８２で求められたパラメータ制御データａ_１乃至ａ_Ｎを、パラメータ制御データメモリ５７に出力し、上書きする形で記憶させ、ステップＳ７１に戻る。
即ち、図１３の実施の形態においても、図８の実施の形態における場合と同様に、ステップＳ８２において、いままでに与えられた教師データおよび生徒データから求められたパラメータ制御データａ_１乃至ａ_Ｎから式（２３）で定義される面と、最新の教師データおよび生徒データで規定される点との間の誤差εが求められる。
そして、この誤差εの大きさが、閾値Ｓ２より大でない場合には、ステップＳ７６で求められたパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）の面が、最新の教師データと生徒データで規定される点も含め、いままでに与えられた教師データと生徒データで規定される点のいずれも、比較的精度良く近似していると考えられるため、そのパラメータ制御データａ_１乃至ａ_Ｎが、パラメータ制御データメモリ５７に記憶される。
一方、誤差εの大きさが、閾値Ｓ２より大の場合には、ステップＳ７６で求められたパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）の面から、最新の教師データと生徒データで規定される点が比較的大きく離れていると考えられるため、判定制御部５６は、パラメータ制御データ計算部５４を制御することにより、ステップＳ８２において、学習用データメモリ５３に記憶された最近の教師データと生徒データのみを用いて、パラメータ制御データａ_１乃至ａ_Ｎを再計算させる。
図１０のＮＲ回路では、入力信頼度計算部６１において、以上のようにして求められたパラメータ制御データａ_１乃至ａ_Ｎから、式（２２）にしたがい、入力信頼度α_ｘ（ｔ）が計算される。
従って、この場合も、ユーザの操作に応じて供給される学習用操作信号に基づいて、式（２２）の入力信頼度α_ｘ（ｔ）を規定するパラメータ制御データａ_１乃至ａ_Ｎの学習が行われるので、ユーザの操作を、ユーザが知らないうちに学習することができ、さらに、その学習結果を用いて、ユーザにとって最適な処理を行うことが可能となる。
また、図１０のＮＲ回路も、図４のＮＲ回路と同様に、ユーザが操作部２を操作すると、操作信号処理部５０は、その操作に対応した操作信号が表す重みを出力し、選択部４１は、その重みを選択して、補正部２１に供給する。この場合、補正部２１では、ユーザの操作に対応した重みを用いて、式（８）で表される補正処理が行われる。そして、ユーザの操作により式（８）の重みｗ（ｔ）が変更される場合には、当然に、式（８）で表される処理（補正処理）の内容も変更することとなるから、図１０のＮＲ回路でも、ユーザの操作にしたがい、その「処理の内容」が、ユーザにとって所望の出力信号が得られるように変更されているということができる。
さらに、図１０のＮＲ回路では、パラメータ制御データａ_１乃至ａ_Ｎを求めることができない場合や、求めることができても、そのパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、入力信号の分散に基づく入力信頼度から求められる重みが、補正部２１における補正処理に用いられる。一方、パラメータ制御データａ_１乃至ａ_Ｎを求めることができ、かつ、そのパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合には、ユーザによる操作部２の操作に基づいて得られる学習対を用いて学習が行われることにより求められたパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（２３）にしたがって、入力信号およびパラメータ制御データａ_１乃至ａ_Ｎ（から算出される入力信頼度）と出力信頼度とから求められる重みが、補正部２１による補正処理に用いられる。
即ち、図１０のＮＲ回路も、図４のＮＲ回路における場合と同様に、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合と、精度の高い近似が可能な学習対が得られた場合とで、補正処理に用いられる重みを算出するアルゴリズムが変更されている。
従って、図１０のＮＲ回路でも、ユーザの操作にしたがい、その「処理の内容」も、さらには、その「処理の構造」も変更され、これにより、ユーザにとって所望の出力信号が出力されることになる。
なお、上述の場合においては、出力信頼度α_{ｙ（ｔ−１）}を生徒データとして用いて、パラメータ制御データａ_１乃至ａ_Ｎを求めているが、この出力信頼度α_{ｙ（ｔ−１）}は、式（５）に示したように、入力信頼度α_{ｘ（ｔ−１）}から求められる。そして、入力信頼度α_ｘ（ｔ）は、図１３の制御データ学習処理が行われることにより、徐々に、ユーザが希望する重みが得られるように改善されていくから、あわせて、出力信頼度α_{ｙ（ｔ−１）}も改善されていくことになる。
また、上述の場合には、出力信頼度を既知の値とするとともに、入力信頼度を、パラメータ制御データａ_１乃至ａ_Ｎによって規定し、ユーザが希望する重みが得られるようなパラメータ制御データａ_１乃至ａ_Ｎを求めるようにしたが、これとは逆に、入力信頼度を既知の値とするとともに、出力信頼度を、パラメータ制御データａ_１乃至ａ_Ｎによって規定し、ユーザが希望する重みが得られるようなパラメータ制御データａ_１乃至ａ_Ｎを求めることも可能である。
さらに、例えば、出力信頼度を既知の値とするとともに、入力信頼度を、パラメータ制御データａ_１乃至ａ_Ｎによって規定し、ユーザが希望する重みが得られるようなパラメータ制御データａ_１乃至ａ_Ｎを求め、さらに、そのパラメータ制御データａ_１乃至ａ_Ｎによって得られる入力信頼度を既知の値とするとともに、出力信頼度を、パラメータ制御データａ_１’乃至ａ_Ｎ’によって規定し、ユーザが希望する重みが得られるようなパラメータ制御データａ_１’乃至ａ_Ｎ’を求めること、即ち、２セットのパラメータ制御データａ_１乃至ａ_Ｎおよびａ_１’乃至ａ_Ｎ’を求めるようにすることも可能である。
また、上述の場合には、重みを、式（６）に示したように、入力信頼度α_ｘ（ｔ）と出力信頼度α_{ｙ（ｔ−１）}で定義して、パラメータ制御データａ_１乃至ａ_Ｎを求めるようにしたが、その他、重みを、例えば、式（３１）に示すように、入力信頼度α_ｘ（ｔ）と出力信頼度α_{ｙ（ｔ−１）}の他、入力信頼度α_ｘ（ｔ）または出力信頼度α_{ｙ（ｔ−１）}の補正項△αをも用いて定義して、パラメータ制御データａ_１乃至ａ_Ｎと補正項△αを求めるようにすることが可能である。
【数３１】

さらに、入力信頼度を、パラメータ制御データによって定義する式は、式（２２）に限定されるものではない。
次に、図１４は、図１の最適化装置の第２の詳細構成例を示している。図１４の最適化装置１においては、図２の最適化装置１に内部情報生成部７１が新たに設けられて構成されており、処理部１１の構成は図２の場合と同様であるのでその説明は省略する。尚、図１４の実施の形態では、最適化装置１の外部に表示部８１が設けられている。
内部情報生成部７１は、処理部１１の内部情報を読出し、画像情報に変換した後、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）からなる表示部８１に出力して、表示させる（呈示させる）。より詳細には、表示部８１は、内部情報をそのまま数値的に表示するようにしても良いし、例えば、レベルゲージのような表示画面を設定し、内部情報の値に応じてレベルゲージが変動するような表示にしても良い。また、表示部８１は、これに限るものではなく、視覚的に内部情報を表示（呈示）するものであればこれ以外の表示方法であってもよい。尚、内部情報とは、例えば、補正部２１の重みメモリ３１や３２に記憶される重みや、学習部２２の学習用データメモリ５３や学習情報メモリ５５の記憶内容その他を採用することができる。また、内部情報は、表示以外の呈示（提示）方法、すなわち、音などによって、ユーザに呈示しても良い。
次に、図１５のフローチャートを参照して、図１４のＮＲ回路の最適化処理について説明する。この処理は、図３のフローチャートを参照して説明した、最適化処理と基本的には同様であり、内部情報生成部７１による内部情報を表示する処理が加えられている点が異なる。すなわち、ステップＳ９１乃至Ｓ１０１において、図３のステップＳ１乃至Ｓ１１とそれぞれ同様な処理が行われ、ステップＳ１０２に進む。
ステップＳ１０２において、表示部８１に、重みＷが表示される。すなわち、内部情報生成部７１は、例えば、重みメモリ３１に記憶されている重みＷの値を、内部情報として読出し、表示部８１で表示可能な画像信号に変換して表示部８１に出力し、重みＷを表示（呈示）させ、ステップＳ９１に戻る。
図１５のフローチャートを参照して説明した処理により、処理部１１において実際に実行している処理に関する内部情報としての重みＷが、ユーザに表示（呈示）され、その結果、ユーザは、その内部情報の表示を見ながら最適な出力信号を得ることができるように操作部２を操作することが可能となる。尚、内部情報生成部７１では、上述した重みなどの内部情報の他、例えば、学習部２２のパラメータ制御データメモリ３７（図４，図１０）よりパラメータ制御データａ，ｂを読み出して表示するようにしても良い。また、選択部４１（図４，図１０）により選択された重みが、学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂから求められた重みであるのか、若しくは、入力信頼度と出力信頼度から求められる重みであるのかを表す画像情報を内部情報として生成するようにしても良い。
次に、図１６は、図１の最適化装置を適用した、自動車の自動走行装置の一実施の形態の構成例を示している。
自動走行装置においては、自動車の位置座標（Ｘ，Ｙ）や走行方向θが求められ、所定の軌跡に沿って、自動車を走行させるようになっている。しかしながら、自動走行装置において求められる座標（Ｘ，Ｙ）や走行方向θには、誤差が含まれる場合が多く、この場合には、自動車が、所定の軌跡からはずれて走行することがある。そこで、図１６の自動走行装置においては、ユーザの操作を、ユーザが知らないうちに学習し、その学習結果に基づいて、自動車を、所定の軌跡に沿って走行させるようになっている。即ち、自動車が、所定の軌跡からはずれて走行しだした場合、一般に、ユーザは、自動車を所定の軌跡に沿って走行させるように、ハンドルやアクセルなどを操作する。そこで、図１６の自動走行装置では、そのようなユーザの操作を、ユーザが知らないうちに学習し、その学習結果に基づいて、自動車を、徐々に、所定の軌跡に沿って走行させるように制御する。
ジャイロセンサ９１は、自動車のヨーレートｒを検知し、演算部９３に供給する。車輪パルサ９２は、自動車の車輪の回転角度に応じた数の電気パルスを、演算部９３に供給する。
演算部９３は、ジャイロセンサ９１と車輪パルサ９２の出力から、例えば、次式にしたがって、自動車の座標（Ｘ，Ｙ）と走行方向θを演算し、最適化装置９４に供給する。
【数３２】

但し、式（３２）において、θ（０）は自動車の走行開始時の方向を表し、（Ｘ（０），Ｙ（０））は、自動車の走行開始時の座標を表す。なお、θ（０）や（Ｘ（０），Ｙ（０））は、例えば、図示せぬＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を利用して求めることができる。また、Ｖ_ｒは、自動車の走行速度を表し、βは、自動車の重心点のスリップアングルを表す。
ここで、上述のようにして、自動車の座標（Ｘ，Ｙ）と走行方向θを求める方法は、例えば、特開平１０−６９２１９号公報に開示されている。
最適化装置９４は、処理部１０１から構成され、ユーザによる操作部９８の操作を学習し、即ち、ユーザが操作部９８を操作することにより供給される操作信号に基づいて学習を行い、その学習結果に基づき、演算部９３からの座標（Ｘ，Ｙ）や走行方向θを、ユーザが所望する走行が行われるように補正し、自動走行制御部９５に供給する。
自動走行制御部９５は、地図データと、自動走行すべき、あらかじめ設定された軌跡（以下、適宜、設定軌跡という）を記憶している。そして、自動走行制御部９５は、最適化装置９４の処理部１０１から供給される座標（Ｘ，Ｙ）と走行方向θから、自動車の現在位置と走行方向を認識し、自動車が設定軌跡に沿って走行するように、後述する駆動部９７を制御する制御信号を生成して、選択部９６に出力する。
選択部９６には、自動走行制御部９５から制御信号が供給される他、操作部９８から操作信号が供給されるようになっている。そして、選択部９６は、自動走行制御部９５からの制御信号と、操作部９８からの操作信号のうちの操作信号を、優先的に選択し、駆動部９７に出力する。即ち、選択部９６は、通常は、自動走行制御部９５からの制御信号を選択し、駆動部９７に出力するが、操作部９８からの操作信号を受信すると、その操作信号を受信している間は、自動走行制御部９５からの制御信号の出力を停止して、操作部９８からの操作信号を、駆動部９７に出力する。
駆動部９７は、選択部９６からの制御信号または操作信号にしたがい、自動車の図示せぬエンジンや、車輪、ブレーキ、クラッチ等の、走行に必要な各機構を駆動する。操作部９８は、例えば、ハンドルや、アクセルペダル、ブレーキペダル、クラッチペダル等で構成され、ユーザの操作に対応した操作信号を、最適化装置９４および選択部９６に供給する。
以上のように構成される自動走行装置では、演算部９３において、ジャイロセンサ９１と車輪パルサ９２の出力から、自動車の現在の座標（Ｘ，Ｙ）と走行方向θが演算され、最適化装置９４の処理部１０１を介して、自動走行制御部９５に供給される。自動走行制御部９５は、そこに供給される座標（Ｘ，Ｙ）と走行方向θから、自動車の現在位置と走行方向を認識し、自動車が設定軌跡に沿って走行するように、後述する駆動部９７を制御する制御信号を生成して、選択部９６を介して、駆動部９７に供給する。これにより、自動車は、自動走行制御部９５が出力する制御信号にしたがって自動走行する。
一方、ユーザが操作部９８を操作すると、その操作に対応した操作信号が、選択部９６を介して、駆動部９７に供給され、これにより、自動車は、ユーザによる操作部９８の操作にしたがって走行する。
さらに、ユーザが操作部９８を操作することにより、操作部９８が出力する操作信号は、最適化装置９４の処理部１０１にも供給される。最適化装置９４は、ユーザが操作部９８を操作することにより供給される操作信号に基づいて学習を行う。そして、最適化装置９４の処理部１０１は、ユーザが操作部９８の操作を停止すると、演算部９３から供給される座標（Ｘ，Ｙ）や走行方向θを、学習結果に基づき、ユーザが所望する走行としての設定軌跡に沿った走行が行われるように補正し、自動走行制御部９５に供給する。
次に、図１７は、図１６の最適化装置９４の処理部１０１の構成例を示している。なお、図中、図４の処理部１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の処理部１０１は、選択部４１が設けられておらず、操作信号処理部５０と教師データ生成部５１に替えて、操作信号処理部１１０と教師データ生成部１１１がそれぞれ設けられている他は、基本的に、図４の処理部１１と同様に構成されている。
ここで、以下においては、説明を簡単にするため、演算部９３から最適化装置９４の処理部１０１に供給される座標（Ｘ，Ｙ）と走行方向θのうち、走行方向θにだけ注目して、説明を行う。但し、座標（Ｘ，Ｙ）についても、以下で説明する走行方向θに対する処理と同様の処理を行うことが可能である。
操作信号処理部１１０は、操作部９８からの操作信号を受信し、学習用操作信号かどうかを判定する。そして、操作信号処理部１１０は、操作信号が学習用操作信号である場合には、その旨を表すメッセージを、生徒データ生成部５２と教師データ生成部１１１に供給する。
教師データ生成部１１１には、操作信号処理部１１０から、操作信号が学習用操作信号である旨のメッセージ（以下、適宜、学習メッセージという）が供給される他、入力信号としての、演算部９３からの走行方向θが供給されるようになっている。さらに、教師データ生成部１１１には、補正部２１（演算器３６）が出力する出力信号としての、演算部９３からの走行方向θを補正したもの（以下、適宜、補正走行方向という）も供給されるようになっている。教師データ生成部１１１は、学習メッセージを受信したときに供給される入力信号としての走行方向θと、出力信号としての補正走行方向とから、学習用操作信号に対応する重みＷを求め、教師データとして、学習用データメモリ５３に供給する。
即ち、いまの場合、教師データとしては、自動車が所定の方向に向くように、ユーザが、ハンドルとしての操作部９８を操作した後に、自動車が所定の方向を向いたときの重みＷを求める必要がある。つまり、教師データとしては、ユーザが、ハンドルとしての操作部９８を操作し、自動車が所望の方向を向くようになった直後の、その走行方向θを表す入力信号ｘ（ｔ）の補正に用いられる重みＷを採用する必要がある。この、操作部９８の操作直後の入力信号ｘ（ｔ）は、式（８）にしたがい、その入力信号ｘ（ｔ）と、操作部９８の操作直前に出力される出力信号ｙ（ｔ−１）との重み付け加算によって、補正走行方向としての、操作部９８の操作直後の出力信号ｙ（ｔ）に補正されることから、操作部９８の操作直後の入力信号ｘ（ｔ）の補正に用いられる重みＷは、式（８）から、操作部９８の操作直後の入力信号ｘ（ｔ）並びに操作部９８の操作直後の出力信号ｙ（ｔ）および操作部９８の操作直前のｙ（ｔ−１）によって求めることができる。そこで、教師データ生成部１１１は、学習メッセージを受信した直後に供給される入力信号ｘ（ｔ）としての走行方向θ、および学習メッセージを受信した直前と直後にそれぞれ供給される出力信号ｙ（ｔ−１）とｙ（ｔ）としての補正走行方向から、教師データとしての重みＷを求め、学習用データメモリ５３に供給する。
なお、生徒データ生成部５２は、学習メッセージを受信すると、その直前までに供給された入力信号としての走行方向から求められている重みｗを、生徒データとして、学習用データメモリ５３に供給する。即ち、生徒データ生成部５２は、図４で説明したように、入力信頼度計算部４２、出力信頼度計算部４３、ラッチ回路４４、および重み計算部４５と同様に構成され、そこに供給される入力信号としての走行方向から重みｗ（重み計算部４５で求められるのと同一の重みｗ）を計算しており、学習メッセージを受信する直前において計算された重みｗを、生徒データとして、学習用データメモリ５３に供給する。
従って、パラメータ制御データ計算部５４では、ユーザが操作部９８を操作して、走行方向が、ユーザが所望する方向となったときの重みＷを教師データとするとともに、ユーザが操作部９８を操作する直前に重み計算部４５が出力したのと同一の重みｗを生徒データとして、式（２０）および（２１）に示したパラメータ制御データａおよびｂの計算が行われる。
そして、重み補正部４６では、そのパラメータ制御データａおよびｂを用いて、式（１３）にしたがい、重み計算部４５で求められた重みｗが補正され、補正部２１に供給される。
その結果、パラメータ制御データａおよびｂは、ユーザが操作部９８を操作する直前の走行方向を、ユーザが操作部９８を操作した直後の走行方向に補正するように、重み計算部４５で求められた重みｗを補正するものとなるから、自動車は、設定軌跡に沿って自動走行するようになることになる。
即ち、ユーザが操作部９８を操作するということは、ジャイロセンサ９１の誤差や、その出力に含まれるノイズ、演算部９３における演算誤差等に起因して、演算部９３が出力する走行方向θが誤差を含み、自動車の真の走行方向を表していないために、自動車の実際の走行方向が、設定軌跡からはずれている状態になっていると考えられる。さらに、この場合におけるユーザによる操作部９８の操作は、自動車の実際の走行方向を、設定軌跡に沿った方向にするものであると考えられる。従って、ユーザが操作部９８を操作し、自動車の実際の走行方向が、設定軌跡に沿ったものとなったときにおける重みＷを教師データとするとともに、ユーザが操作部９８を操作する直前に重み計算部４５で求められた重みｗ、即ち、設定軌跡からはずれている状態での重み計算部４５が出力する重みｗを生徒データとして学習を行うことにより、設定軌跡からはずれている状態での走行方向を、設定軌跡に沿った方向に補正するように、式（６）の重みを補正する式（１３）のパラメータ制御データａおよびｂが求められることになる。
次に、図１７の最適化装置９４の処理部１０１の処理について説明する。なお、図１７の最適化装置９４の処理部１０１では、図４のＮＲ回路の処理部１１と同様に、入力信号ｘ（ｔ）としての演算部９３が出力する走行方向θを補正する補正処理、その補正処理に用いられる補正パラメータとしての重みを求める補正パラメータ演算処理、およびユーザによる操作部９８（図１６）の操作を学習することにより、補正パラメータとしての重みを制御（補正）するパラメータ制御データを求める制御データ学習処理が行われるが、補正処理は、図７で説明した図４のＮＲ回路による補正処理と同一であるため、ここでは、図１７の最適化装置９４の処理部１０１が行う補正パラメータ演算処理と生徒データ学習処理について説明する。
まず、図１８のフローチャートを参照して、図１７の最適化装置９４の処理部１０１が行う補正パラメータ演算処理について説明する。
補正パラメータ演算処理では、まず最初に、ステップＳ１１１において、入力信頼度計算部４２が、図７のステップＳ３１における場合と同様に、入力信号としての演算部９３（図１６）からの走行方向θの分散に基づく入力信頼度α_ｘ（ｔ）を求め、出力信頼度計算部４３および重み計算部４５に供給する。
その後、ステップＳ１１２に進み、重み計算部４５は、入力信頼度計算部４２からの入力信頼度α_ｘ（ｔ）を用い、式（６）にしたがって、重みｗ（ｔ）を求め、重み補正部４６に供給し、ステップＳ１１３に進む。
ステップＳ１１３では、重み補正部４６は、パラメータ制御データメモリ５７からパラメータ制御データを読み出し、ステップＳ１１４に進む。ステップＳ１１４では、重み補正部４６は、パラメータ制御データメモリ５７から読み出したパラメータ制御データが、重みｗ（ｔ）を補正しないモード、即ち、ユーザによる操作部９８（図１６）の操作に関係なく、重み計算部４５において、入力信頼度と出力信頼度から、いわば自動的に求められる重みｗ（ｔ）を、そのまま入力信号ｘ（ｔ）を補正するための重みＷとして用いるモード（オートモード）を表すオートモードデータとなっているかどうかを判定する。
ステップＳ１１３において、パラメータ制御データがオートモードデータでないと判定された場合、ステップＳ１１５に進み、重み補正部４６は、重み計算部４５から供給される重みｗ（ｔ）を、パラメータ制御データメモリ５７から供給されるパラメータ制御データａとｂによって定義される式（１３）の一次式にしたがって補正し、ステップＳ１１６に進む。ステップＳ１１６では、重み補正部４６が、補正後の重みを、補正パラメータとして、補正部２１に供給し、ステップＳ１１７に進む。
一方、ステップＳ１１４において、パラメータ制御データがオートモードデータであると判定された場合、ステップＳ１１５をスキップして、ステップＳ１１６に進み、重み補正部４６は、重み計算部４５からの重みｗ（ｔ）を、補正パラメータとして、そのまま補正部２１に供給し、ステップＳ１１７に進む。
ステップＳ１１７では、出力信頼度計算部４３は、出力信頼度を更新する。即ち、出力信頼度計算部４３は、直前のステップＳ３１で入力信頼度計算部４２が計算した入力信頼度α_ｘ（ｔ）と、ラッチ回路４４がラッチしている１サンプル前の出力信頼度α_{ｙ（ｔ−１）}とを、式（５）にしたがって加算することで、現在の出力信頼度α_ｙ（ｔ）を求め、ラッチ回路４４に上書きする形で記憶させる。
ステップＳ１１７の処理後は、ステップＳ１１１に戻り、以下、同様の処理が繰り返される。
以上のように、図１８の補正パラメータ演算処理においては、オートモードの場合は、操作部９８の操作に関係なく、入力信頼度と出力信頼度から、補正処理に用いられる重みが求められ、オートモードでない場合には、操作部９８の操作に基づいて、後述する図１９の制御データ学習処理による学習によって得られるパラメータ制御データを用いて、補正処理に用いられる重みが求められる。
次に、図１９のフローチャートを参照して、図１７の最適化装置９４の処理部１０１が行う制御データ学習処理について説明する。
制御データ学習処理では、まず最初に、ステップＳ１３１において、操作信号処理部１１０が、学習用操作信号を、操作部９８（図１６）から受信したかどうかを判定し、受信していないと判定した場合、ステップＳ１０１に戻る。
また、ステップＳ１０１において、操作部９８から、学習用操作信号を受信したと判定された場合、即ち、例えば、操作部９８としてハンドルなどが、その操作の開始後、第１の時間ｔ１以上の間隔をあけることなく、第２の時間ｔ２以上連続して操作され、その後、第３の時間ｔ３以上連続して、その操作が停止された場合や、操作部９８としてのハンドルの操作の開始後、第３の時間ｔ３以上連続して、その操作が停止された場合など、自動車が所望の方向を向くように、ユーザが操作部９８としてのハンドルの操作を行ったと判定することができる場合、ステップＳ１３２に進み、教師データ生成部１１１が教師データを生成するとともに、生徒データ生成部５２が生徒データを生成する。
即ち、操作信号処理部１１０は、学習用操作信号を受信したと判定すると、学習メッセージを、教師データ生成部１１１および生徒データ生成部５２に供給する。教師データ生成部１１１は、操作信号処理部１１０から学習メッセージを受信すると、ステップＳ１３２において、演算部９３から供給される入力信号としての走行方向θと、補正部２１（演算器３６）が出力する出力信号としての、演算部９３からの走行方向θを補正したもの（補正走行方向）とから、学習用操作信号に対応する重みＷを求める。
具体的には、教師データ生成部１１１は、ユーザが、ハンドルとしての操作部９８を操作し、自動車が所望の方向を向くようになった直後の、その走行方向θを表す入力信号ｘ（ｔ）を、演算部９３（図１６）から受信する。さらに、教師データ生成部１１１は、補正部２１が出力する現在の出力信号ｙ（ｔ）と、その１時刻だけ前の出力信号ｙ（ｔ−１）、即ち、操作部９８の操作直前の出力信号ｙ（ｔ−１）を保持するようになっており、これらの入力信号ｘ（ｔ）、並びに出力信号ｙ（ｔ）およびｙ（ｔ−１）を用いて、式（８）にしたがい、学習用操作信号が与えられたときに補正部２１で用いられた重みＷ（学習用操作信号に対応する重み）を求める。
なお、ここでは、説明を簡単にするために、ユーザによる操作部９８としてのハンドルの操作が、ｔ−１からｔまでの１時刻の間に、瞬時に完了するものとする。
教師データ生成部１１１は、以上のようにして、学習用操作信号に対応する重みＷを求めると、その重みＷを、教師データとして、学習用データメモリ５３に供給する。
さらに、ステップＳ１３２では、操作信号処理部１１０から学習メッセージを受信した生徒データ生成部５２が、その直前までに、演算部９３（図１６）から供給された入力信号としての走行方向から求められる入力信頼度と出力信頼度を用いて計算された、重み計算部４５が出力するのと同一の重みｗを、生徒データとして、学習用データメモリ５３に供給する。
従って、学習データメモリ３３には、ユーザが操作部９８を操作して、自動車の実際の走行方向が、ユーザが所望する方向となったときに補正部２１で用いられた重みＷを教師データとするとともに、ユーザが操作部９８を操作する直前に、入力信頼度と出力信頼度から求められていた重みｗを生徒データとする学習対が供給される。
学習用データメモリ５３は、教師データ生成部１１１から教師データＷを受信するとともに、生徒データ生成部５２から生徒データｗを受信すると、ステップＳ１３３において、その最新の教師データＷと生徒データｗのセットを記憶し、ステップＳ１３４に進む。
ステップＳ１３４では、パラメータ制御データ計算部５４が、図８のステップＳ４４における場合と同様に、学習用データメモリ５３に記憶された最新の教師データと生徒データ、および学習情報メモリ５５に記憶されている学習情報を対象として、最小自乗法における足し込みを行う。さらに、ステップＳ１３４では、パラメータ制御データ計算部５４は、その足し込み結果を、学習情報として、学習情報メモリ５５に上書きする形で記憶させ、ステップＳ１３５に進む。
ステップＳ１３５では、図８のステップＳ４５における場合と同様に、パラメータ制御データ計算部５４が、学習情報メモリ５５に記憶された学習情報としての足し込み結果から、式（２０）および（２１）によって、パラメータ制御データａおよびｂを求めることが可能であるかどうかを判定する。
ステップＳ１３５において、パラメータ制御データａおよびｂを求めることが可能でないと判定された場合、パラメータ制御データ計算部５４は、その旨を、判定制御部５６に供給し、ステップＳ１３９に進む。ステップＳ１３９では、判定制御部５６は、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａおよびｂを求めることができるだけの学習情報が存在しない場合には、重み計算部４５（図１７）において、入力信頼度と出力信頼度から自動的に求められる重みｗ（ｔ）が、そのまま入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ１３５において、パラメータ制御データａおよびｂを求めることが可能であると判定された場合、ステップＳ１３６に進み、パラメータ制御データ計算部５４は、学習情報を用い、式（２０）および（２１）を計算することで、パラメータ制御データａおよびｂを求め、判定制御部５６に供給して、ステップＳ１３７に進む。
ステップＳ１３７では、判定制御部５６は、パラメータ制御データ計算部５４からのパラメータ制御データａおよびｂによって定義される式（１３）の一次式にしたがい、学習用データメモリ５３に記憶された各生徒データから、対応する教師データの予測値を求め、その予測値の予測誤差（学習用データメモリ５３に記憶されている教師データに対する誤差）の、式（１５）で表される自乗誤差の総和を求める。さらに、判定制御部５６は、その自乗誤差の総和を、例えば、学習用データメモリ５３に記憶されている学習対の数で除算した正規化誤差を求め、ステップＳ１３８に進む。
ステップＳ１３８では、判定制御部５６は、正規化誤差が、所定の閾値Ｓ１より大（以上）であるかどうかを判定する。ステップＳ１３８において、正規化誤差が所定の閾値Ｓ１より大であると判定された場合、即ち、パラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合、ステップＳ１３９に進み、判定制御部５６は、上述したように、パラメータ制御データとして、オードモードを表すオートモードデータを、パラメータ制御データメモリ５７に供給して記憶させる。そして、ステップＳ１３１に戻り、以下、同様の処理が繰り返される。
従って、パラメータ制御データａおよびｂを求めることができても、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、パラメータ制御データａおよびｂを求めることができるだけの学習情報が存在しない場合と同様に、入力信頼度と出力信頼度から自動的に求められる重みｗ（ｔ）が、そのまま入力信号ｘ（ｔ）の補正に用いられることになる。
一方、ステップＳ１３８において、正規化誤差が所定の閾値Ｓ１より大でないと判定された場合、即ち、パラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合、ステップＳ１４０に進み、判定制御部５６は、パラメータ制御データ計算部５４からのパラメータ制御データａおよびｂによって定義される式（１３）の一次式で表される回帰直線と、学習用データメモリ５３に記憶された最新の教師データおよび生徒データで規定される点との間の誤差（距離）εを求める。
そして、ステップＳ１４１に進み、判定制御部５６は、誤差εの大きさが、所定の閾値Ｓ２より大（以上）であるかどうかを判定し、大でないと判定した場合、ステップＳ１４２をスキップして、ステップＳ１４３に進み、判定制御部５６は、ステップＳ１３６で求められたパラメータ制御データａおよびｂを、パラメータ制御部データメモリ３７に出力する。パラメータ制御データメモリ５７は、判定制御部５６からのパラメータ制御データａおよびｂを上書きする形で記憶し、ステップＳ１３１に戻る。
一方、ステップＳ１４１において、誤差εの大きさが、所定の閾値Ｓ２より大であると判定された場合、ステップＳ１４２に進み、判定制御部５６は、パラメータ制御データ計算部５４を制御することにより、学習用データメモリ５３に記憶された最近の教師データと生徒データとしての、最新の学習対から所定数の過去の学習対のみを用いて（学習情報メモリ５５の学習情報を用いずに）、パラメータ制御データａおよびｂを再計算させる。そして、ステップＳ１４３に進み、判定制御部５６は、ステップＳ１４２で求められたパラメータ制御データａおよびｂを、パラメータ制御部データメモリ３７に出力し、上書きする形で記憶させ、ステップＳ１３１に戻る。
従って、パラメータ制御データａおよびｂを求めることができ、かつ、そのパラメータ制御データａおよびｂによって定義される式（１３）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合には、ユーザによる操作部２の操作に基づいて得られる学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂによって定義される式（１３）にしたがって、入力信頼度と出力信頼度から求められる重みｗ（ｔ）が補正され、その補正によって得られる補正重みＷが、入力信号ｘ（ｔ）の補正に用いられることになる。
以上のように、図１６の自動走行装置でも、ユーザの操作に応じて供給される操作信号が、学習に用いることができるかどうかが判定され、学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、入力信号を補正する重みを補正するパラメータ制御データａおよびｂが学習されるので、ユーザの操作を、ユーザが知らないうちに学習することができ、その結果、その学習結果に基づいて、ユーザにとって、徐々に適切な処理が行われるようになり、最終的には、ユーザにとって最適な処理が行われることになる。
即ち、ユーザが、走行方向を、設定軌跡に沿ったものに修正するように、操作部９８を操作しているうちに、自動車は、徐々に、設定軌跡に沿って自動走行するようになる。
また、図１７の最適化装置９４の処理部１０１においても、図４のＮＲ回路と同様に、ユーザによる操作部９８の操作にしたがい、自動車の実際の走行方向が設定軌跡に沿ったものにあるように、補正部２１で行われる補正処理（図６）で用いられる重みＷが変更される。即ち、自動車の走行方向が所望の方向となるように、ユーザが操作部９８を操作すると、演算部９３（図１６）が出力する入力信号としての走行方向θが変化し、その走行方向θから求められる入力信頼度、さらには、その入力信頼度から求められる出力信頼度も変化する。この入力信頼度および出力信頼度の変化によって、重み計算部４５で求められる重みも変化し、この変化した重みは、重み補正部４６を経由して、補正部２１に供給される。そして、補正部２１では、このようにして供給される重みを用いて、式（８）で表される補正処理が行われる。従って、ユーザが操作部９８を操作した場合には、そのユーザの操作により式（８）の重みが変更され、図４のＮＲ回路で説明した場合と同様に、当然に、式（８）で表される処理（補正処理）の内容も変更することとなるから、図１７の最適化装置９４の処理部１０１でも、ユーザの操作にしたがい、その「処理の内容」が、ユーザにとって所望の走行方向が得られるように変更されているということができる。
さらに、図１７の最適化装置９４の処理部１０１でも、図４のＮＲ回路と同様に、ユーザから十分な数の学習対が入力されていない場合や、精度の高い近似が可能な学習対が入力されていない場合には、入力信頼度と出力信頼度とから自動的に求められる重みが、補正部２１における補正処理に用いられ、ユーザから精度の高い近似が可能な学習対が入力された場合には、その学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂによって求められる補正重みが、補正部２１における補正処理に用いられる。即ち、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合と、精度の高い近似が可能な学習対が得られた場合とで、補正処理に用いられる重みを算出するアルゴリズムが変更されている。
従って、図１７の最適化装置９４の処理部１０１でも、図４のＮＲ回路と同様に、ユーザの操作にしたがい、その「処理の内容」も、さらには、その「処理の構造」も変更され、これにより、設定軌跡に沿った走行方向に、自動車が自動走行するようになっている。
なお、例えば、特開平７−１３６２５号公報には、田植機等の作業車の走行制御装置が開示されており、この走行制御装置においては、ユーザの操作状態と、ジャイロセンサ等の検出結果に基づく情報との差が少なくなるように、自動操縦状態における制御パラメータの補正量が演算されるようになっている。従って、図１６の自動走行装置は、ユーザの操作に基づいて、自動走行（自動操縦）のためのパラメータの補正量が変化する点において、特開平７−１３６２５号公報に記載の走行制御装置と共通する。
しかしながら、図１６の自動走行装置は、ユーザの操作に応じて供給される操作信号が、学習に用いることができるかどうかを判定する点、操作信号が学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、入力信号を補正する重みを補正するパラメータ制御データを学習する点において、スイッチを手動で切り替えて、手動操縦制御モードとした場合にのみ、自動操縦状態における制御パラメータの補正量が演算される特開平７−１３６２５号公報に記載の走行制御装置と大きく異なる。
かかる相違がある結果、特開平７−１３６２５号公報に記載の走行制御装置では、ユーザが、適切な自動操縦が行われていないと感じるたびに、スイッチを切り替え、手動操縦制御モードとし、制御パラメータの補正量の演算の終了後に、再び、スイッチを切り替え、自動操縦制御モードとしなければならず、従って、ユーザに煩わしさを感じさせるおそれがある。
これに対して、図１６の自動走行装置では、ユーザの操作に応じて供給される操作信号が、学習に用いることができるかどうかを判定し、さらに、学習に用いることのできる学習用操作信号である場合には、その学習用操作信号に基づいて、入力信号を補正する重みを補正するパラメータ制御データを学習するようにアルゴリズムが変更されるので、ユーザが、上述のようなスイッチの切り替えを行わなくても、適切な自動走行が行われるようになる。即ち、ユーザが知らないうちに、ユーザの操作の学習が行われるので、ユーザが走行方向を修正する操作をしているうちに、学習が進み、徐々に、ユーザが操作を行わなくても、自動車が設定軌跡に沿って走行するようになる。
さらに、図１６の自動走行装置は、ユーザの操作に対応して、処理の構造が変化するが、その点においても、特開平７−１３６２５号公報に記載の走行制御装置と異なる。
次に、図２０は、図１６の最適化装置９４の処理部１０１の他の実施の形態を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図４および図１０のＮＲ回路の処理部１１、並びに図１７の最適化装置９４の処理部１０１においては、ユーザの操作に基づいて得られる学習対を用いて、補正パラメータを制御するパラメータ制御データの学習が行われるようになっていたが、図２０の処理部１０１では、ユーザの操作に基づいて得られる学習対を用いて、補正パラメータ自体の学習が行われるようになっている。
即ち、図２０の実施の形態では、補正部２１は、補正量計算部１４１と演算器１４２で構成され、学習部２２は、学習用データメモリ５３、学習情報メモリ５５、判定制御部５６、操作信号処理部１１０、教師データ生成部１４３、生徒データ生成部１４４、補正パラメータ計算部１４５、および補正パラメータメモリ１４６から構成されている。
補正量計算部１４１には、学習部２２の補正パラメータメモリ１４６から、後述するような補正パラメータが供給されるようになっており、補正量計算部１４１は、その補正パラメータを用いて、入力信号としての走行方向θを補正する補正量を計算し、演算器１４２に供給する。
演算器１４２には、補正量計算部１４１から補正量が供給される他、入力信号としての走行方向θが、演算部９３（図１６）から供給されるようになっており、演算器１４２は、入力信号としての走行方向θを、それに補正量を加算することで補正し、その補正後の走行方向（補正走行方向）を、出力信号として、自動走行制御部９５（図１６）に出力する。
教師データ生成部１４３は、操作信号処理部１１０から学習メッセージを受信した直後に供給される入力信号としての走行方向を、教師データとして、学習用データメモリ５３に供給する。生徒データ生成部１４４は、操作信号処理部１３０から学習メッセージを受信した直前に供給される入力信号としての走行方向を、生徒データとして、学習用データメモリ５３に供給する
補正パラメータ計算部１４５は、判定制御部５６の制御の下、学習用データメモリ５３に記憶された学習用データとしての教師データおよび生徒データ、さらには、必要に応じて、学習情報メモリ５５に記憶された学習情報を用いて、所定の統計的な誤差を最小にする補正パラメータを、新たな学習情報を演算することにより学習し、判定制御部５６に供給する。また、補正パラメータ計算部１４５は、学習によって得られた新たな学習情報によって、学習情報メモリ５５の記憶内容を更新する。
補正パラメータメモリ１４６は、判定制御部５６が出力する補正パラメータを記憶する。
以上のように構成される最適化装置９４では、演算部９３から供給される走行方向θが、次のように補正される。
即ち、ジャイロセンサ９１（図１６）が出力する時刻ｔのヨーレートを、ｒ’とすると、演算部９３では、走行方向が、式（３２）におけるｒを、ｒ’に置き換えた式から計算される。
いま、ジャイロセンサ９１が出力するヨーレートｒ’に含まれる誤差をｅ_ｒとするとともに、真のヨーレートをｒとすることとすると、ジャイロセンサ９１が出力するヨーレートｒ’は、次式で表される。
【数３３】

演算部９３において、ジャイロセンサ９１が出力するヨーレートｒ’から計算される走行方向θ’は、式（３２）と（３３）から、次のようになる。
【数３４】

従って、演算部９３で求められる走行方向θ’と、真のヨーレートｒから求められる真の走行方向θとの関係は、次式で示すようになる。
【数３５】

ジャイロセンサ９１が出力するヨーレートｒ’に含まれる誤差ｅ_ｒが白色である場合には、式（３５）の右辺第２項は、長期的にみれば、次式に示すように０になるから、特に問題はない。なお、短期的には、式（３５）の右辺第２項は０にならないが、この場合は、図１７の最適化装置９４の処理部１０１によって対処することができる。
【数３６】

しかしながら、誤差ｅ_ｒが有色である場合には、時間ｔの経過とともに、誤差ｅ_ｒが蓄積され、演算部９３で求められる走行方向θ’は、真の走行方向θから大きくずれることになる。
即ち、いま、説明を簡単にするために、ある一定方向に直進する自動走行を考えると、自動走行制御部９５（図１６）では、演算部９３で求められる走行方向θ’が、図２１に点線で示すように、一定となるような制御信号が生成される。
しかしながら、演算部９３で求められる走行方向θ’に含まれる誤差ｅ_ｒが有色である場合には、時間ｔの経過とともに、誤差ｅ_ｒが蓄積されることから、演算部９３で求められる走行方向θ’が、例えば、図２１において実線で示すような曲線の軌跡を描くときが、自動車が真に直進しているときとなる。
このため、図２０の最適化装置９４の処理部１０１は、入力信号として供給される演算部９３からの走行方向θ’が、図２１において実線で示す軌跡を描くように、その走行方向θ’を補正する補正パラメータａ_０，ａ_１，・・・，ａ_Ｎを、ユーザからの学習用操作信号に基づいて学習する補正パラメータ学習処理を行い、その補正パラメータａ_０乃至ａ_Ｎを用いて、演算部９３からの走行方向θ’を補正する補正処理を行うようになっている。
そこで、図２２および図２３を参照して、図２０の最適化装置９４の処理部１０１が行う補正処理と補正パラメータ学習処理について説明する。なお、図１８の実施の形態では、一定方向に直進する自動走行を行うこととしたが、図２０の最適化装置９４の処理部１０１は、任意の軌跡に沿った自動走行に適用することが可能である。
まず最初に、図２２のフローチャートを参照して、図２０の最適化装置９４の処理部１０１が行う補正処理について説明する。
補正処理では、ステップＳ１５１において、補正量計算部１４１が、補正パラメータメモリ１４６に記憶された補正パラメータａ_０乃至ａ_Ｎを用いて、補正量を計算する。
即ち、ここでは、例えば、真の走行方向θが、補正パラメータａ_０乃至ａ_Ｎと、入力信号としての演算部９３からの走行方向θ’とを用いて、式（３７）に示すように表されることとして、補正量が計算される。
【数３７】

従って、式（３７）から、補正量計算部１４１では、ａ_０＋ａ_１ｔ^１＋ａ_２ｔ^２＋・・・＋ａ_Ｎｔ^Ｎが、補正量として計算される。この補正量は、演算器１４２に供給される。
演算器１４２では、ステップＳ１５２において、入力信号としての演算器５３からの走行方向θ’と、補正量とが加算され、その加算値（式（３７）のθ）が、出力信号として出力され、次の入力信号のサンプルが供給されるのを待って、ステップＳ１５１に戻り、以下、同様の処理が繰り返される。
次に、図２３のフローチャートを参照して、図２０の最適化装置９４の処理部１０１が行う補正パラメータ学習処理について説明する。
補正パラメータ学習処理では、まず最初に、ステップＳ１６１において、操作信号処理部１１０が、学習用操作信号を、操作部９８（図１６）から受信したかどうかを判定し、受信していないと判定した場合、ステップＳ１６１に戻る。
また、ステップＳ１６１において、操作部９８から、学習用操作信号を受信したと判定された場合、即ち、例えば、操作部９８が、その操作の開始後、第１の時間ｔ１以上の間隔をあけることなく、第２の時間ｔ２以上連続して操作され、その後、第３の時間ｔ３以上連続して、その操作が停止された場合や、操作部９８の操作の開始後、第３の時間ｔ３以上連続して、その操作が停止された場合など、ユーザが、自動車が所望の走行方向を向くように、操作部９８の操作を行ったと判定することができる場合、ステップＳ１６２に進み、教師データ生成部１４３が教師データを生成するとともに、生徒データ生成部１４４が生徒データを生成する。
即ち、操作信号処理部１１０は、学習用操作信号を受信した場合、その旨の学習メッセージを、教師データ生成部１４３および生徒データ生成部１４４に供給する。教師データ生成部１４３は、学習メッセージを受信すると、その直後に供給される入力信号としての走行方向を、教師データとして取得し、学習用データメモリ５３に供給する。
即ち、いまの場合、教師データとしては、自動車が所望の方向に向くように、ユーザが、ハンドルとしての操作部９８を操作した後の走行方向を用いる必要がある。そこで、教師データ生成部１４３は、学習メッセージを受信した後に供給される入力信号としての走行方向θを、教師データとして、学習用データメモリ５３に供給する。
また、生徒データ生成部５２は、学習メッセージを受信すると、その直前に供給された入力信号としての走行方向、即ち、自動車が所望の方向を向く直前の走行方向を、生徒データとして、学習用データメモリ５３に供給する。
その後、ステップＳ１６３に進み、学習用データメモリ５３は、教師データ生成部５１から教師データと生徒データのセットを記憶し、ステップＳ１６４に進む。
ステップＳ１６４では、補正パラメータ計算部１４５が、教師データと生徒データを対象として、式（２２）乃至式（３０）で説明した場合と同様の最小自乗法における足し込みを行う。
なお、ステップＳ１６４における足し込みは、上述した場合と同様に、学習情報メモリ５５に記憶されている学習情報としての前回の足し込み結果を用いて行われる。また、ここでは、式（３７）のθ’として、生徒データを用いて計算される式（３７）のθとしての教師データの予測値と、対応する教師データとの自乗誤差の総和を最小にする補正パラメータａ_０乃至ａ_Ｎを求めるための足し込みが行われる。
補正パラメータ計算部１４５は、ステップＳ１６４において足し込みを行った後、その足し込み結果を、学習情報として、学習情報メモリ５５に上書きする形で記憶させ、ステップＳ１６５に進む。
ステップＳ１６５では、補正パラメータ計算部１４５が、学習情報メモリ５５に記憶された学習情報としての足し込み結果から、補正パラメータａ_１乃至ａ_Ｎを求めることが可能であるかどうかを判定する。
ステップＳ１６５において、補正パラメータａ_１乃至ａ_Ｎを求めることが可能でないと判定された場合、補正パラメータ計算部１４５は、その旨を、判定制御部５６に供給し、ステップＳ１６９に進む。ステップＳ１６９では、判定制御部５６は、補正パラメータとして、補正の禁止を表すディセーブル（ｄｉｓａｂｌｅ）データを、補正パラメータメモリ１４６に供給して記憶させる。そして、ステップＳ１６１に戻り、以下、同様の処理が繰り返される。
従って、補正パラメータａ_１乃至ａ_Ｎを求めることができるだけの学習情報が存在しない場合には、補正部２１では、入力信号の補正は行われない。即ち、入力信号の補正量は０とされる。
一方、ステップＳ１６５において、補正パラメータを求めることが可能であると判定された場合、ステップＳ１６６に進み、補正パラメータ計算部１４５は、学習情報を用いて、補正パラメータａ_０乃至ａ_Ｎを求め、判定制御部５６に供給して、ステップＳ１６７に進む。
ステップＳ１６７において、判定制御部５６は、補正パラメータ計算部１４５からのパラメータ制御データａ_１乃至ａ_Ｎによって定義される式（３７）にしたがい、学習用データメモリ５３に記憶された各生徒データから、対応する教師データの予測値を求め、その予測値の予測誤差（学習用データメモリ５３に記憶されている教師データに対する誤差）の自乗和を求める。さらに、判定制御部５６は、その予測誤差の自乗和を、例えば、学習用データメモリ５３に記憶されている学習対の数で除算した正規化誤差を求め、ステップＳ１６８に進む。
ステップＳ１６８において、判定制御部５６は、正規化誤差が、所定の閾値Ｓ１より大（以上）であるかどうかを判定する。ステップＳ１６８において、正規化誤差が所定の閾値Ｓ１より大であると判定された場合、即ち、補正パラメータａ_１乃至ａ_Ｎによって定義される式（３７）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合、ステップＳ１６９に進み、判定制御部５６は、上述したように、補正パラメータとして、ディセーブルデータを、補正パラメータメモリ１４６に供給して記憶させる。そして、ステップＳ１６１に戻り、以下、同様の処理が繰り返される。
従って、補正パラメータａ_１乃至ａ_Ｎを求めることができても、その補正パラメータａ_１乃至ａ_Ｎによって定義される式（３７）が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似していない場合には、補正パラメータａ_１乃至ａ_Ｎを求めることができるだけの学習情報が存在しない場合と同様に、入力信号ｘ（ｔ）の補正量は０とされる。
一方、ステップＳ１６８において、正規化誤差が所定の閾値Ｓ１より大でないと判定された場合、即ち、補正パラメータａ_１乃至ａ_Ｎによって定義される式（３７）の一次式が、学習用データメモリ５３に記憶された生徒データと教師データとの関係を、精度良く近似している場合、ステップＳ１７０に進み、判定制御部５６は、補正パラメータ計算部１４５からの補正パラメータａ_０乃至ａ_Ｎによって定義される式（３７）の面と、学習用データメモリ５３に記憶された最新の教師データおよび生徒データで規定される点との間の誤差εを求める。
そして、ステップＳ１７１に進み、判定制御部５６は、誤差εの大きさが、所定の閾値Ｓ２より大（以上）であるかどうかを判定し、大でないと判定した場合、ステップＳ１７２をスキップして、ステップＳ１７３に進み、判定制御部５６は、ステップＳ１６６で求められた補正パラメータａ_０乃至ａ_Ｎを、補正パラメータメモリ１４６に出力する。この場合、補正パラメータメモリ１４６は、判定制御部５６からの補正パラメータａ_０乃至ａ_Ｎを上書きする形で記憶し、ステップＳ１６１に戻る。
一方、ステップＳ１７１において、誤差εの大きさが、所定の閾値Ｓ２より大であると判定された場合、ステップＳ１７２に進み、判定制御部５６は、補正パラメータ計算部１４５を制御することにより、学習用データメモリ５３に記憶された最近の教師データと生徒データのみを用いて、補正パラメータａ_０乃至ａ_Ｎを再計算させる。そして、ステップＳ１７３に進み、判定制御部５６は、ステップＳ１７２で求められた補正パラメータａ_０乃至ａ_Ｎを、パラメータ制御部データメモリ３７に出力して、上書きする形で記憶させ、ステップＳ１６１に戻る。
即ち、図２３の実施の形態においても、図８の実施の形態における場合と同様に、ステップＳ１７０において、いままでに与えられた教師データおよび生徒データから求められた補正パラメータａ_０乃至ａ_Ｎから式（３７）で定義される面と、最新の教師データおよび生徒データで規定される点との間の誤差εが求められる。
そして、この誤差εの大きさが、閾値Ｓ２より大でない場合には、ステップＳ１６６で求められた補正パラメータａ_０乃至ａ_Ｎによって定義される式（３７）の面が、最新の教師データと生徒データで規定される点も含め、いままでに与えられた教師データと生徒データで規定される点のいずれも、比較的精度良く近似していると考えられるため、その補正パラメータａ_０乃至ａ_Ｎが、補正パラメータメモリ１４６に記憶される。
一方、誤差εの大きさが、閾値Ｓ２より大の場合には、ステップＳ１６６で求められた補正パラメータａ_０乃至ａ_Ｎによって定義される式（３７）の面から、最新の教師データと生徒データで規定される点が比較的大きく離れていると考えられるため、判定制御部５６は、ステップＳ１７２において、学習用データメモリ５３に記憶された最近の教師データと生徒データのみを用いて、補正パラメータａ_０乃至ａ_Ｎを再計算させる。
従って、この場合も、ユーザの操作に応じて供給される学習用操作信号に基づいて、式（３７）の補正パラメータａ_０乃至ａ_Ｎの学習が行われるので、ユーザの操作を、ユーザが知らないうちに学習することができ、さらに、その学習結果を用いて、ユーザにとって最適な処理を行うことが可能となる。
さらに、この場合、演算部９３（図１６）が出力する走行方向に含まれる誤差が有色であるときに、所定の設定軌跡に沿って、自動車を自動走行させることが可能となる。
また、図２０の最適化装置９４の処理部１０１では、ユーザによる操作部９８の操作にしたがい、自動車の実際の走行方向が設定軌跡に沿ったものにあるように、補正部２１で行われる補正処理（図６）で用いられる補正パラメータが変更される。即ち、自動車の走行方向が所望の方向となるように、ユーザが操作部９８を操作すると、演算部４３（図１６）が出力する、操作部９８の操作直前と直後の入力信号としての走行方向θそれぞれを、それぞれ生徒データと教師データとして、補正パラメータの学習が行われ、これにより、補正パラメータが変更される。この変更された補正パラメータは、補正部２１に供給され、補正部２１では、その補正パラメータを用いて補正量が計算され、その補正量によって、入力信号の補正処理（図２２）が行われる。従って、ユーザが操作部９８を操作した場合には、そのユーザの操作により式（３７）の補正パラメータが変更されることにより、当然に、式（３７）で表される処理（補正処理）の内容も変更することとなるから、図２０の最適化装置９４の処理部１０１でも、ユーザの操作にしたがい、その「処理の内容」が、ユーザにとって所望の走行方向が得られるように変更されているということができる。
さらに、図２０の最適化装置９４では、ユーザから十分な数の学習対が入力されていない場合や、精度の高い近似が可能な学習対が入力されていない場合には、補正部２１における入力信号の補正量が０とされ、ユーザから精度の高い近似が可能な学習対が入力された場合には、その学習対を用いて学習が行われることにより求められた補正パラメータによって求められる補正量によって、入力信号の補正が行われる。即ち、十分な数の学習対や、精度の高い近似が可能な学習対が得られていない場合と、精度の高い近似が可能な学習対が得られた場合とで、補正部２１の補正処理に用いられる重みを算出するアルゴリズムが変更される。
従って、図２０の最適化装置９４の処理部１０１でも、ユーザの操作にしたがい、その「処理の内容」も、さらには、その「処理の構造」も変更され、これにより、設定軌跡に沿った走行方向に、自動車が自動走行するようになっている。
ここで、図２３の実施の形態では（図８および図１３の実施の形態おいても同様）、ステップＳ１７０において、補正パラメータ計算部１４５からの補正パラメータａ_０乃至ａ_Ｎによって定義される式（３７）の面と、最新の教師データおよび生徒データで規定される点との間の誤差εを求め、以降の処理を行うようにしたが、ステップＳ１７０では、最近の複数の教師データと生徒データが供給される前にステップＳ１６６で求められた補正パラメータａ_０乃至ａ_Ｎによって定義される式（３７）の面と、最近の複数の教師データおよび生徒データで規定される点それぞれとの間の誤差εを求め、その複数の誤差εに基づいて、以降の処理を行うようにすることも可能である。
なお、図１６の最適化装置９４の処理部１０１は、図１７や図２０に示した他、例えば、図１０に示した最適化装置１の処理部１１を利用して構成することも可能である。
次に、図２４は、図１の最適化装置を適用した自動走行装置の他の実施の形態の構成例を示している。尚、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、図２４の自動走行装置は、最適化装置９４に内部情報生成部１６１が新たに設けられ、さらに、表示部１７１は新たに設けられている他は、図１６における場合と同様に構成されている。
内部情報生成部１６１は、図１４の内部情報生成部１７１と同様に、処理部１１からその内部情報を読出し、画像情報に変換して、表示部１７１に出力する。表示部１７１は、内部情報生成部１６１から供給される内部情報を、所定の表示形式で表示する。
図２４の実施の形態において、処理部１０１は、図１７や図２０に示したように構成することができる。図２４の処理部１０１が、図１７に示したように構成される場合においては、補正パラメータ演算処理を除き、図１７における場合と同様の処理が行われる。そこで、図２５のフローチャートを参照して、図２４の処理部１０１が、図１７に示したように構成される場合の補正パラメータ演算処理について説明する。
ステップＳ１９１乃至Ｓ１９７では、図１８のステップＳ１１１乃至Ｓ１１７における場合とそれぞれ同様な処理が行われる。
ステップＳ１９７の処理の後は、ステップＳ１９８に進み、表示部１７１において、内部情報が表示される。すなわち、より詳細には、内部情報生成部１６１が、例えば重みメモリ３１（図１７）に記憶されている重みＷを、内部情報として読出し、表示部１７１で表示可能な画像信号に変換し、表示部１７１に出力して表示（呈示）させる。ステップＳ１９８の処理の後は、ステップＳ１１１に戻り、以下、同様の処理が繰り返される。
図２５のフローチャートで説明した処理により、処理部１０１の処理に関する内部情報としての重みＷが、表示部１７１で表示（提示）され、その結果、ユーザは、その表示を見ながら、最適な自動走行が行われるように、操作部９８を操作することが可能となる。
また、上述の場合においては、重みＷを表示するようにしていたが、内部情報生成部１６１では、その他の内部情報を表示部１７１に表示（呈示）させるようにしても良く、例えば、パラメータ制御データメモリ３７よりパラメータ制御データａ，ｂを読み出して表示するようにしても良い。また、選択部４１により選択された重みが、学習対を用いて学習が行われることにより求められたパラメータ制御データａおよびｂから求められた重みであるのか、若しくは、入力信頼度と出力信頼度から求められる重みであるのかを表す内部情報を表示するようにしても良い。
次に、図２４の処理部１０１が、図２０に示したように構成される場合においては、補正パラメータ学習処理を除き、図２０における場合と同様の処理が行われる。そこで、図２６のフローチャートを参照して、図２４の処理部１０１が、図２０に示したように構成される場合の補正パラメータ学習処理について説明する。
ステップＳ２１１乃至Ｓ２２３において、図２３のステップＳ１６１乃至Ｓ１７２における場合とそれぞれ同様の処理が行われる。
ステップＳ２１９およびステップＳ２２３の処理後は、ステップＳ２２４に進み、内部情報生成部１６１は、例えば、補正パラメータメモリ１０１に記憶された補正パラメータａ_０乃至ａ_Ｎを、内部情報として読出し、表示部１７１で表示可能な画像信号に変換して、表示部１７１に表示させる。このとき、補正パラメータａ_０乃至ａ_Ｎは、複数のパラメータから構成されているので、図２７で示すように、各パラメータを横軸として、各値を縦軸として、例えば、棒グラフ状にして表示するようにしても良い。また、補正パラメータａ_０乃至ａ_Ｎは、例えば、図２８に示すように、任意の２つの補正パラメータａ_ｉとａ_ｊをそれぞれ横軸と縦軸にとって表示するようにしても良い。尚、横軸と縦軸にする補正パラメータは、ユーザが選択可能なようにすることが可能である。
この後、ステップＳ２１１に戻り、以下、同様の処理が繰り返される。
以上のように、図２６のフローチャートを参照して説明した補正パラメータ処理により、補正パラメータａ_０乃至ａ_Ｎが表示されることにより、図２４の最適化装置９４の処理部１０１では、補正パラメータａ_０乃至ａ_Ｎが内部情報として表示され、その結果、ユーザは、その表示を見ながら、最適な自動走行が行われるように、操作部９８を操作することが可能となる。
尚、内部情報生成部１６１では、補正パラメータａ_０乃至ａ_Ｎ以外の内部情報を表示するようにしても良い。
また、図２６の実施の形態において、ステップＳ２１９の処理の後に、ステップＳ２２４に進んだ場合には、内部情報としての補正パラメータａ_０乃至ａ_Ｎは、０であるとして、その表示が行われる。
次に、図２９を参照して、図１の最適化装置のその他の実施の形態としての最適化装置２０１について説明する。最適化装置２０１は、処理部２１１から構成されており、入力信号としての、例えば、画像信号などからノイズを除去し、表示される画像信号の最適化を図るものである。尚、この例においては、画像信号を主な入力信号の例として説明するが、画像信号に限らずその他の信号であっても良い。
処理部２１１は、学習部２２１とマッピング処理部２２２から構成されている。処理部２１１の学習部２２１には、操作部２０２からの操作信号が供給され、学習部２２１は、その操作信号に基づいて、マッピング処理部２２２の処理で必要となる係数セットを学習し、係数メモリ２３５に記憶させる。学習部２１１の学習の規範（学習規範）としては、例えば、最小Ｎ乗誤差法（最小Ｎ乗法）を用いることができる。尚、最小Ｎ乗誤差法による解法については後述する。
マッピング処理部２２２は、入力信号を所定の出力信号にマッピング（変換）するマッピング処理を行う。すなわち、マッピング処理部２２２は、出力信号としての画像信号のうち、今から得ようとする画素を注目画素として、その注目画素に対応するタップ（処理に必要な少なくとも１以上の画素であり、サンプルとも称する）を、入力信号としての画像信号から抽出し、係数メモリ２３５に記憶された係数セットとの積和演算処理を実行することにより、注目画素を求める。マッピング処理部２２２は、出力信号としての画像信号を構成する画素について同様の処理（マッピング）を行い、これにより出力信号としての画像信号を生成して表示部２０３に出力し、表示させる。
操作部２０２は、ユーザによって操作され、その操作に対応する操作信号を、学習部２２１に供給する。表示部２０３は、マッピング処理部２０２が出力する出力信号としての画素信号を表示する。
次に、図３０を参照して、図２９の学習部２２１の詳細な構成について説明する。教師データ生成部２３１は、入力信号より、学習の教師となる教師データを生成し、最小Ｎ乗誤差法係数演算部２３４に出力する。生徒データ生成部２３２は、入力信号から学習の生徒となる生徒データを生成し予測タップ抽出部２３３に出力する。この教師データと生徒データは、例えば、入力信号に対して教師データ２３１が何の処理も施さないことにより、また、生徒データ生成部２３２が、所定の間引き処理、または、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）などにより入力データを劣化させるなどして生成されるものであり、生徒データが教師データに対して劣化したものとして生成されれば上述の構成に限るものではない。従って、上記の他にも、例えば、教師データ生成部２３１が、入力信号に対して所定の間引きやＬＰＦによる処理を施す時には、生徒データ生成部２３２は、教師データ生成部２３１で施される以上に大きな程度の間引きやＬＰＦによる処理が施されればよい。また、例えば、教師データとしては、入力信号とそのまま用い、生徒データとしては、入力信号にノイズを重畳したものを用いることも可能である。
予測タップ抽出部２３３は、教師データとしての画像信号を構成する画素を、順次、注目画素として、その注目画素と所定の位置関係にある少なくとも１個以上の画素（タップ）を、生徒データとしての画像信号から予測タップとして抽出し、最小Ｎ乗誤差法係数演算部２３４に出力する。
最小Ｎ乗誤差法係数演算部２３４は、操作部２０２より入力される最小Ｎ乗法誤差法係数演算処理に必要な、指数Ｎの値を指定する情報を表す操作信号に基づいて、予測タップと教師データから最小Ｎ乗誤差法により係数セットを演算して、係数メモリ２３５に出力し、記憶させる（適宜上書き記憶させる）。
係数メモリ２３５は、最小Ｎ乗誤差法係数演算部２３４より供給される係数セットを記憶し、マッピング処理部２２２に適宜出力する。
次に、図３１を参照して、図２９のマッピング処理部２２２の構成について説明する。マッピング処理部２２２のタップ抽出部２５１は、出力信号としての画像信号を構成する画素を、順次注目画素として、その注目画素に対して、所定の位置関係にある画素（の画素値）を予測タップとして、入力信号としての画像信号から抽出することにより、図３０の予測タップ抽出部２３３が構成するのと同一のタップ構造の予測タップを構成し、積和演算部２５２に出力する。積和演算部２５２は、タップ抽出部２５１より入力されてくる、抽出された予測タップ（画素）の値と、学習部２２１の係数メモリ２３５に記憶されている係数セットとの積和演算を行うことにより、注目画素を生成し、表示部２０３（図２９）に出力する。
ここで、図３０の最小Ｎ乗誤差法係数演算部２３４の最小Ｎ乗誤差法による係数演算について説明する。最小Ｎ乗誤差法における指数Ｎ＝２の場合が、一般に、最小自乗誤差法（最小２乗誤差法）と呼ばれるものである。すなわち、注目画素としての教師データをｙと、予測タップを構成するＭ個の生徒データをｘ_ｉ（ｉ＝１，２，…，Ｍ）と、所定のＭ個の係数をｗ_ｉと、それぞれ表し、教師データｙの予測値ｙ’を、予測タップｘ_ｉと所定の係数ｗ_ｉとの線形１次結合（積和演算）ｗ_１ｘ_１＋ｗ_２ｘ_２＋…＋ｗ_Ｍｘ_Ｍであることとする場合においては、図３２で示すように、黒丸で示す教師データｙと、図中の白丸で示す予測値ｙ’との誤差（図中矢印で示される教師データとしての真値ｙとその予測誤差ｙ’との差分の絶対値）の２乗の和を最小にする係数セットｗ_１，ｗ_２，…，ｗ_Ｍが求められる。
最小Ｎ乗誤差法における指数Ｎの値を変化させる場合、例えば、指数Ｎが大きくなるとき、誤差が大きい予測値ｙ’の誤差は、Ｎ乗誤差の和に対する影響が大きくなるため、最小Ｎ乗誤差法によれば、結果として、そのような大きな誤差の予測値ｙ’が救済される方向の係数（大きな誤差の予測値ｙ’の誤差を小さくする係数）が求められる。但し、誤差が小さい予測値ｙ’の誤差は、Ｎ乗誤差の和に対しての影響も小さいため、あまり考慮されず、結果として無視されやすくなる。逆に、指数Ｎが小さくなるとき、誤差が大きい予測値ｙ’の誤差は、Ｎ乗誤差の和に対する影響力が指数Ｎが大きいときと比べて小さくなり、誤差が小さい予測値ｙ’の誤差は、Ｎ乗誤差の和に対する影響がより小さくなることになる。その結果、最小Ｎ乗誤差法によれば、指数Ｎが大きい場合に比較して誤差が小さい予測値の誤差をより小さくする方向の係数が求められる。
尚、上述のような予測値ｙ’の誤差の、Ｎ乗誤差の和に対する影響の変化は、予測値ｙ’の誤差をＮ乗することによりものであり、以下、適宜、Ｎ乗誤差の性質という。
上述のように、指数Ｎにより、最小Ｎ乗誤差法で求められる係数セットの定性的な傾向が見られるので、指数Ｎを変化させて、最小Ｎ乗誤差法により係数セットを求めるようにすることで、ユーザに好みのマッピング処理を実行するための係数セットを求めることができる（入力信号に対してマッピングされる出力信号をユーザ好みのものとする係数セットを求めることができる）。しかしながら、実際には、最小２乗誤差法以外の方法、すなわち、指数Ｎ＝２以外の方法では、予測値ｙ’のＮ乗誤差の和を最小にする係数セットの演算が極めて困難である。
ここで、最小２乗誤差法以外の方法では、予測値ｙ’のＮ乗誤差の和を最小にする係数セットの演算が困難となる理由について説明する。
予測値ｙ’の誤差のＮ乗の総和（Ｎ乗誤差の和）は、式（３８）で表すことができる。
【数３８】

ここで、Ｅは、教師データとしての真値ｙと予測値ｙ’との誤差ｅのＮ乗のサンプル数分の総和を示す。
一方、本実施の形態では、上述したように、真値ｙの予測値ｙ’は、予測タップｘ_ｉと、所定の係数ｗｉとの線形１次結合、すなわち、以下の式（３９）により定義される。
【数３９】

ここで、係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを、以下、適宜、予測係数という。この予測係数のセットが図３０の係数メモリ２３５に記憶される係数セットである。また、予測タップｘ_１，ｘ_２，ｘ_３…，ｘ_Ｍとしては、教師データとしての画像の画素（真値）ｙに対応する生徒データとしての画像の位置から、空間的、または、時間的に近い位置にある画素を採用することができる。
この場合、式（３８）の誤差ｅは、以下に示す式（４０）で表すことができる。
【数４０】

最小Ｎ乗誤差法では、式（４０）から導かれる以下の式（４１），式（４２）で示すＮ乗誤差の総和Ｅを最小にする予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを求める必要がある。尚、式（４１）は、指数Ｎが奇数のときの総和Ｅを示す式であり、式（４２）は、指数Ｎが偶数のときの総和Ｅを示す式である。
【数４１】

【数４２】

ここで、式（４１）の場合、すなわち、指数Ｎが奇数の場合、総和Ｅは、真値ｙとその予測値ｙ’との差分ｙ−ｙ’の大きさの和が同一の値であれば、差分ｙ−ｙ’の符号に関わらず、同一の値となり、結果として総和Ｅを最小にする予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを求めることができない。すなわち、総和Ｅは、絶対値を含む関数であり、例えば、図３３に示すような関数となる。このため、全探索以外では、総和Ｅの最小値を与える予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを求めることができない。尚、図３３は、指数Ｎ＝１のときの、ある予測係数ｗ_ｉと、総和Ｅの変化を示している。
一方、式（４２）の場合、すなわち、指数Ｎが偶数の場合、総和Ｅは、必ずＥ≧０を満たすので、以下の式（４３）で示すように、式（４２）の総和Ｅを各予測係数ｗ_ｉで偏微分した式を０とおくことにより、極小値を求めることができる。
【数４３】

従って、式（４３）より、以下の式（４４）で示す方程式を解くことで解、すなわち、Ｎ乗誤差の総和Ｅを最小にする予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍが求められることになる。
【数４４】

この式（４４）について、例えば、指数ＮがＮ＝２の場合、すなわち、いわゆる最小２乗誤差法により解を求める場合、式（４４）の指数Ｎに２を代入して、以下の式（４５）を解けばよいことになる。
【数４５】

式（４５）の方程式は、以下の式（４６）で示すように、行列式の形で表現することができ、正規方程式と呼ばれる。また、指数Ｎ＝２のときは、総和Ｅの極小値が一意に決まり、その最小値は、総和Ｅの最小値となる。式（４５）の正規方程式により、予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍの数と同数（今の場合Ｍ個）の連立一次方程式が構成されれば、この連立一次方程式は、例えば、コレスキー法などにより解くことができ、予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを求めることができる。
【数４６】

尚、式（４６）の正規方程式を解くには、式（４６）における左辺の予測タップ同士の積ｘ_ｉｘ_ｊの総和（Σｘ_ｉｘ_ｊ）をコンポーネントとする行列が、正則であることが必要である。
指数Ｎが偶数で、かつ、４以上である場合、式（４２）は、以下の式（４７）のように表すことができる。
【数４７】

式（４７）で示される方程式は、高次の連立方程式となるため、指数ＮがＮ＝２である場合のように連立一次方程式を解くようにして、予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍを求めることができない。
以上のように、指数ＮがＮ＝２以外のとき、式（３８）で示すＮ乗誤差の和を最小にする予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍは、一般には、容易に求めることができない。
そこで、学習部２２１の最小Ｎ乗誤差法係数演算部２３４は、以下に示す２つの最小Ｎ乗誤差法により予測係数を演算する。尚、２つの最小Ｎ乗誤差法のうちのいずれを採用するかは、例えば、ユーザが操作部２０２（図２９）を操作することにより指定可能である。
まず、第１の方法（以下、直接法とも称する）について説明する。以下の式（４８）で示すように、誤差ｅ^２の項に重みα_Ｓを乗じたものの総和Ｅを、Ｎ乗誤差法の和として式（３８）に替えて定義する。
【数４８】

すなわち、Ｎ乗誤差ｅ^Ｎを、重みα_Ｓと、２乗誤差ｅ^２との積によって定義する。
この場合、式（４８）の重みα_Ｓを、例えば、以下の式（４９）で示すように、指数ＮがＮ＝２のときに求められる予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍから、式（３９）の線形１次式によって得られる予測値ｙ’の関数とすることにより、式（４８）のＮ乗誤差の総和Ｅを最小にする予測係数ｗ_１乃至ｗ_Ｍを求めることができる。
【数４９】

重みα_Ｓとしては、様々な関数が考えられるが、式（４８）で定義されるＮ乗誤差ｅ^Ｎ＝α_Ｓｅ^２が、上述のＮ乗誤差の性質を満たすようなものとなる関数を採用する必要があり、例えば、以下の式（５０）で示す関数を採用することができる。
【数５０】

ここで、ｘ_Ｓは、最小２乗誤差法により求められる予測係数ｗ_１乃至ｗ_Ｍから、式（３９）によって演算される予測値ｙ’の誤差（以下、適宜、最小２乗規範による誤差という）を、０乃至１．０の範囲に正規化した値を表し、この予測値ｙ’の誤差ｘ_Ｓの関数として、定義される式（５０）の重みα_Ｓは、図３４に示すようになる。
係数ａは、最小２乗規範による誤差ｘ_Ｓが、Ｎ乗誤差ｅ^Ｎに与える影響を制御する項であり、係数ａがａ＝０のとき、重みα_Ｓは、図３４において、その傾きが０の水平方向の直線となる。この場合、最小２乗規範による誤差ｘ_ＳがＮ乗誤差ｅ^Ｎに与える影響は、最小２乗規範による誤差ｘ_Ｓの大小に関わらず一定となり、式（４８）の総和Ｅを最小にする予測係数ｗ_ｉは、理論的には、最小２乗誤差法により求められるものと同一となる。従って、ａ＝０とすることにより、実質的に最小２乗誤差法が実現される。また、係数ａ＞０のときは、
最小２乗規範により誤差ｘ_Ｓが、式（４８）のＮ乗誤差ｅ^Ｎに与える影響は、誤差ｘ_Ｓが大きいほど大きくなり、誤差ｘ_Ｓが小さいほど小さくなる。一方、ａ＜０のときは、最小２乗規範による誤差ｘ_Ｓが、式（４８）のＮ乗誤差ｅ^Ｎに与える影響は、誤差ｘ_Ｓが大きいほど小さくなり、誤差ｘ_Ｓが小さいほど大きくなる。
すなわち、式（４８）のＮ乗誤差ｅ^Ｎは、係数ａを正とした場合には、指数Ｎを大としたときと同様の性質を有し、係数ａを負とした場合には、指数Ｎを小としたときと同様の性質を有する。従って、式（４８）のＮ乗誤差ｅ^Ｎは、式（３８）のＮ乗誤差ｅ^Ｎと同様の性質を有するから、式（４８）のＮ乗誤差の総和Ｅを最小にする予測係数は、実質的に式（３８）のＮ乗誤差の総和Ｅを最小にする予測係数となる。
尚、係数ａが０の場合は、上述したように、最小２乗誤差法が実現される。すなわち、指数Ｎが２の場合となるが、係数ａが正の場合は、指数ＮがＮ＞２の場合となり、係数ａが負の場合は、指数ＮがＮ＜２の場合となる。この係数ａは、後述する係数ｃと同様に最小Ｎ乗誤差法の指数Ｎに大きく影響する。
係数ｂは、補正項であり、係数ｂの値によって、図３４の関数値（重みα_Ｓ）が、全体として上下方向に変化する。尚、係数ｂは、最小Ｎ乗誤差法の指数Ｎにそれ程大きな影響を与えない。
係数ｃは、軸のスケーリングを変換させる項、すなわち、最小２乗規範による誤差ｘ_Ｓに対する重みα_Ｓの割り当て方を変更する項であり、係数ｃの値が大きくなればなる程、重みα_Ｓの変化は、急峻なものとなり、逆に、係数ｃの値が小さくなればなる程、重みα_Ｓの変化は、緩やかなものとなる。従って、係数ｃが変化することにより、最小２乗規範により誤差ｘ_Ｓが式（４８）のＮ乗誤差ｅ^Ｎに与える影響は、係数ａが変化する場合と同様であるから、係数ｃによっても、式（４８）のＮ乗誤差ｅ^Ｎには、式（３８）のＮ乗誤差ｅ^Ｎと同様の性質を与えることができる。すなわち、係数ｃによって、最小Ｎ乗誤差法の指数Ｎに影響を与えることができる。
尚、図３４中の直線は、ｃ＝１、ａ＞０の場合（ｂは任意）を示しており、図３４中の曲線は、ｃ≠１，ａ＞０の場合（ｂは任意）を示している。
式（５０）の重みα_Ｓを規定する係数ａ，ｂ，ｃは、ユーザが操作部２０２を操作（設定）することで、変化させることができ、係数ａ，ｂ，ｃが変化することで、式（５０）の重みα_Ｓが変化する。重みα_Ｓの変化により、式（４８）のα_Ｓｅ^２は、所定の指数ＮについてのＮ乗誤差ｅ^Ｎとして、実質的（等価的）に機能することとなり、その結果、式（５０）のＮ乗誤差の和Ｅを最小にする予測係数、すなわち、最小Ｎ乗誤差法による規範の予測係数ｗ_ｉを求めることができる。
また、以上の第１の方法では、重みα_Ｓを決定する係数ａ，ｂ，ｃを様々に変化させることにより、実質的に指数Ｎを変化させて最小Ｎ乗誤差法により予測係数を求めるようにしたので、指数Ｎは、整数に限らず、例えば、指数Ｎ＝２．２といった指数Ｎが小数などのその他の実数の場合の予測係数を求めることが可能である。
次に、最小Ｎ乗誤差法により予測係数を演算する第２の方法（以下、再帰法＝リカーシブ法とも称する）について説明する。第１の方法においては、式（４８）に示したように、２乗誤差ｅ^２に対して重みα_Ｓを乗算したものをＮ乗誤差として採用したが、第２の方法では、低次の最小Ｎ乗誤差法で求められた解を使用して、再帰的な手法でより高次の最小Ｎ乗誤差法による解が求められる。
すなわち、以下に示す式（５１）の２乗誤差の和Ｅを最小にする予測係数ｗ_ｉは、上述のように最小２乗誤差法により求めることができるが、この最小２乗誤差法によって得られる予測係数ｗ_ｉを用いて式（３９）により演算される予測値ｙ’をｙ_１（以下、適宜、最小２乗規範による予測値という）と表す。
【数５１】

次に、例えば、以下に示す式（５２）で表される３乗誤差の和Ｅについて考える。
【数５２】

式（５２）の３乗誤差の和Ｅを最小にする予測係数ｗ_ｉを求めることは、最小３乗誤差法により解を得ることになるが、このとき式（５２）で示すように、３乗誤差｜ｅ^３｜を、２乗誤差ｅ^２、および、最小２乗規範による予測値ｙ_１と真値ｙとの誤差｜ｙ−ｙ_１｜の積で表す。式（５２）の｜ｙ−ｙ_１｜は、定数として求めておくことができるから、式（５２）の３乗誤差の和Ｅを最小にする予測係数ｗ_ｉは、実際には最小２乗誤差法により得ることが可能となる。
同様にして、式（５３）で表される４乗誤差の和Ｅについて考える。
【数５３】

式（５３）の４乗誤差の和Ｅを最小にする予測係数ｗ_ｉを求めることは、最小４乗誤差法により解を得ることになるが、今、式（５２９）の３乗誤差の和Ｅを最小にする予測係数ｗ_ｉを用いて式（３９）により演算される予測値ｙ’を、ｙ_２（以下、適宜、最小３乗規範による予測値という）を表すと、４乗誤差ｅ^４は、式（５３）に示すように、２乗誤差ｅ^２、および、最小３乗規範による予測値ｙ^２と真値ｙとの誤差の２乗（以下、適宜、最小３乗規範による２乗誤差という）｜ｙ−ｙ_２｜^２の積で表すことができる。式（５３）の最小３乗規範による２乗誤差｜ｙ−ｙ_２｜^２は、定数として求めておくことができるから、式（５３）の４乗誤差の和Ｅを最小にする予測係数ｗ_ｉは、実際には最小２乗誤差法により得ることが可能となる。
さらに、以下の式（５４）についても同様である。
【数５４】

すなわち、式（５４）は、５乗の総和Ｅを最小にする予測係数ｗ_ｉを求めることが最小５乗誤差法により解を得ることになる。今、式（５３）の４乗誤差の和Ｅを最小にする予測係数ｗ_ｉを用いて式（３９）により演算される予測値ｙ’を、ｙ３（以下、適宜、最小４乗規範による予測値という）と表すと、５乗誤差ｅ^５は、式（５４）に示すように、２乗誤差ｅ^２、および、最小４乗規範による予測値ｙ_３と真値ｙとの誤差の３乗（以下、適宜、最小４乗規範による３乗誤差という）｜ｙ−ｙ_３｜^３の積で表すことができる。式（５４）の最小４乗規範による３乗誤差は、定数として求めておくことができるから、式（５４）の５乗誤差の和Ｅを最小にする予測係数ｗ_ｉも、実際には最小２乗誤差法により得ることが可能である。
指数Ｎが６次以上の最小Ｎ乗誤差法の場合も、以下、同様にして、その解（予測係数ｗ_ｉ）を求めることが可能である。
以上のように、第２の方法では、高次の最小Ｎ乗誤差法により解を求めるのに、低次の最小Ｎ乗誤差法により求められた予測係数を用いて演算される予測値（の予測誤差）を使用し、これを再帰的に、繰り返すことで、より高次の最小Ｎ乗誤差法による解を得ることができる。
尚、上述の場合には、最小Ｎ乗誤差法による解を、それより１次だけ低い最小Ｎ−１乗誤差法により求められた予測係数を用いて演算される予測値を使用して求めるようにしたが、最小Ｎ乗誤差法による解は、それより低次の任意の最小Ｎ乗誤差法により求められた予測係数を用いて演算される予測値を使用して求めることが可能である。すなわち、式（５３）の場合、｜ｙ−ｙ_２｜の代わりに｜ｙ−ｙ_１｜を使用してもよいし、式（５４）の場合、｜ｙ−ｙ_３｜の代わりに｜ｙ−ｙ_２｜や｜ｙ−ｙ_１｜を使用してもよい。
また、第２の方法においては、Ｎ乗誤差ｅ^Ｎが、２乗誤差ｅ^２と、Ｎ−２乗誤差｜ｙ−ｙ’｜^Ｎ−２との積で表されるから、第１の方法と同様に、例えば、指数ＮがＮ＝２．２といった指数Ｎが任意の実施の最小Ｎ乗誤差法による解を求めることができる。
次に、図３５のフローチャートを参照して、図２９の最適化装置２０１による画像最適化処理について説明する。画像最適化処理は、学習処理とマッピングからなる。
学習処理では、ステップＳ２３０において、ユーザが操作部２０２を操作したかどうかが判定され、操作していないと判定された場合、ステップＳ２３０に戻る。また、ステップＳ２３０において、操作部２０２が操作されたと判定された場合、ステップＳ２３１に進む。
ステップＳ２３１において、学習部２２１の教師データ生成部２３１は、入力信号より教師データを生成して最小Ｎ乗誤差法係数演算部２３４に出力すると共に、生徒データ生成部２３２は、入力信号より生徒データを生成し予測タップ抽出部２３３に出力し、ステップＳ２３２に進む。
尚、生徒データと教師データを生成するのに、用いるデータ（以下、適宜、学習用データという）としては、例えば、現在から、所定時間だけ過去に遡った時点までに入力された入力信号を採用することができる。また、学習用データとしては、入力信号を用いるのではなく、予め専用のデータを記憶しておくことも可能である。
ステップＳ２３２において、予測タップ抽出部２３３は、各教師データを注目画素として、その各注目画素について生徒データ生成部２３２より入力された生徒データより予測タップを生成し、最小Ｎ乗誤差法係数演算部２３４に出力して、ステップＳ２３３に進む。
ステップＳ２３３において、最小Ｎ乗誤差法係数演算部２３４は、操作部２０２よりリカーシブ法（第２の方法）による最小Ｎ乗誤差法で係数セットを演算することを指定する操作信号が入力されたか否かがを判定し、例えば、ユーザにより操作部２０２が操作されて、リカーシブ法ではない、すなわち、直接法（第１の方法）が指定されたと判定された場合、ステップＳ２３４に進み、式（５０）の重みα_Ｓを指定する（指数Ｎを指定する）係数ａ，ｂ，ｃが入力されたか否かが判定され、入力されるまでその処理が繰り返され、例えば、ユーザによって操作部２０２が操作され、係数ａ，ｂ，ｃを指定する値が入力されたと判定された場合、その処理は、ステップＳ２３５に進む。
ステップＳ２３５において、最小Ｎ乗誤差法係数演算部２３４は、重みα_Ｓを入力された係数ａ，ｂ，ｃの状態で、上述した式（４８）を最小にするという問題を実質的には最小２乗誤差法により解くことにより、重みα_Ｓに対応する指数Ｎの最小Ｎ乗誤差法による解としての予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍ、すなわち、係数セットを求めて係数メモリ２３５に記憶させ、ステップＳ２３０に戻る。
一方、ステップＳ２３３において、リカーシブ法が選択されたと判定された場合、その処理は、ステップＳ２３６に進む。
ステップＳ２３６において、最小Ｎ乗誤差法係数演算部２３４は、指数Ｎを指定する情報が入力されたか否かを判定し、指数Ｎが入力されるまでその処理を繰り返し、例えば、ユーザが操作部２０２を操作することにより指数Ｎを指定する情報が入力されたと判定した場合、その処理は、ステップＳ２３７に進む。
ステップＳ２３７において、最小Ｎ乗誤差法係数演算部２３４は、基礎となる最小２乗誤差法による解法により係数セットを求める。ステップＳ２３８において、最小Ｎ乗誤差法係数演算部２３４は、最小２乗誤差法により求められた係数セットから得られる予測値を用い、式（５１）乃至式（５４）を参照して説明したように再帰的に指数Ｎに、操作部２０２から入力された対応する最小Ｎ乗誤差法による係数セットを求め、係数メモリ２３５に記憶させ、ステップＳ２３１に戻る。
次に、マッピング処理では、ステップＳ２４１において、マッピング処理部２２２のタップ抽出部２５１は、現在の入力信号としての画像フレームに対応する出力信号としての画像のフレームを注目フレームとして、その注目フレームの画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていないものを注目画素として、その注目画素について、入力信号より予測タップを抽出し、積和演算部２５２に出力する。
そして、ステップＳ２４２において、積和演算部２５２は、学習部２２１の係数メモリ２３５の予測係数を読出し、式（３９）に従いタップ抽出部２５１より入力された予測タップと係数メモリ２３５から読み出した予測係数との積和演算処理を実行する。これにより、積和演算部２５２は、注目画素の画素値（予測値）を求める。その後、ステップＳ２４３に進み、タップ抽出部２５１は、注目フレームの全ての画素を注目画素としたかどうかを判定し、まだしていないと判定した場合、ステップＳ２４１に戻り、注目フレームのラスタスキャン順でまだ注目画素としていない画素を新たに注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ２４３において、注目フレームの全ての画素を注目画素としたと判定された場合、ステップＳ２４４に進み、表示部２０３は、積和演算部２５２で求められた画素でなる注目フレームを表示する。
そして、ステップＳ２４１に戻り、タップ抽出部２５１は、次のフレームを新たに注目フレームとして、以下、同様の処理を繰り返す。
図３５の画像最適化処理によれば、ユーザは、マッピング処理において、表示部２０３に表示された画像をみて、自らの好みに合うものではなかった場合、操作部２０２を操作して、直接法やリカーシブ法を指定し、さらには、最小Ｎ乗誤差法の指数Ｎを指定し、これにより学習処理において、最小Ｎ乗誤差法により求められる予測係数が変更され、マッピング処理で求められる出力信号としての画像をユーザ自身の好みに合うものにさせていくことができる。
ここで、図３６は、式（５０）の重みα_Ｓの係数ａ，ｂ，ｃの値を変化させる直接法において、例えば、係数ａ，ｂ，ｃをａ＝４０，ｂ＝０．１，ｃ＝１とすることにより、最小Ｎ乗誤差法により求められる最小Ｎ乗規範の係数セットを用いて演算される予測値の誤差の総和と、一般的な最小２乗誤差法により求められる最小２乗規範の係数セットを用いて演算される予測値の誤差の総和を示している。ここでは、誤差の総和としては、２乗誤差と３乗誤差の総和を示してある。また、係数ａ，ｂ，ｃが上述の値の場合は、式（４８）のＮ乗誤差ｅ^Ｎの指数Ｎが２より大の場合に相当する。図３６においては、２乗誤差の総和は、最小２乗規範の係数セットによる場合は、１０１６０２８１となり、最小Ｎ乗規範の係数セットによる場合は、１０８２８５９４となっており、最小２乗規範の係数セットによる場合の方が、最小Ｎ乗規範の係数セットによる場合よりも小さくなっている。一方、３乗誤差の総和は、最小２乗規範の係数セットによる場合は、１６５９８８８２３となり、最小Ｎ乗規範の係数セットによる場合は、１６１２８３６６０となっており、最小Ｎ乗規範の係数セットによる場合の方が、最小２乗規範の係数セットによる場合よりも小さくなっている。
従って、最小２乗規範の係数セットを用いて、マッピング処理（式（３９）の積和演算）を行うことにより、２乗規範の総和がより小さい出力信号としての画像を得ることができ、また、上述の値の係数ａ，ｂ，ｃを用いて、求められる最小Ｎ乗規範の係数セットを用いてマッピング処理を行うことにより、３乗誤差の総和がより小さい出力信号としての画像を得ることができる。
尚、図３５の画像最適化処理では、ユーザが操作部２０２を操作することにより指数Ｎが変更され（直接法においては、指数Ｎを指定する係数ａ，ｂ，ｃが変更され、また、リカーシブ法においては、指数Ｎそのものが変更され）、これにより予測係数（係数セット）の学習規範（学習の体系）として、どのような指数Ｎの最小Ｎ乗誤差法を採用するかが設定される。すなわち、予測係数を求める学習アルゴリズム自体が変更されている。従って、「処理の構造」が、ユーザの好みの画像が得られるように変更されているということが言える。
次に、図３７は、図１の最適化装置の他の構成例を示している。図３７の最適化装置２０１においては、内部情報生成部２６１が設けられた以外の構成は、図２９の最適化装置２０１と同様であるので、その説明は省略する。
内部情報生成部２６１は、処理部２１１の内部乗法として、例えば、係数メモリ２３５に記憶されている予測係数を読出し、その予測係数の情報を画像信号に変換して表示部２０３に出力し、表示させる。
次に、図３８のフローチャートを参照して、図３７の最適化装置２０１による画像最適化処理について説明する。図３８の画像最適化装置も、図３５における場合と同様に学習処理とマッピング処理からなる。そして、学習処理では、ステップＳ２５０乃至Ｓ２５８において、図３５のステップＳ２３０乃至Ｓ２３８における場合とそれぞれ同様の処理が行われる。
さらに、学習処理では、ステップＳ２５５およびＳ２５８の処理後、ステップＳ２５９に進み、内部情報生成部２６１は、係数メモリ２３５に記憶されている係数セットを、内部情報として読出し、係数セットに含まれる各値に基づいて表示可能な画像信号を生成して、表示部２０３に出力し、表示させる。
このとき、内部情報生成部２６１により生成され表示部２０３に表示される画像は、例えば、図３９で示すような３次元分布図や、または、図４０で示した２次元分布図のような形式などとすることができる。すなわち、図３９では、入力信号から抽出される予測タップの位置に相当する座標がＴａｐ Ｐｏｓｉｔｉｏｎ（ｘ）およびＴａｐ Ｐｏｓｉｔｉｏｎ（ｙ）としてｘｙ平面上の位置として示されており、各予測タップの位置に対応する座標上に、その予測タップとしての画素値と積をとる予測係数（Ｃｏｅｆｆ）が示されている。また、図４０では、図３９が等高線図状に表現されている。
ここで、図３８のフローチャートの説明に戻る。
ステップＳ２５９の処理後は、ステップＳ２５０に戻り、以下、同様の処理が繰り返される。
一方、マッピング処理では、ステップＳ２６１乃至Ｓ２６４において、図３５のステップＳ２４１乃至Ｓ２４４における場合とそれぞれ同様の処理が行われる。
以上の処理により、処理部２１１の係数メモリ２３５に記憶された係数セットの各値（各係数値）が処理に関する内部情報として表示（呈示）され、ユーザは、この係数セットの分布と、出力信号としての処理部２１１の処理結果を見ながら自らの好みに合う出力信号としての画像が得られるように、操作部２０２を操作して、指数Ｎが変更され（直接法においては、指数Ｎを指定する係数ａ，ｂ，ｃが変更され、また、リカーシブ法においては、指数Ｎそのものが変更され）、これにより予測係数（係数セット）の学習規範（学習の体系）として、どのような指数Ｎの最小Ｎ乗誤差法を採用するかが設定される。すなわち、予測係数を求める学習アルゴリズム自体が変更されているので、「処理の構造」が変更されているということができる。また、以上の例においては、係数セットを表示させるようにしたが、例えば、現在の最小Ｎ乗誤差法が直接法であるのか、または、リカーシブ法であるのかといった、処理に関する内部情報を表示するようにしてもよい。
図４１は、最適化装置のその他の構成例を示している。図４１の最適化装置３０１は、処理部３１１より構成され、操作部２０２より入力された操作信号に基づいて、入力信号を最適化し表示部２０２に表示する。なお、図中、上述の実施の形態における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図４１の処理部３１１の係数メモリ３２１は、図３０の係数メモリ２３５と基本的には同様のものであり、マッピング処理部２２２がマッピング処理を実行するのに必要な係数セットを記憶する。この係数セットは、基本的には、後述する図４３の学習装置３４１により生成された係数セット（初期値としての係数セット）であるが、係数変更部３２２により適宜変更されて、上書き記憶される。従って、上書きが繰り返されていくうち、係数セットは、やがて学習装置３４１により生成されたものとは異なるものとなる。尚、初期値としての係数セットは、図示せぬメモリに保持しておき、操作部２０２の操作に対応して、係数メモリ３２１の記憶内容を、初期値の係数セットに戻すようにすることが可能である。
係数変更部３２２は、操作部２０２から入力される操作信号に基づいて、係数メモリ３２１に記憶された係数セット（予測係数）を読出し、各予測タップに対応する予測係数（各予測タップと積算される予測係数）の値を変更して、再び係数メモリ３２１に上書き記憶させる。
次に、図４２を参照して、係数変更部３２２の構成について説明する。係数変更部３２２の係数読出書込部３３１は、変更処理部３３２により制御され、係数メモリ３２１に記憶された係数セットを読出し、変更処理部３３２に出力すると共に、変更処理部３３２により値が変更された予測係数を係数メモリ３２１に上書き記憶させる。変更処理部３３２は、係数読出書込部３３１により係数メモリ３２１から読み出された予測係数を、操作信号に基づいて変更する。
ここで、図４３を参照して、係数メモリ３２１に記憶される係数セットを学習処理により生成する学習装置３４１について説明する。学習装置３４１の教師データ生成部３５１は、図３０の学習装置２２１の教師データ生成部２３１と同様のものであり、予め用意された学習データとしての画像信号より教師データを生成し、教師データを正規方程式生成部３５４に出力する。生徒データ生成部３５２は、図３０の生徒データ生成部２３２と同様のものであり、学習用データから生徒データを生成し予測タップ抽出部３５３に出力する。
予測タップ抽出部３５３は、図３０の予測タップ抽出部２３３と同様のものであり、教師データのうちの今から処理しようとするものを注目画素として、その注目画素について、図４１のマッピング処理部２２２を構成するタップ抽出部２５１（図３１）が生成するのと同一のタップ構造の予測タップを生徒データから抽出し、正規方程式生成部３５４に出力する。
正規方程式生成部３５４は、教師データ生成部３５１より入力された注目画素としての教師データｙと予測タップｘ_１，ｘ_２，…，ｘ_Ｍから、式（４６）の正規方程式を生成する。そして、正規方程式生成部３５４は、全ての教師データを注目画素として、式（４６）の正規方程式を求めると、その正規方程式を係数決定部３５５に出力する。係数決定部３５５は、入力された正規方程式（上述の式（４６））を例えば、コレスキー法などにより解いて係数セットを求める。
次に、図４４のフローチャートを参照して、図４３の学習装置３４１による係数決定処理（学習処理）について説明する。ステップＳ２７１において、教師データ生成部３５１は、学習用データから教師データを生成し、正規方程式生成部３５４に出力すると共に、生徒データ生成部３５２は、学習用データから生徒データを生成し、予測タップ抽出部３５３に出力して、ステップＳ２７２に進む。
ステップＳ２７２において、予測タップ抽出部３５２は、各教師データを順次注目画素として、各注目データについて、生徒データより予測タップを抽出し、正規方程式生成部３５４に出力して、ステップＳ２７３に進む。
ステップＳ２７３において、正規方程式生成部３５４は、各教師データと予測タップのセットを用いて、式（４６）における左辺の行列の各コンポーネントとなっているサメーション（Σ）と、右辺のベクトルの各コンポーネントとなっているサメーション（Σ）を演算することにより、正規方程式を生成し、係数決定部３５５に出力する。
そして、ステップＳ２７４に進み、係数決定部３５５は、正規方程式生成部３５４より入力された正規方程式を解いて、いわゆる最小２乗誤差法により係数セットを求め、ステップＳ２７５において、係数メモリ３２１に記憶させる。
以上の処理により、係数メモリ３２１に基礎となる係数セット（初期値としての係数セット）が記憶される。尚、以上の例においては、係数セットは、最小２乗誤差法により求められる場合について説明してきたが、その他の方法で求められた係数セットであってもよく、上述の最小Ｎ乗誤差法により求められる係数セットであってもよい。
次に、図４１の係数変更部３２２の変更処理部３３２による係数セットの変更について説明する。係数セットは、上述の図４４のフローチャートの処理により、係数メモリ３２１に予め記憶されているものであるが、係数変更部３２２は、この予め演算により設定されている係数セットの各予測係数を操作部２０２から入力される操作信号に基づいて変更する。
例えば、生徒データから抽出される予測タップが、図４５に示すように、７タップ×７タップ（横×縦が７×７画素）の合計４９タップであった場合、各予測タップに対応する予測係数も同一の数だけ存在する。すなわち、この場合、係数メモリ３２１に記憶されている係数セットは、４９個の予測係数からなる係数セットである。このとき、各予測タップの位置（タップ位置）を横軸として（例えば、各予測タップに番号を付して、その番号の値を横軸として）、各タップ位置の予測タップと乗算される予測係数の係数値を縦軸とした時の分布が、図４６で示すようになっているものとする。いま、ユーザに、係数セットの各係数値を全て変更させようとすると４９個もの各係数の係数値を操作する必要がる。各係数の値は、入力信号と、その入力信号と予測係数で処理して得られる出力信号とのゲインが同一となるように、正規化（係数全ての値の合計で個々の係数を割ったもの）されたもの、すなわち、係数の値の合計が１である必要があるが、さらに、その合計が１となるように、個々の係数を操作することは、困難である。
すなわち、例えば、図４７中で矢印で示された予測タップに対応する係数の係数値だけを引き上げることを考えると、タップ位置と係数値の分布は、図４８で示すようなものとなる。尚、図４８中タップ位置ｔは、図４７中の矢印で指定されたタップ位置である。
このように、ある特定の予測タップに対応する係数の係数値だけを引き上げる（増加させる）と、その他のタップ位置の係数の係数値を減少させるなどして、その合計が１となるように操作する必要があるが、その操作は困難である。さらに、これ以上の数の予測タップに対応する係数の係数値を変化させる場合も同様に、その合計を１とする操作は困難である。
そこで、変更処理部３３２は、操作信号が図４９の矢印で示される１つのタップ位置に対応する係数の係数値を、所定の閾値Ｓ１１よりも大きく変化させる（変化量が閾値Ｓ１１より大きく変化する）ものであるとき、他の係数の係数値を図４６で示すような分布から、図５０で示すような分布に変更する。すなわち、変更処理部３３２は、値が変化された係数に対応するタップ位置からの距離に応じて、係数値の分布がバネのようなモデルとして変化するように、各タップ位置に対応する係数の係数値を変化させる。すなわち、変更処理部３３２は、学習で求められた係数セットの分布が図４６のような分布であった場合、操作部２０２が図５０で示すように、タップ位置ｔに対応する値を引き上げるように操作されたとき、その他の値については、タップ位置ｔから近い位置の係数値を、その位置が近いほど大きく変化するように増加させ、逆にタップ位置ｔから遠い位置のタップに対応する係数の係数値を、その位置が遠いほど大きく減少するように変更させ、さらに係数値の合計が１となるようにする。ここで、以下においては、図５０のようにバネ状に分布が変化するモデルをバネモデルと称する。尚、バネモデルによれば、あるタップ位置ｔの係数を引き下げるように、操作部２０２が操作された場合は、タップ位置ｔから近い位置の係数値は、その位置の近さに応じて引き下げられ、逆にタップ位置ｔから遠い位置の係数値は、その位置の遠さに応じて引き上げられる。
また、係数の係数値の変化量が所定の閾値Ｓ１１より小さいとき、変更処理部３３２は、図５１で示すようにタップ位置ｔの係数の変化量に応じて、タップ位置ｔの係数と同じ極性の極値をとる係数値は、タップ位置ｔの係数と同じ方向に変更させ、タップ位置ｔの係数と異なる極性の極値をとる係数値は、タップ位置ｔの係数と逆方向に変更させ（操作された係数が持つ極値の方向と同じ極値の係数は、操作された係数と同じ方向にシフトし、操作された係数が持つ極値の方向と異なる極値の係数は、操作された係数と逆方向にシフトさせられ）、全体として分布のバランスを均衡に保つようにして係数値の合計を１となるように変化させる。尚、以下においては、図５１のように全体としたバランスを均衡に保ちながら係数値を変化させるモデルを均衡モデルと称するものとする。また、均衡モデルは、このように変化することからＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）として近似的に（等価的に）機能する。
尚、上述においては、均衡モデルにおいて、正の値の係数値が、引き上げられた場合について説明してきたが、例えば、正の値の係数値が引き下げられた場合、すなわち、負の方向に変化された場合、正の値は、負方向に変更させ、負の値の係数値は、正の方向に変更させる。さらに、負の値の係数値が、引き上げられた場合、正の値の係数値は、負方向に変更させ、負の係数は、正方向に変更させ、また、負の値の係数値が引き下げられた場合、正の係数値は、正方向に変更させ、負の係数値は、負方向に変更させる。均衡モデルにおいては、いずれにおいても、全体としてバランスが均衡に保たれる方向に係数の値が変更される。
以上のように、変更処理部３３２は、変更された係数値の変化量が閾値Ｓ１１より大きいときは、図５０で示すバネモデルによりその他のタップに対応する係数値を変化させ、係数値の変化量が閾値Ｓ１１よりも小さいときは、図５１で示す均衡モデルによりその他のタップに対応する係数の係数値を変化させる。これは、１個の係数の変化量が大きい時には、各係数値全体のバランスから見て影響が大きいものとなるので全体のバランスを維持する変化をさせるのは不自然なものとなるためバネモデルを採用し、変化量が小さい場合には、その係数の変化は全体のバランスへの影響が小さいので、全体としてバランスを維持するように変化させるためである。
尚、操作部２０２が操作されることにより、変更された係数値以外の係数の変化のモデルはこれに限るものではなく、全体として、係数値の合計が１となるように変化させるものであれば良い。また、上述の場合には、操作部２０２が操作されることにより変更された係数の変化量の大小に応じて、他の係数を変化させるモデルを切り替えるようにしたが、他の係数を変化させるモデルは、固定することも可能である。
次に、図５２のフローチャートを参照して、図４１の最適化装置３０１の画像最適化処理について説明する。尚、この画像最適化処理は、係数変更処理と、マッピング処理からなるマッピング処理は、図３５や図３８で説明したマッピング処理と同一であるため、ここでは、係数変更処理についてのみ説明する。
ステップＳ２９１において、係数変更部３２２の変更処理部３３２（図４２）は、係数値を操作する操作信号が操作部２０２より入力されたか否かを判定する。すなわち、ユーザは、表示部２０３に表示された画像をみて自らの好みに合うものであるとみなした場合、いま、係数メモリ３２１（図４１）に記憶されている係数セットによるマッピング処理を実行させるが、自らの好みに合うものではないと判定した場合、マッピング処理に使用される係数メモリ３２１に記憶されている係数セットを変更する操作を行う。
例えば、ステップＳ２９１において、係数を操作する操作信号が入力されたと判定された場合、すなわち、係数メモリ３２１に記憶された係数のうちいずれか１個の係数値を変更するように、操作部２０２が操作された場合、ステップＳ２９２に進む。
ステップＳ２９２において、変更処理部３３２は、係数読出書込部３３１を制御して、係数メモリ３２１に記憶されている係数セットを読み出させ、ステップＳ２９３に進む。ステップＳ２９３において、変更処理部３３２は、操作信号として入力された係数値が係数セットに予め含まれている値と比べて所定の閾値Ｓ１１以上に変化しているか否かを判定する。例えば、ステップＳ２９３において、操作信号として入力された値と係数メモリ３２１に記憶されていた係数セットの値との変化が閾値Ｓ１１以上であると判定された場合、その処理は、ステップＳ２９４に進む。
ステップＳ２９４において、変更処理部３３２は、係数セットに含まれる各係数の値を、図５０で示したようにバネモデルによって変更し、その処理は、ステップＳ２９５に進む。
一方、ステップＳ２９３において、操作信号として入力された値と係数メモリ３２１に記憶されていた係数セットの値との変化が閾値Ｓ１１以上ではないと判定された場合、その処理は、ステップＳ２９６に進む。
ステップＳ２９６において、変更処理部３３２は、係数セットに含まれる各係数の値を、図５１で示したように均衡モデルによって変更し、その処理は、ステップＳ２９５に進む。
ステップＳ２９５において、変更処理部３３２は、係数読出書込部３３１を制御して、変更した係数セットの値を係数メモリ３２１に上書き記憶させ、その処理は、ステップＳ２９１に戻り、それ以降の処理が繰り返される。
そして、ステップＳ２９１において、係数値が操作されていないと判定された場合、すなわち、ユーザが表示部２０３に表示された画像がユーザの好みの画像であると判定された場合、ステップＳ２９１に戻り、以下、同様の処理が繰り返される。
以上の係数変更処理により、ユーザは、マッピング処理に用いられる係数セットを変化させ、ユーザにとって最適な処理を実行させることが可能となる。尚、係数セットの各係数の値を変更することは、マッピング処理部３１１によるマッピング処理の「処理の内容」が変更されることになる。
また、図５２の係数変更処理では、係数の変化の大きさが所定の閾値Ｓ１１以上のときには、操作された係数の値に応じて、係数セットの全ての係数値をバネモデルで変更させ、閾値Ｓ１１よりも小さいときは、係数セットの全ての係数値を均衡モデルで変更させるため、係数セットを変更させるアルゴリズムが変化する。従って、図４１の最適化装置３０１の処理部３１１でも、ユーザの操作に従い、その「処理の内容」も、さらには、その「処理の構造」も変更され、これによりユーザにとって最適な信号処理が行われているということができる。
また、上述のように、係数メモリ３２１に記憶される係数セットが、最小Ｎ乗誤差法により求められるものである場合、例えば、複数の指数Ｎに対応する係数セットを予め係数メモリ３２１に記憶させておき、係数変更部３２２が、ユーザの操作に基づいた操作部２０２からの操作信号に従って、指定された指数Ｎに対応する係数セットに変更させるようにしても良い。この場合、係数メモリ３２１に記憶される各係数セットは、ユーザの操作に基づいて操作部２０２から入力される指数Ｎに対応した最小Ｎ乗誤差法により生成されたものに変更される、すなわち、異なる係数セット生成アルゴリズムにより生成された係数セットに変更されるから、「処理の構造」が変更されているということができる。
次に、図５３を参照して、図４１の最適化装置３０１に内部情報生成部３７１を設けた実施の形態について説明する。尚、図５３においては、内部情報生成部３７１が設けられた以外の点については、図４１で示した最適化装置３０１と同様のものである。
内部情報生成装置３７１は、処理部３１１の内部情報として、例えば、係数メモリ３２１に記憶されている係数セットを読み出して、表示部２０３に表示可能な画像信号に変換した後、表示部２０３に出力して、表示させる。
次に、図５４のフローチャートを参照して、図５３の最適化装置３０１の画像最適化処理について説明する。この画像最適化処理も、図４１の最適化処理３０１が行う画像最適化処理と同様に、係数変更処理と、マッピング処理からなるが、マッピング処理は、図３５や図３８で説明したマッピング処理と同一であるため、ここでは、係数変更処理についてのみ説明する。
係数変更処理では、ステップＳ３１１乃至Ｓ３１５において、図５２のステップＳ２９１乃至Ｓ２９６における場合と、それぞれ同様の処理が行われる。
そして、ステップＳ３１５において、図５２のステップＳ２９５における場合と同様に、変更後の係数セットが係数メモリ３２１に記憶された後は、ステップＳ３１７に進み、内部情報生成部３７１は、係数メモリ３２１に記憶されている係数セットの各係数値を読出し、表示部２０３で表示可能な画像信号に変換して、表示部２０３に出力して表示させる。このとき、表示部２０３には、例えば、上述の図３９で示したような３次元分布図や、または、図４０で示した２次元分布図のような形式にして、係数セットの各係数値を表示するようにすることができる。
ステップＳ３１７の処理後は、ステップＳ３１１に戻り、以下、同様の処理が繰り返される。
図５４の係数変更処理によれば、係数メモリ３２１に記憶された係数セットの値が、内部情報として表示されるので、ユーザは、この係数セットを見ながらユーザにとって最適な処理を実行する係数セットが得られるように、操作部２０２を操作することが可能となる。
尚、マッピング処理部２２２の積和演算部２５２（図３１）では、式（３９）の１次式ではなく、２次以上の高次の式を演算することによって、出力信号を求めるようにすることが可能である。
次に、図５５を参照して、入力信号としての画像信号からテロップ部分を抽出する最適化装置４０１の構成例について説明する。
最適化装置４０１の特徴量検出部４１１は、操作部４０２より入力される操作信号に基づいて、例えば、指定された２種類の特徴量を入力信号としての画像信号の各画素について検出し、検出した特徴量の情報を処理決定部４１２に出力する。また、特徴量検出部４１１は、入力された画像信号よりテロップが抽出されるまでの間、内部のバッファ４２１に入力信号としての画像信号を記憶し、処理部４１３に出力する。操作部４０２は、図４１や図５３の操作部２０２と同様のものである。尚、特徴量検出部４１１は、指定された２種類の特徴量を入力信号としての画像信号の各画素について検出するだけのものに限らず、例えば、複数種類の特徴量を同時に検出し、その中から指定された２種類の特徴量を出力するものでも良いし、２種類以上の特徴量を同時に検出し、同時に出力するものでも良い。
処理決定部４１２は、特徴量検出部４１１より入力された特徴量に基づいて、後段の処理部４１３が画像信号に対して施す処理を、例えば、画素単位で決定し、決定した処理内容を処理部４１３に出力する。
処理部４１３は、バッファ４２１より読み出した入力信号としての画像信号に、処理決定部４１２より入力された処理内容の処理を画素単位で施し、表示部４０３に出力し、表示させる。
次に、図５６を参照して、特徴量検出部４１１の構成について説明する。特徴量検出部４１１のバッファ４２１は、入力信号としての画像信号を一時的に記憶して、処理部４１３に供給する。特徴量抽出部４２２は、特徴量選択部４２３により選択された２種類の特徴量を、入力信号としての画像信号から抽出し、処理決定部４１２に出力する。特徴量選択部４２３は、操作部４０２より入力される操作信号に基づいて特徴量抽出部４２２に対して入力信号から抽出すべき特徴量を指定する情報を供給する。選択可能な特徴量としては、例えば、画像信号の各画素毎の輝度値、ラプラシアン、ソーベル、フレーム間差分、フィールド間差分、背景差分、および、所定範囲内の各特徴量から得られる値（総和、平均、ダイナミックレンジ、最大値、最小値、中央値、または、分散など）などであるが、それ以外の特徴量であっても良い。
次に、図５７を参照して、処理決定部４１２の構成について説明する。処理決定部４１２の特徴量認識部４３１は、特徴量検出部４２１より入力されてくる複数の特徴量の種類を認識し、認識した特徴量の種類を示す情報と共に、その特徴量そのものを処理内容決定部４３２に出力する。処理内容決定部４３２は、特徴量認識部４３１より入力される特徴量の種類を示す情報と、特徴量そのものに基づいて、処理内容データベース４３３に記憶されている各特徴量毎に予め設定されている処理内容を決定し、決定した処理内容を処理部４１３に出力する。
次に、図５８を参照して、処理部４１３の構成について説明する。処理部４１３の処理内容認識部４４１は、処理決定部４１２より入力されてくる処理内容を認識し、認識した処理を実行するように処理実行部４４２に対して指令する。処理実行部４４２は、処理内容認識部４４１からの各画素毎の指令に基づいて、バッファ４２１を介して入力される入力信号に対して、指定された処理を施し、表示部２０２で表示可能な画像信号に変換して表示部４０３に出力し、表示させる。
尚、図５５の最適化装置４０１は、画像信号よりテロップを抽出するものであるので、処理内容は、各画素毎にテロップ部分として抽出するか否か（表示させるか否か）の処理となるが、それ以外の処理を画像信号に施すようにさせても良いし、テロップ部分と認識された画素については、入力信号がそのまま出力され、テロップ部分以外と認識された画素については、出力しないようにする処理であっても良い。また、ここでは、説明を簡単にするために、入力信号として入力される画像が１フレームの静止画であるものとする。但し、図５５の最適化装置４０１は、動画にも適用可能である。
次に、図５９のフローチャートを参照して、図５５の最適化装置によるテロップ抽出最適化処理について説明する。
ステップＳ３３１において、特徴量検出部４１１の特徴量抽出部４２２は、特徴量選択部４２３より２種類の特徴量が選択されたか否かを判定し、選択されるまでその処理を繰り返す。すなわち、ユーザが、操作部４０２を操作することにより入力されてくる特徴量の種類に応じた操作信号に基づいて、特徴量選択部４２３が選択された特徴量を示す情報を特徴量抽出部４２２に入力するまで、ステップＳ３３１の処理が繰り返される。例えば、特徴量選択部４２３より特徴量を選択する情報が入力されたと判定された場合、すなわち、ユーザが操作部４０２を操作して、２種類の特徴量を選択したと判定した場合、その処理は、ステップＳ３３２に進む。
ステップＳ３３２において、特徴量抽出部４２２は、選択された２種類の特徴量を入力信号としての画像信号より各画素毎に抽出し、処理決定部４１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号が記憶される。
ステップＳ３３３において、処理決定部４１２は、入力された２種類の特徴量に基づいて各画素毎に処理内容を決定して処理部４１３に出力する。より詳細には、特徴量認識部４３１が、入力された２種類の特徴量を識別して、識別した特徴量の種類と、特徴量そのものを処理決定部４１２に出力する。さらに、処理決定部４１２は、各画素毎に入力された２種類の特徴量から処理内容を決定する。より具体的には、処理内容データベース４３３には、任意の２種類の特徴量Ａと特徴量Ｂの組合せとして（特徴量Ａ，特徴量Ｂ）毎に、その特徴量ＡとＢの各値と、その特徴量ＡとＢを有する画素に対する処理内容（今の場合、テロップであるか無いかの情報）とを対応付けたＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）と呼ばれるテーブルが記憶されており、処理内容決定部４３２は、いま処理しようとしている注目画素の（特徴量Ａ，特徴量Ｂ）の組合せに基づいて、ＬＵＴを参照し、対応する処理、すなわち、テロップとして処理するか否かを決定して処理部４１３に出力する。尚、このＬＵＴは、例えば、予めテロップのみの画像から、複数の特徴量を抽出し、その組合せをテロップであるという情報に対応付けることによって生成される。また、ＬＵＴの詳細については後述する。
ステップＳ３３４において、処理部４１３は、処理決定部４１２より入力された処理内容に従ってバッファ４２１を介して入力される入力信号としての画像信号を処理し、表示部４０３に表示可能な画像信号に変換して、表示部４０３に出力して、表示させる。より詳細には、処理部４１３の処理内容認識部４４１は、処理決定部４１２より入力された処理内容を認識して、対応する画素に対して決定された処理を実行するように処理実行部４４２に指令する。処理実行部４４２は、バッファ４２１に記憶された入力信号としての画像信号を読出し、各画素毎に対応する処理を実行した後、表示部４０３で表示可能な画像信号に変換して、表示部４０３に出力すると共に表示させる。
ステップＳ３３５において、特徴量検出部４１１は、テロップが抽出されているとみなされているか否かを判定する。すなわち、ユーザが、表示部４０３に表示された画像を見て、テロップが抽出されていると判断されないとき、再度特徴量の組合せを変更してテロップ抽出処理をしようとするように操作部４０２を操作する。この操作に対応する操作部４０２からの操作信号が入力されたとき、その処理は、ステップＳ３３１に戻り、それ以降の処理が繰り返される。
一方、ユーザの主観によりテロップが抽出されていると判定されるとき、ユーザが、操作部４０２を操作することにより処理の終了を示す操作信号が特徴量検出部４２１に入力され、このとき、処理は終了する。
すなわち、上述の処理により、ユーザが、表示部４０３に表示される画像を見て、テロップが抽出されていると判断できるまで、ステップＳ３３１乃至Ｓ３３５の処理が繰り返されることにより、ユーザにとって最適な特徴量の組合せを設定し、入力信号としての画像信号からテロップを抽出させるようにすることができる。尚、上述において、処理内容を決定するために、２種類の特徴量を用いていたが、それ以外の数の種類の特徴量により処理内容を決定するようにしても良い。また、ステップＳ３３１の処理においては、ユーザによる操作部４０２の所定の操作（例えば、アップダウンを指定するボタン操作など）に対応した操作信号により、所定の順序で複数の特徴量の組合せが、順次切り替わるようにして、ユーザが特に特徴量の種類を意識しなくても特徴量を切替えて入力することができるようにしてもよい。
以上の処理においては、ユーザによる操作部４０２の操作に応じて、特徴量検出部４１１で検出される特徴量の種類が、処理部４１３においてテロップが検出されるように変更される。この特徴量検出部４１１で検出される特徴量の種類の変更は、処理決定部における処理内容の決定アルゴリズムの変更を示すことになるので、特徴量検出部４１１においても「処理の構造」が変更されているといえる。
また、特徴量検出部４１１では、上述したように、各種の特徴量の検出が可能であるが、この特徴量の中には、その検出を行うのに、例えば、ラプラシアンなどのように、フィルタ係数などのパラメータの設定が必要なものが存在する。特徴量の検出のためのパラメータは、操作部４０２の操作に対応して変更可能なようにすることができるが、このパラメータの変更によれば、特徴量検出部４１１で検出される特徴量の種類自体は変わらないが、検出される特徴量の値は変化する。従って、この特徴量の検出のためのパラメータの変更は、特徴量検出部４１１の「処理の内容」の変更と言うことができる。
次に、図６０を参照して、図５５の最適化装置４０１に内部情報生成部５１１を設けた最適化装置５０１の構成について説明する。図６０の最適化装置５０１においては、内部情報生成部５１１を設けた以外の構成については、基本的に図５５の最適化装置４０１と同様である。
最適化装置５０１の内部情報生成部５１１は、内部情報として、例えば、特徴量検出部４１１の特徴量選択部４２３より出力される特徴量選択情報を抽出し、今現在選択された特徴量の種類を表示部４０３に表示させる。
ここで、図６１のフローチャートを参照して、最適化装置５０１によるテロップ抽出最適化処理について説明する。
尚、この処理は、図５９のフローチャートを参照して説明した、図５５の最適化装置４０１によるテロップ抽出最適化処理と基本的には同様の処理であり、選択された特徴量の種類を示す情報が表示される処理が加えられた点が異なる。
すなわち、ステップＳ３４１において、特徴量検出部４１１の特徴量抽出部４２２は、特徴量選択部４２３より２種類の特徴量が選択されたか否かを判定し、選択されるまでその処理を繰り返す。例えば、特徴量選択部４２３より特徴量を選択する情報が入力されたと判定された場合、すなわち、ユーザが操作部４０２を操作して、２種類の特徴量を選択したと判定した場合、その処理は、ステップＳ３４２に進む。
ステップＳ３４２において、内部情報生成部５１１は、選択された２種類の特徴量の種類を示す情報を特徴量選択部４２３より抽出し、選択された２種類の特徴量の種類の名称を表示部４０３に表示させる。
以下、ステップＳ３４３乃至Ｓ３４６において、図５９のステップＳ３３２乃至Ｓ３３５における場合と、それぞれ同様の処理が行われる。
図６１の処理によれば、特徴量検出部４１１の処理に関する内部情報である現在選択されている特徴量の種類が表示（呈示）されるので、ユーザは、現在選択されている特徴量の種類を把握しながら、入力信号としての画像信号からテロップを精度良く抽出することができるような最適な特徴量の組合せを設定することができる。
尚、内部情報生成部５１１では、例えば、特徴量検出部４１１で検出された各画素のついての２種類の特徴量の値の分布を、内部情報として生成し、表示部４０３において、後述する図６５や図６７に示すように表示させるようにすることが可能である。
また、上述したように、操作部４０２の操作に応じて、特徴量の検出のためのパラメータを変更する場合には、内部情報生成部５１１では、そのパラメータを内部情報として、表示部４０３に表示（呈示）させるようにすることも可能である。
次に、図６２を参照して、図６０の内部情報生成部５１１に替えて、処理決定部４１２から内部情報を生成する内部情報生成部６１１を設けるようにした最適化装置６０１の構成例について説明する。
図６２の最適化装置６０１は、図６０の内部情報生成部５１１に替えて、内部情報生成部６１１を設けたこと以外は、図６０の最適化装置５０１と同様に構成されている。
内部情報生成部６１１は、内部情報として、例えば、処理決定部４１２の処理内容決定部４３２により決定された処理内容と、実際に検出された２種類の特徴量に基づいて、２種類の特徴量を軸とした時のテロップ抽出された画素と、テロップ抽出されなかった画素の分布図（例えば、図６５，図６７）を生成し、表示部４０３に表示させる。
次に、図６３のフローチャートを参照して、図６２の最適化装置６０１によるテロップ抽出最適化処理について説明する。
尚、この処理は、図６１のフローチャートを参照して説明した、図６０の最適化装置５０１によるテロップ抽出最適化処理と基本的には同様の処理であり、選択された２種類の特徴量を軸とした、画素がテロップ抽出されたか否かの分布が表示される処理が加えられた点が異なる。
すなわち、ステップＳ３５１において、特徴量検出部４１１の特徴量抽出部４２２は、特徴量選択部４２３より２種類の特徴量が選択されたか否かを判定し、選択されるまでその処理を繰り返す。例えば、特徴量選択部４２３より特徴量を選択する情報が入力されたと判定された場合、すなわち、ユーザが操作部４０２を操作して、２種類の特徴量を選択したと判定した場合、その処理は、ステップＳ３５２に進む。
ステップＳ３５２において、特徴量抽出部４２２は、選択された２種類の特徴量を入力信号としての画像信号より各画素毎に抽出し、処理決定部４１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号が記憶される。
ステップＳ３５３において、処理決定部４１２は、入力された２種類の特徴量に基づいて各画素毎に処理内容を決定して処理部４１３に出力する。
ステップＳ３５４において、処理部４１３は、処理決定部４１２より入力された処理内容に従ってバッファ４２１より読み出される入力信号としての画像信号を処理し、表示部４０３に表示可能な画像信号に変換して、表示部４０３に出力して、表示させる。
ステップＳ３５５において、内部情報生成部６１１は、処理決定部４１２の処理内容決定部により決定された処理内容を、２種類の特徴量を軸として、プロットした分布図を、内部情報として生成し、表示部４０３に表示させる。
ステップＳ３５６において、特徴量検出部４１１は、テロップが抽出されているとみなされているか否かを判定する。ステップＳ３５６において、ユーザの操作に対応する操作部２０２からの操作信号が入力され、テロップが抽出されていないとみなされたとき、その処理は、ステップＳ３５１に戻り、それ以降の処理が繰り返される。
一方、ステップＳ３５６において、ユーザが、操作部４０２を操作することにより処理の終了を示す操作信号が特徴量検出部４２１に入力されたとき、処理は終了する。
すなわち、例えば、図６４で示すような入力信号としての画像信号が入力されたものとする。図６４においては、背景画像（ここでは、テロップでない部分）に対して、図中中央に「タイトルＡＢＣ」がテロップとして表示されている。
ステップＳ３５５においては、内部情報生成部６１１は、図６４で示すような画像信号から検出された２種類の特徴量をそれぞれ軸としてテロップとして抽出されたか否かを示す分布を、例えば、図６５で示すような２次元分布図として表示する。
図６５の例では、特徴量として選択されたものは、ラプラシアンとフレーム間差分の２種類となっており、図中丸印がテロップ抽出された画素を示し、バツ印がテロップ抽出されなかった画素を示す。図６５の例では、テロップ抽出された画素と、テロップ抽出されなかった画素が分布上境目のない状態になっている（テロップの画素とテロップではない画素との分布が分かれていない）。このような分布となっている場合、テロップは背景画像から抽出されていないことが多く、例えば、図６６で示すように、テロップ部分が境界ではなく、その周りに、境界６２１，６２２が生じるような状態となる。
このようなとき、ユーザは、テロップが抽出されていないと判定することに成り、結果として、ステップＳ３５１乃至Ｓ３５６の処理が繰り返されることになる。そして、この処理が繰り返されることにより、例えば、選択された特徴量がラプラシアン和（１７画素×１７画素）（注目画素を中心とした１７画素×１７画素範囲の画素の各ラプラシアンの総和）と輝度ＤＲ（各画素の輝度値の注目画素を中心とした１７画素×１７画素範囲の画素のダイナミックレンジ）となったとき、図６７で示すように、分布図が生成されたとする。このとき、図６７においては、テロップとして抽出された画素の分布と、テロップとして抽出されなかった画素の分布が視覚的に分かれた状態となっている。すなわち、特徴量としてラプラシアン和と輝度ＤＲの組合せを選択した時に、入力画像のテロップとそれ以外の部分が分かれるように分布することが示されている。このような分布が得られた時、各画素から検出された特徴量としてのラプラシアン和と輝度ＤＲを閾値処理等することにより、図６８で示すように、テロップ部分を精度良く抽出することができる。
このように、上述の処理により、ユーザが、表示部４０３に表示される画像と共に、選択された２種類の特徴量を軸とした２次元分布を見て、テロップが抽出されていると判断できるまで、ステップＳ３５１乃至Ｓ３５６の処理が繰り返されることにより、処理決定部４１２の処理に関する内部情報としての特徴量からみたテロップと検出された画素と、背景画素との分布が表示されることにより、ユーザは、特徴量からみたテロップと検出された画素と、背景画素との分布を把握しながら、入力信号としての画像信号からテロップを精度良く抽出することができるように操作部４０２を操作して、ユーザにとって最適な特徴量の組合せを設定することができる。
次に、図６９を参照して、図６２で示した最適化装置６０１の処理決定部４１２に替えて、処理決定部７１１を設けた最適化装置７０１の構成について説明する。最適化装置７０１においては、処理決定部４１２に替えて、処理決定部７１１が設けられた以外の構成は、図６２で示した最適化装置６０１と同様である。
処理決定部７１１は、操作部７０２（操作部４０２と同じもの）からの操作信号に基づいて、処理内容データベース４３３のＬＵＴの内容を変更すると共に、特徴量検出部４１１より入力された特徴量に基づいて、後段の処理部４１３が画像信号に対して施す処理を画素単位で決定し、決定した処理内容を処理部４１３に出力する。
次に、図７０を参照して、処理決定部７１１について説明する。基本的な構成は、図５０の処理決定部４１２と同様であるが、処理内容決定部４３２に替えて、処理内容決定部７２１が設けられている。処理内容決定部７２１は、操作部７０２より入力された操作信号に基づいて、処理内容データベース４３３に記憶された２種類の特徴量の組合せ毎に処理内容が決定されているＬＵＴを変更する。より詳細には、入力信号としての画像信号をそのまま表示した状態で、操作部２０２によりテロップとして指定された領域の画素の特徴量をテロップとみなし、それ以外の領域をテロップ以外の処理をするようにＬＵＴを設定する。
ＬＵＴが変更された後、処理内容決定部７２１は、特徴量認識部４３１より入力される特徴量を識別する情報と、特徴量そのものに基づいて、処理内容データベース４３３に記憶されている各特徴量毎に予め設定されている処理内容を決定し、決定した処理内容を処理部４１３に出力する。
次に、図７１のフローチャートを参照して、図６９の最適化装置７０１によるテロップ抽出最適化処理について説明する。
ステップＳ３６１において、入力信号としての画像信号がそのまま表示部４０３に表示される。より詳細には、特徴量検出部４１１のバッファ４２１が、入力信号としての画像信号を受信して記憶し、処理部４１３が、バッファ４２１に記憶されている入力信号としての画像信号をそのまま読出し、処理すること無く、そのまま表示部４０３に出力して、表示させる。
ステップＳ３６２において、処理決定部７１１の処理内容決定部７２１は、操作部７０２よりテロップと背景が指示されたか否かを判定する。すなわち、例えば、ステップＳ３６１の処理で、図７２で示すように処理されていない画像信号が表示されていたものとする。このとき、ユーザが操作部７０２を介してポインタ７４１を操作して（ドラッグ、または、クリックするなどして）、範囲７４２などにより大雑把にテロップ部分を指定するなどして、例えば、図７３で示すように、テロップ部７５２と図７２の範囲７４２の外側部分の背景部７５１が指定されるまでその処理を繰り返し、テロップと背景部が指示されたとき、指示されたそれぞれの対応する画素位置を内蔵するメモリ（図示せず）に記憶し、その処理は、ステップＳ３６３に進む。
ステップＳ３６３において、特徴量検出部４２１の特徴量選択部４２３は、操作部２０２より所定の２種類の特徴量を選択する操作信号が入力されたか否かを判定し、所定の２種類の特徴量が指定されるまでその処理を繰り返し、所定の２種類の特徴量が選択されたとき、その処理は、ステップＳ３６４に進む。
ステップＳ３６４において、特徴量抽出部４２２は、特徴量選択部４２３に入力された特徴量の種類を選択する情報に基づいて、入力信号から選択された２種類の特徴量を抽出して処理決定部７１１に出力する。
ステップＳ３６５において、内部情報生成部６１１は、処理決定部７１１に入力された２種類の特徴量と、テロップと背景に指定された画素位置の情報に基づいて、２種類の特徴量を軸とした２次元分布図を生成し、ステップＳ３６６において、その２次元分布図を表示部４０３に表示する。より詳細には、処理決定部７１１の特徴量認識部４３１が特徴量の種類を認識し、その種類を示す情報と特徴量そのものを処理内容決定部７２１に出力し、処理内容決定部７２１が、特徴量とその種類を示す情報に加えて、テロップと背景に指定された画素位置を示す情報を内部情報生成部６１１に出力することにより、内部情報生成部６１１が、テロップと背景に指定された画素位置を示す情報に基づいて、例えば、図７４で示すような特徴量の２次元分布図を生成する。すなわち、図７４の例では、ラプラシアンとフレーム間差分が特徴量として選択されている例が示されているが、図中丸印がテロップの画素を示し、図中バツ印が背景として指定された画素を示している。図７４の２次元分布図においては、例えば、所定の画素について、ラプラシアンがＸという値で検出され、フレーム間差分がＹという値で検出され、その画素がテロップとして指定されているとき、２次元分布上の（Ｘ，Ｙ）の位置に丸印が表示されるようになっており、背景が指定されているとき、同位置にバツ印が表示されるようになっている。
ステップＳ３６７において、処理内容決定部７２１は、テロップと背景が分離されていると判定されたことを示す操作信号が入力されたか否かを判定する。すなわち、例えば、図７４で示すような２次元分布の場合、テロップを示す丸印の分布と、背景を示すバツ印の分布は、完全に分離されているとは言えない状態のため、当然のことながら表示画面上でもテロップが抽出されていることが期待できず、例えば、図７３で示すように、背景部７５１とテロップ部７５２とは別に境界７５３が生じるなどして、背景とテロップが分かれていない状態であることが多い。このようにユーザからみてテロップが抽出できていないと判定される場合、ユーザが再度特徴量を変更しようとするとき、ユーザの操作に応じて操作部７０２は、分離されていないことを示す操作信号を処理決定部７１１の処理内容決定部７２１に出力する。この場合、ステップＳ３６７において、テロップと背景が分離されていると判定されたことを示す操作信号が入力されなかったと判定され、その処理は、ステップＳ３６３に戻り、それ以降の処理が繰り返される。この処理により、再び、２種類の特徴量が選択されることになる。
また、ステップＳ３６６の処理により、例えば、図７５で示すように、テロップ部を示す丸印と、背景を示すバツ印がある程度分離された状態となった時、操作部７０２は、ユーザにより操作され、分離されていることを示す操作信号を処理決定部７１１の処理内容決定部７２１に出力する。この場合、ステップＳ３６７において、テロップと背景が分離されていると判定されたことを示す操作信号が入力されたと判定され、その処理は、ステップＳ３６８に進む。
ステップＳ３６８において、処理内容決定部７２１は、２次元分布上でテロップ部分が指示されたか否かを判定する。すなわち、図７５で示すように、表示された分布上にポインタ７４１によりテロップを示す丸印が多く分布する範囲として、例えば、範囲７６１などを指定する操作信号が操作部７０２より入力されたか否かを判定し、範囲が指定されるまでその処理を繰り返し、指定されたと判定された場合、その処理は、ステップＳ３６９に進む。
ステップＳ３６９において、処理内容決定部７２１は、操作部７０２より入力された図７５の範囲７６１を指定する操作信号に基づいて、各特徴量の組合せに対応するテロップ抽出の有無を示すＬＵＴ上の処理内容を変更し、変更されたＬＵＴに応じて処理内容を決定して処理部４１３に出力すると共に、処理部４１３は、入力された処理内容に従って、バッファ４２１を介して入力された入力信号としての画像信号からテロップを抽出して表示部４０３に表示させる。より詳細には、処理内容決定部７２１は、操作部７０２より入力された、図７５で示すような２次元分布上の範囲を示す情報に基づいて、指定された範囲に分布する画素に対応する２種類の特徴量の組合せをテロップとして抽出するように、処理内容データベース４３３のＬＵＴを更新し、更新したＬＵＴに従って、各画素の処理内容を決定し、処理部４１３に出力する。
ステップＳ３７０において、処理内容決定部７２１は、テロップが抽出されていると判定されているか否かを判定する。すなわち、ユーザからみてテロップが抽出されていると判断しているか、または、テロップが抽出されていないと判断しているかを判定する。例えば、図７６で示すように、ステップＳ３６９の処理によって、表示部４０３に出力画像が表示されているとき、テロップ部と背景部の境界７７１，７７２は、テロップそのものではないので、完全にテロップが抽出されているとは言えない。そこで、ユーザからみて、このようにテロップが抽出されていないと判断されるとき、ユーザは、操作部７０２を操作して、テロップが抽出されていないことを示す操作信号を入力する。処理決定部７１１の処理内容決定部７２１は、この操作信号を受信したとき、ステップＳ３７０において、テロップが抽出されていないと判定し、その処理は、ステップＳ３７１に進む。
ステップＳ３７１において、２次元分布上のテロップの範囲を指定し直すか否かが判定され、２次元分布上のテロップの範囲を指定し直さないことが選択されたと判定された場合、その処理は、ステップＳ３６８に戻り、それ以降の処理が繰り返される。
一方、ステップＳ３７０において、例えば、ステップＳ３７１の処理で、テロップの範囲を指定し直すことが選択された場合、ステップＳ３６８において、図７７で示すように、図７５の範囲７６１に比べて、テロップを示す丸印の分布の存在する部分をより小さく絞り込んだ範囲７８１（よりテロップとして抽出された丸印を多く含む部分を絞り込んだ範囲）を設定する。すなわち、図７５において、特徴量の分布上の範囲７６１をテロップ部分として設定しても、結果として、図７６に示すように、テロップ部と背景部の境界７７１，７７２は、テロップそのものではないので、完全にテロップが抽出されなかったことになる。
そこで、ユーザは、操作部７０２を操作することにより、特徴量の分布上の範囲として（テロップ部分として指定する部分の範囲として）、範囲７６１よりも、狭い範囲７８１を設定する。このように範囲を設定することで、テロップとして抽出される特徴量の分布上の範囲は、絞り込まれたことになる、すなわち、より背景部分が排除されやすくなる。ただし、テロップとして抽出される範囲を狭くしすぎると、テロップ自身も抽出されにくくなるので、ユーザは、抽出されたテロップを見ながら、このような処理を繰り返すことにより最適なテロップの抽出状態を模索する。
そして、例えば、図７８で示すようにテロップが抽出された状態となったとき、ステップＳ３７０において、ユーザが、テロップが抽出されたものと判定したときは、ユーザにより操作部７０２が操作されて、テロップが抽出されていると判断していることを示す操作信号が、処理決定部７１１の処理内容決定部７２１に入力されることになるので、テロップが抽出されていると判定し、その処理は、終了する。
また、ステップＳ３７１において、テロップの範囲を指定するのではないと判定された場合、その処理は、ステップＳ３６３に戻り、それ以降の処理が繰り返される。
このような処理により、まず、ユーザが入力信号としての画像信号上でテロップと背景部と、２種類の特徴量を選択し、さらに、選択されたテロップと背景が、選択された特徴量を２軸としたときにどのように２次元分布するかを見て、２次元分布上でテロップの範囲を変えるか（絞り込むか）、または、選択する２種類の特徴量を変えて、さらに、抽出されるテロップをみながら、ユーザの好みの状態となるまで、処理を繰り返すことにより、ユーザの好みに合ったテロップ抽出処理を実現することができる。尚、ステップＳ３６２の処理で、テロップと背景処理が指示されたと判定されるとき、テロップと背景の範囲の指定は、その後、２種類の特徴量の選択や、２次元分布のテロップの絞込みの雛型となる情報を生成することができれば良いので、その範囲は、大雑把なもので良い。
以上の処理においては、ユーザにより選択された２種類の特徴量の組合せに応じて、テロップであるか、または、背景であるかの処理に分かれることになるので、ユーザの操作により「処理の内容」が変更されることになる。
また、以上の処理においては、操作部４０２において、２種類の特徴量を指定することにより特徴量の種類が決定されたが、例えば、図７９で示すように、操作部７０２の所定の操作ボタンによりアップまたはダウンの指示を操作信号として送るだけで２種類の特徴量の組合せを変えられるようにしても良い。すなわち、初期状態として、状態Ａで示す特徴量ａ，ｂの組合せにより処理を実行し、次に、ダウンを指示すると、状態Ｂで示す特徴量ｂ，ｃの組合せにより処理を実行し、さらに、ダウンを指示すると、状態Ｃで示す特徴量ｃ，ｄの組合せで処理を実行し、例えば、状態Ｃのとき、アップを指定すると状態Ｂに戻り、さらに、状態Ｂのとき、アップを指定すると状態Ａに戻るようにしても良い。このようにすることで、ユーザは、特徴量の種類について、特に意識することなく、次々と特徴量を変えていくことができるので、効率的にテロップ抽出するための特徴量の組合せを絞り込むことが可能となる。
次に、図８０を参照して、図５５の最適化装置４０１の特徴量検出部４１１に替えて、既存の特徴量から新たな特徴量を生成することができる特徴量検出部８１１を設けた最適化装置８０１の構成について説明する。図８０においては、図５５の最適化装置４０１の特徴量検出部４１１に替えて、特徴量検出部８１１を設けた以外の構成については同様である。
尚、操作部８０２は、操作部４０２と同様のものである。
図８１を参照して、図８０の特徴量検出部８１１の構成について説明する。特徴量検出部８１１においては、バッファ４２１、および、特徴量抽出部４２２は、図５６で示した特徴量検出部４１１と同様である。特徴量選択部８２１は、操作部８０２から入力される特徴量を指定する操作情報に基づいて、特徴量抽出部４２２を制御して、予め用意された特徴量のうち指定された２種類の特徴量を抽出して、処理決定部４１３に出力させるか、または、特徴量データベース８２３に予め記憶されている特徴量を処理決定部４１３に出力する。より詳細には、特徴量データベース８２３には、特徴量の種類と、その特徴量の検出方法についての特徴量情報が記憶されている。特徴量抽出部４２２は、この特徴量情報に基づいて、特徴量選択部８２１により選択された特徴量の種類に対応する特徴量情報を特徴量データベース８２３から読み出して、その特徴量情報に記録されている特徴量の検出方法に従って、入力信号から選択された特徴量を検出する。
予め用意された特徴量情報としては、各画素についての輝度値、ラプラシアン、ソーベル、フレーム間差分（例えば、注目画素（ｘ，ｙ）のフレーム間差分ｆｓ（ｘ，ｙ）は、ｆｓ（ｘ，ｙ）＝ｆ_０（ｘ，ｙ）−ｆ_１（ｘ，ｙ）で表され、ここで、ｆ_０（ｘ，ｙ）は、現在の注目画素を示し、ｆ_１（ｘ，ｙ）は、空間上の同じ位置の１フレーム前の画素を示す）、フィールド間差分、背景差分、微分値（例えば、注目画素（ｘ，ｙ）の微分値ｆ_ｂ（ｘ，ｙ）は、ｆ_ｂ（ｘ，ｙ）＝４×ｆ_０（ｘ，ｙ）−ｆ_０（ｘ−１，ｙ）−ｆ_０（ｘ＋１，ｙ）−ｆ_０（ｘ，ｙ＋１）−ｆ_０（ｘ，ｙ−１）で表され、ここで、ｆ_０（ｘ，ｙ）は、現在の注目画素を示し、ｆ_０（ｘ−１，ｙ），ｆ_０（ｘ＋１，ｙ），ｆ_０（ｘ，ｙ＋１），ｆ_０（ｘ，ｙ−１）は、それぞれ空間上のｘ，ｙ方向に１画素ずつ離れた画素を示す）、および、所定範囲内の各特徴量から得られる値（総和、平均、ダイナミックレンジ、最大値、最小値、中央値、または、分散など）などがあるが、これ以外のものであっても良い。
特徴量加工部８２２は、ユーザから入力された操作信号に基づいて、特徴量データベース８２３に記憶された特徴量から新たな特徴量を生成する。より詳細には、特徴量加工部８２２は、ユーザから入力された操作信号に基づいて、特徴量データベース８２３に記憶された特徴量情報から新たな特徴量情報を生成し、その特徴量情報に基づいて特徴量抽出部４２２が新たな特徴量を抽出する。
また、特徴量データベース８２３に特徴量の種類として特徴量Ａ，Ｂ，Ｃの特徴量情報が記憶されているものとすると、特徴量ＡのＤＲ（ダイナミックレンジ：注目画素に対して所定の位置に存在する複数の画素の特徴量Ａの値を読出し、その最小値と最大値の差分となる値を各画素毎に求めることにより生成される値）を新たな特徴量Ａ’に対応した特徴量情報としてもよいし、同様にして、最大値、中央値、最小値、和、分散、閾値以上の値をとる画素数（閾値も設定することが可能である）、または、複数の特徴量間の線形一次結合を求めて、新たな特徴量情報としてもよい。尚、複数の特徴量間の線形一次結合とは、例えば、所定の画素についてのラプラシアンがｘ_ａ、ソーベルがｘ_ｂ，フレーム間差分がｘ_ｃであり、この３種類の特徴量を線形一次結合させるとき、この３種類の各特徴量に係数を乗じて和を取ったもの、すなわち、Ａ×ｘ_ａ＋Ｂ×ｘ_ｂ＋Ｃ×ｘ_ｃが、この画素の新たな特徴量とするものである。ここで、Ａ，Ｂ，Ｃは、係数であるが、この係数は、例えば、テロップ抽出の場合、操作部８０２によりテロップ部を大雑把に指定した範囲の画素を教師データとし、複数の特徴量を生徒データとした学習処理により、図４３、および、図４４で説明したようにして求めることができる。尚、図８１においては、特徴量データベース８２３に記憶された特徴量は、特徴量Ａ乃至Ｃが特徴量抽出部４２２により抽出された特徴量の種類を示し、特徴量Ａ’乃至Ｃ’が、特徴量加工部８２２により特徴量Ａ乃至Ｃから加工された特徴量の種類であるものとする（実際に記憶されているのは、とそれぞれの特徴量情報（特徴量の種類と、その検出方法を示す情報）である）。
特徴量データベース８２３に記憶される特徴量情報は、特徴量抽出部４２２により抽出されるタイミングで指定されたものを記憶させるようにしても良いし、予め特徴量データベース８２３に記憶されていた特徴量情報が特徴量加工部８２２により加工されたものであっても良いし、それ以外の方法で予め記憶させておくものであってもよい。
次に、図８２のフローチャートを参照して、図８０の最適化装置８０１によるテロップ抽出最適化処理について説明する。ステップＳ３８１において、特徴量検出部４１１の特徴量抽出部４２２は、特徴量選択部８２１より２種類の特徴量が選択されたか否かを判定し、選択されない場合、その処理はステップＳ３８６に進む。また、例えば、特徴量選択部４２３より特徴量を選択する情報が入力されたと判定された場合、すなわち、ユーザが操作部８０２を操作して、２種類の特徴量を選択したと判定した場合、その処理は、ステップＳ３８２に進む。
ステップＳ３８２において、特徴量抽出部４２２は、選択された２種類の特徴量を入力信号としての画像信号より各画素毎に抽出し、処理決定部４１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号が記憶される。
ステップＳ３８３において、処理決定部４１２は、入力された２種類の特徴量に基づいて各画素毎に処理内容を決定して処理部４１３に出力する。
ステップＳ３８４において、処理部４１３は、処理決定部４１２より入力された処理内容に従ってバッファ４２１を介して入力される入力信号としての画像信号を処理し、表示部４０３に表示可能な画像信号に変換して、表示部４０３に出力して、表示させる。
ステップＳ３８５において、特徴量検出部４１１は、テロップが抽出されているとみなされているか否かを判定する。すなわち、ユーザが、表示部４０３に表示された画像を見て、テロップが抽出されていると判断されないとき、再度特徴量の組合せを変更してテロップ抽出処理をしようとするように操作部８０２を操作する。この操作に対応する操作部８０２からの操作信号が入力されたとき、その処理は、ステップＳ３８６に進む。
ステップＳ３８６において、特徴量検出部８１１の特徴量加工部８２２は、特徴量の加工が指示されたか否かを判定し、特徴量の加工の指示が無い時、その処理は、ステップＳ３８１に戻る。一方、ステップＳ３８６において、特徴量加工部８２２は、操作部８０２より特徴量の加工を指示する操作信号が入力されたと判定した場合、その処理は、ステップＳ３８７に進む。
ステップＳ３８７において、特徴量加工部８２２は、基礎となる特徴量が指定されたか否かを判定し、基礎となる特徴量を指定する情報が入力されるまでその処理を繰り返す。例えば、操作部８０２が操作されて、特徴量Ａを指示する操作信号が入力されると、入力信号としての画像信号の特徴量Ａを基礎となる特徴量が入力されたと判定し、その処理は、ステップＳ３８８に進む。
ステップＳ３８８において、特徴量加工部８２２は、加工処理内容が指示されたか否かを判定し、加工処理内容が指示されるまでその処理を繰り返す。例えば、操作部８０２が操作されて、ＤＲを指示する操作信号が入力されると、加工処理内容が指定されたと判定し、その処理は、ステップＳ３８９に進む。
ステップＳ３８９において、特徴量加工部８２２は、指定された特徴量を、指定された加工処理内容で加工し新たな特徴量を求め、特徴量データベース８２３に記憶させ、その処理は、ステップＳ３８１に戻る。すなわち、今の場合、特徴量加工部８２２は、特徴量データベース８２３より特徴量Ａを読み出して、指定された加工処理内容であるＤＲを取得することにより、新たな特徴量Ａ’を生成し、特徴量データベース８２３に記憶させ、その処理は、ステップＳ３８１に戻る。
一方、ステップＳ３８５において、ユーザの主観によりテロップが抽出されていると判定されるとき、ユーザは、操作部８０２を操作することにより処理の終了を示す操作信号が特徴量検出部４２１に入力され、このとき、処理は終了する。
すなわち、上述の処理により、ユーザが、表示部４０３に表示される画像を見て、テロップが抽出されていると判断できるまで、ステップＳ３８１乃至Ｓ３８９の処理が繰り返されることにより、ユーザにとって最適な特徴量の組合せを設定し、入力信号としての画像信号からテロップを抽出させるようにすることができ、さらに、ユーザが選択する特徴量の種類を増やすことにより、さらに、多くの特徴量の組合せを設定することが可能となり、ユーザにとって最適な処理を実行させるようにすることができる。
以上の処理においては、ユーザにより指定された２種類の特徴量に応じて、処理内容が決定されて、入力信号としての画像信号からテロップを抽出するようにしているので、ユーザの操作に従い、その「処理の内容」が、ユーザにとって所望の出力信号が得られるように変更されているといえる。また、ユーザの操作に従い、特徴量の２軸（選択される２種類の特徴量）が切替えられると共に、新たな特徴量も設定される（特徴量の種類が増える）ことになり、これらの特徴量の組合せにより、処理内容（例えば、テロップとして処理するか否か）を決定するアルゴリズムが変更されることになるので、「処理の内容」のうち、「処理の構造」も変更されているといえる。
また、テロップ抽出は、試行錯誤により抽出する特徴量の種類を切替えていくことにより得られるものであるが、特徴量を固定的に用いた方法では、想定する特徴量を変化させるには、プログラムを書き換えたり、システムそのものを作り直す必要があったため、テロップ抽出のための最適なアルゴリズムを発見的に得るためには、何度もシステムを作り直す必要があり、現実的にはかなり困難なものであった。これに対して、本発明の最適化装置では、リアルタイムで新たな特徴量を抽出させることが可能であり、その特徴量分布の提示も可能であるため、ユーザにより行われる試行錯誤も容易なものとなり、テロップ抽出に最適な特徴量を見出す可能性を向上させることができる。
次に、図８３を参照して、図８０の最適化装置８０１に特徴量検出部９１１と内部情報生成部９１２を設けるようにした最適化装置９０１の構成について説明する。図８３の最適化装置９０１においては、特徴量検出部８１１に替えて特徴量検出部９１１が設けられ、さらに、新たに内部情報生成部９１２が設けられた以外の構成は、図８０で示した最適化装置８０１と基本的には同様である。
次に、図８４を参照して特徴量検出部９１１の構成について説明する。特徴量検出部９１１は、図８１の特徴量検出部８１１と基本的に同様の構成であるが、特徴量選択部８２１に替えて、特徴量選択部９２１を、特徴量加工部８２２に替えて、特徴量加工部９２２を設けている。いずれも、基本的な機能は同様であるが、特徴量選択部９１１は、選択された特徴量の種類の情報を内部情報生成部９１２に供給している点が異なる。また、特徴量加工部９２２は、表示部４０３に加工内容の指示に関する画像情報を出力している点が異なる。
内部情報生成部９１２は、図６０の内部情報生成部５１１と同様のものである。また、操作部９０２は、操作部４０２と同様のものである。
次に、図８５のフローチャートを参照して、図８３の最適化装置９０１によるテロップ抽出最適化処理について説明する。尚、この処理は基本的に図８２のフローチャートを参照して説明した処理と同様であるが、内部情報生成部９１２により選択された特徴量を表示する点が異なる。
すなわち、ステップＳ３９１において、特徴量検出部９１１の特徴量抽出部４２２は、特徴量選択部９２１より２種類の特徴量が選択されたか否かを判定し、選択されない場合、その処理は、ステップＳ３９７に進む。また、例えば、特徴量選択部９２１より特徴量を選択する情報が入力されたと判定された場合、その処理は、ステップＳ３９２に進む。
ステップＳ３９２において、内部情報生成部９１２は、選択された２種類の特徴量の種類を示す情報を特徴量選択部９２１より抽出し、選択された２種類の特徴量の種類の名称を表示部４０３に表示させる。
ステップＳ３９３において、特徴量抽出部４２２は、選択された２種類の特徴量を入力信号としての画像信号より各画素毎に抽出し、処理決定部４１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号が記憶される。
ステップＳ３９４において、処理決定部４１２は、入力された２種類の特徴量に基づいて各画素毎に処理内容を決定して処理部４１３に出力する。
ステップＳ３９５において、処理部４１３は、処理決定部４１２より入力された処理内容に従ってバッファ４２１を介して入力される入力信号としての画像信号を処理し、表示部４０３に表示可能な画像信号に変換して、表示部４０３に出力して、表示させる。
ステップＳ３９６において、特徴量検出部４１１は、テロップが抽出されているとみなされているか否かを判定する。すなわち、ユーザが、表示部４０３に表示された画像を見て、テロップが抽出されていると判断されないとき、再度特徴量の組合せを変更してテロップ抽出処理をしようとするように操作部９０２を操作する。この操作に対応する操作部９０２からの操作信号が入力されたとき、その処理は、ステップＳ３９７に進む。
ステップＳ３９７において、特徴量検出部９１１の特徴量加工部９２２は、特徴量の加工が指示されたか否かを判定し、特徴量の加工の指示が無い時、その処理は、ステップＳ３９１に戻る。一方、ステップＳ３９７において、特徴量加工部９２２は、操作部９０２より特徴量の加工を指示する操作信号が入力されたと判定した場合、その処理は、ステップＳ３９８に進む。
ステップＳ３９８において、特徴量加工部９２２は、例えば、図８６で示すような加工内容の指示画面を表示する。図８６においては、図中左側には、基礎特徴量表示部９３１が設けられ、基礎となる特徴量として、今現在特徴量データベース８２３に記憶されている特徴量が表示されている。今の場合、特徴量Ａ乃至Ｃ、および、Ａ’乃至Ｃ’が表示されている。また、その右側には、加工処理内容選択欄９３２が表示されている。今の場合、ＤＲ、最大値、最小値、中央値、最小値、和、分散、閾値以上の値をとる画素数、または、線形一次結合が表示されており、閾値以上の値を取る画素数については、閾値を設定する欄９３２ａが設けられており、さらに、線形一次結合を選択する場合に選択される特徴量を選択する欄９３２ｂも設けられている。さらに、各値のスケールを設定するスケール設定欄９３３が表示される。スケール値とは、注目画素を中心としたときの領域を示すものであり、例えば、ＤＲを検出する際に、必要な画素を３画素×３画素や、５画素×５画素といったようにして示す画素の領域を示す値である。
ステップＳ３９９において、特徴量加工部９２２は、基礎となる特徴量が指定されたか否かを判定し、基礎となる特徴量を指定する情報が入力されるまでその処理を繰り返す。例えば、操作部９０２が操作されて、特徴量Ａを指示する操作信号が入力されると、入力信号としての画像信号の特徴量Ａを基礎となる特徴量が入力されたと判定し、その処理は、ステップＳ４００に進む。
ステップＳ４００において、特徴量加工部９２２は、加工処理内容が指示されたか否かを判定し、加工処理内容が指示されるまでその処理を繰り返す。例えば、操作部９０２が操作されて、ＤＲを指示する操作信号が入力されると、加工処理内容が指定されたと判定し、その処理は、ステップＳ４０１に進む。
ステップＳ４０１において、特徴量加工部９２２は、指定された特徴量を、指定された加工処理内容で加工し、特徴量データベース８２３に記憶させ、その処理は、ステップＳ３９１に戻る。
一方、ユーザの主観によりテロップが抽出されていると判定されるとき、ユーザは、操作部９０２を操作することにより処理の終了を示す操作信号が特徴量検出部４２１に入力され、このとき、処理は終了する。
すなわち、上述の処理により、ユーザは、表示されているベースとなる特徴量や、加工処理内容を見ながら操作することにより、最適な処理が行える特徴量を認識することが可能となる。さらに、その後は、ユーザにとって最適な処理を実現できる特徴量を直ぐに指定することが可能となる。また、新しい特徴量を生成する際に必要な入力情報を表示画面に従って入力することにより、ユーザが選択する特徴量の種類を増やすことができるので、多くの特徴量の組合せを効率よく設定することが可能になる。
以上の処理においては、ユーザにより指定された２種類の特徴量に応じて、処理内容が決定されて、入力信号としての画像信号からテロップを抽出するようにしているので、ユーザの操作に従い、その「処理の内容」が、ユーザにとって所望の出力信号が得られるように変更されているといえる。また、ユーザの操作に従い、特徴量の２軸（選択される２種類の特徴量）が切替えられると共に、新たな特徴量も設定される（特徴量の種類が増える）ことになり、これらの特徴量の組合せにより、処理内容（例えば、テロップとして処理するか否か）を決定するアルゴリズムが変更されることになるので、「処理の内容」のうち、「処理の構造」も変更されているといえる。
次に、図８７を参照して、図８３の最適化装置９０１の内部情報生成部９１２に替えて、内部情報生成部１０１１を設けた最適化装置１００１の構成について説明する。図８７においては、内部情報生成部９１２を内部情報生成部１０１１に替え、さらに、処理決定部４１２を図６９の処理決定部７１１に替えた以外の構成は、図８３の最適化装置９０１と同様である。
内部情報生成部１０１１は、基本的には、内部情報生成部９１２と同様のものであるが、さらに、処理決定部４１２の処理内容決定部４３２により決定された各画素に決定した処理内容の情報を読出し、表示部４０３に表示させる（図６９の内部情報生成部６１１の機能が加えられている）。
尚、操作部１００２は、操作部４０２と同様のものである。
次に、図８８のフローチャートを参照して、図８７の最適化装置１００１によるテロップ抽出最適化処理について説明する。
ステップＳ４１１において、特徴量検出部９１１のバッファ４２１が、入力信号としての画像信号を受信して記憶し、処理部４１３が、バッファ４２１に記憶されている入力信号としての画像信号をそのまま読出し、処理すること無く、そのまま表示部４０３に出力して、表示させる。
ステップＳ４１２において、処理決定部７１１の処理内容決定部７２１は、操作部１００２よりテロップと背景が指示されたか否かを判定し、テロップと背景が指示されるまでその処理を繰り返し、テロップと背景が指示されると、その処理は、ステップＳ４１３に進む。
ステップＳ４１３において、特徴量検出部９１１の特徴量抽出部４２２は、特徴量選択部９２１より２種類の特徴量が選択されたか否かを判定し、選択されない場合、その処理は、ステップＳ４２１に進む。また、例えば、特徴量選択部９２１より特徴量を選択する情報が入力されたと判定された場合、その処理は、ステップＳ４１４に進む。
ステップＳ４１４において、内部情報生成部９１２は、選択された２種類の特徴量の種類を示す情報を特徴量選択部９２１より抽出し、選択された２種類の特徴量の種類の名称を表示部４０３に表示（呈示）させる。
ステップＳ４１５において、特徴量抽出部４２２は、選択された２種類の特徴量を入力信号としての画像信号より各画素毎に抽出し、処理決定部４１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号が記憶される。
ステップＳ４１６において、処理決定部７１１は、入力された２種類の特徴量に基づいて各画素毎に処理内容を決定して処理部４１３に出力する。
ステップＳ４１７において、内部情報生成部１０１１は、処理決定部７１１に入力された２種類の特徴量と、テロップと背景に指定された画素位置の情報に基づいて、２種類の特徴量を軸とした２次元分布図を生成し、ステップＳ４１８において、その２次元分布図を表示部４０３に表示する。より詳細には、処理決定部７１１の特徴量認識部４３１が特徴量の種類を認識し、その種類を示す情報と特徴量そのものを処理内容決定部７２１に出力し、処理内容決定部７２１が、特徴量とその種類を示す情報に加えて、テロップと背景に指定された画素位置を示す情報を内部情報生成部１０１１に出力することにより、内部情報生成部１０１１が、テロップと背景に指定された画素位置を示す情報に基づいて、例えば、図７４で示すような特徴量の２次元分布図を生成する。
ステップＳ４１９において、処理部４１３は、処理決定部７１１より入力された処理内容に従ってバッファ４２１を介して入力される入力信号としての画像信号を処理し、表示部４０３に表示可能な画像信号に変換して、表示部４０３に出力して、表示させる。
ステップＳ４２０において、特徴量検出部９１１は、テロップが抽出されているとみなされているか否かを判定する。すなわち、ユーザが、表示部４０３に表示された画像を見て、テロップが抽出されていると判断されないとき、再度特徴量の組合せを変更してテロップ抽出処理をしようとするように操作部１００２を操作する。この操作に対応する操作部１００２からの操作信号が入力されたとき、その処理は、ステップＳ４２１に進む。
ステップＳ４２１において、特徴量検出部９１１の特徴量加工部９２２は、特徴量の加工が指示されたか否かを判定し、特徴量の加工の指示が無い時、その処理は、ステップＳ４１３に戻る。一方、ステップＳ４２１において、特徴量加工部９２２は、操作部１００２より特徴量の加工を指示する操作信号が入力されたと判定した場合、その処理は、ステップＳ４２２に進む。
ステップＳ４２２において、特徴量加工部９２２は、加工内容の指示画面を表示する（図８６）。
ステップＳ４２３において、特徴量加工部９２２は、基礎となる特徴量が指定されたか否かを判定し、基礎となる特徴量を指定する情報が入力されるまでその処理を繰り返す。入力信号として基礎となる特徴量が入力されたと判定した場合、その処理は、ステップＳ４２４に進む。
ステップＳ４２４において、特徴量加工部９２２は、加工処理内容が指示されたか否かを判定し、加工処理内容が指示されるまでその処理を繰り返す。加工処理内容が入力されたと判定された場合、その処理は、ステップＳ４２５に進む。
ステップＳ４２５において、特徴量加工部９２２は、指定された基礎となる特徴量を、指定された加工処理内容で加工し、特徴量データベース８２３に記憶させ、その処理は、ステップＳ４１３に戻る。
一方、ステップＳ４２０において、ユーザの主観によりテロップが抽出されていると判定されるとき、ユーザは、操作部１１０２を操作することにより処理の終了を示す操作信号が特徴量検出部４２１に入力され、このとき、処理は終了する。
すなわち、上述の処理により、ユーザが、表示部４０３に表示される画像を見て、テロップが抽出されていると判断できるまで、ステップＳ４１１乃至Ｓ４２５の処理が繰り返されることにより、ユーザにとって最適な特徴量の組合せを設定し、入力信号としての画像信号からテロップを抽出させるようにすることができ、ユーザが選択可能な特徴量の種類を増やすことにより、さらに、多くの特徴量の組合せを設定することが可能となり、ユーザにとって最適な処理を実行させるようにすることができる。また、既存の特徴量を加工して新しい特徴量を生成する際に必要な加工指示画面を表示するようにしたので、ユーザは、その表示に従って効率よく加工処理を実行することができる。また、その際、画素の特徴量上のテロップと背景の分離状態を見ながら特徴量を変化させながら、繰り返しテロップの抽出処理を実行することができるので、精度の高いテロップ抽出が可能な特徴量を容易に選択することが可能となる。
次に、図８９を参照して、図５５の最適化装置４０１の特徴量検出部４１１、処理決定部４１２、および操作部４０２に替えて、特徴量検出部１１１１、処理決定部１１１２、および、操作部１１０２を設けたときの最適化装置１１０１の構成について説明する。図８９においては、特徴量検出部１１１１、処理決定部１１１２、および、操作部１１０２が新たに設けられた以外の構成については、図５５の最適化装置４０１と同様である。
特徴量検出部１１１１は、図５６の特徴量検出部４１１の構成のうち、特徴量選択部４２３が設けられておらず、特徴量抽出部４２２が予め設定された２種類の特徴量を抽出する以外の構成は同様である。
処理決定部１１１２は、処理内容データベース４３３に記憶されたＬＵＴが更新される履歴情報を記憶し、その履歴情報に対応してＬＵＴを変更する。尚、処理決定部１１１２の構成については、図９０を参照して後述する。
尚、操作部１１０２は、操作部４０２と同様のものである。
ここで、図９０を参照して、処理決定部１１１２の構成について説明する。図９０の処理決定部１１１２は、図５７の処理決定部４１２の処理内容決定部４３２に替えて、処理内容決定部１１２１を設け、さらに、履歴メモリ１１２２が追加されている点が以外は処理決定部４１２と同様の構成である。
処理内容決定部１１２１は、処理内容データベース４３３に記憶されたＬＵＴを変更させる操作の履歴情報を履歴メモリ１１２２に記憶させ、履歴情報に基づいてＬＵＴを変更させる。これ以外の機能については、図５７の処理決定部４１２の処理内容決定部４３２と同様のものである。
次に、図９１のフローチャートを参照して、図８９の最適化装置１１０１によるテロップ抽出最適化処理について説明する。
ステップＳ４３１において、特徴量検出部１１１１の特徴量抽出部４１１は、入力信号としての画像信号より所定の２種類の特徴量を抽出し、処理決定部１１１２に出力する。このとき、バッファ４２１には、入力信号としての画像信号を記憶する。
ステップＳ４３２において、処理決定部１１１２の処理内容決定部１１２１は、特徴量認識部４３１より入力される特徴量の種類と特徴量に基づいて、処理内容データベース４３３に記憶されたＬＵＴを参照して、各画素毎に処理内容を決定し処理部４１３に出力する。
ステップＳ４３３において、処理部４１３は、処理決定部１１１２より入力された処理内容に従って各画素を処理して、表示部４０３に出力して、表示させる。
ステップＳ４３４において、処理決定部１１１２の処理内容決定部１１２１は、ＬＵＴを変更する操作信号が操作部１１０２より入力されたか否かを判定する。すなわち、ユーザは、表示部４０３に表示された画像をみて、ユーザの好みの処理がなされているかを主観的に判断し、その判断結果に基づいて、ユーザにより操作部１１０２が操作され、対応する操作信号が入力されることになる。例えば、ユーザの好みに合う処理がなされていない場合（ユーザの好みの画像が表示部４０３に表示されていない場合）、処理決定部１１２１の処理内容データベース４３３のＬＵＴを変更するために、ＬＵＴの変更の要求が入力されることになる。
ステップＳ４３４において、ＬＵＴの変更を要求する操作信号が入力された、すなわち、ユーザの好みの処理がなされていない場合、その処理は、ステップＳ４３５に進む。
ステップＳ４３５において、ＬＵＴの変更処理をオートＬＵＴ変更処理により実行することができるか否かが判定される。ここで、ＬＵＴの変更処理は、マニュアルＬＵＴ変更処理とオートＬＵＴ変更処理が存在する。オートＬＵＴ変更処理が可能であるか否かの判定の詳細については後述する。
例えば、ステップＳ４３５において、オートＬＵＴ変更処理が可能ではないと判定された場合、その処理は、ステップＳ４３６に進み、マニュアルＬＵＴ変更処理が実行される。
ここで、ＬＵＴの変更処理の説明にあたり、ＬＵＴの詳細について説明しておく。ＬＵＴは、図９２で示すように。２つの特徴量の組合せ毎に決定されている処理内容を示したテーブルである。図９２においては、２種類の特徴量として特徴量Ａ，Ｂの場合について示されており、この例では、各特徴量が８段階（合計６４クラス）で分類される例が示されている。尚、図９２においては、特徴量が０乃至１．０の値に正規化されたものであるものとし、特徴量Ａの値Ｖ_ａについては、左から０≦Ｖ_ａ＜１／８、１／８≦Ｖ_ａ＜２／８、２／８≦Ｖ_ａ＜３／８、３／８≦Ｖ_ａ＜４／８、４／８≦Ｖ_ａ＜５／８、５／８≦Ｖ_ａ＜６／８、６／８≦Ｖ_ａ＜７／８、７／８≦Ｖ_ａ≦８／８、特徴量Ｂの値Ｖ_ｂについては、上から０≦Ｖ_ｂ＜１／８、１／８≦Ｖ_ｂ＜２／８、２／８≦Ｖ_ｂ＜３／８、３／８≦Ｖ_ｂ＜４／８、４／８≦Ｖ_ｂ＜５／８、５／８≦Ｖ_ｂ＜６／８、６／８≦Ｖ_ｂ＜７／８、７／８≦Ｖ_ｂ≦８／８の範囲に分離されている。各処理内容は、図中では、それぞれの範囲の特徴量の組合せによりＸ，Ｙ，Ｚの３種類に分類されており、図９２の場合、０≦Ｖ_ａ≦３／８、かつ、０≦Ｖ_ｂ≦３／８の範囲では処理内容Ｘ、４／８≦Ｖ_ａ＜６／８、または、４／８≦Ｖ_ａ＜６／８の範囲では処理内容Ｙ、それ以外の範囲では、処理内容Ｚとなっている。また、処理内容は、様々な指定ができる。例えば、図９３乃至図９５で示すように、注目画素に対して、処理部４１３で処理に用いられる予測タップを指定することができる。
すなわち、図９３においては、処理内容Ｘを示しており、注目画素をＰ０として、空間的にｘ方向に注目画素Ｐ０を中心として、フィルタタップＰ１，Ｐ２を設定し、ｙ方向にも同様に注目画素Ｐ０を中心として、タップＰ３，Ｐ４を設定し、さらに、時間的に注目画素Ｐ０を中心として、その前後にタップＰ５，Ｐ６（例えば、同じ画素位置の１フレーム前のタップＰ６と１フレーム後のＰ５）を設定している。すなわち、処理内容Ｘは、いわゆる時空間フィルタの処理である。
また、図９４においては、処理内容Ｙを示しており、図９３の時空間フィルタからタップＰ３，Ｐ４に替えて、時間方向にタップＰ６よりもさらに前のタイミングのタップＰ１２と、タップＰ５よりもさらに後のタップＰ１１を設定している。すなわち、処理内容Ｙは、いわゆる時間フィルタの処理である。
さらに、図９５においては、処理内容Ｚを示しており、図９３の時空間フィルタからタップＰ５，Ｐ６に替えて、ｘ方向にタップＰ１よりもさらに注目画素よりも離れた位置にタップＰ２１と、タップＰ２よりもさらに注目画素よりは離れた位置にタップＰ２２を設定している。すなわち、処理内容Ｚは、いわゆる空間フィルタの処理である。
尚、処理内容は、その種類も図９２の例のように３種類に限られるものではなく、当然のことながらそれ以外の数の種類に分けても良く、例えば、全ての画素を白色か、または、黒色に分けるような２値化処理をさせるようにしても良い。また、この２値化処理は、例えば、上述の例のように、テロップ部として抽出する画素であるか否かの２値化処理を指定するものであってもよい。逆に、処理内容の種類が、３種類以上であってもよい。
次に、図９６のフローチャートを参照して、図９１のステップＳ４３６におけるマニュアルＬＵＴ変更処理について説明する。
ステップＳ４４１において、処理内容決定部１１２１は、操作部１１０２より操作信号として、画素位置が指定され、処理内容が指定されたか否かを判定し、操作部１１０２より操作信号として、画素位置が指定され、処理内容が指定されるまでその処理を繰り返す。すなわち、例えば、図９７で示す画面が表示部４０３に表示されていた場合、ユーザは、表示部４０３に表示された画像上でポインタ１１３１を操作して、処理の変更を加えたい画素位置で所定の処理を実行して、例えば、図９７で示すようにドロップダウンリスト１１３２を表示させ、さらに、ドロップダウンリスト１１３２に表示された処理内容Ｘ，Ｙ，Ｚのいずれかを指定することができる。ステップＳ４４１においては、この指定がなされたとき、画素位置が指定され、処理内容が指定されたと判断され、その処理は、ステップＳ４４２に進む。今の場合、図９７で示すように、画素位置Ｐ４１が選択され、処理内容Ｘが選択されている。
ステップＳ４４２において、処理内容決定部１１２１は、指定された画素位置から対応する２種類の特徴量の組合せを読み出す。より詳細には、処理内容決定部１１２１は、特徴量検出部１１１１により検出された特徴量のうち、指定された画素に対応する２種類の特徴量の組合せを読み出す。
ステップＳ４４３において、処理内容決定部１１２１は、対応する特徴量の組合せに該当する処理内容を、ステップＳ４４１において指定された処理内容に変更する。
ステップＳ４４４において、処理内容決定部１１２１は、変更された画素位置と、処理内容を履歴メモリ１１２２に記憶させる。
ステップＳ４４５において、処理内容決定部１１２１は、他にＬＵＴの変更が有るか無いかを判定し、まだ、引き続きＬＵＴを変更させる処理がされると判定した場合、すなわち、操作部１１０２よりその他のＬＵＴの変更を指示する操作信号が入力された場合、その処理は、ステップＳ４４１に戻り、引き続きＬＵＴを変更させる処理がないと判定した場合、すなわち、操作部１１０２よりＬＵＴの変更の終了を示す操作信号が入力された場合、その処理は終了する。
以上のマニュアルＬＵＴ変更処理では、ＬＵＴの変更が次のように行われる。すなわち、ステップＳ４４２において、得られた画素位置Ｐ４１の画素の特徴量が、例えば、（Ｖ_ａ，Ｖ_ｂ）＝（０．５２，０．２７）の場合、図９８中ＬＵＴの（左からの位置，上からの位置）＝（５，３）の位置（ＬＵＴ上の位置については、以下においても同様に示す）については、図９８においては、処理内容Ｙが設定されている。いま、ステップＳ４４３において、図９７で示すように、処理内容がＸに変更されたとすると、図９９で示すように、ステップＳ４４３において、ＬＵＴの（５，３）の位置の処理が処理内容Ｙから処理内容Ｘに変更される。
図９６のマニュアルＬＵＴ変更処理が終了した後、その処理は、図９１のフローチャートのステップＳ４３２の処理に戻り、それ以降の処理が繰り返されることになる。この場合、ＬＵＴが上述のように変更されているときは、２種類の特徴量の組合せが、図９９で示すように、ＬＵＴの（５，３）となる画素では、処理内容Ｙに対応する処理が実行されることになる。結果として、図９７で示した画像のうち、画素位置Ｐ４１と同様の特徴量を有する画素、すなわち、ＬＵＴの（５，３）に属する画素に対応する処理が変更され、例えば、図１００に示すように、その部分に図９７における場合と異なる処理が施された画像が表示される。尚、図１００では、図９７の画素位置Ｐ４１の画素と同様の特徴量を有する画素が白色になった例を示している。
図９６のフローチャートを参照して説明した処理の例では、選択された画素の特徴量の組合せにより指定されるＬＵＴ（上の処理内容）だけが変更される例について説明したが、ＬＵＴの変更はこれに限るものではない。すなわち、例えば、ＬＵＴ上で変更が指定された位置から見て、近い部分を全て変更された処理内容とするようにしても良い。すなわち、例えば、図１０１で示すように、ＬＵＴの初期状態として、全ての処理内容がＺとして設定されていた場合（ＬＵＴの初期状態は、いわゆるデフォルトの設定であって、全ての処理内容がＺでない状態であっても良い）、図９６のフローチャートの処理により、図１０２Ａで示すように、ＬＵＴ上の（４，２）の位置の処理内容がＸに、（５，２）の位置の処理内容がＹに変更されたとき、図１０２Ｂで示すように、変更されたＬＵＴ上の位置から近い領域をＸまたはＹに変化させるようにしても良い。すなわち、図１０２Ｂの場合、ＬＵＴ上の全ての位置で、ＬＵＴ上の（４，２）の位置からの距離と、（５，２）の位置からの距離を比較し、近い位置の処理内容に全てが変更されている。結果として、図１０２Ｂでは、左半分の領域が処理内容Ｘにされ、右半分の領域が処理内容Ｙにされている。
同様にして、図１０３Ａで示すように、ＬＵＴ上の（４，２），（７，７）の位置の特徴量の組合せの処理内容がＸに、ＬＵＴ上の（５，２），（４，５）の位置の特徴量の組合せの処理内容がＹに変更された場合、図１０３Ｂで示すように、ＬＵＴ上の（１，１），（２，１），（３，１），（４，１），（１，２），（２，２），（３，２），（４，２），（１，３），（２，３），（３，３），（４，３），（５，７），（５，８），（６，６），（６，７），（６，８），（７，５），（７，６），（７，７），（７，８），（８，４），（８，５），（８，６），（８，７），（８，８）では、処理内容がＸとなり、ＬＵＴ上のそれ以外の位置では、処理内容がＹとなる。
さらに、同様にして、図１０４Ａで示すように、ＬＵＴ上の（４，２），（７，７）の位置の特徴量の組合せの処理内容がＸに、ＬＵＴ上の（２，３），（５，２），（４，５），（７，４）の位置の特徴量の組合せの処理内容がＹに変更された場合、図１０４Ｂで示すように、ＬＵＴ上の（３，１），（３，２），（４，１），（４，２），（４，３），（５，７），（５，８），（６，６），（６，７），（６，８），（７，６），（７，７），（７，８），（８，６），（８，７），（８，８）では、処理内容がＸとなり、ＬＵＴ上のそれ以外の位置では、処理内容がＹとなる。
このようにＬＵＴを変更させるようにすることで、１回の処理で複数の特徴量の組合せの処理内容を、比較的類似した特徴量の組合せで、一括して変更させることが可能となる。
ここで、図９１のフローチャートの説明に戻る。
ステップＳ４３５において、オートＬＵＴ変更処理が可能であると判定された場合、ステップＳ４３７に進み、オートＬＵＴ変更処理が実行される。
ここで、図１０５のフローチャートを参照して、オートＬＵＴ変更処理について説明する。ステップＳ４６１において、処理内容決定部１１２１は、履歴メモリ１１２２に記憶されている更新履歴の分布の各処理内容毎に存在する群を求める。すなわち、履歴メモリ１１２２には、図１０６で示すように、例えば、上述のマニュアルＬＵＴ変更処理により変更が指定されたＬＵＴ上の位置と、指定された処理内容が記録されたＬＵＴとは異なる履歴テーブルを記憶している。図１０６で示す履歴テーブルでは、ＬＵＴ上の（３，３），（８，３），（２，５），（６，６）の処理内容に変更が指示されたことが示されており、それぞれ、処理内容Ｘ，Ｘ，Ｘ、およびＹが指示されたことが示されている。
ここで、処理内容毎の群とは、履歴テーブル上の各処理内容が所定の密度以上に存在し、所定の面積以上となっている領域を指す。
例えば、群が存在すると、図１０７で示すように、履歴テーブル上に群１１５１が形成され、処理内容決定部１１２１は、この群１１５１を求める。尚、図１０７においては、群１１５１は、処理内容Ｘの群であり、その他の処理内容毎にも群が求められる。
また、群は、マニュアルＬＵＴの処理がある程度の回数実行されて、更新履歴が履歴メモリ１１２２に記憶されていて、かつ、ある程度、ＬＵＴ上のまとまった位置で、同じ処理内容への変更処理が実行されていないと存在しない。尚、図９１のステップＳ４３５では、この処理内容の群が存在するか否かによって、オートＬＵＴ変更処理が可能であるかが判定される。すなわち、処理内容毎の群が存在する場合には、オートＬＵＴ変更処理が可能であると判定され、存在しない場合には、オートＬＵＴ変更処理が可能ではないと判定される。
ステップＳ４６２において、処理内容決定部１１２１は、ステップＳ４６１で求められた群の重心位置を検出する。
すなわち、例えば、図１０７の場合、群１１５１が形成されているが、その重心位置は、処理内容Ｘが指定された全ての履歴テーブル上の位置から求められる。図１０７の場合、群１１６１内の処理内容Ｘが指定された全ての履歴テーブル上の位置の重心１１６１が求められる。
ステップＳ４６３において、処理内容決定部１１２１は、群の重心位置から所定の範囲内に存在する履歴テーブル上の位置の処理内容に対応して、それぞれの画素の特徴量の組合せに対応するＬＵＴ上のマス目の処理内容を、群を構成する画素の特徴量の組合せに対応する履歴テーブル上のマス目の処理内容に変更し、その処理は、終了する。すなわち、図１０７において、重心位置１１６１を中心とする所定の半径の円の範囲である範囲１１６２のなかに存在する履歴テーブル上の位置に対応するＬＵＴ上の全ての処理内容が、群を構成する処理内容Ｘに変更される。
すなわち、例えば、図１０７で示すように履歴テーブルが、図１０８に示すようなＬＵＴが構成されている状態で生成されたものであるとすると、図１０７で示すように、重心１１６１から所定の距離内の範囲１１６２内の履歴テーブル上の（２，３）、（３，４）は、群を構成する処理内容Ｘとは異なる処理内容Ｙが履歴情報として記憶されているので、履歴テーブル上の（２，３）、（３，４）に対応するＬＵＴ上の（２，３）、（３，４）の処理内容をＸに変更する。従って、図１０８に示すようにＬＵＴが構成されていた場合、処理内容決定部１１２１は、ＬＵＴ上の（２，３）が、処理内容がＹであるので、図１０９で示すように、ＬＵＴ上の（２，３）を処理内容をＸに変更する。また、図１０８の場合、処理内容決定部１１２１は、ＬＵＴ上の（３，４）が、処理内容がＸであるので、図１０９で示すように、ＬＵＴ上の（３，４）を、そのままの状態に維持する。
この処理により、ＬＵＴ上の処理内容（マス目の情報）は、自動的に変更される。尚、この処理は、ユーザによりＬＵＴの変更処理が指示されるタイミングのみならず、所定の時間間隔で繰り返し実行されるようにしても良い。
ここで、図９１のフローチャートの説明に戻る。
ステップＳ４３４において、ＬＵＴの変更が指示されていないと判定された場合、すなわち、ユーザが、表示部４０３に表示された画像を見て、ユーザの好みの画像が生成されていると判定された場合、その処理は終了する。
以上の処理により、ユーザの操作に従い、ＬＵＴの変更を繰り返すことにより、ＬＵＴの各マス目に登録される処理内容を変更することで、ユーザの好みの画像が生成させるようにすることができる。
以上においては、ユーザの操作に対応して、ＬＵＴ上の処理内容が変更されるので、「処理の内容」が変更されていると言える。また、ユーザの処理に応じて、処理内容毎の群が求められるか否かにより、群の重心位置からＬＵＴの処理内容が変更される処理体系か、または、図１０１乃至図１０４で示したように、指定されたＬＵＴ上の位置の処理内容に対応して、その他のＬＵＴ上の位置のＬＵＴ上の処理内容が変更されるという処理体系かの何れかにに変更される。すなわち、ＬＵＴの変更アルゴリズムが変更されるので、ユーザの操作に対応して、「処理の内容」のうちの「処理の構造」も変更しているといえる。
次に、図１１０を参照して、図８９の最適化装置１１０１の処理決定部１１１２に替えて、処理決定部１１８１を設け、新たに内部情報生成部１１８２を設けたときの最適化装置１１０１のその他の構成例について説明する。図１１０においては、処理決定部１１８１と内部情報生成部１１８２が新たに設けられた以外の構成については、図８９の最適化装置１１０１と同様である。
処理決定部１１８１は、処理内容データベース１１９１（図１１１）に記憶されたＬＵＴが更新される履歴情報を記憶し、その履歴情報に対応してＬＵＴを変更すると共に、処理内容データベース１１９１に記憶されているＬＵＴを内部情報生成部１１８２に供給する。
内部情報生成部１１８２は、処理内容データベース１１９１に記憶されたＬＵＴを読出し、表示部４０３で表示可能な情報に変換して、表示部４０３に出力し、表示させる。
次に、図１１１を参照して、処理決定部１１８１の構成について説明する。図１１１の処理決定部１１８１は、図９０の処理内容データベース４３３に替えて、処理内容データベース１１９１を設けている点が以外は処理決定部１１１２と同様の構成である。
処理内容データベース１１９１は、ＬＵＴ記憶すると共に、必要に応じてＬＵＴの情報を内部情報生成部１１８２に供給する。これ以外の機能については、図９０の処理内容データベース４３３と同様のものである。
次に、図１１２のフローチャートを参照して、図１１０の最適化装置１１０１によるテロップ抽出最適化処理について説明する。尚、図１１２のテロップ抽出最適化処理は、図９１のフローチャートを参照して説明した処理と、基本的には同様であり、図１１２のステップＳ４７１乃至Ｓ４７３、および、Ｓ４７５乃至Ｓ４７８の処理は、図９１のステップＳ４３１乃至Ｓ４３７に対応する処理であり、ステップＳ４７３の処理の後、ステップＳ４７４において、内部情報生成部１１８２は、処理決定部１１８１の処理内容データベース１１９１のＬＵＴを読出し、表示部４０３で表示可能な画像信号に変換して表示部４０３に出力し、表示（呈示）させ、ステップＳ４７５に進み、それ以降の処理が繰り返される。
このような処理により、ＬＵＴが表示（呈示）されるので、表示部４０３に表示された画像から入力信号としての画像信号に施された処理と、ＬＵＴの変化認識しながらＬＵＴを変更させることが可能となる。
尚、以上においては、マニュアルＬＵＴ変更処理で、表示部４０３に表示されたＬＵＴに登録された処理内容で処理された画像上の画素と処理内容を指定することによりＬＵＴを変更する例について説明してきたが、内部情報生成部１１８２が、処理内容データベース１１９１に記憶されているＬＵＴを読み出して、例えば、操作部１１０２でＬＵＴ上の処理内容を直接操作可能な状態で表示部４０３に表示させ、ＬＵＴ上の処理内容を直接変更できるようにしても良い。
ここで、図１１３のフローチャートを参照して、図１１０の最適化装置１１０１が上述のＬＵＴ上の値を直接変更させるマニュアルＬＵＴ変更処理について説明する。
ステップＳ４８１において、処理内容決定部１１２１は、ＬＵＴ上の位置が指定されたか否かを判定し、指定されるまでその処理を繰り返す。例えば、図１１４で示すように、表示部４０３に表示されたＬＵＴ上の（５，３）の位置の処理内容がＹとして設定されている位置が指定されると、ＬＵＴ上の位置が指定されたと判定し、その処理は、ステップＳ４８２に進む。
ステップＳ４８２において、内部情報生成部１１８２は、指定されたＬＵＴ上の位置を示す表示を表示部４０３にする。すなわち、図１１４の場合、位置表示枠１１９２が、指定された（５，３）に表示される。
ステップＳ４８３において、処理内容決定部１１２１は、処理内容が指定されたか否かを判定し、処理内容が指定されるまでその処理を繰り返す。例えば、図１１４で示すように、ポインタ１１９１が操作された位置で、（例えば、操作部１１０２としてのマウスの右クリックなどにより）ドロップダウンリスト１１９３を表示させて、その中に表示される処理内容Ｘ，Ｙ，Ｚのいずれかを、ユーザが操作部１１０２を操作することにより指定すると処理内容が指定されたと判定し、その処理は、ステップＳ４８４に進む。
ステップＳ４８４において、処理内容決定部１１２１は、処理内容を指定された処理内容に変更して処理を終了する。すなわち、図１１４の場合、ドロップダウンリスト１１９３に表示された「Ｘ」が選択されているので、図１１５で示すように、ＬＵＴ上の（５，３）は、処理内容がＹからＸに変更されることになる。
以上の処理により、ＬＵＴ上に設定された処理内容を直接変更させるようにすることができるので、ＬＵＴに登録された処理内容で処理された画像を見ながら、ＬＵＴを操作することで、ユーザの好みとなる処理内容を容易に設定することが可能となる。
図１１０の最適化装置１１０１においては、マニュアルＬＵＴ変更処理で、ユーザの操作により指定されるＬＵＴ上のマス目上の処理内容が変更されるので、ユーザの操作により「処理の内容」が変更されているといえる。また、履歴メモリ１１２２に記憶される変更履歴がある程度蓄積され、群が検出されると、ＬＵＴを変更するアルゴリズムがマニュアルＬＵＴ変更処理からオートＬＵＴ変更処理へと変更されるので、「処理の構造」が変更されている。
さらに、処理決定部１１１２の処理に関する内部情報としてＬＵＴが表示されると共に、表示されたＬＵＴを見ながらＬＵＴ上の処理内容を変更させることができるので、ユーザは、ＬＵＴ上の内容と表示部４０３に表示をする画像との対応関係を認識することが可能となる。
次に、図１１６を参照して、図５５の最適化装置４０１の特徴量検出部４１１と処理部４１３に替えて、特徴量検出部１１１１と処理部４１３を設けるようにした他の実施例として最適化装置１２０１の構成について説明する。
特徴量検出部１１１１は、図８９の最適化装置１１０１の構成と同様のものである。
処理部１２１１は、処理決定部４１３より入力された処理内容の情報に基づいて、バッファ４２１より読み出される入力信号を、例えば、学習により得られた係数セットを用いてマッピング処理し、表示部４０３に出力し、表示する。処理決定部４１３は、操作部１２０２からの操作信号に基づいて、係数セットの学習方法を変更する。尚、操作部１２０２は、操作部４０２と同様のものである。
次に、図１１７を参照して、処理部１２１１の構成について説明する。
学習装置１２２１は、特徴量検出部１１１１のバッファ４２１より読み出される入力信号としての画像信号に基づいて、マッピング処理部１２２２のマッピング処理に必要な係数セットを処理内容毎に、最小Ｎ乗誤差法により学習し、係数メモリ１２３７に記憶させる。また、学習装置１２２１は、操作部１２０２より入力される操作信号に基づいて、最小Ｎ乗誤差法の指数Ｎの値を変更させて係数セットを学習する。
マッピング処理部１２２２は、処理決定部４１２より入力される処理内容に基づいて、学習装置１２２１の係数メモリ１２３７から対応する係数セットを読出し、特徴量検出部１１１１のバッファ４２１より読み出される入力信号としての画像信号をマッピング処理し表示部４０３に出力して表示させる。
次に、図１１８を参照して学習装置１２２１の詳細な構成について説明する。教師データ生成部１２３１は、図３０の教師データ生成部２３１と同様のものであり、学習用データとしての入力信号より教師データを生成し、最小Ｎ乗誤差法係数演算部１２３６に出力する。生徒データ生成部１２３２は、図３０の生徒データ生成部２３２と同様のものであり、学習用データとしての入力信号より教師データを生成し、特徴量抽出部１２３３、および、予測タップ抽出部１２３５に出力する。
特徴量抽出部１２３３は、特徴量検出部１１１１の特徴量抽出部４２２と同様のものであり、生徒データから特徴量を抽出して処理決定部１２３４に出力する。処理決定部１２３４は、処理決定部４１２と同様のものであり、特徴量検出部１２３３より入力された特徴量に基づいて処理内容を決定し、最小Ｎ乗誤差法係数演算部１２３６に出力する。予測タップ抽出部１２３５は、予測タップ抽出部２３３と同様のものであり、教師データを順次注目画素として各注目画素について予測タップとなる画素を生徒データから抽出し、最小Ｎ乗誤差法係数演算部１２３６に出力する。
最小Ｎ乗誤差法係数演算部１２３６は、基本的な構成と処理内容において、図３０の最小Ｎ乗誤差法係数演算部２３４と同様であり、操作部１２０２より入力される最小Ｎ乗法誤差法係数演算処理に必要な、指数Ｎの値を指定する情報に基づいて、予測タップ抽出部１２３５より入力された予測タップと教師データから、最小Ｎ乗誤差法により係数セットを演算し、係数メモリ１２３７に出力し、上書き記憶させる。但し、図１１８の最小Ｎ乗誤差法係数演算部１２３６は、処理決定部１２３４より入力される処理内容毎に係数セットを生成する点が、図３０の最小Ｎ乗誤差法係数演算部２３４と異なる。係数メモリ１２３７は、処理内容毎に最小Ｎ乗誤差法係数演算部１２３６より出力されてくる係数セットを処理内容毎に記憶する。図１１８中では、処理内容毎に係数セットＡ乃至Ｎが記憶されていることが示されている。
次に、図１１９を参照して、マッピング処理部１２２２の構成について説明する。タップ抽出部２５１は、図３１のマッピング処理部２２２と同様のものであり、注目画素について、バッファ４２１から供給される入力信号から予測タップを抽出し、積和演算部１２５１に出力する。積和演算部１２５１は、図３１の積和演算部２５２と同様のものであり、予測タップ抽出部２５１より入力されてくる、抽出された予測タップ（画素）の値と、学習装置１２２１の係数メモリ１２３７に記憶されている係数セットを用いて積和演算処理を実行し、注目画素を生成し、これらを全画素に施して出力信号として表示部４０３に出力し、表示させる。但し、積和演算部１２５１は、積和演算処理において、係数メモリ１２３７に記憶されている係数セットＡ乃至Ｎのうち、処理決定部４１２から供給される処理内容に対応した係数セットを用いるようになっている。
次に、図１２０のフローチャートを参照して、図１１６の最適化装置１２０１による画像最適化処理における学習処理について説明する。
ステップＳ５０１において、ユーザが操作部２０２を操作したかどうかが判定され、操作していないと判定された場合、ステップＳ５０１に戻る。また、ステップＳ５０１において、操作部１２０２が操作されたと判定された場合、ステップＳ５０２に進む。
ステップＳ５０２において、学習装置１２２１の教師データ生成部１２３１は、入力信号より教師データを生成して最小Ｎ乗誤差法係数演算部１２３６に出力すると共に、生徒データ生成部１２３２は、入力信号より生徒データを生成し、特徴量抽出部１２３３、および、予測タップ抽出部１２３５に出力し、ステップＳ５０３に進む。
尚、生徒データと教師データを生成するのに、用いるデータ（以下、適宜、学習用データという）としては、例えば、現在から、所定時間だけ過去に遡った時点までに入力された入力信号を採用することができる。また、学習用データとしては、入力信号を用いるのではなく、予め専用のデータを記憶しておくことも可能である。
ステップＳ５０３において、特徴量抽出部１２３３は、注目画素（教師データ）に対応する位置の生徒データより特徴量を抽出し、処理決定部１２３４に出力する。
ステップＳ５０４において、処理決定部１２３４は、特徴量抽出部１２３３より入力された特徴量に基づいて注目画素についての処理内容を決定し、最小Ｎ乗誤差法係数演算部１２３６に出力する。例えば、処理決定部１２３４は、特徴量抽出部１２３３より１または複数の特徴量をベクトル量子化し、その量子化結果を処理内容の情報とするようにしてもよい。但し、この場合、図８９の処理決定部１１１２のようにＬＵＴなどは記憶されていない。
ステップＳ５０５において、予測タップ抽出部１２３５は、各教師データを注目画素として、その各注目画素について生徒データ生成部１２３２より入力された生徒データより予測タップを生成し、最小Ｎ乗誤差法係数演算部１２３４に出力して、ステップＳ５０６に進む。
ステップＳ５０６において、最小Ｎ乗誤差法係数演算部１２３６は、操作部２０２よりリカーシブ法（第２の方法）による最小Ｎ乗誤差法で係数セットを演算することを指定する操作信号が入力されたか否かを判定し、例えば、ユーザにより操作部１２０２が操作されて、リカーシブ法ではない、すなわち、直接法（第１の方法）が指定されたと判定された場合、ステップＳ５０７に進み、式（５０）の重みα_Ｓを指定する（指数Ｎを指定する）係数ａ，ｂ，ｃが入力されたか否かが判定され、入力されるまでその処理が繰り返され、例えば、ユーザによって操作部１２０２が操作され、係数ａ，ｂ，ｃを指定する値が入力されたと判定された場合、その処理は、ステップＳ５０７に進む。
ステップＳ５０７において、最小Ｎ乗誤差法係数演算部１２３６は、重みα_Ｓが入力された係数ａ，ｂ，ｃの状態で、上述した式（４８）を最小にするという問題を実質的には最小２乗誤差法により解くことにより、重みα_Ｓに対応する指数Ｎの最小Ｎ乗誤差法による解としての予測係数ｗ_１，ｗ_２，ｗ_３…，ｗ_Ｍ、すなわち、係数セットを、処理決定部１２３４より入力された処理内容毎に求めて係数メモリ１２３７に記憶させ、ステップＳ５０１に戻る。
一方、ステップＳ５０６において、リカーシブ法が選択されたと判定された場合、その処理は、ステップＳ５０９に進む。
ステップＳ５０９において、最小Ｎ乗誤差法係数演算部１２３６は、指数Ｎを指定する情報が入力されたか否かを判定し、指数Ｎが入力されるまでその処理を繰り返し、例えば、ユーザが操作部１２０２を操作することにより指数Ｎを指定する情報が入力されたと判定した場合、その処理は、ステップＳ５１０に進む。
ステップＳ５１０において、最小Ｎ乗誤差法係数演算部１２３６は、基礎となる最小２乗誤差法による解法により係数セットを求める。ステップＳ５１１において、最小Ｎ乗誤差法係数演算部１２３６は、最小２乗誤差法により求められた係数セットから得られる予測値を用い、式（５１）乃至式（５４）を参照して説明したように再帰的に指数Ｎに、操作部１２０２から入力された対応する最小Ｎ乗誤差法による係数セットを、処理決定部１２３４より入力された処理内容毎に求め、係数メモリ１２３７に記憶させ、ステップＳ５０１に戻る。
以上の処理により、処理内容毎に、係数セットが係数メモリ１２３７に学習されていく。
次に、図１２１のフローチャートを参照して、図１１６の最適化装置１２０１による画像最適化処理におけるマッピング処理について説明する。
ステップＳ５２１において、特徴量検出部１１１１は、入力信号としての画像信号より注目画素（出力信号）に対応する位置の入力信号の画素の特徴量を検出し、検出した特徴量を処理決定部４１２に出力する。
ステップＳ５２２において、処理決定部４１２は、特徴量検出部１１１１より入力された特徴量に基づいて、処理内容を決定し、処理部１２１１に出力する。処理決定部４１２の処理は、図１１８の処理決定部１２３４と同一の処理を行うことにより処理内容を決定する。従って、上述のように、処理決定部１２３４が、特徴量抽出部１２３３より１または複数の特徴量をベクトル量子化し、その量子化結果を処理内容の情報とするようにする場合、図１１６の処理部４１２には、図８９の処理決定部１１１２のようなＬＵＴなどは記憶されないことになる。
ステップＳ５２３において、処理部１２１１のマッピング処理部１２２２のタップ抽出部２５１は、現在の入力信号としての画像フレームに対応する出力信号としての画像のフレームを注目フレームとして、その注目フレームの画素のうち、例えば、ラスタスキャン順で、まだ注目画素としていないものを注目画素として、その注目画素について、入力信号より予測タップを抽出し、積和演算部１２５１に出力する。
ステップＳ５２４において、マッピング処理部１２２２の積和演算部１２５１は、処理決定部４１２より入力される処理内容に対応する係数セットを学習装置１２２１の係数メモリ１２３７より読み出す。
そして、ステップＳ５２５において、積和演算部１２５１は、学習装置１２２１の係数メモリ１２３７より読み出している、処理内容に対応した予測係数を用いて、式（３９）に従いタップ抽出部２５１より入力された予測タップと係数メモリ１２３７から読み出した係数セットとの積和演算処理を実行する。これにより、積和演算部１２５１は、注目画素の画素値（予測値）を求める。その後、ステップＳ５２６に進み、タップ抽出部２５１は、注目フレームの全ての画素を注目画素としたかどうかを判定し、まだしていないと判定した場合、ステップＳ５２１に戻り、注目フレームのラスタスキャン順でまだ注目画素としていない画素を新たに注目画素として、以下、同様の処理を繰り返す。
また、ステップＳ５２６において、注目フレームの全ての画素を注目画素としたと判定された場合、ステップＳ５２７に進み、表示部４０３は、積和演算部１２５１で求められた画素からなる注目フレームを表示する。
そして、ステップＳ５２１に戻り、特徴量検出部１１１１は、入力信号としての画像信号より注目画素（出力信号）に対応する位置の入力信号の画素の特徴量を検出し、次のフレームを新たに注目フレームとして、以下、同様の処理を繰り返す。
尚、図１１６の最適化装置１２０１では、ユーザが操作部１２０２を操作することにより指数Ｎが変更され（直接法においては、指数Ｎを指定する係数ａ，ｂ，ｃが変更され、また、リカーシブ法においては、指数Ｎそのものが変更され）、これにより予測係数（係数セット）の学習規範（学習の体系）として、どのような指数Ｎの最小Ｎ乗誤差法を採用するかが設定される。すなわち、係数を求める学習アルゴリズムが変更されている。従って、「処理の構造」が、ユーザの好みの画像が得られるように変更されているということが言える。
次に、図１２２を参照して、図１１６の最適化装置１２０１に内部情報生成部１３１２を設けるようにした最適化装置１３０１の構成について説明する。
図１２２の最適化装置１３０１においては、内部情報生成部１３１２が設けられたことにより、処理部１２１１に替えて処理部１３１１が設けられた点以外については図１１６の最適化装置１２０１と同様である。
内部情報生成部１３１２は、内部情報として、例えば、処理部１３１１の係数メモリ１３２１より処理内容毎に記憶されている係数セットの情報を読出し、表示部４０３で表示可能な情報に変換して出力し、表示させる。
次に、図１２３を参照して、処理部１３１１の構成について説明する。基本的な構成は、同様であるが、係数メモリ１２３７に替えて、係数メモリ１３２１が設けられているが、その機能は同様であるが、内部情報生成部１３１２に接続されており、処理内容毎に記憶されている係数セットが読み出される構成になっている。
次に、図１２４のフローチャートを参照して、図１２２の最適化装置１３０１による画像最適化処理について説明する。図１２２の最適化装置１３０１も、図１１６における最適化装置１２０１の場合と同様に学習処理とマッピング処理からなる。そして、学習処理では、ステップＳ５４１乃至Ｓ５５１において、図１２０のステップＳ５０１乃至Ｓ５１１における場合とそれぞれ同様の処理が行われる。
さらに、学習処理では、ステップＳ５４１およびＳ５５１の処理後、ステップＳ５５２に進み、内部情報生成部１３１２は、係数メモリ１３２１に記憶されている係数セットを、内部情報として読出し、係数セットに含まれる各値に基づいて表示可能な画像信号を生成して、表示部４０３に出力し、表示させる。
このとき、内部情報生成部１３１２により生成され表示部４０３に表示される画像は、上述のように、例えば、図３９で示すような３次元分布図や、または、図４０で示した２次元分布図のような形式などとすることができる。
ここで、図１２４のフローチャートの説明に戻る。
ステップＳ５５２の処理後は、ステップＳ５４１に戻り、以下、同様の処理が繰り返される。
一方、図１２５のフローチャートに示すマッピング処理では、ステップＳ５７１乃至Ｓ５７７において、図１２１のステップＳ５２１乃至Ｓ５２７における場合とそれぞれ同様の処理が行われる。
以上の処理により、処理部１３１１の係数メモリ１３２１に記憶された係数セットの各値（各係数値）が処理に関する内部情報として表示（呈示）され、ユーザは、この係数セットの分布と、出力信号としての処理部１３１１の処理結果を見ながら自らの好みに合う出力信号としての画像が得られるように、操作部１２０２を操作して、指数Ｎを変更させることで係数セットを求める学習アルゴリズムが変更されている。従って、「処理の構造」が変更ユーザの好みの画像が得られるように変更されていると言える。また、以上の例においては、係数セットを表示させるようにしたが、例えば、現在の最小Ｎ乗誤差法が直接法であるのか、または、リカーシブ法であるのかといった、処理に関する内部情報を表示するようにしてもよい。
次に、図１２６を参照して、図１１６の最適化装置１２０１の処理部１２１１に替えて、処理部１４１１を設けるようにした最適化装置１４０１の構成について説明する。
処理部１４１１の構成は、基本的に図４１の最適化装置３０１の処理部３１１と同様の構成であり、操作部１２０２より入力された操作信号と、処理決定部４１２により入力された処理内容に基づいて、入力信号を最適化し表示部４０３に表示する。
次に、図１２７を参照して、処理部１４１１の構成について説明する。係数メモリ１４２１は、処理内容毎に複数の係数セットが記憶されており、マッピング処理部１２２２によるマッピング処理に必要な係数セットが記憶されている。図中では、係数セットＡ乃至Ｎが記憶されていることが示されている。この係数セットは、図１２８の学習装置１４４１により予め学習されて生成されるものである。
ここで、係数セットを生成する学習装置１４４１の構成について、図１２８を参照して説明する。
学習装置１４４１の教師データ生成部１４５１、生徒データ生成部１４５２、特徴量抽出部１４５３、処理決定部１４５４、および、予測タップ抽出部１４５５は、図１１８の学習装置１２２１の教師データ生成部１２３１、生徒データ生成部１２３２、特徴量抽出部１２３３、処理決定部１２３４、および、予測タップ抽出部１２３５に対応しており、同様のものであるので、その説明については省略する。
正規方程式生成部１４５６は、図４３の正規方程式生成部３５４と同様のものであり、教師データ生成部３５１より入力された教師データと予測タップに基づいて正規方程式を生成して、係数決定部１４５７に出力するが、この際、処理決定部１４５４より入力される処理内容の情報毎に正規方程式を生成して出力する点が異なる。
係数決定部１４５７は、図４３の係数決定部３５５と同様のものであり、入力された正規方程式を解いて係数セットを生成するが、この際、処理内容の情報毎に対応付けて係数セットを生成する。
次に、図１２９のフローチャートを参照して、図１２８の学習装置１４４１による係数決定処理（学習処理）について説明する。ステップＳ５９１において、教師データ生成部１４５１は、学習用データから教師データを生成し、正規方程式生成部１４５６に出力すると共に、生徒データ生成部１４５２は、学習用データから生徒データを生成し、特徴量抽出部１４５３、および、予測タップ抽出部１４５５に出力して、ステップＳ５９２に進む。
ステップＳ５９２において、予測タップ抽出部１４５５は、各教師データを順次注目画素として、各注目データについて、生徒データより予測タップを抽出し、正規方程式生成部１４５６に出力して、ステップＳ５９３に進む。
ステップＳ５９３において、特徴量抽出部１４５３は、注目画素（教師データ）に対応する位置の生徒データ（画素）についての特徴量を抽出し、処理決定部１４５４に出力する。
ステップＳ５９４において、処理決定部１４５４は、特徴量抽出部１４５３より抽出された特徴量に基づいて、各画素毎に処理内容を決定し、決定した処理内容の情報を正規方程式生成部１４５６に出力する。例えば、処理決定部１４５４は、例えば、１または複数の特徴量をベクトル量子化し、その量子化結果を処理内容の情報としてもよい。従って、処理決定部１４５６においては、ＬＵＴが記憶されていない。
ステップＳ５９５において、正規方程式生成部１４５６は、各教師データと予測タップのセットを用いて、式（４６）における左辺の行列の各コンポーネントとなっているサメーション（Σ）と、右辺のベクトルの各コンポーネントとなっているサメーション（Σ）を演算することにより、処理決定部１４５４より入力されてくる処理内容の情報毎に正規方程式を生成し、係数決定部１４５７に出力する。
そして、ステップＳ５９６に進み、係数決定部１４５７は、正規方程式生成部１４５６より入力された正規方程式を処理内容の情報毎に解いて、いわゆる最小２乗誤差法により処理内容の情報毎に係数セットを求め、ステップＳ５９７において、係数メモリ１４２１に記憶させる。
以上の処理により、係数メモリ１４２１に基礎となる係数セット（初期値としての係数セット）が処理内容の情報毎に記憶される。尚、以上の例においては、係数セットは、最小２乗誤差法により求められる場合について説明してきたが、その他の方法で求められた係数セットであってもよく、上述の最小Ｎ乗誤差法により求められる係数セットであってもよい。
次に、図１３０のフローチャートを参照して、図１２６の最適化装置１４０１による画像最適化処理について説明する。尚、この画像最適化処理は、係数変更処理とマッピング処理からなり、マッピング処理は、図１２１や図１２５で説明したマッピング処理と同一であるため、ここでは、係数変更処理についてのみ説明する。
ステップＳ６１１において、係数変更部３２２の変更処理部３３２は、係数値を操作する操作信号が操作部１２０２より入力されたか否かを判定する。すなわち、ユーザは、表示部４０３に表示された画像をみて自らの好みに合うものであるとみなした場合、いま、係数メモリ１４２１に記憶されている処理内容の情報毎の係数セットによるマッピング処理を実行させるが、自らの好みに合うものではないと判定した場合、マッピング処理に使用される係数メモリ１４２１に記憶されている係数セットを変更する操作を行う。
例えば、ステップＳ６１１において、係数を操作する操作信号が入力されたと判定された場合、すなわち、係数メモリ１４２１に記憶された係数のうちいずれか１個の係数値を変更するように、操作部１２０２が操作された場合、ステップＳ６１２に進む。
ステップＳ６１２において、変更処理部３３２は、係数読出書込部３３１を制御して、係数メモリ３２１に記憶されている係数セットを読み出させ、ステップＳ６１３に進む。ステップＳ６１３において、変更処理部３３２は、操作信号として入力された係数値が係数セットに予め含まれている値と比べて所定の閾値Ｓ１１以上に変化しているか否かを判定する。例えば、ステップＳ６１３において、操作信号として入力された値と係数メモリ１４２１に記憶されていた係数セットの値との変化が閾値Ｓ１１以上であると判定された場合、その処理は、ステップＳ６１４に進む。
ステップＳ６１４において、変更処理部３３２は、係数セットに含まれる各係数の値を、図５０で示したようにバネモデルによって変更し、その処理は、ステップＳ６１５に進む。
一方、ステップＳ６１３において、操作信号として入力された値と係数メモリ１４２１に記憶されていた係数セットの値との変化が閾値Ｓ１１以上ではないと判定された場合、その処理は、ステップＳ６１５に進む。
ステップＳ６１５において、変更処理部３３２は、係数セットに含まれる各係数の値を、図５１で示したように均衡モデルによって変更し、その処理は、ステップＳ６１６に進む。
ステップＳ６１６において、変更処理部３３２は、係数読出書込部３３１を制御して、変更した係数セットの値を係数メモリ１４２１に上書き記憶させ、その処理は、ステップＳ６１１に戻り、それ以降の処理が繰り返される。
そして、ステップＳ６１１において、係数値が操作されていないと判定された場合、すなわち、ユーザが表示部４０３に表示された画像がユーザの好みの画像であると判定された場合、ステップＳ６１１に戻り、以下、同様の処理が繰り返される。
以上の係数変更処理により、ユーザは、マッピング処理に用いられる処理内容の情報毎に記憶された係数セットを変化させ、ユーザにとって最適な処理を実行させることが可能となる。尚、係数セットの各係数の値を変更することは、マッピング処理部３１１によるマッピング処理の「処理の内容」が変更されることになる。
また、図１３０の係数変更処理では、係数の変化の大きさが所定の閾値Ｓ１１以上のときには、操作された係数の値に応じて、係数セットの全ての係数値をバネモデルで変更させ、閾値Ｓ１１よりも小さいときは、係数セットの全ての係数値を均衡モデルで変更させるため、係数セットを変更させる係数セットの変更アルゴリズムが変化する。従って、図１２６の最適化装置１４０１の処理部１４１１でも、ユーザの操作に従い、その「処理の内容」も、さらには、その「処理の構造」も変更され、これによりユーザにとって最適な信号処理が行われているということができる。
また、上述のように、係数メモリ１４２１に記憶される係数セットが、最小Ｎ乗誤差法により求められるものである場合、例えば、複数の指数Ｎに対応する係数セットを予め係数メモリ１４２１に記憶させておき、係数変更部３２２が、ユーザの操作に基づいた操作部１２０２からの操作信号に従って、指定された指数Ｎに対応する係数セットに変更させるようにしても良い。この場合、係数メモリ１４２１に記憶される各係数セットは、ユーザの操作に基づいて操作部１２０２から入力される指数Ｎに対応した最小Ｎ乗誤差法により生成されたものに変更される。すなわち、指数Ｎに対応して係数セットを求める学習アルゴリズムが変更されることになるから、「処理の構造」が変更されているということができる。
次に、図１３１を参照して、図１２６の最適化装置１４０１に内部情報生成部１５２１を設けるようにした最適化装置１５０１の構成について説明する。図１３１の最適化装置１５０１においては、内部情報生成部１５２１が設けられたことに伴って処理部１４１１に替えて処理部１５１１が設けられている点を除き、その他の構成は、図１２６の最適化処理部１４０１と同様である。
内部情報生成部１５２１は、内部情報として、例えば、処理部１５１１の係数メモリ１５３１に処理内容の情報毎に記憶されている係数セットを読出し、表示部４０３に表示可能な画像信号に変換した後、表示部４０３に出力して、表示させる。
次に、図１３２を参照して、処理部１５２１の構成について説明する。基本的には、図１２６の処理部１４１１の構成と同様であるが、係数メモリ１４２１に替えて、係数メモリ１５３１が設けられている。係数メモリ１５３１は、機能上係数メモリ１４２１とほぼ同様であるが、内部情報生成部１５２１に接続されており、適宜係数セットが読み出される構成となっている点で異なる。
次に、図１３３のフローチャートを参照して、図１３１の最適化装置１５０１による画像最適化処理について説明する。この画像最適化処理も、図１２６の最適化処理１４０１が行う画像最適化処理と同様に、係数変更処理と、マッピング処理からなるが、マッピング処理は、図１２１や図１２５で説明したマッピング処理と同一であるため、ここでは、係数変更処理についてのみ説明する。
係数変更処理では、ステップＳ６３１乃至Ｓ６３６において、図１３０のステップＳ６１１乃至Ｓ６１６における場合と、それぞれ同様の処理が行われる。
そして、ステップＳ６３６において、図１３０のステップＳ６３６における場合と同様に、変更後の係数セットが係数メモリ１５３１に記憶された後は、ステップＳ６３７に進み、内部情報生成部１５２１は、係数メモリ１５３１に記憶されている係数セットの各係数値を読出し、表示部４０３で表示可能な画像信号に変換して、表示部４０３に出力して表示（呈示）させる。このとき、表示部４０３には、例えば、上述の図３９で示したような３次元分布図や、または、図４０で示した２次元分布図のような形式にして、係数セットの各係数値を表示（呈示）するようにすることができる。
ステップＳ６３７の処理後は、ステップＳ６３１に戻り、以下、同様の処理が繰り返される。
図１３３の係数変更処理によれば、係数メモリ１５３１に処理内容の情報毎に記憶された係数セットの値が、内部情報として表示されるので、ユーザは、この係数セットを見ながらユーザにとって最適な処理を実行する係数セットが得られるように、操作部１２０２を操作することが可能となる。
尚、マッピング処理部１２２２の積和演算部１２５１では、式（３９）の１次式ではなく、２次以上の高次の式を演算することによって、出力信号を求めるようにすることが可能である。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１３４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２１０５やＲＯＭ２１０３に予め記録しておくことができる。
あるいはまた、プログラムは、フロッピーディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２１０８で受信し、内蔵するハードディスク２１０５にインストールすることができる。
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０２を内蔵している。ＣＰＵ２１０２には、バス２１０１を介して、入出力インタフェース２１１０が接続されており、ＣＰＵ２１０２は、入出力インタフェース２１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ２１０２は、ハードディスク２１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２１０８で受信されてハードディスク２１０５にインストールされたプログラム、またはドライブ２１０９に装着されたリムーバブル記録媒体２１１１から読み出されてハードディスク２１０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１０４にロードして実行する。これにより、ＣＰＵ２１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ２１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ ＣｒｙＳｔａｌ Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部２１０６から出力、あるいは、通信部２１０８から送信、さらには、ハードディスク２１０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
以上、本発明を、入力信号からのノイズ除去や、自動走行に適用した場合について説明したが、本発明は、ノイズ除去や自動走行以外の、例えば、信号の周波数特性の変換その他のアプリケーションに広く適用可能である。
産業上の利用可能性
以上の如く、本発明によれば、ユーザの処理に基づいて、処理の内容と、さらには、処理の構造が変更することにより、そのユーザにとって最適な処理を行うことが可能となる。
本実施の形態では、内部情報を出力信号と同一の表示部で表示するようにしたが内部情報は出力信号を表示する表示部とは別の表示部で表示することが可能である。
【図面の簡単な説明】
図１は、本発明を適用した最適化装置を示す図である。
図２は、本発明を適用した最適化装置の一実施の形態の構成例を示すブロック図である。
図３は、図２の最適化装置による最適化処理を説明するフローチャートである。
図４は、最適化装置を利用したＮＲ回路の一実施の形態の構成例を示すブロック図である。
図５Ａは、入力信号を示す波形図である。
図５Ｂは、入力信頼度を示す波形図である。
図６は、ＮＲ回路による補正処理を説明するフローチャートである。
図７は、ＮＲ回路による補正パラメータ演算処理を説明するフローチャートである。
図８は、ＮＲ回路による制御データ学習処理を説明するフローチャートである。
図９Ａ〜図９Ｃは、制御データ学習処理を説明するための図である。
図１０は、最適化装置を利用したＮＲ回路の他の一実施の形態の構成例を示すブロック図である。
図１１は、パラメータ制御データと乗算される画素を示す図である。
図１２は、ＮＲ回路による補正パラメータ演算処理を説明するフローチャートである。
図１３は、ＮＲ回路による制御データ学習処理を説明するフローチャートである。
図１４は、最適化装置を利用したＮＲ回路の他の一実施の形態の構成例を示すブロック図である。
図１５は、図１４の最適化装置による最適化処理を説明するフローチャートである。
図１６は、本発明を適用した自動走行装置の一実施の形態の構成例を示すブロック図である。
図１７は、図１６の最適化装置の処理部の構成例を示すブロック図である。
図１８は、図１６の最適化装置による補正パラメータ演算処理を説明するフローチャートである。
図１９は、図１６の最適化装置による制御データ学習処理を説明するフローチャートである。
図２０は、図１６の最適化装置の処理部の他の構成例を示すブロック図である。
図２１は、図１６の演算部が出力する走行方向を示す図である。
図２２は、図１６の最適化装置による補正処理を説明するフローチャートである。
図２３は、図１６の最適化装置による補正パラメータ学習処理を説明するフローチャートである。
図２４は、本発明を適用した自動走行装置の他の構成例を示すブロック図である。
図２５は、図２４の最適化装置による補正パラメータ演算処理を説明するフローチャートである。
図２６は、図２４の最適化装置による補正パラメータ学習処理を説明するフローチャートである。
図２７は、図２４の内部情報生成部により生成される内部情報の例を示す図である。
図２８は、図２４の内部情報生成部により生成される内部情報の例を示す図である。
図２９は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図３０は、図２９の最適化装置の学習部の構成例を示すブロック図である。
図３１は、図２９の最適化装置のマッピング処理部の構成例を示すブロック図である。
図３２は、真値と予測値との誤差を説明する図である。
図３３は、最小Ｎ乗誤差法を説明する図である。
図３４は、重みα_Ｓを説明する図である。
図３５は、図２９の最適化装置による画像最適化処理を説明するフローチャートである。
図３６は、最小Ｎ乗規範と最小２乗規範の比較を示す図である。
図３７は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図３８は、図３７の最適化装置による画像最適化処理を説明するフローチャートである。
図３９は、図３７の内部情報生成部により生成される内部情報の例を示す図である。
図４０は、図３７の内部情報生成部により生成される内部情報の例を示す図である。
図４１は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図４２は、図４１の最適化装置の係数変換部の構成例を示すブロック図である。
図４３は、図４１の係数メモリに格納される係数を学習により生成する学習装置の構成例を示すブロック図である。
図４４は、図４３の学習装置による係数決定処理を説明するフローチャートである。
図４５は、予測タップの構成を示す図である。
図４６は、予測タップのタップ位置に対応する係数値の分布の例を示す図である。
図４７は、予測タップの構成を示す図である。
図４８は、予測タップのタップ位置に対応する係数値の分布の例を示す図である。
図４９は、予測タップの構成を示す図である。
図５０は、バネモデルを説明する図である。
図５１は、均衡モデルを説明する図である。
図５２は、図４１の最適化装置による画像最適化処理を説明するフローチャートである。
図５３は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図５４は、図５３の最適化装置による画像最適化処理を説明するフローチャートである。
図５５は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図５６は、図５５の特徴量検出部の構成例を示すブロック図である。
図５７は、図５５の処理決定部の構成例を示すブロック図である。
図５８は、図５５の処理部の構成例を示すブロック図である。
図５９は、図５５の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図６０は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図６１は、図６０の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図６２は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図６３は、図６２の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図６４は、図６２の最適化装置によるテロップ抽出最適化処理を説明する図である。
図６５は、図６２の最適化装置によるテロップ抽出最適化処理を説明する図である。
図６６は、図６２の最適化装置によるテロップ抽出最適化処理を説明する図である。
図６７は、図６２の最適化装置によるテロップ抽出最適化処理を説明する図である。
図６８は、図６２の最適化装置によるテロップ抽出最適化処理を説明する図である。
図６９は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図７０は、図６９の処理決定部の構成例を示すブロック図である。
図７１は、図６９の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図７２は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７３は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７４は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７５は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７６は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７７は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７８は、図６９の最適化装置によるテロップ抽出最適化処理を説明する図である。
図７９は、図６９の最適化装置による特徴量の切替を説明する図である。
図８０は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図８１は、図８０の特徴量検出部の構成例を示すブロック図である。
図８２は、図８０の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図８３は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図８４は、図８０の特徴量検出部の構成例を示すブロック図である。
図８５は、図８４の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図８６は、図８４の最適化装置による特徴量の加工内容指示画面を説明する図である。
図８７は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図８８は、図８７の最適化装置によるテロップ抽出最適化処理を説明するフローチャートである。
図８９は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図９０は、図８９の処理決定部の構成例を示すブロック図である。
図９１は、図８９の最適化装置による画像最適化処理を説明するフローチャートである。
図９２は、ＬＵＴを説明する図である。
図９３は、ＬＵＴ上に特徴量毎に指定される処理内容を説明する図である。
図９４は、ＬＵＴ上に特徴量毎に指定される処理内容を説明する図である。
図９５は、ＬＵＴ上に特徴量毎に指定される処理内容を説明する図である。
図９６は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明するフローチャートである。
図９７は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図９８は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図９９は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１００は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０１は、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０２Ａは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０２Ｂは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０３Ａは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０３Ｂは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０４Ａは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０４Ｂは、図９１の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１０５は、図９１の最適化装置による画像最適化処理におけるオートＬＵＴ変更処理を説明するフローチャートである。
図１０６は、図９１の最適化装置による画像最適化処理におけるオートＬＵＴ変更処理を説明する図である。
図１０７は、図９１の最適化装置による画像最適化処理におけるオートＬＵＴ変更処理を説明する図である。
図１０８は、図９１の最適化装置による画像最適化処理におけるオートＬＵＴ変更処理を説明する図である。
図１０９は、図９１の最適化装置による画像最適化処理におけるオートＬＵＴ変更処理を説明する図である。
図１１０は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図１１１は、図１１０の処理決定部の構成例を示すブロック図である。
図１１２は、図１１０の最適化装置による画像最適化処理を説明するフローチャートである。
図１１３は、図１１０の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明するフローチャートである。
図１１４は、図１１０の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１１５は、図１１０の最適化装置による画像最適化処理におけるマニュアルＬＵＴ変更処理を説明する図である。
図１１６は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図１１７は、図１１６の処理部の構成例を示すブロック図である。
図１１８は、図１１６の係数メモリに格納される係数セットを学習により生成する学習装置を示すブロック図である。
図１１９は、図１１７のマッピング処理部の構成例を示すブロック図である。
図１２０は、図１１６の最適化装置による学習処理を説明するフローチャートである。
図１２１は、図１１６の最適化装置によるマッピング処理を説明するフローチャートである。
図１２２は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図１２３は、図１２２の処理部の構成例を示すブロック図である。
図１２４は、図１２２の最適化装置による学習処理を説明するフローチャートである。
図１２５は、図１２２の最適化装置によるマッピング処理を説明するフローチャートである。
図１２６は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図１２７は、図１２６の処理部の構成例を示すブロック図である。
図１２８は、図１２７の係数メモリに格納される係数セットを学習により生成する学習装置を示すブロック図である。
図１２９は、図１２８の学習装置による係数決定処理を説明するフローチャートである。
図１３０は、図１２６の最適化装置による画像最適化処理を説明するフローチャートである。
図１３１は、本発明を適用した最適化装置のその他の実施の形態の構成例を示すブロック図である。
図１３２は、図１３１の処理部の構成例を示すブロック図である。
図１３３は、図１３１の最適化装置による画像最適化処理を説明するフローチャートである。
図１３４は、本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

Claims (27)

1. 入力信号を信号処理する信号処理手段と、
   前記信号処理手段の信号処理結果を出力する出力手段と
   を備え、
   ユーザの操作に応じて供給される操作信号に基づいて、前記信号処理手段の処理の構造が変更される
   ことを特徴とする信号処理装置。
2. 前記信号処理手段は、
   前記入力信号より特徴を検出する特徴検出手段と、
   前記特徴検出手段により検出された特徴に基づいて、前記入力信号に対する処理の内容を決定する処理決定手段と、
   前記処理決定手段により決定された前記処理の内容に従って、前記入力信号への処理を実行する処理実行手段とを有し、
   前記操作信号に基づいて、前記特徴検出手段、処理決定手段、または、処理実行手段のうちの少なくともいずれかの処理の構造が変更される
   ことを特徴とする請求の範囲第１項に記載の信号処理装置。
3. 前記出力手段は、前記信号処理手段の信号処理結果を呈示する呈示手段を含む
   ことを特徴とする請求の範囲第１項に記載の信号処理装置。
4. 前記操作信号に基づいて、前記特徴検出手段の処理の構造が変更される
   ことを特徴とする請求の範囲第２項に記載の信号処理装置。
5. 前記操作信号は、複数種類の特徴のうちの、所定数の特徴の種類を指定する信号であり、
   前記特徴検出手段は、前記所定数の種類の特徴を検出するように、その処理の構造を変更する
   ことを特徴とする請求の範囲第４項に記載の信号処理装置。
6. 前記特徴検出手段は、前記入力信号より前記所定数の種類の特徴を検出し、
   前記処理決定手段は、前記特徴検出手段により前記入力信号より検出された前記所定数の種類の特徴に基づいて、前記入力信号に対する前記処理実行手段における処理の内容を決定する
   ことを特徴とする請求の範囲第５項に記載の信号処理装置。
7. 前記入力信号は、画像信号であり、
   前記処理決定手段は、前記特徴検出手段により前記入力信号より検出された前記所定数の種類の特徴に基づいて、前記入力信号に対する前記処理の内容として、前記入力信号をそのまま出力するか否かを決定し、
   前記処理実行手段は、前記処理決定手段の決定に従い、前記入力信号を選択的に出力することにより、前記入力信号である画像信号中のテロップを検出する
   ことを特徴とする請求の範囲第６項に記載の信号処理装置。
8. 前記特徴検出手段は、前記操作信号に基づいて、予め用意されている特徴と異なる新たな種類の特徴を検出するように、その処理の構造を変更する
   ことを特徴とする請求の範囲第４項に記載の信号処理装置。
9. 前記特徴検出手段は、予め用意されている前記特徴のダイナミックレンジ、最大値、中央値、最小値、和、分散、前記特徴が閾値よりも大きな入力信号の数、または前記特徴の線形一次結合を、前記新たな種類の特徴として検出する
   ことを特徴とする請求の範囲第８項に記載の信号処理装置。
10. 前記操作信号に基づいて、前記処理決定手段の処理の構造が変更される
    ことを特徴とする請求の範囲第２項に記載の信号処理装置。
11. 前記処理決定手段は、
    前記特徴の各値と、その値の特徴を有する前記入力信号に対する前記処理の内容との対応関係である特徴／処理対応関係を記憶しており、
    前記特徴／処理対応関係において、前記入力信号から検出された特徴の値と対応付けられている処理の内容を、その入力信号に対する処理の内容として決定する
    ことを特徴とする請求の範囲第１１項に記載の信号処理装置。
12. 前記処理決定手段は、前記操作信号に基づいて、前記特徴／処理対応関係における前記処理の内容を変更することにより、その処理の構造を変更する
    ことを特徴とする請求の範囲第１１項に記載の信号処理装置。
13. 前記特徴／処理対応関係においては、前記入力信号に対して、第１の値の出力信号を出力する処理と、第２の値の出力信号を出力する処理との２つの処理の内容が存在し、
    前記処理実行手段は、前記処理決定手段の決定に従い、前記入力信号を前記第１と第２の値に２値化する
    ことを特徴とする請求の範囲第１１項に記載の信号処理装置。
14. 前記操作信号に基づいて、前記処理実行手段の処理の構造が変更される
    ことを特徴とする請求の範囲第２項に記載の信号処理装置。
15. 前記処理実行手段は、
    所定の学習用データより教師データを生成する教師データ生成手段と、
    前記学習用データより生徒データを生成する生徒データ生成手段と、
    前記生徒データと所定の予測係数との線形結合により求められる前記教師データの予測値と、その教師データとの誤差を最小とする前記予測係数を学習する学習手段と、
    前記入力信号と、前記学習手段により求められた予測係数とを線形結合することにより、出力信号を生成する出力信号生成手段と
    を有する
    ことを特徴とする請求の範囲第１４項に記載の信号処理装置。
16. 前記学習手段は、
    前記誤差のＮ乗であるＮ乗誤差を、統計的に最小にする最小Ｎ乗誤差法により前記予測係数を学習し、
    前記操作信号に基づいて、前記誤差のＮ乗を変更することにより、その処理の構造を変更する
    ことを特徴とする請求の範囲第１５項に記載の信号処理装置。
17. 前記学習手段は、前記Ｎ乗誤差として、２乗誤差と、操作信号に応じた重みとの積を採用することにより、前記操作信号に基づいて、前記誤差のＮ乗を変更する
    ことを特徴とする請求の範囲第１６項に記載の信号処理装置。
18. 前記学習手段は、前記操作信号に対応するＮ乗を用いた前記Ｎ乗誤差として、２乗誤差と、最小Ｎ’乗誤差法により求められる前記予測係数を用いて演算される前記教師データの予測値のＮ−２乗誤差との積を採用する
    ことを特徴とする請求の範囲第１６項に記載の信号処理装置。
19. 前記学習手段は、前記処理決定手段が決定する前記処理の内容毎に、前記予測係数を学習し、
    前記出力生成手段は、前記入力信号と、その入力信号について前記処理決定手段が決定する前記処理の内容に対応する前記予測係数との線形結合により、前記出力信号を生成する
    ことを特徴とする請求の範囲第１５項に記載の信号処理装置。
20. 前記信号処理手段は、
    前記操作信号をモニタし、学習に用いることができるかどうかを判定する判定手段と、
    学習に用いることのできる前記操作信号である学習用操作信号に基づいて、前記入力信号を補正する規範である補正規範を学習する学習手段と、
    前記入力信号を、前記学習により得られた前記補正規範に基づいて補正し、その補正後の信号を、出力信号として出力する補正手段と
    を有する
    ことを特徴とする請求の範囲第１項に記載の信号処理装置。
21. 前記信号処理手段は、
    所定の学習用データより教師データを生成する教師データ生成手段と、
    前記学習用データより生徒データを生成する生徒データ生成手段と、
    前記生徒データと所定の予測係数との線形結合により求められる前記教師データの予測値と、その教師データとの誤差を最小とする前記予測係数を学習する学習手段と、
    前記入力信号と、前記学習手段により求められた予測係数とを線形結合することにより、出力信号を生成する出力信号生成手段と
    を有する
    ことを特徴とする請求の範囲第１項に記載の信号処理装置。
22. 前記信号処理手段は、
    誤差のＮ乗であるＮ乗誤差を、統計的に最小にする最小Ｎ乗誤差法により前記予測係数を学習し、
    前記操作信号に基づいて、前記誤差のＮ乗を変更することにより、その処理の構造を変更する
    ことを特徴とする請求の範囲第１項に記載の信号処理装置。
23. 前記学習手段は、前記Ｎ乗誤差として、２乗誤差と、操作信号に応じた重みとの積を採用することにより、前記操作信号に基づいて、前記誤差のＮ乗を変更する
    ことを特徴とする請求の範囲第２２項に記載の信号処理装置。
24. 前記学習手段は、前記操作信号に対応するＮ乗を用いた前記Ｎ乗誤差として、２乗誤差と、最小Ｎ’乗誤差法により求められる前記予測係数を用いて演算される前記教師データの予測値のＮ−２乗誤差との積を採用する
    ことを特徴とする請求の範囲第２２項に記載の信号処理装置。
25. 入力信号を信号処理する信号処理ステップと、
    前記信号処理ステップの処理での信号処理結果を出力する出力ステップと
    を含み、
    ユーザの操作に応じて供給される操作信号に基づいて、前記信号処理ステップの処理の構造が変更される
    ことを特徴とする信号処理方法。
26. 入力信号の信号処理を制御する信号処理制御ステップと、
    前記信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御ステップと
    を含み、
    ユーザの操作に応じて供給される操作信号に基づいて、前記信号処理制御ステップの処理の構造が変更される
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
27. 入力信号の信号処理を制御する信号処理制御ステップと、
    前記信号処理制御ステップの処理での信号処理結果の出力を制御する出力制御ステップと
    をコンピュータに実行させ、
    ユーザの操作に応じて供給される操作信号に基づいて、前記信号処理制御ステップの処理の構造が変更される
    ことを特徴とするプログラム。

Images