JP5047344B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

応答速度が速いインパルス型のディスプレイ等において、動きのある被写体（テロップ等）を追従視すると、視覚の特性上、時間的に前のフレーム画像中の背景（実際には表示されていない背景（特にエッジ部分））が残像として見えることがある。そのため、背景が多重に見え、違和感を覚えることがある。例えば、ＳＥＤ（Surface-conduction Electron-emitter Display）やＦＥＤ（Field Emission Display）、有機ＥＬディスプレイ等
では、上記現象が生じやすい。
図１５は、時間的に連続する２枚のフレーム画像を示す。点線で囲まれた領域は視聴者の視野を示す。図１５に示すように、視聴者には、フレーム画像１のテロップ（図中、「ＡＢＣ」）付近の背景がフレーム画像２でも残像として見えてしまう。これは、人間の目が、「動いているものを追従してしまう」、「瞬間的な発光が目に焼き付いてしまう（即ち、表示装置がインパルス型の表示装置であると、前のフレーム画像が目に焼き付いてしまう）」という特性を有することに起因する。特に、大画面の表示装置に表示された映像を、画面から近い位置で視聴する場合、追従視による視野の移動量が大きくなるため上記残像による妨害感は大きくなる。

また、従来技術として、エッジ部分の画素（エッジ画素）が注目領域（視聴者が注目する領域）内の画素か否かを、その周囲のエッジ画素の密度（エッジ密度）から判断し、エッジ密度が高い領域の高周波成分を低下させる技術がある（特許文献１）。
しかしながら、動きのある被写体が近くに存在しない「木の葉」などの絵柄の領域は注目領域となりうるが、そのような領域ではエッジ密度は高くなる。また、動きのある領域は注目領域となりうるが、そのような領域がテロップなどの領域の場合には、その領域でのエッジ密度は高くなる。そのため、特許文献１に開示の技術を用いると、そのような注目領域はぼけてしまう。

特開２００１−２３８２０９号公報

そこで、本発明は、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する技術を提供することを目的とする。

本発明の画像処理装置は、入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする。

本発明の画像処理方法は、入力映像から動きベクトルを検出するステップと、検出され
た動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする。

本発明によれば、視聴者が注目する領域の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。

実施例１に係る画像処理装置の機能構成の一例を示す図。 分割領域の一例を示す図。 スキャンフィルタの一例を示す図。 距離判定部の処理の流れの一例を示す図。 距離判定部の処理を説明するための図。 フィルタ係数生成部の処理の流れの一例を示す図。 周波数分布の一例を示す図。 フィルタ係数の一例を示す図。 或る画素に対して決定された各変数の一例を示す図。 垂直ＬＰＦの処理の流れの一例を示す図。 補正された映像信号の一例を示す図。 視聴者の位置と視野の関係を示す図。 パンされた映像の一例を示す図。 動き領域が複数存在する映像の一例を示す図。 従来技術の課題を説明するための図。

＜実施例１＞
（全体構成）
以下、本発明の実施例１に係る画像処理装置及び画像処理方法について説明する。
本実施例では、入力映像内の特定の画素に対し、高周波成分を低下させる補正処理（フィルタ処理）を施す。それにより、視聴者が注目する領域（注目領域）の画像品質を低下させることなく、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減する。特定の画素については後で詳しく説明する。
図１は、本実施例に係る画像処理装置の機能構成を示すブロック図である。図１に示すように、画像処理装置１００は、遅延部１０１、動きベクトル検出部１０２、絵柄特徴量算出部１０３、距離判定部１０４、フィルタ係数生成部１０５、垂直ＬＰＦ（ローパスフィルタ）１０６、水平ＬＰＦ１０７を有する。画像処理装置１００は、入力された映像信号ｙ（入力映像）に画像処理を施し、映像信号ｙ’（出力映像）を出力する。映像信号は、例えば、画素毎の輝度信号であり、フレーム単位で入出力される。

遅延部１０１は入力されたフレーム画像を１フレーム期間だけ遅延して出力する。
動きベクトル検出部１０２は、入力映像から動きベクトルを検出する（動き検出手段）。具体的には、現在のフレーム画像（現フレーム画像）と遅延部１０１で遅延された１フレーム前のフレーム画像（前フレーム画像）とを用いて動きベクトルを求め、不図示のＳＲＡＭやフレームメモリに保持する。なお、動きベクトルは画素毎に検出してもよいし、所定の大きさを有するブロック毎に検出してもよい（本実施例では画素毎に検出されるものとする）。動きベクトルの検出には、例えば、ブロックマッチング法などの一般的な手法を用いればよい。

絵柄特徴量算出部１０３は、動きベクトル検出部１０２で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、補正の対象とする画素を含むフレーム画像（現フレーム画像）を複数の領域に分割し、分割領域毎に、その分割領域内に位置する静止画素（映像の動きが無いと判断した画素）を用いて該分割領域の周波数分布及び輝度値を算出する。即ち、絵柄特徴量算出部１０３は周波数分布算出手段及び輝度値算出手段に対応する。なお、周波数分布は、図７に示すように、縦軸を強度、横軸を周波数とする分布であり、輝度値は、分割領域のＡＰＬ（Average Picture Level:平均輝度レベル）である。本実施例では、現フレーム画像を１９２０×１０８０の画像とし、図２のように６×４の分割領域に分割するものとする。各分割領域には、図２のように識別子ｂｌｋｘｙ（ｘ＝０〜５、ｙ＝０〜３）が付される。周波数分布と輝度値は対応する分割領域の識別子に対応付けられて、ＳＲＡＭやフレームメモリに保持される。

距離判定部１０４は、動きベクトル検出部１０２で検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断する。そして、静止画素（映像の動きが無いと判断した画素）に対し、該画素から所定の範囲内に動き画素（映像の動きがあると判断した画素）が存在するか否かを判定する。即ち、距離判定部１０４は判定手段に対応する。
本実施例では、現フレーム画像の画素毎に、その画素から所定の範囲内に動き画素が存在するか否か、存在する場合にはそれらの画素間がどの程度離れているか、を表す距離係数を決定する。具体的には、それらは、後述するスキャンフィルタで各画素（各画素の動きベクトル）をスキャンすることにより決定される。距離係数は補正処理の度合い（フィルタのフィルタ係数）を決定するのに使用する。また、本実施例では、距離判定部１０４は、スキャンフィルタでスキャンされた各画素の動きベクトルに基づいて、フィルタのタップ数やタップ方向を決定する。ここで、タップ方向とはフィルタにおいてタップが並んでいる方向のことである。

距離判定部１０４で用いられるスキャンフィルタの一例を図３に示す。このスキャンフィルタは人間の視野に相当しており、注目画素Ａを中心として、垂直方向、水平方向、（２種類の）斜め方向にそれぞれ９画素並んだ計３３画素をスキャンする２次元フィルタで構成されている。そして、スキャンフィルタは、注目画素Ａからの距離に応じて２つの領域３０１，３０２に区分されている。モザイク柄で表された領域３０１は、注目画素Ａからの距離が小さい領域であり、ドット柄で表された領域３０２、注目画素Ａから少し離れている領域（領域３０１に比べ注目画素Ａからの距離が大きい領域）である。なお、スキャンフィルタの形状や大きさはこれに限らない。スキャンフィルタの形状は四角形や円形であってもよいし、一方向（四角形の場合は１辺、円形の場合は直径など）の大きさは７画素、１５画素、２１画素などであってもよい。また、本実施例では、スキャンフィルタが２つの領域３０１，３０２に区分されているものとしたが、区分数はこれに限らない。例えば、５，１０個の領域に区分してもよいし、画素単位で区分してもよい。区分されていなくてもよい。

フィルタ係数生成部１０５は、画素毎の動きベクトル、ブロック毎の周波数分布及び輝度値、及び、画素毎の距離係数を用いて、補正処理を施すか否かを判断すると共に、補正処理の度合いを決定する。例えば、所定の範囲（図３の領域３０１，３０２）内に動き画素が存在するとされた静止画素に対し、補正処理を施すと判断する。補正処理は、垂直ＬＰＦ１０６と水平ＬＰＦ１０７により行われる。即ち、本実施例では、所定の範囲内に動き画素が存在するとされた静止画素が補正の対象（上述した特定の画素）とされる。また、フィルタ係数生成部１０５、垂直ＬＰＦ１０６、及び、水平ＬＰＦ１０７を併せたものが補正手段に相当する。なお、垂直ＬＰＦ１０６は、タップ方向が垂直方向のＬＰＦ（垂直方向にタップが並んだＬＰＦ）であり、水平ＬＰＦ１０７は、タップ方向が水平方向のＬＰＦ（水平方向にタップが並んだＬＰＦ）である。

（距離判定部１０４の処理）
以下、図４を用いて、距離判定部１０４の処理について具体的に説明する。
まず、ステップＳ４０１で、すべての変数の初期化が行われる。変数は、距離係数、垂直フィルタＥＮ、水平フィルタＥＮ、５タップＥＮ、及び、９タップＥＮである。垂直フィルタＥＮは、垂直ＬＰＦ１０６のイネーブル信号である。水平フィルタＥＮは、水平ＬＰＦ１０７のイネーブル信号である。５タップＥＮは、ＬＰＦのＴＡＰ数を５と決定するイネーブル信号である。９タップＥＮは、ＬＰＦのＴＡＰ数を９と決定するイネーブル信号である。なお、各変数の初期値は、それぞれ、対応する処理を実行しないための値（本実施例では“０”）であるものとする。

ステップＳ４０２では、スキャンフィルタの注目画素Ａの位置で映像の動きがあるか否か（注目画素Ａが動き画素か否か）を判断する。具体的には、注目画素Ａの動きベクトルの水平方向（Ｘ方向）成分（水平動きベクトル）の絶対値｜Ｖｘ｜と垂直方向（Ｙ方向）成分（垂直動きベクトル）の絶対値｜Ｖｙ｜の両方が０より大きいか否かを判定する。動き画素にＬＰＦをかけてしまうと、動いている被写体をぼかしてしまうことになる（映像の動きがある領域は注目領域となりうるため、そのような領域をぼかすことは好ましくない）。そこで、注目画素Ａが動き画素である場合には（ステップＳ４０２：ＮＯ）、水平，垂直ＬＰＦをかけないように各変数を初期値のままとして処理を終了する。注目画素Ａが静止画素である場合には（ステップＳ４０２：ＹＥＳ）、ステップＳ４０３へ進む。なお、距離判定部１０４は、注目画素Ａの動きベクトルの大きさが所定値未満である場合に、その画素を静止画素と判断してもよい。

ステップＳ４０３では、領域３０１に動き画素が２画素以上存在するか否かを判断する。存在する場合には（ステップＳ４０３：ＹＥＳ）、ステップＳ４０５へ、存在しない場合には（ステップＳ４０３：ＮＯ）、ステップＳ４０４へ進む。ここで、判定基準の画素数を２画素としているのは、ノイズによる誤判定を低減するためである。なお、判定基準の画素数は２画素に限らない（１画素でもよいし、３画素や５画素であってもよい）。
ステップＳ４０４では、領域３０２に動き画素が２画素以上存在するか否かを判断する。存在する場合には（ステップＳ４０４：ＹＥＳ）、ステップＳ４０６へ進む。存在しない場合には（ステップＳ４０４：ＮＯ）、注目画素Ａの周辺に動き画素が存在しない（映像の動きが無い）ことになる。そして、周辺に映像の動きの無い領域は注目領域となりうるため、各変数を初期値のままとして処理を終了する。

ステップＳ４０５，Ｓ４０６では、注目画素Ａ（補正の対象となる静止画素）と、ステップＳ４０３，Ｓ４０４で検出された動き画素との距離が近いほど、補正処理の補正度合いが大きくなるような距離係数を決定する。映像の動きのある位置に近い静止領域（映像の動きの無い領域）ほど、多重に見える可能性が高いため、このように距離係数を決定することにより、より確実に静止領域が多重に見えることによる妨害感を抑制することができる。
具体的には、ステップＳ４０５では、注目画素Ａにより近い位置（領域３０１）に動き画素が存在しているため、距離係数を“２”（補正度合いの大きい補正処理を行うための距離係数）に決定する。
ステップＳ４０６では、注目画素Ａから少し離れた位置（領域３０２）に動き画素が存在しているため、距離係数を“１”（距離係数“２”に比べて補正度合いの小さい補正処理を行うための距離係数）に決定する。
これらの距離係数は注目画素Ａの座標値に関連付けられる。そして、それらの情報は、例えば、ＳＲＡＭやフレームメモリに保存されたり、回路内で出力タイミングが調整されたり等して、後段のフィルタ係数生成部１０５へ出力される。

ここまでの処理を、図５に示す映像が入力された場合を例にして説明する。図５（ａ）において、符号５０１は表示映像を示しており、テロップ「ＡＢＣ」は画面左から右へスクロールしている。ここで領域５０２に注目してみる。図５（ｂ）は図５（ａ）の領域５０２の拡大図である。図５（ｂ）において、１つの四角は画素を示しており、黒く塗りつぶされた四角は動き画素である。距離判定部１０４は、図３のスキャンフィルタを用いて画素毎に距離係数を決定している。図５（ｂ）の例では、領域３０２に動き画素が２画素以上存在するため、注目画素Ａ（具体的にはその座標値）に対する距離係数は“１”となる。

ステップＳ４０５，Ｓ４０６の次にステップＳ４０７へ進む。
ステップＳ４０７〜Ｓ４１０では、所定の範囲内に存在するとされた動きベクトルの向きに応じて、補正処理に用いるフィルタのタップ方向（使用するフィルタ）を決定する。映像に動きがある場合、その周囲の静止領域は該映像の動きと同じ方向に多重に見えることとなる。そこで、本実施例では、フィルタのタップ方向を映像の動きの方向に合わせる。それにより、より効果的に多重に見えることによる妨害感を低減することができる。

ステップＳ４０７では、ステップＳ４０３，Ｓ４０４で検出された動き画素の動きベクトルを解析し、注目画素Ａ（補正の対象となる静止画素）周りの映像の動きを判断する。具体的には、検出された画素の内、水平方向，垂直方向，斜め方向のどの方向の動きベクトルが最も多いか判断する。そして、水平方向の動きベクトルが最も多い場合にはステップＳ４０８へ、垂直方向の動きベクトルが最も多い場合にはステップＳ４０９へ、斜め方向の動きベクトルが最も多い場合にはステップＳ４１０へ進む。
ステップＳ４０８では、水平フィルタＥＮのみを“１”にする（ここで“１”は対応するフィルタを使用することを意味する）。
ステップＳ４０９では、垂直フィルタＥＮのみを“１”にする。
ステップＳ４１０では、水平フィルタＥＮと垂直フィルタＥＮの両方を“１”にする。

ステップＳ４０８〜Ｓ４１０の次にステップＳ４１１へ進む。
ステップＳ４１１〜Ｓ４１３では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさに応じて、補正処理に用いるフィルタのタップ数を決定する。静止領域では、周囲の映像の動きが速いほど多重に見えることによる妨害感が大きくなる。そこで、本実施例では、所定の範囲内に存在すると判定された動き画素の動きベクトルの大きさが大きいほどタップ数を多くする。それにより、より効果的に多重に見えることによる妨害感を低減することができる。

ステップＳ４１１では、ステップＳ４０３，Ｓ４０４で検出された動き画素の｜Ｖｘ｜，｜Ｖy｜の平均値をそれぞれ求める。それらの平均値を閾値ＭＴＨと比較する（式（１
−１），式（１−２））。式（１−１）と式（１−２）の少なくともいずれかを満たす場合には、対象画素周辺の映像の動きは速いと判断し、ステップＳ４１２へ進む。いずれも満たさない場合には、対象画素周辺の映像の動きは遅いと判断し、ステップＳ４１３へ進む。

ステップＳ４１２では、タップ数を９とする（９タップＥＮを“１”にする）。
ステップＳ４１３では、タップ数を５とする（５タップＥＮを“１”にする）。

以上の処理により、距離係数、水平フィルタＥＮ、垂直フィルタＥＮ、５タップＥＮ、及び、９タップＥＮが画素毎に決定される。
なお、タップ数は水平方向と垂直方向に共通であってもよいし、方向毎に個別に設定されてもよい。例えば、垂直方向のタップ数を決定する垂直５タップＥＮ、垂直９タップＥＮや、水平方向のタップ数を決定する水平５タップＥＮ、水平９タップＥＮを決定してもよい。そして、式（１−１）を満たす場合に水平９タップＥＮを“１”とし、式（１−２）を満たす場合に垂直９タップＥＮを“１”とすればよい。

（フィルタ係数生成部１０５の処理）
以下、図６を用いて、フィルタ係数生成部１０５の処理について具体的に説明する。なお、図６のフローチャートで示す処理は全ての画素に対して（画素毎に）行われる。

まず、ステップＳ６０１では、処理の対象とする画素の距離係数が０より大きいか否かを判断し、大きければステップＳ６０２へ進み、小さければ処理を終了する。
ステップＳ６０２では、処理の対象とする画素がどの分割領域に属するかを判断する。そして、処理の対象とする画素が属する分割領域のＡＰＬを閾値ＡＰＬＴＨ（所定の輝度値）と比較し、その分割領域が明るいか否か判断する。
ＡＰＬがＡＰＬＴＨより高い場合（分割領域が明るい場合）には、ステップＳ６０３へ進み、ＡＰＬがＡＰＬＴＨより低い場合（分割領域が暗い場合）には、ステップＳ６０４へ進む。

ステップＳ６０３では、処理の対象とする画素が属する分割領域の周波数分布から、分割領域（具体的にはその中の静止領域）のパターン（絵柄）がランダムな絵柄や周期パターンの絵柄であるか否かを判断する。具体的には、周波数分布が略均一な分布（図７の分布７０１）の場合には、分割領域の絵柄はランダムな絵柄であると判断する。周波数分布が特定の周波数に集中した分布（図７の分布７０２）である場合には、分割領域の絵柄は周期パターンの絵柄であると判断する。
分割領域の絵柄がランダムな絵柄や周期パターンの絵柄であると判断された場合には（ステップＳ６０３：ＹＥＳ）、処理を終了し、そうでない場合には、ステップＳ６０４へ進む。
ステップＳ６０４では、ＬＰＦをかけないように、距離係数を“０”に再設定し、処理を終了する。

静止領域の輝度が低い場合や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄でない場合には、静止領域が多重に見えるという妨害感は小さい（残像が検知され難い）。そこで、上述したように、本実施例では、補正処理の対象を、静止領域の輝度が高い分割領域や、静止領域の絵柄がランダムな絵柄や周期パターンの絵柄である分割領域の画素に限定するものとした。それにより、処理負荷を低減することができる。

次に、フィルタ係数の決定方法について説明する。
まず、ＬＰＦについて簡単に説明する。ＬＰＦは、タップ数が５タップの場合、補正の対象とする画素の位置をフィルタの中心として、各タップの位置に対応する５つの画素（画素値１〜５）を用いて補正後の画素値を決定する（式（１−３））。

ここで、画素値３は補正の対象とする画素の画素値（補正前の値）であり、画素値３’は画素値３の補正後の値である。Ｃ１〜Ｃ５は各タップのフィルタ係数を示しており、この係数によって、補正処理の度合い（強弱）が決定される。
なお、垂直ＬＰＦ１０６と水平ＬＰＦ１０７は、タップ方向が異なることを除いて同様の処理（上記処理）を行う。

フィルタ係数生成部１０５は、画素毎に、距離係数に応じて以下に示すように補正レベル（フィルタ係数）を決定し保持する。
距離係数が０の場合：補正レベル＝０（ＬＰＦがかからない）
距離係数が１の場合：補正レベル＝１（弱いＬＰＦがかけられる）
距離係数が２の場合：補正レベル＝２（強いＬＰＦがかけられる）

本実施例では、タップ数，補正レベル毎にフィルタ係数が予め記憶されているものとする。タップ数５の場合の補正レベルとフィルタ係数の関係を図８に示す。
フィルタ係数がほぼ均一であるのが補正レベル“２”である。このようなフィルタ係数を用いると、ＬＰＦが強くかかる（補正処理の度合いが大きくなる）。
補正の対象となる画素のフィルタ係数Ｃ３が最も大きく、その位置から離れるほどフィルタ係数が小さくなるような特性を有するのが補正レベル“１”である。このようなフィルタ係数を用いると、ＬＰＦが弱くかかる（補正処理の度合いが小さくなる）。また、フィルタ係数Ｃ３に比べ他のフィルタ係数が小さくなればなるほど補正処理の度合いは小さくなる。
補正の対象となる画素のフィルタ係数Ｃ３以外のフィルタ係数が０であるのが補正レベル“０”である。このようなフィルタ係数を用いても、ＬＰＦはかからない（補正処理が行われない）。
タップ数９の場合も同様に補正レベルとフィルタ係数が対応付けられている。
なお、図８のフィルタ係数はあくまで一例であり、このような係数でなくてもよい（決定方法もこれに限らない）。また、本実施例では距離係数や補正レベルを３段階としているが、それらは、３つ以上（５段階や１０段階）に段階分けされていてもよいし、補正処理を行うか行わないかを表す２段階であってもよい。

（ＬＰＦの処理）
以下、図９，１０を用いて、ＬＰＦの処理について具体的に説明する。まず、垂直ＬＰＦ１０６の処理について詳しく説明する。
図９は、或る画素に対して決定された各変数の一例を示す。垂直ＬＰＦ１０６は、これらの変数をもとにフィルタ処理を行う。具体的には、垂直ＬＰＦ１０６は補正レベル、垂直フィルタＥＮ、垂直５タップＥＮ、垂直９タップＥＮ、垂直動きベクトルＶｙを使用する。

図１０（ａ）は、垂直ＬＰＦ１０６の処理の流れを示すフローチャートである。
ステップＳ１００１では、垂直フィルタＥＮが“１”か否か判断し、“１”であったらステップＳ１００２へ、“１”でなかったら垂直ＬＰＦ１０６によるフィルタ処理（垂直ＬＰＦ処理）は行わず、処理を終了する。

ステップＳ１００２では、垂直５タップＥＮと垂直９タップＥＮを確認し、タップ数を選択する。具体的には、垂直５タップＥＮが“１”の場合、タップ数を５とし、垂直９タップＥＮが“１”の場合、タップ数を９とする。
ステップＳ１００３では、垂直ＬＰＦ１０６が用いるフィルタのタップに対応する画素（補正の対象とする画素の周辺に位置する周辺画素）の動きベクトルの垂直方向成分（垂直動きベクトル）の絶対値｜Ｖｙ｜を順次スキャンする。

ステップＳ１００４では、スキャンされた画素の上記絶対値｜Ｖｙ｜が閾値ＭＴＨ（所定の閾値）より大きいか否か判断し、大きければステップＳ１００５へ、小さければステップＳ１００６へ進む。なお、ここでは式（１−１），（１−２）で用いた閾値と同じ閾値を用いているが、閾値はこれに限らない（式（１−１），（１−２）で用いた値と異なる値が閾値として設定されていてもよい）。また、閾値を用いずに動きベクトルの有無（大きさが０か否か）を判断してもよい（即ち、閾値として０が設定されていてもよい）。

本実施例では、静止領域の周波数成分を低下させるため、動き画素（｜Ｖｙ｜が閾値ＭＴＨより大きい画素）はフィルタ処理に用いないことが好ましい。
そこで、ステップＳ１００５では、スキャンされた画素の動きベクトルが大きいため（スキャンされた画素が動き画素であるため）、その画素に対しＬＰＦ演算フラグを“ＯＦＦ”にする。ＬＰＦ演算フラグとはフィルタ処理に用いる画素か否かを判断するためのフラグであり、“ＯＮ”になっている画素のみがフィルタ処理に用いられる。
ステップＳ１００６では、スキャンされた画素の動きベクトルが小さいため（スキャンされた画素が静止画素であるため）、その画素に対しＬＰＦ演算フラグをＯＮにする。

そして、全てのタップについてＬＰＦ演算フラグが決定するまでステップＳ１００３〜Ｓ１００７の処理を行う。全てのタップについてＬＰＦ演算フラグが決定したら、ステップＳ１００８へ進む。
ステップＳ１００８では、ＬＰＦ演算フラグに基づいて、式（１−３）の演算を行う。具体的には、周辺画素のうち、ＬＰＦ演算フラグが“ＯＦＦ”になっている画素に対応するフィルタ係数を“０”にする。

図１０（ｂ）の符号１０００で示されるような状況の場合には、以下の式（１−４）により補正後の画素値が算出される。なお、符号１０００はタップ数５の垂直ＬＰＦを示しており、各タップには１〜５の番号が付されている。番号３のタップに対応する画素が補正の対象となる画素である。また、黒で塗りつぶされた位置（番号５に対応する画素）は、｜Ｖｙ｜が閾値ＭＴＨより大きいため、フィルタ処理する際に考慮されない位置（画素）を示す。

次に、水平ＬＰＦ１０７の処理について説明する。水平ＬＰＦ１０７は、補正レベル、水平フィルタＥＮ、水平５タップＥＮ、水平９タップＥＮ、水平動きベクトルＶｙを用いてフィルタ処理を行う。なお、フィルタのタップ方向以外は垂直ＬＰＦ１０６の処理と同様のため、説明は省略する。

以上述べた補正処理を画面全体について行うことで、近くに映像の動きがある静止領域の高周波成分を低下させることができる（そのような領域をぼかすことができる）。それにより、動きのある領域の周辺の領域が多重に見えることによる妨害感を低減することができる。具体的には、低下応答速度の速い大画面ディスプレイにおいて動きのある被写体を追従視した際に、図１５のようにその被写体近傍の背景は多重に見えてしまう。本実施例では、そのような背景（目に残る背景）を、図１１のようにぼかすことで、背景が多重に見えることによる妨害感（違和感）を低減することができる。
また、そのような領域以外の領域（視聴者が注目する領域）については、高周波成分は低下されないため、視聴者が注目する領域の画像品質を低下せずに、上記妨害感を低減す
ることができる。

なお、本実施例では、ＬＰＦを用いて高周波成分を低下する構成としたが、コントラストや輝度を低下させる構成であってもよい。例えば、ガンマカーブを補正することにより、それらの値を低下させる構成であってもよい。
なお、本実施例では、部分領域の輝度値としてＡＰＬを用いたが、部分領域を代表する輝度値であればどのような輝度値であってもよい。例えば、部分領域内の静止画素の最大輝度値を、その部分領域の輝度値としてもよい。

なお、本実施例では垂直ＬＰＦ１０６の出力結果に対して水平ＬＰＦ１０７が処理を行うものとしたが、水平ＬＰＦ１０７が垂直ＬＰＦ１０６よりも先に処理を行ってもよい。なお、本実施例では、ＬＰＦとして４種類のＬＰＦ（タップ数が５個と９個、タップ方向が水平方向と垂直方向）を用いる構成としたが、ＬＰＦはこれに限らない。例えば、タップ数が３個，７個，１５個、タップ方向が（水平方向を０度、垂直方向を９０度として）３０°，４５°，６０°などのＬＰＦ（タップ方向が斜め方向のＬＰＦ；斜め方向にタップが並んだＬＰＦ）を用いてもよい。そして、静止画素付近の映像の動きが斜め方向である場合には、垂直ＬＰＦ１０６と水平ＬＰＦ１０７の両方を用いるのではなく、タップ方向が斜め方向のＬＰＦを用いてもよい。また、静止画素付近の映像の動きに応じて、垂直ＬＰＦ１０６の処理と水平ＬＰＦ１０７の処理を重み付けして行ってもよい。
なお、本実施例では、絵柄特徴量算出部１０３が画素毎に映像の動きがあるか否かを判断する構成としたが、そのような判断は行わなくてもよい。例えば、そのような判断は距離判定部１０４でも行われるため、絵柄特徴量算出部１０３は、判断結果（画素毎の映像の動きがあるか否かの判断結果）を距離判定部１０４から取得してもよい。

＜実施例２＞
以下、本発明の実施例２に係る画像処理装置及び画像処理方法について説明する。なお、実施例１と同様の機能については説明を省略する。

図１２はディスプレイ１３００と視聴者１３０１との距離による視野の違いを表している。点線で囲まれた領域１３０２，１３０３は視聴者１３０１の視野を示している。ディスプレイ１３００にはテロップ「ＡＢＣ」が表示されており、矢印Ｘの方向に動いている。
図１２（ａ）はディスプレイ１３００と視聴者１３０１との距離が近い状態を示している。ディスプレイ１３００と視聴者１３０１との距離が小さい場合には、視聴者１３０１の視野は領域１３０２のような狭い領域となる（ディスプレイの画面のおける視野の占める割合は小さくなる）。そのため、テロップが矢印Ｘの方向に動くと、視野（領域１３０２）もテロップに同期して矢印Ｘの方向に動くことになる。
図１２（ｂ）はディスプレイ１３００と視聴者１３０１との距離が図１２（ａ）に比べ遠い状態を示している。ディスプレイ１３００と視聴者１３０１との距離が大きい場合には、視聴者１３０１の視野は領域１３０３のような広い領域となる（ディスプレイの画面のおける視野の占める割合は大きくなる）。そのため、テロップが矢印Ｘの方向に動いても、視野（領域１３０３）は移動しないものと考えられる。

即ち、ディスプレイと視聴者との距離が小さいほど、映像の動きを追従視する際の視野の移動量が大きくなる。そのため、動きのある領域の周辺の領域が多重に見えることによる妨害感が大きくなる。
そこで、本実施例では、入力映像を表示する表示装置と視聴者との距離が近いほど、補正処理の補正度合いを大きくする。
以下、詳しく説明する。

本実施例に係る画像処理装置は、実施例１の構成に加え、周辺人物検出部を更に有する。
（周辺人物検出部）
周辺人物検出部は、入力映像の視聴者を検出する（検出手段）。具体的には、入力映像を表示する表示装置（ディスプレイ）の視聴者が、表示装置の近くに存在しているか否かを人感センサなどを使用して検出する。例えば、周辺人物検出部（人感センサ）は、ディスプレイと同じ位置に設けられており、ディスプレイの位置を中心とする所定の領域（例えば半径３０ｃｍ，５０ｃｍ，１ｍなどの領域）内の人物（視聴者）を検出する。
そして、検出結果に応じて、周辺人物判定フラグを決定し、フィルタ係数生成部へ出力する。周辺人物判定フラグは、ディスプレイの近くに人間（視聴者）がいる場合に所定の処理を実行するためのフラグである。具体的には、周辺人物検出部は、視聴者を検出していないときには周辺人物判定フラグを“０”とし、人物が検出しているときに“１”とする。
なお、人物の検出方法は、上述した人感センサを用いる手法など、どのような方法であってもよい。

（フィルタ係数生成部の処理）
本実施例では、フィルタ係数生成部は、実施例１の方法で決定した補正レベルを、周辺人物検出フラグに応じて補正する。具体的には、周辺人物検出フラグが“１”であった場合には、視聴者がディスプレイの近くで視聴している可能性が高いため、補正レベル“１”を補正レベル“２”に補正する。即ち、距離係数が“１”の場合に補正レベルを“２”とする。なお、補正レベル“０”から“１”に補正すると画面全体がぼやけてしまうため、そのような補正は行わない。

このように、本実施例では、ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくされる。それにより、視聴者の視野の変化を考慮した補正処理が行われるため、動きのある領域の周辺の領域が多重に見えることによる妨害感をより確実に低減することができる。
また、ディスプレイの画面のおける視野の占める割合は、ディスプレイと視聴者の距離でなく、ディスプレイの画面の大きさによっても変化する。具体的には、ディスプレイの画面が大きいほど、ディスプレイの画面のおける視野の占める割合は小さくなり、ディスプレイの画面が小さいほど、ディスプレイの画面のおける視野の占める割合は大きくなる。そのため、ディスプレイの画面が大きいほど、補正処理の補正度合いを大きくすることが好ましい。それにより、上記作用効果を同様の効果を得ることができる。

なお、本実施例では、実施例１の方法で決定された補正レベル“１”を補正レベル“２”に補正する構成としたが、補正方法はこれに限らない。例えば、補正レベルが４段階に区分されている場合には、補正レベル“１”，“２”をそれぞれ補正レベル“２”，“３”に補正すればよい（補正レベルの値が大きいほど補正度合いが大きいものとする）。また、距離判定部がディスプレイと視聴者との距離に基づいて距離係数を補正する構成であってもよい。ディスプレイと視聴者の距離が近いほど補正処理の補正度合いが大きくなればよい。
なお、本実施例では、周辺人物検出部が視聴者が所定の領域内に存在するか否かを判断する構成としたが、周辺人物検出部は、視聴者を検出した場合にディスプレイからどの程度離れているかを認識可能に構成されていてもよい。

＜実施例３＞
以下、本発明の実施例３に係る画像処理装置及び画像処理方法について説明する。なお、実施例１と同様の機能については説明を省略する。

図１３は、パンされた映像の一例を示す図である。パンされた映像とは、動く注目物（被写体）を追従して撮影したことにより背景が動いている映像である。なお、図１３は矢印Ｘの方向と逆に動いている被写体１７０１を追従して撮影した映像である。この映像において、被写体１７０１は静止しており、背景は矢印Ｘの方向に動いている。このような映像に対し実施例１，２で述べた補正処理を施すと、被写体がぼけてしまう。そこで、本実施例では、入力映像がパンされた映像である場合に、補正処理を行わないものとする。以下、詳しく説明する。

本実施例に係る画像処理装置は、実施例１の構成に加え、パン判定部を更に有する。
（パン判定部）
パン判定部は、動きベクトル検出部で検出された動きベクトルに基づいて、入力映像がパンされた映像か否かを判定する（パン判定手段）。例えば、入力された映像がパンされた映像か否かは、動きベクトルの水平方向成分（水平動きベクトルＶｘ）が０より大きい画素の数、水平動きベクトルＶｘが０より小さい画素の数から判断することができる。また、動きベクトルの垂直方向成分（垂直動きベクトルＶｙ）が０より大きい画素の数、垂直動きベクトルＶｙが０より小さい画素の数から判断することができる。具体的には、以下の条件式で判断される。パン判定部は、動きベクトル検出部で検出された動きベクトルが以下の式のいずれかを満たす場合に、入力映像がパンされた映像であると判断する。なお、以下の式において、ＰＡＮＴＨは、映像がパンされた映像か否かを判定するための閾値である。

そして、パン判定部は、判断結果に応じてパン判定フラグを決定し、フィルタ変換生成部へ出力する。パン判定フラグは、入力映像がパンされた映像である場合に所定の処理を実行するフラグである。具体的には、パン判定部は、入力映像がパンされていない映像であると判断した場合にはパン判定フラグを“０”とし、パンされた映像であると判断した場合には“１”とする。

（フィルタ係数生成部の処理）
本実施例では、フィルタ係数生成部は、パン判定フラグに応じて、補正処理を行うか否かを判断する。
例えば、図６のフローチャートにパン判定フラグを確認する処理を追加すればよい。具体的には、そのような処理は、ステップＳ６０１とステップＳ６０２の間に行えばよい。ステップＳ６０１の次に、パン判定フラグが“０”の場合にはステップＳ６０２へ進み、“１”の場合には、処理を終了すればよい。

このように、本実施例では、入力映像がパンされた映像である場合には補正処理を行わないため、補正処理によって注目領域がぼやけてしまうことを抑制することができる。
なお、図１４（ａ）に示すように、映像の動きのある領域が複数存在する場合には、視聴者が１つの被写体を追従視している確率が低い。そのため、そのような場合には、領域が多重に見えることによる妨害感も小さい物と考えられる。図１４（ａ）は、３つの領域（動きベクトルがそれぞれＡ，Ｂ，Ｃの領域）が存在する場合の例である。
そこで、画像処理装置が、動き領域が現フレーム画像内に複数存在するか否かを判定する機能（動き領域判定手段）をさらに有していてもよい。そして、動き領域が現フレーム画像内に複数存在する場合に、補正処理を行わないような構成にしてもよい。それにより、得られる効果が低い入力映像に対しては補正処理が行われなくなるため、処理負荷を低減することができる。
なお、動き領域が複数存在するか否かは、動きベクトル検出部で検出された動きベクトルに基づいて判断すればよい。動き領域が複数存在するか否かは、例えば、水平動きベクトルＶｘの分布と垂直動きベクトルＶｙの分布を用いて判断することができる。図１４（ｂ）は、水平動きベクトルＶｘの分布（横軸をＶｘ、縦軸をその度数（画素数）とするヒストグラム）の一例を示す。図１４（ｃ）は、垂直動きベクトルＶｙの分布（横軸をＶｙ、縦軸をその度数（画素数）とするヒストグラム）の一例を示す。具体的には、動き領域が複数存在する場合には、図１４（ｂ），（ｃ）に示すように、度数分布は複数のピーク（ピークＡ，Ｂ，Ｃ）を有することとなる。そのため、そのような場合には、動き領域が複数存在するとみなし、補正処理を行わないものとしてもよい。

１０２ 動きベクトル検出部
１０４ 距離判定部
１０５ フィルタ係数生成部
１０６ 垂直ＬＰＦ
１０７ 水平ＬＰＦ

Claims (12)

1. 入力映像から動きベクトルを検出する動き検出手段と、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定する判定手段と、
   前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施す補正手段と、を有することを特徴とする画像処理装置。
2. 補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の周波数分布を算出する周波数分布算出手段
   を更に有し、
   前記補正手段は、補正の対象とする画素が属する分割領域の周波数分布が特定の周波数に集中している又は略均一な分布である場合に、該画素に対して前記補正処理を施す
   ことを特徴とする請求項１に記載の画像処理装置。
3. 補正の対象とする画素を含むフレーム画像を複数の分割領域に分割し、分割領域毎に、その分割領域内に位置する静止画素を用いて該分割領域の輝度値を算出する輝度値算出手段
   を更に有し、
   前記補正手段は、補正の対象とする画素が属する分割領域の輝度値が所定の輝度値より高い場合に、該画素に対して前記補正処理を施す
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、補正の対象とする画素と前記動き画素との距離が近いほど、前記補正処理の補正度合いを大きくする
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画素毎の映像の動きに基づいて、映像の動きがある動き領域が補正の対象とする画素を含むフレーム画像内に複数存在するか否かを判定する動き領域判定手段
   を更に有し、
   前記補正手段は、前記動き領域が前記フレーム画像内に複数存在する場合に、前記補正処理を行わない
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記補正手段は、前記入力映像を表示する表示装置の画面が大きいほど、前記補正処理の補正度合いを大きくする
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記入力映像の視聴者を検出する検出手段
   を更に有し、
   前記入力映像を表示する表示装置と前記視聴者との距離が近いほど、前記補正処理の補正度合いを大きくする
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記動きベクトルに基づいて、前記入力映像がパンされた映像か否かを判定するパン判定手段
   を更に有し、
   前記補正手段は、前記入力映像がパンされた映像である場合に、前記補正処理を行わない
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記補正処理は、フィルタ処理であり、
   前記補正手段は、補正の対象とする画素の周辺に位置する周辺画素のうち、動きベクトルの大きさが所定の閾値より大きい画素に対応するフィルタ係数を０にする
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記補正処理は、フィルタ処理であり、
    前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルが大きいほどタップ数の多いフィルタを用いて前記フィルタ処理を行う
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記補正処理は、フィルタ処理であり、
    前記補正手段は、前記所定の範囲内に存在すると判定された動き画素の動きベクトルの向きに応じた方向にタップが並んだフィルタを用いて前記フィルタ処理を行う
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 入力映像から動きベクトルを検出するステップと、検出された動きベクトルを用いて、画素毎に映像の動きがあるか否かを判断し、映像の動きが無いと判断した静止画素に対し、該画素から所定の範囲内に映像の動きがあると判断した動き画素が存在するか否かを判定するステップと、
    前記所定の範囲内に動き画素が存在すると判定された静止画素に対し、高周波成分、コントラスト、及び、輝度の少なくともいずれかを低下させる補正処理を施すステップと、を有することを特徴とする画像処理方法。

Images