JP5793975B2 - 画像処理装置、画像処理方法、プログラム、記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム、記録媒体に関する。

画角の大きな広角レンズを用いることで広範囲の被写体を一枚の画像に撮像できる技術がある。近年では、該技術が、テレビ会議や車載カメラで利用されるようになってきている。しかし、広角レンズで撮影した画像には、遠近感（パースペクティブ）が強調される問題や、歪曲収差（幾何学的な歪み）により人が歪んで見える問題が生じる。例えば広角レンズを用いてテレビ会議を撮影した場合、撮影した画像中の人の顔が歪んでいたり（歪曲収差の問題）、実際よりも人が遠くに座っているように感じたりしてしまう（遠近感の強調の問題）。これらの問題に対して、歪曲収差補正や遠近感補正の各補正技術が既に知られている（例えば、特許文献１、特許文献２参照）。

特許文献１では、高画質な画像を効率的に得る目的で、推定された撮影シーンに応じて所定の画像処理、具体的には諧調制御や幾何歪み補正、平滑化処理などを行う画像処理装置が開示されている。

特許文献２では、画像撮影装置を低コスト化する目的で、水平方向だけの座標変換で歪曲収差の大きい魚眼画像を人間が見易い画像に補正する画像処理装置が開示されている。

しかし、特許文献１の画像処理装置では、歪曲収差を補正することはできるが遠近感の強調を解消できないという問題がある。

また、特許文献２の画像処理装置は、歪曲収差を補正するものであるが、撮影シーンによっては水平方向だけの補正では十分でない場合もあり、歪曲収差の補正を十分に行うことはできないという問題がある。

そこで、本発明は、上記のような問題を鑑みて、歪曲収差と遠近感のバランスがとれた画像を生成する画像処理装置、画像処理方法、プログラム、記録媒体を提供することを目的とする。

上記目的を達成するため、画像を取得する画像取得部と、前記画像の内容について示す画像情報を取得する情報取得部と、前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、を有し、前記画像情報が、前記画像の内容は人物であることを示す場合には、前記補正部は、前記歪みの水平方向成分を全て、または、略全て解消し、前記歪みの垂直方向成分を所定割合残すように補正することを特徴とする画像処理装置を提供する。

本発明の画像処理装置、画像処理方法、プログラム、記録媒体によれば、歪曲収差と遠近感のバランスがとれた画像を生成できる。

本実施例の画像処理装置の機能構成例を示した図。 本実施例のＣＰＵの機能構成例を示した図。 本実施例の画像処理装置の処理フローを示した図。 処理対象の一例を示した図。 広角レンズで撮影された画像の一例を示した図。 注目画素などを示した図。 補正前の画像と補正後の画像の関係を示した図。 補正後の画像の一例を示した図。 画像情報と、補正率α、βの対応を示した図。 別の実施形態の画像処理装置の機能構成例を示した図 別の実施形態のＣＰＵの機能構成例を示した図。 別の実施形態の画像処理装置の処理フローを示した図。 本実施形態の通信システムの機能構成例を示した図。 別の実施形態の画像処理装置の機能構成例を示した図。 画像処理装置の外観図の一例を示した図。 分析部の処理フローを示した図。 分析部の別の処理フローを示した図。 分析部が文字などの分析処理を説明するための図。

以下、本発明を実施するための形態の説明を行う。なお、同じ機能を持つ構成部や同じ処理を行う過程には同じ番号を付し、重複説明を省略する。
［実施形態１］
図１３に、本実施形態１の画像処理装置により構成される通信システム２０００の機能構成例について示す。図１３の例では、Ｎ個（Ｎは２以上の整数）の画像処理装置１００_ｎ（ｎ＝１，...，Ｎ）がネットワーク１０００に接続されている。以下の説明では、Ｎ個の画像処理装置１００_ｎ（ｎ＝１，...，Ｎ）のうち、注目する画像処理装置を画像処理装置１００_１とするが、他の画像処理装置１００_２〜１００_Ｎのうちの１つを注目する画像処理装置としてもよい。また、画像処理装置１００_ｎを総じていう場合には、画像処理装置１００という。

通信システム２０００では、Ｎ個の画像処理装置１００_ｎ（ｎ＝１，...，Ｎ）のうち、複数の画像処理装置と、他の複数の画像処理装置との間で、ネットワーク１０００を経由して、画像などが送受信される。更に詳細には、画像などを送信する画像処理装置１００は、当該画像処理装置１００に入力された画像に対して補正を施し、当該補正後の画像を、他の複数の画像処理装置１００に送信する。また、通信システム２０００では、画像などを送信する画像処理装置１００が、他の複数の画像処理装置１００に対して、一方向で画像を送信するようにしてもよい。

以下の説明では、当該通信システム２０００は、テレビ電話会議に用いられるものとして、説明を行なうが、他の用途に用いても良い。テレビ電話会議で用いられる場合には、各画像処理装置１００_ｎ（ｎ＝１，...，Ｎ）のそれぞれは、互いに離れた会議場所に設置される。そして、該会議場所に一人以上の参加者が出席し、該一人以上の参加者は、口頭や、ホワイトボードや用紙などに文字・記号を記載することで、テレビ電話会議が行われる。

図１に、実施形態１の画像処理装置１００の機能構成例を示す。図１に示された画像処理装置１００は、撮影部１０と、制御部２０と、映像出力部３０と、入力部４０と、ＣＰＵ５０と、記憶部６０と、通信部８５と、を有し、これらがバス７０により接続されている。

撮影部１０は、所謂カメラユニットであり、例えば、広角レンズや撮像素子などで構成される。撮影部１０により、様々な画像が撮影される。制御部２０は、画像処理装置１００全体の制御を行う。映像出力部３０は補正後の画像を表示装置１２０に出力し、当該補正後の画像を表示装置１２０に表示させる。表示装置１２０とは、被写体の画像や操作用アイコンなどを表示するものであり、液晶や有機ＥＬで構成される。また、表示装置１２０は、映像出力部３０とケーブル１２０ｃにより接続される。

通信部８５はネットワーク１０００で繋がっている他の画像処理装置に補正後の画像を送信する。通信部８５は、例えば、ネットワークＩ／Ｆ部である。通信部８５は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して、接続された他の画像処理装置とのインタフェースである。

入力部４０は、ユーザインターフェースの役割を果たし、キースイッチ（ハードキー）やタッチパネル機能（ＧＵＩのソフトウェアキーを含む：Graphical User Interface）を備えたＬＣＤ（Liquid Crystal Display）などから構成される。ユーザは、入力部４０から様々な情報を入力する。

記憶部６０は、一時的に画像を記憶したり、様々な情報を記憶する。記憶部６０とは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。また、記憶部６０には、制御部２０が実行するＯＳや、アプリケーションソフトウェアなどのプログラムやデータが、記憶又は一時保存されるようにしてもよい。また、記憶部６０には、当該アプリケーションソフトウェアなどに関連するデータが記憶されるようにしてもよい。入力部４０、記憶部６０の詳細については後述する。

また、図１４に、図１の別の実施形態である画像処理装置１００'の機能構成例を示す。図１４は、図１と比較して、音出力部１２および音入力部１４が追加されたものである。音出力部１２とは、他の画像処理装置１００からネットワーク１０００経由で受信した音声信号についての音声を出力するものである。音出力部１２とは例えば、スピーカである。

また、音入力部１４は、画像処理装置１００が設置されている場所に存在する人物（例えば、テレビ会議の参加者）が発生した音声を収音するものである。音入力部１４は例えば、マイクである。音声を用いない用途で、通信システム２０００を用いる場合には、図１記載の画像処理装置１００を用いればよく、テレビ電話会議などの用途で、通信システム２０００を用いる場合には、図１４記載の画像処理装置１００'を用いればよい。

図１５に、図１４に示す画像処理装置１００'の具体的外観図を示す。以下、画像処理装置１００'の長手方向をＸ軸方向とし、水平面内でＸ軸方向と直交する方向をＹ軸方向（幅方向）とし、Ｘ軸方向およびＹ軸方向に直交する（鉛直方向、高さ方向）をＺ軸方向として説明する。

画像処理装置１００'は、筐体１１００、アーム１２００、ハウジング１３００を備えている。このうち、筐体１１００の右側壁面１１３０には、音収音用の孔１１３１が設けられる。当該音収音用の孔１１３１を通過した、外部からの音が、内部に設けられた音入力部１４に収音される。

また、上面部１１５０には、電源スイッチ１０９と、音出力用の孔１１５１が設けられる。ユーザが、電源スイッチ１０９をＯＮにすることで、画像処理装置１００'を起動させることが出来る。また、音出力部１２から出力された音は、音出力孔１１５１を通過して、外部に出力される。

また、筐体の１１００の左側壁面１１４０側には、アーム１２００及びカメラハウジング１３００を収容するための、凹部形状の収容部１１６０が形成されている。また、筐体１１００の左側壁面１１４０には、接続口（図示せず）が設けられる。接続口は、映像出力部３０と、表示装置１２０（ディスプレイ）とを接続するためのケーブル１２０ｃが接続されるものである。

また、アーム１２００は、トルクヒンジ１２１０により、筐体１１００に取り付けられる。アーム１２００が、筐体１１００に対して、１３５度のチルト角ω１の範囲で、上下方向に回転可能に構成されている。図１５では、チルト角ω１が９０度の状態であることを示している。チルト角ω１を０度にすることで、アーム１２００及びカメラハウジング１３００を収容部１１６０に収容することが出来る。

カメラハウジング１３００には、内蔵型の撮影手段１０が収容されている。当該撮像手段１０により、人物（例えば、テレビ会議の参加者）や、用紙に記載された文字や記号、部屋などを撮影することが出来る。また、カメラハウジング１３００には、トルクヒンジ１３１０が形成されている。カメラハウジング１３００には、トルクヒンジ１３１０を介して、アーム１２００に取り付けられている。カメラハウジング１３００がアーム１２００に対して、図１５で示されている状態を０度として、±１８０度のパン角ω２の範囲で、かつ、±４５度のチルト角ω３の範囲で、上下左右方向に回転可能に構成されている。

また、本実施例の画像処理装置１００は、図１５に記載されたものではなく、他の構成であっても良い。例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に、音出力部１２や音入力部１４を外部接続したものを用いてもよい。また、本実施例の画像処理装置１００をスマートフォンなどの携帯型端末に適用しても良い。

図２に、実施形態１のＣＰＵ５０の機能構成例を示し、図３に、実施形態１の画像処理装置の処理フローを示す。まず、撮影部１０が処理対象の（被写体の）画像を撮影する（ステップＳ２）。以下の説明では、図４に示すように、会議の画像が処理対象の画像であるとして説明する。なお、図４では、５人の人物がテーブルを囲って、会議をしている場面を簡略的に示している。図５は、撮影部１０が広角レンズを用いたカメラユニットである場合に、図４の会議風景を撮影した場合に、樽型の歪曲収差が生じている画像の例である。また、歪曲収差は、「幾何学的な歪み」のことであり、「歪み」の原因の１つである。一般的に、光軸中心Ｃ（画像中央）付近は、歪曲収差はほとんど生じないが、光軸中心Ｃから離れるほど、歪曲収差は大きくなる傾向にある。特に、樽型歪みでは、光軸中心に向かって押しつぶされるような歪みが生じる。また、垂直方向とは、被写体の鉛直方向（重力方向）であり、Ｙ軸方向とする。また、水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であり、Ｘ軸方向（図４参照）とする。

撮影部１０中の撮像素子で、光学レンズを通った光学像は電気信号（画像データ）に変換される。撮像素子は、ＣＣＤやＣＭＯＳセンサなどで構成されることが多い。撮像素子がベイヤー配列（一画素にＲ、Ｇ、Ｂのいずれか一成分が割り当てられた画素データ）である場合には、更にベイヤー変換を施して各画素にＲＧＢの各色成分を割り当てた画像を生成する。

撮影された処理対象の画像は、画像取得部５０２に入力される。画像取得部５０２は、入力された処理対象の（被写体の）画像を取得する（ステップＳ４）。また、画像取得部５０２が、上記ベイヤー変換を行っても良い。画像取得部５０２は、例えば、ＲＧＢ画像、またはＵＶ画像、またはＹＣｂＣｒ画像を生成する。

一方、入力部４０から画像情報が入力される（ステップＳ６）。ここで、画像情報とは、撮影部１０が撮影した画像の内容（例えば、撮影場面）について示す情報である。ここで、画像情報とは、「画像が人物の映っている場面であることを示す情報（以下、単に「人物情報」という。」または「画像がホワイトボードや用紙などに記載された文字や記号などを示す情報（以下、単に「文字情報」という。）」であるとする。画像情報をその他の内容について示す情報であるとしてもよい。また、以下では、画像情報が人物情報である場合を「人物モード」とし、画像情報が文字情報である場合を、「文字モード」とする。画像情報（モード）は、予め定めており、記憶部６０に記憶されている。

入力部４０は、上述したように、タッチパネル機能を有するものとしてよく、複数の画像情報（複数の撮影モード（この例では、人物モードまたは文字モード））をユーザに対して表示し、ユーザに選択させる。ユーザにより、人物モードが選択されると、入力部４０から、画像情報として人物情報が入力され、文字モードが選択されると、入力部４０から画像情報として文字情報が入力される。このようにして、入力部４０からユーザにより画像情報が入力される。ユーザは、画像処理装置１００をテレビ電話会議で用いる場合には、入力部４０でから、人物モードを選択すればよい。

入力部４０から入力された画像情報は情報取得部５０４に入力される。情報取得部５０４は、入力された画像情報を取得する（ステップＳ８）。

画像取得部５０２で取得した画像、および、情報取得部５０４で取得した画像情報は、補正部５０６に入力される。補正部５０６は、画像情報に基づいて、画像の歪みの一部を残すように補正する。更に詳細には、補正部５０６は、画像情報に基づいて、画像の歪曲収差の一部を残すように補正する、としてもよい。ここで、画像の歪みの一部とは、画像の所定方向（例えば、垂直方向、または水平方向、または垂直方向ベクトルの所定割合と水平方向ベクトルの所定割合が加算された方向（つまり、斜め方向）の歪みの所定割合（所定量）をいう。また、「画像情報に基づいて」とは、「画像情報が、「人物情報」であるか、「文字情報」であるか、を判断する」ということである。
＜画像情報が、人物の画像であることを示す場合＞
まず、画像情報が「画像の内容が人物の画像である」ことを示す場合について説明する。つまり、ユーザにより、入力部４０から「人物モード」が選択された場合（画像情報が人物情報である場合）である。ここで、画像の垂直方向とは、画像を平面で示した場合に、会議の奥行き方向であることを意味し、画像の水平方向とは、画像を平面で示した場合に、垂直方向と直交する方向であることを意味する。

一般的に、画像内の人物の顔や体が、歪みにより曲がって見えることは、ユーザにとって好ましくない。従って、補正部５０６は、歪みの水平方向成分（図４記載のＸ軸方向成分）に関しては、歪みを全て解消するように補正する。また、補正部５０６は、歪みの垂直方向（奥行き方向）成分（図４記載のＹ軸方向成分）に関しては、歪みを所定割合（所定量）残すように、補正する。このように補正することで、人物の画像においては、歪曲収差を解消しつつ、遠近感の強調を抑えることができる。

図６に、変換前の画像の画素と、変換後の画像の画素との、関係について示す。図６を用いて補正部５０６の処理内容を説明する。まず、用語の説明を行う。図６の１つの升目を１つの画素とする。そして、光源中心Ｃ（図５も参照）を原点（座標は（０、０））とする。注目画素とは、補正前の画像（実像）の全画素のうち、注目する任意の画素をいう。注目画素の座標をＰ１（ｘ'、ｙ'）とする。また、歪みを所定量残すように画像を補正した場合（つまり、画像情報が人物情報である場合）の注目画素の変換後の座標をＰ２（ｘ''、ｙ''）とする。また、画像の歪みを残さないように補正した場合（後述する）の注目画素の変換後の座標をＰ０（ｘ、ｙ）とする。

補正部５０６が画像を補正することで、Ｐ１（ｘ'、ｙ'）はＰ２（ｘ''、ｙ''）に変換される。図７に補正前の画像の画素（変換前の画素であり、「変換前画素」という。）と、補正後の画像の画素（変換後の画素であり、「変換後画素」という。）とを模式的に示す。この例での補正部５０６の補正処理は、大略して、「対応関係を求める処理（以下、「第１処理」という。）」と「輝度値を求め、設定する処理（以下、「第２処理」という。）」とに分けられる。図７を用いて補正部５０６の処理を簡略的に説明する。

＜対応関係を求める処理（第１処理）＞
まず、補正部５０６は、第１処理として、変換後画素に対応する、変換前画素を求める。また、図７の例では、Ｘ軸方向の変換後画素の数はＮ_ｘ個とし、Ｙ軸方向の変換後画素の数はＮ_ｙ個とする。つまり、変換後画素の数は、Ｎ_ｘ×Ｎ_ｙ個存在する。

図７の例では、変換後画素（１、１）に注目すると、該変換後画素（１、１）は変換前画素（３、３）と対応する。変換後画素に対応する変換前画素の求め方は後述する。そして、注目する変換後画素を（２、１）、（３、１）・・・（Ｎ_ｘ、１）、（１、２）（１、３）・・・（１、Ｎ_ｙ）・・・（Ｎ_ｘ、Ｎ_ｙ）と変化させてゆき、全ての変換後画素に対応する変換前画素の座標を求める。

ここで、変換前画素Ｐ１（ｘ'、ｙ'）と変換後画素Ｐ２（ｘ''、ｙ''）との間に、以下の式（１）が成り立つ。ただし、座標（ａ、ｂ）の変換前画素を「変換前画素（ａ、ｂ）」とし、座標（ｃ、ｄ）の変換後画素を「変換後画素（ｃ、ｄ）」とする。

ここで、ｈは理想像高であり、つまり光軸中心Ｃ（０、０）からＰ０（ｘ、ｙ）までの距離であり、ｈ＝（ｘ^２＋ｙ^２）^１／２となる。それぞれの注目画素についてのｈの値は、キャリブレーション等により予め測定される値である。変換係数ｃ_ｍは、（ｘ、ｙ）（ｘ'、ｙ'）から事前に求められるものである。また、定数Ｍは、撮影部１０のカメラユニットの種類などから予め定められるものである。また、補正率α、βは歪曲収差の軽減具合を定める値であり、０≦α≦１、０≦β≦１となり、画像情報に基づいて定められるものである。α、βは大きくなるほど、歪曲収差の軽減は大きくなり、α、βは小さくなるほど、歪曲収差の軽減は小さくなる。

また、画像情報が、人物情報である場合には、水平方向成分（Ｘ軸方向成分）の歪みを完全に、または、略完全に解消するように補正する。ここで、水平成分の歪みを完全に解消するように補正する場合には、α＝１に設定する。また、水平成分の歪みを略完全に解消する場合には、α＝０．９など、αを１に近い値に設定する。また、画像情報が、人物情報である場合には、歪みの垂直方向成分（Ｙ軸方向）の歪みを所定割合残して補正し、例えば、β＝０．３に設定する。

つまり、画像情報が人物情報である場合には、補正部５０６は、解消される歪みの水平方向成分が、解消される歪みの垂直方向成分より大きくなるように補正することが好ましい。換言すれば、αを１とし、または、αを１に近い値（例えば、０．９）とし、かつ、α＞βとすることが好ましい。

θは、水平線Ａと注目画素Ｐ１（ｘ'、ｙ'）とがなす角度であり、注目する変換後画素が変化する度に、θの値を測定する。なお、歪曲収差の特性上、原点（０、０）、Ｐ１（ｘ'、ｙ'）、Ｐ０（ｘ、ｙ）は一直線上（理想像高ｈの矢印）に位置する。

上記式（１）から、変換後の座標Ｐ２（ｘ''、ｙ''）に対応する変換前の座標Ｐ１（ｘ'、ｙ'）を求めることができる。このようにして、Ｎ_ｘ×Ｎ_ｙ個、全ての変換後画素に対応する変換前画素の座標を求める。なお、上記式（１）中のｃ_ｍ、Ｍの値は、記憶部６０に記憶させておく。

＜輝度値を求め、設定する処理（第２処理）＞
次に、補正部５０６は、第２処理として、式（１）により算出された全ての変換前画素Ｐ１（ｘ'、ｙ'）について輝度値を求める。輝度値の求め方の手法は公知の技術を用いればよい。補正部５０６は、求められた変換前画素の輝度値を、対応する変換後画素の輝度値として設定する。

例えば、上記式（１）から、注目した変換後画素が（１、１）である場合には、この注目した変換後画素（１、１）に対応する変換前画素（３、３）を求め（第１処理）、該変換前画素（３、３）の輝度値を求める（第２処理）。該求められた変換前画素（３、３）の輝度値を変換後画素（１、１）に設定する。その他の全ての変換後画素についても上記第１処理、第２処理を行う。このようにして、補正部５０６は、補正後の画像を生成できる。

また、補正部５０６は、全ての変換後画素に対応する変換前画素を求めた後に、該全ての変換前画素の輝度値を求めるようにしてもよい。また、変換後画素に対応する変換前画素を１つ求めた後に、該求められた変換前画素の輝度値を求めるようにしてもよい。また、所定数、変換後画素に対応する変換前画素を求め、該所定数求められた変換前画素の輝度値を全て求め、この処理を繰り返すことで、全ての変換前画素の輝度値を求めるようにしてもよい。

生成された補正後の画像は、映像出力部３０もしくは通信部８５に入力される。映像出力部３０は、入力された補正後の画像をケーブル１２０ｃを経由させて表示装置１２０（図１や図１４参照）に出力する。通信部８５は、ネットワーク１０００（図１３参照）で接続されている他の画像処理装置に補正後の画像を送信する。取得された画像が図４である場合には、図８のような画像を生成でき、図４とほぼ同一の画像を得て、表示装置１２０に表示させたり、他の画像処理装置に送信することが出来る。
＜画像情報が、ホワイトボードや用紙などに書かれた文字の画像であることを示す場合＞
次に、ユーザにより、「文字モード」が選択された場合について説明する。文字モードが選択された場合、つまり、画像が、例えばホワイトボードや用紙などに描かれた文字や図などの場合には、歪曲収差により文字などが歪むのは非常に見難くなり、ユーザにとって許容し難い。従って、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て、または、略全て解消するように、補正部５０６は、補正を行う。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消する場合には、上記式（１）において、補正率α＝β＝１として、変換後の座標Ｐ２（ｘ''、ｙ''）と対応する変換前の座標Ｐ１（ｘ'、ｙ'）を求める（第１処理）。また、水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、略全て解消する場合には、上記式（１）では、補正率α、βの内少なくとも一方を１に近い値（例えば、０．９）として、変換後の座標Ｐ２（ｘ''、ｙ''）と対応する変換前の座標Ｐ１（ｘ'、ｙ'）を求める（第１処理）。

そして、変換前画素Ｐ１（ｘ'、ｙ'）全ての輝度値を求め、対応する変換後画素に設定する（第２処理）。水平方向成分の歪曲収差、垂直方向成分の歪曲収差ともに、全て解消するように補正した場合には、図６では、Ｐ１（ｘ'、ｙ'）はＰ０（ｘ、ｙ）に変換される。これ以外の処理については、「人物モード」が選択された場合と同様なので、説明を省略する。

また、画像情報ごとに、予めα、βの値を定めておき、テーブル表として、記憶部６０に記憶させておく。図９に記憶例を示す。図９に示す例では、画像情報が人物情報である場合には、例えば、α＝１、β＝０、３とし、画像情報が文字情報である場合には、例えば、α＝β＝１とする。また、人物情報、文字情報以外の画像情報に対応する補正率α、βを定めておいてもよい。そして、補正部５０６が、情報取得部５０４が取得した画像情報に対応するα、βの値を抽出し、上記式（１）に適用して、補正を行なう。

更に補正率を場面（画像情報）ごとに固定した値にするのではなく、ユーザが入力した値を補正率としてもよい。この場合、事前に入力部でユーザからの補正率の入力を受け付けて、それを図９に示すテーブル表として記憶部６０に記憶させておけばよい。

特許文献１を含む従来の技術では、樽型の歪曲収差が生じている撮影画像を補正する場合、光軸中心から放射状に引き伸ばすように、画像を補正する場合が多い。引き伸ばした後は、補正前の画像よりも画像サイズが大きくなるため、補正後の画像を縮小して補正前の画像のサイズと同じサイズにする。これにより、歪曲収差の補正後は、光軸中心（画像中央）付近の被写体は小さくなってしまい、画像全体として遠近感が強調された画像になる傾向がある。

本実施形態１の画像処理装置であれば、情報取得部５０２により取得された画像情報に基づいて、補正部５０６は、画像の歪みの一部を残すように補正する。本実施例の画像処理装置では、上記式（１）や図９に示すα、βの値を用いて、入力された画像の補正を行なう。

更に、本実施形態１の画像処理装置は、撮影対象物（人物または文字・記号）によって、歪曲収差の軽減具合を調整できることから、遠近感の強調をできるだけ抑えて、歪曲収差を軽減した画像、つまり、歪曲収差と遠近感のバランスがとれた画像を生成できる。つまり、撮影される画像が人物である場合には、歪みの水平方向成分は、所定量残し、歪みの垂直方向成分は全てまたは略全て解消するように、補正する。このように補正することで、歪曲収差と遠近感のバランスのとれた画像（人物画像）を生成出力することができる。

また、上述では、画像処理装置１００で補正した画像を通信部８５で、ネットワーク経由で他の画像処理装置に送信する例を説明した。その他の例として、他の画像処理装置１００_２〜１００_Ｎから送信され、かつ、歪み補正がなされてない画像を、補正部５０６で補正して、自己の（ローカルの）画像処理装置１００_１の映像出力部３０経由で、表示装置１２０に表示させるようにしてもよい。この場合に、自己の画像処理装置１００_１のみのＣＰＵ５０を具備させておけば、他の画像処理装置１００_２〜１００_ＮにはＣＰＵ５０を具備させる必要はなくなる。
［実施形態２］
次に、実施形態２の画像処理装置２００について説明する。実施形態１の画像処理装置１００、１００'は、ユーザにより入力部４０から入力された画像情報を取得するものであった。実施形態２の画像処理装置２００は、撮影された画像を分析することで、画像情報を取得するものである。

実施形態２の画像処理装置の機能構成例を図１０に示す。図１０は、入力部４０が省略されている点、ＣＰＵ５０がＣＰＵ８０に代替されている点で、図１と異なる。また、音出力部１２と、音入力部１４（図１４参照）を具備させるようにしてもよい。

図１１にＣＰＵ８０の機能構成例を示す。ＣＰＵ８０は、画像取得部５０２、分析部５１０、情報取得部５０４、補正部５０６とを含む。また、図１２に実施形態２の画像処理装置の処理フローを示す。撮影部１０により画像が撮影されると（ステップＳ２）、該撮影された画像は、画像取得部５０２と分析部５１０に入力される。

分析部５１０は、入力された画像の内容を分析して、当該分析結果に基づいて、画像情報を生成する（ステップＳ１１）。そして、情報取得部５０４は、分析部５１０が生成した画像情報を取得する。ここでは、画像の内容が、「人物の画像」「ホワイトボードや用紙などに書かれた文字などの画像」の２つである場合を説明する。つまり、画像情報は、人物情報または文字情報とする。これら２つの画像情報は予め記憶部６０に記憶させておくことが好ましい。
＜第１の分析手法について＞
次に、ステップＳ１１の分析部５１０の第１の分析手法について、説明する。図１６に、第１の分析手法の処理フローについて説明する。まず、分析部５１０は、入力された画像に人物が二人以上映っているか否かを判断する（ステップＳ２０）。画像中の人物を検出する技術としては、顔検出技術、例えば、目などのパーツパターンを検出する技術や、肌色などの色パターンを検出する技術などを用いればよい。人を検出する技術についてはこれらに限られない。

そして、分析部５１０が、入力された画像に人物が二人以上映っているかと判断すると（ステップＳ２０のＹｅｓ）、分析部５１０は、入力された画像は人物が映っている画像であると判断する（ステップＳ２２）。つまり、分析部５１０は、画像情報として人物情報を生成して情報取得部５０４に出力する。そして、情報取得部５０４は、画像情報として、人物情報を取得する。そして、補正部５０６は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する（図１２記載のステップＳ１０）。

また、分析部５１０が、入力された画像に、一人の人物が映っている、または、人物が映っていない、と判断すると（ステップＳ２０のＮｏ）、分析部５１０は、入力された画像は文字が映っている画像であると判断する（ステップＳ２２）。つまり、分析部５１０は、画像情報として文字情報を生成して情報取得部５０４に出力する。そして、情報取得部５０４は、画像情報として、文字情報を取得する。そして、補正部５０６は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように補正する（図１２記載のステップＳ１０）。

ここで、入力された画像に一人の人物が映っていることについて説明する。上述のように、入力された画像に一人の人物が映っている場合には、分析部５１０は、画像情報として文字情報を生成して、補正部５０６は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。

入力された画像に一人の人物が映っているというのは、（ｉ）当該一人の人物がホワイトボードや用紙などに、文字や図形を描きながら説明をしている場合と、（ｉｉ）当該一人の人物が文字や図形を描かずに、口頭で説明をしている場合と、に分けられる。

（ｉ）の場合には、テレビ会議参加者にとって、当該一人の人物の画像よりも、ホワイトボードや用紙などに描かれた文字や図形の方が、重要な場合が多い。従って、歪曲収差により文字や図形を見難くなることを回避するために、補正部５０６は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。

また、（ｉｉ）の場合には、口頭で説明している当該一人の人物の位置は、画像の中央（図５記載の点Ｃ）である場合が多い。一般的に画像の中央に移っている被写体の歪みについては微小である。従って、補正部５０６は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。

つまり、入力された画像に一人の人物が映っている場合である（ｉ）または（ｉｉ）の場合には、両者とも、補正部５０６は、歪みの水平方向成分および歪みの垂直方向成分を全て、または、略全て解消するように、画像を補正する。
＜第２の分析手法について＞
次に、ステップＳ１１の分析部５１０の第２の分析手法について、説明する。図１７に、第２の分析手法の処理フローについて説明する。まず、分析部５１０は、入力された画像に文字や記号が映っているか否かを判断する（ステップＳ３０）。分析部５１０の文字や記号などが映っているか否かを判断する手法について説明する。画像が、ホワイトボードに書かれた文字の画像である場合には、一般的に白色の比率が多くなる。そこで、分析部５１０が、白色の比率を求め、該比率が予め定められた閾値より大きい場合には、画像はホワイトボードに書かれた文字の画像であると判断する。

また、文字などが記載される媒体の色が白色である場合には、他の媒体でもよく、例えば、白色の用紙であってもよい。また、媒体の色が白色に限られない。この場合には、分析部５１０が分析しやすくするために、記載される文字の輝度は、当該単一色と大きく異なることが好ましい。例えば、文字などが記載される媒体が黒色に近い黒板である場合には、記載される文字の色はチョークなどで記載された白色であることが好ましい。

また、分析部５１０による文字や記号などが映っているか否かを判断する他の手法について図１８を用いて説明する。図１８の例では、白色の用紙７００に４行の黒色文字７２０が記載されている例である。この場合には、分析部５１０は、単位ライン分のＸ軸およびＹ軸の黒画素の合計値を求める。ここで、単位ラインとは、幅が１画素のＸ軸方向、または、Ｙ軸方向に沿ったラインである。図１８の例では、分析部５１０は、Ｘ軸方向の単位ラインごとの黒画素の合計値７４０ｘと、Ｙ軸方向の単位ラインごとの黒画素の合計値７４０ｙを求める。そして、分析部５１０が、図１８に示すＸ軸黒画素合計値７４０ｘと、Ｙ軸黒画素合計値７４０ｙと、を求めると、分析部５１０は、画像に横書きの文字が映っていると判断する。また、同様の手法で、分析部５１０は、画像に縦書きの文字が映っていると判断することが出来る。

分析部５１０が、画像に文字や図形が映っていると判断すると（ステップＳ３０のＹｅｓ）、分析部５１０は、入力された画像は文字や図形が映っている画像であると判断する（ステップＳ３２）。つまり、分析部５１０は、画像情報として文字情報を生成して情報取得部５０４に出力する。そして、情報取得部５０４は、画像情報として、文字情報を取得する。そして、補正部５０６は、取得された文字情報に基づいて、歪みの水平方向成分および歪みの垂直方向を全て、または、略全て解消するように補正する（図１２記載のステップＳ１０）。

また、分析部５１０が、画像に文字や図形が映っていないと判断すると（ステップＳ３０のＮｏ）、分析部５１０は、入力された画像が、二人以上の人物が映っていると判断する（ステップＳ３４）。つまり、分析部５１０は、画像情報として人物情報を生成して情報取得部５０４に出力する。そして、情報取得部５０４は、画像情報として、人物情報を取得する。そして、補正部５０６は、取得された人物情報に基づいて、歪みの水平方向成分を全て、または、略全て解消し、歪みの垂直方向成分を所定割合残すように補正する（ステップＳ１０）。

また、分析部５１０は、判断結果を元に、記憶部６０に記憶されている複数の画像情報（この場合には、「画像が人物である情報」または「画像が文字である情報」）から選択することで、画像情報を生成するようにしてもよい。このように、予め、画像情報を定めておき、記憶部６０に記憶させておくことで、分析部５１０は正確な画像情報を生成できる。

また、分析部５１０は、記憶部６０に記憶されている複数の画像情報を用いずに、判断結果を元に画像情報を生成するようにしてもよい。この場合には、記憶部６０への記憶コストを削減できる。

分析部５１０により生成された画像情報は、補正部５０６に入力される。

また、撮影部１０で撮影された画像は、画像取得部５０２に入力される。画像取得部５０２は、入力された画像を取得する（ステップＳ４）。画像取得部５０２により取得された画像は、補正部５０６に入力される。そして、補正部５０６は、入力された画像情報に基づいて、入力された画像を補正する（ステップＳ１０）。補正部５０６の補正手法については、実施形態１と同様なので、説明を省略する。

この実施形態２の画像処理装置であれば、分析部５１０が、撮影された画像を分析することで、画像情報を取得する。従って、実施形態１のように、入力部４０を設ける必要はなく、ユーザによる画像情報の選択処理を省略できる。

以上説明した本実施例の画像処理装置はコンピュータに画像処理プログラムを解読させて実現することができる。この実施例で提案する画像処理プログラムはコンピュータが解読可能なプログラム言語によって記述され、磁気ディスク或はＣＤ−ＲＯＭ等の記録媒体に記録され、これら記録媒体からコンピュータにインストールされるか、又は通信回線を通じてコンピュータにインストールされ、コンピュータに備えられたＣＰＵに解読されて画像処理装置として機能する。

１０・・・撮影部
２０・・・制御部
３０・・・映像出力部
４０・・・入力部
５０・・・ＣＰＵ
６０・・・記憶部
７０・・・バス
１００、２００・・・画像処理装置
５０２・・・画像取得部
５０４・・・情報取得部
５０６・・・補正部

特開２００１−２３８１７７号公報 特開２００９−１７７７０３号公報

Claims (9)

1. 画像を取得する画像取得部と、
   前記画像の内容について示す画像情報を取得する情報取得部と、
   前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正部と、
   を有し、
   前記画像情報が、前記画像の内容は人物であることを示す場合には、
   前記補正部は、前記歪みの水平方向成分を全て、または、略全て解消し、前記歪みの垂直方向成分を所定割合残すように補正することを特徴とする画像処理装置。
2. 前記画像情報が入力される入力部を有し、
   前記情報取得部は、前記入力部から入力された前記画像情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像を分析することで、前記画像情報を生成する分析部を有し、
   前記情報取得部は、前記分析部により生成された前記画像情報を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記分析部は、前記画像は二人以上の人物が映っている画像であると分析した場合には、前記画像の内容は人物であることを示す前記画像情報を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記分析部は、前記画像は一人の人物が映っている画像である、または、前記画像は人物が映っていない画像である、と分析した場合には、
   前記補正部は、前記歪みの水平方向成分および前記歪みの垂直方向成分を全て、または、略全て解消するように補正することを特徴とする請求項４記載の画像処理装置。
6. 予め、複数の前記画像情報が記憶されている記憶部を有し、
   前記分析部は、前記記憶部に記憶されている前記複数の前記画像情報から選択することで、前記画像情報を生成することを特徴とする請求項３記載の画像処理装置。
7. 画像を取得する画像取得工程と、
   前記画像の内容について示す画像情報を取得する情報取得工程と、
   前記画像情報に基づいて、前記画像の歪みの一部を残すように補正する補正工程と、を有し、
   前記補正工程は、前記画像情報が、前記画像の内容は人物であることを示す場合には、前記歪みの水平方向成分を全て、または、略全て解消し、前記歪みの垂直方向成分を所定割合残すように補正することを特徴とする画像処理方法。
8. コンピュータに請求項１〜６何れかに記載の画像処理装置の各構成部として機能させるためのプログラム。
9. 請求項８記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。