JP3715091B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3715091B2 JP3715091B2 JP28240197A JP28240197A JP3715091B2 JP 3715091 B2 JP3715091 B2 JP 3715091B2 JP 28240197 A JP28240197 A JP 28240197A JP 28240197 A JP28240197 A JP 28240197A JP 3715091 B2 JP3715091 B2 JP 3715091B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- slit
- continuous
- image processing
- spatio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばプラント機器や公共システムの遠隔監視装置に使用される画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来技術１．
例えば特開昭５７−３７９９３号公報には、一台のテレビカメラを揺動させて撮像し、この撮像した信号を立体テレビ受像機に表示することにより、電力プラントを安全かつ正確に自動点検監視ができるようにする画像処理手法が提案されている。
図２２はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１０１は立体視用のテレビカメラなどの立体映像撮像手段、１０２は立体映像撮像手段１０１を操作員の両眼間の距離だけ左右に揺動する左右視差間カメラ移動手段、１０３は立体視のための画像に変換する画像処理手段、１０４は画像処理手段１０３により変換された画像を表示し、監視員に立体映像を見せる立体テレビ受像手段である。
【０００３】
次に動作について説明する。
原子炉格納容器内を走行する遠隔操作車には、マニピュレータ等の他に立体映像撮像手段１０１が備えられている。この立体映像撮像手段１０１は左右視差間カメラ移動手段１０２により、操作員の両眼間の距離だけ左右に揺動するように形成されている。そして立体映像撮像手段１０１で撮像された左及び右画像信号は画像処理手段１０３に送られて画像処理された後、操作卓に設けられた立体テレビ受像手段１０４に表示される。操作員はこの画像を見ながら操作車を操作することにより、中央監視室にいる監視員が、遠隔にある監視現場の監視対象の映像を、あたかも監視現場にいるかの如く、忠実に提示して見せることができる。結果として、電力プラントを安全且つ正確に遠隔操作で自動点検監視ができる。
【０００４】
従来技術２．
例えば、J.Y.A.Wang.E.H.Adelson：“Layered Representation for Motion Analysis”，Proc.of the IEEE Comp. Vis. and Pat. Rec.(CVPR),pp.361-366, 1993には、一台のカメラを移動しながら撮影した連続的な画像に対して、それぞれの中から隣接する二枚の画像を順次選択しながら、それら二枚の画像間で各点の動きベクトルを計算し、手前の物体は大きく動き、奥の物体はあまり大きく動かないことを利用して奥行きを推定し、動画像をアニメーションのセル画のように奥行き毎に分割された複数のレイヤによって表現し、奥行きの順序に従って重ね合わせた上で、相互に動かすことにより動画像を表現する画像処理手法が提案されている。
図２３はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１０５は連続画像を撮像する連続画像撮像手段、１０６は連続画像撮像手段を移動する移動手段、１０７は移動手段１０６によって連続画像撮像手段１０５を移動させながらとらえた連続画像のうちの二枚から画像間の輝度情報の動きであるオプティカルフローを抽出する二枚画像間オプティカルフロー抽出手段、１０８は二枚画像間オプティカルフロー抽出結果を領域分割、領域統合する領域分割統合手段、１０９は領域分割統合された結果から、画像をそれぞれの領域毎に移動速度に応じた奥行きの層状構造に変換する画像再構成手段、１１０は再構成された画像を提供する画像表示手段である。
【０００５】
次に動作について説明する。
連続画像撮像手段１０５は、移動手段１０６によって移動させられながら、連続画像を撮像する。連続画像撮像手段１０５によって得られた連続画像のうち時間的に隣接する二枚の画像が順次選択されて、二枚画像間オプティカルフロー抽出手段１０７によりオプティカルフローが抽出される。オプティカルフロー抽出結果は、領域分割統合手段１０８で領域分割、領域統合され、画像再構成手段１０９で領域毎の移動速度に応じた奥行きの層状構造に変換される。そして、再構成された画像は、画像表示手段１１０で提示される。
【０００６】
従来技術３．
例えば、特開昭５８−５０４１７号公報には、一定微小距離毎に撮像した複数枚の対象物体の画像を合成して得る直線エッジの傾きを検出することにより、細かく簡単にカメラと対象物体間の距離を算出する画像処理手法が提案されている。
図２４はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１１１は対象を撮影する連続画像撮像手段、１１２は連続画像撮像手段１１１を直線上で移動させる移動手段、１１３は移動手段１１２により移動させられた連続画像撮像手段１１１から一定微小移動距離ごとに撮像された複数枚の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間軸から構成される箱状の三次元画像データを合成する画像合成手段、１１４は画像合成手段１１３から直線エッジを抽出する直線エッジ検出手段である。
【０００７】
次に動作について説明する。
連続画像撮像手段１１１は移動手段１１２によって直線上を移動し、一定微小移動距離ごとに連続画像を撮像する。画像合成手段１１３は一定微小移動距離ごとに撮像された複数枚の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間軸から構成される箱状の三次元画像データを合成する。直線エッジ検出手段１１４は画像合成手段１１３で合成された箱状の三次元画像データを、ある水平ラインで切断した二次元の画像データから直線エッジを抽出し、その直線エッジの方向から注目点の距離を推定する処理を各水平ライン毎に行う。
【０００８】
このように、連続画像撮像手段１１１を移動手段１１２により駆動して、直線上を移動しながら一定微小移動距離ごとに撮像された複数枚の画像から画像合成手段１１３を用いて距離画像を合成し、このように合成して得られた距離画像から直線エッジ方向を検出することにより、直線エッジの方向を得て、距離を求め、エッジに対応する物体上の点に対して細かく距離測定をすることができる。
【０００９】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されているので、次のような課題があった。
従来技術１では、遠隔にある監視現場の監視対象の映像を、中央監視室にある監視員に対して、あたかも監視現場にいるかの如く、忠実に提示して見せることにより、監視対象の遠隔監視を行うものであるが、監視員にとっては、監視対象の立体的な映像が実際に見やすいものであるとは限らず、効率的に遠隔監視を行うことができないなどの課題があった。例えば複雑な配管や建物の柱が注目する監視対象を部分的に遮蔽し、細かい部分の監視の妨げになるような場合である。従って、この場合には、監視員にとっては見やすい画像であるとは言えないため、注目対象よりも手前にある遮蔽物を画像処理によって取り除く等により、監視員にとって見やすい動画像を生成することが望まれる。
【００１０】
また、従来技術２では、画像中の各注目点対象までの距離を推定した後、アニメーションのセル画のように、層状に重ね合わせた表現を行うことができるが、動画像中の各点の奥行きを知るための、動画像中の各点のオプティカルフローである動きベクトルを、連続する二枚の画像だけを用いて求めているため、奥行き情報を信頼性高く距離推定するのが困難であり、信頼性高く距離推定を行うためには、二枚の画像だけでなく、より多くの画像を用いる必要があるなどの課題があった。
【００１１】
また、従来技術３では、連続画像撮像手段を、直線上を移動させながら、一定微小移動距離ごとに撮像された複数枚の画像によって生成される時空間画像から直線エッジの方向を抽出し、エッジ方向に相当する距離を求めるため、細かく距離測定を行うことができるが、この手法により得られる距離情報は、エッジに対応する部分の距離情報でしかなく、エッジカメラの振動や移動速度のむらが、距離測定の精度に大きく影響するため、物理的に強固な構造を持つ移動機構が必要となり、プラント等の点検において、機動性を損なうなどの課題があった。このため、直線エッジの方向が明瞭に抽出できない部分の距離情報を、周辺の輝度情報あるいは時間的に前後する精度情報を用いて補う何らかの手法が望まれる。また、カメラの移動に伴う振動や移動速度のむらを抑制する何らかの手段が望まれる。
【００１２】
この発明は上記のような課題を解決するためになされたもので、注目対象よりも手前にある遮蔽物を画像処理によって取り除くことにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１３】
また、この発明は、直線エッジの方向が明瞭に抽出できない部分の距離情報を、周辺の輝度情報あるいは時間的に前後する精度情報を用いて補うことにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１４】
さらに、この発明は、カメラの移動に伴う振動や移動速度のむらを抑制することにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１５】
【課題を解決するための手段】
この発明に係る画像処理装置は、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から量子化された複数の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された上記複数の直線エッジを、この量子化された各エッジ方向毎に領域統合した複数の領域統合画像を生成する複数の領域統合手段と、これら複数の領域統合手段で生成された上記複数の領域統合画像を順に層状に重ね合わせることにより、二次元の層状画像を生成する層状画像合成手段とから構成されたものである。
【００１６】
この発明に係る画像処理装置は、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から予め指定されたエッジ方向の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した領域の輝度情報を上記スリット画像から除去する指定距離対応エッジ方向領域統合手段と、輝度情報を除去した上記領域の中から代表点を抽出する領域内代表点抽出手段と、輝度情報が除去された上記領域内の上記代表点を中心とする局所領域内部で輝度値を補う局所領域輝度情報推定手段とから構成されたものである。
【００２１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を用いた遠隔監視装置を示す概観構成図であり、図において、１は移動手段２の上を移動しながら監視対象４Ａ，４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を連続的に撮像する連続画像撮像手段、２は連続画像撮像手段１を走行軸２Ａに沿って移動させる移動手段であり、この移動手段２には、エンコーダが付加されて連続画像撮像手段１の移動を読み取ることができると共に、ジャイロが付加されて連続画像撮像手段１の回転運動を読み取ることができるようになっている。３は連続画像撮像手段１で撮影した画像データ、エンコーダからの移動データ及びジャイロからの回転運動データをディジタル化して画像メモリ（図示せず）に展開するか、あるいはデータバスへ転送するホストコンピュータである。４Ａ，４Ｂは注目すべき監視対象（物体）、５Ａ〜５Ｄは配管、建物の柱または柵等のように、監視対象４Ａ，４Ｂを部分的に遮蔽する遮蔽物（物体）である。
【００２２】
図２はこの発明の実施の形態１による画像処理装置の構成を示すブロック図であり、図において、１は上記図１で示した連続画像撮像手段、２も上記図１で示した移動手段である。６は連続画像撮像手段１によって連続的に撮像された二次元座標（横軸と縦軸）の静止画像を時間的に積み重ねて連続画像（図３の１０００）とし、この連続画像から時間軸を新たな座標軸とする三次元座標（横軸、縦軸及び時間軸）の時空間画像（図３の２０００）を生成する時空間画像生成手段、７は時空間画像生成手段６によって生成された時空間画像を画像処理して遮蔽物（図３の２０００Ａ）を除去する時空間画像処理手段、８は時空間画像処理手段７によって画像処理された時空間画像（図３の３０００）を時間毎に切り出して、静止画像が時間的に積み重ねた連続画像（図３の４０００）に変換する画像再構成手段である。尚、これら時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８は上記図１で示したホストコンピュータ３内に設けられている。９は画像再構成手段８によって再構成された連続画像を監視員に表示する画像表示手段である。尚、この発明の実施の形態１による画像処理装置は、時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８により構成される。
【００２３】
図３は図２に示した画像処理装置による画像処理方法（遮蔽物を除去する画像処理手法）を説明するための図である。図において、１０００は連続画像撮像手段１により撮像した連続的な静止画像を時間的に積み重ねた連続画像、１０００Ａは連続画像１０００の一つである静止画像上に写っている遮蔽物である。２０００は時空間画像生成手段６により連続画像１０００から生成された三次元座標の時空間画像、２０００Ａは時空間画像２０００の時間軸断面（ｘ−ｙ面）上の遮蔽物である。３０００は時空間画像２０００を時空間画像処理手段７で画像処理することにより、遮蔽物２０００Ａを取り除いた時空間画像である。４０００は画像再構成手段８により時空間画像３０００を時間毎に切り出されて変換された、静止画像を時間的に積み重ねた連続画像である。
尚、この図３に示した連続画像１０００，４０００及び時空間画像２０００，３０００は、連続画像撮像手段１の移動方向と連続画像撮像手段１の撮像方向である光軸とが垂直であって、連続画像移動手段１が等速度で直線運動している場合の画像例である。
【００２４】
図４は図３の時空間画像２０００の拡大図であり、図において、２０００Ａは時空間画像２０００のｘ−ｙ面上の遮蔽物、２０００ａ，２０００ｂは時空間画像２０００のｘ−ｔｉｍｅ面（横軸時間軸面）に現れるストライプである。連続画像撮像手段１が移動しながら物体（監視対象４Ａ，４Ｂ、遮蔽物５Ａ〜５Ｄ）を撮像するため、連続的な静止画像上の物体の位置も移動するので、時空間画像２０００のｘ−ｔｉｍｅ面に時間軸（ｔｉｍｅ）に沿った物体の移動の軌跡としてストライプ２０００ａ，２０００ｂが現れるものである。従って、連続画像撮像手段１の移動速度が早くなる程、ストライプ２０００ａ，２０００ｂの時間軸（ｔｉｍｅ）に対する角度が急になり、また物体が連続画像撮像手段１から近い程（手前にある程）、時間軸に対する角度が急になる（従って、ストライプ２０００ａはストライプ２０００ｂよりも手前にある物体である）。
【００２５】
図４に示すように、時空間画像２０００には、座標軸として、横方向にｘ軸（ｘ座標）、縦方向にｙ軸（ｙ座標）及び奥行き方向に時間軸（ｔｉｍｅ座標）が設定されている。上記したように、時空間画像２０００は、時空間画像生成手段６により二次元（ｘ−ｙ面）の静止画像を時間的に重ね合わせて連続画像１０００とし、この連続画像１０００から時間軸を新たな座標軸とする三次元座標の画像情報として生成されたものである。従って、時空間画像２０００を時間軸で切断したｘ−ｙ面が２次元の静止画像である。
静止面の画素数は、一般的に横５１２、縦５１２であるため、時空間画像２０００のｘｙ座標の座標数もこの画素数に対応して、横５１２、縦５１２である。一方、時間軸の座標数は、連続画像撮像手段１の撮像時間によって異なる。このように設定された時空間画像２０００の３次元座標には、輝度値などの画像データや時間データなどが格納される。
【００２６】
次に動作について説明する。
（１）まず、連続画像撮像手段１が移動しながら監視対象４Ａ，４Ｂを撮像する動作について説明する。
図１に示したように、連続画像撮像手段１が、移動手段２の走行軸２Ａに沿って移動しながら連続的に監視対象４Ａ，４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を撮像し、この撮像した画像データをディジタル化して連続的な静止画像（データ）とする。ホストコンピュータ３は、ディジタル化された連続的な静止画像を画像メモリに展開するか、あるいはデータバスへ転送する。そして、画像メモリ内の静止画像またはデータバスで転送された静止画像は、ホストコンピュータ３内の時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８で画像処理される。
尚、図１で示したように、移動手段２が連続画像撮像手段１を走行軸２Ａに沿って移動させる場合に限らず、移動ロボットが連続画像撮像手段１を搭載して移動する等の方法でも構わない。
【００２７】
この実施の形態１では、移動手段２が連続画像撮像手段１を等速で移動させる場合を示している。しかし、移動手段２にはエンコーダが付加されているので、連続画像撮像手段１の移動情報をエンコーダから得ることによって速度補正を行うことも可能であるため、連続画像撮像手段１が等速移動である必要はない。
また、この実施の形態１では、連続画像撮像手段１の移動方向と撮像方向とは垂直である場合を示している。しかし、移動手段２にはジャイロが付加されているので、連続画像撮像手段１の回転運動情報をジャイロから得ることによって回転運動に対する補正も可能であるため、連続画像撮像手段１は直線運動である必要もない。
【００２８】
（２）次に、画像処理装置（即ち、時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８）が、連続画像撮像手段１が撮像した連続的な静止画像を画像処理する動作を説明する。
まず、画像メモリ内の静止画像またはデータバスで転送された静止画像は、時空間画像生成手段６に送られる。ここで、静止画像には、監視対象４Ａ，４Ｂの他に遮蔽物１０００Ａも撮像されている。時空間画像生成手段６は、連続的な静止画像を時間的に並べて連続画像１０００とし、この連続画像１０００から時間軸を新しい座標軸とする三次元座標の時空間画像２０００を生成する。時空間画像生成手段６により連続的な静止画像から生成された時空間画像２０００にも遮蔽物２０００Ａが存在するので、次に、時空間画像処理手段７は、画像処理することによって、時空間画像２０００上の遮蔽物２０００Ａを除去する。
【００２９】
時空間画像処理手段７が時空間画像２０００上で遮蔽物２０００Ａとその他の物体（監視対象４Ａ，４Ｂなど）を区別するのは、基本的に次のようにして行われる。
即ち、図４に示すように、時空間画像２０００のｘ−ｔｉｍｅ面（時空間画像２０００をｙ軸で切り出した面）には、ストライプ（物体の直線的な軌跡）が現れる。このストライプの時間軸に対する角度が急である程、そのストライプの物体は連続画像撮像手段１に近い位置にあり、ストライプの時間軸に対する角度が緩くなる程、そのストライプの物体は連続画像撮像手段１から遠い位置にある。従って、ストライプ２０００ａが時間軸（ｔｉｍｅ）に対して最も急な角度であるので、ストライプ２０００ａの物体が連続画像撮像手段１に対して最も手前の位置にあることが判断でき、一方、ストライプ２０００ｂはストライプ２０００ａよりも時間軸に対する角度が緩いため、ストライプ２０００ｂの物体はストライプ２０００ａの物体よりも奥の位置にあることが解る。このようにして、連続画像撮像手段１から物体までの距離（位置）を判断し、時空間画像２０００上で遮蔽物２０００Ａとその他の物体を区別する。従って、ストライプ２０００ａが遮蔽物２０００Ａであると判断できる。
【００３０】
時空間画像処理手段７は、このように連続画像撮像手段１に対する各物体の奥行き情報を得ることによって、監視対象４Ａ，４Ｂよりも手前に位置し、部分的に監視対象４Ａ，４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄ（時空間画像２０００上の遮蔽物２０００Ａ）を画像処理により除去する。
時空間画像処理手段７が、時空間画像２０００上の遮蔽物２０００Ａを除去すると、時空間画像２０００上に空白ができてしまう。そこで、時空間画像処理手段７は、その遮蔽物２０００Ａが存在しない時間帯における監視対象４Ａ，４Ｂの輝度値と奥行き情報を用いて空白の除去部分の画像を置き換える。このように、時空間画像処理手段７が、実際にはその時間帯においては遮蔽物５Ａ〜５Ｄの陰で見ることのできない監視対象４Ａ，４Ｂの表面の輝度情報と奥行き情報を補うことにより、手前の遮蔽物５Ａ〜５Ｄを画像処理的に除去した時空間画像３０００を生成する。画像再構成手段８は、遮蔽物２０００Ａが除去された時空間画像３０００を時間毎に切り出し、静止画像を連続的に重ね合わせた連続画像４０００に変換する。
【００３１】
（３）そして、画像表示手段９は、画像再構成手段８によって再構成された連続画像４０００を監視員に表示する。連続画像４０００は、遮蔽物５Ａ〜５Ｄが除去されているので、監視員にとって監視対象４Ａ，４Ｂが見やすく監視しやすいものである。
【００３２】
図５はこの画像処理装置により画像処理した画像例を示す図である。１００は監視対象４Ａ，４Ｂ及び遮蔽物５Ａ〜５Ｄの鳥瞰図である。１００１〜１００５は連続画像撮像手段１が実際に撮影した連続的な静止画像である。４００１〜４００５は連続的な静止画像１００１〜１００５から、時空間画像生成手段６及び時空間画像処理手段７により、遮蔽物５Ａ〜５Ｄが取り除かれた連続的な静止画像である。２００は画像処理されて鳥瞰図１００から遮蔽物を取り除かれた鳥瞰図である。
このように、連続的な静止画像１００１〜１００５が画像処理されて連続的な静止画像４００１〜４００５となり、連続的な静止画像４００１〜４００５が画像表示手段９で表示されるので、監視員は監視対象４Ａ，４Ｂを監視しやすくなる。
【００３３】
以上のように、この実施の形態１によれば、注目すべき監視対象４Ａ，４Ｂが、配管、建物の柱、柵等の遮蔽物５Ａ〜５Ｄによって部分的に遮蔽されている場合でも、連続する静止画像１０００を用いて、遮蔽物５Ａ〜５Ｄが存在しない時間帯の監視対象４Ａ，４Ｂの輝度値を用いて置き換えることにより、実際にはその時間帯には見ることのできない監視対象４Ａ，４Ｂの表面の輝度情報を補って、手前の遮蔽物５Ａ〜５Ｄを除去した時空間画像を生成するので、監視員にとって見やすい画像を提供し、効率のよい遠隔監視環境を提供することができるという効果が得られる。
【００３４】
尚、この実施の形態１は、連続画像撮像手段１が光軸に垂直な方向で、かつ一定速度で移動する場合について説明した。このような場合、時空間画像２０００のｘ−ｔｉｍｅ面のストライプが直線となるため、最も精度よく遮蔽物を除去することができるためである。しかし、連続画像撮像手段１が光軸に垂直な方向で移動しない場合、または連続画像撮像手段１が一定速度で移動しない場合でも、連続画像１０００または時空間画像２０００を補正することにより、精度よく遮蔽物を除去することができる。このような連続画像１０００または時空間画像２０００の補正方法を以降の実施の形態で説明する。
【００３５】
実施の形態２．
連続画像撮像手段１の移動が等速度直線運動であれば、連続画像１０００における各物体の軌跡（時空間画像２０００のｘ−ｔｉｍｅ面のストライプ）が直線となる。従って、これらの直線的な軌跡は計算式により求めることができ、また時空間画像２０００の解析も容易である。しかし、連続画像撮像手段１の移動が等速直線運動でない場合は、連続画像１０００における各物体の軌跡は複雑なものとなって時空間画像２０００の解析も容易でない。そこで、この実施の形態２では、連続画像撮像手段１が撮影した連続画像１０００を補正して時空間画像２０００を生成し、時空間画像２０００の解析を容易にするものである。
【００３６】
図６はそのようなこの発明の実施の形態２による画像処理装置における時空間画像生成手段の具体的構成を示すブロック図であり、図において、６は上記実施の形態１で説明した時空間画像生成手段である。６１は連続画像撮像手段１が連続画像１０００を撮像するときに振動している場合、連続画像撮像手段１が撮像した連続画像１０００から時空間画像２０００を生成する際に、移動手段２に付加されたエンコーダから送られる連続画像撮像手段１の移動情報に応じて、連続画像１０００の重ね合わせる位置を補正する移動量補正手段（連続画像位置補正手段）である。６２は連続画像撮像手段１の振動、揺れ、移動速度のむら等がある場合、連続画像１０００の重ね合わせる位置を補正してその振動、揺れ、または移動速度のむら等を補正する揺れ・時間軸補正手段（連続画像位置補正手段）である。６３は移動量補正手段６１と揺れ・時間軸補正手段６２によって修正された位置で連続画像１０００を時間軸に沿って重ね合わせて三次元の時空間画像２０００を生成する連続画像の時空間合成手段である。
【００３７】
ここで、移動量補正手段６１と揺れ・時間軸補正手段６２は、ともに連続画像撮像手段１が撮影した連続画像１０００の重ね合わせる位置を修正する機能を備えたものであり、このように、移動量補正手段６１及び揺れ・時間軸補正手段６２により連続画像１０００を修正することにより、最終的に正確な時空間画像２０００を生成するものである。
しかし、移動量補正手段６１と揺れ・時間軸補正手段６２の補正機能は、異なるものである。即ち、移動量補正手段６１は、移動手段２に付加されたエンコーダまたはジャイロからの移動情報を基に、連続画像１０００の大まかな位置合わせ修正を行うものであるのに対し、揺れ・時間軸補正手段６２は、連続画像撮像手段１で撮像された連続画像１０００を画像処理することによって連続画像１０００のさらに細かい位置合わせ修正を行うものである。
【００３８】
揺れ・時間軸補正手段６２によってさらに細かい位置合わせを行う必要があるのは、機械的な振動や構造的な剛性不足による揺れや、移動機構（移動手段２）の速度むら等の理由により生じる三次元の時空間画像２０００の歪みに関しては、連続画像撮像手段１自身に機械的な防振装置を付加することにより、１Ｈｚ前後の機構的なカメラの揺れはほとんど補正できるが、これよりも周波数の高い機械的な振動や、移動機構の速度むらに関しては機械的な防振装置などでは補正できないからである。
【００３９】
次に動作について説明する。
（１）まず、移動量補正手段６１の動作について説明する。
図７は移動量補正手段６１の動作を説明するための図であり、同図（ａ）は連続画像撮像手段１が移動方向に等速直線移動する場合を示し、同図（ｂ）は連続画像撮像手段１が上下方向に波状に振動する場合を示すものである。
図７（ａ）に示すような連続画像撮像手段１が移動方向に等速直線運動する場合、連続画像撮像手段１が光軸方向１ｂ１で撮像した連続画像１０１０は上下方向にずれがないものである。従って、連続画像１０１０の重ね合わせる位置を補正する必要がない。
一方、図７（ｂ）に示すような連続画像撮像手段１が上下方向に波状に振動する場合、連続画像撮像手段１が光軸方向１ｂ１で撮像した連続画像１０１１は上下方向にずれが生じてしまう。そこで、移動手段２に付加されたエンコーダからの連続画像撮像手段１の移動情報に基づいて、連続画像１０１１の位置を上下方向に補正する。このように補正した連続画像１０１２は、上下方向のずれがなくなったものとなる。
【００４０】
このように、移動量補正手段６１が連続画像１０００の大まかな位置合わせを行うことにより、連続画像１０１２における各物体の軌跡が直線となり、連続画像１０１２の解析も容易となる。従って、時空間画像２０００の生成も容易となる。
尚、連続画像撮像手段１の移動量の補正は、図７に示したような上下方向には限られず、左右の回転方向、移動方向の速度の変化に対しても、それぞれの移動に応じた連続画像１０００の補正を行うことにより、時間軸と空間軸を変形し、画像処理の行いやすい時空間画像２０００を生成することができる。
【００４１】
（２）次に、揺れ・時間軸補正手段６２の動作について説明する。
揺れ・時間軸補正手段６２は、振動または揺れ補正機能と時間軸補正機能（移動速度むら補正機能）という２つの補正機能を有している。
（ａ）図８は揺れ・時間軸補正手段６２による連続画像撮像手段１の振動または揺れ（特に、上下方向の振動または揺れ）を補正する動作を説明するための図である。図において、３００は監視対象４Ａ，４Ｂ及び遮蔽物５Ａ〜５Ｄの鳥瞰図である。１０２０〜１０２３は連続画像撮像手段１を移動させながら撮影した監視対象４Ａ，４Ｂの連続的な静止画像、１０３０〜１０３３は連続的な静止画像１０２０〜１０２３それぞれから水平エッジ１０３０Ａ〜１０３３Ａを抽出した水平エッジ抽出画像、１０４０〜１０４３は水平エッジ抽出画像１０３０〜１０３３それぞれの水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影（圧縮）した水平方向射影画像である。
【００４２】
このように、揺れ・時間軸補正手段６２は、連続画像撮像手段１で撮影した連続的な静止画像１０２０〜１０２３から（揺れ・時間軸補正手段６２の微分フィルタ（図示せず）によって）水平エッジ１０３０Ａ〜１０３３Ａを抽出した水平エッジ抽出画像１０３０〜１０３３を生成する。そして、水平エッジ抽出画像１０３０〜１０３３の水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影して水平方向射影画像１０４０〜１０４３を生成する。この水平方向射影画像１０４０〜１０４３を垂直方向に位置合わせすることにより、連続画像撮像手段１の振れ（カメラ振れ）を補正する。このように、連続的な静止画像１０２０〜１０２３から水平エッジ１０３０Ａ〜１０３３Ａを抽出し、この水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影するのは、より精度よく垂直方向の位置合わせができるようにするためである。
【００４３】
（ｂ）図９は揺れ・時間軸補正手段６２による移動速度のむらを補正する動作を説明するための図である。図において、１０５０は連続的な静止画像を時間的に重ね合わせた連続画像、５００１は連続画像１０５０をある高さ（点線で示した部分）で切り出したスリット画像、５００２はスリット画像５００１の軌跡（ストライプ）の直線性を調べるためにスリット画像５００１を起こしたスリット画像、５００３はスリット画像５００２の時間軸を変換し、軌跡が直線になるようにしたスリット画像である。
スリット画像５００２の軌跡の傾きが急な部分は、時間軸の座標間隔を狭くするように変換することにより、スリット画像５００２のように軌跡が直線となる。尚、軌跡の傾きが緩い部分は、時間軸の座標間隔を広くするように変換する。
このように、スリット画像５０００の時間軸を変換することにより、連続画像撮像手段１の移動速度むらを除去することができ、その結果、正確な三次元の時空間画像２０００を得ることができる。
【００４４】
尚、この実施の形態２では、簡単のために連続画像撮像手段１の移動方向が光軸に対して垂直で、撮像素子の水平ラインに平行である場合について説明しているが、もしこれらの条件が異なる場合でも、連続画像１０００を変換するか、エッジ抽出を行う方向を変更するか、あるいは射影計算を行う方向を変更する等の方法により、上記と同様の結果を得ることができる。
【００４５】
以上のように、この実施の形態２によれば、移動量補正手段６１により、連続画像１０００の大まかな位置合わせ補正を行うと共に、揺れ・時間軸補正手段６２により、連続画像１０００のさらに細かい位置合わせ補正を行うので、連続画像撮像手段１の移動が等速直線運動でない場合であっても、最終的に正確に位置合わせされた時空間画像２０００を生成することができ、時空間画像２０００を容易に解析することができるという効果が得られる。
【００４６】
実施の形態３．
図１０はこの発明の実施の形態３による画像処理装置における時空間画像処理手段の構成を示すブロック図であり、図において、７は上記実施の形態１で示した時空間画像処理手段である。７１は三次元の時空間画像２０００のｘ−ｙ面（横軸縦軸面、即ち、二次元の連続画像１０００）に連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で時空間画像２０００を切断してｘ−ｔｉｍｅ面（横軸時間軸面）の複数の二次元スリット画像（図１１の５０００）を生成するスリット画像生成手段である。７２ａ〜７２ｇはそれぞれスリット画像生成手段７１により生成された複数のスリット画像それぞれに対して遮蔽物除去などの画像処理を行うスリット画像処理手段である。７３はそれぞれのスリット画像に対応するスリット画像処理手段７２ａ〜７２ｇにより画像処理されたスリット画像（図１１の６０００）を、連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリット位置に置き直すことにより、三次元の時空間画像３０００を生成するスリット画像合成手段である。
【００４７】
次に動作について説明する。
まず、この実施の形態３の時空間画像処理手段７の基本的な動作について説明する。
図１１は時空間画像処理手段７の基本的な動作を説明するための図である。尚、時空間画像生成手段６により、連続的な静止画像を連続画像１０００とし、連続画像１０００から時空間画像２０００を生成する動作及び画像再構成手段８により、時空間画像３０００から連続画像４０００を生成する動作については、上記実施の形態１で示したものと同様であるため、重複する説明を省略する。
【００４８】
スリット画像生成手段７１は、時空間画像生成手段６により生成された三次元座標の時空間画像２０００（時空間画像２０００を時間軸で切断した複数のｘ−ｙ面１０００のそれぞれ）に、連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリットを設定し、この複数のスリットの位置で時空間画像２０００を切断したｘ−ｔｉｍｅ面の複数の二次元スリット画像５０００を生成する。そして、各々のスリット画像処理手段７２ａ〜７２ｇは、スリット画像生成手段７１で生成された複数のスリット画像それぞれについて、監視対象４Ａ，４Ｂまでの奥行き情報を調べると同時に監視対象４Ａ，４Ｂよりも手前に存在し、監視対象４Ａ，４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄを画像処理的に除去する。そして、スリット画像合成手段７３はそれぞれのスリットの位置に対応するスリット画像処理手段７２ａ〜７２ｇで生成された画像処理後のスリット画像６０００を、連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリットの位置に置き直すことにより、三次元の時空間画像３０００を再構成する。
尚、図１０において、スリット画像処理手段７２ａ〜７２ｇは７つしか描かれていないが、回路規模あるいは計算機の演算能力に応じてこれらの数を増加させることも可能である。
【００４９】
尚、図１１では、簡単のために連続画像撮像手段１の移動方向が光軸に対して垂直で、撮像素子の水平ラインに平行である場合を示しているが、もしこれらの条件が異なる場合でも、スリットの設定位置を変更する等の方法により、同様の結果を得ることができる。
【００５０】
次に、時空間画像２０００（時空間画像２０００を時間軸で切断したｘ−ｙ面１０００のそれぞれ）に設ける複数のスリットの位置の設定の仕方について、図１２から図１５に基づいて説明する。
（１）図１２は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向とが垂直であることを示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。同図（ａ）において、１ａ３は連続画像撮像手段１の移動方向、１ｂ３は連続画像撮像手段１の光軸方向であり、移動方向１ａ３と光軸方向１ｂ３は垂直である。１ｃ３は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６０は静止画像（連続画像の一枚）、１０６０Ａは静止画像１０６０に設定されるスリットである。
同図（ａ）に示すように、連続画像撮像手段１の移動方向１ａ３と光軸方向１ｂ３が垂直である場合、静止画像１０６０上の物体は水平方向に移動するだけであるので、静止画像１０６０には水平方向のスリット１０６０Ａを設定する。このように、スリット１０６０Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５１】
尚、この図１２に示した場合のスリット１０６０Ａの数は、最大、連続画像撮像手段１から得られる画像の縦方向の画素数（一般的には５１２画素）まで設定することにより、より細かな画像処理を行うことができる。
【００５２】
（２）図１３は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向が鋭角αをなしていること示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、同図（ｃ）はスリットの位置を水平方向に変形した静止画像例である。同図（ａ）において、１ａ４は連続画像撮像手段１の移動方向、１ｂ４は連続画像撮像手段１の光軸方向であり、移動方向１ａ４と光軸方向１ｂ４は鋭角αをなしている。１ｃ４は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６１は静止画像（連続画像の一枚）、１０６１Ａは静止画像１０６０に設定されるスリット、１０６１Ｂはスリット１０６１Ａが集まる消失点である。
同図（ａ）に示すように、連続画像撮像手段１の移動方向１ａ４と光軸１ｂ４とがある鋭角αをもって移動する場合、静止画像１０６０上の物体は消失点１０６１Ｂを中心とした放射線状のスリット１０６１方向に移動する。従って、静止画像１０６１に水平方向のスリットを設定しても、スリット画像５０００に直線の軌跡が現れないので、静止画像１０６１には消失点１０６１Ｂを中心とした放射線状に延びるスリット１０６１Ａを設定する。このように、スリット１０６１Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５３】
図１３（ｂ）において、消失点１０６１Ｂからの距離ｒと方向θとによる極座標を直交座標に変形し、さらに、ｒの代わりに、
ｒ’＝（ｒ＋ｆ／ｃｃｄx ）／（ｒｃｏｓα＋（ｆ／ｃｃｄx ）ｓｉｎα）
但し、ｆは焦点距離、ｃｃｄx は撮像素子の横方向の一画素の長さ・・・（１）
を用いることにより、図１３（ｃ）の静止画像１０６２となる。この静止画像１０６２は、静止画像１０６０と同様に、画像上の全てのスリットが水平線となっているので、スリット画像５０００を生成する画像処理が容易となる（スリットに傾きがあると画像処理が困難となるものである）。
【００５４】
（３）図１４は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向が同方向（並行）であることを示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、同図（ｃ）はスリットの位置を水平方向に変形した静止画像例である。同図（ａ）において、１ａ５は連続画像撮像手段１の移動方向、１ｂ５は連続画像撮像手段１の光軸方向であり、移動方向１ａ５と光軸方向１ｂ５は同方向である。１ｃ５は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６３は静止画像（連続画像の一枚）、１０６３Ａは静止画像１０６３に設定されるスリット、１０６３Ｂは静止画像１０６３の中心にあるスリット１０６３Ａが集まる消失点である。図１４（ａ）に示すように、連続画像撮像手段１の移動方向１ａ５と光軸１ｂ５とが同方向である場合、静止画像１０６３上の物体は消失点１０６３Ｂを中心とした放射線状のスリット１０６３方向に移動する。即ち、静止画像１０６３の中心の消失点１０６３Ｂから放射線状に物体が移動する。従って、静止画像１０６３には消失点１０６３Ｂを中心とした放射線状に延びるスリット１０６３Ａを設定する。このように、スリット１０６３Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５５】
図１４（ｂ）において、消失点１０６３Ｂからの距離ｒと方向θとによる極座標を直交座標に変形し、さらにｒの代わりに、
ｒ”＝１／ｒ ・・・（２）
を用いることにより、図１４（ｃ）の静止画像１０６４となる。この静止画像１０６４は、静止画像１０６０と同様に、画像上の全てのスリットが水平線となっているので、スリット画像５０００を生成する画像処理が容易となる。
【００５６】
（４）図１５は連続画像撮像手段（カメラ）１が傾いている場合、または移動手段（のレール）２が下に傾いている場合の連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
図１５（ａ）は連続画像撮像手段１の移動方向と光軸方向とが垂直であるが、連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６５は連続的な静止画像、１０６５Ａは静止画像１０６５上に設定するスリットである。
図１５（ａ）に示すように、スリット位置１０６５Ａを水平から角度βで設定することにより、スリット画像５０００において直線的な軌跡を得ることができる。
【００５７】
図１５（ｂ）は連続画像撮像手段１の移動方向と光軸方向とが鋭角αをなし、かつ連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６６は連続的な静止画像、１０６６Ａは静止画像１０６６上に設定するスリットである。
図１５（ｂ）の静止画像１０６６は、図１３（ｂ）で示した静止画像１０６１において、消失点１０６１Ｂの位置が（ｆ／ｃｃｄx ）ｔａｎβだけ下にずれたものである。
【００５８】
図１５（ｃ）は連続画像撮像手段１の移動方向と光軸方向とが同方向であり、かつ連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６７は連続的な静止画像、１０６７Ａは静止画像１０６７上に設定するスリットである。
図１５（ｃ）の静止画像１０６７は、図１４（ｂ）で示した静止画像１０６３において、消失点１０６３Ｂの位置が（ｆ／ｃｃｄx ）ｔａｎβだけ下にずれたものである。
【００５９】
以上のように、この実施の形態３によれば、スリット画像生成手段７１により、連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリット位置で時空間画像２０００を切断して複数の二次元スリット画像５０００を生成し、スリット画像処理手段７２ａ〜７２ｇにより、複数のスリット画像それぞれに対して遮蔽物除去などの画像処理を行い、スリット画像合成手段により、画像処理されたスリット画像６０００を複数のスリット位置に置き直して三次元の時空間画像３０００を生成するように構成したので、スリット画像５０００上で直線的な軌跡（ストライプ）を得ることができ、その結果、スリット画像５０００を容易に解析することができるという効果が得られる。
また、スリット画像処理手段７２ａ〜７２ｇが、各スリット画像５０００毎のスリット画像処理を並列的に行うことにより、高速な時空間画像処理を行うことができる。
【００６０】
実施の形態４．
この実施の形態４は、下記の実施の形態５と共に、スリット画像処理手段による画像処理に関するものである。
図１６はこの発明の実施の形態４による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図であり、図において、７２は上記図１０に示したのと同様のスリット画像処理手段である。７２１は三次元の時空間画像２０００を連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリットで分割することにより生成された、二次元のスリット画像５０００の一つを入力とし、その二次元のスリット画像５０００から量子化された直線エッジ（図１９の５０３１Ａ〜５０３４Ａ）を抽出する直線エッジ抽出手段である。７２２ａ〜７２２ｇはそれぞれ直線エッジ抽出手段７２１により抽出された量子化された直線エッジを、この量子化された各エッジ方向毎に領域統合した領域統合画像（図１９の５０３５〜５０３８）を生成する各直線エッジ方向別の領域統合手段である。７２３は各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像を、最も奥の距離に相当するエッジ方向の領域統合画像から、予め指定したある距離に相当するエッジ方向の領域統合画像まで、順に層状に重ね合わせることにより、二次元の層状画像（スリット画像）６０００（図１９ではスリット画像６００１）を生成する層状画像合成手段である。
【００６１】
図１７及び図１８は直線エッジ抽出手段７２１の直線エッジ抽出法の一例を示す図である。
図１７において、５０１０は直線エッジを抽出するスリット画像、５０１０Ａはスリット画像５０１０中の注目領域、５０１０Ｂは注目領域５０１０Ａの拡大図、ａ0 〜ａ8 は注目領域５０１０Ｂ内の各画素の輝度値である。
【００６２】
図１７に示す直線エッジ抽出手段７２１の直線エッジの抽出方法は、局所的な微分処理、即ちディジタル画像処理における局所的な領域内の画素の輝度値の差分処理によって直線エッジの方向を求めるものである。例えば注目領域５０１０Ｂの各輝度値ａ0 〜ａ8 を用いて、
横方向の勾配を
ｄｘ＝（ａ2 ＋２ａ5 ＋ａ8 −ａ0 −２ａ3 −ａ6 ） ・・・（４）
縦方向の勾配を
ｄｙ＝（ａ6 ＋２ａ7 ＋ａ8 −ａ0 −２ａ1 −ａ2 ） ・・・（５）
として求め、そして、直線エッジの方向角θを
θ＝Ｔａｎ-1（ｄｙ／ｄｘ） ・・・（６）
として求める。このような方法により、量子化された直線エッジを抽出する。
【００６３】
また、図１８において、５０２０は直線エッジを抽出するスリット画像、５０２０Ａはスリット画像５０２０Ａ内の注目領域、５０２０Ｂ〜５０２０Ｈはある方向に放射状に設定した注目領域５０２０Ａ内の局所領域、ｄ0 〜ｄ6 は局所領域５０２０Ａ〜５０２０Ｈ内の画素の輝度値の分散である。
【００６４】
図１８に示す直線エッジ抽出手段７２１の直線エッジの抽出方法は、注目点を中心として、各方向別に放射状に設定した複数の局所領域内での画素の輝度値の相関からエッジの方向を求めるものである。各方向別に放射状に設定した複数の局所領域５０２０Ｂ〜５０２０Ｈ内の画素の輝度値の分散ｄ0 〜ｄ6 が最小となる方向にエッジ方向とする方法である。例えば、各方向別の放射状局所領域５０２０Ｂ〜５０２０Ｈ内の画素値の分散ｄ0 〜ｄ6 を計算し、それらのうちで最小になるものを検索し、その最小値を与える方向を直線エッジの方向とする。
尚、図１７及び図１８に示した直線エッジの抽出方法は一例であって他の方法により直線エッジを抽出するものであってもよい。
【００６５】
尚、図１６において、領域統合手段７２２ａ〜７２２ｇは７つしか描かれていないが、回路規模あるいは計算機の演算能力に応じてこれらエッジ方向量子化数を増加させることも可能である。
また、図１８の局所領域５０２０Ｂ〜５０２０Ｈでは、方向は７つしか描かれておらず、また放射状の局所領域５０２０Ｂ〜５０２０Ｈの大きさも半径４画素しか描かれていないが、回路規模、計算機の演算能力に応じてこれら方向数、および局所領域の大きさは増加させることもできる。
【００６６】
次に動作について説明する。
図１９は図１６に示したスリット画像処理手段７２の動作を説明するための図である。図において、５０３０は二次元のスリット画像、５０３１〜５０３４はスリット画像５０３０から量子化された直線エッジ５０３１Ａ〜５０３４Ａが抽出された直線エッジ抽出画像、５０３５〜５０３８は直線エッジ５０３１Ａ〜５０３４Ａが領域統合された領域統合画像、６００１は領域統合画像５０３５〜５０３８が層状に重ね合わされた層状画像である。
【００６７】
直線エッジ抽出手段７２１は、二次元のスリット画像５０３０から直線エッジ５０３１Ａ〜５０３４Ａを抽出する。直線エッジ５０３１Ａ〜５０３４Ａの抽出方法は、例えば、上記図１７及び図１８に示したものによる。各エッジ方向別の領域統合手段７２２ａ〜７２２ｇは、直線エッジ抽出手段７２１により抽出された直線エッジ５０３１Ａ〜５０３４Ａを量子化された各エッジ方向毎に領域統合した領域統合画像５０３５〜５０３８を生成する。層状画像合成手段７２３は、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像５０３５〜５０３８を、最も奥の距離に相当するエッジ方向の領域統合画像５０３５から、予め指定したある距離に相当するエッジ方向の領域統合画像５０３８まで順に層状に重ね合わせることにより、層状画像６００１（スリット画像）を生成する。
【００６８】
尚、図１９では、領域統合画像５０３５〜５０３７の３枚から最終的な層状画像６００１を合成しているが、これに限るものではない。
また、簡単のためにエッジの方向は４方向として説明しているが、回路規模あるいは計算機の演算能力に応じてこれらエッジ方向量子化数を増加させることも可能である。
【００６９】
以上のように、この実施の形態４によれば、直線エッジ抽出手段７２１により、二次元のスリット画像５０３０から量子化された直線エッジ５０３１Ａ〜５０３４Ａを抽出し、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇにより、量子化された各エッジ方向毎に直線エッジ５０３１Ａ〜５０３４Ａを領域統合した領域統合画像５０３１〜５０３４を生成し、層状画像合成手段７２３により、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像５０３５〜５０３８を、最も奥の距離に相当するエッジ方向のスリット画像５０３５から、予め指定したある距離に相当するエッジ方向のスリット画像５０３８まで、順に層状に重ね合わせることにより、二次元の層状画像６００１を生成するように構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像４０００を得ることができるという効果が得られる。
【００７０】
実施の形態５．
図２０はこの発明の実施の形態５による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。図において、７２１は二次元のスリット画像（図２１の５０４０）の１つから量子化された直線エッジ（図２１の５０４１Ａ）を抽出する直線エッジ抽出手段である。尚、この直線エッジ抽出手段７２１は、上記図１５で示したものと同様または相当するものである。上記図１５で示した直線エッジ抽出手段７２１は、複数の直線エッジ（図１９の５０３１Ａ〜５０３４Ａ）を抽出していたが、図２０で示す直線エッジ抽出手段７２１は、予め指定したある距離（位置）よりも近い距離（位置）に相当する直線エッジを遮蔽物として抽出するものである。７２４は直線エッジ抽出手段７２１により抽出された量子化された遮蔽物の直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した遮蔽物領域（図２１の５０４２Ａ）の輝度情報ををスリット画像（図２１の５０４０）から除去する指定距離対応エッジ方向領域統合手段である。７２５は遮蔽物領域（図２１の５０４２Ａ）の中からその代表点（図２１の５０４３Ａ）を抽出し、スリット画像（図２１の５０４０）にその代表点を設定する領域内代表点抽出手段、７２６は直線エッジのつながりが最も自然な形になるように、輝度情報が除去された遮蔽物領域内の代表点を中心とする局所領域（図２１の５０５０）内部で輝度値を補う局所領域輝度情報推定手段である。
【００７１】
次に動作について説明する。
図２１はこの発明の実施の形態５によるスリット画像処理手段７２の動作を説明するための図である。尚、図２１では、連続画像撮像手段１の移動方向と光軸方向が垂直であって、かつ撮像素子の水平ラインと平行な場合についての画像例を示している。
図において、５０４０は二次元のスリット画像、５０４１は二次元のスリット画像５０４０から予め指定したある距離よりも近い距離に相当するエッジ方向を遮蔽物として、その直線エッジのみを抽出した直線エッジ抽出画像である。５０４２は抽出された直線エッジのみを領域統合した領域統合画像、５０４２Ａは領域統合の結果得られた遮蔽物領域である。５０４３は領域統合の結果得られた領域統合画像５０４２の遮蔽物領域５０４２Ａから、その代表点５０４３Ａ（ここでは主軸上の点の集合）を抽出した代表点抽出画像、５０４３Ａは遮蔽物領域５０４２Ａから得られた代表点（主軸上の点の集合）、５０４４はスリット画像５０４０から遮蔽物領域５０４２Ａの部分の輝度情報を除去したスリット画像、５０４４Ａはスリット画像５０４４の輝度情報除去領域、５０４４Ｂは輝度情報除去領域５０４４Ａ内の代表点（ここでは主軸）、５０５０はスリット画像５０４４内の局所領域である。
【００７２】
５０５０ａ〜５０５０ｈはスリット画像５０４４内の局所領域である。この局所領域５０５０ａ〜５０５０ｈは輝度情報除去領域５０４４Ａで直線エッジのつながりが最も自然な形になるように、輝度値を補う処理を示すものである。また、５０６０ａ〜６０１０は徐々に輝度値を補っていく様子を示したものである。６０２０は最終的に輝度情報除去領域５０４４Ａの輝度値が補われた状態を示すスリット画像である。
【００７３】
直線エッジ抽出手段７２１は、二次元のスリット画像５０４０の１つから量子化された直線エッジ５０４１Ａを抽出する。そして、指定距離対応エッジ方向領域統合手段７２４は、直線エッジ抽出手段７２１により抽出された直線エッジを、量子化されたエッジ方向に領域統合する。そして、指定距離対応エッジ方向領域統合手段７２４は、スリット画像５０４０から遮蔽物領域５０４２Ａの輝度情報を除去する。このように除去された領域が、スリット画像５０４４内の輝度情報除去領域５０４４Ｂである。領域内代表点抽出手段７２５は、遮蔽物領域５０４２Ａからその代表点５０４３Ａを抽出する。このようにして抽出された代表点が、スリット画像５０４４内の代表点５０４４Ｂである。
【００７４】
局所領域輝度情報推定手段７２６は、局所領域５０５０内部で、輝度情報除去領域５０４４Ａ内の代表点５０４４Ｂを中心に線分Ａを回転させ、線分と直線エッジが平行になったときにその線分Ａの部分に輝度値を補う。
局所領域輝度情報推定手段７２６が、局所領域５０５０内の輝度値を補う動作を局所領域５０５０ａ〜５０５０ｈを基に説明する。まず、局所領域５０５０ａでは線分Ａと直線エッジは平行でない。線分Ａを少し回転させた局所領域５０５０ｂでは線分Ａと直線エッジは平行となっているので、線分Ａの部分に輝度値が補われる。後は同様に、局所領域５０５０ｃ〜５０５０ｈに示すように、線分Ａを少しずつ回転させながら、直線エッジと平行になるか否かを調べる。そして、このようにして輝度値を補っていく様子を示したものが、局所領域５０６０ａ〜６０１０である。そして、最終的にスリット画像５０４４の輝度情報除去領域５０４４Ａの輝度値を補うと、スリット画像６０２０のようになる。
【００７５】
以上のように、この実施の形態５によれば、直線エッジ抽出手段７２１により、予め指定したある距離（位置）よりも近い距離（位置）に相当する直線エッジ５０４１Ａを遮蔽物と判断して抽出し、指定距離対応エッジ方向領域統合手段７２４により、直線エッジ抽出手段７２１により抽出された量子化された直線エッジを、量子化されたエッジ方向に領域統合し、領域統合した領域を遮蔽物領域５０４２Ａとしてスリット画像５０４０から除去し、領域内代表点抽出手段７２５により、遮蔽物領域として統合された領域の中からその代表点５０４３Ａを抽出し、局所領域輝度情報推定手段７２６により、遮蔽物領域内の代表点を中心とする局所領域５０５０内部で、直線エッジのつながりが最も自然な形になるように輝度値を補うように構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像４０００を得ることができるという効果が得られる。
【００７６】
【発明の効果】
以上のように、この発明によれば、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、時空間画像の横軸時間軸面に現れるストライプの時間軸に対する角度から静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段とから構成したので、注目すべき監視対象が、配管、建物の柱、柵等の遮蔽物によって部分的に遮蔽されている場合でも、予め指定した遮蔽物を除去し、遮蔽物が存在しない時間帯の監視対象の輝度値を置き換えることにより、実際にはその時間帯には見ることのできない監視対象の表面の輝度情報を補って、手前の遮蔽物を除去した時空間画像を生成することができ、従って監視員にとって見やすい画像を提供し、効率のよい遠隔監視環境を提供することができる効果がある。
【００７８】
さらに、この発明によれば、時空間画像処理手段を、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段とから構成したので、スリット画像上で直線的なストライプを得ることができ、その結果、スリット画像を容易に解析することができる効果がある。
また、スリット画像処理手段を複数設けたので、各スリット画像毎に画像処理を行うことができ、その結果、高速に時空間画像処理を行うことができる効果もある。
【００７９】
さらに、この発明によれば、スリット画像処理手段を、二次元のスリット画像から量子化された複数の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された上記複数の直線エッジを、この量子化された各エッジ方向毎に領域統合した複数の領域統合画像を生成する複数の領域統合手段と、これら複数の領域統合手段で生成された複数の領域統合画像を順に層状に重ね合わせることにより、二次元の層状画像を生成する層状画像合成手段とから構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像を得ることができる効果がある。
【００８０】
さらに、この発明によれば、スリット画像処理手段を、二次元のスリット画像から予め指定されたエッジ方向の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した領域の輝度情報をスリット画像から除去する指定距離対応エッジ方向領域統合手段と、輝度情報を除去した領域の中から代表点を抽出する領域内代表点抽出手段と、輝度情報が除去された領域内の代表点を中心とする局所領域内部で輝度値を補う局所領域輝度情報推定手段とから構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像を得ることができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による画像処理装置を用いた遠隔監視装置を示す概観構成図である。
【図２】 この発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図３】 図２に示した画像処理装置による画像処理方法（遮蔽物を除去する画像処理手法）を説明するための図である。
【図４】 図３の時空間画像の拡大図である。
【図５】 画像処理装置により画像処理した画像例を示す図である。
【図６】 この発明の実施の形態２による画像処理装置における時空間画像生成手段の具体的構成を示すブロック図である。
【図７】 移動量補正手段の動作を説明するための図であり、（ａ）は連続画像撮像手段が移動方向に等速直線移動する場合を示し、（ｂ）は連続画像撮像手段が上下方向に波状に振動する場合を示す図である。
【図８】 揺れ・時間軸補正手段による連続画像撮像手段の振動または揺れを補正する動作を説明するための図である。
【図９】 揺れ・時間軸補正手段による移動速度のむらを補正する動作を説明するための図である。
【図１０】 この発明の実施の形態３による画像処理装置における時空間画像処理手段の構成を示すブロック図である。
【図１１】 時空間画像処理手段の基本的な動作を説明するための図である。
【図１２】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向とが垂直であることを示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
【図１３】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向が鋭角αをなしていること示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、（ｃ）はスリットの位置を水平方向に変形した静止画像例を示す図である。
【図１４】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向が同方向（並行）であること示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、（ｃ）はスリットの位置を水平方向に変形した静止画像例を示す図である。
【図１５】 連続画像撮像手段が傾いている場合、または移動手段が下に傾いている場合の連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
【図１６】 この発明の実施の形態４による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。
【図１７】 直線エッジ抽出手段の直線エッジ抽出法の一例を示す図である。
【図１８】 直線エッジ抽出手段の直線エッジ抽出法の一例を示す図である。
【図１９】 図１６に示したスリット画像処理手段の動作を説明するための図である。
【図２０】 この発明の実施の形態５による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。
【図２１】 この発明の実施の形態５によるスリット画像処理手段の動作を説明するための図である。
【図２２】 従来技術１の画像処理装置の構成を示すブロック図である。
【図２３】 従来技術２の画像処理装置の構成を示すブロック図である。
【図２４】 従来技術３の画像処理装置の構成を示すブロック図である。
【符号の説明】
１ 連続画像撮像手段、４Ａ，４Ｂ 監視対象（物体）、５Ａ〜５Ｄ 遮蔽物（物体）、６ 時空間画像生成手段、７ 時空間画像処理手段、８ 画像再構成手段、９ 画像表示手段、６１ 移動量補正手段（連続画像位置補正手段）、６２ 揺れ・時間軸補正手段（連続画像位置補正手段）、６３ 時空間合成手段、７１ スリット画像生成手段、７２ａ〜７２ｇ スリット画像処理手段、７３ スリット画像合成手段、７２１ 直線エッジ抽出手段、７２２ａ〜７２２ｇ 領域統合手段、７２３ 層状画像合成手段、７２４ 指定距離対応エッジ方向領域統合手段、７２５ 領域内代表点抽出手段、７２６ 局所領域輝度情報推定手段、１０００，４０００ 連続画像、２０００，３０００ 時空間画像、２０００ａ，２０００ｂ ストライプ、５０００，６０００ スリット画像。
【発明の属する技術分野】
この発明は、例えばプラント機器や公共システムの遠隔監視装置に使用される画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来技術１．
例えば特開昭５７−３７９９３号公報には、一台のテレビカメラを揺動させて撮像し、この撮像した信号を立体テレビ受像機に表示することにより、電力プラントを安全かつ正確に自動点検監視ができるようにする画像処理手法が提案されている。
図２２はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１０１は立体視用のテレビカメラなどの立体映像撮像手段、１０２は立体映像撮像手段１０１を操作員の両眼間の距離だけ左右に揺動する左右視差間カメラ移動手段、１０３は立体視のための画像に変換する画像処理手段、１０４は画像処理手段１０３により変換された画像を表示し、監視員に立体映像を見せる立体テレビ受像手段である。
【０００３】
次に動作について説明する。
原子炉格納容器内を走行する遠隔操作車には、マニピュレータ等の他に立体映像撮像手段１０１が備えられている。この立体映像撮像手段１０１は左右視差間カメラ移動手段１０２により、操作員の両眼間の距離だけ左右に揺動するように形成されている。そして立体映像撮像手段１０１で撮像された左及び右画像信号は画像処理手段１０３に送られて画像処理された後、操作卓に設けられた立体テレビ受像手段１０４に表示される。操作員はこの画像を見ながら操作車を操作することにより、中央監視室にいる監視員が、遠隔にある監視現場の監視対象の映像を、あたかも監視現場にいるかの如く、忠実に提示して見せることができる。結果として、電力プラントを安全且つ正確に遠隔操作で自動点検監視ができる。
【０００４】
従来技術２．
例えば、J.Y.A.Wang.E.H.Adelson：“Layered Representation for Motion Analysis”，Proc.of the IEEE Comp. Vis. and Pat. Rec.(CVPR),pp.361-366, 1993には、一台のカメラを移動しながら撮影した連続的な画像に対して、それぞれの中から隣接する二枚の画像を順次選択しながら、それら二枚の画像間で各点の動きベクトルを計算し、手前の物体は大きく動き、奥の物体はあまり大きく動かないことを利用して奥行きを推定し、動画像をアニメーションのセル画のように奥行き毎に分割された複数のレイヤによって表現し、奥行きの順序に従って重ね合わせた上で、相互に動かすことにより動画像を表現する画像処理手法が提案されている。
図２３はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１０５は連続画像を撮像する連続画像撮像手段、１０６は連続画像撮像手段を移動する移動手段、１０７は移動手段１０６によって連続画像撮像手段１０５を移動させながらとらえた連続画像のうちの二枚から画像間の輝度情報の動きであるオプティカルフローを抽出する二枚画像間オプティカルフロー抽出手段、１０８は二枚画像間オプティカルフロー抽出結果を領域分割、領域統合する領域分割統合手段、１０９は領域分割統合された結果から、画像をそれぞれの領域毎に移動速度に応じた奥行きの層状構造に変換する画像再構成手段、１１０は再構成された画像を提供する画像表示手段である。
【０００５】
次に動作について説明する。
連続画像撮像手段１０５は、移動手段１０６によって移動させられながら、連続画像を撮像する。連続画像撮像手段１０５によって得られた連続画像のうち時間的に隣接する二枚の画像が順次選択されて、二枚画像間オプティカルフロー抽出手段１０７によりオプティカルフローが抽出される。オプティカルフロー抽出結果は、領域分割統合手段１０８で領域分割、領域統合され、画像再構成手段１０９で領域毎の移動速度に応じた奥行きの層状構造に変換される。そして、再構成された画像は、画像表示手段１１０で提示される。
【０００６】
従来技術３．
例えば、特開昭５８−５０４１７号公報には、一定微小距離毎に撮像した複数枚の対象物体の画像を合成して得る直線エッジの傾きを検出することにより、細かく簡単にカメラと対象物体間の距離を算出する画像処理手法が提案されている。
図２４はそのような従来の画像処理装置の構成を示すブロック図であり、図において、１１１は対象を撮影する連続画像撮像手段、１１２は連続画像撮像手段１１１を直線上で移動させる移動手段、１１３は移動手段１１２により移動させられた連続画像撮像手段１１１から一定微小移動距離ごとに撮像された複数枚の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間軸から構成される箱状の三次元画像データを合成する画像合成手段、１１４は画像合成手段１１３から直線エッジを抽出する直線エッジ検出手段である。
【０００７】
次に動作について説明する。
連続画像撮像手段１１１は移動手段１１２によって直線上を移動し、一定微小移動距離ごとに連続画像を撮像する。画像合成手段１１３は一定微小移動距離ごとに撮像された複数枚の画像を時間毎に積み重ねて、水平軸、垂直軸及び時間軸から構成される箱状の三次元画像データを合成する。直線エッジ検出手段１１４は画像合成手段１１３で合成された箱状の三次元画像データを、ある水平ラインで切断した二次元の画像データから直線エッジを抽出し、その直線エッジの方向から注目点の距離を推定する処理を各水平ライン毎に行う。
【０００８】
このように、連続画像撮像手段１１１を移動手段１１２により駆動して、直線上を移動しながら一定微小移動距離ごとに撮像された複数枚の画像から画像合成手段１１３を用いて距離画像を合成し、このように合成して得られた距離画像から直線エッジ方向を検出することにより、直線エッジの方向を得て、距離を求め、エッジに対応する物体上の点に対して細かく距離測定をすることができる。
【０００９】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されているので、次のような課題があった。
従来技術１では、遠隔にある監視現場の監視対象の映像を、中央監視室にある監視員に対して、あたかも監視現場にいるかの如く、忠実に提示して見せることにより、監視対象の遠隔監視を行うものであるが、監視員にとっては、監視対象の立体的な映像が実際に見やすいものであるとは限らず、効率的に遠隔監視を行うことができないなどの課題があった。例えば複雑な配管や建物の柱が注目する監視対象を部分的に遮蔽し、細かい部分の監視の妨げになるような場合である。従って、この場合には、監視員にとっては見やすい画像であるとは言えないため、注目対象よりも手前にある遮蔽物を画像処理によって取り除く等により、監視員にとって見やすい動画像を生成することが望まれる。
【００１０】
また、従来技術２では、画像中の各注目点対象までの距離を推定した後、アニメーションのセル画のように、層状に重ね合わせた表現を行うことができるが、動画像中の各点の奥行きを知るための、動画像中の各点のオプティカルフローである動きベクトルを、連続する二枚の画像だけを用いて求めているため、奥行き情報を信頼性高く距離推定するのが困難であり、信頼性高く距離推定を行うためには、二枚の画像だけでなく、より多くの画像を用いる必要があるなどの課題があった。
【００１１】
また、従来技術３では、連続画像撮像手段を、直線上を移動させながら、一定微小移動距離ごとに撮像された複数枚の画像によって生成される時空間画像から直線エッジの方向を抽出し、エッジ方向に相当する距離を求めるため、細かく距離測定を行うことができるが、この手法により得られる距離情報は、エッジに対応する部分の距離情報でしかなく、エッジカメラの振動や移動速度のむらが、距離測定の精度に大きく影響するため、物理的に強固な構造を持つ移動機構が必要となり、プラント等の点検において、機動性を損なうなどの課題があった。このため、直線エッジの方向が明瞭に抽出できない部分の距離情報を、周辺の輝度情報あるいは時間的に前後する精度情報を用いて補う何らかの手法が望まれる。また、カメラの移動に伴う振動や移動速度のむらを抑制する何らかの手段が望まれる。
【００１２】
この発明は上記のような課題を解決するためになされたもので、注目対象よりも手前にある遮蔽物を画像処理によって取り除くことにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１３】
また、この発明は、直線エッジの方向が明瞭に抽出できない部分の距離情報を、周辺の輝度情報あるいは時間的に前後する精度情報を用いて補うことにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１４】
さらに、この発明は、カメラの移動に伴う振動や移動速度のむらを抑制することにより、見やすい動画像を生成することができる画像処理装置及び画像処理方法を得ることを目的とする。
【００１５】
【課題を解決するための手段】
この発明に係る画像処理装置は、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から量子化された複数の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された上記複数の直線エッジを、この量子化された各エッジ方向毎に領域統合した複数の領域統合画像を生成する複数の領域統合手段と、これら複数の領域統合手段で生成された上記複数の領域統合画像を順に層状に重ね合わせることにより、二次元の層状画像を生成する層状画像合成手段とから構成されたものである。
【００１６】
この発明に係る画像処理装置は、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から予め指定されたエッジ方向の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した領域の輝度情報を上記スリット画像から除去する指定距離対応エッジ方向領域統合手段と、輝度情報を除去した上記領域の中から代表点を抽出する領域内代表点抽出手段と、輝度情報が除去された上記領域内の上記代表点を中心とする局所領域内部で輝度値を補う局所領域輝度情報推定手段とから構成されたものである。
【００２１】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を用いた遠隔監視装置を示す概観構成図であり、図において、１は移動手段２の上を移動しながら監視対象４Ａ，４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を連続的に撮像する連続画像撮像手段、２は連続画像撮像手段１を走行軸２Ａに沿って移動させる移動手段であり、この移動手段２には、エンコーダが付加されて連続画像撮像手段１の移動を読み取ることができると共に、ジャイロが付加されて連続画像撮像手段１の回転運動を読み取ることができるようになっている。３は連続画像撮像手段１で撮影した画像データ、エンコーダからの移動データ及びジャイロからの回転運動データをディジタル化して画像メモリ（図示せず）に展開するか、あるいはデータバスへ転送するホストコンピュータである。４Ａ，４Ｂは注目すべき監視対象（物体）、５Ａ〜５Ｄは配管、建物の柱または柵等のように、監視対象４Ａ，４Ｂを部分的に遮蔽する遮蔽物（物体）である。
【００２２】
図２はこの発明の実施の形態１による画像処理装置の構成を示すブロック図であり、図において、１は上記図１で示した連続画像撮像手段、２も上記図１で示した移動手段である。６は連続画像撮像手段１によって連続的に撮像された二次元座標（横軸と縦軸）の静止画像を時間的に積み重ねて連続画像（図３の１０００）とし、この連続画像から時間軸を新たな座標軸とする三次元座標（横軸、縦軸及び時間軸）の時空間画像（図３の２０００）を生成する時空間画像生成手段、７は時空間画像生成手段６によって生成された時空間画像を画像処理して遮蔽物（図３の２０００Ａ）を除去する時空間画像処理手段、８は時空間画像処理手段７によって画像処理された時空間画像（図３の３０００）を時間毎に切り出して、静止画像が時間的に積み重ねた連続画像（図３の４０００）に変換する画像再構成手段である。尚、これら時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８は上記図１で示したホストコンピュータ３内に設けられている。９は画像再構成手段８によって再構成された連続画像を監視員に表示する画像表示手段である。尚、この発明の実施の形態１による画像処理装置は、時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８により構成される。
【００２３】
図３は図２に示した画像処理装置による画像処理方法（遮蔽物を除去する画像処理手法）を説明するための図である。図において、１０００は連続画像撮像手段１により撮像した連続的な静止画像を時間的に積み重ねた連続画像、１０００Ａは連続画像１０００の一つである静止画像上に写っている遮蔽物である。２０００は時空間画像生成手段６により連続画像１０００から生成された三次元座標の時空間画像、２０００Ａは時空間画像２０００の時間軸断面（ｘ−ｙ面）上の遮蔽物である。３０００は時空間画像２０００を時空間画像処理手段７で画像処理することにより、遮蔽物２０００Ａを取り除いた時空間画像である。４０００は画像再構成手段８により時空間画像３０００を時間毎に切り出されて変換された、静止画像を時間的に積み重ねた連続画像である。
尚、この図３に示した連続画像１０００，４０００及び時空間画像２０００，３０００は、連続画像撮像手段１の移動方向と連続画像撮像手段１の撮像方向である光軸とが垂直であって、連続画像移動手段１が等速度で直線運動している場合の画像例である。
【００２４】
図４は図３の時空間画像２０００の拡大図であり、図において、２０００Ａは時空間画像２０００のｘ−ｙ面上の遮蔽物、２０００ａ，２０００ｂは時空間画像２０００のｘ−ｔｉｍｅ面（横軸時間軸面）に現れるストライプである。連続画像撮像手段１が移動しながら物体（監視対象４Ａ，４Ｂ、遮蔽物５Ａ〜５Ｄ）を撮像するため、連続的な静止画像上の物体の位置も移動するので、時空間画像２０００のｘ−ｔｉｍｅ面に時間軸（ｔｉｍｅ）に沿った物体の移動の軌跡としてストライプ２０００ａ，２０００ｂが現れるものである。従って、連続画像撮像手段１の移動速度が早くなる程、ストライプ２０００ａ，２０００ｂの時間軸（ｔｉｍｅ）に対する角度が急になり、また物体が連続画像撮像手段１から近い程（手前にある程）、時間軸に対する角度が急になる（従って、ストライプ２０００ａはストライプ２０００ｂよりも手前にある物体である）。
【００２５】
図４に示すように、時空間画像２０００には、座標軸として、横方向にｘ軸（ｘ座標）、縦方向にｙ軸（ｙ座標）及び奥行き方向に時間軸（ｔｉｍｅ座標）が設定されている。上記したように、時空間画像２０００は、時空間画像生成手段６により二次元（ｘ−ｙ面）の静止画像を時間的に重ね合わせて連続画像１０００とし、この連続画像１０００から時間軸を新たな座標軸とする三次元座標の画像情報として生成されたものである。従って、時空間画像２０００を時間軸で切断したｘ−ｙ面が２次元の静止画像である。
静止面の画素数は、一般的に横５１２、縦５１２であるため、時空間画像２０００のｘｙ座標の座標数もこの画素数に対応して、横５１２、縦５１２である。一方、時間軸の座標数は、連続画像撮像手段１の撮像時間によって異なる。このように設定された時空間画像２０００の３次元座標には、輝度値などの画像データや時間データなどが格納される。
【００２６】
次に動作について説明する。
（１）まず、連続画像撮像手段１が移動しながら監視対象４Ａ，４Ｂを撮像する動作について説明する。
図１に示したように、連続画像撮像手段１が、移動手段２の走行軸２Ａに沿って移動しながら連続的に監視対象４Ａ，４Ｂ（及び遮蔽物５Ａ〜５Ｄ）を撮像し、この撮像した画像データをディジタル化して連続的な静止画像（データ）とする。ホストコンピュータ３は、ディジタル化された連続的な静止画像を画像メモリに展開するか、あるいはデータバスへ転送する。そして、画像メモリ内の静止画像またはデータバスで転送された静止画像は、ホストコンピュータ３内の時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８で画像処理される。
尚、図１で示したように、移動手段２が連続画像撮像手段１を走行軸２Ａに沿って移動させる場合に限らず、移動ロボットが連続画像撮像手段１を搭載して移動する等の方法でも構わない。
【００２７】
この実施の形態１では、移動手段２が連続画像撮像手段１を等速で移動させる場合を示している。しかし、移動手段２にはエンコーダが付加されているので、連続画像撮像手段１の移動情報をエンコーダから得ることによって速度補正を行うことも可能であるため、連続画像撮像手段１が等速移動である必要はない。
また、この実施の形態１では、連続画像撮像手段１の移動方向と撮像方向とは垂直である場合を示している。しかし、移動手段２にはジャイロが付加されているので、連続画像撮像手段１の回転運動情報をジャイロから得ることによって回転運動に対する補正も可能であるため、連続画像撮像手段１は直線運動である必要もない。
【００２８】
（２）次に、画像処理装置（即ち、時空間画像生成手段６、時空間画像処理手段７及び画像再構成手段８）が、連続画像撮像手段１が撮像した連続的な静止画像を画像処理する動作を説明する。
まず、画像メモリ内の静止画像またはデータバスで転送された静止画像は、時空間画像生成手段６に送られる。ここで、静止画像には、監視対象４Ａ，４Ｂの他に遮蔽物１０００Ａも撮像されている。時空間画像生成手段６は、連続的な静止画像を時間的に並べて連続画像１０００とし、この連続画像１０００から時間軸を新しい座標軸とする三次元座標の時空間画像２０００を生成する。時空間画像生成手段６により連続的な静止画像から生成された時空間画像２０００にも遮蔽物２０００Ａが存在するので、次に、時空間画像処理手段７は、画像処理することによって、時空間画像２０００上の遮蔽物２０００Ａを除去する。
【００２９】
時空間画像処理手段７が時空間画像２０００上で遮蔽物２０００Ａとその他の物体（監視対象４Ａ，４Ｂなど）を区別するのは、基本的に次のようにして行われる。
即ち、図４に示すように、時空間画像２０００のｘ−ｔｉｍｅ面（時空間画像２０００をｙ軸で切り出した面）には、ストライプ（物体の直線的な軌跡）が現れる。このストライプの時間軸に対する角度が急である程、そのストライプの物体は連続画像撮像手段１に近い位置にあり、ストライプの時間軸に対する角度が緩くなる程、そのストライプの物体は連続画像撮像手段１から遠い位置にある。従って、ストライプ２０００ａが時間軸（ｔｉｍｅ）に対して最も急な角度であるので、ストライプ２０００ａの物体が連続画像撮像手段１に対して最も手前の位置にあることが判断でき、一方、ストライプ２０００ｂはストライプ２０００ａよりも時間軸に対する角度が緩いため、ストライプ２０００ｂの物体はストライプ２０００ａの物体よりも奥の位置にあることが解る。このようにして、連続画像撮像手段１から物体までの距離（位置）を判断し、時空間画像２０００上で遮蔽物２０００Ａとその他の物体を区別する。従って、ストライプ２０００ａが遮蔽物２０００Ａであると判断できる。
【００３０】
時空間画像処理手段７は、このように連続画像撮像手段１に対する各物体の奥行き情報を得ることによって、監視対象４Ａ，４Ｂよりも手前に位置し、部分的に監視対象４Ａ，４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄ（時空間画像２０００上の遮蔽物２０００Ａ）を画像処理により除去する。
時空間画像処理手段７が、時空間画像２０００上の遮蔽物２０００Ａを除去すると、時空間画像２０００上に空白ができてしまう。そこで、時空間画像処理手段７は、その遮蔽物２０００Ａが存在しない時間帯における監視対象４Ａ，４Ｂの輝度値と奥行き情報を用いて空白の除去部分の画像を置き換える。このように、時空間画像処理手段７が、実際にはその時間帯においては遮蔽物５Ａ〜５Ｄの陰で見ることのできない監視対象４Ａ，４Ｂの表面の輝度情報と奥行き情報を補うことにより、手前の遮蔽物５Ａ〜５Ｄを画像処理的に除去した時空間画像３０００を生成する。画像再構成手段８は、遮蔽物２０００Ａが除去された時空間画像３０００を時間毎に切り出し、静止画像を連続的に重ね合わせた連続画像４０００に変換する。
【００３１】
（３）そして、画像表示手段９は、画像再構成手段８によって再構成された連続画像４０００を監視員に表示する。連続画像４０００は、遮蔽物５Ａ〜５Ｄが除去されているので、監視員にとって監視対象４Ａ，４Ｂが見やすく監視しやすいものである。
【００３２】
図５はこの画像処理装置により画像処理した画像例を示す図である。１００は監視対象４Ａ，４Ｂ及び遮蔽物５Ａ〜５Ｄの鳥瞰図である。１００１〜１００５は連続画像撮像手段１が実際に撮影した連続的な静止画像である。４００１〜４００５は連続的な静止画像１００１〜１００５から、時空間画像生成手段６及び時空間画像処理手段７により、遮蔽物５Ａ〜５Ｄが取り除かれた連続的な静止画像である。２００は画像処理されて鳥瞰図１００から遮蔽物を取り除かれた鳥瞰図である。
このように、連続的な静止画像１００１〜１００５が画像処理されて連続的な静止画像４００１〜４００５となり、連続的な静止画像４００１〜４００５が画像表示手段９で表示されるので、監視員は監視対象４Ａ，４Ｂを監視しやすくなる。
【００３３】
以上のように、この実施の形態１によれば、注目すべき監視対象４Ａ，４Ｂが、配管、建物の柱、柵等の遮蔽物５Ａ〜５Ｄによって部分的に遮蔽されている場合でも、連続する静止画像１０００を用いて、遮蔽物５Ａ〜５Ｄが存在しない時間帯の監視対象４Ａ，４Ｂの輝度値を用いて置き換えることにより、実際にはその時間帯には見ることのできない監視対象４Ａ，４Ｂの表面の輝度情報を補って、手前の遮蔽物５Ａ〜５Ｄを除去した時空間画像を生成するので、監視員にとって見やすい画像を提供し、効率のよい遠隔監視環境を提供することができるという効果が得られる。
【００３４】
尚、この実施の形態１は、連続画像撮像手段１が光軸に垂直な方向で、かつ一定速度で移動する場合について説明した。このような場合、時空間画像２０００のｘ−ｔｉｍｅ面のストライプが直線となるため、最も精度よく遮蔽物を除去することができるためである。しかし、連続画像撮像手段１が光軸に垂直な方向で移動しない場合、または連続画像撮像手段１が一定速度で移動しない場合でも、連続画像１０００または時空間画像２０００を補正することにより、精度よく遮蔽物を除去することができる。このような連続画像１０００または時空間画像２０００の補正方法を以降の実施の形態で説明する。
【００３５】
実施の形態２．
連続画像撮像手段１の移動が等速度直線運動であれば、連続画像１０００における各物体の軌跡（時空間画像２０００のｘ−ｔｉｍｅ面のストライプ）が直線となる。従って、これらの直線的な軌跡は計算式により求めることができ、また時空間画像２０００の解析も容易である。しかし、連続画像撮像手段１の移動が等速直線運動でない場合は、連続画像１０００における各物体の軌跡は複雑なものとなって時空間画像２０００の解析も容易でない。そこで、この実施の形態２では、連続画像撮像手段１が撮影した連続画像１０００を補正して時空間画像２０００を生成し、時空間画像２０００の解析を容易にするものである。
【００３６】
図６はそのようなこの発明の実施の形態２による画像処理装置における時空間画像生成手段の具体的構成を示すブロック図であり、図において、６は上記実施の形態１で説明した時空間画像生成手段である。６１は連続画像撮像手段１が連続画像１０００を撮像するときに振動している場合、連続画像撮像手段１が撮像した連続画像１０００から時空間画像２０００を生成する際に、移動手段２に付加されたエンコーダから送られる連続画像撮像手段１の移動情報に応じて、連続画像１０００の重ね合わせる位置を補正する移動量補正手段（連続画像位置補正手段）である。６２は連続画像撮像手段１の振動、揺れ、移動速度のむら等がある場合、連続画像１０００の重ね合わせる位置を補正してその振動、揺れ、または移動速度のむら等を補正する揺れ・時間軸補正手段（連続画像位置補正手段）である。６３は移動量補正手段６１と揺れ・時間軸補正手段６２によって修正された位置で連続画像１０００を時間軸に沿って重ね合わせて三次元の時空間画像２０００を生成する連続画像の時空間合成手段である。
【００３７】
ここで、移動量補正手段６１と揺れ・時間軸補正手段６２は、ともに連続画像撮像手段１が撮影した連続画像１０００の重ね合わせる位置を修正する機能を備えたものであり、このように、移動量補正手段６１及び揺れ・時間軸補正手段６２により連続画像１０００を修正することにより、最終的に正確な時空間画像２０００を生成するものである。
しかし、移動量補正手段６１と揺れ・時間軸補正手段６２の補正機能は、異なるものである。即ち、移動量補正手段６１は、移動手段２に付加されたエンコーダまたはジャイロからの移動情報を基に、連続画像１０００の大まかな位置合わせ修正を行うものであるのに対し、揺れ・時間軸補正手段６２は、連続画像撮像手段１で撮像された連続画像１０００を画像処理することによって連続画像１０００のさらに細かい位置合わせ修正を行うものである。
【００３８】
揺れ・時間軸補正手段６２によってさらに細かい位置合わせを行う必要があるのは、機械的な振動や構造的な剛性不足による揺れや、移動機構（移動手段２）の速度むら等の理由により生じる三次元の時空間画像２０００の歪みに関しては、連続画像撮像手段１自身に機械的な防振装置を付加することにより、１Ｈｚ前後の機構的なカメラの揺れはほとんど補正できるが、これよりも周波数の高い機械的な振動や、移動機構の速度むらに関しては機械的な防振装置などでは補正できないからである。
【００３９】
次に動作について説明する。
（１）まず、移動量補正手段６１の動作について説明する。
図７は移動量補正手段６１の動作を説明するための図であり、同図（ａ）は連続画像撮像手段１が移動方向に等速直線移動する場合を示し、同図（ｂ）は連続画像撮像手段１が上下方向に波状に振動する場合を示すものである。
図７（ａ）に示すような連続画像撮像手段１が移動方向に等速直線運動する場合、連続画像撮像手段１が光軸方向１ｂ１で撮像した連続画像１０１０は上下方向にずれがないものである。従って、連続画像１０１０の重ね合わせる位置を補正する必要がない。
一方、図７（ｂ）に示すような連続画像撮像手段１が上下方向に波状に振動する場合、連続画像撮像手段１が光軸方向１ｂ１で撮像した連続画像１０１１は上下方向にずれが生じてしまう。そこで、移動手段２に付加されたエンコーダからの連続画像撮像手段１の移動情報に基づいて、連続画像１０１１の位置を上下方向に補正する。このように補正した連続画像１０１２は、上下方向のずれがなくなったものとなる。
【００４０】
このように、移動量補正手段６１が連続画像１０００の大まかな位置合わせを行うことにより、連続画像１０１２における各物体の軌跡が直線となり、連続画像１０１２の解析も容易となる。従って、時空間画像２０００の生成も容易となる。
尚、連続画像撮像手段１の移動量の補正は、図７に示したような上下方向には限られず、左右の回転方向、移動方向の速度の変化に対しても、それぞれの移動に応じた連続画像１０００の補正を行うことにより、時間軸と空間軸を変形し、画像処理の行いやすい時空間画像２０００を生成することができる。
【００４１】
（２）次に、揺れ・時間軸補正手段６２の動作について説明する。
揺れ・時間軸補正手段６２は、振動または揺れ補正機能と時間軸補正機能（移動速度むら補正機能）という２つの補正機能を有している。
（ａ）図８は揺れ・時間軸補正手段６２による連続画像撮像手段１の振動または揺れ（特に、上下方向の振動または揺れ）を補正する動作を説明するための図である。図において、３００は監視対象４Ａ，４Ｂ及び遮蔽物５Ａ〜５Ｄの鳥瞰図である。１０２０〜１０２３は連続画像撮像手段１を移動させながら撮影した監視対象４Ａ，４Ｂの連続的な静止画像、１０３０〜１０３３は連続的な静止画像１０２０〜１０２３それぞれから水平エッジ１０３０Ａ〜１０３３Ａを抽出した水平エッジ抽出画像、１０４０〜１０４３は水平エッジ抽出画像１０３０〜１０３３それぞれの水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影（圧縮）した水平方向射影画像である。
【００４２】
このように、揺れ・時間軸補正手段６２は、連続画像撮像手段１で撮影した連続的な静止画像１０２０〜１０２３から（揺れ・時間軸補正手段６２の微分フィルタ（図示せず）によって）水平エッジ１０３０Ａ〜１０３３Ａを抽出した水平エッジ抽出画像１０３０〜１０３３を生成する。そして、水平エッジ抽出画像１０３０〜１０３３の水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影して水平方向射影画像１０４０〜１０４３を生成する。この水平方向射影画像１０４０〜１０４３を垂直方向に位置合わせすることにより、連続画像撮像手段１の振れ（カメラ振れ）を補正する。このように、連続的な静止画像１０２０〜１０２３から水平エッジ１０３０Ａ〜１０３３Ａを抽出し、この水平エッジ１０３０Ａ〜１０３３Ａを水平方向に射影するのは、より精度よく垂直方向の位置合わせができるようにするためである。
【００４３】
（ｂ）図９は揺れ・時間軸補正手段６２による移動速度のむらを補正する動作を説明するための図である。図において、１０５０は連続的な静止画像を時間的に重ね合わせた連続画像、５００１は連続画像１０５０をある高さ（点線で示した部分）で切り出したスリット画像、５００２はスリット画像５００１の軌跡（ストライプ）の直線性を調べるためにスリット画像５００１を起こしたスリット画像、５００３はスリット画像５００２の時間軸を変換し、軌跡が直線になるようにしたスリット画像である。
スリット画像５００２の軌跡の傾きが急な部分は、時間軸の座標間隔を狭くするように変換することにより、スリット画像５００２のように軌跡が直線となる。尚、軌跡の傾きが緩い部分は、時間軸の座標間隔を広くするように変換する。
このように、スリット画像５０００の時間軸を変換することにより、連続画像撮像手段１の移動速度むらを除去することができ、その結果、正確な三次元の時空間画像２０００を得ることができる。
【００４４】
尚、この実施の形態２では、簡単のために連続画像撮像手段１の移動方向が光軸に対して垂直で、撮像素子の水平ラインに平行である場合について説明しているが、もしこれらの条件が異なる場合でも、連続画像１０００を変換するか、エッジ抽出を行う方向を変更するか、あるいは射影計算を行う方向を変更する等の方法により、上記と同様の結果を得ることができる。
【００４５】
以上のように、この実施の形態２によれば、移動量補正手段６１により、連続画像１０００の大まかな位置合わせ補正を行うと共に、揺れ・時間軸補正手段６２により、連続画像１０００のさらに細かい位置合わせ補正を行うので、連続画像撮像手段１の移動が等速直線運動でない場合であっても、最終的に正確に位置合わせされた時空間画像２０００を生成することができ、時空間画像２０００を容易に解析することができるという効果が得られる。
【００４６】
実施の形態３．
図１０はこの発明の実施の形態３による画像処理装置における時空間画像処理手段の構成を示すブロック図であり、図において、７は上記実施の形態１で示した時空間画像処理手段である。７１は三次元の時空間画像２０００のｘ−ｙ面（横軸縦軸面、即ち、二次元の連続画像１０００）に連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で時空間画像２０００を切断してｘ−ｔｉｍｅ面（横軸時間軸面）の複数の二次元スリット画像（図１１の５０００）を生成するスリット画像生成手段である。７２ａ〜７２ｇはそれぞれスリット画像生成手段７１により生成された複数のスリット画像それぞれに対して遮蔽物除去などの画像処理を行うスリット画像処理手段である。７３はそれぞれのスリット画像に対応するスリット画像処理手段７２ａ〜７２ｇにより画像処理されたスリット画像（図１１の６０００）を、連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリット位置に置き直すことにより、三次元の時空間画像３０００を生成するスリット画像合成手段である。
【００４７】
次に動作について説明する。
まず、この実施の形態３の時空間画像処理手段７の基本的な動作について説明する。
図１１は時空間画像処理手段７の基本的な動作を説明するための図である。尚、時空間画像生成手段６により、連続的な静止画像を連続画像１０００とし、連続画像１０００から時空間画像２０００を生成する動作及び画像再構成手段８により、時空間画像３０００から連続画像４０００を生成する動作については、上記実施の形態１で示したものと同様であるため、重複する説明を省略する。
【００４８】
スリット画像生成手段７１は、時空間画像生成手段６により生成された三次元座標の時空間画像２０００（時空間画像２０００を時間軸で切断した複数のｘ−ｙ面１０００のそれぞれ）に、連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリットを設定し、この複数のスリットの位置で時空間画像２０００を切断したｘ−ｔｉｍｅ面の複数の二次元スリット画像５０００を生成する。そして、各々のスリット画像処理手段７２ａ〜７２ｇは、スリット画像生成手段７１で生成された複数のスリット画像それぞれについて、監視対象４Ａ，４Ｂまでの奥行き情報を調べると同時に監視対象４Ａ，４Ｂよりも手前に存在し、監視対象４Ａ，４Ｂを遮蔽する遮蔽物５Ａ〜５Ｄを画像処理的に除去する。そして、スリット画像合成手段７３はそれぞれのスリットの位置に対応するスリット画像処理手段７２ａ〜７２ｇで生成された画像処理後のスリット画像６０００を、連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリットの位置に置き直すことにより、三次元の時空間画像３０００を再構成する。
尚、図１０において、スリット画像処理手段７２ａ〜７２ｇは７つしか描かれていないが、回路規模あるいは計算機の演算能力に応じてこれらの数を増加させることも可能である。
【００４９】
尚、図１１では、簡単のために連続画像撮像手段１の移動方向が光軸に対して垂直で、撮像素子の水平ラインに平行である場合を示しているが、もしこれらの条件が異なる場合でも、スリットの設定位置を変更する等の方法により、同様の結果を得ることができる。
【００５０】
次に、時空間画像２０００（時空間画像２０００を時間軸で切断したｘ−ｙ面１０００のそれぞれ）に設ける複数のスリットの位置の設定の仕方について、図１２から図１５に基づいて説明する。
（１）図１２は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向とが垂直であることを示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。同図（ａ）において、１ａ３は連続画像撮像手段１の移動方向、１ｂ３は連続画像撮像手段１の光軸方向であり、移動方向１ａ３と光軸方向１ｂ３は垂直である。１ｃ３は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６０は静止画像（連続画像の一枚）、１０６０Ａは静止画像１０６０に設定されるスリットである。
同図（ａ）に示すように、連続画像撮像手段１の移動方向１ａ３と光軸方向１ｂ３が垂直である場合、静止画像１０６０上の物体は水平方向に移動するだけであるので、静止画像１０６０には水平方向のスリット１０６０Ａを設定する。このように、スリット１０６０Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５１】
尚、この図１２に示した場合のスリット１０６０Ａの数は、最大、連続画像撮像手段１から得られる画像の縦方向の画素数（一般的には５１２画素）まで設定することにより、より細かな画像処理を行うことができる。
【００５２】
（２）図１３は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向が鋭角αをなしていること示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、同図（ｃ）はスリットの位置を水平方向に変形した静止画像例である。同図（ａ）において、１ａ４は連続画像撮像手段１の移動方向、１ｂ４は連続画像撮像手段１の光軸方向であり、移動方向１ａ４と光軸方向１ｂ４は鋭角αをなしている。１ｃ４は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６１は静止画像（連続画像の一枚）、１０６１Ａは静止画像１０６０に設定されるスリット、１０６１Ｂはスリット１０６１Ａが集まる消失点である。
同図（ａ）に示すように、連続画像撮像手段１の移動方向１ａ４と光軸１ｂ４とがある鋭角αをもって移動する場合、静止画像１０６０上の物体は消失点１０６１Ｂを中心とした放射線状のスリット１０６１方向に移動する。従って、静止画像１０６１に水平方向のスリットを設定しても、スリット画像５０００に直線の軌跡が現れないので、静止画像１０６１には消失点１０６１Ｂを中心とした放射線状に延びるスリット１０６１Ａを設定する。このように、スリット１０６１Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５３】
図１３（ｂ）において、消失点１０６１Ｂからの距離ｒと方向θとによる極座標を直交座標に変形し、さらに、ｒの代わりに、
ｒ’＝（ｒ＋ｆ／ｃｃｄx ）／（ｒｃｏｓα＋（ｆ／ｃｃｄx ）ｓｉｎα）
但し、ｆは焦点距離、ｃｃｄx は撮像素子の横方向の一画素の長さ・・・（１）
を用いることにより、図１３（ｃ）の静止画像１０６２となる。この静止画像１０６２は、静止画像１０６０と同様に、画像上の全てのスリットが水平線となっているので、スリット画像５０００を生成する画像処理が容易となる（スリットに傾きがあると画像処理が困難となるものである）。
【００５４】
（３）図１４は時空間画像２０００に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、同図（ａ）は連続画像撮像手段１の移動方向と光軸方向が同方向（並行）であることを示す図、同図（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、同図（ｃ）はスリットの位置を水平方向に変形した静止画像例である。同図（ａ）において、１ａ５は連続画像撮像手段１の移動方向、１ｂ５は連続画像撮像手段１の光軸方向であり、移動方向１ａ５と光軸方向１ｂ５は同方向である。１ｃ５は連続画像撮像手段１の撮像範囲である。また、同図（ｂ）において、１０６３は静止画像（連続画像の一枚）、１０６３Ａは静止画像１０６３に設定されるスリット、１０６３Ｂは静止画像１０６３の中心にあるスリット１０６３Ａが集まる消失点である。図１４（ａ）に示すように、連続画像撮像手段１の移動方向１ａ５と光軸１ｂ５とが同方向である場合、静止画像１０６３上の物体は消失点１０６３Ｂを中心とした放射線状のスリット１０６３方向に移動する。即ち、静止画像１０６３の中心の消失点１０６３Ｂから放射線状に物体が移動する。従って、静止画像１０６３には消失点１０６３Ｂを中心とした放射線状に延びるスリット１０６３Ａを設定する。このように、スリット１０６３Ａの位置でスリット画像５０００を生成することにより、直線的な軌跡を得ることができ、その結果、スリット画像５０００を容易に解析することができる。
【００５５】
図１４（ｂ）において、消失点１０６３Ｂからの距離ｒと方向θとによる極座標を直交座標に変形し、さらにｒの代わりに、
ｒ”＝１／ｒ ・・・（２）
を用いることにより、図１４（ｃ）の静止画像１０６４となる。この静止画像１０６４は、静止画像１０６０と同様に、画像上の全てのスリットが水平線となっているので、スリット画像５０００を生成する画像処理が容易となる。
【００５６】
（４）図１５は連続画像撮像手段（カメラ）１が傾いている場合、または移動手段（のレール）２が下に傾いている場合の連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
図１５（ａ）は連続画像撮像手段１の移動方向と光軸方向とが垂直であるが、連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６５は連続的な静止画像、１０６５Ａは静止画像１０６５上に設定するスリットである。
図１５（ａ）に示すように、スリット位置１０６５Ａを水平から角度βで設定することにより、スリット画像５０００において直線的な軌跡を得ることができる。
【００５７】
図１５（ｂ）は連続画像撮像手段１の移動方向と光軸方向とが鋭角αをなし、かつ連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６６は連続的な静止画像、１０６６Ａは静止画像１０６６上に設定するスリットである。
図１５（ｂ）の静止画像１０６６は、図１３（ｂ）で示した静止画像１０６１において、消失点１０６１Ｂの位置が（ｆ／ｃｃｄx ）ｔａｎβだけ下にずれたものである。
【００５８】
図１５（ｃ）は連続画像撮像手段１の移動方向と光軸方向とが同方向であり、かつ連続画像撮像手段１が撮像面の水平軸とある角度βをもって傾いている場合のスリット位置を示す図である。図において、１０６７は連続的な静止画像、１０６７Ａは静止画像１０６７上に設定するスリットである。
図１５（ｃ）の静止画像１０６７は、図１４（ｂ）で示した静止画像１０６３において、消失点１０６３Ｂの位置が（ｆ／ｃｃｄx ）ｔａｎβだけ下にずれたものである。
【００５９】
以上のように、この実施の形態３によれば、スリット画像生成手段７１により、連続画像撮像手段１の移動方向と光軸方向との角度に応じて複数のスリット位置で時空間画像２０００を切断して複数の二次元スリット画像５０００を生成し、スリット画像処理手段７２ａ〜７２ｇにより、複数のスリット画像それぞれに対して遮蔽物除去などの画像処理を行い、スリット画像合成手段により、画像処理されたスリット画像６０００を複数のスリット位置に置き直して三次元の時空間画像３０００を生成するように構成したので、スリット画像５０００上で直線的な軌跡（ストライプ）を得ることができ、その結果、スリット画像５０００を容易に解析することができるという効果が得られる。
また、スリット画像処理手段７２ａ〜７２ｇが、各スリット画像５０００毎のスリット画像処理を並列的に行うことにより、高速な時空間画像処理を行うことができる。
【００６０】
実施の形態４．
この実施の形態４は、下記の実施の形態５と共に、スリット画像処理手段による画像処理に関するものである。
図１６はこの発明の実施の形態４による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図であり、図において、７２は上記図１０に示したのと同様のスリット画像処理手段である。７２１は三次元の時空間画像２０００を連続画像撮像手段１の移動方向と光軸方向との角度に応じて設定した複数のスリットで分割することにより生成された、二次元のスリット画像５０００の一つを入力とし、その二次元のスリット画像５０００から量子化された直線エッジ（図１９の５０３１Ａ〜５０３４Ａ）を抽出する直線エッジ抽出手段である。７２２ａ〜７２２ｇはそれぞれ直線エッジ抽出手段７２１により抽出された量子化された直線エッジを、この量子化された各エッジ方向毎に領域統合した領域統合画像（図１９の５０３５〜５０３８）を生成する各直線エッジ方向別の領域統合手段である。７２３は各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像を、最も奥の距離に相当するエッジ方向の領域統合画像から、予め指定したある距離に相当するエッジ方向の領域統合画像まで、順に層状に重ね合わせることにより、二次元の層状画像（スリット画像）６０００（図１９ではスリット画像６００１）を生成する層状画像合成手段である。
【００６１】
図１７及び図１８は直線エッジ抽出手段７２１の直線エッジ抽出法の一例を示す図である。
図１７において、５０１０は直線エッジを抽出するスリット画像、５０１０Ａはスリット画像５０１０中の注目領域、５０１０Ｂは注目領域５０１０Ａの拡大図、ａ0 〜ａ8 は注目領域５０１０Ｂ内の各画素の輝度値である。
【００６２】
図１７に示す直線エッジ抽出手段７２１の直線エッジの抽出方法は、局所的な微分処理、即ちディジタル画像処理における局所的な領域内の画素の輝度値の差分処理によって直線エッジの方向を求めるものである。例えば注目領域５０１０Ｂの各輝度値ａ0 〜ａ8 を用いて、
横方向の勾配を
ｄｘ＝（ａ2 ＋２ａ5 ＋ａ8 −ａ0 −２ａ3 −ａ6 ） ・・・（４）
縦方向の勾配を
ｄｙ＝（ａ6 ＋２ａ7 ＋ａ8 −ａ0 −２ａ1 −ａ2 ） ・・・（５）
として求め、そして、直線エッジの方向角θを
θ＝Ｔａｎ-1（ｄｙ／ｄｘ） ・・・（６）
として求める。このような方法により、量子化された直線エッジを抽出する。
【００６３】
また、図１８において、５０２０は直線エッジを抽出するスリット画像、５０２０Ａはスリット画像５０２０Ａ内の注目領域、５０２０Ｂ〜５０２０Ｈはある方向に放射状に設定した注目領域５０２０Ａ内の局所領域、ｄ0 〜ｄ6 は局所領域５０２０Ａ〜５０２０Ｈ内の画素の輝度値の分散である。
【００６４】
図１８に示す直線エッジ抽出手段７２１の直線エッジの抽出方法は、注目点を中心として、各方向別に放射状に設定した複数の局所領域内での画素の輝度値の相関からエッジの方向を求めるものである。各方向別に放射状に設定した複数の局所領域５０２０Ｂ〜５０２０Ｈ内の画素の輝度値の分散ｄ0 〜ｄ6 が最小となる方向にエッジ方向とする方法である。例えば、各方向別の放射状局所領域５０２０Ｂ〜５０２０Ｈ内の画素値の分散ｄ0 〜ｄ6 を計算し、それらのうちで最小になるものを検索し、その最小値を与える方向を直線エッジの方向とする。
尚、図１７及び図１８に示した直線エッジの抽出方法は一例であって他の方法により直線エッジを抽出するものであってもよい。
【００６５】
尚、図１６において、領域統合手段７２２ａ〜７２２ｇは７つしか描かれていないが、回路規模あるいは計算機の演算能力に応じてこれらエッジ方向量子化数を増加させることも可能である。
また、図１８の局所領域５０２０Ｂ〜５０２０Ｈでは、方向は７つしか描かれておらず、また放射状の局所領域５０２０Ｂ〜５０２０Ｈの大きさも半径４画素しか描かれていないが、回路規模、計算機の演算能力に応じてこれら方向数、および局所領域の大きさは増加させることもできる。
【００６６】
次に動作について説明する。
図１９は図１６に示したスリット画像処理手段７２の動作を説明するための図である。図において、５０３０は二次元のスリット画像、５０３１〜５０３４はスリット画像５０３０から量子化された直線エッジ５０３１Ａ〜５０３４Ａが抽出された直線エッジ抽出画像、５０３５〜５０３８は直線エッジ５０３１Ａ〜５０３４Ａが領域統合された領域統合画像、６００１は領域統合画像５０３５〜５０３８が層状に重ね合わされた層状画像である。
【００６７】
直線エッジ抽出手段７２１は、二次元のスリット画像５０３０から直線エッジ５０３１Ａ〜５０３４Ａを抽出する。直線エッジ５０３１Ａ〜５０３４Ａの抽出方法は、例えば、上記図１７及び図１８に示したものによる。各エッジ方向別の領域統合手段７２２ａ〜７２２ｇは、直線エッジ抽出手段７２１により抽出された直線エッジ５０３１Ａ〜５０３４Ａを量子化された各エッジ方向毎に領域統合した領域統合画像５０３５〜５０３８を生成する。層状画像合成手段７２３は、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像５０３５〜５０３８を、最も奥の距離に相当するエッジ方向の領域統合画像５０３５から、予め指定したある距離に相当するエッジ方向の領域統合画像５０３８まで順に層状に重ね合わせることにより、層状画像６００１（スリット画像）を生成する。
【００６８】
尚、図１９では、領域統合画像５０３５〜５０３７の３枚から最終的な層状画像６００１を合成しているが、これに限るものではない。
また、簡単のためにエッジの方向は４方向として説明しているが、回路規模あるいは計算機の演算能力に応じてこれらエッジ方向量子化数を増加させることも可能である。
【００６９】
以上のように、この実施の形態４によれば、直線エッジ抽出手段７２１により、二次元のスリット画像５０３０から量子化された直線エッジ５０３１Ａ〜５０３４Ａを抽出し、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇにより、量子化された各エッジ方向毎に直線エッジ５０３１Ａ〜５０３４Ａを領域統合した領域統合画像５０３１〜５０３４を生成し、層状画像合成手段７２３により、各エッジ方向別の領域統合手段７２２ａ〜７２２ｇで生成された領域統合画像５０３５〜５０３８を、最も奥の距離に相当するエッジ方向のスリット画像５０３５から、予め指定したある距離に相当するエッジ方向のスリット画像５０３８まで、順に層状に重ね合わせることにより、二次元の層状画像６００１を生成するように構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像４０００を得ることができるという効果が得られる。
【００７０】
実施の形態５．
図２０はこの発明の実施の形態５による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。図において、７２１は二次元のスリット画像（図２１の５０４０）の１つから量子化された直線エッジ（図２１の５０４１Ａ）を抽出する直線エッジ抽出手段である。尚、この直線エッジ抽出手段７２１は、上記図１５で示したものと同様または相当するものである。上記図１５で示した直線エッジ抽出手段７２１は、複数の直線エッジ（図１９の５０３１Ａ〜５０３４Ａ）を抽出していたが、図２０で示す直線エッジ抽出手段７２１は、予め指定したある距離（位置）よりも近い距離（位置）に相当する直線エッジを遮蔽物として抽出するものである。７２４は直線エッジ抽出手段７２１により抽出された量子化された遮蔽物の直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した遮蔽物領域（図２１の５０４２Ａ）の輝度情報ををスリット画像（図２１の５０４０）から除去する指定距離対応エッジ方向領域統合手段である。７２５は遮蔽物領域（図２１の５０４２Ａ）の中からその代表点（図２１の５０４３Ａ）を抽出し、スリット画像（図２１の５０４０）にその代表点を設定する領域内代表点抽出手段、７２６は直線エッジのつながりが最も自然な形になるように、輝度情報が除去された遮蔽物領域内の代表点を中心とする局所領域（図２１の５０５０）内部で輝度値を補う局所領域輝度情報推定手段である。
【００７１】
次に動作について説明する。
図２１はこの発明の実施の形態５によるスリット画像処理手段７２の動作を説明するための図である。尚、図２１では、連続画像撮像手段１の移動方向と光軸方向が垂直であって、かつ撮像素子の水平ラインと平行な場合についての画像例を示している。
図において、５０４０は二次元のスリット画像、５０４１は二次元のスリット画像５０４０から予め指定したある距離よりも近い距離に相当するエッジ方向を遮蔽物として、その直線エッジのみを抽出した直線エッジ抽出画像である。５０４２は抽出された直線エッジのみを領域統合した領域統合画像、５０４２Ａは領域統合の結果得られた遮蔽物領域である。５０４３は領域統合の結果得られた領域統合画像５０４２の遮蔽物領域５０４２Ａから、その代表点５０４３Ａ（ここでは主軸上の点の集合）を抽出した代表点抽出画像、５０４３Ａは遮蔽物領域５０４２Ａから得られた代表点（主軸上の点の集合）、５０４４はスリット画像５０４０から遮蔽物領域５０４２Ａの部分の輝度情報を除去したスリット画像、５０４４Ａはスリット画像５０４４の輝度情報除去領域、５０４４Ｂは輝度情報除去領域５０４４Ａ内の代表点（ここでは主軸）、５０５０はスリット画像５０４４内の局所領域である。
【００７２】
５０５０ａ〜５０５０ｈはスリット画像５０４４内の局所領域である。この局所領域５０５０ａ〜５０５０ｈは輝度情報除去領域５０４４Ａで直線エッジのつながりが最も自然な形になるように、輝度値を補う処理を示すものである。また、５０６０ａ〜６０１０は徐々に輝度値を補っていく様子を示したものである。６０２０は最終的に輝度情報除去領域５０４４Ａの輝度値が補われた状態を示すスリット画像である。
【００７３】
直線エッジ抽出手段７２１は、二次元のスリット画像５０４０の１つから量子化された直線エッジ５０４１Ａを抽出する。そして、指定距離対応エッジ方向領域統合手段７２４は、直線エッジ抽出手段７２１により抽出された直線エッジを、量子化されたエッジ方向に領域統合する。そして、指定距離対応エッジ方向領域統合手段７２４は、スリット画像５０４０から遮蔽物領域５０４２Ａの輝度情報を除去する。このように除去された領域が、スリット画像５０４４内の輝度情報除去領域５０４４Ｂである。領域内代表点抽出手段７２５は、遮蔽物領域５０４２Ａからその代表点５０４３Ａを抽出する。このようにして抽出された代表点が、スリット画像５０４４内の代表点５０４４Ｂである。
【００７４】
局所領域輝度情報推定手段７２６は、局所領域５０５０内部で、輝度情報除去領域５０４４Ａ内の代表点５０４４Ｂを中心に線分Ａを回転させ、線分と直線エッジが平行になったときにその線分Ａの部分に輝度値を補う。
局所領域輝度情報推定手段７２６が、局所領域５０５０内の輝度値を補う動作を局所領域５０５０ａ〜５０５０ｈを基に説明する。まず、局所領域５０５０ａでは線分Ａと直線エッジは平行でない。線分Ａを少し回転させた局所領域５０５０ｂでは線分Ａと直線エッジは平行となっているので、線分Ａの部分に輝度値が補われる。後は同様に、局所領域５０５０ｃ〜５０５０ｈに示すように、線分Ａを少しずつ回転させながら、直線エッジと平行になるか否かを調べる。そして、このようにして輝度値を補っていく様子を示したものが、局所領域５０６０ａ〜６０１０である。そして、最終的にスリット画像５０４４の輝度情報除去領域５０４４Ａの輝度値を補うと、スリット画像６０２０のようになる。
【００７５】
以上のように、この実施の形態５によれば、直線エッジ抽出手段７２１により、予め指定したある距離（位置）よりも近い距離（位置）に相当する直線エッジ５０４１Ａを遮蔽物と判断して抽出し、指定距離対応エッジ方向領域統合手段７２４により、直線エッジ抽出手段７２１により抽出された量子化された直線エッジを、量子化されたエッジ方向に領域統合し、領域統合した領域を遮蔽物領域５０４２Ａとしてスリット画像５０４０から除去し、領域内代表点抽出手段７２５により、遮蔽物領域として統合された領域の中からその代表点５０４３Ａを抽出し、局所領域輝度情報推定手段７２６により、遮蔽物領域内の代表点を中心とする局所領域５０５０内部で、直線エッジのつながりが最も自然な形になるように輝度値を補うように構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像４０００を得ることができるという効果が得られる。
【００７６】
【発明の効果】
以上のように、この発明によれば、移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、時空間画像の横軸時間軸面に現れるストライプの時間軸に対する角度から静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段とから構成したので、注目すべき監視対象が、配管、建物の柱、柵等の遮蔽物によって部分的に遮蔽されている場合でも、予め指定した遮蔽物を除去し、遮蔽物が存在しない時間帯の監視対象の輝度値を置き換えることにより、実際にはその時間帯には見ることのできない監視対象の表面の輝度情報を補って、手前の遮蔽物を除去した時空間画像を生成することができ、従って監視員にとって見やすい画像を提供し、効率のよい遠隔監視環境を提供することができる効果がある。
【００７８】
さらに、この発明によれば、時空間画像処理手段を、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段とから構成したので、スリット画像上で直線的なストライプを得ることができ、その結果、スリット画像を容易に解析することができる効果がある。
また、スリット画像処理手段を複数設けたので、各スリット画像毎に画像処理を行うことができ、その結果、高速に時空間画像処理を行うことができる効果もある。
【００７９】
さらに、この発明によれば、スリット画像処理手段を、二次元のスリット画像から量子化された複数の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された上記複数の直線エッジを、この量子化された各エッジ方向毎に領域統合した複数の領域統合画像を生成する複数の領域統合手段と、これら複数の領域統合手段で生成された複数の領域統合画像を順に層状に重ね合わせることにより、二次元の層状画像を生成する層状画像合成手段とから構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像を得ることができる効果がある。
【００８０】
さらに、この発明によれば、スリット画像処理手段を、二次元のスリット画像から予め指定されたエッジ方向の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した領域の輝度情報をスリット画像から除去する指定距離対応エッジ方向領域統合手段と、輝度情報を除去した領域の中から代表点を抽出する領域内代表点抽出手段と、輝度情報が除去された領域内の代表点を中心とする局所領域内部で輝度値を補う局所領域輝度情報推定手段とから構成したので、的確に遮蔽物除去の画像処理を行うことができ、最終的に監視員が見やすい連続画像を得ることができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による画像処理装置を用いた遠隔監視装置を示す概観構成図である。
【図２】 この発明の実施の形態１による画像処理装置の構成を示すブロック図である。
【図３】 図２に示した画像処理装置による画像処理方法（遮蔽物を除去する画像処理手法）を説明するための図である。
【図４】 図３の時空間画像の拡大図である。
【図５】 画像処理装置により画像処理した画像例を示す図である。
【図６】 この発明の実施の形態２による画像処理装置における時空間画像生成手段の具体的構成を示すブロック図である。
【図７】 移動量補正手段の動作を説明するための図であり、（ａ）は連続画像撮像手段が移動方向に等速直線移動する場合を示し、（ｂ）は連続画像撮像手段が上下方向に波状に振動する場合を示す図である。
【図８】 揺れ・時間軸補正手段による連続画像撮像手段の振動または揺れを補正する動作を説明するための図である。
【図９】 揺れ・時間軸補正手段による移動速度のむらを補正する動作を説明するための図である。
【図１０】 この発明の実施の形態３による画像処理装置における時空間画像処理手段の構成を示すブロック図である。
【図１１】 時空間画像処理手段の基本的な動作を説明するための図である。
【図１２】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向とが垂直であることを示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
【図１３】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向が鋭角αをなしていること示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、（ｃ）はスリットの位置を水平方向に変形した静止画像例を示す図である。
【図１４】 時空間画像に設ける複数のスリットの位置の設定方法の一例を説明するための図であり、（ａ）は連続画像撮像手段の移動方向と光軸方向が同方向（並行）であること示す図、（ｂ）はそのときの連続的な静止画像のそれぞれに設定されるスリット位置を示す図、（ｃ）はスリットの位置を水平方向に変形した静止画像例を示す図である。
【図１５】 連続画像撮像手段が傾いている場合、または移動手段が下に傾いている場合の連続的な静止画像のそれぞれに設定されるスリット位置を示す図である。
【図１６】 この発明の実施の形態４による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。
【図１７】 直線エッジ抽出手段の直線エッジ抽出法の一例を示す図である。
【図１８】 直線エッジ抽出手段の直線エッジ抽出法の一例を示す図である。
【図１９】 図１６に示したスリット画像処理手段の動作を説明するための図である。
【図２０】 この発明の実施の形態５による時空間画像処理手段におけるスリット画像処理手段の構成を示すブロック図である。
【図２１】 この発明の実施の形態５によるスリット画像処理手段の動作を説明するための図である。
【図２２】 従来技術１の画像処理装置の構成を示すブロック図である。
【図２３】 従来技術２の画像処理装置の構成を示すブロック図である。
【図２４】 従来技術３の画像処理装置の構成を示すブロック図である。
【符号の説明】
１ 連続画像撮像手段、４Ａ，４Ｂ 監視対象（物体）、５Ａ〜５Ｄ 遮蔽物（物体）、６ 時空間画像生成手段、７ 時空間画像処理手段、８ 画像再構成手段、９ 画像表示手段、６１ 移動量補正手段（連続画像位置補正手段）、６２ 揺れ・時間軸補正手段（連続画像位置補正手段）、６３ 時空間合成手段、７１ スリット画像生成手段、７２ａ〜７２ｇ スリット画像処理手段、７３ スリット画像合成手段、７２１ 直線エッジ抽出手段、７２２ａ〜７２２ｇ 領域統合手段、７２３ 層状画像合成手段、７２４ 指定距離対応エッジ方向領域統合手段、７２５ 領域内代表点抽出手段、７２６ 局所領域輝度情報推定手段、１０００，４０００ 連続画像、２０００，３０００ 時空間画像、２０００ａ，２０００ｂ ストライプ、５０００，６０００ スリット画像。
Claims (2)
- 移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から量子化された複数の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された上記複数の直線エッジを、この量子化された各エッジ方向毎に領域統合した複数の領域統合画像を生成する複数の領域統合手段と、これら複数の領域統合手段で生成された上記複数の領域統合画像を順に層状に重ね合わせることにより、二次元の層状画像を生成する層状画像合成手段とから構成されたことを特徴とする画像処理装置。
- 移動しながら物体を撮像する連続画像撮像手段と、この連続画像撮像手段によって連続的に撮像された二次元座標の静止画像を時間的に積み重ねて連続画像とし、この連続画像から時間軸を新たな座標軸とする三次元座標の時空間画像を生成する時空間画像生成手段と、上記時空間画像の横軸時間軸面に現れるストライプの上記時間軸に対する角度から上記静止画像に写った物体の位置を判断し、予め指定した物体を画像処理して除去する時空間画像処理手段と、この時空間画像処理手段によって画像処理された時空間画像を時間毎に切り出して、画像表示手段が映像可能な静止画像を時間的に積み重ねた連続画像に変換する画像再構成手段と、前記時空間画像処理手段は、時空間画像の横軸縦軸面に連続画像撮像手段の移動方向と光軸方向との角度に応じて複数のスリット位置を設定し、この複数のスリット位置で上記時空間画像を切断して横軸時間軸面の複数の二次元座標のスリット画像を生成するスリット画像生成手段と、上記複数のスリット画像それぞれに対して予め指定された物体を画像処理して除去する複数のスリット画像処理手段と、これら複数のスリット画像処理手段により画像処理された複数のスリット画像を、連続画像撮像手段の移動方向と光軸方向との角度に応じて設定した上記複数のスリット位置に置き直すことにより、三次元座標の時空間画像を生成するスリット画像合成手段と、前記スリット画像処理手段は、二次元のスリット画像から予め指定されたエッジ方向の直線エッジを抽出する直線エッジ抽出手段と、この直線エッジ抽出手段により抽出された直線エッジを、量子化されたエッジ方向に領域統合すると共に、このように領域統合した領域の輝度情報を上記スリット画像から除去する指定距離対応エッジ方向領域統合手段と、輝度情報を除去した上記領域の中から代表点を抽出する領域内代表点抽出手段と、輝度情報が除去された上記領域内の上記代表点を中心とする局所領域内部で輝度値を補う局所領域輝度情報推定手段とから構成されたことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28240197A JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28240197A JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11120352A JPH11120352A (ja) | 1999-04-30 |
| JP3715091B2 true JP3715091B2 (ja) | 2005-11-09 |
Family
ID=17651938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28240197A Expired - Fee Related JP3715091B2 (ja) | 1997-10-15 | 1997-10-15 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3715091B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4839183B2 (ja) * | 2006-11-07 | 2011-12-21 | オリンパス株式会社 | 画像処理装置 |
| CN102509343B (zh) * | 2011-09-30 | 2014-06-25 | 北京航空航天大学 | 一种基于双目图像和对象轮廓的虚实遮挡处理方法 |
| JP6673641B2 (ja) * | 2015-03-24 | 2020-03-25 | 株式会社フジタ | 地盤崩壊検知システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2941139B2 (ja) * | 1993-03-11 | 1999-08-25 | 凸版印刷株式会社 | 視差画像作成方法および装置 |
| JPH07294215A (ja) * | 1994-04-25 | 1995-11-10 | Canon Inc | 画像処理方法及び装置 |
-
1997
- 1997-10-15 JP JP28240197A patent/JP3715091B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11120352A (ja) | 1999-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3886769B2 (ja) | 補正画像生成装置および補正画像生成プログラム | |
| JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
| US6084979A (en) | Method for creating virtual reality | |
| US9109891B2 (en) | Stereo camera | |
| US8350894B2 (en) | System and method for stereoscopic imaging | |
| CN102111629A (zh) | 图像处理装置、图像捕获装置、图像处理方法和程序 | |
| US9756277B2 (en) | System for filming a video movie | |
| CN102148965A (zh) | 多目标跟踪特写拍摄视频监控系统 | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| US20120194514A1 (en) | Image processing apparatus and method, and program | |
| CN110784641A (zh) | 组合来自多个摄像机的视图的方法及摄像机系统 | |
| JPH09231373A (ja) | 三次元位置計測装置 | |
| KR101066550B1 (ko) | 가상시점 영상 생성방법 및 그 장치 | |
| CN102959964A (zh) | 多视点视频拍摄系统和方法 | |
| WO2019244944A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
| EP0866606A1 (en) | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method | |
| WO2009093136A2 (en) | Image capture and motion picture generation | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| CN113674354A (zh) | 一种三维重建方法及系统 | |
| JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
| KR101066542B1 (ko) | 가상시점 영상 생성방법 및 그 장치 | |
| JP3715091B2 (ja) | 画像処理装置 | |
| JP3328478B2 (ja) | カメラシステム | |
| JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
| WO2017089741A1 (en) | Image capture apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |