JP4018273B2

JP4018273B2 - 映像処理装置及びその制御方法及び記憶媒体

Info

Publication number: JP4018273B2
Application number: JP35189298A
Authority: JP
Inventors: 友彦松浦; 太一松井; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-12-10
Filing date: 1998-12-10
Publication date: 2007-12-05
Anticipated expiration: 2018-12-10
Also published as: JP2000184396A

Description

【０００１】
【発明の属する技術分野】
本発明は映像処理装置及びその制御方法及び記憶媒体、詳しくは所定のネットワーク回線を介して遠隔端末に撮像映像を送信する映像処理装置及びその制御方法及び記憶媒体に関するものである。
【０００２】
【従来の技術】
ビデオカメラなどで撮影された映像情報をインターネットに代表される、いわゆるネットワークを介して遠隔地の端末に送信し、撮影された映像をその遠隔地の端末においてライブ、つまり、動画表示可能な技術が実用化されている。
【０００３】
この技術を用いて、並列に配置された２台のビデオカメラにより撮影された２系統の映像を遠隔地に送信し、遠隔地において立体感のあるステレオ映像をライブで表示する技術を考察する。
【０００４】
一般に、この種の撮影システムを構築しようとする場合、安価に供給されている家庭用ビデオカメラに内蔵されているカメラモジュールなどを使用することが考えられるであろう。
【０００５】
【発明が解決しようとする課題】
しかし、家庭用ビデオカメラに内蔵されているカメラモジュールなどはＡＥ（自動露出）機能を解除できないことが多い。それ故、１台のビデオカメラにより得られる映像を発信する場合には全く問題とならなかった点が、２台のビデオカメラにより得られる一対のステレオ映像を発信しようとする場合に問題になることがある。その理由は、ビデオカメラのＡＥ機能を解除できないことにより、それぞれ異なるＡＥ値で撮影された映像を発信してしまうからである。
【０００６】
仮に、同じＡＥ値で撮影できる、若しくはＡＥ機能を解除できるとしても、各カメラモジュールの個体差により完全に同じ輝度信号が得られるとも限らない。このようなビデオカメラにより得られる一対のステレオ映像をそのまま発信してしまった場合、遠隔地の端末上でステレオ映像を再現するとき、観察者の左右の目に異なる明るさの映像を提示してしまい、違和感を拭えず、都合が悪い。
【０００７】
【課題を解決するための手段】
本発明はかかる点に鑑みなされたものであり、２系統の撮像手段で得られたステレオ画像の明るさを統一して、遠隔端末に送信することで、遠隔端末の操作者に違和感のないステレオ映像を提供することを可能ならしめる映像処理装置及びその制御方法及び記憶媒体を提供しようとするものである。
【０００８】
２系統の撮像手段から得られたステレオ画像を構成する２つの映像情報を所定のネットワークを介して配信する映像処理装置であって、
前記撮像手段により得られた、ステレオ画像となる２つの映像それぞれを映像データとして入力し、メモリに格納する入力手段と、
入力した２つの映像データの相互相関値に基づき、一方の映像データに対する他方の映像データの映像データ全体での画素単位の位置ずれ量を検出する検出手段と、
ステレオ画像を構成する前記一方の映像データと前記他方の映像データとの明度差を小さくするべく、前記一方の映像データの座標系の座標位置にある画素の輝度信号値と前記他方の映像データの座標系から前記位置ずれ量だけずれた座標位置にある画素の輝度信号値との差分値を前記一方の映像データの各画素について求め、求めた複数の差分値から前記一方の映像データの全体における前記差分値の平均値を求めて輝度値補正量とし、前記輝度値補正量に基づき前記他方の映像データの全ての画素の明度を補正する補正手段と、
前記一方の映像データと、前記補正手段で補正された前記他方の映像データとを結合して、１つの映像データを生成し、前記ネットワークを介して送信する送信手段とを備える。
【０００９】
【発明の実施の形態】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１０】
本実施形態の基本概念を簡単に説明すると次の通りである。
【００１１】
並列に配置された２台のビデオカメラにより得られる２つのビデオ信号（ステレオビデオ信号）をリアルタイムでキャップチャできる映像配信装置（カメラサーバ）において、キャップチャされた２つの映像を比較し、それぞれの映像の対応する箇所がそれぞれ同じような輝度値を持つように明るさの補正を行い、補正後の２つの映像を縮小および結合することによりひとつ映像として再合成し、ネットワークを介して遠隔地の端末（クライアント）にステレオ映像を発信するものである。
【００１２】
以下、これを実現するための構成とその動作を説明する。
【００１３】
図１は本実施形態の映像配信装置のブロック構成図である。
【００１４】
ハードウェアとしては、撮影装置１−１及び１−４と、映像処理装置１−８から構成される。映像処理装置１−８は、ビデオカメラからの映像を取り込（キャプチャ）するハードウェアを有するものの、汎用の情報処理装置（例えばパーソナルコンピュータ等）とソフトウェアでもって実現できるものである。
【００１５】
撮影装置１−１（撮像装置１−４も同様）は映像を入力する撮像部１−２（１−５）と撮影時の露出状態を自動的に決定する露出制御部１−３（１−６）からなる。ここで露出状態を決定するパラメータとしては、シャッタースピード、アイリス、ゲイン、ホワイトバランスなどが考えられるが、ここでは特に限定しない。また以下の説明では簡単のためにこれらをまとめて単に露出パラメータと言う。
【００１６】
撮像部１−２（１−５）の映像出力信号はＮＴＳＣ形式やＹＣ分離方式などがあり、映像は映像処理装置１−８に具備されるＩ／Ｏ部１−１３を介し、映像処理装置１−８内のＲＡＭ１−１０に順次格納される。このときＩ／Ｏ１−１３はいわゆるキャプチャボードなどと呼ばれる映像を実時間でキャプチャすることのできる適当なインタフェースを２系統備えているものとする。
【００１７】
露出制御部１−３（１−６）は撮影している画面全体に対して明度バランスを自動的に調整する機能を持つ。露出制御部１−３（１−６）は制御信号線を通じて撮像部１−２（１−５）から得られる輝度信号を参照したり、その情報をもとに算出された最適な露出パラメータを使用して撮影するように撮像部１−２（１−５）に指示することが可能である。
【００１８】
撮像部１−２（１−５）及び露出制御部１−３（１−６）を備える撮影装置１−１（１−４）は、家庭用のビデオカメラに内蔵されているカメラモジュールを用いることで容易に実現できる。
【００１９】
映像処理装置１−８は、装置全体の制御を司るＣＰＵ１−９、ＣＰＵ１−９のワークエリアとして使用したり、ＯＳ、カメラサーバとして機能するアプリケーション等をロードし、実行するためのＲＡＭ１−１０をはじめ、以下の構成を備える。
【００２０】
１−１１は、ブートプログラムやＢＩＯＳが記憶されているＲＯＭであり、１ー１２はＯＳ，カメラサーバとして機能するプログラム等を記憶している二次記憶装置（ハードディスク装置等）である。１−１３は撮影装置１−１（１−１４）との通信を行うＩ／Ｏであり、１−１４はネットワーク１−１９を通じて遠隔地へのステレオ映像を発信する通信制御部である。１−１８は、上記の各処理部を接続するバスである。映像処理装置１−８は先に説明したように汎用のコンピュータにより実現できる。また、バス１−１８にはキーボード１−１５、マウスなどのポインティングデバイス１−１６、映像モニタ１−１７が接続される。
【００２１】
映像処理装置１−８は、撮影装置１−１及び１−４から得られる２系統の映像に対して後述するような処理を施しステレオ映像を生成し、ネットワーク１−１９を通じて遠隔地の端末（クライアント）にステレオ映像を発信する処理を行う。
【００２２】
図２を用いて本実施形態の基本原理を説明する。
【００２３】
同図（ａ）は並列に配置された２台のビデオカメラが同時に、或る情景を撮影している様子を示したものである。２−１及び２−２はビデオカメラであり、図１の撮影装置１−１及び１−４に相当する。２−３は２台のビデオカメラにより撮影されている情景を表しており、２−４及び２−５はそれぞれビデオカメラ２−１及び２−２で撮影された情景に対する映像信号のある時点の映像を表している。
【００２４】
２台のビデオカメラ２−１及び２−２はそれらの撮影位置が互いに異なるため、映像２−４及び２−５では情景２−３の見え方が若干異なっている。さらに、ビデオカメラ２−１及び２−２に具備される露出制御部１−３及び１−６の適正露出判定結果が異なったり、またはビデオカメラ２−１及び２−２そのものの個体差により、映像２−４及び２−５では画面全体の明るさも同一ではない。
【００２５】
同図（ａ）で撮影されている２系統の映像信号を映像処理装置１−８に入力してステレオ映像を生成する原理を同図（ｂ）に示す。
【００２６】
図示の２−６は映像処理装置１−８に相当し、同装置内に入力された２系統の映像がどのように加工されて出力されるのかを模式的に示したものである。２−７及び２−８は２台のビデオカメラ２−１及び２−２が撮影し、Ｉ／Ｏ１−１３によりキャップチャされＲＡＭ１−１０に格納された２系統の映像である。これら２系統の映像間において、相互相関値が最大となる対応づけを求める等の公知の画像処理技術により映像間の対応関係を調べ、対応する場所を同じ明るさに補正して得られた映像が２−９及び２−１０である。
【００２７】
次にこれらの映像をやはり公知の画像処理技術により縦方向だけ半分の大きさに圧縮することにより得られる映像が２−１１及び２−１２である。最後に圧縮された２系統の映像２−１１及び２−１２を統合し、ひとつの映像としたものが２−１３であり、この最終的に生成された映像２−１３がネットワークを通じて遠隔地の端末に発信される。
【００２８】
上記処理を実現するプログラムは、二次記憶１−１２内にあって、これをＲＡＭ１−１０にロードし、ＣＰＵ１−９が実行するものとしているが、ＲＯＭに納めら専用装置として構成させても良いのは勿論である。
【００２９】
さて、映像２−１３を受け取った遠隔地端末（やはり、汎用情報処理装置で構成可能）では、以上で説明してきたような処理を逆にたどる。即ち、映像２−１３を縦方向に分離し、得られた２系統の映像をそれぞれ縦方向に伸張する。このようにして得られた２系統の映像を一対のステレオ映像として提示する。提示の方法に関してはヘッドマウントディスプレイ、レンティキュラスクリーン、液晶シャッター、偏向眼鏡など様々な方法が考えられるがこれは本発明の本質的な部分ではないので特に限定しない。
【００３０】
以上説明したように、２台のビデオカメラにより得られるステレオ映像をネットワーク上に発信する前に、それらの輝度信号を比較し補正する手段を設けることにより、２台のビデオカメラから得られる一対のステレオ信号の明るさを統一することができるため、伝送先の遠隔地に対してより違和感の少ないステレオ映像を提供することが可能となる。
【００３１】
図３は本実施形態の映像処理装置の基本処理手順を示すフローチャートである。全体の流れとしては、２台のビデオカメラにより撮影された２系統の映像の明るさを統一し、両映像を結合することによりひとつの映像を再合成して発信するというものである。
【００３２】
はじめに、２台のビデオカメラ１−１及び１−４を用いて撮影されている２系統の映像を映像処理装置１−８に入力する（ステップＳ３０１）。これは、映像処理装置１−８に具備されるＩ／Ｏ１−１を介して行われる。入力された２系統の映像は直ちにＲＡＭ１−１０（または二次記憶１−１２）に格納される（ステップＳ３０２）。次に、ステップＳ３０３ではＲＡＭ１−１０（または二次記憶１−１２）に格納されている２系統の映像にたいして相互相関値を利用することによりその対応関係を求めている。ここで２つの映像間の相互相関値を算出し、それが最大となる対応づけを求めることにより、２つの映像間の対応関係を抽出する。次に、ステップＳ３０４では求められた２系統の映像が対応関係を利用して、両映像が同じような明度を持つように明度の補正を行う。これは映像内で対応している部分の輝度情報を比較することによりその映像の明度補正量を算出し、その補正量を用いて片方（または両方）の映像の明度補正が行われる。
【００３３】
次に明度の統一された２系統の映像をそれぞれ縦方向に半分の大きさまで縮小し（ステップＳ３０５）、縮小された２系統の映像を縦方向に結合してひとつの映像として再合成する（ステップＳ３０６）。これらの処理も公知の画像処理技術により実現可能である。こうして、生成されたステレオ映像がネットワーク１−１９を介して遠隔地に発信される（ステップＳＳ３０７）。
【００３４】
なお、ステップＳ３０５及びＳ３０６の処理を行う目的は、そもそも２系統の映像が一対のステレオ映像であることから、これらを別々に発信してしまうと受信側で２系統の映像の同期をとる必要が生じたり、伝送中のネットワーク内で片方の映像がロスした場合などステレオ映像にとって都合の悪い状況が発生するのを軽減するためである。
【００３５】
また、ステップＳ３０４の処理において、２系統の映像の対応関係をもとに両映像の明度を補正する方法はいくつか考えられるが、以下にその簡単な例を説明する。
【００３６】
２つの映像の相互相関値が最大になる対応関係を求めた場合、一方の映像（以下映像Ａと表す）が他方の映像（以下映像Ｂと表す）に対してどれだけ画素位置がずれているかという情報が映像全体としてただひとつだけ求まる。この位置ずれの量を（δｘ，δｙ）と表す。映像Ａの画素をＡ（ｘ，ｙ）、映像Ｂの画素をＢ（ｘ，ｙ）と表すと、Ａ（ｘ，ｙ）はＢ（ｘ＋δｘ，ｙ＋δｙ）と対応していることになる（もちろん映像の境界を越えた場合はその限りではない）ため、映像Ａをラスタスキャンし、それぞれの画素についてＡ（ｘ，ｙ）とＢ（ｘ＋δｘ，ｙ＋δｙ）の輝度信号の差をｅ（ｘ，ｙ）として求め、映像全体においてｅ（ｘ，ｙ）の平均値を求めることにより、映像Ｂの全ての画素に対する輝度値補正量を算出することができる。
【００３７】
以上が、映像間の相互相関値が最大となるような対応関係を利用した場合の映像の明度を補正する方法の例であるが、もちろんこれは極簡単な処理の例であり更に適当な方法によって補正精度の向上が期待できる。
【００３８】
＜第２の実施形態＞
第２の実施形態を説明する。本第２の実施形態では上記の第１の実施形態に加えて、映像信号の処理をハードウェアで実行するために、ＤＳＰ(Digital Signal Processor)を付加する。このように比較的計算コストの高い画像処理をハードウェアで実行することにより、映像信号の処理速度が上がりさらにリアルタイム性を向上させることができる。
【００３９】
図４は本第２の実施形態のハードウェア構成を示すブロック図である。以下では図１と異なる部分に関してのみ説明する。図４では撮影装置１−１及び１−４と映像処理装置１−８との間にＤＳＰ１−７を設ける。ＤＳＰ１−７は撮影装置１−１及び１−４とビデオ信号線で接続されており撮影装置１−１及び１−４が撮影する２系統の映像をキャプチャし、上記第１の実施形態で述べたような映像処理をハードウェアで高速に実行する機能を有する。
【００４０】
本第２の実施形態の基本原理及び処理手順は、図２及び図３に示す第１の実施形態の場合に準ずる。ただしＤＳＰ１−７を用いて高速な映像処理が可能となるため、第１の実施形態に比べて更に計算コストの高い画像処理手法を実装することもできる。第１の実施形態では、映像間の対応づけを求める方法として相互相関値を利用したが、本第２の実施形態ではステレオ対応探索を使用して対応づけを求める方法を採用する。
【００４１】
第１の実施形態では処理手順（Ｓ３０３）において、映像間の対応づけを求める方法として相互相関値を利用していた。この方法は計算コストが比較的小さく高速に実行可能であるが、映像全体に対してただひとつの対応関係しか抽出できないという欠点をもっている。即ち、２台の撮影装置４−１及び４−４はその撮影位置が異なるため、情景の見え方も微妙に変化しており、正確に映像全体が矛盾なく対応がとれていることはありえない。そこで本第２の実施形態では処理手順（Ｓ３０３）において、映像全体ではなく１画素単位（またはある大きさのブロック単位）で対応関係を求めることのできるステレオ対応探索を用いることにする。これはもともと本発明が並列に配置された２台の撮影装置から得られる一対のステレオ映像を遠隔地に発信することを目的としているため、撮影装置の配置方法だけに着目しても、精度の高いステレオ対応探索を実現するために有利ないくつかの条件を既に満たしていることからもその有効性が期待できる。ステレオ対応探索も相互相関と同様に公知の画像処理技術であるので具体的なアルゴリズムについては説明を省略する。
【００４２】
以上のようにＤＳＰ及びステレオ対応探索の導入により、更に高速に精度の高い明度補正の実現が期待できる。
【００４３】
＜第３の実施形態＞
第３の実施形態を説明する。２つのビデオカメラから得られる映像の明度を補正するため、第１の実施形態では相互相関値を用い、第２の実施形態ではステレオ対応探索を使用した。本実施形態では処理コストを削減するために映像間の対応関係を求めることなく、映像のヒストグラム変換のみを用いて明度の補正を行う。
【００４４】
本第３の実施形態のハードウェア構成及び基本原理は、図１及び図２に示す第１の実施形態の場合に準ずる。また、図５に示す本第３の実施形態の処理手順は図３に示す第１の実施形態の場合のそれに類似するので、以下ではその異なる部分についてのみ説明する。
【００４５】
本第３の実施形態の処理手順のステップＳ５０３，Ｓ５０４は第１の実施形態における処理手順中のステップＳＳ３０３，Ｓ３０４に相当する部分であり、第１、第２の実施形態では映像間の対応関係を求め、その対応関係をもとに明度の補正を行っていたが、先にも述べた通り本第３の実施形態ではヒストグラムを求め（ステップＳＳ５０３）、一方（もしくは両方）の映像のヒストグラム変換を行うことによって明度の補正を行う（ステップＳ５０４）。ヒストグラム変換もまた公知の画像処理技術であるので詳細な説明は省略する。
【００４６】
以上のように映像間の対応関係を求めることなく、簡便な方法を用いて映像間の明度差を補正することにより計算コストの削減ができるため、ＤＳＰなどの高価な器材を導入しなくてもある程度の明度補正が実現できる。
【００４７】
また、実施形態では補正対象の映像は、予め決められた一方の撮影装置（一方のビデオカメラ）によって得られた映像に対して行なうものとして説明したが、これを動的に決定してもよい。例えば、２つの映像Ａ，Ｂがあって、映像Ａの全体の輝度（合計値）が、映像Ｂより小さい場合には、映像Ａのダイナミックレンジは狭いことを意味する。換言すれば、映像Ｂの方がダイナミックレンジが広いことになる。補正をかけるとき、広いレンジには狭いレンジの特性を包含しているので、この場合には映像Ｂを補正対象とするのである。
【００４８】
また、第１、第３の実施形態、及び第２の実施形態でもその一部はソフトウェアでもって実現する。先に説明したように、実施形態で説明した映像処理装置は、汎用の情報処理装置でもって実現できるわけであるから、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５３】
以上で説明したように本実施形態によれば、２台のビデオカメラにより得られるステレオ映像をネットワーク上に発信する前に、それらの輝度信号を比較し補正することによって一対のステレオ信号の明るさを統一することができるため、伝送先の遠隔地に対してより違和感の少ないステレオ映像を提供することが可能となる。
【００５４】
【発明の効果】
以上で説明したように本発明によれば、２系統の撮像手段で夫々得られた画像の明るさを統一して、遠隔端末に送信することで、遠隔端末の操作者に違和感のないステレオ映像を提供することが可能になる。
【図面の簡単な説明】
【図１】実施形態の概略構成ブロック図である。
【図２】実施形態の基本原理説明図である。
【図３】実施形態における装置の動作処理手順を示すフローチャートである。
【図４】第２の実施形態における概略構成ブロック図である。
【図５】第３の実施形態における動作処理手順を示すフローチャートである。

Claims

２系統の撮像手段から得られたステレオ画像を構成する２つの映像情報を所定のネットワークを介して配信する映像処理装置であって、
前記撮像手段により得られた、ステレオ画像となる２つの映像それぞれを映像データとして入力し、メモリに格納する入力手段と、
入力した２つの映像データの相互相関値に基づき、一方の映像データに対する他方の映像データの映像データ全体での画素単位の位置ずれ量を検出する検出手段と、
ステレオ画像を構成する前記一方の映像データと前記他方の映像データとの明度差を小さくするべく、前記一方の映像データの座標系の座標位置にある画素の輝度信号値と前記他方の映像データの座標系から前記位置ずれ量だけずれた座標位置にある画素の輝度信号値との差分値を前記一方の映像データの各画素について求め、求めた複数の差分値から前記一方の映像データの全体における前記差分値の平均値を求めて輝度値補正量とし、前記輝度値補正量に基づき前記他方の映像データの全ての画素の明度を補正する補正手段と、
前記一方の映像データと、前記補正手段で補正された前記他方の映像データとを結合して、１つの映像データを生成し、前記ネットワークを介して送信する送信手段と
を備えることを特徴とする映像処理装置。
前記送信手段における結合処理では、撮像手段で得られた２系統の映像の両方を半分の大きさに縮小し、それらを結合することを特徴とする請求項１に記載の映像処理装置。
２系統の撮像手段から得られたステレオ画像を構成する２つの映像情報を所定のネットワークを介して配信する映像処理装置の制御方法であって、
前記撮像手段により得られた、ステレオ画像となる２つの映像それぞれを映像データとして入力し、メモリに格納する入力工程と、
入力した２つの映像データの相互相関値に基づき、一方の映像データに対する他方の映像データの映像データ全体での画素単位の位置ずれ量を検出する検出工程と、
ステレオ画像を構成する前記一方の映像データと前記他方の映像データとの明度差を小さくするべく、前記一方の映像データの座標系の座標位置にある画素の輝度信号値と前記他方の映像データの座標系から前記位置ずれ量だけずれた座標位置にある画素の輝度信号値との差分値を前記一方の映像データの各画素について求め、求めた複数の差分値から前記一方の映像データの全体における前記差分値の平均値を求めて輝度値補正量とし、前記輝度値補正量に基づき前記他方の映像データの全ての画素の明度を補正する補正工程と、
前記一方の映像データと、前記補正工程で補正された前記他方の映像データとを結合して、１つの映像データを生成し、前記ネットワークを介して送信する送信工程と
を備えることを特徴とする映像処理装置の制御方法。
コンピュータが読込み実行することで、２系統の撮像手段から得られたステレオ画像を構成する２つの映像情報を所定のネットワークを介して配信する映像処理装置として機能するプログラムコードを格納した記憶媒体であって、
前記撮像手段により得られた、ステレオ画像となる２つの映像それぞれを映像データとして入力し、メモリに格納する入力手段と、
入力した２つの映像データの相互相関値に基づき、一方の映像データに対する他方の映像データの映像データ全体での画素単位の位置ずれ量を検出する検出手段と、
ステレオ画像を構成する前記一方の映像データと前記他方の映像データとの明度差を小さくするべく、前記一方の映像データの座標系の座標位置にある画素の輝度信号値と前記他方の映像データの座標系から前記位置ずれ量だけずれた座標位置にある画素の輝度信号値との差分値を前記一方の映像データの各画素について求め、求めた複数の差分値から前記一方の映像データの全体における前記差分値の平均値を求めて輝度値補正量とし、前記輝度値補正量に基づき前記他方の映像データの全ての画素を補正する補正手段と、
前記一方の映像データと、前記補正手段で補正された前記他方の映像データとを結合して、１つの映像データを生成し、前記ネットワークを介して送信する送信手段
として機能するプログラムコードを格納することを特徴とする記憶媒体。