図1は、実施の形態に係る画像送信装置100の構成図である。画像送信装置100は、撮像部10と、第1信号処理部20と、変換処理部30と、メモリ40と、第2信号処理部50と、スイッチ55と、送信部60とを含む。
撮像部10は、一例として、魚眼レンズなどを搭載したドーム型の撮影カメラにより360度の全周囲映像を撮影し、イメージセンサから横2992画素、縦2976画素の画像データを出力する。出力フォーマットはたとえばLVDS(Low Voltage Differential Signaling)等の差動出力である。
第1信号処理部20は、一例として、FPGA(Field Programmable Gate Array)であり、撮像部10のイメージセンサから出力される画像データを、画像サイズはそのままで変換処理部30に入力できるベイヤー(Bayer)配列のRGBデータ等のフォーマットに変換して出力する。たとえば、SubLVDSの入力信号をLVDSの出力信号に変換するなどのバス種類の変換や、600MHzの入力信号を300MHzの出力信号に変換する(逆の周波数変換もありうる)などの周波数の変換などのフォーマット変換が行われる。
変換処理部30は、一例として、SoC(System-on-a-Chip)であり、第1信号処理部20からの映像入力信号を送信部60の伝送路に合ったフォーマットの映像出力信号に変換して、第2信号処理部50に供給する。データ入力側同期信号とデータ出力側同期信号が異なるため、変換処理部30は、メモリ40に入力側の同期信号にしたがってデータを書き込む書き込み部32と、メモリ40から出力側の同期信号にしたがってデータを読み出す読み出し部34とを備え、メモリ40への書き込みとメモリ40からの読み込みで異なる同期信号を用いる。
変換処理部30は、さらにテスト画像設定部33を備え、テスト画像設定部33は、メモリ40に保持される画像の無効領域にテスト画像を設定する。入力画像と出力画像は水平画素数が異なり、出力画像には画素データが存在しない無効領域が発生する。この無効領域にテスト画像を埋め込むことにより、画像データを受信する側で、伝送ケーブルの接続ミスを検出することが可能になる。
図2(a)〜図2(c)は、変換処理部30の書き込み部32によってメモリ40に書き込まれる画像データと、変換処理部30の読み出し部34によってメモリ40から読み出される画像データを説明する図である。図2(a)〜図2(c)を参照しながら、変換処理部30の書き込み部32と読み出し部34の動作を説明する。
変換処理部30の書き込み部32は、第1信号処理部20から受け取った横2992画素、縦2976画素の入力信号を画像処理し、その有効領域である横2960画素、縦2960画素を入力画像としてメモリ40に書き込む。入力画像の水平画素数に合った水平同期信号にしたがって、1ライン当たりの水平画素数が2960画素の画素データをメモリ40に書き込み、入力画像の垂直画素数に合った垂直同期信号にしたがって2960ラインを書き込むことで1フレームの画像データをメモリ40に形成する。画像処理には、ベイヤー(Bayer)配列のRGBデータを色差サブサンプリング4:2:2等のYCデータに色変換する処理が含まれ、メモリ40には、横2960画素、縦2960画素のYCデータが形成され、色差サブサンプリング4:2:2の場合、入力データ量は1フレーム当たり2960×2960×2=17,523,200バイトとなる。画像処理として、必要に応じてノイズ除去、色調整、ホワイトバランスなどを行ってもよい。
図2(a)は、書き込み部32によってメモリ40に書き込まれた画像データを示す。第1ラインには、画素Y1、Y2〜Y2960が書き込まれ、第2ラインには、画素Y2961〜Y5920が書き込まれ、末尾画素は第2960ラインのY8761600である。読み出し時には、メモリ40に形成された横2960画素、縦2960画素の入力画像を上下に2分割し、上半分入力画像、下半分入力画像からそれぞれ同時に画素データを読み出す。上半分入力画像は第1ラインから第1480ラインまでであり、先頭画素はY1、末尾画素はY4380800である。下半分入力画像は第1481ラインから第2960ラインまでであり、先頭画素はY4380801、末尾画素はY8761600である。Y(輝度)画像の有効データ量は、上半分が2980×1480=4,380,800バイトであり、下半分が2980×1480=4,380,800バイトである。色差サブサンプリング4:2:2の場合、C(色差)画像はCbとCrの2種類のデータから構成されており、CbとCrを合わせたC(色差)画像はY(輝度)画像と同じデータ量である。なお、色差サブサンプリング4:2:2とは、輝度画像Yに対して、色差画像Cb、Crのそれぞれの水平の解像度を半分に減らした形式であり、Yの2画素に対して、Cb、Crの各1画素がそれぞれ対応する。
変換処理部30の読み出し部34は、横2960画素、縦1480画素の上半分入力画像、下半分入力画像のそれぞれから、入力画像の水平サイズ(画素数)、垂直サイズ(画素数)と異なる横4096画素、縦1080画素の上半分出力画像、下半分出力画像としてメモリ40から読み出す。出力画像の水平画素数に合った水平同期信号にしたがって1ライン当たりの水平画素数が4096画素の画素データを読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって1080ラインを読み出すことで1フレームの上半分出力画像、下半分出力画像をメモリ40から読み出す。1080ラインを読み出す際、第1069ラインの途中までは画素データが存在するが、それ以降は画素データが存在しないため、画像としては無効となるデータで埋める。変換処理部30の書き込み部32でメモリ40に書き込む際に、メモリ40の画素データが存在しない領域に、画像としては無効となるデータを埋めてもよい。
図2(b)は、読み出し部34によってメモリ40から読み出された画像データを示す。図2(a)の横2960画素、縦1480画素の上半分入力画像から、1ライン当たり4096画素を読み出すことで、図2(b)の上段に示すように、横4096画素、縦1080画素の上半分出力画像が形成され、同様に図2(a)の横2960画素、縦1480画素の下半分入力画像から、1ライン当たり4096画素を読み出すことで、図2(b)の下段に示すように、横4096画素、縦1080画素の下半分出力画像が形成される。
図2(b)に示すように、上半分出力画像の第1ラインには、図2(a)の上半分入力画像の第1ラインのY1からY2960までの画素と第2ラインのY2961からY4096までの画素が配置される。同様にして、上半分出力画像の第2ラインから第1069ラインまで上半分入力画像の画素が順次配置されるが、第1070ラインでは上半分入力画像の画素が足りなくなる。第1070ラインの前半の2176個の画素には上半分入力画像の第1480ラインの画素が配置されるが、第1070ラインの後半の1920個の画素には、有効画素が存在しないため、画像としては無効となるデータが埋められる。さらに、上半分出力画像の第1071ラインから第1080ラインまでの10ライン分は画像としては無効となるデータが埋められた無効ラインとなる。したがって、図2(b)の上半分出力画像の有効データ量は、4096×1069+2176=4,380,800バイトであり、画像としては無効となるデータ量は、4096×10+1920=42,880バイトとなる。下半分出力画像についても上半分出力画像と同様である。
また、読み出し部34は、図2(b)の上半分出力画像を読み出す際、図2(c)の上段に示すように上半分出力画像を左右に2分割し、入力画像の水平サイズ(画素数)、および垂直サイズ(画素数)と異なる横2048画素、縦1080画素の左上出力画像、右上出力画像としてメモリ40から読み出すこともできる。出力画像の水平画素数に合った水平同期信号にしたがって、1ライン当たりの水平画素数が2048画素の画素データを左右同時に読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって1080ラインを読み出すことで1フレームの左上出力画像、右上出力画像をメモリ40から読み出す。同様に、読み出し部34は、図2(b)の下半分出力画像を読み出す際、図2(c)の下段に示すように下半分出力画像を左右に2分割し、出力画像の水平画素数に合った水平同期信号にしたがって、1ライン当たりの水平画素数が2048画素の画素データを左右同時に読み出し、出力画像の垂直画素数に合った垂直同期信号にしたがって1080ラインを読み出すことで1フレームの左下出力画像、右下出力画像をメモリ40から読み出す。これにより、横2048画素、縦1080画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像が生成される。
左上出力画像、右上出力画像、左下出力画像、右下出力画像は、横4096画素、縦2160画素で出力されるモニタイメージを上下左右に4分割したものである。このように4分割するのは、分割された画像を送信部60において4本の伝送路SDI1、SDI2、SDI3、SDI4により同時に伝送するためである。変換処理部30は、メモリ40から読み出された上下左右に4分割された左上出力画像、右上出力画像、左下出力画像、右下出力画像を第2信号処理部50に供給する。
このように書き込み部32は3K×3K(横2960画素、縦2960画素)の入力画像をメモリ40に書き込み、読み出し部34はメモリ40に形成された横2960画素、縦1480画素の上半分入力画像、下半分入力画像のそれぞれから横4096画素、縦1080画素の上半分出力画像、下半分出力画像、言い換えれば4K×2K(横4096画素、縦2160画素)の出力画像を読み出す。この画像変換の過程でテスト画像設定部33は出力画像の無効領域にテスト画像を設定する。出力画像の無効領域にテスト画像を設定する方法として次のようないくつかの方法がある。
読み出し部34は横2960画素、縦1480画素の上半分入力画像、下半分入力画像のそれぞれから横4096画素、縦1080画素の上半分出力画像、下半分出力画像を読み出す際に画素データが存在しない無効領域を無効データで埋めるが、そのときにテスト画像設定部33から供給されるテスト画像を無効領域に設定することができる。あるいは、読み出し部34により読み出された上半分出力画像および下半分出力画像がメモリ40に一時保存され、テスト画像設定部33が上半分出力画像および下半分出力画像の無効領域にテスト画像を上書きすることでテスト画像を設定してもよい。さらに別の方法として、書き込み部32がメモリ40に入力画像を書き込む際に、横2960画素、縦1480画素の上半分入力画像、下半分入力画像を想定したメモリ領域に画素データを書き込み、画素データが存在しない無効領域に画像としては無効となるデータを埋めてもよく、その場合は、書き込み部32がテスト画像設定部33から供給されるテスト画像を無効領域に設定してもよい。
図13(a)〜図13(c)を参照して、テスト画像設定部33により出力画像の無効領域に設定されるテスト画像を説明する。一例として、テスト画像は左上出力画像、右上出力画像、左下出力画像、右下出力画像の4つの分割画像の無効ラインの少なくとも一部を用いて設定される。
図13(a)および図13(b)に示すように、左上出力画像には赤色領域501、右上出力画像には緑色領域502、左下出力画像には青色領域503、右下出力画像には黄色領域504が設定され、さらに赤色領域501の右下隅には黒領域511、緑色領域502の左下隅には黒領域512、青色領域503の右上隅には黒領域513、黄色領域504の左上隅には黒領域514が設定される。赤色領域501、緑色領域502、青色領域503、黄色領域504をテスト画像の「背景領域」と呼び、4つの黒領域511、512、513、514の配置をテスト画像の「パターン」と呼ぶ。
図13(a)および図13(b)の例では、無効ラインの一部をテスト画像の領域として用いているが、左上出力画像、右上出力画像、左下出力画像、右下出力画像において無効ラインの全部を用いて赤色領域501、緑色領域502、青色領域503、黄色領域504を設定してもよい。
テスト画像の背景領域を左上出力画像、右上出力画像、左下出力画像、右下出力画像のそれぞれを識別可能な4色の画像としたのは、4K対応のモニタに出力画像を表示し、ユーザが出力画像におけるテスト画像のパターンを判定する際の視認性を高めるためである。テスト画像のパターンを自動で検出する場合は、背景領域を必ずしも4色で区別する必要はなく、同一の色にしてもよい。また、テスト画像のパターンを構成する4つの黒領域511、512、513、514の色は任意であり、黒以外の一色であってもよく、異なる4色で区別してもよい。
図13(a)および図13(b)の左上出力画像、右上出力画像、左下出力画像、右下出力画像の無効ラインだけを集めて図13(c)のように構成することで、テスト画像全体のパターンを把握することができる。テスト画像のパターンを説明する場合、説明の便宜上、図13(c)のように構成した図を用いることにするが、4K対応のモニタに表示されるときは、図13(a)の上半分出力画像と図13(b)の下半分出力画像を組み合わせた4K×2Kの出力画像が表示されることに留意する。
図13(a)および図13(b)に示されるように、入力画像を水平画素数の異なる出力画像に変換したため、出力画像の有効領域は細切れの画像になっており、出力画像を4K対応のモニタにそのまま表示すると有効領域は画像として意味をなさない。他方、無効領域のテスト画像は背景領域の中に黒領域の所定の配置パターンを有する画像であるため、4K対応のモニタに表示した場合にテスト画像のパターンを視認することができる。伝送ケーブルの接続ミスがあった場合、テスト画像のパターンに違いが生じるため、テスト画像のパターンの異同により、伝送ケーブルの接続状態の正否を目視で確認することができる。
第2信号処理部50は、変換処理部30の読み出し部34から供給された横2048画素、縦1080画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像をSDI信号フォーマットに変換してそれぞれ送信部60の伝送路SDI1、SDI2、SDI3、SDI4に供給する。第2信号処理部50から送信部60へ供給される出力信号は、各チャンネルとも3G−SDI信号規格(SMPTE424M)であり、データ転送レートはそれぞれ約3Gビット/秒、合計で約12Gビット/秒である。
スイッチ55は、4つの分割画像の出力信号の各々を伝送すべき伝送路を指定する切替信号を画像受信装置200から受け取る。スイッチ55は、切替信号にもとづいて第2信号処理部50の4つの分割画像の出力信号の出力端子と送信部60の4つの伝送路の接続端子との間の接続状態を切り替える。
伝送ケーブルの接続ミスがない限り、第2信号処理部50からの左上出力画像、右上出力画像、左下出力画像、右下出力画像をそれぞれ送信部60の伝送路SDI1、SDI2、SDI3、SDI4に供給すればよい。しかし、画像受信装置200においてテスト画像にもとづいて伝送ケーブルの接続ミスが検出された場合、伝送ケーブルを物理的に正しく接続し直す代わりに、スイッチ55が切替信号にもとづいて第2信号処理部50の出力端子と送信部60の接続端子との間の接続状態の切り替えを行うことで伝送ケーブルの接続ミスを修復することができる。
送信部60は、第2信号処理部50から供給された左上出力画像、右上出力画像、左下出力画像、右下出力画像をそれぞれ伝送路SDI1、SDI2、SDI3、SDI4で同時に伝送する。これにより、1フレームの映像は、3G−SDI信号フォーマットとして、4チャンネルで伝送され、出力データ量は1フレーム当たり2048×1080×4×2=17,694,720バイトとなる。
図2(a)〜図2(c)から明らかであるように、変換処理部30が入出力間の同期信号を変換することによって、横2960画素、縦2960画素の入力画像を、横2048画素、縦1080画素の左上出力画像、右上出力画像、左下出力画像、右下出力画像に変換しても、画像の縦横のサイズが変更されるだけで画像の有効データ量は全く変更されていない。したがって画質を全く劣化させずに、4チャンネルの伝送路SDI1〜SDI4で伝送することができる。
従来は、所定の伝送路で映像信号を伝送する際、伝送路の同期信号に合わせた画像サイズに変換する必要があり、スケーリングにより映像の品質が劣化するのを避けられなかった。
図3(a)〜図3(c)は、比較のために、伝送路の同期信号に合わせてスケーリングすることにより映像を伝送する従来の方法を説明する図である。ここでは、1ライン3840画素の伝送モードで伝送する場合を説明する。図3(a)に示すように、横2960画素、縦2960画素の入力画像に対して、1ライン3840画素でアライメントするために左右440画素を空けて、2960画素を水平方向に書き込み、垂直方向は1080ラインになるように画像データを縮小してメモリに書き込む。有効データ量は2960×1080=3,196,800バイトとなる。ここでは上半分の画像を示しているが、下半分についても同様に画像データを縮小して横3840画素、縦1080画素の画像を生成する。
図3(b)に示すように、1ライン3840画素のアライメントでメモリから読み出す。1水平同期信号内に転送するデータ量は3840画素である。読み出された画像データは図3(c)に示すようにそのままSDI信号規格で伝送され、モニタではそのまま出力することで画像として再生することができるが、垂直方向にスケーリング(縮小)したことにより、画質は劣化する。図3(a)〜図3(c)のスケーリングによる伝送方法では、左右440画素分が有効に利用されていない。
それに対して、図2(a)〜図2(c)で説明した画像変換方法を用いれば、スケーリングを行わないため、画質の劣化が生じない。ただし、図2(c)の4分割画像をそのままモニタに表示した場合、1つのラインに元の入力画像の複数のラインが混ざっているため、画像としては意味をなさない。後述のように画像受信装置において、画像を2960画素ずつ取り出して再構成し、元の画像を復元する必要がある。
図4は、書き込み部32が入力画像をメモリ40に書き込む際の入力側の同期信号を説明する図である。書き込み部32は、クロック周波数720.72/1.001MHzの下で、横2960画素、縦2960画素の入力画像を60/1.001fps(frame per second)のフレームレートでメモリ40に書き込む。書き込み部32は、入力される有効サンプル数が、水平方向2960サンプル、垂直方向2960ラインとなるように、水平同期信号を3900サンプル、垂直同期信号を3080ラインのタイミングで与えて画素をサンプリングする。図中の点線の矢印は書き込み順を示す。
図5(a)および図5(b)は、書き込み部32が入力画像をメモリ40に書き込む際のタイミングチャートである。図5(a)は、3900サンプル毎に与えられる水平同期信号(Hsync)と、3080ライン毎に与えられる垂直同期信号(Vsync)を示す。
図5(b)は、図5(a)の垂直同期信号(Hsync)を拡大した図であり、1水平同期期間の間に水平方向に1ライン当たり2960個の画素が有効データとしてサンプリングされ、上半分の第1480ラインの最後の4380800番目の画素がサンプリングされるまでのタイミングチャートを示している。この後、下半分についても同様にサンプリングされる。
図6は、読み出し部34がメモリ40から出力画像を読み出す際の出力側の同期信号を説明する図である。読み出し部34は、クロック周波数148.5/1.001MHzの下で、メモリ40に格納された入力画像の上半分から横4096画素、縦1080画素の出力画像の上半分をフレームレート60/1.001fpsでメモリ40から読み出し、メモリ40に格納された入力画像の下半分から横4096画素、縦1080画素の出力画像の下半分をフレームレート60/1.001fpsでメモリ40から読み出す。ここでは、主に入出力画像の上半分について説明し、下半分については上半分と同様であるから説明を適宜省略する。読み出し部34は、出力される有効サンプル数が、水平方向2048サンプル、垂直方向1080ラインとなるように、水平同期信号を2200サンプル、垂直同期信号を1125ラインのタイミングで与えて画素をライン毎にサンプリングする。図中の点線の矢印は読み出し順を示す。左右に2分割して左右同時に読み出す。また、C画像もY画像と同様に2分割して左右同時に読み出す。
図7(a)および図7(b)は、読み出し部34がメモリ40から出力画像を読み出す際のタイミングチャートである。図7(a)は、を2200サンプル毎に与えられる水平同期信号(Hsync)と、1125ライン毎に与えられる垂直同期信号(Vsync)を示す。
図7(b)は、図7(a)の垂直同期信号(Hsync)を拡大した図であり、出力画像の上半分について、1水平同期期間の間に水平方向にSDI1用データ(左上出力画像)およびSDI2用データ(右上出力画像)として1ライン当たり2048個の画素が有効データとしてサンプリングされ、第1070ラインがサンプリングされるまでのタイミングチャートを示している。第1070ラインでは、SDI1用データとして4378624番目から4380672番目までの画素が有効サンプルとして読み出され、SDI2用データとして4380673番目から4380800番目までの画素が有効サンプルとして読み出され、残りは画像としては無効となるデータが埋められる。第1071ラインから第1080ラインまでは画像としては無効となるデータのみが埋められる。
出力画像の下半分についても上半分と同様であり、SDI3用データ(左下出力画像)およびSDI4用データ(右下出力画像)が同じ同期信号にしたがって同時に読み出される。すなわち、SDI1用データのY1画素、SDI2用データのY2049画素、SDI3用データのY4380801画素、SDI4用データのY4382849画素を最初の読み出し画素としてそれ以降も出力タイミングを揃えて上下左右に4分割した画像を同期信号にしたがって同時に読み出す。また、C画像もY画像と同様に読み出す。
図8は、実施の形態に係る画像受信装置200の構成図である。画像受信装置200は、受信部210と、スイッチ215と、第3信号処理部220と、変換処理部230と、メモリ240と、SD(Secure Digital)カード250と、表示制御部260とを含む。
画像受信装置200は、画像送信装置100から伝送された画像データを受信し、画像を復元して表示または保存する。画像送信装置100による出力画像はそのままモニタに表示しても画像としては意味をなさないため、画像受信装置200において元の画像に復元する必要がある。
受信部210は、画像送信装置100の送信部60により伝送された4分割された横2048画素、縦1080画素の画像データを4つの伝送路SDI1、SDI2、SDI3、SDI4で受信する。入力データ量は1フレーム当たり2048×1080×4×2=17,694,720バイトである。SDI1、SDI2、SDI3、SDI4で受信された左上画像、右上画像、左下画像、右下画像は第3信号処理部220に供給される。
第3信号処理部220は、一例として、FPGAであり、入力画像データを、画像サイズはそのままで変換処理部230に入力できるフォーマットに変換して出力する。
変換処理部230は、一例として、SoCであり、第3信号処理部220からの映像入力信号から元の画像を復元して出力する。データ入力側同期信号とデータ出力側同期信号が異なるため、変換処理部230は、メモリ240に入力側同期信号にしたがってデータを書き込む書き込み部232と、メモリ240から出力側同期信号にしたがってデータを読み出す読み出し部234とを備え、入出力間で同期信号を変換する。
変換処理部230は、さらに検出部233と切替制御部235を備える。検出部233は、メモリ240に保持される入力画像の無効領域のテスト画像のパターンとあらかじめ定められたパターンとを比較して異同を検出する。切替制御部235は、入力画像の無効領域のテスト画像のパターンがあらかじめ定められたパターンとは異なる場合に、受信部210において4つの伝送路SDI1、SDI2、SDI3、SDI4で受信された各分割画像の信号が入力されるべき第3信号処理部220の入力端子を指定する切替信号を生成し、スイッチ215に供給する。
スイッチ215は、切替信号にもとづいて受信部210の4つの伝送路の接続端子と第3信号処理部220の4つの分割画像の入力信号の入力端子との間の接続状態を切り替える。
伝送ケーブルの接続ミスがない限り、受信部210が4つの伝送路SDI1、SDI2、SDI3、SDI4で受信した各分割画像をそれぞれ第3信号処理部220の対応する入力端子に供給すればよい。しかし、テスト画像にもとづいて伝送ケーブルの接続ミスが検出された場合、伝送ケーブルを物理的に正しく接続し直す代わりに、スイッチ215が切替信号にもとづいて受信部210の接続端子と第3信号処理部220の入力端子の間の接続状態の切り替えを行うことで伝送ケーブルの接続ミスを修復することができる。
画像受信装置200にスイッチ215が設けられていない場合、切替制御部235は切替信号を画像送信装置100に送信し、画像送信装置100のスイッチ55が切替信号にもとづいて第2信号処理部50の出力端子と送信部60の接続端子の間の接続状態を切り替えることで伝送ケーブルの接続ミスを修復することができる。
図9(a)および図9(b)は、変換処理部230の書き込み部232によってメモリ240に書き込まれる画像データと、変換処理部230の読み出し部234によってメモリ240から読み出される画像データを説明する図である。図9(a)および図9(b)を参照しながら、変換処理部230の書き込み部232と読み出し部234の動作を説明する。
変換処理部230の書き込み部232は、第3信号処理部220から左上画像および右上画像を受け取り、水平同期信号にしたがって、1ライン当たりの水平画素数が2048画素の左上画像および右上画像の画素データをメモリ240の左右の対応する位置に書き込み、垂直同期信号にしたがって1080ラインを書き込む。これにより、1フレームの上半分の画像データがメモリ240に形成される。同様に、書き込み部232は、第3信号処理部220から左下画像および右下画像を受け取り、水平同期信号にしたがって、1ライン当たりの水平画素数が2048画素の左下画像および右下画像の画素データをメモリ240の左右の対応する位置に書き込み、垂直同期信号にしたがって1080ラインを書き込む。これにより、1フレームの下半分の画像データがメモリ240に形成される。
図9(a)の上段に示すように、SDI1により伝送された横2048画素、縦1080画素の左上画像は点線の矢印のように左半分に書き込まれ、SDI2により伝送された横2048画素、縦1080画素の右上画像は点線の矢印のように右半分に書き込まれる。これにより、横4096画素、縦1080画素の上半分の画像がメモリ240に形成される。同様に、図9(a)の下段に示すように、SDI3により伝送された横2048画素、縦1080画素の左上画像は点線の矢印のように左半分に書き込まれ、SDI4により伝送された横2048画素、縦1080画素の右上画像は点線の矢印のように右半分に書き込まれる。これにより、横4096画素、縦1080画素の下半分の画像がメモリ240に形成される。上下左右に4分割された画像データのメモリ240への書き込みは同時に行われる。
書き込み部232が画像データをメモリ240に書き込む際の水平同期信号および垂直同期信号については、図6、図7(a)および図7(b)で説明した画像送信装置100の変換処理部30の読み出し部34がメモリ40から4分割された画像データを読み出す際のタイミングチャートと同様の水平同期信号および垂直同期信号を用いればよい。
図9(b)に示すように、変換処理部230の読み出し部234は、メモリ240に形成された横4096画素、縦1080画素の上半分および下半分の画像のそれぞれから、水平同期信号にしたがって1ライン当たりの水平画素数が2960画素の画素データを読み出し、垂直同期信号にしたがって1480ラインを読み出すことで1フレームの上半分および下半分の画像をメモリ240から読み出す。これにより、横2960画素、縦2960画素の画像が生成される。これは画像送信装置100により撮像された元の画像であり、そのまま表示装置に表示したり、記録媒体に保存することができる。
読み出し部234がメモリ240から画像データを読み出す際の水平同期信号および垂直同期信号については、図4、図5(a)および図5(b)で説明した画像送信装置100の変換処理部30の書き込み部32が画像データをメモリ40に書き込み際のタイミングチャートと同様の水平同期信号および垂直同期信号を用いればよい。
読み出し部234は、必要に応じて読み出された画像のサイズを変換してもよい。たとえば表示装置などの出力先に合わせて画像サイズを変更してもよい。一例として横2960画素、縦2960画素の画像を横2048画素、縦2048画素に変換する。あるいは、読み出し部234は、読み出された画像のサイズは変換せずに、一部の領域を切り出したり、画像領域を拡張する処理を行ってもよい。一例として、横2960画素、縦2960画素の画像の左右に黒領域を付加して、横3840画素、縦2960画素に変換してもよい。
このように書き込み部232は横4096画素、縦1080画素の上半分入力画像および下半分入力画像をメモリ240に書き込み、読み出し部234はメモリ240に形成された横4096画素、縦1080画素の上半分入力画像、下半分入力画像のそれぞれから横2960画素、縦1480画素の上半分出力画像、下半分出力画像を読み出す。書き込み部232によって4K×2K(横4096画素、縦2160画素)の入力画像がメモリ240に形成され、読み出し部234によって3K×3K(横2960画素、縦2960画素)の出力画像が取り出される。この画像変換の過程で検出部233は入力画像の無効領域のテスト画像のパターンを検出し、あらかじめ定められたパターンと比較する。
伝送ケーブルの接続ミスがなければ、メモリ240に形成された横4096画素、縦1080画素の上半分入力画像は図13(a)に示すものと同じであり、メモリ240に形成された横4096画素、縦1080画素の下半分入力画像は図13(b)に示すものと同じである。検出部233はメモリ240に形成された横4096画素、縦1080画素の上半分入力画像の無効ラインと、横4096画素、縦1080画素の下半分入力画像の無効ラインを結合してテスト画像を抽出する。これは、伝送ケーブルの接続ミスがなければ、図13(c)に示すものと同じである。検出部233は、受信された入力画像のテスト画像のパターンがあらかじめ定められた図13(c)のパターンであるかどうかを判定する。
表示制御部260は、メモリ240に形成された4K×2K(横4096画素、縦2160画素)の入力画像を読み出して4K対応のモニタに表示する。これにより、ユーザは入力画像の無効領域のテスト画像を視認することができ、テスト画像があらかじめ定められたパターンであるかどうかを目視で判定することができる。この場合、検出部233による自動判定を省略して、ユーザが切替制御部235に対して切替信号を手動で設定してもよい。
ストリーム化部236は、読み出し部234により読み出された画像データを符号化し、AVC/H.264やHEVC/H.265などの動画像圧縮符号化規格にしたがって符号化ストリームを生成する。SDカードインタフェース238は、符号化された動画ストリームをSDカード250に格納する。図示しない表示部が読み出し部234により読み出された画像を表示装置に表示してもよい。
図14(a)〜図14(x)を参照して、無効領域のテスト画像のパターンを説明する。図14(a)は、図13(c)のテスト画像を模式的に示したものである。ここでは図13(c)の無効ラインの全領域を背景領域として用いて、SDI1〜SDI4をまたがる中央の黒領域をパターンとして用いる。伝送ケーブルが正しく接続されているならば、SDI1の右下黒のテスト画像、SDI2の左下黒のテスト画像、SDI3の右上黒のテスト画像、SDI4の左上黒のテスト画像が図14(a)に示すように配置され、黒領域が中央に集まる。伝送路SDI1、SDI2、SDI3、SDI4が接続されるべき受信部210の接続端子をそれぞれA、B、C、Dとすると、{接続端子A,SDI1}、{接続端子B,SDI2}、{接続端子C,SDI3}、{接続端子D,SDI4}という伝送ケーブルの接続状態がテスト画像の正しいパターンを構成する。
しかしながら、たとえば接続端子Cと接続端子Dの間で伝送ケーブルを挿し間違えた場合、{接続端子A,SDI1}、{接続端子B,SDI2}、{接続端子C,SDI4}、{接続端子D,SDI3}という伝送ケーブルの接続状態になり、接続端子CにはSDI4の左上黒のテスト画像が入力され、接続端子DにはSDI3の右上黒のテスト画像が入力される。この場合、図14(b)に示すようなテスト画像のパターンが検出され、中央に黒領域が集まらない。別の例として、接続端子Bと接続端子Cの間で伝送ケーブルを挿し間違えた場合、{接続端子A,SDI1}、{接続端子B,SDI3}、{接続端子C,SDI2}、{接続端子D,SDI4}という伝送ケーブルの接続状態になり、接続端子BにはSDI3の右上黒のテスト画像が入力され、接続端子CにはSDI2の左下黒のテスト画像が入力される。この場合、図14(c)に示すようなテスト画像のパターンが検出され、中央に黒領域が集まらない。図14(d)〜図14(x)についても同様に、いずれかの2以上の端子の間で伝送ケーブルの挿し間違いがあり、テスト画像のパターンは中央に黒領域が集まらないものになる。
4個の接続端子A、B、C、Dの間で4本の伝送ケーブルを挿し間違えるパターンは、全部で24通り考えられる。すなわち、図14(a)の正しい接続状態のテスト画像のパターンに対して、図14(b)〜図14(x)の23通りの誤った接続状態のテスト画像のパターンがありうる。検出されたテスト画像のパターンを図14(a)の正しいパターンと比較することで、受信部210の接続端子A、B、C、Dへの伝送ケーブルの接続状態の正否を判定することができる。
なお、図14(a)のように中央に黒領域が集まる視認しやすいパターンを正しいパターンとして用いれば、ユーザは4K対応のモニタでテスト画像を実際に見て図14(b)〜図14(x)のパターンであれば、伝送ケーブルの接続ミスがあったことを容易に把握することができる。ただし、検出部233がテスト画像のパターンの異同を自動検出するのであれば、必ずしも図14(a)のような視認しやすいパターンを正しいパターンとする必要はなく、たとえば、図14(c)のパターンを正しいパターンとして用いて、それ以外のパターンを誤ったパターンとして判別してもかまわない。また、図14(a)以外のパターンでもユーザが視認しやすいものであれば、正しいパターンとして用いることができる。たとえば、図14(x)のように四隅が黒であるパターンを正しいパターンとして用いれば、それ以外のパターンとの間で目視で比較してユーザはパターンの異同を判定することができる。
図15(a)〜図15(d)は、伝送ケーブルの接続状態を正しい状態に切り替えるための切替信号を説明する図である。図15(a)は、受信部210の4個の接続端子A、B、C、Dの配置を示す図である。図15(b)は、図15(a)の接続端子A、B、C、Dにそれぞれ伝送路SDI1、SDI2、SDI3、SDI4が正しく接続された状態におけるテスト画像のパターンを示す。接続端子AにSDI1の右下黒のテスト画像、接続端子BにSDI2の左下黒のテスト画像、接続端子CにSDI3の右上黒のテスト画像、接続端子DにSDI4の左上黒のテスト画像が入力されるので、中央に黒領域が集まっている。
図15(c)は、検出部233によって検出されたテスト画像のパターンを示す。これは図14(d)に示すパターンと同じであり、3つの接続端子B、C、Dの間で3本の伝送ケーブルの挿し間違いがあり、接続端子AにはSDI1が正しく接続されているが、接続端子BにはSDI3が接続され、接続端子CにはSDI4が接続され、接続端子DにはSDI2が誤って接続されている。その結果、接続端子Aに右下黒のテスト画像、接続端子Bに右上黒のテスト画像、接続端子Cに左上黒のテスト画像、接続端子Dに左下黒のテスト画像が入力され、中央に黒領域が集まらない。
図15(c)のテスト画像のパターンが検出されることは、画像送信装置100の送信部60の接続端子A〜Dと画像受信装置200の受信部210の接続端子A〜Dとの間で次の伝送ケーブルの挿し間違いが起きていることを意味する。送信部60の接続端子Aは受信部210の接続端子Aに正しく接続されているが、送信部60の接続端子Bは受信部210の接続端子Dに、送信部60の接続端子Cは受信部210の接続端子Bに、送信部60の接続端子Dは受信部210の接続端子Cに接続されている。送信部60と受信部210の間の誤った接続関係は(AtoA,BtoD,CtoB,DtoC)と記載することができる。この誤った接続関係を正しい接続関係に戻すためには、これを反転させた(AtoA,BtoC,CtoD,DtoB)という切替信号を用いて受信部210側または送信部60側で入出力の接続関係を切り替えればよい。
図15(d)の左側には{接続端子A,SDI1}、{接続端子B,SDI3}、{接続端子C,SDI4}、{接続端子D,SDI2}という誤った接続状態が示されており、図15(d)の右側には{接続端子A,SDI1}、{接続端子B,SDI2}、{接続端子C,SDI3}、{接続端子D,SDI4}という正しい接続状態が示されている。図15(d)の矢印は、図15(c)の誤った接続状態を図15(b)の正しい接続状態に修正するための切替信号(AtoA,BtoC,CtoD,DtoB)を示す。切替制御部235は切替信号(AtoA,BtoC,CtoD,DtoB)をスイッチ215に供給する。
スイッチ215は、切替信号(AtoA,BtoC,CtoD,DtoB)にもとづいて、スイッチ215の入力側端子Aを出力側端子Aに、入力側端子Bを出力側端子Cに、入力側端子Cを出力側端子Bに、入力側端子Dを出力側端子Bに接続するように切り替える。すなわち、スイッチ215は、受信部210と第3信号処理部220の間の接続状態を切り替え、受信部210の接続端子Aを第3信号処理部220の入力端子Aに、受信部210の接続端子Bを第3信号処理部220の入力端子Cに、受信部210の接続端子Cを第3信号処理部220の入力端子Dに、受信部210の接続端子Dを第3信号処理部220の入力端子Bに接続する。
これにより、受信部210の接続端子AからのSDI1の出力は第3信号処理部220の入力端子Aに入力され、受信部210の接続端子BからのSDI3の出力は第3信号処理部220の入力端子Cに入力され、受信部210の接続端子CからのSDI4の出力は第3信号処理部220の入力端子Dに入力され、受信部210の接続端子DからのSDI2の出力は第3信号処理部220の入力端子Bに入力される。このようにスイッチ215の動作により、誤った接続状態が正しい接続状態に戻され、画像送信装置100と画像受信装置200の間の伝送ケーブルの接続ミスが解消される。
画像受信装置200にスイッチ215がなく、画像送信装置100にスイッチ55を設ける構成の場合、切替制御部235は同じ切替信号(AtoA,BtoC,CtoD,DtoB)を画像送信装置100に送信する。画像送信装置100のスイッチ55は、切替信号(AtoA,BtoC,CtoD,DtoB)にもとづいて、第2信号処理部50の出力端子Aを送信部60のSDI1用の接続端子Aに接続し、第2信号処理部50の出力端子Bを送信部60のSDI3用の接続端子Cに接続し、第2信号処理部50の出力端子Cを送信部60のSDI4用の接続端子Dに接続し、第2信号処理部50の出力端子Dを送信部60のSDI2用の接続端子Bに接続する。
これにより、第2信号処理部50の出力端子AからのSDI1の出力が送信部60の接続端子Aに入力され、第2信号処理部50の出力端子BからのSDI2の出力が送信部60の接続端子Cに入力され、第2信号処理部50の出力端子CからのSDI3の出力が送信部60の接続端子Dに入力され、第2信号処理部50の出力端子DからのSDI4の出力が送信部60の接続端子Bに入力される。
ここで、前述のように、送信部60の接続端子Aは受信部210の接続端子Aに正しく接続されているが、送信部60の接続端子Bは受信部210の接続端子Dに、送信部60の接続端子Cは受信部210の接続端子Bに、送信部60の接続端子Dは受信部210の接続端子Cに接続されている。したがって、結果的に、受信部210の接続端子A、B、C、DにはそれぞれSDI1、SDI2、SDI3、SDI4が入力されることになる。このようにスイッチ55の動作により、誤った接続状態が正しい接続状態に戻され、画像送信装置100と画像受信装置200の間の伝送ケーブルの接続ミスが解消される。
図10は、別の実施の形態に係る画像受信装置300の構成図である。画像受信装置300は、受信部310と、スイッチ315と、コンピュータ320と、モニタ330とを含む。受信部310は、画像送信装置100から伝送される画像データを受信し、コンピュータ320が受信された画像データを復元してモニタ330に表示する。
受信部310は、画像送信装置100の送信部60により伝送された4分割された横2048画素、縦1080画素の画像データを4つの伝送路SDI1、SDI2、SDI3、SDI4で受信する。
コンピュータ320は、4チャンネルの3G−SDI信号を受信するための4つのSDI入力キャプチャボード322a〜322dを備える。受信部310のSDI1、SDI2、SDI3、SDI4で受信された左上画像、右上画像、左下画像、右下画像はそれぞれSDI入力キャプチャボード322a、322b、322c、322dに入力される。
メモリインタフェース323は、図8の書き込み部232と同様に、水平同期信号にしたがって、左上画像、右上画像、左下画像、右下画像をメモリ324に書き込み、横4096画素、縦1080画素の上半分および下半分の画像データをメモリ324に形成する。
検出部325は、メモリ324に保持される入力画像の無効領域のテスト画像のパターンとあらかじめ定められたパターンとを比較して異同を検出する。切替制御部327は、入力画像の無効領域のテスト画像のパターンがあらかじめ定められたパターンとは異なる場合に、受信部310において4つの伝送路SDI1、SDI2、SDI3、SDI4で受信された各分割画像の信号が入力されるべきSDI入力キャプチャボード322a〜322dの入力端子を指定する切替信号を生成し、スイッチ315に供給する。
スイッチ315は、切替信号にもとづいて受信部310の4つの伝送路の接続端子と4つのSDI入力キャプチャボード322a〜322dの入力端子との間の接続状態を切り替える。
伝送ケーブルの接続ミスがない限り、受信部310が4つの伝送路SDI1、SDI2、SDI3、SDI4で受信した各分割画像をそれぞれSDI入力キャプチャボード322a〜322dに供給すればよい。しかし、テスト画像にもとづいて伝送ケーブルの接続ミスが検出された場合、伝送ケーブルを物理的に正しく接続し直す代わりに、スイッチ315が切替信号にもとづいて受信部310の接続端子と4つのSDI入力キャプチャボード322a〜322dの入力端子の間の接続状態の切り替えを行うことで伝送ケーブルの接続ミスを修復することができる。
スイッチ315はコンピュータ320の外部に設けてもよく、コンピュータ320に内蔵してもよい。なお、スイッチ315をコンピュータ320側に設けることが難しい場合、切替制御部327は切替信号を画像送信装置100に送信し、画像送信装置100のスイッチ55が切替信号にもとづいて第2信号処理部50の出力端子と送信部60の接続端子との間の接続状態を切り替えればよい。
画像フォーマット変換部326は、図8の読み出し部234と同様に、水平同期信号にしたがって、メモリ324から水平2960画素のアライメントで画像データを読み出すことで横2960画素、縦2960画素の画像を読み出し、グラフィックボード328に供給する。画像フォーマット変換部326は、画像データを読み出す際、画像サイズを変更したり、画像サイズを変更せずに一部の領域を切り出したり、画像領域を拡張するなどの画像処理を行ってもよい。また、画像フォーマット変換部326は、画像の色差フォーマットを変更してもよい。たとえば4:2:2のYUVフォーマットをRGBフォーマットに変更してもよい。
グラフィックボード328は、画像フォーマット変換部326から供給された画像データをモニタ330に転送して表示する。
グラフィックボード328は、メモリ324に形成された4K×2K(横4096画素、縦2160画素)の入力画像を読み出して4K対応のモニタに表示してもよい。これにより、ユーザは入力画像の無効領域のテスト画像を視認することができ、テスト画像があらかじめ定められたパターンであるかどうかを目視で判定することができる。この場合、検出部325による自動判定を省略して、ユーザが切替制御部327に対して切替信号を手動で設定してもよい。
図11は、画像送信装置100による画像変換手順を説明するフローチャートである。
撮像部10は入力画像を撮影し、取得された入力画像を第1信号処理部20に与える(S10)。
第1信号処理部20は、入力画像を変換処理部30に適したフォーマットに変換して変換処理部30に供給する(S12)。
変換処理部30の書き込み部32は、入力画像を入力側の同期信号Aにしたがってメモリ40に書き込む(S14)。入力側の同期信号Aは、図4、図5(a)および図5(b)で説明したように、入力画像の水平画素数および垂直画素数に合った水平同期信号および垂直同期信号である。
変換処理部30の読み出し部34は、出力側の同期信号Bにしたがってメモリ40から出力画像を読み出す(S16)。出力側の同期信号Bは、図6、図7(a)および図7(b)で説明したように、出力画像の水平画素数および垂直画素数に合った水平同期信号および垂直同期信号である。
変換処理部30のテスト画像設定部33は、メモリ40から読み出される出力画像の無効領域にテスト画像を設定する(S17)。
第2信号処理部50は、メモリ40から読み出された出力画像を3G−SDIなどの伝送路に適した伝送フォーマットに変換し、伝送信号を送信部60に供給する(S18)。送信部60は、伝送路で画像データを送信する(S20)。
出力画像のサイズは、所定の伝送路で伝送可能な画像サイズ以下にする必要があり、1チャンネルの伝送路で伝送できない場合は、複数チャンネルの伝送路を用いて分割して伝送する。その場合、メモリ40から出力画像を読み出す際に伝送路のチャンネル数に合わせて分割して画像データを読み出す。
画像受信装置200から切替信号を受信した場合(S22のY)、スイッチ55が第2信号処理部50と送信部60の間の入出力接続を切替信号にもとづいて切り替えることで伝送路の接続状態を修復する(S24)。その後、ステップS20に戻り、修復された接続状態のもとで、送信部60は改めて画像データを送信する。
画像受信装置200から切替信号を受信しない場合(S22のN)、処理を終了する。
図12は、画像受信装置200、300による画像復元手順を説明するフローチャートである。
受信部210、310は、画像送信装置100から送信された画像データを複数の伝送路で受信する(S30)。
第3信号処理部220、SDI入力キャプチャボード322a〜322dは、受信された入力画像を書き込み部232、メモリインタフェース323に適したフォーマットに変換して書き込み部232、メモリインタフェース323に供給する(S32)。
書き込み部232、メモリインタフェース323は、入力画像を同期信号Bにしたがってメモリ240、324に書き込む(S34)。この同期信号Bは、画像送信装置100がメモリ40から出力画像を読み出す際の出力側の同期信号Bと同じものが利用できる。
検出部233、325は、入力画像のテスト画像の無効領域のテスト画像のパターンをあらかじめ定められたパターンと比較することにより、テスト画像が正しいかどうかを判定する(S35)。テスト画像が正しい場合(S35のY)、ステップS36に進む。
テスト画像が正しくない場合(S35のN)、切替制御部235、327は、切替信号を生成し、スイッチ215、315に供給する(S42)。スイッチ215は、画像受信装置200の受信部210と第3信号処理部220の間の入出力接続を切替信号にもとづいて切り替え、スイッチ315は、画像受信装置300の受信部310とSDI入力キャプチャボード322a〜322dの間の入出力接続を切替信号にもとづいて切り替えることで伝送路の接続状態を修復する(S44)。ステップS44の後、ステップS32に戻り、それ以降の処理を実行する。
読み出し部234、画像フォーマット変換部326は、同期信号Aにしたがってメモリ240、メモリ324から出力信号を読み出す(S36)。この同期信号Aは、画像送信装置100が入力画像をメモリ40に書き込む際の入力側の同期信号Aと同じものが利用できる。
読み出し部234、画像フォーマット変換部326は、必要に応じて読み出された出力画像のフォーマット変更を行う(S38)。
出力画像はそのままモニタ330に表示するか、圧縮符号化して動画ストリームとしてSDカード250などに保存する(S40)。
なお、画像受信装置200にスイッチ215が設けられない場合や画像受信装置300にスイッチ315が設けられない場合は、ステップS42で生成された切替信号を画像送信装置100に送信し、画像送信装置100のスイッチ55が切替信号にもとづいた入出力接続の切り替えを行うことにより伝送路の接続状態を修復する。
上記の実施の形態では、3K×3Kの入力画像を4つの2K×1K(横2048画素、縦1080画素)の出力画像に変換し、4チャンネルの3G−SDIで伝送する方法を説明したが、これは一例であって、入力画像および出力画像のサイズ、出力画像の分割数、伝送路の動作速度および本数などはこれ以外にもありうる。4K×2Kを1チャンネルで伝送可能な伝送路の場合、3K×3K(横2960画素、縦2960画素)の入力画像を4K×2K(横4096画素、縦2160画素)の出力画像に変換し、1チャンネルの伝送路で伝送してもよい。また、3K×3K(2960×2960画素)の入力画像を4K×1K(横4096画素、縦1080画素)の上半分出力画像および下半分出力画像に変換し、上半分出力画像および下半分出力画像を合成して最終的な4K×2K(横4096画素、縦2160画素)の出力画像として、1チャンネルの伝送路で伝送してもよい。入力画像のサイズを横K画素、縦L画素、出力画像のサイズを横M画素、縦N画素とした場合、スケーリングをしないために、出力画像の画素数は入力画像の画素数以上である、すなわちK×L≦M×Nであることが前提となる。垂直画素数についてL>Nであるか、または水平画素数についてK>Mである場合、入出力間で水平同期信号または垂直同期信号を変換して画像サイズの変換が必要になり、本実施の形態の画像変換方法を適用して、画質を劣化させずに出力画像の伝送フォーマットに変換することができる。また、読み出し部34で、出力画像の水平画素数単位で画素データを前記メモリから読み出す際、4分割以外の数で分割してもよい。分割数をPとした場合、P分割して出力先を切り替えることにより、P分割された画像データを出力し、送信部は、P分割された画像データをP本の伝送路に伝送することができる。
以上説明したように、実施の形態に係る画像送信装置100によれば、入力画像の解像度を保ったまま、所定の伝送路に適したサイズの出力画像に変換するため、画像受信装置200、300において元の画像に復元して表示したり、保存することができ、画質の劣化が生じない。また、高画質の映像を既存の伝送路を用いて伝送するため、開発コストを削減することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
なお、実施の形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。