JP5012493B2 - 映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

Description

本発明は、画像データをＹＵＶ方式の映像信号に変換して出力する装置に係り、特に、浮動小数点形式の画像データをＹＵＶ方式の映像信号に変換して出力するのに好適な映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラムに関する。

従来、撮像素子のダイナミックレンジ（以下、Ｄレンジという）の狭さを補うために、１フレーム期間に２種類以上の露光時間で撮影できる撮像素子が提案されている。また、２フィールドで１フレームを構成する撮像素子においては、奇数、偶数フィールドで露光時間を替えて撮像する方法も提案されている。
つまり、上記２種類以上の露光時間(例えば、標準露光時間Ｔ１、短露光時間Ｔ２（Ｔ１＞Ｔ２）など)で撮影して得られた画像データを、センサ外部もしくは内部で合成することで、Ｄレンジの拡大された画像データを得る。比較的広いＤレンジを有する画像データは、一般に、ＨＤＲ（High Dynamic Range）画像データと呼ばれる。

上記のような撮像画像データのＤレンジの拡大に関する技術として、例えば、特許文献１に記載の撮像装置がある。
特許文献１の撮像装置は、異なる露光時間で蓄積された電荷を、複数回読み出し、当該読み出した露光時間の異なる電荷から構成される画素データのうち、より長い露光時間において飽和している画素データを、より短い露光時間において飽和していない画素データに置き換えることでＤレンジの拡大された画像データを得るものである。

また、特許文献１などの撮像装置において得られる、ダイナミックレンジの拡大された画像データは、固定小数点形式のデータとして、しかも出力装置の性能に合わせて情報量を削減した後に出力されることが多い。例えば、この情報量の削減によって、Ｄレンジは５０ｄＢ程度となる。
一方、Ｄレンジの狭さに起因する白とびや黒つぶれという問題は、画素情報の欠落であり、システムに目的の動作を行わせる際の問題となり得る。特に、白とびは、マシンビジョンにおいては、それが画像なのか欠陥なのかを判別できず、致命的となる。また、マシンビジョンでは、領域検出(ラベリング)、エッジ検出、相関検出、２値化処理など、画像を大域的（マクロ）に捉えるので、画素値の演算誤差よりも、白とびや黒つぶれ等の情報損失の方が、認識等のシステム性能を大きく左右する。

この問題を解決する手段として、ＨＤＲ映像を送受信する画像処理システムが注目されている。
ＨＤＲ画像形式としては、画素値を浮動小数点で表現するRadianceと呼ばれる形式が知られている。Radiance形式は、各画素のＲＧＢ(各８ビット)の他に、指数部Ｅ(８ビット)を加え、画素あたり３２ビットの浮動小数点形式で表現したものである。画素値が、Radiance形式（Ｒｉ，Ｇｉ，Ｂｉ，Ｅ）で表現された場合、実際の各色の輝度値は、下式（１）に示す浮動小数点形式で表現される。

Ｒ＝Ｒｉ×２^（E-128）
Ｇ＝Ｇｉ×２^（E-128）
Ｂ＝Ｂｉ×２^（E-128） ・・・（１）

次に、映像の出力側である電子カメラ等の映像信号源と、映像の受信側である映像処理・表示装置（以降、単に映像処理装置と呼ぶ）との間の映像信号の出力フォーマットについて記述する。

映像信号源からの出力はカラー画像の場合、ＲＧＢ信号やＹＵＶ信号（輝度信号と色差信号）などのフォーマットで映像処理装置に出力される。ＹＵＶ信号は、国際電気通信連合（ITU：International Telecommunication Union）にてITU-R BT.601で規格化されている。この規格は、人間の眼の視覚特性を考慮し、人間の眼に認識されない範囲で情報量を削減する方式でＮＴＳＣやＪＰＥＧなどに利用されている。ＮＴＳＣは限られた周波数帯域を有効活用する目的、ＪＰＥＧはファイルサイズを小さくする目的で、情報量を削減できるＹＵＶ方式を採用している。

ＹＵＶ方式は、輝度信号を示すＹ信号と、色差信号を示すＵ信号及びＶ信号（これらをまとめてＵＶ信号ともいう）とで構成される。Ｙ信号は画像を形成する総画素数分が映像処理装置に出力される。一方、ＵＶ信号は、人間の眼の、色に対する空間解像度の低さを利用し、出力する情報量が削減（間引き処理）される。例えばＹＵＶ４１１フォーマットのＵ信号とＶ信号とは、当該Ｕ信号及びＶ信号を画像を形成する総画素数分を出力したときと比較して、出力する情報量が１／４に削減される。

また、映像信号源と映像処理装置とのインターフェースについて記述する。例えば、電子カメラなどの映像信号源と映像処理装置との間の映像データの出力には、映像情報の情報量の削減による出力効率の向上が目的でＹＵＶ４１１フォーマットが利用されることが多い。
このとき、映像信号源側は、例えば３０[ｆｐｓ（frame/sec）]のフレームレートで、映像処理装置に映像信号を所定のインターフェースを介して出力する場合に、例えば、図１３（ａ）に示すように、Ｙ信号出力用の８ビットのポート、色差信号ＵとＶ信号の出力用の８ビットのポート、映像信号源と映像処理装置との同期を確立するための同期信号ポートの３つのポートを利用し、高速なデータ伝送を実現している。また、図１３（ｂ）に示すように、Ｙ信号及びＵＶ信号伝送用の８ビットのポートと、上記同期信号ポートとの２つのポートを利用してＹＵＶ方式の映像信号の出力を実現する構成もある。

図１３（ａ）において、同期信号ポートは、フレームの開始を示す垂直同期信号、ラインの開始を示す水平同期信号、画素の同期を取るための画素同期信号の３信号を出力するか、もしくはそれらが多重化された復号同期信号を出力する。Ｙ信号用ポートは、全画像データを出力するので、画素同期信号に同期してデータが出力される。一方、ＵＶ出力用ポートは、ＵＶ信号が間引かれるので、色差信号ＵとＶ信号を多重化して出力（Ｕ、Ｖの順で切り替えて出力）する。また、間引きによって、偶数ラインにおいては、出力すべきＵＶ信号は無いので、ダミーデータを出力する。
特開平５−２２６７０号公報

しかしながら、上記従来技術においては、例えば、上記特許文献１の撮像装置等においてＤレンジの拡大された画像データを、浮動小数点形式のデータとして且つＹＵＶ方式で映像処理装置に出力する場合に、既存のＹ信号用のポート及びＵＶ信号用のポートとは別に、指数部のデータ信号を出力するためのポートを設ける必要がある。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、既存のインターフェースを用いて、浮動小数点形式の画像データをＹＵＶ方式の映像データに変換して出力するのに好適な映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的としている。

〔形態１〕 上記目的を達成するために、形態１の映像出力装置は、
画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力装置であって、
画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データを構成する各画素データの仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換手段と、
前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重手段と、
前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力手段と、を備えることを特徴とする。

このような構成であれば、仮数部変換手段によって、画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される画像データについて、当該画像データの各画素データにおける仮数部のデータを、前記ＹＵＶ方式の映像信号に変換することが可能であり、多重手段によって、前記画像データの各画素データにおける指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化することが可能であり、映像信号出力手段によって、輝度信号Ｙ及び指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力することが可能である。

従って、浮動小数点形式の各画素データの指数部のデータを、色差信号ＵＶに多重化して出力することができるので、指数部のデータを出力するためのインターフェース（ポート）を別途設けることなく、ＹＵＶ方式の既存のインターフェースをそのまま利用して指数部のデータを含む映像信号を出力することができるという効果が得られる。
また、浮動小数点形式の画像データを扱えることから、浮動小数点形式のＨＤＲ画像データを既存のインターフェースを用いて簡易に出力することが可能となる。つまり、白とびや黒つぶれの発生しない、十分なコントラスト比及びダイナミックレンジを有したＨＤＲ画像データを簡易に出力することができる。例えば、仮数部８ビット、指数部４ビットの浮動小数点形式のＨＤＲ画像データであれば、従来の８ビットの整数値で表現されていたＨＤＲ画像データと比較して、約３２０００倍（９０ｄＢ）のダイナミックレンジを表現することができる。

〔形態２〕 更に、形態２の映像出力装置は、形態１の映像出力装置において、
前記第１の画像データを構成する各画素データの前記Ｍビットの指数部を、ｍビット（ｍは、Ｍ＞ｍの自然数）の指数部に変換する指数部変換手段と、
前記指数部変換手段で指数部を変換した後の画像データである第２の画像データにおいて、所定走査方向に連続する所定数の画素の画素データ毎に、当該所定数の画素の画素データにおける指数部のデータによって構成されたパッキング指数部データを生成するパッキング指数部データ生成手段と、を備え、
前記仮数部変換手段は、前記第２の画像データを構成する各画素データの仮数部のデータを前記ＹＵＶ方式の映像信号に変換し、
前記多重手段は、前記パッキング指数部データを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化することを特徴とする。

このような構成であれば、浮動小数点形式の各画素データの指数部のデータ量を削減してデータ出力量を低減することができるという効果が得られる。
更に、指数部のデータをＹＵＶ方式で取り扱いやすいビット数に変換することによって、簡易に、浮動小数点形式の画像データの指数部のデータを、色差信号ＵＶに多重化することができるという効果が得られる。

〔形態３〕 更に、形態３の映像出力装置は、形態２の映像出力装置において、
前記第１の画像データは、ＲＧＢ（Red，Green，Blue）形式のカラー画像データであって、前記画素値を構成するＲ、Ｇ、Ｂの各色要素を表す値が、仮数部が前記Ｎビット、基数が２及び指数部が前記Ｍビットの浮動小数点形式で表され、且つ前記Ｍビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第１の画像データを構成する各画素データの前記各色要素に対応する前記Ｍビットの指数部を、前記各色要素において同じ値となる４ビット以下の指数部に変換し、
前記仮数部変換手段は、前記第２の画像データを構成する各画素データの前記各色要素に対応する仮数部のデータを、前記ＹＵＶ方式の１種であるＹＵＶ４１１方式の映像信号に変換し、
前記パッキング指数部データ生成手段は、前記第２の画像データにおいて、水平走査方向に連続する４画素の画素データ毎に、当該４画素の画素データにおける指数部のデータから構成されたパッキング指数部データを生成することを特徴とする。

このような構成であれば、画像の２画素×２画素の各画素領域に対して、例えば、４バイトの輝度信号Ｙ、１バイトの色差信号Ｕ、１バイトの色差信号Ｖ、及び２バイトのダミー信号が出力される、ＹＵＶ４１１方式を用いた映像出力において、パッキング指数部データを２バイト以下で構成することができる。
これにより、色差信号ＵＶに対して、色差信号Ｕ及び色差信号Ｖを多重化するときに間引いた２バイト分のデータ（ダミー信号に相当）の代わりに、パッキング指数部データを多重化することができるので、簡易に、色差信号ＵＶに指数部のデータを多重化することができるという効果が得られる。

〔形態４〕 更に、形態４の映像出力装置は、形態３の映像出力装置において、
前記第１の画像データは、前記画素値を構成するＲ、Ｇ、Ｂの各色要素を表す値が、仮数部が８ビット、基数が２及び指数部が８ビットの浮動小数点形式で表され、且つ前記８ビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第１の画像データを構成する各画素データの前記各色要素に対応する前記８ビットの指数部を、前記各色要素において同じ値となる４ビットの指数部に変換することを特徴とする。

このような構成であれば、画像の２画素×２画素の各画素領域に対して、４バイトの輝度信号Ｙ、１バイトの色差信号Ｕ、１バイトの色差信号Ｖ、及び２バイトのダミー信号が出力される、ＹＵＶ４１１方式を用いた映像出力において、パッキング指数部データを２バイトで構成することができる。
これにより、色差信号ＵＶに対して、色差信号Ｕ及び色差信号Ｖを多重化するときに間引いた２バイト分のデータ（ダミー信号に相当）の代わりに、２バイトのパッキング指数部データを多重化することができるので、無駄なく且つ簡易に、色差信号ＵＶに指数部のデータを多重化することができるという効果が得られる。

〔形態５〕 更に、形態５の映像出力装置は、形態１乃至４のいずれか１の映像出力装置において、
前記多重手段は、前記指数部のデータを、画像の奇数ライン又は偶数ラインのいずれか一方に対応する前記色差信号ＵＶに多重化することを特徴とする。
このような構成であれば、色差信号ＵＶを出力する際に、従来はダミー信号を出力する画像のライン（偶数ライン又は奇数ラインのいずれか一方）の信号出力において、ダミー信号に代えて指数部のデータ信号を出力することができるので、ＹＵＶ方式を用いた映像出力側における既存の画像データ処理手段の構成を大きく変更することなく、簡易に、指数部のデータを多重化して出力することができるという効果が得られる。

〔形態６〕 一方、上記目的を達成するために、形態６の映像処理システムは、
映像出力装置と映像処理装置とを備え、前記映像処理装置は、前記映像出力装置から出力された映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理システムであって、
前記映像出力装置は、
画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データの各画素データにおける仮数部のデータを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換する仮数部変換手段と、
前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重手段と、
前記仮数部変換手段で変換して得られたＹＵＶ方式の映像信号における前記輝度信号Ｙと、前記多重手段で前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力手段と、を備え、
前記映像信号出力手段は、前記輝度信号Ｙと前記色差信号ＵＶとを、それぞれ独立に前記映像処理装置に出力し、
前記映像処理装置は、
前記映像出力装置から入力された前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離手段と、
前記映像出力装置から入力された輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする。

このような構成であれば、映像出力装置は、仮数部変換手段によって、画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される画像データについて、当該画像データの各画素データにおける仮数部のデータを、前記ＹＵＶ方式の映像信号に変換することが可能であり、多重手段によって、前記画像データの各画素データにおける指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化することが可能であり、映像信号出力手段によって、輝度信号Ｙ及び指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力することが可能である。

更に、映像処理装置は、信号分離手段によって、前記映像出力装置から入力された前記色差信号ＵＶを、前記仮数部の色差信号ＵＶと、指数部のデータ信号とに分離することが可能であり、形式変換手段によって、前記映像出力装置から入力された輝度信号Ｙ及び前記指数部のデータが分離された色差信号ＵＶを、前記ＹＵＶ方式に変換前の仮数部のデータ形式の信号に変換することが可能であり、表示データ生成手段によって、前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成することが可能である。

従って、浮動小数点形式の画像データの映像信号を、既存のＹＵＶ方式のインターフェースを変更することなく映像処理装置に出力できるという効果が得られると共に、映像出力装置で出力された映像信号から、所定の表示形式で表示し得る表示データを生成することができるので、例えば、浮動小数点形式のＨＤＲ画像データの映像を表示する表示システムや、ＨＤＲ画像データ映像を利用した監視システム、セキュリティーシステム等を簡易に構築することができるという効果が得られる。

ここで、所定の表示形式で映像を表示し得る表示データとは、例えば、出力側の装置が、浮動小数点形式の画像データに対応していれば、浮動小数点形式のＨＤＲ画像データなどが該当し、出力側の装置が浮動小数点形式の画像データに対応していなければ、浮動小数点形式の画像データを変換してなる、各画素値が整数値で表現されたＲＧＢ画像データなどが該当する。以下、映像処理装置に関する形態、映像処理方法に関する形態において同じである。

〔形態７〕 更に、形態７の映像処理システムは、形態６の映像処理システムにおいて、
前記仮数部変換手段は、前記第２画像データを、隣接するｊ個（ｊは、２以上の自然数）の画素から構成される画素領域のデータ単位で複数に分割する分割部と、各前記画素領域のｊ個の画素に対応する前記画素データにおける前記仮数部のデータを、画素毎に１つの輝度信号Ｙと、前記画素領域毎にｋ個（ｋは、ｋ＜ｊの自然数）の画素に対応する色差信号ＵＶとから構成されたＹＵＶ方式の映像信号に変換する変換部とを含み、
前記映像処理装置は、前記仮数部変換手段において前記仮数部のデータを前記ＹＵＶ方式の映像信号に変換したときに、前記画素領域毎に間引かれた（ｊ−ｋ）個の画素に対応する色差信号ＵＶを補間する色差信号補間手段を備えることを特徴とする。

このような構成であれば、第２画像データを、ＹＵＶ４１１、ＹＵＶ２１１、ＹＵＶ４２２などの様々なフォーマットに対応した映像信号に変換することができる。
更に、第２の画像データをＹＵＶ方式の映像信号に変換したときに間引かれた画素の色差信号ＵＶを補間することができるので、より画質の高い表示データを生成することができるという効果が得られる。

〔形態８〕 また、上記目的を達成するために、形態８の映像処理装置は、
画素値を浮動小数点形式で表した画素データから構成される画像データの各前記画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理装置であって、
前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離手段と、
前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする。

これにより、上記形態６の映像処理システムにおける映像処理装置と同様に、指数部のデータが多重化されたＹＵＶ方式の映像信号から、所定の表示形式で表示し得る表示データを生成することができるので、例えば、浮動小数点形式のＨＤＲ画像データの映像を表示する表示システム等を簡易に構築できるという効果が得られる。

〔形態９〕 また、上記目的を達成するために、形態９の映像出力方法は、
画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力方法であって、
画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データの各画素データにおける仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換ステップと、
前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重ステップと、
前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力ステップと、を含むことを特徴とする。
これにより、形態１の映像出力装置と同等の作用及び効果が得られる。

〔形態１０〕 また、上記目的を達成するために、形態１０の映像処理方法は、
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理方法であって、
前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップと、を含むことを特徴とする。
これにより、形態８の映像処理装置と同等の作用及び効果が得られる。

〔形態１１〕 一方、上記目的を達成するために、形態１１の映像出力プログラムは、
画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力プログラムであって、
画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データを構成する各画素データの仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換ステップと、
前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重ステップと、
前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１の映像出力装置と同等の作用および効果が得られる。

〔形態１２〕 一方、上記目的を達成するために、形態１２の映像処理プログラムは、
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理プログラムであって、
前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。

このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態８の映像処理装置と同等の作用および効果が得られる。

以下、本発明に係る映像出力装置、映像出力方法、映像処理システム、映像処理装置、及び映像処理方法の実施の形態を、図面に基づいて説明する。図１〜図１２は、本発明に係る映像出力装置、映像出力方法、映像処理システム、映像処理装置、及び映像処理方法の実施の形態を示す図である。ここで、図１は、映像処理システム１の概略構成を示すブロック図である。

以下、図１に基づき、映像処理システム１の概略構成を説明する。
映像処理システム１は、図１に示すように、ＨＤＲ映像信号源１０からの浮動小数点形式のＨＤＲ映像信号及び同期信号に基づき、前記ＨＤＲ映像信号をＹＵＶ方式の映像信号に変換して映像処理装置３０に出力する映像出力装置２０と、映像出力装置２０からの輝度信号Ｙ（以下、Ｙ信号と称す）、色差信号ＵＶに指数部のデータが多重化されたＵＶＥ_p多重信号及び同期信号に基づき、ＨＤＲ映像信号を生成する映像処理装置３０とを含んで構成され、映像出力装置２０と映像処理装置３０とは、各種信号の入出力を行うインターフェース（ポート）を介して接続されている。

ここで、ＨＤＲ映像信号源１０は、例えば、電子カメラ等で撮像した撮像データからＨＤＲ映像信号を生成して出力する撮像装置や、ＨＤＲ映像データの記憶された記憶媒体などから構成される。そして、ＨＤＲ映像信号源１０は、本実施の形態において、ＲＧＢ（Red Green Blue）色空間の各色要素について、各色要素を表す値を、仮数部がＮビット（Ｎは８以上の自然数）、基数が２及び指数部がＭビット（Ｍは８以上の自然数）の浮動小数点形式で表した画素データから構成された、Radiance形式のＲＧＢＥ画像データ（以下、単にＨＤＲ画像データという）の情報を含む映像信号（以下、ＨＤＲ映像信号と称す）を出力する。

具体的に、上記ＨＤＲ画像データは、各画素データが、Ｒ，Ｇ，Ｂの各色要素のＮビットの仮数部（Ｒ_i[（Ｎ−１）：０]、Ｇ_i[（Ｎ−１）：０]、Ｂ_i[（Ｎ−１）：０]）のデータと、全ての色要素に共通の指数部（Ｅ[（Ｍ−１）：０]）のデータとから構成される、浮動小数点形式のＨＤＲ画像データとなる。
更に、図２に基づき、映像出力装置２０の詳細な構成を説明する。ここで、図２は、映像出力装置２０の詳細な構成を示すブロック図である。

映像出力装置２０は、図２に示すように、指数部変換部２００と、ＹＵＶ４１１変換部２０１と、パッキング指数部データ生成部２０２と、ＵＶＥ_p多重部２０３と、遅延部２０４と、画素カウンタ・制御部２０５と、Ｙ信号ポート２０６と、ＵＶ信号ポート２０７と、同期信号ポート２０８とを含んで構成される。
指数部変換部２００は、ＨＤＲ映像信号源１０からの浮動小数点形式のＨＤＲ映像信号の示すデータに基づき、当該データを構成する各ＨＤＲ画像データの指数部のビット数を、ＹＵＶ４１１方式の出力フォーマットに基づき変換する。

具体的には、ＨＤＲ画像データにおける各画素データの指数部のビット数が５ビット以上である場合に、指数部を４ビット以下で表現できるように仮数部の数値を変更すると共に、指数部のビット数を４ビットに変換する。
この変換後のＨＤＲ画像データ（以下、指数部変換形式ＨＤＲ画像データと称す）においては、その各画素データが、各色要素のＮビットの仮数部（Ｒ'_i[（Ｎ−１）：０]、Ｇ'_i[（Ｎ−１）：０]、Ｂ'_i[（Ｎ−１）：０]）のデータと、全ての色に共通の指数部（Ｅ'[（Ｍ−１）：０]）のデータとから構成される。

指数部変換部２００は、指数部変換形式ＨＤＲ画像データの各画素データにおける、仮数部のデータを、ＹＵＶ４１１変換部２０１に出力し、一方、指数部のデータを、パッキング指数部データ生成部２０２に出力する。
ＹＵＶ４１１変換部２０１は、指数部変換部２００から、変換後の仮数部のデータが入力されると、これをＹＵＶ４１１方式の出力フォーマットの映像信号へと変換する。

ここでＹＵＶ４１１方式の出力フォーマットは、前述したように、輝度信号であるＹ信号は全画素分を出力し、色差信号であるＵ信号及びＶ信号については、人間の眼の色に対する空間周波数の低さを考慮して出力する情報量を削減する。具体的に、Ｕ信号及びＶ信号については、４画素から１つの代表値を求め、この代表値のみを出力する。例えば、仮数部が８ビットの画像データであれば、Ｙ信号４バイトに対して、Ｕ信号１バイト、Ｖ信号１バイトを出力する。

従って、ＹＵＶ４１１変換部２０１は、指数部変換形式ＨＤＲ画像データの各画素データにおける仮数部のデータ（Ｒ'_i[（Ｎ−１）：０]、Ｇ'_i[（Ｎ−１）：０]、Ｂ'_i[（Ｎ−１）：０]）を、ＹＵＶ４１１方式のデータ（Ｙ[（Ｎ−１）：０]、Ｕ[（Ｎ−１）：０]、Ｖ[（Ｎ−１）：０]）へと変換する。
そして、ＹＵＶ４１１変換部２０１は、変換後の仮数部のデータにおける、Ｙ[（Ｎ−１）：０]を、遅延部２０４に出力し、一方、Ｕ[（Ｎ−１）：０]及びＶ[（Ｎ−１）：０]を、ＵＶＥ_p多重部２０３に出力する。

パッキング指数部データ生成部２０２は、指数部変換部２００から、変換後の指数部のデータ（Ｅ'[ｍ（ｍは４以下の自然数）：０]）が入力されると、水平走査方向に連続する４画素毎に、当該４画素分の指数部のデータから構成されるパッキング指数部データ（Ｅ_p＝｛Ｅ_{n（n=1,2,3,・・・）}，Ｅ_n+1，Ｅ_n+2，Ｅ_n+3｝）を生成する。具体的に、指数部変換部２００において、各画素の指数部のビット数は４ビット以下に変換されているので、パッキング指数部データは、最大でも４ビット×４＝１６ビット（２バイト）のデータとなる。

そして、ＹＵＶ４１１変換部２０１は、上記生成したパッキング指数部データを、ＵＶＥ_p多重部２０３に出力する。
ＵＶＥ_p多重部２０３は、ＹＵＶ４１１変換部２０１からＵ信号及びＶ信号が入力され且つパッキング指数部データ生成部２０２からパッキング指数部データのデータ信号（以下、パッキング指数部データ信号と称す）が入力されると、画素カウンタ・制御部２０５から入力される多重制御信号に基づき、ＵＶ信号及びパッキング指数部データ信号を多重化して、ＵＶ信号ポート２０７へと出力する。

具体的に、Ｕ信号及びＶ信号が、先述したように１／４の情報量に削減されることで、奇数ライン又は偶数ラインのいずれか一方の出力タイミングにおいて発生するダミーデータの出力に代えて、上記パッキング指数部データ信号を出力する。従って、奇数ラインの出力タイミングにおいてＵ信号及びＶ信号が出力されると、偶数ラインの出力タイミングにおいてパッキング指数部データ信号（以下、Ｅ_p信号と称す）が出力されることになる。

遅延部２０４は、Ｙ信号と、ＵＶ信号と、Ｅ_p信号との同期を取るためのバッファである。具体的に、パッキング指数部データ生成部２０２及びＵＶＥ_p多重部２０３により発生する遅延量を、Ｙ信号を遅らせることで補正する。
画素カウンタ・制御部２０５は、ＨＤＲ映像信号源１０からの同期信号ＩＮに基づき、ＨＤＲ画像データのライン番号及び画素番号をカウントする。そして、当該カウント結果に基づき、指数部変換部２００、パッキング指数部データ生成部２０２を制御するための制御信号を生成し、ＵＶＥ多重部２０３を制御するための多重制御信号を生成する。そして、これら生成した制御信号を各構成部に入力する。一方、遅延後のＹ信号と、ＵＶ信号、Ｅ_p信号との同期をとるために、同期信号ＩＮを遅延させた同期信号ＯＵＴを生成し、これを同期信号ポート２０８に出力する。

Ｙ信号ポート２０６は、８ビットのデータ出力幅（バス幅）を有したポートであり、遅延部２０４を介して入力されるＹ信号を映像処理装置３０に出力する。
ＵＶ信号ポート２０７は、８ビットのデータ出力幅（バス幅）を有したポートであり、ＵＶＥ_p多重部２０３から入力される多重化されたＵＶ信号及びＥ_p信号（以下、ＵＶＥ_p多重信号と称す）を映像処理装置３０に出力する。
同期信号ポート２０８は、画素カウンタ・制御部２０５から入力される同期信号ＯＵＴを映像処理装置３０に出力する。

更に、図３に基づき、映像処理装置３０の詳細な構成を説明する。ここで、図３は、映像処理装置３０の詳細な構成を示すブロック図である。
映像処理装置３０は、Ｙ信号ポート３００と、ＵＶ信号ポート３０１と、同期信号ポート３０２と、遅延量調整部３０３と、ＵＶＥ_p多重信号分離部３０４と、ＨＤＲ映像変換部３０５と、指数部分離部３０６と、指数部拡張部３０７と、画素カウンタ・制御部３０８と、ＶＲＡＭ（Video Random Access Memory）３０９とを含んで構成される。

Ｙ信号ポート３００は、８ビットのデータ出力幅（バス幅）を有したポートであり、映像出力装置２０から出力され且つ入力されたＹ信号を遅延量調整部３０３に出力する。
ＵＶ信号ポート３０１は、８ビットのデータ出力幅（バス幅）を有したポートであり、映像出力装置２０から出力され且つ入力されたＵＶＥ_p多重信号をＵＶＥ_p多重信号分離部３０４に出力する。

同期信号ポート３０２は、映像出力装置２０から出力され且つ入力された同期信号ＯＵＴを画素カウンタ・制御部３０８に出力する。
遅延量調整部３０３は、Ｙ信号と、ＵＶＥ_p多重信号との同期をとるためのバッファである。具体的に、ＵＶＥ_p多重信号分離部３０４において発生する遅延量を、Ｙ信号を遅らせることで補正する。

ＵＶＥ_p多重信号分離部３０４は、ＵＶＥ_p多重信号を、ＵＶ信号と、Ｅ_p信号とに分離すると共に、ＵＶ信号と、Ｅ_p信号と、同期信号ＯＵＴとの同期をとる。
また、ＵＶＥ_p多重信号分離部３０４は、分離したＵＶ信号をＨＤＲ映像変換部３０５に出力し、分離したＥ_p信号を指数部分離部３０６に出力する。
ＨＤＲ映像変換部３０５は、遅延量調整部３０３から入力されるＹ信号と、ＵＶＥ_p多重信号分離部３０４から入力されるＵＶ信号とに基づき、まず、ＵＶ信号に対して補間処理を施して欠如した画素部分のＵＶ信号を生成すると共に、Ｕ信号とＶ信号とを分離する。次に、Ｙ信号と、補間後のＵ信号及びＶ信号とに基づき、これらＹ信号、Ｕ信号及びＶ信号を、ＲＧＢ信号へと変換する（戻す）。

そして、ＨＤＲ映像変換部３０５は、変換後のＲＧＢデータ（Ｒ'_i[（Ｎ−１）：０]、Ｇ'_i[（Ｎ−１）：０]、Ｂ'_i[（Ｎ−１）：０]）を、ＶＲＡＭ３０９に出力する。
指数部分離部３０６は、ＵＶＥ_p多重信号分離部３０４から入力されるＥ_p信号に基づき、４画素分が１つにまとめられた構成のパッキング指数部データ（Ｅ_p[４：０]）を４つに分割して、これら分割した指数部データを指数部拡張部３０７に出力する。

指数部拡張部３０７は、４ビットの指数部データを、８ビットへと拡張（上位４ビットに０を挿入）し、当該拡張後の８ビットの指数部データをＶＲＡＭ３０９に出力する。
画素カウンタ・制御部３０８は、同期信号ポート３０２から入力された同期信号ＯＵＴをカウントして、画素のアドレス（ＸＹ座標）を与えるアドレス制御信号を生成して、これをＶＲＡＭ３０９に出力する。

ＶＲＡＭ３０９は、画素カウンタ・制御部３０８からのアドレス制御信号に基づいて、ＨＤＲ映像変換部３０５から入力されるＲＧＢデータと、指数部拡張部３０７から入力される指数部データとを対応付けて格納する。

次に、図４〜図１２に基づき、上記構成の映像処理システム１の動作を説明する。
まず、図４〜図９に基づき、映像出力装置２０の動作を説明する。
ここで、図４は、指数部変換部で変換後の指数部変換形式ＨＤＲ画像データのデータ構成の一例を示す図である。また、図５は、Ｙ信号の出力順を示す図である。また、図６は、Ｕ信号の間引き方法及び出力方法を示す図である。また、図７は、Ｕ信号とＶ信号とを多重化して出力する方法を示す図である。また、図８は、ＵＶＥ_p多重部２０３の内部構成の一例を示す図である。また、図９（ａ）は、Ｅ_p信号の構成を示す図であり、（ｂ）は、ＵＶ信号とＥ_p信号とを多重化して出力する方法を示す図である。

ＨＤＲ映像信号源１０は、ＲＧＢの各色について、仮数部が８ビット、基数が２及び指数部が８ビットの画素データから構成される、Radiance形式のＨＤＲ映像信号を、同期信号ＩＮと共に映像出力装置２０に出力する。
ＨＤＲ映像信号源１０から出力されたＨＤＲ映像信号は、映像出力装置２０の指数部変換部２００に入力され、一方、同期信号ＩＮは、映像出力装置２０の画素カウンタ・制御部２０５に入力される。

映像出力装置２０は、画素カウンタ・制御部２０５に同期信号ＩＮが入力されると、同期信号ＩＮのパルス数をカウントすると共に、指数部変換部２００、パッキング指数部データ生成部２０２の動作を制御する制御信号及びＵＶＥ_p多重部２０３の動作を制御する多重制御信号を生成し、前記各部に出力する。
指数部変換部２００は、画素カウンタ・制御部２０５から入力される制御信号に基づき、入力されたＨＤＲ映像信号における８ビットの指数部を４ビットの指数部に変換して、図４に示すように、ＲＧＢの各色要素を表す値を、８ビットの仮数部と、これら各色要素に共通の４ビットの指数部とで表した画素データを有する指数部変換形式ＨＤＲ画像データ（Ｒ'_i[７：０]、Ｇ'_i[７：０]、Ｂ'_i[７：０]、Ｅ'[３：０]）を生成する。

そして、指数部変換部２００は、上記生成した指数部変換形式ＨＤＲ画像データにおける、仮数部のデータ（Ｒ'_i[７：０]、Ｇ'_i[７：０]、Ｂ'_i[７：０]）を、ＹＵＶ４１１変換部２０１に出力し、一方、指数部のデータ（Ｅ'[３：０]）を、パッキング指数部データ生成部２０２に出力する。
ＹＵＶ４１１変換部２０１は、仮数部のデータが入力されると、これらをＹＵＶ４１１のフォーマットへと変換して出力する。

以下、水平走査方向（以下、横方向という）の画素数が６４０、垂直走査方向（以下、縦方向という）の画素数が４８０のＨＤＲ画像データを例に挙げて説明する。
ＹＵＶ４１１変換部２０１は、まず、Ｒ'_i、Ｇ'_i、Ｂ'_iの画素データを、輝度情報（Ｙ）、輝度と赤色成分の差（Ｕ）、輝度と青色成分の差（Ｖ）の画素データへと変換する。この変換方法は公知であるので記載を省略する。

次に、上記ＹＵＶに変換した画素データにおける、Ｙ信号の画素データ（Ｙ[７：０]）については、図５に示すように、１ライン目の図中左端にある画素Ｙ１のデータから順に出力する。そして、ラインの図中右端にある画素Ｙ６４０のデータを出力した後、２ライン目の左端にある画素Ｙ１のデータを出力する。以上のようにしてＹ信号の画素データは、指数部変換部２００から順次先に入力された画素データから順に全画素分が遅延部２０４に出力される。

また、ＹＵＶ４１１変換部２０１は、Ｕ信号及びＶ信号については、図６に示すように、横方向２画素×縦方向２画素の４画素のデータ毎に、これら４画素のデータ（例えばu11、u12、u21、u22）から１つの代表値（例えばＵ1）を算出する。そして、求めた代表値だけをＵＶＥ_p多重部２０３に出力する 。同様に、Ｖ信号についても４画素から算出される代表値だけをＵＶＥ_p多重部２０３に出力する。従って、ＹＵＶ４１１変換部２０１からＵＶＥ_p多重部２０３に出力されるＵ信号及びＶ信号は、Ｙ信号の全データ量の１／４となる。

一方、パッキング指数部データ生成部２０２は、指数部変換形式ＨＤＲ画像データにおける指数部のデータ（Ｅ'[３：０]）が入力されると、画素カウンタ・制御部２０５から入力される制御信号に基づき、横方向に連続する４画素毎に、当該４画素分のＥ'[３：０]から構成されるパッキング指数部データ（Ｅ_p＝｛Ｅ'_n，Ｅ'_n+1，Ｅ'_n+2，Ｅ'_n+3｝）を生成する。ここで、ｎは、画像の各ラインの画素番号であり、横方向の画素数が６４０の場合、ｎは「１〜６３７」の範囲の値となる。従って、パッキング指数部データは、ライン毎に、「Ｅ_p1＝｛Ｅ'₁，Ｅ'₂，Ｅ'₃，Ｅ'₄｝、Ｅ_p2＝｛Ｅ'₅，Ｅ'₆，Ｅ'₇，Ｅ'₈｝、・・・、Ｅ_p159＝｛Ｅ'₆₃₃，Ｅ'₆₃₄，Ｅ'₆₃₅，Ｅ'₆₃₆｝、Ｅ_p160＝｛Ｅ'₆₃₇，Ｅ'₆₃₈，Ｅ'₆₃₉，Ｅ'₆₄₀｝」となる。

上記生成されたパッキング指数部データの信号（以下、Ｅ_p信号と称す）は、ＵＶＥ_p多重部２０３に順次出力される。
ＵＶＥ_p多重部２０３は、Ｕ信号及びＶ信号と、Ｅ_p信号とが入力されると、画素カウンタ・制御部２０５から入力される多重制御信号に基づき、Ｕ信号及びＶ信号と、Ｅ_p信号とを多重化し、この多重化されたＵＶＥ_p多重信号を、ＵＶ信号ポート２０７に出力する。

ここで、ＹＵＶ４１１方式においては、Ｕ信号及びＶ信号の出力において、先述したように、４画素に対して１つの代表値の信号のみを出力するため、Ｕ信号及びＶ信号は、タイミング的に、Ｙ信号の４画素分の出力が行われる期間に、それぞれ１画素分を出力すれば良いことになる。そこで、従来は、例えば、図７に示すように、奇数ラインの出力タイミングにおいて、Ｕ信号及びＶ信号を交互に出力（多重出力）し、偶数ラインの出力タイミングにおいて、ダミーデータを出力している。なお、奇数ラインの出力期間でダミーデータ、偶数ラインの出力期間でＵ信号及びＶ信号を出力する場合もある。

つまり、従来のＹＵＶ４１１方式においては、Ｕ信号及びＶ信号を、奇数ラインの出力期間において多重化して出力することで、１ライン分の出力期間において、Ｙ信号の２ライン分に対応するＵＶ信号データを出力している。このように、Ｙ信号の２ラインに対して、ＵＶ信号は奇数ラインの１ライン分の出力で済むため、従来は、Ｙ信号とのタイミングを合わせるために、偶数ラインの出力期間においてダミーデータを出力していた。

一方、本実施の形態の映像出力装置２０は、ダミーデータを出力する期間（上記例では、従来ではダミーデータを出力していた偶数ラインの出力期間）において、指数部のデータ信号であるＥ_p信号を出力する。これにより、Ｅ_p信号とＵＶ信号とを多重化する。
具体的に、ＵＶＥ_p多重部２０３は、図８に示すように、マルチプレクサ２０３ａを内部に有しており、当該マルチプレクサ２０３ａにおいて、画素カウンタ・制御部２０５からの多重制御信号に基づき、出力する信号を、ＵＶ信号とＥ_p信号とのいずれか一方に切り替えることで、ＵＶ信号にＥ_p信号を多重化する。

一方、画素カウンタ・制御部２０５は、画素のカウントが奇数ラインのときに「１」を示す多重制御信号を出力し、一方偶数ラインのときに「０」を示す多重制御信号を出力するようになっている。
従って、マルチプレクサ２０３ａは、Ｅ_p信号とＵＶ信号とが入力されると、多重制御信号「１」が入力されている期間は、ＵＶ信号を出力し、一方、多重制御信号「０」が入力されている期間は、Ｅ_p信号を出力するように回路が構成されている。

これにより、図９（ａ）に示すデータ構成のＥ_p信号（データ）が、図９（ｂ）に示すように、偶数ラインの出力期間においてＵＶ信号ポート２０７に出力され、ＵＶ信号が奇数ラインの出力期間においてＵＶ信号ポート２０７に出力される。
なお、図９（ｂ）中のＥ'₁Ｅ'₂、Ｅ'₃Ｅ'₄などにおける下付文字の数字は、画素番号を示しており、例えば、Ｅ'₁であれば、画素番号１番の画素の指数部データとなる。

一方、遅延部２０４では、パッキング指数部データ生成部２０２及びＵＶＥ_p多重部２０３において生じた遅延量分、Ｙ信号を遅延させるようになっており、Ｙ信号は、ＵＶ信号又はＥ_p信号と同期して、Ｙ信号ポート２０６に出力される。
以上のようにして、Ｙ信号ポート２０６へと出力されたＹ信号は、Ｙ信号ポート２０６から映像処理装置３０に出力される。また、ＵＶ信号ポート２０７へと出力されたＵＶＥ_p多重信号は、ＵＶ信号ポート２０７から映像処理装置３０に出力される。

本実施の形態のＹ信号及びＵＶＥ_p多重信号の出力は、３０[ｆｐｓ]のフレームレートで行われる。具体的に、ＨＤＲ映像信号源１０から入力された同期信号ＩＮを遅延させて生成した同期信号（同期信号ＯＵＴ）に基づいて行われる。
ここで、同期信号ＯＵＴは、出力される映像データのフレームの開始を示す垂直同期信号、ラインの開始を示す水平同期信号、画素の同期信号の３信号もしくはこれら３信号の複合信号である。

以上のような処理手順で、ＨＤＲ映像信号源１０からの浮動小数点形式のＨＤＲ映像信号がＹＵＶ方式のフォーマットに変換され、且つ、指数部のデータがＵＶ信号に多重化されてＹ信号と共に映像処理装置３０へと出力される。
次に、図１０〜図１２に基づき、映像処理装置３０の動作を説明する。
ここで、図１０は、ＵＶＥ_p多重信号分離部３０４の有するデマルチプレクサ３０４ａの構成を示す図である。また、図１１は、ＵＶＥ_p多重信号分離部３０４の有するＵＶ信号分離回路の構成を示す図である。また、図１２は、ＵＶ信号の補間処理の流れを示す図である。

映像処理装置３０において、映像出力装置２０から出力された信号のうち、Ｙ信号は、Ｙ信号ポート３００を介して遅延量調整部３０３に入力される。また、ＵＶＥ_p多重信号は、ＵＶＥ_p多重信号分離部３０４に入力され、同期信号ＯＵＴは画素カウンタ・制御部３０８に入力される。
画素カウンタ・制御部３０８は、入力された同期信号ＯＵＴに基づき、画素のアドレス（ＸＹ座標）を与えるアドレス制御信号を生成して、ＶＲＡＭ３０９に出力する。また、入力された同期信号ＯＵＴに基づき、ライン番号に応じて「０」、「１」が切り替わる分離制御信号を生成して、これをＵＶＥ_p多重信号分離部３０４に出力する。

ＵＶＥ_p多重信号分離部３０４は、図１０に示す、デマルチプレクサ３０２ａを内部に有しており、当該デマルチプレクサ３０２ａにおいて、ＵＶＥ_p多重信号をＵＶ信号とＥ_p信号とに分離する。具体的に、多重化されたＵＶ信号とＥ_p信号とを、画素カウンタ・制御部３０８から入力される、先述したライン番号ごとに切り替わる分離制御信号に基づいて別々に出力することによってＵＶ信号とＥ_p信号とに分離する。

また、ＵＶＥ_p多重信号分離部３０４は、図１１に示す、ＵＶ信号分離回路３０２ｂを有しており、当該ＵＶ信号分離回路３０２ｂにおいて、デマルチプレクサ３０２ａで分離されたＵＶ信号において、４画素に対して代表値を１つ選択したことによって失われた残り３画素分のデータを補間し、且つ多重化されたＵＶ信号をＵ信号及びＶ信号に分離して、これら補間後のＵ信号及びＶ信号をＨＤＲ映像変換部３０５に出力する。

ＵＶ信号分離回路３０２ｂは、図１１に示すように、入力したＵＶ信号を１ライン分蓄積するラインメモリ１３００と、マルチプレクサ１３０１と、遅延素子１３０２と、マルチプレクサ１３０３とを備えている。ＵＶ信号は、ラインメモリ１３００を介して、あるいは直接マルチプレクサ１３０３に入力される。ＵＶ信号分離回路３０２ｂは、奇数番目のラインに対応するＵＶ信号が出力されてきた場合、この信号を出力し、かつラインメモリ１３００に格納する。一方、偶数番目のラインに対応するＵＶ信号が出力されてきた場合にはラインメモリ１３００に格納されている奇数番目の信号を出力する。この結果、マルチプレクサ１３０１からは、常に奇数番目のラインに対応するＵＶ信号が出力される。

また、ＵＶ信号分離回路３０２ｂでは、奇数番目（画素単位）の画素データが入力された場合、この画素データをＨＤＲ映像変換部３０５に出力すると共に遅延素子１３０２で遅延させる。そして、偶数番目（画素単位）の画素データが入力された場合には遅延素子１３０２で遅延させた画素データをＨＤＲ映像変換部３０５に出力する。この結果、Ｕ信号はＶ信号と分離してＨＤＲ映像変換部３０５に出力される。このようにして出力される画素データは、図１２に示すような画素配列となる。図１２では、ラインメモリ１３００、遅延素子１３０２において遅延して出力された画素データを補間画素データとしてグレーにして示している。以上述べた動作によってＶ信号もＵ信号と分離してＨＤＲ映像変換部３０５に出力される。

また、デマルチプレクサ３０２ａでＵＶ信号と分離したＥ_p信号は、指数部分離部３０６に出力される。
一方、遅延量調整部３０３は、Ｙ信号ポート３００を介して入力されてくるＹ信号をＵＶＥ_p多重信号分離部３０４における処理時間分遅延させ、Ｙ信号の出力タイミングをＵＶ信号に同期させる。

ＨＤＲ映像変換部３０５は、ＵＶＥ_p多重信号分離部３０４から入力されたＵ信号及びＶ信号と、遅延量調整部３０３において遅延され、前記Ｕ信号及びＶ信号と同期して入力されるＹ信号とを、ＲＧＢのＨＤＲ映像信号（仮数部）に変換する。そして、この変換後のＨＤＲ映像信号（Ｒ'_i[７：０]、Ｇ'_i[７：０]、Ｂ'_i[７：０]）を、ＶＲＡＭ３０９に出力する。

指数部分離部３０６は、ＵＶＥ_p多重信号分離部３０４からＥ_p信号が入力されると、当該Ｅ_p信号に含まれる４画素分の指数部データ（Ｅ'_n，Ｅ'_n+1，Ｅ'_n+2，Ｅ'_n+3）を、画素毎のデータに分割する。そして、当該分割した各画素の指数部データ（Ｅ'[３：０]）を、指数部拡張部３０７に出力する。
指数部拡張部３０７は、指数部分離部３０６で分離された各画素の４ビットの指数部データを、８ビットの指数部データ（Ｅ'[７：０]）に拡張し、この８ビットの指数部データをＶＲＡＭ３０９に出力する。指数部の拡張は、具体的に、入力された４ビットの指数部データを下位４ビットとし、その上位４ビットとして「０」を挿入することで拡張を行う。

ＶＲＡＭ３０９は、画素カウンタ・制御部３０８から入力されるアドレス制御信号を基準にして動作し、ＨＤＲ映像変換部３０５から入力されるＨＤＲ映像信号の仮数部データ（Ｒ'_i[７：０]、Ｇ'_i[７：０]、Ｂ'_i[７：０]）と、指数部拡張部３０７から入力される指数部データ（Ｅ'[７：０]）とを対応付けて格納する。従って、ＶＲＡＭ３０９には、各色要素の値を、仮数部（Ｒ'_i[７：０]、Ｇ'_i[７：０]、Ｂ'_i[７：０]）及び指数部（Ｅ'[７：０]）の浮動小数点形式で表した画素データから構成されるＨＤＲ画像データがメモリ上に構成されることとなる。

なお、映像処理装置３０は、必要に応じてＶＲＡＭ３０９に格納された浮動小数点形式のＨＤＲ画像データを処理して別の形式で画像を表示し得る表示データを生成する構成としても良い。例えば、浮動小数点形式のＨＤＲ画像データを、固定小数点形式のＨＤＲ画像データに変換する。
以上、本実施の形態の映像処理システム１によれば、電子カメラ等のＨＤＲ映像信号源で得られた浮動小数点形式のＨＤＲ映像信号を、映像出力装置２０において、ＹＵＶ４１１方式の映像信号に変換して映像処理装置３０に出力するときに、指数部のデータをＵＶ信号に多重化して既存のＵＶ信号ポートをそのまま利用して出力することができる。このため、従来のＹＵＶ方式の出力インターフェースを変更することなく、指数部のデータを出力することができるので、コストアップすることなく、浮動小数点形式のＨＤＲ映像信号を映像処理装置３０に出力できるシステムを構成することができる。

また、映像出力装置２０において、４画素分の指数部データをひとまとめにしたパッキング指数部データを生成し、このパッキング指数部データをＵＶ信号に多重化することができるので、ＹＵＶ４１１方式において、ＵＶ信号を出力時のダミーデータの出力期間において、パッキング指数部データを出力することができる。これにより、簡易に、指数部のデータをＵＶ信号に多重化して出力することができる。

また、映像処理装置３０において、パッキング指数部データがＵＶ信号に多重化されたＵＶＥ_p多重信号を、ＵＶ信号と、Ｅ_p信号とに分離できると共に、Ｅ_p信号を各画素の指数部データに分離することができる。また、Ｙ信号及びＵＶ信号をＲＧＢの信号に変換し、ＨＤＲ画像データの仮数部のデータを生成（復元）し、ＶＲＡＭ３０９に格納することができる。また、分離した指数部データを拡張し、ＨＤＲ画像データの指数部のデータを生成（復元）し、ＶＲＡＭ３０９に格納することができる。これにより、ＶＲＡＭ３０９のメモリ上に浮動小数点形式のＨＤＲ画像データを形成することができる。

以上より、映像処理装置３０において、映像出力装置２０からＹＵＶ４１１方式で出力された映像信号を、元の形式のＨＤＲ画像データに変換してＶＲＡＭ３０９に蓄積することができるので、本システム１を用いて、監視カメラなどを利用した防犯システムやセキュリティーシステムなどの映像システムを簡易に構成することができる。
上記実施の形態において、指数部変換部２００は、形態２乃至４のいずれか１の指数部変換手段に対応し、ＹＵＶ４１１変換部２０１は、形態１、２、３、６及び７のいずれか１の仮数部変換手段又は形態９若しくは１１の仮数部変換ステップに対応し、ＵＶＥ_p多重部２０３は、形態１、２、５及び６のいずれか１の多重手段又は形態９若しくは１１の多重ステップに対応し、パッキング指数部データ生成部２０２は、形態２又は３のパッキング指数部データ生成手段に対応する。

また、上記実施の形態において、ＵＶＥ_p多重信号分離部３０４におけるＵＶ信号とＥ_pとを分離する処理は、形態６若しくは８の信号分離手段又は形態１０若しくは１２の信号分離ステップに対応し、ＵＶＥ_p多重信号分離部３０４におけるＵＶ信号の不足分のデータを補間する処理は、形態７の色差信号補間手段に対応し、ＨＤＲ映像変換部３０５は、形態６若しくは８の形式変換手段又は形態１０若しくは１２の形式変換ステップに対応し、ＨＤＲ映像変換部３０５で変換後の仮数部のデータ、指数部分離部３０６及び指数部拡張部３０７を経て分離及び拡張された指数部のデータとをＶＲＡＭ３０９に格納して、メモリ上に浮動小数点形式のＨＤＲ画像データを形成する処理は、形態６若しくは８の表示データ生成手段又は形態１０若しくは１２の表示データ生成ステップに対応する。

なお、上記実施の形態においては、映像出力装置２０及び映像処理装置３０を、ハードウェア主体の構成としたが、これに限らず、変換処理、多重化処理、分離処理などの各種処理機能をソフトウェアで実現するソフトウェア主体の構成としても良い。この場合に、映像出力装置２０及び映像処理装置３０は、プログラムを実行するためのプロセッサと、上記各処理を実現させるためのプログラムの記憶されたＲＯＭと、実行するプログラムやプログラムの実行に必要な各種データを記憶するＲＡＭ、これら構成要素間のデータの授受を行うためのバスなどから構成されるコンピュータシステムを有している。

また、上記実施の形態においては、ＨＤＲ映像信号源１０から出力されるＨＤＲ画像データを、仮数部８ビット、基数２及び指数部８ビットの構成としたが、これに限らず、仮数部を７ビット以下又は９ビット以上としても良いし、基数を２以外の数値としても良いし、指数部を３ビット以下又は５ビット以上としても良い。
また、上記実施の形態においては、ＹＵＶ方式の一種であるＹＵＶ４１１方式に本発明を適用する構成としたが、これに限らず、ＹＵＶ２１１方式、ＹＵＶ４２２方式、ＹＵＶ４４４方式など他のＹＵＶ方式に本発明を適用する構成としても良い。

映像処理システム１の概略構成を示すブロック図である。 映像出力装置２０の詳細な構成を示すブロック図である。 映像処理装置３０の詳細な構成を示すブロック図である。 指数部変換部で変換後の指数部変換形式ＨＤＲ画像データのデータ構成の一例を示す図である。 Ｙ信号の出力順を示す図である。 Ｕ信号の間引き方法及び出力方法を示す図である。 Ｕ信号とＶ信号とを多重化して出力する方法を示す図である。 ＵＶＥ_p多重部２０３の内部構成の一例を示す図である。 （ａ）は、Ｅ_p信号の構成を示す図であり、（ｂ）は、ＵＶ信号とＥ_p信号とを多重化して出力する方法を示す図である。 ＵＶＥ_p多重信号分離部３０４の有するデマルチプレクサ３０４ａの構成を示す図である。 ＵＶＥ_p多重信号分離部３０４の有するＵＶ信号分離回路の構成を示す図である。 ＵＶ信号の補間処理の流れを示す図である。 従来のＹＵＶ方式を用いた映像処理システムの構成を説明するための図である。

符号の説明

１は映像処理システム、１０はＨＤＲ映像信号源、２０は映像出力装置、３０は映像処理装置、２００は指数部変換部、２０１はＹＵＶ４１１変換部、２０２はパッキング指数部データ生成部、２０３はＵＶＥ_p多重部２０３、２０６，３００はＹ信号ポート、２０７，３０１はＵＶ信号ポート、３０４はＵＶＥ_p多重信号分離部３０４、３０５はＨＤＲ映像変換部、３０６は指数部分離部、３０７は指数部拡張部、３０９はＶＲＡＭ

Claims (12)

1. 画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力装置であって、
   画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データを構成する各画素データの仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換手段と、
   前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重手段と、
   前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力手段と、を備えることを特徴とする映像出力装置。
2. 前記第１の画像データを構成する各画素データの前記Ｍビットの指数部を、ｍビット（ｍは、Ｍ＞ｍの自然数）の指数部に変換する指数部変換手段と、
   前記指数部変換手段で指数部を変換した後の画像データである第２の画像データにおいて、所定走査方向に連続する所定数の画素の画素データ毎に、当該所定数の画素の画素データにおける指数部のデータによって構成されたパッキング指数部データを生成するパッキング指数部データ生成手段と、を備え、
   前記仮数部変換手段は、前記第２の画像データを構成する各画素データの仮数部のデータを前記ＹＵＶ方式の映像信号に変換し、
   前記多重手段は、前記パッキング指数部データを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化することを特徴とする請求項１に記載の映像出力装置。
3. 前記第１の画像データは、ＲＧＢ（Red，Green，Blue）形式のカラー画像データであって、前記画素値を構成するＲ、Ｇ、Ｂの各色要素を表す値が、仮数部が前記Ｎビット、基数が２及び指数部が前記Ｍビットの浮動小数点形式で表され、且つ前記Ｍビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
   前記指数部変換手段は、前記第１の画像データを構成する各画素データの前記各色要素に対応する前記Ｍビットの指数部を、前記各色要素において同じ値となる４ビット以下の指数部に変換し、
   前記仮数部変換手段は、前記第２の画像データを構成する各画素データの前記各色要素に対応する仮数部のデータを、前記ＹＵＶ方式の１種であるＹＵＶ４１１方式の映像信号に変換し、
   前記パッキング指数部データ生成手段は、前記第２の画像データにおいて、水平走査方向に連続する４画素の画素データ毎に、当該４画素の画素データにおける指数部のデータから構成されたパッキング指数部データを生成することを特徴とする請求項２に記載の映像出力装置。
4. 前記第１の画像データは、前記画素値を構成するＲ、Ｇ、Ｂの各色要素を表す値が、仮数部が８ビット、基数が２及び指数部が８ビットの浮動小数点形式で表され、且つ前記８ビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
   前記指数部変換手段は、前記第１の画像データを構成する各画素データの前記各色要素に対応する前記８ビットの指数部を、前記各色要素において同じ値となる４ビットの指数部に変換することを特徴とする請求項３に記載の映像出力装置。
5. 前記多重手段は、前記指数部のデータを、画像の奇数ライン又は偶数ラインのいずれか一方に対応する前記色差信号ＵＶに多重化することを特徴とする請求項１乃至請求項４のいずれか１項に記載の映像出力装置。
6. 映像出力装置と映像処理装置とを備え、前記映像処理装置は、前記映像出力装置から出力された映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理システムであって、
   前記映像出力装置は、
   画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データの各画素データにおける仮数部のデータを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換する仮数部変換手段と、
   前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重手段と、
   前記仮数部変換手段で変換して得られたＹＵＶ方式の映像信号における前記輝度信号Ｙと、前記多重手段で前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力手段と、を備え、
   前記映像信号出力手段は、前記輝度信号Ｙと前記色差信号ＵＶとを、それぞれ独立に前記映像処理装置に出力し、
   前記映像処理装置は、
   前記映像出力装置から入力された前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離手段と、
   前記映像出力装置から入力された輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
   前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする映像処理システム。
7. 前記仮数部変換手段は、前記第２画像データを、隣接するｊ個（ｊは、２以上の自然数）の画素から構成される画素領域のデータ単位で複数に分割する分割部と、各前記画素領域のｊ個の画素に対応する前記画素データにおける前記仮数部のデータを、画素毎に１つの輝度信号Ｙと、前記画素領域毎にｋ個（ｋは、ｋ＜ｊの自然数）の画素に対応する色差信号ＵＶとから構成されたＹＵＶ方式の映像信号に変換する変換部とを含み、
   前記映像処理装置は、前記仮数部変換手段において前記仮数部のデータを前記ＹＵＶ方式の映像信号に変換したときに、前記画素領域毎に間引かれた（ｊ−ｋ）個の画素に対応する色差信号ＵＶを補間する色差信号補間手段を備えることを特徴とする請求項６に記載の映像処理システム。
8. 画素値を浮動小数点形式で表した画素データから構成される画像データの各前記画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理装置であって、
   前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離手段と、
   前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
   前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする映像処理装置。
9. 画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力方法であって、
   画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データの各画素データにおける仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換ステップと、
   前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重ステップと、
   前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力ステップと、を含むことを特徴とする映像出力方法。
10. 画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理方法であって、
    前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離ステップと、
    前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
    前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップと、を含むことを特徴とする映像処理方法。
11. 画像データを、輝度信号Ｙ及び色差信号ＵＶからなるＹＵＶ方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力プログラムであって、
    画素値を、仮数部がＮビット（Ｎは２以上の自然数）、基数がＸ（Ｘは２以上の自然数）及び指数部がＭビット（Ｍは２以上の自然数）の浮動小数点形式で表した画素データから構成される第１の画像データに対して、当該第１の画像データを構成する各画素データの仮数部のデータを、前記ＹＵＶ方式の映像信号に変換する仮数部変換ステップと、
    前記第１の画像データを構成する各画素データの指数部のデータを、前記ＹＵＶ方式の映像信号における色差信号ＵＶに多重化する多重ステップと、
    前記輝度信号Ｙ及び前記指数部のデータが多重化された色差信号ＵＶとからなるＹＵＶ方式の映像信号を出力する映像信号出力ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする映像出力プログラム。
12. 画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Ｙ及び色差信号ＵＶに変換すると共に、各前記色差信号ＵＶに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理プログラムであって、
    前記指数部のデータが多重化された色差信号ＵＶを、前記仮数部の色差信号ＵＶと、前記指数部のデータ信号とに分離する信号分離ステップと、
    前記輝度信号Ｙ及び前記分離して得られた色差信号ＵＶを、前記ＹＵＶ方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
    前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする映像処理プログラム。

Images