JP4012201B2 - 画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラム - Google Patents

Description

本発明は、画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムに関する。

近年、パーソナルコンピュータ、携帯電話、ＰＤＡ（個人向け携帯情報端末）等の情報機器では、画像データの送受信が盛んに行われるようになっている。このような画像データは、文書データ等に比べて非常に大きなデータ量を有することから、例えば、静止画像データの圧縮及び復元方式として、ＪＰＥＧやＪＰＥＧ２０００等が開発された。これらの方式を用いて圧縮や復元を行うことにより、画像データをある程度小さなデータに圧縮して送受信することが可能である。尚、ＪＰＥＧあるいはＪＰＥＧ２０００については、例えば、Information technology: JPEG2000 image coding system, ISO/IEC FCD1544-1, March 2000や、Information technology: digital compression and coding of continuous tone still images (JPEG), ISO/IEC 10918-1, 1993に説明がある。

しかしながら、これらの方式を用いても、画像データのデータ量は未だに大きく、特に、それを無線で送受信するような場合には、多大な時間と費用を要するといった重大な問題が生じている。

ところで、本願出願人によって平成１４年６月１８日に出願された「画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末」（出願番号２００２年１７７，１０７号）には、画像処理装置及び画像処理方法、更に言えば、複数個の異なる色成分にそれぞれ関する色データを含むカラー画像データを、データサイズを保ったまま複数個に分割し、さらに圧縮等の処理を行った上で出力する、画像処理装置及び画像処理方法が開示されている。

特許出願２００２年１７７，１０７号

本発明は、この技術を応用することによって、画像データをより小さなデータ量で送受信することができる画像データの圧縮装置及び復元装置、並びに画像データの圧縮プログラム及び復元プログラムを提供するものである。

上記の目的を達成するために、本発明は、画像データの圧縮装置において、ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行うことを特徴としている。

ここで単成分画像データとは、色を構成する複数の成分のうち、１つの成分のみを含む画像データをいう。カラー画像を表わすデータは、光の三原色を表わすＲＧＢ（赤、緑、青）の３つの成分のデータから構成されるか、輝度と色差を表わすＹＵＶ（輝度、色差、色差）の３成分から構成されることが多い。単成分画像データは、例えばＲ成分のみ、Ｙ成分のみ、など、１つの成分のみを含む画像データを指す。

また、本発明は、画像データの復元装置において、ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、前記圧縮画像データを圧縮解除することによって得られる前記ＹＵＶＧ２成分の４つの単成分画像データを前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記Ｒ成分と前記Ｂ成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記Ｇ１成分と前記Ｇ２成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データを前記ＲＧＢ成分の３つの単成分画像データに変換した後に復元を行うことを特徴としている。

本発明の復元装置において、前記移動の方法は、前記圧縮装置との間で予め取り決められていてもよいし、前記圧縮装置に前記復元装置の側からデータを用いて伝えられてもよい。

さらに、当業者であれば容易に理解できるように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた１つの圧縮復元装置として構成することが可能であり、また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施される場合が多い。つまり本発明は、コンピュータを、所定の複数成分から構成される画像データを取り込む手段、前記所定の複数成分のそれぞれについてサンプリングする手段、前記サンプリングされたデータから前記所定の複数成分のいずれか一成分の一部から構成される単成分画像データを前記複数より多い数だけ作成する手段、前記単成分画像データを圧縮する手段として動作させ、さらに前記単成分画像データのうち少なくとも２つは、前記所定の複数成分のうちの同じ成分であるように動作させることを特徴とする圧縮プログラムとして表すことができる。又は、コンピュータを、本発明による圧縮プログラムまたは圧縮装置により圧縮された圧縮画像データに関し、前記圧縮画像データを圧縮解除して前記単成分画像データに戻す手段、前記単成分画像データを伸張する手段、前記所定の複数成分のうちの同じ成分からなる単成分画像データが２つ以上存在する場合はこれらを結合して伸張する手段、として動作させることを特徴とする復元プログラムとして表すことができる。さらに、双方の機能を備えた圧縮復元プログラムとして表すこともできる。

尚、本発明の圧縮又は復元装置において、前記圧縮又は復元のためにＪＰＥＧ又はＪＰＥＧ２０００を用いてもよい。更に、方法として表すこともできる。

本発明によれば、従来よりも、画像データをより小さなデータ量で送受信することができる。

添付図面を参照して、本発明を、本発明が適用されたパーソナルコンピューター（以下、ＰＣと標記）を例に挙げて説明する。このＰＣはインターネットに接続され、インターネットを通じて画像等のデータを送受信することができる。また、デジタルカメラ等と接続し、デジタルカメラ等から画像データを取り込むこともできる。特に本発明が適用されたＰＣは、インターネットやデジタルカメラ等から取り込んだ画像を本発明に従って送信し、また受信した圧縮画像を本発明に従って復元して出力することができる。尚、以下に説明するＰＣは、本発明を好適に適用できる媒体の一例であって、本発明はＰＣに限らず、デジタルカメラ等の他の様々なデジタル機器に適用することができることはいうまでもない。

１．第一の実施形態

１−１．画像の取り込み及び圧縮
図１を参照して、第一の実施形態によるＰＣの、画像の取り込み及び圧縮に係る構成を説明する。

１）入力部
入力部１１は、デジタルカメラ等の外部機器に接続し、画像データをＰＣ本体に取り込む部分である。これは、よく知られているＵＳＢ等の方式を用いてよい。又は、インターネットに接続し、インターネット上のサーバーから画像データをダウンロードできるように構成してもよい。この場合は、イーサネット（登録商標）等の方式を用いればよい。

現在一般に用いられている形式の画像データは、ＲＧＢ又はＹＵＶの３つの単成分画像データ（平面）から構成されている場合が多い。尚、ＲＧＢとＹＵＶとでは多少性質が異なる。ここではＲＧＢから構成された画像データが取り込まれたものとし、それが図１の１１０（Ｒ：赤色画像）、１１１（Ｇ：緑色画像）、１１２（Ｂ：青色画像）に示されている。これらの単成分画像データ１１３、１１４、１１５にはそれぞれ、複数の画素が含まれる。各画素は各単成分画像データ１１３、１１４、１１５において、それぞれ固有の位置情報と色情報とを有する。色情報には、例えば輝度等が含まれ、各単成分画像データにおける各画素の色情報は、例えば８ビットで表現することができる。この結果、例えば、ある１つの画素の完全な色情報は、８×３＝２４ビットで表現することができることになる。尚、図１に示したＲＧＢ成分の各単成分画像データ１１０、１１１、１１２は、説明を目的としただけのものであって、必ずしもこのような単成分画像データが作成される必要はない。この点については後にも触れる。

２）ダウン・サンプリング部
ダウン・サンプリング部１２は、ＲＧＢ成分の各単成分画像データ１１０、１１１、１１２から色情報をサンプリングする部分である。サンプリングは、画像の劣化が許容できる範囲で、また、好ましくは補間が容易な方法で行うのが好ましい。好ましいサンプリングの方法として、例えば、原色べイヤー配列に基づいたサンプリング方法を考えることができる。よく知られているように、原色べイヤー配列とは、ＲＧＢの配列方式の１つであり、ここでは、市松状にＧ成分が配置され、それらの間にＲ成分とＢ成分が交互に配置される。本発明は、この配置に従って、ＲＧＢ成分の各単成分画像データ１１０、１１１、１１２のそれぞれの所定位置において色情報のサンプリングを行う。図１に、この原色べイヤー配列（ここでは特に、いわゆるＲＧＧＢタイプと呼ばれる方式）に基づいてサンプリングを行うことによって得られた結果を、ＲＧＢ成分の各単成分画像データ１２０、１２１、１２２毎に概念的に示している。図面中、例えば、Ｒ成分の単成分画像データ１２０については、「○」で示した箇所はサンプリングされた画素（位置）を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。同様に、Ｇ成分の単成分画像データ１２１については、「○」又は「△」で示した箇所はサンプリングされた画素を、空白で示した箇所はサンプリングされなかった画素を、それぞれ示している。Ｂ成分の単成分画像データ１２２については、Ｒ成分の単成分画像データ１２１と同様である。明らかなように、この原色ベイヤー配列に基づいてサンプリングを行った場合、Ｒ成分とＢ成分の各単成分画像データ１２０、１２２については、８画素に対して１画素を抽出することによって計４画素分の色情報が、Ｇ成分の単成分画像データ１２１については、４画素に対して１画素を抽出することによって計８画素分の色情報が、それぞれ選択されることになる（尚、Ｒ成分やＢ成分よりもＧ成分に関してより多くの情報を得ることとしているのは、人間の目は、ＲＧＢ成分のうちＧ成分に最も敏感に反応すると考えられているからである）。

尚、サンプリングの方法は、必ずしも上記の方法に基づく必要はない。例えば、Ｇ成分とＢ成分の各単成分画像データについては４画素分の色情報を、Ｒ成分の単成分画像データについては８画素分の色情報を、それぞれ選択してもよい。また、原色ベイヤー配列の中でも、いわゆるＧＲＢＧタイプと呼ばれる方式に基づいてサンプリングを行ってもよい。ただし、復元時の画像劣化を防ぐため、上述した原色ベイヤー配列におけるようになるべく規則的に、例えば原色ベイヤー配列におけるように、ＲＧＢ成分の各画素を水平及び垂直方向において互いに均等に離れた状態等で、サンプリングするのが好ましい。

３）デ・コンポージング部
デ・コンポージング部１３は、サンプリングを行うことによって得られたＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データにするとともに、各単成分画像データを縮小させる、つまり、各単成分画像データにおいて、サンプリングされなかった画素を少なくとも１つ排して（除去して）、元の単成分画像データよりも小さな単成分画像データとする。好ましい縮小方法として、例えば、ダウン・サンプリング部でサンプリングされなかった全ての画素を排して、サンプリングされた画素を水平及び垂直方向に移動させて互いに隣接に配置する、あるいは互いに結合させる、といった方法が考えられる。上述した原色ベイヤー配列に基づいてＲＧＢ成分の各画素を規則的にサンプリングし、且つ、サンプリングされたそれらの画素を上述した好ましい方法で縮小させた場合には、縮小後も画像は認識可能な状態で残る。つまり、デ・コンポージング部１３における処理後の各単成分画像データは、元の画像の大きさを単に縮小させただけのものとして見ることができる。

図１に、デ・コンポージング部１３における処理によって生じた４つの単成分画像データ１３０、１３１、１３２、１３３を概念的に示している。ここに示されているように、デ・コンポージング部１３における処理により、ＲＧＢ成分の３つの単成分画像データ１２０、１２１、１２２のうち、４×４画素のＲ成分とＢ成分の単成分画像データ１２０、１２２については、上述した好ましい方法で縮小されて２×２画素（半解像度）のＲ成分とＢ成分の単成分画像データ１３０、１３３とされ、４×４画素のＧ成分の単成分画像データ１２１については、２つに分割されるとともに上述した好ましい方法で縮小されて、２×２画素（半解像度）のＧ１成分とＧ２成分の単成分画像データ１３１、１３２とされる。ここで、Ｇ１成分の単成分画像データ１３１とは、図１に示したダウン・サンプリング部でサンプリングされた画素のうち、「○」で示した箇所の画素に関する色情報を表す単成分画像データであり、一方、Ｇ２成分の単成分画像データ１３２は、「△」で示した箇所の画素に関する色情報を表す単成分画像データである。これらＧ１成分の単成分画像データ１３１とＧ２成分の単成分画像データ１３２は、Ｇ成分の単成分画像データを構成する要素であるから、明らかなように、これらを合体させることによって元のＧ成分の完全な単成分画像データ１２１を得ることができる。

尚、上に示した例では、Ｇ１成分とＧ２成分の単成分画像データ１３１、１３２は、規則的に、例えば、上に示したように、Ｇ成分の単成分画像データを水平及び垂直方向において互いに離れた画素同士が同じ成分となるように、分割することによって形成されているが、Ｇ成分中のどの部分をＧ１成分とし、あるいは、Ｇ２成分とするかは、設計者が自由に決定することができる。ただし、Ｇ成分の単成分画像データを規則的に分割した場合には、Ｇ１成分の単成分画像データ１３１やＧ２成分の単成分画像データ１３２は、いわば元の画像のＧ成分を縮小させたものということができ、したがって、Ｇ１成分のみによって、あるいは、Ｇ２成分の単成分画像データのみよって（更には、残りのＲＧ１Ｂ成分を、後述するＲＧＢ−ＹＵＶ変換部１４によって変換することによって得られたＹＵＶ成分によって、あるいは、このＹＵＶ成分のＹ成分のみによって）、視聴者は、元の画像をある程度の精度で認識することができるという大きな利点がある。また、上に示した例のように、Ｇ成分の単成分画像データを規則的に分割した場合には、Ｇ１成分とＧ２成分の単成分画像データを明確に区別する必要はない。つまり、本明細書の記載において、Ｇ１とＧ２を入れ換えて読んでも何ら問題はない。

デ・コンポージング部１３における処理により、入力部１１におけるデータ量、つまり、４×４（基本領域中の画素の数）×３（単成分画像データの数）×８（ＲＢＧ成分の各単成分画像データにおける１画素あたりのビット数）＝３８４ビットは、４（ＲＧ１Ｇ２Ｂ成分の各単成分画像データにおける画素の数）×４（単成分画像データの数）×８（ＲＧ１Ｇ２Ｂ成分の各単成分画像データにおける１画素あたりのビット数）＝１２８ビット、つまり、１／３に減少される。このように、デ・コンポージング部１３における処理によって、全体としてのデータ量は減少することになるが、その一方で、各画素の位置情報は失われる。しかしながら、失われた位置情報は、デ・コンポージング部１３やダウン・サンプリング部１２における処理を後述する復元時（特に、後述するコンポージング部（図３の３４））との間で予め取り決めておくことによって、また、そのような取り決めがない場合にはデ・コンポージングされたデータ（ファイル、あるいはビットストリーム）に位置情報に関する情報を付加することによって、復元時において容易に回復することができる。

４）ＲＧＢ−ＹＵＶ変換部
ＲＧＢ−ＹＵＶ変換部１４は、当業者によく知られた方法で、ＲＧＢ成分をＹＵＶ成分に変換する。ここでは、デ・コンポージング部１３における処理で発生された、ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データ１３０、１３１、１３２、１３３のうちの、ＲＧ１Ｂ成分の３つの単成分画像データ１３０、１３１、１３３に基づいて、それらを、ＹＵＶ成分の３つの単成分画像データ１４０、１４１、１４２へ変換する。残るＧ２成分の単成分画像データ１３３については、ＹＵＶ変換は行わず、そのまま残す。この結果、図１にも示されているように、ＲＧＢ−ＹＵＶ変換部における処理により、各々が２×２画素のＹＵＶ成分の３つの単成分画像データ１４０、１４１、１４２とＧ２成分の単成分画像データ１４３（１３３）が形成される。尚、ＹＵＶへ変換を行うのは、次に述べる圧縮部においてＪＰＥＧ等を用いるためである。

５）圧縮部
圧縮部１５は、デ・コンポージング部１３における処理によって得られたＹＵＶ成分の３つの単成分画像データ１４０、１４１、１４２とＧ２成分の単成分画像データ１４３を、例えばＪＰＥＧやＪＰＥＧ２０００を用いて圧縮する。但し、圧縮の方法は、画像圧縮のために通常使用されている様々な方法を用いることができ、ＪＰＥＧ等に限定されるものではない。これらの圧縮方法はよく知られているため、それらの方法自体の詳細な説明はここでは省略する。この圧縮部１５における処理により、基本領域における情報は、例えば、全体として６ビット程のデータとすることができる。

尚、ＪＰＥＧを用いて圧縮を行った場合には、図２に示すように、ＹＵＶ成分の３つの単成分画像データ１４０、１４１、１４２に関する情報は１つのファイル、例えばｆｉｌｅ．１として圧縮され、Ｇ２成分の単成分画像データ１４３に関する情報はそれとは別のファイル、例えばｆｉｌｅ．２として圧縮される。Ｇ２成分が別のファイルとして圧縮されるのは、このＧ２成分についてはＪＰＥＧによる処理を２回行うことを要するからである。この点は当業者には明らかであろう。圧縮されたこれらのファイルｆｉｌｅ．１とｆｉｌｅ．２の関係は、ファイル名（例えば、ｆｉｌｅ．１にｆｉｌｅ．ａ．ｊｐｇという名を付け、これに関連して、ｆｉｌｅ．２にｆｉｌｅ．ｂ．ｊｐｇという名を付けることによって）や、ファイルフォーマット内の未使用フィールドにおける宣言により明かにすることができる。受信側は、これらのファイル名を見ることによって、それらが互いに関連のあるデータであることを知ることができる。

一方、ＪＰＥＧ２０００を用いて圧縮を行った場合には、ＹＵＶＧ２成分の各単成分画像データ１４０、１４１、１４２、１４３を、それぞれ単成分画像データ毎に圧縮することができる。この結果、４つのファイルが形成されることになるが、これらについても上と同様に、それらの間の関係をファイル名等で明かにすることができる。

６）出力部
出力部１６は、圧縮部１５で圧縮されたファイルを出力する。出力は、記録媒体にファイルを保存するためであったり、インターネット上のサーバーに送信するためであったりする。

１−２．圧縮データの復元
図３を参照して、第一の実施形態によるＰＣの、圧縮データの復元に係る構成を説明する。

１）入力部
入力部３１は、記録媒体から本発明による方法で圧縮されたデータを読み込む、又は、インターネット上のサーバーから、そのようなデータをダウンロードする。

２）圧縮解除部
圧縮解除部３２は、圧縮部（図１の１５）で圧縮されたファイルを、送信側で用いた圧縮方式に対応する方式で圧縮解除し、２×２画素のＹＵＶ成分の３つの単成分画像データ３２０、３２１、３２２と、２×２画素のＧ２成分の単成分画像データ３２３、即ち、計４つの単成分画像データに戻す。これらの単成分画像データは、圧縮部（図１の１５）によって圧縮される前のＹＵＶＧ２成分の４つの単成分画像データ（図１の１４０、１４１、１４２、１４３）と全く同じものと考えてよい。

３）ＹＵＶ−ＲＧＢ変換部
ＹＵＶ−ＲＧＢ変換部３３は、送信側のＲＧＢ−ＹＵＶ変換部（図１の１４）における処理と反対の処理を行う。ＹＵＶ−ＲＧＢ変換部３３における処理により、ＹＵＶ成分の３つの単成分画像データ３２０、３２１、３２２は、変換前のＲＧ１Ｂ成分の３つの単成分画像データ３３０、３３１、３３２へ変換される。残るＧ２成分の単成分画像データ３２３については、特にＲＧＢ−ＹＵＶ（図１の１４）で処理されていないから、そのままの状態とする。この結果、図３に示されているように、ＹＵＶ−ＲＧＢ変換部３３における処理により、各々が２×２画素のＲＧ１Ｇ２Ｂ成分の４つの単成分画像データ３３０、３３１、３３２、３３３が形成される。

４）コンポージング部
コンポージング部３４は、デ・コンポージング部（図１の１３）に対応して設けられた部分である。コンポージング部３４は、デ・コンポージング部（図１の１３）とは逆に、ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データ３３０、３３１、３３２、３３３をＲＧＢ成分の３つの単成分画像データ３４０、３４１、３４２に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたＲＧＢ成分の３つの単成分画像データに反映させることにより各単成分画像データを元の大きさに伸張する（つまり、縮小された単成分画像データを元の大きさに戻す）。伸張は、例えば、ダウン・サンプリング部（図１の１２）でサンプリングされた画素を、水平及び垂直方向に移動させて元の位置に戻すことによって行うことができる。この操作によって、デ・コンポージング部（図１の１３）における処理で失われた位置情報は、ＲＧＢ成分の各単成分画像データに反映される。図３には、コンポージング部３４における処理によって生じた３つの単成分画像データ３４０、３４１、３４２が概念的に示されている。この図から明らかなように、コンポージング部３４における処理により、各々が２×２画素のＲ成分とＢ成分の単成分画像データ３３０、３３３については、４×４画素（フル解像度）のＲ成分及びＢ成分の単成分画像データ３４０、３４２とされ、各々が２×２画素のＧ１成分とＧ２成分の単成分画像データ３３１、３３２については、Ｇ成分に合体されるとともに伸張されて、４×４画素（フル解像度）のＧ成分の単成分画像データ３４１とされる。

５）補間部
補間部３５は、送信機のダウン・サンプリング部（図１の１２）におけるサンプリングによって失われた色情報を補間する。この補間によってデータが伸張されるのであるが、よく知られているように画素補間には様々な方法が存在するから、装置の計算能力と求める画質に応じた補間方法を用いればよい。最も簡素な補間法は、データが存在する画素と同じ値を隣接するデータが存在しない画素にコピーするというものである。この補間部３５における処理により、ＲＧＢ成分の３つの単成分画像データ３５０、３５１、３５２が発生する。尚、図面中の矢印は、補間を行う際のデータの動きを概的に示したものである。以上より、元のカラー画像の復元が完了する。

６）出力部
出力部３６は、復元された元のカラー画像、即ち復元画像データを出力する。例えば、出力部３６は、カラー画像を写すディスプレイであってもよい。ただし、出力部３６は、カラー画像を特に復元せずに、ＲＧＢ成分の３つの単成分画像データを単に記憶する記憶媒体であってもよい。

尚、この出力部３６は、上述した圧縮解除部３２とＹＵＶ−ＲＧＢ変換部３３の間、あるいは、ＹＵＶ−ＲＧＢ変換部３３とコンポージング部３４の間に設けることもできる。勿論、圧縮解除部３２やＹＵＶ−ＲＧＢ変換部３３における処理の直後は、ＹＵＶＧ２成分の単成分画像データ３２０〜３２３やＲＧ１Ｇ２Ｂ成分の単成分画像データ３３３０〜３３３が得られるだけで、完全な画像が得られるわけではない。しかしながら、上述したように、Ｇ１成分の単成分画像データのみによって、あるいは、Ｇ２成分の単成分画像データのみよって、あるいは、残りのＲＧ１Ｂ成分をＲＧＢ−ＹＵＶ変換部によって変換することによって得られたＹＵＶ成分によって、更には、これらＹＵＶ成分のＹ成分のみによって、元の画像をある程度の精度で認識することができる。したがって、出力部３６を、上述した圧縮解除部３２とＹＵＶ−ＲＧＢ変換部３３の間、あるいは、ＹＵＶ−ＲＧＢ変換部３３とコンポージング部３４の間に設けてもよい。つまり、本発明の技術を用いた場合、完全な画像を得るためには、コンポージング部３４における処理を知る必要があり、また、デ・コンポージング部（図１の１３）を有する必要があるが、コンポージング部３４における処理を知らなくても、また、デ・コンポージング部（図１の１３）を有していなくても、送信側から受信したデータに基づいて、ある程度の精度で画像を見ることが可能ということである。

１−３．動作説明
次に、図４、図５のフロチャートを参照して、本発明による圧縮装置及び復元装置の動作を説明する。

図４は、圧縮装置の動作を示している。先ず、入力部によって、カラー画像が装置に取り込まれる（ステップ１）。次に、ダウン・サンプリング部によって、各単成分画像データの各画素から所定の情報がサンプリングされる（図１の１２０〜１２２）（ステップ２）。次いで、デ・コンポージング部によって、サンプリングされたＲＧＢ成分の３つの単成分画像データがＲＧ１Ｇ２Ｂ成分の４つの単成分画像データにされるとともに、各単成分画像データが縮小される（図１の１３０〜１３３）（ステップ３）。その後、ＲＧＢ−ＹＵＶ変換部で、ＲＧ１Ｂ成分がＹＵＶ成分に変換され（ステップ４）、この結果、ＹＵＶ成分の３つの単成分画像データと、Ｇ２成分の単成分画像データ、計４つの単成分画像データ（図１の１４０〜１４３）が形成される。更に、ＪＰＥＧ等を用いて、ＹＵＶＧ２成分の４つの単成分画像データに関する情報が圧縮される（ステップ５）、最後に、出力部でファイルが出力される（ステップ６）。

図５は、復元装置の動作を示している。先ず、入力部でファイルが受信され（ステップ１）、次いで、圧縮解除部において、圧縮されたファイルが圧縮解除され、ＹＵＶＧ２成分の４つの単成分画像データ（図３の３２０〜３２３）に関する情報が復号される（ステップ２）。次いで、ＹＵＶ−ＲＧＢ変換部によって、ＹＵＶ成分がＲＧＢ成分に変換されて、変換前のＲＧ１Ｂ成分の３つの単成分画像データとＧ２成分の単成分画像データ、計４つの単成分画像データ（図３の３３０〜３３３）が形成される（ステップ３）。更に、コンポージング部によってＲＧ１Ｇ２Ｂ成分の４つの単成分画像データがＲＧＢ成分の３つの単成分画像データに変換されるとともに、デ・コンポージング部で失われた位置情報が、変換されたＲＧＢ成分の３つの単成分画像データに反映されて、各単成分画像データが元の大きさに伸張される（図３の３４０〜３４２）（ステップ４）。その後、補間部によって、ダウン・サンプリング部における処理で失われた色情報が補間によって回復され、元のカラー画像が復元される（ステップ５）。最後に、それらを復元画像データとして出力しあるいは表示することができる（ステップ６）。上述したように、出力段階は、ステップ２とステップ３の間（ステップ６’）、あるいは、ステップ３とステップ４の間（ステップ６”）に設けられていてもよい。ただし、これらのステップ６’、６”で出力され得る復元画像データは、ステップ６で出力される復元画像データとはその解像度が異なる。尚、切り替え装置（図示していない）を設けて、これら様々な種類の復元画像データを、ユーザーが自由に選択して出力させることができるようにしてもよい。例えば、利用者が料金を支払ったか否かに応じて、ステップ６’、６”で出力され得る復元画像データ、即ち、単成分画像データ１つから構成される出力画像（この場合、半解像度のカラー画像となる）を出力させたり、あるいは、ステップ６で出力され得る復元画像データ、即ち、伸張後のＲＧＢ成分の３つの単成分画像データからなる出力画像を出力させることができる。特に後者の場合は、圧縮前と同じ大きさのカラー画像とすることができる。

２．第二の実施形態
上の第一の実施形態では、カラー画像をＲＧＢ成分で表すものとして説明したが、これをＹＵＶ成分で表すものとしてもよい。この場合（第二の実施形態）は、第一の実施形態と異なり、ＲＧＢ−ＹＵＶ変換部（図１の１４）とそれに対応するＹＵＶ−ＲＧＢ変換部（図３の３３）は不要である。以下、図６、図７を参照して、第二の実施形態を、第一の実施形態との相違を中心に説明する。尚、図６、図７はそれぞれ、第一の実施形態における図１、図３に対応するものと考えてよい。また、特に説明しない事項は、第一の実施形態と同様に考えてよい。

２−１．画像の取り込み及び圧縮
図６において、入力部５１は、ＹＵＶ成分の各単成分画像データ５１０、５１１、５１２から構成されるＹＵＶ形式のデータを取り込む。この場合、例えば、Ｙ成分について４×４画素分のデータが含まれるのに対し、Ｕ成分とＶ成分については４×２画素分のデータが含まれる。

ダウン・サンプリング部５２は、Ｙ成分の単成分画像データ５１０については、４画素に対して１画素を抽出することによって、例えば図６に示されているように、図１で説明した原色ベイヤー配列の特にＧ成分の所定位置においてサンプリングすることによって（つまり、「○」及び「△」で示した箇所の画素をサンプリングして）、Ｙ成分の単成分画像データ５２０を形成する。一方、Ｕ成分とＶ成分の単成分画像データ５１１、５１２については、２画素に対して１画素を抽出することによって、例えば図６に示されているように、４×２画素のデータの１行目と３行目の位置のデータをサンプリングすることによって（つまり、「○」で示した箇所の画素をサンプリングして）、Ｕ成分とＶ成分の単成分画像データ５２１、５２２を形成する。

デ・コンポージング部５３は、サンプリングされたＹＵＶ成分の３つの単成分画像データ５２０、５２１、５２２をＹ１ＵＶＹ２成分の４つの単成分画像データとするとともに、各単成分画像データを縮小する（図６の５３０、５３１、５３２、５３３）。ここでは、Ｙ１成分とＹ２成分の単成分画像データ５３０、５３１が、第一の実施形態におけるＧ１成分とＧ２成分の単成分画像データ（図１の１３１、１３２）に相当し、Ｕ成分とＶ成分の単成分画像データ５３２、５３３が、第一の実施形態におけるＲ成分やＢ成分の単成分画像データ（図１の１３０、１３３）に相当すると考えてよい。即ち、このデ・コンポージング部５３における処理により、ＹＵＶ成分の３つの単成分画像データ５２０、５２１、５２２は、４×４画素のＹ成分の単成分画像データ５２０については、２つに分割されるとともに縮小されて、２×２画素（半解像度）のＹ１成分とＹ２成分の単成分画像データ５３０、５３１とされ、一方、４×２画素のＵ成分とＶ成分の単成分画像データ５２１、５２２については、縮小されて２×２画素のＵ成分とＶ成分の単成分画像データ５３２、５３３とされる。

圧縮部５４は、Ｙ１ＵＶＹ２成分の４つの単成分画像データ５３０〜５３３に関する情報を、例えば、ＪＰＥＧ２０００を用いて圧縮する。尚、この場合は、第一の実施形態のＧ２成分のように、ＪＰＥＧ２０００による処理を２回行うことはないため、１つのファイルとして形成することができる。出力部５５は、このファイルを出力する。
２−２．圧縮データの復元

図７において、入力部７１は、ファイルを受信する。圧縮解除部７１は、このファイルを、圧縮時に用いられた圧縮方式に対応する圧縮方式で圧縮解除し、図７に示されているような、２×２画素のＹ１ＵＶＹ２成分の４つの単成分画像データ７２０〜７２３に戻す。

コンポージング部７３は、Ｙ１ＵＶＹ２成分の４つの単成分画像データ７２０〜７２３をＹＵＶ成分の３つの単成分画像データ７３０〜７３２に変換するとともに、デ・コンポージング部で失われた位置情報を、変換されたＹＵＶ成分の３つの単成分画像データに反映させることによって各単成分画像データを元の大きさに伸張する。即ち、このコンポージング部７３における処理により、各２×２画素のＵ成分とＶ成分の単成分画像データ７２２、７２３については、伸張されて４×４画素（フル解像度）のＵ成分とＶ成分の単成分画像データ７３１、７３２とされ、各２×２画素のＹ１成分とＹ２成分の単成分画像データ７２０、７２１については、Ｙ成分に合体されるとともに伸張されて、４×４画素の（フル解像度）のＹ成分の単成分画像データ７３０とされる。

補間部７４は、Ｙ成分の単成分画像データ７４０については、例えば、第一の実施形態のＧ成分の単成分画像データ（図３の３４１）と同様の方法で補間を行う。一方、Ｕ成分とＶ成分の単成分画像データ７４１、７４２については、デ・コンポージング部（図６の５３）でサンプリングされた箇所、例えば１行目と３行目の画素をその真下のサンプリングされなかった箇所、例えば２行目と４行目にコピーすることによって補間を行う。この補間方法は当業者にはよく知られているから、ここでは詳述しない。

３．その他
上の実施形態では、送信機及び受信機をそれぞれ、複数の部分に分けて説明したが、この分類は単に説明を目的としただけのものである。例えば、実際の装置では、送信側の入力部における機能とダウン・サンプリング部における機能は、一度に実行されることが多い。つまり、カラー画像は一般には、特定の色成分のみを検出する複数の検知素子を配した検出器を用いて、当初からサンプリングされた状態で検出される。したがって、これらの分類方法は本願発明にとって重要ではない。また、コンピュータ・ソフトウェアとして提供される。

また、上の実施形態では、Ｇ成分をＧ１成分とＧ２成分の２つに、あるいは、Ｙ成分をＹ１成分とＹ２成分の２つに分割するものとして説明したが、必ずしも２つの分割する必要はなく、それ以上に分割してもよい。最終的に合成によって画像が得られれば十分である。

また、本発明では、ＲＧＢ成分とＹＵＶ成分の単成分画像データに関する実施形態だけを説明したが、色彩に関する情報を同様の単成分画像データで表現する場合には、本発明を同様に適用することが可能であろう。更に、本発明の重要な特徴は、色彩に関する単成分画像データを分割することにあり、本発明が、本発明の実施形態に記載された発明に限定されるものではない。

明らかなように、本発明による画像データの圧縮装置または復元装置は、これら両方の特徴を備えた１つの圧縮復元装置として構成することもできる。また、これら圧縮装置や復元装置、圧縮復元装置は、コンピュータを本発明による画像データの圧縮装置または復元装置、圧縮復元装置として動作させるプログラムとして実施されてもよい。

本発明の第一の実施形態によるＰＣの、画像の取り込み及び圧縮に係る構成を説明する図である。 ＪＰＥＧを用いた圧縮方法を示す概念図である。 本発明の第一の実施形態によるＰＣの、圧縮データの復元に係る構成を説明する図である。 本発明による圧縮装置の動作を説明するフローチャートである。 本発明による復元装置の動作を説明するフローチャートである。 本発明の第二の実施形態によるＰＣの、画像の取り込み及び圧縮に係る構成を説明する図である。 本発明の第二の実施形態によるＰＣの、圧縮データの復元に係る構成を説明する図である。

Claims (9)

1. 画像データの圧縮装置において、ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮装置。
2. 画像データの復元装置において、
   ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、
   前記圧縮画像データを圧縮解除することによって得られる前記ＹＵＶＧ２成分の４つの単成分画像データを前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記Ｒ成分と前記Ｂ成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記Ｇ１成分と前記Ｇ２成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データを前記ＲＧＢ成分の３つの単成分画像データに変換した後に復元を行うことを特徴とする復元装置。
3. 前記移動の方法は前記圧縮装置との間で予め取り決められている請求項１に記載の圧縮装置。
4. 前記移動の方法は前記圧縮装置に前記復元装置の側からデータを用いて伝えられる請求項２に記載の復元装置。
5. 前記圧縮のためにＪＰＥＧ又はＪＰＥＧ２０００を用いる請求項１に記載の圧縮装置。
6. 前記復元のためにＪＰＥＧ又はＪＰＥＧ２０００を用いる請求項２に記載の復元装置。
7. 請求項１又は２に記載された圧縮装置又は復元装置としてコンピュータを機能させることを特徴とする圧縮又は復元プログラム。
8. 画像データの圧縮方法において、
   ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、
   前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動さ せて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、
   前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行うことを特徴とする圧縮方法。
9. 画像データの復元方法において、ＲＧＢ成分の３つの単成分画像データのそれぞれにおいて各々が個々の色情報を有し且つ水平及び垂直方向に配列された複数の画素の中から所定のサンプリングを行うことによって得られた画素を、前記Ｒ成分と前記Ｂ成分の単成分画像データについてはサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合し、前記Ｇ成分の単成分画像データについては水平及び垂直方向において互いに均等に離れた画素同士が同じ成分となるようにＧ１成分とＧ２成分の２つの単成分画像データに分割するとともにサンプリングされなかった画素を排してそれらを水平及び垂直方向に移動させて互いに結合して、前記ＲＧＢ成分の３つの単成分画像データをＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、前記変換されたＲＧ１Ｇ２Ｂ成分の４つの単成分画像データをＹＵＶＧ２成分の４つの単成分画像データに変換した後に圧縮を行う画像データの圧縮装置によって得られた、圧縮画像データに関し、
   前記圧縮画像データを圧縮解除することによって得られる前記ＹＵＶＧ２成分の４つの単成分画像データを前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データに変換し、
   前記Ｒ成分と前記Ｂ成分の単成分画像データについては、前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻し、前記Ｇ１成分と前記Ｇ２成分の単成分画像データについては、それらの単成分画像データを合体させるとともに前記サンプリングを行うことによって得られた画素を水平及び垂直方向に移動させて元の位置に戻して、前記ＲＧ１Ｇ２Ｂ成分の４つの単成分画像データを前記ＲＧＢ成分の３つの単成分画像データに変換した後に復元を行うことを特徴とする復元方法。

Images