JP3747916B2 - Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 - Google Patents
Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 Download PDFInfo
- Publication number
- JP3747916B2 JP3747916B2 JP2003087926A JP2003087926A JP3747916B2 JP 3747916 B2 JP3747916 B2 JP 3747916B2 JP 2003087926 A JP2003087926 A JP 2003087926A JP 2003087926 A JP2003087926 A JP 2003087926A JP 3747916 B2 JP3747916 B2 JP 3747916B2
- Authority
- JP
- Japan
- Prior art keywords
- jpeg2000
- data
- xml
- decoding
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/32—Image data format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＪＰＥＧ２０００符号化装置，復号化装置，符号化方法及び復号化方法に関する。
【０００２】
【従来の技術】
現在の通信環境のもとでは、比較的大容量の画像データを受信する場合、受信を完了するまでに、多くの時間を要することがある。これに対処する技術として、従来、送信側では、画像データの圧縮符号化時に画像データを階層的に符号化し、他方、受信側では、各階層の符号化データを受信する度に復号化を行い再生することにより、早い段階で、画像の大まかな内容を認識できるようにするものが知られている（例えば特許文献１）。
【０００３】
【特許文献１】
特開２００１−２１８２０８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術において、受信の早期段階で得られる画像は、通常、解像度が低く、このため、画像に含まれる画像領域の概要を把握することはできるものの、それに含まれる文字領域内の文字の可読性については十分ではない場合が多い。良好な文字の可読性を確保するには、符号化データの受信及び復号化を継続することで画像の解像度を上げればよいが、この場合には、時間がかかり、また、受信側でメモリ等の資源を多く要することとなる。
【０００５】
また、従来では、受信側で、送信側から送られてくるデータに基づく複数の画像から、オブジェクト判別により識別される画像内の各領域（すなわち画像領域又は文字領域）を抽出して、抽出した画像領域又は文字領域を一画面上にインデックス表示する技術が知られている。この技術では、通常、送信側から送られてくる複数の符号化データが全て復号化され、画像データに変換された上で、画像から各領域が抽出されるが、この場合には、受信側で、複数の画像データを開くためのメモリが必要となり、また、その処理制御が複雑になることから、インデックス表示が得られるまでに多くの時間を要するという問題があった。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特にＪＰＥＧ２０００方式で処理される画像データの送受信に際して、処理時間の短縮化及び受信側でのメモリ等の資源の節約を実現し得るＪＰＥＧ２０００符号化装置，復号化装置，符号化方法及び復号化方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、上記画像データに含まれるオブジェクト毎に規定される領域を、オブジェクトの種類について判別する領域判別手段と、該領域判別手段により文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加手段と、を有していることを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、ＪＰＥＧ２０００ファイルを復号化して画像データに変換するＪＰＥＧ２０００復号化手段と、該ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むＸＭＬｂｏｘ読込み手段と、該ＸＭＬｂｏｘ読込み手段によりＸＭＬｂｏｘが読み込まれた場合に、該ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するＸＭＬデータ処理手段と、を有していることを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、上記請求項２に係る発明において、上記ＸＭＬデータ処理手段により取得されたテキストデータを、上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に表示することを特徴としたものである。
【００１０】
また、更に、本願の請求項４に係る発明は、上記請求項２又は３に係る発明において、上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むか否かを、ユーザに選択させる選択手段を有しており、該選択手段を介してＸＭＬｂｏｘを読み込むことが選択された場合、該ＸＭＬｂｏｘが読み込まれることを特徴としたものである。
【００１１】
また、更に、本願の請求項５に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化方法において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するステップと、上記画像データに含まれるオブジェクト毎に規定される領域を、該オブジェクトの種類について判別するステップと、上記判別ステップにより文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するステップと、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するステップと、を有していることを特徴としたものである。
【００１２】
また、更に、本願の請求項６に係る発明は、上記請求項１記載のＪＰＥＧ２０００符号化方法により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化方法において、上記ＪＰＥＧ２０００ファイルを復号化して、画像データに変換するステップと、上記ＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むステップと、読み込まれた上記ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するステップと、を有していることを特徴としたものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る多機能複合機及び端末機器から構成されたネットワークシステムを概略的に示す図である。このネットワークシステム１は、プリンタ，ファクス，コピー，スキャナ等の多機能を備えた多機能複合機（Multiple Function Peripheral：以下、ＭＦＰと略記）１０と、パーソナルコンピュータ等の複数の端末機器２０とを有している。各機器は、データ送受信可能に、ネットワークバス２を介して互いに接続されている。このネットワークシステム１では、例えば、端末機器２０からＭＦＰ１０へ情報データ（画像データを含む）を送信してプリントしたり、ＭＦＰ１０のスキャナ１１（図２参照）で原稿を読み取ることにより情報データを取得し、これを端末機器２０へ送信して保存したりすることが可能である。
【００１４】
また、このネットワークシステム１は、ネットワークバス２を介して、インターネット９０に接続されてもよい。この場合、ＭＦＰ１０は、必要に応じて、例えば他のネットワーク上にある遠隔の端末機器からの情報データを、インターネット９０経由で受信し、プリントすることも可能である。
【００１５】
図２は、ＭＦＰ１０の基本構成を概略的に示すブロック図である。このＭＦＰ１０は、その基本構成として、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、ＭＦＰ１０内の各構成を制御するＣＰＵ３と、ビットマップ形式等のフォーマット形式の画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化部４と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）６と、ユーザが各種の入力設定を実行する操作部７と、上記のオペレーティングシステム等を格納するＲＯＭ８と、ＪＰＥＧ２０００符号化部４により取得された符号化データ等のデータを一時的に保存するためのＲＡＭ９と、原稿を読み取りビットマップ形式の画像データを取得するスキャナ１１と、を有している。ＪＰＥＧ２０００符号化部４には、ウェーブレット変換処理時に使用するウェーブレット変換専用のメモリ４ａが接続されている。これら各構成は、データ送受信可能に、バス１９等によって互いに接続されている。
【００１６】
一方、図３は、端末機器２０の内部構成を概略的に示す図である。この端末機器２０は、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、端末機器２０内の各構成を制御するＣＰＵ２１と、例えば外部から受信したＪＰＥＧ２０００ファイルに対して復号化処理を実行するＪＰＥＧ２０００復号化部２２と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）２３と、キーボード，マウス等の各種設定入力を行うための入力部２４と、ハードディスクドライブ（図中では「ＨＤＤ」と表記）２５と、各処理に際してデータを一時的に保存するためのＲＡＭ２６と、上記のオペレーティングシステム等を格納するＲＯＭ２７と、端末機器２０における画像等の処理情報を表示する表示部２８と、を有している。
【００１７】
本実施の形態１では、ＭＦＰ１０側で作成される符号化データが端末機器２０へ送信され、端末機器２０側で復号化され表示される送受信に際して、画像に対応するデータとともにＸＭＬ（eXtensible Markup Language）データを格納するＸＭＬｂｏｘを含み得るＪＰＥＧ２０００ファイルの周知の特徴を利用して、処理時間の短縮化及び端末機器２０側でのメモリの使用抑制を図る処理が実行される。
【００１８】
この処理を実行するために、ＭＦＰ１０は、図２から分かるように、上記の基本構成に加えて、ＪＰＥＧ２０００符号化部によるＪＰＥＧ２０００ファイルの作成時に、ファイルを構成する領域の種類を判別する領域判別部１２と、該領域判別部１２により判別された領域に含まれる情報に基づき、ＸＭＬデータを作成するためのＸＭＬデータ作成部１３と、ＪＰＥＧ２０００ファイルに対してＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加部１４と、を有している。
【００１９】
図４は、かかる構成を用いて、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ３０が取得されると、ＪＰＥＧ２０００符号化部４により、解像度プログレッシブ方式で画像データの符号化処理が行われる。「解像度プログレッシブ方式」とは、取得されたＪＰＥＧ２０００ファイルを構成するデータが、低解像度に対応する符号化データから配列される方式である。かかる解像度プログレッシブ方式で配列されてなる符号化データが端末機器２０側で受信され表示される場合には、低解像度の画像から次第に鮮明になるように表示が行われる。
【００２０】
また、ＭＦＰ１０では、画像データ３０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ３０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図４に示す画像データ３０は、第１の画像領域３１，第２の画像領域３２，文字領域３３を含むデータとして認識される。続いて、文字領域３３に対して、ＸＭＬデータ作成部１３により文字認識処理（ＯＣＲ処理）が実行され、テキストデータ３４が作成される。その後、テキストデータ３４はＸＭＬ化される。
【００２１】
更に、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化処理後のデータが低解像度から順に配列されてなるビットストリーム（以下、ＪＰＥＧ２０００ビットストリームという）に対して、所定のウェーブレット分解レベル後にすなわち所定解像度に対応するデータの後に挿入するように、ＸＭＬｂｏｘ３６が付加される。そして、このＸＭＬｂｏｘ３６に対して、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータが格納される。図４では、符号３５が、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例をあらわす。また、符号３５ａが、ＸＭＬｂｏｘ３５よりも上位に位置し、比較的低解像度の画像に対応する符号化データをあらわし、更に、符号３５ｂが、ＸＭＬｂｏｘ３５よりも下位に位置し、より高解像度の画像に対応する符号化データをあらわす。
以上の処理により、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが作成される。
【００２２】
図５には、前述したようにＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理は、ＲＯＭ８に記憶されているプログラムに従って、ＣＰＵ３により実行される。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ４１）、解像度プログレッシブ方式でＪＰＥＧ２０００符号化処理を開始する（ステップＳ４２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ４３）。
【００２３】
ステップＳ４３の後、そのステップでの領域判別結果に基づき、画像データ中に文字領域が存在するか否かを判断する（ステップＳ４４）。この結果、文字領域が存在しないと判断された場合には、文字の可読性について配慮する必要がないので、ステップＳ４９へ進み、符号化後のデータのみから構成されるＪＰＥＧ２０００ファイルが取得される。
【００２４】
他方、ステップＳ４４で、文字領域が存在すると判断された場合には、引き続き、ＯＣＲ処理を実行することにより、テキストデータを取得し（ステップＳ４５）、更に、そのテキストデータをＸＭＬ化する（ステップＳ４６）。その後、ＪＰＥＧ２０００符号化後のデータの所定位置にＸＭＬｂｏｘ３６を付加する（ステップＳ４７）。続いて、ステップＳ４６で作成されたＸＭＬデータを、ＸＭＬｂｏｘ３６に格納する（ステップＳ４８）。その結果、ＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ４９）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００２５】
なお、このフローチャートでは、ステップＳ４２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ４３〜４８のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００２６】
図６は、端末機器２０側で、前述したようなＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが受信された場合に実行される復号化処理の流れを示す説明図である。この復号化処理に際しては、端末機器２０側で、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに基づく画像を表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、ＸＭＬデータの読み込み，復号化処理の継続等の各種の指示を出すことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００２７】
ＪＰＥＧ２０００ファイルは、符号化データ３５ａ（図４参照）のうちの上位にあるすなわち低解像度側の符号データから順次送信されるが、この符号データが端末機器２０側で受信されると、データが順次自動的に復号化される。その結果、比較的低解像度の画像４０が取得され、る。その後、端末機器２０の表示部２８には、画像４０とともに、ＸＭＬｂｏｘ３６を読み込むか若しくは読み飛ばすかをユーザに選択させるべく、「ＸＭＬデータを読み込みますか？」というメッセージと「ＹＥＳ」及び「ＮＯ」の選択ボタンとを備えた選択画面４１が表示される。ここで、ユーザが「ＮＯ」を選択すると、ＸＭＬｂｏｘ３６が飛ばされ、引き続き、より高解像度の画像に対応する符号化データ３５ｂ（図４参照）が受信されて、復号化処理が継続される。
【００２８】
他方、ユーザが「ＹＥＳ」を選択すると、引き続き、次の選択画面４２が表示部２８に表示される。この選択画面４２には、項目「テキストデータを表示」，「解像度を上げる」，「処理終了」が表示され、ユーザは、そのうちのいずれかを選択することができる。
【００２９】
この選択画面４２において、ユーザが「テキストデータを表示」を選択すると、ＸＭＬｂｏｘ３６内に格納されたＸＭＬデータが読み込まれ、ブラウザが起動させられる。そして、端末機器２０の表示部２８には、図７に示すように、読み込まれたＸＭＬデータが変換されてなるテキストデータ４４が、低解像度の画像４０とともに、ブラウザを介して表示される。図７に示す符号４３は、表示部２８の表示画面を示す。このように、表示部２８に表示される画像４０自体が低解像度である段階で、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータ４４を表示することで、元の画像データ３０（図４参照）に含まれる文字領域３３内の文字の可読性を、受信の比較的早い段階で確保することができる。なお、ブラウザは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて読み出される。
【００３０】
また、ユーザが項目「解像度を上げる」を選択すると、引き続き、より高解像度の画像に対応するデータが受信されて、復号化処理が継続される。更に、ユーザが項目「処理終了」を選択すると、それ以上の復号処理が実行されずに、処理が終了される。
【００３１】
図８には、前述したように端末機器２０で実行されるＪＰＥＧ２０００ファイルの復号処理についてのフローチャートを示す。ＭＦＰ１０からのＪＰＥＧ２０００ファイルの受信が開始されると（ステップＳ５１）、端末機器２０は、受信されたデータを、順次復号化する。この受信及び復号化は、ＪＰＥＧ２０００ビットストリームに含まれるＸＭＬｂｏｘ３６の前にある比較的低解像度の画像に対応するデータについて行われる（ステップＳ５２）。そして、符号化されたデータに基づき、表示部２８には、低解像度の画像を表示する（ステップＳ５３）。
【００３２】
続いて、ＸＭＬｂｏｘ３６を読み込むか否かを判定する（ステップＳ５４）。この結果、ユーザにより読み込まないと指示された場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータ（図４参照）を受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
【００３３】
他方、ステップＳ５４において、ユーザによりＸＭＬｂｏｘ３６を読み込むと指定された場合には、引き続き、ユーザの指示の種類を判定する。すなわち、ユーザが、テキストデータ表示，解像度ＵＰ，処理の終了のいずれを指示したかを判定する。この結果、ユーザによりテキストデータの表示が指定されたと判定した場合には、表示部２８において、低解像度の画像とともに、テキストデータをブラウザに表示する（ステップＳ５７）。
【００３４】
また、ステップＳ５５において、ユーザにより解像度ＵＰが指定されたと判定した場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータを受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
更に、ステップＳ５５において、ユーザにより処理終了が指定されたと判定した場合、即座に処理が終了する。
【００３５】
なお、参考までに、画像データが所定サイズで規定されるタイル毎にウェーブレット分解レベル３で符号化された場合には、符号化後のデータは、図９に示すような高周波成分及び低周波成分からなるサブバンドに分解された状態となる。この図で、ＬＬは、水平・垂直低周波成分，ＬＨは、水平低周波成分・垂直高周波成分，ＨＬは、水平高周波成分・垂直低周波成分，ＨＨは、水平・垂直高周波成分をあらわす。各表記に付された数字が小さいほど、より低解像度の画像に対応するデータをあらわす。
【００３６】
また、図１０には、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例を示す図である。このＪＰＥＧ２０００ビットストリームでは、ウェーブレット分解レベル２（ＨＬ２，ＬＨ２，ＨＨ２）の後にＸＭＬｂｏｘ３６が付加されている。かかるＪＰＥＧ２０００ビットストリームの復号化処理に際して、端末機器２０では、まず、ビットストリームにおいてＸＭＬｂｏｘ３６の前にあるＬＬ〜ＨＨ２の符号化データが受信され、自動的に復号化される。その後、必要に応じて、ＸＭＬｂｏｘ３６が読み込まれる。更に、表示部２８に表示される画像４０の解像度を上げるには、ＸＭＬｂｏｘ３６の後にあるＨＬ３〜ＨＨ３の符号化データが順次受信され復号化される。
【００３７】
以上の説明から明らかなように、本実施の形態１によれば、端末機器２０側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データ３０に含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、端末機器２０側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＭＦＰ１０側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、端末機器２０側でのメモリの節約が可能である。
【００３８】
実施の形態２．
前述した実施の形態１では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での受信の早期段階で、元の画像データに含まれる文字の可読性を確保することが行われたが、この実施の形態２では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での迅速なインデックス表示を可能とする。
【００３９】
図１１は、本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ５０が取得されると、ＪＰＥＧ２０００符号化部４により、符号化処理の基本単位であるタイル毎に、ＪＰＥＧ２０００符号化処理が行われる。
【００４０】
また、ＭＦＰ１０では、画像データ５０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ５０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図１１に示す画像データ５０は、画像領域５１，文字領域５２を含むデータとして認識される。続いて、画像データ５０中の各領域５１，５２について、その位置情報をあらわすデータ（以下、位置情報データという）５３が作成される。ここでは、図１１に示されるように、各領域が矩形状に設定され、その位置情報が、それら領域の１対角線上にある頂点のタイル座標であらわされている。具体的には、文字領域５２のタイル座標が、Ｔ（ｘ１，ｙ１）−Ｔ（ｘ２，ｙ２）で、また、画像領域５１のタイル座標が、Ｔ（ｘ３，ｙ３）−Ｔ（ｘ４，ｙ４）であらわされている。
【００４１】
その後、位置情報データ５３がＸＭＬ化される。続いて、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化後のデータが所定の順に配列されてなるＪＰＥＧ２０００ビットストリーム５４における所定位置（この実施の形態２では末尾）に、ＸＭＬｂｏｘ５５が付加される。そして、このＸＭＬｂｏｘ５５に対して、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータが格納される。
以上の処理により、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルが作成される。
【００４２】
図１２には、本実施の形態２に係る、ＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ６１）、ＪＰＥＧ２０００符号化処理を開始する（ステップＳ６２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ６３）。
【００４３】
その後、ステップＳ６３で判別した各領域の位置をあらわす位置情報を作成し、位置情報データを取得する（ステップＳ６４）。更に、その位置情報データをＸＭＬ化する（ステップＳ６５）。次に、ＪＰＥＧ２０００符号化後のデータに対して、ＸＭＬｂｏｘ５５を付加する（ステップＳ６６）。そして、位置情報データがＸＭＬ化されてなるＸＭＬデータを、ＸＭＬｂｏｘ５５に格納する（ステップＳ６７）。これにより、位置情報データを格納したＸＭＬｂｏｘ５５が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ６８）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００４４】
なお、このフローチャートでは、ステップＳ６２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ６３〜Ｓ６７のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００４５】
図１３は、端末機器２０側で、前述したようなＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルを複数受信した上で、各ＪＰＥＧ２０００ファイルから所定の領域を抽出し、インデックス表示を行う処理の流れを示す説明図である。この処理に際して、端末機器２０側では、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに含まれる各領域を抽出してインデックス表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、インデックス表示の対象とする領域の設定等、各種の設定を行うことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００４６】
この実施の形態２では、各ＪＰＥＧ２０００ファイルが端末機器２０側で受信されても、自動的に復号化処理が行われず、ＪＰＥＧ２０００ファイルは、インデックス表示の指示があるまで待機させられる。図１３には、待機させられるＪＰＥＧ２０００ファイルが、ＪＰＥＧ２０００ビットストリーム５４，６４として示されている。各ＪＰＥＧ２０００ビットストリーム５４，６４の末尾には、ＸＭＬ化された位置情報データを格納したＸＭＬｂｏｘ５５，６５が付加されている。なお、ここでは、２つのＪＰＥＧ２０００ビットストリーム５４，６４のみを取り上げたが、ＪＰＥＧ２０００ビットストリームの数は、特に限定されるものでなく、また、これ以外のＪＰＥＧ２０００ビットストリームが存在した場合にも、ＪＰＥＧ２０００ビットストリーム５４，６４と同様の処理が施される。
【００４７】
各ＪＰＥＧ２０００ビットストリーム５４，６４から「画像領域」を抽出してインデックス表示を行う場合を例にして説明する。画像領域のインデックス表示を行うユーザの指示があれば、各ファイルに付加されたＸＭＬｂｏｘ５５，６５が参照され、各画像領域についての位置情報が取得される。
【００４８】
この位置情報に基づき、ＪＰＥＧ２０００ビットストリーム５４，６４中の画像領域を含むタイルに対応する符号データ（タイルデータ）５６，６６が特定される。各タイルデータ５６及び６６は、それぞれ、解像度の異なる符号データ５６ａ，５６ｂ，５６ｃ及び６６ａ，６６ｂ，６６ｃから構成されている。そして、この符号データ５６，６６から、インデックス表示に必要な解像度をもたらす符号データ、すなわち解像度の低い符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが抽出される。
【００４９】
その後、各ＪＰＥＧ２０００ビットストリーム５４，６４から抽出された符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、インデックス表示用に再構成されることにより、１つのインデックスファイルのビットストリーム７０が作成される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られる。なお、図１３では、符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、それぞれ、インデックス表示画像８０中の「飛行機」及び「魚」に対応する。
【００５０】
図１４は、インデックスファイルのビットストリーム７０に対して、更に、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。ここでは、図１３を参照して説明したように、各ＪＰＥＧ２０００ファイルから抽出された所定の領域に対応する符号データにより構成されるインデックスファイルのビットストリーム７０に、各領域の抽出元となる画像データを関連付けたＸＭＬｂｏｘ、すなわち、各領域の抽出元ファイルを特定可能な情報データ（例えばＵＲＬ等）を格納したＸＭＬｂｏｘ７５が付加される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られるとともに、この画像８０に含まれる各領域に対して、抽出元ファイルが関連付けられる。例えば、図１４から分かるように、左上の「飛行機」を示す画像領域をクリック等で選択すると、その領域の抽出元であるＪＰＥＧ２０００ファイルが復号化されて、元画像５０を表示することができる。
【００５１】
以上の説明から明らかなように、本実施の形態２によれば、端末機器２０側で、複数のＪＰＥＧ２０００ファイルから各領域を抽出してインデックス表示する場合に、各ファイルに付加されたＸＭＬｂｏｘに格納される位置情報に基づき、各領域に対応する符号データを抽出し、抽出した符号データからインデックスファイルを再構成した上で、これを復号化するので、ＭＦＰ１０から受信された複数のＪＰＥＧ２０００ファイルを全て符号化することなく、端末機器２０側でのメモリの節約が可能である。
【００５２】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば図２及び３では、ＭＦＰ１０及び端末機器２０における全構成をハードウェアとして図示しているが、これに限定されることなく、ＪＰＥＧ２０００符号化部４，領域判別部１２，ＸＭＬデータ作成部１３及びＸＭＬｂｏｘ付加部１４，ＪＰＥＧ２０００復号化部２２等の構成については、ソフトウェアとして構成されることも可能である。
また、前述した実施の形態では、解像度による階層符号化の例を示したが、本発明は、画質（レイヤ）による階層符号化についても同様に適用できる。
【００５３】
【発明の効果】
本願の請求項１に係る発明によれば、ＪＰＥＧ２０００符号化装置側で、ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、テキストデータに対応するＸＭＬデータを格納したＸＭＬｂｏｘを付加することで、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、テキストデータに対応したＸＭＬデータが読み込まれ、これにより、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができ、また、ＪＰＥＧ２０００復号化装置側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となる。更に、この場合には、ＪＰＥＧ２０００符号化装置側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
また、本願の請求項２に係る発明によれば、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に付加されるＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、ＪＰＥＧ２０００復号化装置側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＪＰＥＧ２０００符号化装置側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
また、更に、本願の請求項３に係る発明によれば、テキストデータが上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に表示されることで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。
また、更に、本願の請求項４に係る発明によれば、ＪＰＥＧ２０００ファイルの復号化に際して、テキストデータに対応したＸＭＬデータの読込みをユーザに選択させることが可能となる。
【００５４】
また、更に、本願の請求項５に係る発明によれば、ＪＰＥＧ２０００符号化に際して、ＪＰＥＧ２０００ファイルを構成するビットストリームに対し、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、テキストデータに対応するＸＭＬデータを格納したＸＭＬｂｏｘを付加することで、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、テキストデータに対応したＸＭＬデータが読み込まれ、これにより、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができ、また、ＪＰＥＧ２０００復号化に際してユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となる。更に、この場合には、ＪＰＥＧ２０００符号化に際して作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化に際したメモリの節約が可能である。
また、更に、本願の請求項６に係る発明によれば、ＪＰＥＧ２０００復号化に際して、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に付加されるＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、ＪＰＥＧ２０００復号化時に、ユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＪＰＥＧ２０００符号化時に作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化に際したメモリの節約が可能である。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係るＭＦＰ及び端末機器から構成されたネットワークシステムを概略的に示す図である。
【図２】 上記ＭＦＰの基本構成を概略的に示すブロック図である。
【図３】 上記端末機器の基本構成を概略的に示すブロック図である。
【図４】 上記ＭＦＰ側で、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図５】 ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図６】 上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理の流れを示す説明図である。
【図７】 上記端末機器側で、低解像度画像とともにテキストデータが表示されている状態をあらわす図である。
【図８】 上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理についてのフローチャートである。
【図９】 ウェーブレット分解レベル３で符号化された画像データを、サブバンドに分解して示す図である。
【図１０】 ウェーブレット分解レベル２の符号化データの後に、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ビットストリームの構成を示す図である。
【図１１】 本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図１２】 上記実施の形態２に係る、ＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図１３】 ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを端末機器側で複数受信した上で、各ＪＰＥＧ２０００ファイルの所定の領域を抽出して、インデックス表示を行う処理の流れを示す説明図である。
【図１４】 インデックスファイルのビットストリームに対して、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。
【符号の説明】
１…ネットワークシステム
３…ＣＰＵ
４…ＪＰＥＧ２０００符号化部
１０…多機能複合機
１２…領域判別部
１３…ＸＭＬデータ作成部
１４…ＸＭＬｂｏｘ付加部
２０…端末機器
２１…ＣＰＵ
２２…ＪＰＥＧ２０００復号化部
３０…元の画像データ
３１，３２…画像領域
３３…文字領域
３５…ＪＰＥＧ２０００ビットストリーム
３６…ＸＭＬｂｏｘ
４０…画像
４４…テキストデータ
５３…位置情報データ
８０…インデックス表示画像
【発明の属する技術分野】
本発明は、ＪＰＥＧ２０００符号化装置，復号化装置，符号化方法及び復号化方法に関する。
【０００２】
【従来の技術】
現在の通信環境のもとでは、比較的大容量の画像データを受信する場合、受信を完了するまでに、多くの時間を要することがある。これに対処する技術として、従来、送信側では、画像データの圧縮符号化時に画像データを階層的に符号化し、他方、受信側では、各階層の符号化データを受信する度に復号化を行い再生することにより、早い段階で、画像の大まかな内容を認識できるようにするものが知られている（例えば特許文献１）。
【０００３】
【特許文献１】
特開２００１−２１８２０８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術において、受信の早期段階で得られる画像は、通常、解像度が低く、このため、画像に含まれる画像領域の概要を把握することはできるものの、それに含まれる文字領域内の文字の可読性については十分ではない場合が多い。良好な文字の可読性を確保するには、符号化データの受信及び復号化を継続することで画像の解像度を上げればよいが、この場合には、時間がかかり、また、受信側でメモリ等の資源を多く要することとなる。
【０００５】
また、従来では、受信側で、送信側から送られてくるデータに基づく複数の画像から、オブジェクト判別により識別される画像内の各領域（すなわち画像領域又は文字領域）を抽出して、抽出した画像領域又は文字領域を一画面上にインデックス表示する技術が知られている。この技術では、通常、送信側から送られてくる複数の符号化データが全て復号化され、画像データに変換された上で、画像から各領域が抽出されるが、この場合には、受信側で、複数の画像データを開くためのメモリが必要となり、また、その処理制御が複雑になることから、インデックス表示が得られるまでに多くの時間を要するという問題があった。
【０００６】
本発明は、上記技術的課題に鑑みてなされたもので、特にＪＰＥＧ２０００方式で処理される画像データの送受信に際して、処理時間の短縮化及び受信側でのメモリ等の資源の節約を実現し得るＪＰＥＧ２０００符号化装置，復号化装置，符号化方法及び復号化方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本願の請求項１に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、上記画像データに含まれるオブジェクト毎に規定される領域を、オブジェクトの種類について判別する領域判別手段と、該領域判別手段により文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加手段と、を有していることを特徴としたものである。
【０００８】
また、本願の請求項２に係る発明は、上記請求項１記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、ＪＰＥＧ２０００ファイルを復号化して画像データに変換するＪＰＥＧ２０００復号化手段と、該ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むＸＭＬｂｏｘ読込み手段と、該ＸＭＬｂｏｘ読込み手段によりＸＭＬｂｏｘが読み込まれた場合に、該ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するＸＭＬデータ処理手段と、を有していることを特徴としたものである。
【０００９】
更に、本願の請求項３に係る発明は、上記請求項２に係る発明において、上記ＸＭＬデータ処理手段により取得されたテキストデータを、上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に表示することを特徴としたものである。
【００１０】
また、更に、本願の請求項４に係る発明は、上記請求項２又は３に係る発明において、上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むか否かを、ユーザに選択させる選択手段を有しており、該選択手段を介してＸＭＬｂｏｘを読み込むことが選択された場合、該ＸＭＬｂｏｘが読み込まれることを特徴としたものである。
【００１１】
また、更に、本願の請求項５に係る発明は、ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化方法において、画像データを符号化してＪＰＥＧ２０００ファイルに変換するステップと、上記画像データに含まれるオブジェクト毎に規定される領域を、該オブジェクトの種類について判別するステップと、上記判別ステップにより文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するステップと、上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するステップと、を有していることを特徴としたものである。
【００１２】
また、更に、本願の請求項６に係る発明は、上記請求項１記載のＪＰＥＧ２０００符号化方法により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化方法において、上記ＪＰＥＧ２０００ファイルを復号化して、画像データに変換するステップと、上記ＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘを読み込むステップと、読み込まれた上記ＸＭＬｂｏｘに格納されるＸＭＬデータを処理して、テキストデータを取得するステップと、を有していることを特徴としたものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照しながら説明する。
実施の形態１．
図１は、本発明の実施の形態１に係る多機能複合機及び端末機器から構成されたネットワークシステムを概略的に示す図である。このネットワークシステム１は、プリンタ，ファクス，コピー，スキャナ等の多機能を備えた多機能複合機（Multiple Function Peripheral：以下、ＭＦＰと略記）１０と、パーソナルコンピュータ等の複数の端末機器２０とを有している。各機器は、データ送受信可能に、ネットワークバス２を介して互いに接続されている。このネットワークシステム１では、例えば、端末機器２０からＭＦＰ１０へ情報データ（画像データを含む）を送信してプリントしたり、ＭＦＰ１０のスキャナ１１（図２参照）で原稿を読み取ることにより情報データを取得し、これを端末機器２０へ送信して保存したりすることが可能である。
【００１４】
また、このネットワークシステム１は、ネットワークバス２を介して、インターネット９０に接続されてもよい。この場合、ＭＦＰ１０は、必要に応じて、例えば他のネットワーク上にある遠隔の端末機器からの情報データを、インターネット９０経由で受信し、プリントすることも可能である。
【００１５】
図２は、ＭＦＰ１０の基本構成を概略的に示すブロック図である。このＭＦＰ１０は、その基本構成として、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、ＭＦＰ１０内の各構成を制御するＣＰＵ３と、ビットマップ形式等のフォーマット形式の画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化部４と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）６と、ユーザが各種の入力設定を実行する操作部７と、上記のオペレーティングシステム等を格納するＲＯＭ８と、ＪＰＥＧ２０００符号化部４により取得された符号化データ等のデータを一時的に保存するためのＲＡＭ９と、原稿を読み取りビットマップ形式の画像データを取得するスキャナ１１と、を有している。ＪＰＥＧ２０００符号化部４には、ウェーブレット変換処理時に使用するウェーブレット変換専用のメモリ４ａが接続されている。これら各構成は、データ送受信可能に、バス１９等によって互いに接続されている。
【００１６】
一方、図３は、端末機器２０の内部構成を概略的に示す図である。この端末機器２０は、所定のオペレーティングプログラムに基づき各種の命令を実行させるなどして、端末機器２０内の各構成を制御するＣＰＵ２１と、例えば外部から受信したＪＰＥＧ２０００ファイルに対して復号化処理を実行するＪＰＥＧ２０００復号化部２２と、データ入出力ポートとして、ネットワークシステム１（図１参照）上の外部機器に接続するネットワークインターフェースカード（図中では「ＮＩＣ」と表記）２３と、キーボード，マウス等の各種設定入力を行うための入力部２４と、ハードディスクドライブ（図中では「ＨＤＤ」と表記）２５と、各処理に際してデータを一時的に保存するためのＲＡＭ２６と、上記のオペレーティングシステム等を格納するＲＯＭ２７と、端末機器２０における画像等の処理情報を表示する表示部２８と、を有している。
【００１７】
本実施の形態１では、ＭＦＰ１０側で作成される符号化データが端末機器２０へ送信され、端末機器２０側で復号化され表示される送受信に際して、画像に対応するデータとともにＸＭＬ（eXtensible Markup Language）データを格納するＸＭＬｂｏｘを含み得るＪＰＥＧ２０００ファイルの周知の特徴を利用して、処理時間の短縮化及び端末機器２０側でのメモリの使用抑制を図る処理が実行される。
【００１８】
この処理を実行するために、ＭＦＰ１０は、図２から分かるように、上記の基本構成に加えて、ＪＰＥＧ２０００符号化部によるＪＰＥＧ２０００ファイルの作成時に、ファイルを構成する領域の種類を判別する領域判別部１２と、該領域判別部１２により判別された領域に含まれる情報に基づき、ＸＭＬデータを作成するためのＸＭＬデータ作成部１３と、ＪＰＥＧ２０００ファイルに対してＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加部１４と、を有している。
【００１９】
図４は、かかる構成を用いて、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ３０が取得されると、ＪＰＥＧ２０００符号化部４により、解像度プログレッシブ方式で画像データの符号化処理が行われる。「解像度プログレッシブ方式」とは、取得されたＪＰＥＧ２０００ファイルを構成するデータが、低解像度に対応する符号化データから配列される方式である。かかる解像度プログレッシブ方式で配列されてなる符号化データが端末機器２０側で受信され表示される場合には、低解像度の画像から次第に鮮明になるように表示が行われる。
【００２０】
また、ＭＦＰ１０では、画像データ３０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ３０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図４に示す画像データ３０は、第１の画像領域３１，第２の画像領域３２，文字領域３３を含むデータとして認識される。続いて、文字領域３３に対して、ＸＭＬデータ作成部１３により文字認識処理（ＯＣＲ処理）が実行され、テキストデータ３４が作成される。その後、テキストデータ３４はＸＭＬ化される。
【００２１】
更に、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化処理後のデータが低解像度から順に配列されてなるビットストリーム（以下、ＪＰＥＧ２０００ビットストリームという）に対して、所定のウェーブレット分解レベル後にすなわち所定解像度に対応するデータの後に挿入するように、ＸＭＬｂｏｘ３６が付加される。そして、このＸＭＬｂｏｘ３６に対して、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータが格納される。図４では、符号３５が、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例をあらわす。また、符号３５ａが、ＸＭＬｂｏｘ３５よりも上位に位置し、比較的低解像度の画像に対応する符号化データをあらわし、更に、符号３５ｂが、ＸＭＬｂｏｘ３５よりも下位に位置し、より高解像度の画像に対応する符号化データをあらわす。
以上の処理により、テキストデータ３４がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが作成される。
【００２２】
図５には、前述したようにＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理は、ＲＯＭ８に記憶されているプログラムに従って、ＣＰＵ３により実行される。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ４１）、解像度プログレッシブ方式でＪＰＥＧ２０００符号化処理を開始する（ステップＳ４２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ４３）。
【００２３】
ステップＳ４３の後、そのステップでの領域判別結果に基づき、画像データ中に文字領域が存在するか否かを判断する（ステップＳ４４）。この結果、文字領域が存在しないと判断された場合には、文字の可読性について配慮する必要がないので、ステップＳ４９へ進み、符号化後のデータのみから構成されるＪＰＥＧ２０００ファイルが取得される。
【００２４】
他方、ステップＳ４４で、文字領域が存在すると判断された場合には、引き続き、ＯＣＲ処理を実行することにより、テキストデータを取得し（ステップＳ４５）、更に、そのテキストデータをＸＭＬ化する（ステップＳ４６）。その後、ＪＰＥＧ２０００符号化後のデータの所定位置にＸＭＬｂｏｘ３６を付加する（ステップＳ４７）。続いて、ステップＳ４６で作成されたＸＭＬデータを、ＸＭＬｂｏｘ３６に格納する（ステップＳ４８）。その結果、ＸＭＬデータを格納するＸＭＬｂｏｘ３６が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ４９）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００２５】
なお、このフローチャートでは、ステップＳ４２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ４３〜４８のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００２６】
図６は、端末機器２０側で、前述したようなＸＭＬｂｏｘ３６が付加されたＪＰＥＧ２０００ファイルが受信された場合に実行される復号化処理の流れを示す説明図である。この復号化処理に際しては、端末機器２０側で、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに基づく画像を表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、ＸＭＬデータの読み込み，復号化処理の継続等の各種の指示を出すことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００２７】
ＪＰＥＧ２０００ファイルは、符号化データ３５ａ（図４参照）のうちの上位にあるすなわち低解像度側の符号データから順次送信されるが、この符号データが端末機器２０側で受信されると、データが順次自動的に復号化される。その結果、比較的低解像度の画像４０が取得され、る。その後、端末機器２０の表示部２８には、画像４０とともに、ＸＭＬｂｏｘ３６を読み込むか若しくは読み飛ばすかをユーザに選択させるべく、「ＸＭＬデータを読み込みますか？」というメッセージと「ＹＥＳ」及び「ＮＯ」の選択ボタンとを備えた選択画面４１が表示される。ここで、ユーザが「ＮＯ」を選択すると、ＸＭＬｂｏｘ３６が飛ばされ、引き続き、より高解像度の画像に対応する符号化データ３５ｂ（図４参照）が受信されて、復号化処理が継続される。
【００２８】
他方、ユーザが「ＹＥＳ」を選択すると、引き続き、次の選択画面４２が表示部２８に表示される。この選択画面４２には、項目「テキストデータを表示」，「解像度を上げる」，「処理終了」が表示され、ユーザは、そのうちのいずれかを選択することができる。
【００２９】
この選択画面４２において、ユーザが「テキストデータを表示」を選択すると、ＸＭＬｂｏｘ３６内に格納されたＸＭＬデータが読み込まれ、ブラウザが起動させられる。そして、端末機器２０の表示部２８には、図７に示すように、読み込まれたＸＭＬデータが変換されてなるテキストデータ４４が、低解像度の画像４０とともに、ブラウザを介して表示される。図７に示す符号４３は、表示部２８の表示画面を示す。このように、表示部２８に表示される画像４０自体が低解像度である段階で、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータ４４を表示することで、元の画像データ３０（図４参照）に含まれる文字領域３３内の文字の可読性を、受信の比較的早い段階で確保することができる。なお、ブラウザは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて読み出される。
【００３０】
また、ユーザが項目「解像度を上げる」を選択すると、引き続き、より高解像度の画像に対応するデータが受信されて、復号化処理が継続される。更に、ユーザが項目「処理終了」を選択すると、それ以上の復号処理が実行されずに、処理が終了される。
【００３１】
図８には、前述したように端末機器２０で実行されるＪＰＥＧ２０００ファイルの復号処理についてのフローチャートを示す。ＭＦＰ１０からのＪＰＥＧ２０００ファイルの受信が開始されると（ステップＳ５１）、端末機器２０は、受信されたデータを、順次復号化する。この受信及び復号化は、ＪＰＥＧ２０００ビットストリームに含まれるＸＭＬｂｏｘ３６の前にある比較的低解像度の画像に対応するデータについて行われる（ステップＳ５２）。そして、符号化されたデータに基づき、表示部２８には、低解像度の画像を表示する（ステップＳ５３）。
【００３２】
続いて、ＸＭＬｂｏｘ３６を読み込むか否かを判定する（ステップＳ５４）。この結果、ユーザにより読み込まないと指示された場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータ（図４参照）を受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
【００３３】
他方、ステップＳ５４において、ユーザによりＸＭＬｂｏｘ３６を読み込むと指定された場合には、引き続き、ユーザの指示の種類を判定する。すなわち、ユーザが、テキストデータ表示，解像度ＵＰ，処理の終了のいずれを指示したかを判定する。この結果、ユーザによりテキストデータの表示が指定されたと判定した場合には、表示部２８において、低解像度の画像とともに、テキストデータをブラウザに表示する（ステップＳ５７）。
【００３４】
また、ステップＳ５５において、ユーザにより解像度ＵＰが指定されたと判定した場合には、ステップＳ５６へ進み、ＸＭＬｂｏｘ３６の下位にあるより高解像度画像に対応するデータを受信し、受信されたデータを順次復号化する。ＪＰＥＧ２０００ビットストリームを構成する全てのデータを受信し復号化した時点で、処理が終了する。
更に、ステップＳ５５において、ユーザにより処理終了が指定されたと判定した場合、即座に処理が終了する。
【００３５】
なお、参考までに、画像データが所定サイズで規定されるタイル毎にウェーブレット分解レベル３で符号化された場合には、符号化後のデータは、図９に示すような高周波成分及び低周波成分からなるサブバンドに分解された状態となる。この図で、ＬＬは、水平・垂直低周波成分，ＬＨは、水平低周波成分・垂直高周波成分，ＨＬは、水平高周波成分・垂直低周波成分，ＨＨは、水平・垂直高周波成分をあらわす。各表記に付された数字が小さいほど、より低解像度の画像に対応するデータをあらわす。
【００３６】
また、図１０には、ＸＭＬｂｏｘ３６を含むＪＰＥＧ２０００ビットストリームの構成例を示す図である。このＪＰＥＧ２０００ビットストリームでは、ウェーブレット分解レベル２（ＨＬ２，ＬＨ２，ＨＨ２）の後にＸＭＬｂｏｘ３６が付加されている。かかるＪＰＥＧ２０００ビットストリームの復号化処理に際して、端末機器２０では、まず、ビットストリームにおいてＸＭＬｂｏｘ３６の前にあるＬＬ〜ＨＨ２の符号化データが受信され、自動的に復号化される。その後、必要に応じて、ＸＭＬｂｏｘ３６が読み込まれる。更に、表示部２８に表示される画像４０の解像度を上げるには、ＸＭＬｂｏｘ３６の後にあるＨＬ３〜ＨＨ３の符号化データが順次受信され復号化される。
【００３７】
以上の説明から明らかなように、本実施の形態１によれば、端末機器２０側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、ＸＭＬｂｏｘ３６に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データ３０に含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、端末機器２０側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＭＦＰ１０側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、端末機器２０側でのメモリの節約が可能である。
【００３８】
実施の形態２．
前述した実施の形態１では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での受信の早期段階で、元の画像データに含まれる文字の可読性を確保することが行われたが、この実施の形態２では、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを用いて、端末機器２０側での迅速なインデックス表示を可能とする。
【００３９】
図１１は、本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。ＭＦＰ１０では、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データ５０が取得されると、ＪＰＥＧ２０００符号化部４により、符号化処理の基本単位であるタイル毎に、ＪＰＥＧ２０００符号化処理が行われる。
【００４０】
また、ＭＦＰ１０では、画像データ５０が取得されると、ＪＰＥＧ２０００符号化処理と同時に、領域判別部１２（図２参照）によって、画像データ５０に含まれるオブジェクト毎に領域が規定され、これらの領域が文字領域又は画像領域のいずれであるかが判別される。これにより、例えば図１１に示す画像データ５０は、画像領域５１，文字領域５２を含むデータとして認識される。続いて、画像データ５０中の各領域５１，５２について、その位置情報をあらわすデータ（以下、位置情報データという）５３が作成される。ここでは、図１１に示されるように、各領域が矩形状に設定され、その位置情報が、それら領域の１対角線上にある頂点のタイル座標であらわされている。具体的には、文字領域５２のタイル座標が、Ｔ（ｘ１，ｙ１）−Ｔ（ｘ２，ｙ２）で、また、画像領域５１のタイル座標が、Ｔ（ｘ３，ｙ３）−Ｔ（ｘ４，ｙ４）であらわされている。
【００４１】
その後、位置情報データ５３がＸＭＬ化される。続いて、ＸＭＬｂｏｘ付加部１４により、ＪＰＥＧ２０００符号化後のデータが所定の順に配列されてなるＪＰＥＧ２０００ビットストリーム５４における所定位置（この実施の形態２では末尾）に、ＸＭＬｂｏｘ５５が付加される。そして、このＸＭＬｂｏｘ５５に対して、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータが格納される。
以上の処理により、位置情報データ５３がＸＭＬ化されてなるＸＭＬデータを格納するＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルが作成される。
【００４２】
図１２には、本実施の形態２に係る、ＭＦＰ１０で実行されるＪＰＥＧ２０００ファイルの作成処理についてのフローチャートを示す。この処理では、まず、外部からＮＩＣ６を介して入力される若しくはスキャナ１１により原稿が読み取られることで、画像データが取得されると（ステップＳ６１）、ＪＰＥＧ２０００符号化処理を開始する（ステップＳ６２）。次に、画像データを構成する領域の種類について判別を行う（ステップＳ６３）。
【００４３】
その後、ステップＳ６３で判別した各領域の位置をあらわす位置情報を作成し、位置情報データを取得する（ステップＳ６４）。更に、その位置情報データをＸＭＬ化する（ステップＳ６５）。次に、ＪＰＥＧ２０００符号化後のデータに対して、ＸＭＬｂｏｘ５５を付加する（ステップＳ６６）。そして、位置情報データがＸＭＬ化されてなるＸＭＬデータを、ＸＭＬｂｏｘ５５に格納する（ステップＳ６７）。これにより、位置情報データを格納したＸＭＬｂｏｘ５５が付加されたビットストリーム構成を備えたＪＰＥＧ２０００ファイルが取得される（ステップＳ６８）。以上で、ＪＰＥＧ２０００ファイルの作成処理が終了する。
【００４４】
なお、このフローチャートでは、ステップＳ６２より開始されるＪＰＥＧ２０００符号化処理と、ステップＳ６３〜Ｓ６７のＸＭＬデータを付加するための各処理が順に行われるように示されるが、両処理が同時に進行するようにしてもよい。
【００４５】
図１３は、端末機器２０側で、前述したようなＸＭＬｂｏｘ５５が付加されたＪＰＥＧ２０００ファイルを複数受信した上で、各ＪＰＥＧ２０００ファイルから所定の領域を抽出し、インデックス表示を行う処理の流れを示す説明図である。この処理に際して、端末機器２０側では、ＭＦＰ１０から受信されたＪＰＥＧ２０００ファイルに含まれる各領域を抽出してインデックス表示するためのアプリケーションソフトが起動させられる。また、ユーザは、このアプリケーションソフトを介して、インデックス表示の対象とする領域の設定等、各種の設定を行うことができる。なお、かかるアプリケーションソフトは、端末機器２０に予めインストールされたソフトウェアであり、ＨＤＤ２５に格納され、必要に応じて起動させられる。
【００４６】
この実施の形態２では、各ＪＰＥＧ２０００ファイルが端末機器２０側で受信されても、自動的に復号化処理が行われず、ＪＰＥＧ２０００ファイルは、インデックス表示の指示があるまで待機させられる。図１３には、待機させられるＪＰＥＧ２０００ファイルが、ＪＰＥＧ２０００ビットストリーム５４，６４として示されている。各ＪＰＥＧ２０００ビットストリーム５４，６４の末尾には、ＸＭＬ化された位置情報データを格納したＸＭＬｂｏｘ５５，６５が付加されている。なお、ここでは、２つのＪＰＥＧ２０００ビットストリーム５４，６４のみを取り上げたが、ＪＰＥＧ２０００ビットストリームの数は、特に限定されるものでなく、また、これ以外のＪＰＥＧ２０００ビットストリームが存在した場合にも、ＪＰＥＧ２０００ビットストリーム５４，６４と同様の処理が施される。
【００４７】
各ＪＰＥＧ２０００ビットストリーム５４，６４から「画像領域」を抽出してインデックス表示を行う場合を例にして説明する。画像領域のインデックス表示を行うユーザの指示があれば、各ファイルに付加されたＸＭＬｂｏｘ５５，６５が参照され、各画像領域についての位置情報が取得される。
【００４８】
この位置情報に基づき、ＪＰＥＧ２０００ビットストリーム５４，６４中の画像領域を含むタイルに対応する符号データ（タイルデータ）５６，６６が特定される。各タイルデータ５６及び６６は、それぞれ、解像度の異なる符号データ５６ａ，５６ｂ，５６ｃ及び６６ａ，６６ｂ，６６ｃから構成されている。そして、この符号データ５６，６６から、インデックス表示に必要な解像度をもたらす符号データ、すなわち解像度の低い符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが抽出される。
【００４９】
その後、各ＪＰＥＧ２０００ビットストリーム５４，６４から抽出された符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、インデックス表示用に再構成されることにより、１つのインデックスファイルのビットストリーム７０が作成される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られる。なお、図１３では、符号データ５６ａ，５６ｂ及び６６ａ，６６ｂが、それぞれ、インデックス表示画像８０中の「飛行機」及び「魚」に対応する。
【００５０】
図１４は、インデックスファイルのビットストリーム７０に対して、更に、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。ここでは、図１３を参照して説明したように、各ＪＰＥＧ２０００ファイルから抽出された所定の領域に対応する符号データにより構成されるインデックスファイルのビットストリーム７０に、各領域の抽出元となる画像データを関連付けたＸＭＬｂｏｘ、すなわち、各領域の抽出元ファイルを特定可能な情報データ（例えばＵＲＬ等）を格納したＸＭＬｂｏｘ７５が付加される。このインデックスファイルが復号化されると、インデックス表示画像８０が得られるとともに、この画像８０に含まれる各領域に対して、抽出元ファイルが関連付けられる。例えば、図１４から分かるように、左上の「飛行機」を示す画像領域をクリック等で選択すると、その領域の抽出元であるＪＰＥＧ２０００ファイルが復号化されて、元画像５０を表示することができる。
【００５１】
以上の説明から明らかなように、本実施の形態２によれば、端末機器２０側で、複数のＪＰＥＧ２０００ファイルから各領域を抽出してインデックス表示する場合に、各ファイルに付加されたＸＭＬｂｏｘに格納される位置情報に基づき、各領域に対応する符号データを抽出し、抽出した符号データからインデックスファイルを再構成した上で、これを復号化するので、ＭＦＰ１０から受信された複数のＪＰＥＧ２０００ファイルを全て符号化することなく、端末機器２０側でのメモリの節約が可能である。
【００５２】
なお、本発明は、例示された実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば図２及び３では、ＭＦＰ１０及び端末機器２０における全構成をハードウェアとして図示しているが、これに限定されることなく、ＪＰＥＧ２０００符号化部４，領域判別部１２，ＸＭＬデータ作成部１３及びＸＭＬｂｏｘ付加部１４，ＪＰＥＧ２０００復号化部２２等の構成については、ソフトウェアとして構成されることも可能である。
また、前述した実施の形態では、解像度による階層符号化の例を示したが、本発明は、画質（レイヤ）による階層符号化についても同様に適用できる。
【００５３】
【発明の効果】
本願の請求項１に係る発明によれば、ＪＰＥＧ２０００符号化装置側で、ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、テキストデータに対応するＸＭＬデータを格納したＸＭＬｂｏｘを付加することで、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、テキストデータに対応したＸＭＬデータが読み込まれ、これにより、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができ、また、ＪＰＥＧ２０００復号化装置側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となる。更に、この場合には、ＪＰＥＧ２０００符号化装置側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
また、本願の請求項２に係る発明によれば、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に付加されるＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、ＪＰＥＧ２０００復号化装置側でユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＪＰＥＧ２０００符号化装置側で作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化装置側でのメモリの節約が可能である。
また、更に、本願の請求項３に係る発明によれば、テキストデータが上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に表示されることで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。
また、更に、本願の請求項４に係る発明によれば、ＪＰＥＧ２０００ファイルの復号化に際して、テキストデータに対応したＸＭＬデータの読込みをユーザに選択させることが可能となる。
【００５４】
また、更に、本願の請求項５に係る発明によれば、ＪＰＥＧ２０００符号化に際して、ＪＰＥＧ２０００ファイルを構成するビットストリームに対し、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、テキストデータに対応するＸＭＬデータを格納したＸＭＬｂｏｘを付加することで、ＪＰＥＧ２０００復号化装置側で、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、テキストデータに対応したＸＭＬデータが読み込まれ、これにより、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができ、また、ＪＰＥＧ２０００復号化に際してユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となる。更に、この場合には、ＪＰＥＧ２０００符号化に際して作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化に際したメモリの節約が可能である。
また、更に、本願の請求項６に係る発明によれば、ＪＰＥＧ２０００復号化に際して、解像度プログレッシブ方式で取得される画像がまだ低解像度である段階に、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に付加されるＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込み、テキストデータを表示することで、元の画像データに含まれる文字の可読性を、比較的早い段階で確保することができる。これにより、ＪＰＥＧ２０００復号化時に、ユーザが文字を含む画像の内容を把握し得るまでに要する処理時間の短縮化が可能となり、また、この場合には、ＪＰＥＧ２０００符号化時に作成されたＪＰＥＧ２０００ファイルを構成する全データが受信されないため、ＪＰＥＧ２０００復号化に際したメモリの節約が可能である。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係るＭＦＰ及び端末機器から構成されたネットワークシステムを概略的に示す図である。
【図２】 上記ＭＦＰの基本構成を概略的に示すブロック図である。
【図３】 上記端末機器の基本構成を概略的に示すブロック図である。
【図４】 上記ＭＦＰ側で、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図５】 ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図６】 上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理の流れを示す説明図である。
【図７】 上記端末機器側で、低解像度画像とともにテキストデータが表示されている状態をあらわす図である。
【図８】 上記端末機器側でのＪＰＥＧ２０００ファイルの復号化処理についてのフローチャートである。
【図９】 ウェーブレット分解レベル３で符号化された画像データを、サブバンドに分解して示す図である。
【図１０】 ウェーブレット分解レベル２の符号化データの後に、ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ビットストリームの構成を示す図である。
【図１１】 本発明の実施の形態２に係る、ＪＰＥＧ２０００ファイルにＸＭＬｂｏｘが付加され、ＸＭＬｂｏｘ内に所定のＸＭＬデータが格納される処理の流れを示す説明図である。
【図１２】 上記実施の形態２に係る、ＪＰＥＧ２０００ファイルの作成処理についてのフローチャートである。
【図１３】 ＸＭＬｂｏｘが付加されたＪＰＥＧ２０００ファイルを端末機器側で複数受信した上で、各ＪＰＥＧ２０００ファイルの所定の領域を抽出して、インデックス表示を行う処理の流れを示す説明図である。
【図１４】 インデックスファイルのビットストリームに対して、各領域の抽出元となる画像データを関連付けた場合の例を示す説明図である。
【符号の説明】
１…ネットワークシステム
３…ＣＰＵ
４…ＪＰＥＧ２０００符号化部
１０…多機能複合機
１２…領域判別部
１３…ＸＭＬデータ作成部
１４…ＸＭＬｂｏｘ付加部
２０…端末機器
２１…ＣＰＵ
２２…ＪＰＥＧ２０００復号化部
３０…元の画像データ
３１，３２…画像領域
３３…文字領域
３５…ＪＰＥＧ２０００ビットストリーム
３６…ＸＭＬｂｏｘ
４０…画像
４４…テキストデータ
５３…位置情報データ
８０…インデックス表示画像
Claims (6)
- ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化装置において、
画像データを符号化してＪＰＥＧ２０００ファイルに変換するＪＰＥＧ２０００符号化手段と、
上記画像データに含まれるオブジェクト毎に規定される領域を、オブジェクトの種類について判別する領域判別手段と、
上記領域判別手段により文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するＸＭＬデータ作成手段と、
上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するＸＭＬｂｏｘ付加手段と、を有していることを特徴とするＪＰＥＧ２０００符号化装置。 - 上記請求項１記載のＪＰＥＧ２０００符号化装置により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化装置において、
ＪＰＥＧ２０００ファイルを復号化して画像データに変換するＪＰＥＧ２０００復号化手段と、
上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込むＸＭＬデータ読込み手段と、
上記ＸＭＬデータ手段によりＸＭＬデータが読み込まれた場合に、該ＸＭＬデータを処理して、テキストデータを取得するＸＭＬデータ処理手段と、を有していることを特徴とするＪＰＥＧ２０００復号化装置。 - 上記ＸＭＬデータ処理手段により取得されたテキストデータを、上記ＪＰＥＧ２０００ファイル復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に表示することを特徴とする請求項２記載のＪＰＥＧ復号化装置。
- 更に、上記ＪＰＥＧ２０００復号化手段によるＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビットストリームに付加されたＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込むか否かを、ユーザに選択させる選択手段を有しており、
上記選択手段を介してＸＭＬデータを読み込むことが選択された場合、該ＸＭＬデータが読み込まれることを特徴とする請求項２又は３に記載のＪＰＥＧ復号化装置。 - ＪＰＥＧ２０００ファイルを作成するＪＰＥＧ２０００符号化方法において、
画像データを符号化してＪＰＥＧ２０００ファイルに変換するステップと、
上記画像データに含まれるオブジェクト毎に規定される領域を、該オブジェクトの種類について判別するステップと、
上記判別ステップにより文字が含まれると判別された領域に対して、文字認識処理を実行し、テキストデータを作成し、該テキストデータに対応するＸＭＬデータを作成するステップと、
上記ＪＰＥＧ２０００ファイルを構成するビットストリームに対して、所定の解像度に対応するデータの後、かつ、該所定の解像度よりも高解像度に対応するデータの前に、上記ＸＭＬデータ作成手段により作成されたＸＭＬデータを格納したＸＭＬｂｏｘを付加するステップと、を有していることを特徴とするＪＰＥＧ２０００符号化方法。 - 上記請求項１記載のＪＰＥＧ２０００符号化方法により作成されたＪＰＥＧ２０００ファイルを受信して、復号化するＪＰＥＧ２０００復号化方法において、
上記ＪＰＥＧ２０００ファイルを復号化して、画像データに変換するステップと、
上記ＪＰＥＧ２０００ファイルの復号化の途中に、ＪＰＥＧ２０００ファイルのビット ストリームに付加されたＸＭＬｂｏｘ内に格納されたＸＭＬデータを読み込むステップと、
読み込まれたＸＭＬデータを処理して、テキストデータを取得するステップと、を有していることを特徴とするＪＰＥＧ２０００復号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003087926A JP3747916B2 (ja) | 2003-03-27 | 2003-03-27 | Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 |
| US10/807,390 US7483582B2 (en) | 2003-03-27 | 2004-03-24 | JPEG2000 coding and/or decoding apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003087926A JP3747916B2 (ja) | 2003-03-27 | 2003-03-27 | Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004297508A JP2004297508A (ja) | 2004-10-21 |
| JP3747916B2 true JP3747916B2 (ja) | 2006-02-22 |
Family
ID=32985191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003087926A Expired - Fee Related JP3747916B2 (ja) | 2003-03-27 | 2003-03-27 | Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7483582B2 (ja) |
| JP (1) | JP3747916B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004297321A (ja) * | 2003-03-26 | 2004-10-21 | Minolta Co Ltd | 画像処理システム |
| US7634502B2 (en) * | 2005-01-24 | 2009-12-15 | Paul Colton | System and method for improved content delivery |
| US7734686B2 (en) * | 2005-01-25 | 2010-06-08 | International Business Machines Corporation | Markup method for managing rich client code and experiences using multi-component pages |
| JP4789516B2 (ja) * | 2005-06-14 | 2011-10-12 | キヤノン株式会社 | 文書変換装置、文書変換方法並びに記憶媒体 |
| US7747097B2 (en) * | 2006-06-16 | 2010-06-29 | Seiko Epson Corporation | Method for simple hardware implementation of JPEG size limiter |
| US20080144076A1 (en) * | 2006-10-27 | 2008-06-19 | Martin Boliek | Systems and methods for serving documents from a multifunction peripheral |
| US8891145B2 (en) * | 2007-05-16 | 2014-11-18 | Xerox Corporation | System and method for digitizing documents and encoding information relating to same for display by handheld computing devices |
| JP5111242B2 (ja) * | 2008-06-04 | 2013-01-09 | キヤノン株式会社 | 画像処理装置及び方法 |
| JP5187094B2 (ja) * | 2008-09-17 | 2013-04-24 | 株式会社リコー | 画像符号化装置 |
| US8411956B2 (en) * | 2008-09-29 | 2013-04-02 | Microsoft Corporation | Associating optical character recognition text data with source images |
| US8923632B2 (en) | 2012-10-22 | 2014-12-30 | The United States Of America, As Represented By The Secretary Of The Navy | System and method for encoding standard-formatted images with information |
| CN111814539B (zh) * | 2020-05-28 | 2023-07-21 | 平安科技（深圳）有限公司 | 基于红外光和紫外光的文字识别方法、装置和计算机设备 |
| CN117389571B (zh) * | 2023-12-11 | 2024-04-12 | 芯动微电子科技(武汉)有限公司 | 一种基于opencl的jpeg2000中t1并行解码方法和装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6043802A (en) * | 1996-12-17 | 2000-03-28 | Ricoh Company, Ltd. | Resolution reduction technique for displaying documents on a monitor |
| JPH1166196A (ja) | 1997-08-15 | 1999-03-09 | Ricoh Co Ltd | 文書画像認識装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2000251061A (ja) | 1999-03-01 | 2000-09-14 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法および画像処理用記録媒体 |
| US7062651B1 (en) * | 1999-05-25 | 2006-06-13 | Silverbrook Research Pty Ltd | Network printer registration protocol |
| JP2001218208A (ja) | 2000-01-28 | 2001-08-10 | Canon Inc | 画像復号装置及びその方法 |
| JP2001258031A (ja) * | 2000-03-08 | 2001-09-21 | Sony Corp | 信号処理方法、画像符号化装置及び画像復号装置 |
| JP2002251352A (ja) | 2001-02-26 | 2002-09-06 | Minolta Co Ltd | データ送信管理装置、データ送信管理方法、データ送信管理プログラムおよびデータ送信管理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7110608B2 (en) * | 2001-07-02 | 2006-09-19 | Canon Kabushiki Kaisha | Digital image compression |
| US20030091333A1 (en) * | 2001-11-15 | 2003-05-15 | Takuya Kotani | Information recording apparatus, its control method, and information recording method |
| US7711834B2 (en) * | 2002-12-13 | 2010-05-04 | Ricoh Co., Ltd. | Network access to partial document images |
| US7272258B2 (en) * | 2003-01-29 | 2007-09-18 | Ricoh Co., Ltd. | Reformatting documents using document analysis information |
-
2003
- 2003-03-27 JP JP2003087926A patent/JP3747916B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-24 US US10/807,390 patent/US7483582B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20040190784A1 (en) | 2004-09-30 |
| US7483582B2 (en) | 2009-01-27 |
| JP2004297508A (ja) | 2004-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101237513B (zh) | 图像处理装置和图像处理方法 | |
| JP3747916B2 (ja) | Ｊｐｅｇ２０００符号化装置，復号化装置，符号化方法及び復号化方法 | |
| JP5036430B2 (ja) | 画像処理装置及びその制御方法 | |
| US20040165789A1 (en) | Method of displaying a thumbnail image, server computer, and client computer | |
| CN101729727A (zh) | 图像处理装置及其控制方法和信息处理装置及其控制方法 | |
| JP5372206B2 (ja) | 画像処理装置 | |
| JP2004135122A (ja) | 画像データ入出力装置、プログラム及び記憶媒体 | |
| JP2010147582A (ja) | 画像形成装置、原稿読取装置、サーバ装置、データ処理システム | |
| JP5045173B2 (ja) | 画像データ変換装置、端末装置、画像データ変換方法、およびコンピュータプログラム | |
| JP5160607B2 (ja) | 複合機 | |
| WO2010050229A1 (en) | Image processing apparatus, control method for controlling image processing apparatus, and storage medium | |
| JP2006238443A (ja) | 画像出力にウォーターマークを選択的に挿入するシステムおよび方法 | |
| JP2004171515A (ja) | 画像形成装置、画像データ転送方法 | |
| JP4343057B2 (ja) | 画像形成システム | |
| JP2007282215A (ja) | 画像処理装置及び方法 | |
| US8014016B2 (en) | Retrieving system and retrieving method | |
| JP2005161556A (ja) | 画像形成装置 | |
| JP5284135B2 (ja) | 画像処理装置及びその制御方法並びにプログラム | |
| JP2001150744A (ja) | 画像形成システム、画像データ格納方法、記憶媒体 | |
| JP2005275863A (ja) | 複合機 | |
| JP2007074162A (ja) | 画像形成システム及び画像形成装置 | |
| JP2009182933A (ja) | 画像処理システム及び画像処理方法 | |
| JP2010118919A (ja) | 画像処理システム | |
| JP2006197158A (ja) | 複合端末装置 | |
| JP2008258930A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050705 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3747916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |