JP5028372B2

JP5028372B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP5028372B2
Application number: JP2008248226A
Authority: JP
Inventors: 譲長沼
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2008-09-26
Filing date: 2008-09-26
Publication date: 2012-09-19
Anticipated expiration: 2028-09-26
Also published as: JP2010079667A

Description

透明度属性を有する描画オブジェクトと、該描画オブジェクトを描画する土台であり透明度属性を有するキャンバスとを表記可能であるページ記述言語を中間言語に変換する際に、該変換処理及び前記透明度の合成処理を行うことが可能な画像処理装置、画像処理方法及び画像処理プログラムに関するものである。

XPS等のXML拡張形式で記述されたページ記述言語においては、描画オブジェクト（パスやフォントやイメージ等）の描画の土台となるキャンバスが複数層重なった入れ子構造により記述されている場合があるが、これらキャンバスの入れ子構造を有したページ記述言語を印刷や表示のための中間言語に変換する際に、前記複数層のキャンバス及びその中にある描画オブジェクトのアルファブレンド演算（透明度と色値の合成のための演算）を行う場合に前記アルファブレンド演算処理を効率よく行うための方法がなかった。

従来技術として、ページ記述言語文書の色指定に不透明度（アルファ値）が含まれており、それらの色が互いに重なる場合には、アルファブレンド演算処理が必要となるが、この際、アルファブレンド演算処理の前にデバイスの色域に圧縮するか、デバイスの色域に圧縮してからアルファブレンド処理を行うかによって、レンダリング結果が異なるため、カラーマッチング手段によりどちらが適正化を判断して、より適切な方法を選択する方法があった（特許文献１参照）。

しかし、この方法でもアルファブレンド演算は逐次的に処理されているに過ぎず、前記した入れ子構造を有するキャンバスに対応する方法は開示されていない。
特開２００６−３４５１９７号公報 XML Paper Specification, XPS Specification and Reference Guide Version 1.0

解決しようとする問題点は、ページ記述言語を中間言語に変換する画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムにおいて、前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、アルファブレンド演算処理を実行するために適する中間言語のデータ構造がなかったことと、効率的にアルファブレンド演算処理を行う方法がなかったことである。

請求項１記載の本発明の画像処理装置は、ページ記述言語を中間言語に変換する画像処理を行う画像処理装置であって、前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換する中間言語変換部と、前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの入れ子構造に応じた再帰アルゴリズムにより透明度属性の合成処理を行うアルファブレンド演算部と、を有することを最も主要な特徴とする。ここで、キャンバスとは、ＸＭＬ拡張形式のページ記述言語に記載される描画オブジェクト（パスやフォントやイメージ）を描画する土台となるオブジェクトのことで、透明度を示す透明度値、さらに透明度分布を表す透明度マスク等の透明度属性を有する。

請求項２記載の本発明の画像処理装置は、請求項１の画像処理装置であって、前記再帰アルゴリズムは、前記キャンバスの開始とともに、一時的に色を保持するために確保したバッファ内で描画処理を行い、前記キャンバスの終了時点で前記バッファをイメージとして一段下のキャンバスにアルファブレンド処理を行いながら描画することを主要な特徴とする。ここで、描画オブジェクトの色値、透明度、キャンバスの色値、透明度に基づいて色値を合成することをアルファブレンドと言う。

請求項３記載の本発明の画像処理装置は、請求項１または２の画像処理装置であって、前記ページ記述言語がＸＭＬ（Extended Markup Language）拡張形式により記述されたものであることを特徴とする。

請求項４記載の本発明の画像処理方法は、ページ記述言語を中間言語に変換する画像処理方法であって、前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換し、前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの前記入れ子構造に応じた再帰アルゴリズムによって、前記透明度属性の合成処理を行うことを最も主要な特徴とする。

請求項５記載の本発明の画像処理プログラムは、コンピュータにページ記述言語を中間言語に変換する機能を実現させる画像処理プログラムであって、前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換する中間言語変換機能と、前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの前記入れ子構造に応じた再帰アルゴリズムによって、前記透明度属性の合成処理を行うアルファブレンド演算処理機能とをコンピュータに実現させることを最も主要な特徴とする。

請求項１記載の本発明の画像処理装置により、入れ子構造になったキャンバスを有するデータのページ記述言語であっても、印刷又は表示のための中間言語に変換して記述可能となった。又、それによりアルファブレンド演算処理においても、元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。また、前記入れ子構造で記載された中間言語データのアルファブレンド演算処理を単純なアルゴリズムを用いて元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。

請求項３記載の本発明の画像処理装置により、ＸＭＬ拡張形式のページ記述言語であっても、元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。

請求項４記載の本発明の画像処理方法により、入れ子構造になったキャンバスを有するデータのページ記述言語であっても、印刷又は表示のための中間言語に変換して記述可能となった。又、それによりアルファブレンド演算処理においても、元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。さらに、前記入れ子構造で記載された中間言語データのアルファブレンド演算処理を単純なアルゴリズムで元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。

請求項５記載の本発明の画像処理プログラムにより、入れ子構造になったキャンバスを有するデータのページ記述言語であっても、印刷又は表示のための中間言語に変換して記述可能となった。又、それによりアルファブレンド演算処理においても、元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。さらに、前記入れ子構造で記載された中間言語データのアルファブレンド演算処理を単純なアルゴリズムで元のページ記述言語に記載された色値及び透明度の合成を忠実に再現可能となった。

ページ記述言語を中間言語に変換する画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムにおいて、前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、アルファブレンド演算処理を実行するために適する中間言語のデータ構造がなかった点と、効率的にアルファブレンド演算処理を行う方法がなかった点とを、前記入れ子構造を保持したままの中間言語に変換する方法と、該入れ子構造を有する中間言語を再帰アルゴリズムによって、アルファブレンド演算を行う方法により解決した。

本発明の実施例に係る画像処理装置について以下に説明する。

［透明度属性の合成；アルファブレンドについて］
アルファブレンドとは、２つのそれぞれに色値を有する画像をある係数により半透明合成することである。この係数をアルファ値といい0.0〜1.0の値をとる。0.0が完全に透明、1.0が完全に不透明な重ね合わせであることを表している。PDF（Portable Document Format）、およびXPS（XML Paper Specification）ドキュメント形式ではパスによる図形や、フォント、イメージ等のオブジェクトに対してアルファ値が設定でき、描画の際に、下地の色とのアルファブレンド（透明度と色値との合成）が可能になっている。

以下にアルファブレンドの透明度の合成処理がどのように行われるかについて、XPSドキュメント形式のデータを例に用いて説明する。

図１にXPSで表記された透明度属性を持つPathのデータを示し、XPS仕様書1.0（非特許文献１参照）の11.4 Opacity Computationsに記載されているアルファブレンドを厳密に行う場合のステップを以下に示す。
（１）：ソース側のアルファ値を求める。ソースのアルファ値にOpacityアトリビュートの値とOpacityMask（透明度マスク）の値をかける。

As1 = As * Oe * Om
As ：ソースエレメントのアルファ値（図１参照）
Oe ：ソースエレメントのOpacity値（図１参照）
Om ：描画するピクセル位置のソースエレメントのOpacityMask（透明度マスク）値（図１参照）
（２）：（１）で求まったアルファ値（As1）をソースの色値にかける。この処理をPre-multiply source alphaという。下記に示す式のCsはRGBや、Gray、CMYK等のカレントカラースペースにおけるプレーン毎の値である。

Cs_tmp = Cs * As1
Cs ：ソースの色値（図１参照）
Cs_tmp ：ソース側カラー値のテンポラリ値
（３）：デスティネーション側のアルファをデスティネーションの色値にかける。この処理をPre-multiply destination alphaという。下記に示す式のデスティネーションのピクセル色値Cdはソース側と同様に、RGBや、Gray、CMYK等のカレントカラースペースにおけるプレーン毎の値である。

Cd_tmp = Cd * Ad
Ad ：デスティネーションのアルファ値
Cd ：デスティネーションの描画ピクセル位置の色値
Cd_tmp ：デスティネーション側カラー値のテンポラリ
（４）：ブレンド処理を行う。

A_tmp ＝ ( 1 - As1 ) * Ad + As1
C_tmp = ( 1 - As1 ) * Cd_tmp + Cs_tmp
A_tmp ：（５）のチェック用テンポラリ
C_tmp ：（５）のチェック用テンポラリ
（５）：デスティネーション結果に書き込む値を求める。この処理をReverse pre-multiplicationという。

If A_tmp = 0
{
Anew = Cnew = 0
}
Else
{
Anew = A_tmp
Cnew = min(C_tmp / A_tmp, 1)
}
（１）、（２）で現れるパラメータが図１のXPSドキュメント中に現れる（より詳細については非特許文献１を参照）。

［ページへの描画処理のケース］
ブレンド処理ステップ（３）において、ページへの描画処理では下地は不透明、すなわちAd＝1.0ととることができる。この場合は、下記のようにソースの色値とアルファ値、および既にページに書かれているデスティネーションの色値のみでアルファブレンド処理ができる（図２（Ａ）参照）。

As1 = As * Oe * Om
Anew = 1.0 （不透明で変化なし）
Cnew = ( 1 - As1 ) Cd + As1 * Cs （単純なアルファブレンドの式として知られている）
［キャンバスに透明度属性がない場合］
ブレンド処理のステップ（３）において、キャンバスへの描画処理では、初期状態において下地は完全な透明、Ad=0.0で色なしCd=0.0（RGBなら黒）ととらえることができる。これはガラス板のイメージになる。

As1 = As * Oe * Om
Anew = As1 （アルファの値が累積）
Cnew = Cs （ソースの色値はそのまま）
キャンバス上にまだ何も描画されていない状態で、ブレンド処理ステップに従うと、上記のように、キャンバス上のオブジェクトに透明度が含まれている場合、キャンバス上には、色値、アルファ値がそのまま累積することとなる。これは、キャンバスをページ等の一段下のレイヤーに描画するときに、累積している値がソースアルファ値として影響することを示す。

しかしながら、キャンバス自体に透明度が設定されていない場合は、出来上がったキャンバスをページ上に描いた結果は、オブジェクトを直接ページに書いた場合と同じとなる（図２（Ｂ）参照）。

この場合、図２（Ｂ）のようにページとは別のバッファに描画を実行する必要はなく、キャンバスが定義されていないときと同様の処理を行えばよい。

［キャンバスに透明度属性がある場合］
上述のように、オブジェクトが描画された領域には色値とアルファ値が累積していくが、その他の領域は0.0の完全に透明のまま残る。

キャンバス自体に透明度が設定されている場合の描画方法について、XPS仕様書中に提示される実装方法では、キャンバス上のオブジェクトの描画が終了し、下のレイヤーに書き込む時に、キャンバスエレメントの属性のOpacityとOpacityMaskの値を累積しているアルファ値に適用（結合）する。これはブレンドステップ（１）にあたり、キャンバス自体のOeとOmを累積したアルファ値にかけることを意味する。

また、キャンバス中でオブジェクトが描かれていない領域はOpacity、OpacityMaskが適用されてもアルファ値は0.0で完全に透明な何も描かれない状態で残る。そのため、描画されたオブジェクトの部分にのみ透明度処理の効果がでる（図３（Ｃ）参照）。

概念的には上記したステップを経るが、同一キャンバス上にこのとおりの処理をしようとすると、オブジェクトが重なった場合などは、デスティネーションのアルファ値を考慮した図２（Ａ）の厳密なブレンド処理を行うことになる（図３（Ｄ））。

［構成］
図１は、本発明の実施例に係る画像処理装置の機能ブロック図である。

画像処理装置は、通信インタフェース１．１、データ受信部１．２、データ解析部１．３、描画データ処理部１．４（中間言語変換部）、描画部１．５（アルファブレンド演算部）、出力部１．６、システム制御部１．７、エラー制御部１．８、メモリ管理部１．９を有する。以下に各機能部について説明する。

通信インタフェース１．１は、ホストコンピュータ等との通信を行う機能部である。

データ受信部１．２は、通信インタフェース１．１を介してデータ（ページ記述言語で記載してある印刷データ）を受信する機能部である。

データ解析部１．３は、送られてきたページ記述言語で記述された印刷データの解析を行なう機能部である。

描画データ処理部１．４（中間言語変換部）は、前記データ解析部１．４からの指示に従い、ページ記述言語を中間言語（ここでは、具体的にはディスプレイリスト）に変換する。

XPS等のXML拡張形式で記述されたページ記述言語中には、描画オブジェクトであるパス、グリフス（フォント）、イメージ等のエレメントがあり、これら描画オブジェクトを表示するための土台となるキャンバスがある。これらエレメントやキャンバスは、それぞれに透明度属性を有している。又、キャンバスは、入れ子構造（ネスト構造）をとって、その中に含むキャンバスやエレメントをひとつのグループとして扱うことが可能となる。

描画データ処理部１．４（中間言語変換部）は、前記した入れ子構造をとるキャンバスデータを中間言語に変換する際に、その入れ子構造を保ったままの構成とする。ひとつのキャンバスオブジェクトがディスプレイリストに変換された際の構造を図５に示す。

キャンバスのオブジェクトは、その開始を示す「Start」マークに続き、キャンバス上に存在する描画オブジェクト又はキャンバスオブジェクトのディスプレイリスト、キャンバスの終了を示す「End」マーク、その後にキャンバスの透明度情報が続き、キャンバスの下層への描画を示す「Write」コマンドで終了する。

キャンバスが入れ子構造となっている場合には、前記した「Start」マークと「End」マークとの間に入れ子となるキャンバスオブジェクトへのポインターが入る。

描画部１．５（アルファブレンド演算部）は、描画データ処理部１．４（中間言語変換部）で作成されたディスプレイリスト（中間言語）からVRAMにビットマップデータを作成する機能部である。アルファブレンドの演算処理はここ描画部１．５において行われる。

出力部１．６は、上記の各機能部で画像処理が行われて得られたビットマップデータを出力する機能部である。前記出力とは、用紙などの記録媒体に印刷することであってもよいし、ディスプレイデバイスに表示出力を行う方法でもよい。

システム制御部１．７は、画像処理装置のシステムの共通情報を管理し、システムの制御を行なう機能部である。

エラー制御部１．８は、画像処理装置のエラーが発生した場合の処理を制御する機能部である。

メモリ管理部１．９は、画像処理装置のシステムのメモリを管理する機能部である。

［アルファブレンド演算アルゴリズム］
図５で示した入れ子構造を有するディスプレイリスト（中間言語）のアルファブレンドの演算は以下に示す再帰アルゴリズムにより効率よく計算される。

一つのキャンバスの透過の計算Compositeを考えると、計算は次のようになる。

***_nのnをキャンバスに含まれるオブジェクト数とし、計算過程の値を表す。
［擬似コードによるアルゴリズム表記］
C = Composite（C_0，O_0）
入力 C_0 ：キャンバスの描画先の現在の色
O_0 ：キャンバスに含まれるオブジェクト全体
出力 C ：キャンバスの色値
｛
S_0 = C_0 （式1）
全てのオブジェクト（i を1からnまで）で以下の処理を繰り返す
{
Obj_i がキャンバスの場合は再帰呼び出し {
C_i = Composite(SC_(i-1)，Obj_i) （式2）
} そうでない場合 {
C_i = Obj_i_Color （式3）
}
S_i = (1-Obj_i_Alpha) *SC_(i-1) + Obj_i_Alpha * C_i （式4）
}
C = S_i
} ［アルゴリズム終了］
すなわち、キャンバス開始時にそれまでに描かれている色をコピーした領域を作成し（式1）、キャンバス終了時に、キャンバス自体のα値をもって、下地とブレンド処理（式4）すればよいこととなる。ページの開始時点は初期値S_0が白となっていれば良い。

［処理内容の具体例］
前記した再帰アルゴリズムの処理内容の具体例について図６、図７を用いて以下に説明する。

前記アルゴリズムは、キャンバスの開始とともに、一時的に色を保持するバッファを確保し、そのバッファ内で描画処理を行う。キャンバスの終了時点でバッファをイメージとして、一つ下のレイヤーにブレンド処理を行いながら描画していく方法である。キャンバス描画中にさらにネストしている場合は、再帰呼出を行って、それに応じて色を保持するバッファを確保し、一段上のキャンバスとして処理する。

この処理を行う場合の一例として、半透明キャンバスがネスト化（入れ子構造）し、さらにそのキャンバス上で、半透明のオブジェクトが重なっているケースを考える。

図６（Ｅ）は、XPSで表記した一段目のOpacity=0.5を有するCanvas1上に、描画オブジェクトである矩形のObject1が存在し、さらにOpacity=0.5を有する二段目のCanvas2がネストされており、二段目のCanvas2上に三角形のObject2とObject3が存在している。

図６（Ｆ）に、上記XPSの全オブジェクトを透明度（Opacity）が無いと仮定した場合の描画を示し、図６（Ｇ）に上記XPSに表記どおりの透明度（Opacity）のアルファブレンド演算を行った場合の描画を示す。ただし、カラー表記ができないため、グレースケールに変換して描画してある。

このデータに対する描画部１．５（アルファブレンド演算部）による処理手順を図７示し、前記した再帰アルゴリズムの式と対比させて説明を行う。

［ページバッファの確保］；図７（Ｈ）
最初に描画するための最終のページであるページバッファを確保する。

［Canvas1の開始］；図７（Ｉ）
これまでページバッファに描かれている結果をCanvas1にコピーする（式1）。さらに、Canvas1上のObject1を描画する。（式3〜4）。また、Canvas1の透明度情報を何らかの形（例えば、再帰呼出しルーチンのローカル変数等）で保持しておく。

［Canvas2の開始］；図７（Ｊ）
Canvas1に描かれている結果をCanvas2にコピーする。（式2による再帰呼出しと式1）。

次に、Canvas2上のオブジェクト（Object2, Object3）を描画する。このとき、Canvas2上でアルファブレンド演算処理を行う（式3〜4）。

また、前記と同様にCanvas2の透明度情報を何らかの形（例えば、再帰呼出しルーチンのローカル変数等）で保持しておく。

［Canvas2の終了］；図７（Ｋ）
Canvas2自体の透明度情報（エレメントのOpacity値、OpacityMask値）をもって、Canvas2をイメージとして一段下のCanvas1に描画する（式4）。

Canvas2のバッファを開放。

［Canvas1の終了］；図７（Ｌ）
Canvas1自体の透明度属性情報（エレメントのOpacity値、OpacityMask値）をもって、Canvas1をイメージとしてページに描画（式4）。

Canvas1のバッファを開放。

以上の一連の動作により、再帰アルゴリズムによってアルファブレンド演算処理が可能となった。

［実施例の効果］
本発明実施例の画像処理装置により、以下のことが可能となった。

XPS等のXML拡張形式等のページ記述言語によって記述された入れ子構造を有する描画オブジェクト、キャンバスの透明度属性の合成（アルファブレンド演算）を効率よく行うため、ページ記述言語を中間言語に変換する際に前記入れ子構造を保持した形で変換を行った。さらに、前記入れ子構造を有する中間言語データのアルファブレンド演算を再帰アルゴリズムにより実現した。

上記の方法により、入れ子構造をまたいだアルファブレンド演算を効率よく行うことが可能となった。

上記の構造を有する中間言語により、アルファブレンド演算処理を行い、その後のビットマップデータへの変換を行ってプリンタでの印刷処理が可能となった。

［その他］
色値は、実施例中ではＲＧＢの三原色に基づくものを示したが、ＣＭＹＫの色値であってもよく、同様にアルファブレンド演算が可能である。

XPSによるアルファ値、カラー値、透明度、透明マスクの表記例である。キャンバスへの描画時のアルファブレンド（透明度設定なし）の概念図である。キャンバスへの描画時のアルファブレンド（透明度設定あり）の概念図である。本発明実施例の画像処理装置の機能ブロック図である。本発明実施例のディスプレイリストのデータ構造例である。ネスト化されたキャンバスのXPSでの表記例（Ｅ）とその対応図面（透明度設定あり（Ｆ）及びなし（Ｇ））である。図６（Ｅ）に記載のXPSデータの描画の処理手順を示す図（（Ｈ）から（Ｌ））である。

符号の説明

１．１通信インタフェース
１．２データ受信部
１．３データ解析部
１．４描画データ処理部（中間言語変換部）
１．５描画部（アルファブレンド演算部）
１．６出力部
１．７システム制御部
１．８エラー制御部
１．９メモリ管理部

Claims

ページ記述言語を中間言語に変換する画像処理を行う画像処理装置であって、
前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換する中間言語変換部と、
前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの入れ子構造に応じた再帰アルゴリズムにより透明度属性の合成処理を行うアルファブレンド演算部と、を有する
ことを特徴とする画像処理装置。
請求項１の画像処理装置であって、
前記再帰アルゴリズムは、前記入れ子構造のキャンバスの開始とともに、一時的に色を保持するために確保したバッファ内で描画処理を行い、前記入れ子構造のキャンバスの終了時点で前記バッファをイメージとして一段下のキャンバスにアルファブレンド処理を行いながら描画する、
ことを特徴とする画像処理装置。
請求項１または２の画像処理装置であって、
前記ページ記述言語がＸＭＬ（Extended Markup Language）拡張形式により記述されたものである
ことを特徴とする画像処理装置。
ページ記述言語を中間言語に変換する画像処理方法であって、
前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換し、
前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの前記入れ子構造に応じた再帰アルゴリズムによって、前記透明度属性の合成処理を行う
ことを特徴とする画像処理方法。
コンピュータにページ記述言語を中間言語に変換する機能を実現させる画像処理プログラムであって、
前記ページ記述言語中に透明度属性を有するキャンバスが入れ子構造に存在する場合に、前記入れ子構造を保持した中間言語に変換する中間言語変換機能と、
前記中間言語に記述された入れ子構造のキャンバスの透明度属性の合成を行う際に、前記キャンバスの前記入れ子構造に応じた再帰アルゴリズムによって、前記透明度属性の合成処理を行うアルファブレンド演算処理機能とを
コンピュータに実現させることを特徴とする画像処理プログラム。