JP2011005050A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】Ｘ線画像を動画として捉えると、フレーム間のコントラスト変動を考慮し、安定させる必要がある。フレーム毎に最適な階調を得つつ、違和感を与えない画像を作成する。
【解決手段】Ｘ線撮像システムで撮像された画像の階調変換を行う画像処理装置において、画像の基準となる基準領域を抽出する。そして、画像が変化した場合に、抽出された基準領域ではその画像の変化によるコントラストの変動を抑えるように階調変換を行い、他の領域ではコントラストの変動を反映させるように階調変換を行う。
【選択図】図２

Description

本発明は、Ｘ線画像処理方法において、Ｘ線画像を最適な階調に変換する方法に関し、詳しくは、階調変換曲線を作成する際に、前フレームの階調変換曲線を領域及び画素毎にフィードバックさせて作成する技術に関する。

Ｘ線画像では、医師の診断能を向上させるために、様々な階調変換が提案されている。診断能を向上させるには観察領域を最適化する階調変換を行う。そのため、ノイズや動きにロバストな観察領域の抽出が多く提案され、その領域を最適にするような階調カーブとしてシグモイド関数などが利用されている。ここでＸ線画像を動画として捉えると、更にフレーム間のコントラスト変動を考慮し、安定させる必要がある。このフレーム間のコントラスト変動の主な原因として考えられるのは、Ｘ線のばらつきと被写体の変動が挙げられる。Ｘ線のばらつきとは、一定の撮影条件化であってもＸ線の発生量にばらつきがあることと、Ｘ線制御によって撮影条件が変化することを指す。また被写体の変動とは、呼吸をすることで撮影領域に肺野を含んだり含まなかったりすることや、造影剤が注入されることなどを指す。

従来、このようなフレーム間のコントラスト変動に対して、Ｘ線の発生量が異なることに関してはＸ線をより安定させることで対応している。一方、被写体の変動に対しては、被写体の解析方法や階調変換曲線を制御することで対応している。この被写体の解析方法の例としては、入力画像からヒストグラムを作成し、最小値、最大値を抽出し、それらを時間方向にフィルタリングする方法がある（例えば、特許文献１参照）。最小値、最大値を時間方向にフィルタリングすることで、コントラスト変動に対する感度を抑え、安定させることができる。

また、階調変換を制御する方法の例としては、入力画像を解析してシーン変化を捉え、シーン変化に要した時間に基づいて新規に作成した階調変換曲線と過去の階調変換曲線とを合成する方法がある（例えば、特許文献２参照）。この方法によれば、階調変換曲線を時間方法にフィルタリングすることで、コントラスト変動に対する感度を抑え、安定させることができる。

特許第3334321号公報 特許第4050547号公報

しかしながら、上記従来技術では、次のような問題点がある。ヒストグラムの最小値、最大値をフィルタリングすることで画像全体のコントラスト変動を抑えられたとしても、注視して観察している領域の変動を抑えることはできず、ユーザは敏感に感じてしまう。これに対して、観察領域の変動を抑えようとすれば、コントラスト変動を反映することはできず、サチレーションやクリッピングが発生し、フレームに最適な画像を作成することができない。

注視して観察している領域のコントラスト変動を抑えながら、画像全体にコントラストの変動を反映させる方法が必要である。一方、階調変換曲線をシーン変化に要した時間に基づいて制御した場合、シーン変化に要した時間とは無関係にコントラストの変動を制御したいケースが多く存在する。

本発明は、動画のフレーム毎に最適な階調を得つつ、動画としてちらつきを抑え、安定した階調を得ることを目的とする。また、本発明はフレーム毎のコントラスト変動を反映させながらも、観察領域では違和感を与えない画像を作成することを目的とする。

本発明は、Ｘ線撮像システムで撮像された画像の階調変換を行う画像処理装置にて実行される画像処理方法であって、
抽出手段が、前記画像の基準となる基準領域を抽出する抽出工程と、
階調変換手段が、前記画像が変化した場合に、前記抽出工程で抽出された基準領域では当該画像の変化によるコントラストの変動を抑えるように階調変換を行い、他の領域では前記コントラストの変動を反映させるように階調変換を行う階調変換工程と、
を有することを特徴とする。

本発明によれば、フレーム毎に最適な階調を得つつ、動画としてちらつきを抑えた安定した階調を作成し、フレーム毎のコントラスト変動を反映させながら、観察領域では違和感を与えない画像を作成することができる。

また、注視して観察している領域では、画像を安定させ、画像全体ではコントラストの変動を反映させた画像を作成することができると共に、視認性を高めることができ、医師の診断精度や手術精度を向上させることができる。

本発明に係る画像処理装置のハードウェア構成の一例を示すブロック図。 図１に示す画像処理部１０４の詳細な構成を示すブロック図。 Ｘ線画像のフレームにおける画素値のヒストグラムを示す図。 合成された階調変換曲線の特性を示す図。 本発明に係るフィードバック係数を示す図。 第１の実施形態における画像処理を示すフローチャート。 基準領域における合成階調変換曲線とフィードバック係数とを示す図。 フィードバック係数に基づいて階調変換曲線を合成する処理を示す図。 第２の実施形態における画像処理を示すフローチャート。

以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、観察している領域に対してフィードバック係数を大きく設定してコントラスト変動に対する感度を抑え、その他の領域に対してはフィードバック係数を小さく設定してコントラスト変動を反映させた画像を作成する方法を説明する。

まず、本発明に係る画像処理装置のハードウェア構成の一例を、図１を用いて説明する。図１に示す例は、画像処理装置をパーソナルコンピュータ（ＰＣ）上で実現する場合の構成である。図１に示すように、画像処理装置１００には、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、画像処理部１０４、ＨＤＤ１０５、入出力Ｉ／Ｆ１０６、ネットワークＩ／Ｆ１０７の各部が含まれる。各部１０１〜１０７はシステムバス１０８を介して接続されている。ＣＰＵ１０１はＲＯＭ１０２やＨＤＤ１０５に格納されているプログラムに従って装置全体を制御する。ＲＯＭ１０２は起動時のプログラムや制御データなどを格納しているメモリである。ＲＡＭ１０３はＣＰＵ１０１が処理を実行時にプログラムが展開されるメモリであり、各種テーブルや作業領域が定義される。

画像処理部１０４は、入力されたＸ線画像に対して詳細は後述する階調変換処理などの画像処理を行う。図１では、画像処理部１０４は専用の画像処理ボードとして実装されているが、ソフトウェアモジュールとして実現されても良い。つまり、目的に応じて適切に画像処理部１０４を実装するようにすれば良い。ＨＤＤ１０５にはオペレーティングシステム（ＯＳ）やアプリケーションソフトウェアなどが記憶される。入出力Ｉ／Ｆ１０６はディスプレイなどの出力装置とキーボードやマウスなどの入力装置とのインタフェースである。ネットワークＩ／Ｆ１０７はローカルエリアネットワーク（ＬＡＮ）などの外部のネットワークとのインタフェースである。

また、画像処理部１０４はＸ線撮像システムのネットワーク１４０に接続されている。このネットワーク１４０は制御エリアネットワーク（ＣＡＮ）として構成されているが、光ファイバーで構成されても良い。ネットワーク１４０にはＸ線発生装置１１０、医療用モニタ１２０、Ｘ線センサ（平面検出器）１３０が接続される。更に、このネットワーク１４０には画像保管通信システム（ＰＡＣＳ）やＸ線画像を格納するためのモダリティ内のハードディスク装置が接続されても良い。尚、画像処理部１０４からＸ線撮像システムのＸ線発生装置１１０やＸ線センサ１３０にコマンドを発行し、被写体の撮影を制御しても良い。

次に、図１に示す画像処理部１０４の詳細な構成を、図２を用いて説明する。画像処理部１０４には、画像入力部２０１、階調変換曲線算出部２０２、基準領域抽出部２０３、階調変換曲線合成部２０４、階調変換曲線保存部２０５、階調変換部２０６、画像出力部２０７が含まれる。画像入力部２０１は処理すべきＸ線画像を入力し、後述する階調変換までに必要な処理を行う。ここで必要な処理とは、例えばＸ線センサにおける特性を補正する処理やシステムの特性を補正する処理である。また、ランダムノイズを抑制する処理や画像強調も必要であれば行う。

階調変換曲線算出部２０２は、画像入力部２０１で処理された後のＸ線画像を階調変換するための階調変換曲線を算出する。基準領域抽出部２０３は階調変換曲線合成部２０４が階調変換曲線を合成する際に参照する“注視して観察する領域”を抽出する。階調変換曲線合成部２０４は前フレームの階調変換曲線と、現フレームの階調変換曲線とを合成する。階調変換曲線保存部２０５は階調変換曲線合成部２０４で合成された階調変換曲線を保存する。この階調変換曲線保存部２０５はＲＡＭ１０３に構成されても良い。

階調変換部２０６は、入力されたＸ線画像に対して、階調変換曲線合成部２０４で合成された階調変換曲線を使用して階調変換を行う。画像出力部２０７は処理後の画像に対して必要な処理を行い、医療用モニタ１２０やハードディスク装置などに出力する。ここで必要な処理とは、例えばモニタガンマ変換や幾何変換などである。

以上の構成において、画像処理部１０４の具体的な処理を、図３及び図４を用いて説明する。図３に示す（Ａ）はＸ線画像のＮ−１フレーム目における画素値のヒストグラムである。一点鎖線は、このヒストグラムに対する最適な階調変換曲線を示している。ここで最適とは、ヒストグラムレンジを出力レンジ全体に割り当てることとする。一方、図３に示す（Ｂ）はＸ線画像のＮフレーム目における画素値のヒストグラムである。図３からも明らかなように、Ｎフレーム目ではＮ−１フレーム目に対して何らかの被写体変動や造影剤などの注入により、ヒストグラムのレンジが変化している。このヒストグラムに対する最適な階調変換曲線は二点鎖線で示す通りになる。尚、図３において、３０１は注視して観察している臓器などの領域である。

ここで、各フレームにおけるコントラストは、この階調変換曲線の傾きによって決まる。Ｎ−１フレーム目からＮフレーム目に変化する際、被写体の変動を考慮した結果、階調変換曲線の傾きが低下し、コントラストが低下している。そこで、従来技術では、図４に示す（Ａ）のように、ヒストグラムの最小値及び最大値をフィードバックさせ、合成階調変換曲線（実線）を作成する。しかし、この実線で示す合成階調変換曲線でも、注視して観察している領域４０１では画像のちらつきが気になっていた。

そこで、図４に示す（Ｂ）のように、注視して観察している領域４０１では、合成階調変換曲線を、よりＮ−１フレーム目の階調変換曲線に近付けるように重み付けて、Ｎ−１フレーム目のコントラストを維持する。そして、注視して観察している領域４０１よりも離れるにつれて、Ｎフレーム目の階調変換曲線に近付けるように重み付けて、Ｎフレーム目のコントラストを反映させる。

つまり、図５に示すように、フィードバック係数αを設定する。ここでフィードバック係数αとは、この値が大きいほど合成階調変換曲線をＮ−１フレーム目の階調変換曲線に近付け、この値が小さいほど合成階調変換曲線をＮフレーム目の階調変換曲線に近付けるものである。このフィードバック係数αについては更に後述する。これにより、注視して観察している領域４０１では画像のちらつきを抑え、画像全体ではコントラストの変動を反映させることができる。

［第１の実施形態］
ここで、Ｘ線撮像システムからＸ線画像を取得し、そのＸ線画像を階調変換する第１の実施形態の画像処理を、図６を用いて説明する。まず、画像入力部２０１によりＸ線撮像システムから階調変換を行うＸ線画像を入力する（Ｓ６０１）。次に、前処理としてＸ線センサ１３０の特性やＸ線撮像システムの特性を考慮した補正を行う（Ｓ６０２）。Ｘ線センサ１３０の特性補正では、オフセット補正や欠陥補正などを行う。Ｘ線撮像システムの特性補正では、ＭＴＦ改善処理やグリッド縞補正などを行う。また、Ｘ線センサ１３０の特性やシステムの特性以外にも必要であれば、ランダムノイズやシステムノイズを抑制するノイズ抑制処理やエッジなどを強調する強調処理を行う。

ここで、前処理されたＸ線画像をオリジナル画像とする。そして、シーン変化の検出を行う（Ｓ６０３）。ここでシーン変化とは、撮影されている被写体が変更になった場合や注視している観察領域が変更になった場合を称す。また、Ｘ線の制御などによって画像の輝度が安定しない場合も相当する。この検出の方法は、画像全体の輝度の平均値が所定の閾値を超えた場合、もしくはＸ線の管電圧や管電流の変動が所定の閾値を超えた場合に、シーンの変化として検出する。ここで、シーンの変化があった場合、そのままＳ６０７へ処理を進める。一方、シーンの変化がない場合、Ｓ６０４へ処理を進め、オリジナル画像に対して基準領域抽出部２０３により被写体領域を抽出する。

このＳ６０４では、まずオリジナル画像から照射野外と素抜けの検出を行い、それ以外の領域を被写体領域として認識する。照射野の認識方法には、プロファイルをとって微分値を計算する方法やニューラルネットワークを利用する方法などを用いる。一方、素抜けを検出する方法には、ヒストグラムを作成して輝度値から検出する方法を用いる。これらを利用して被写体領域を抽出する。照射野外と素抜け領域の他に、必要であれば金属除去などの処理を行ってから被写体領域と認識しても良い。

次に、抽出した被写体領域に基づいて基準領域を抽出する（Ｓ６０５）。ここで基準領域とは、注視して観察する領域のことである。この基準領域を抽出する際に、解剖学的要素を用いる。解剖学的要素として、第１の実施形態では、撮影部位情報を利用する。被写体領域からヒストグラムを作成し、ヒストグラムの形状と撮影部位情報とに基づいて基準領域を決定する。例えば、腹部を撮影する場合は、腸、腸以外の臓器、骨、その他の領域に大別できる。従って、ヒストグラムに自動判別分析法を適用して４つの領域に分割し、各解剖学的構造を割り当てる。そして、最も注目すべき領域である、腸に割り当てられたヒストグラムレンジを基準領域として決定する。

尚、基準領域を抽出する際に、解剖学的要素として、撮影手技情報を利用しても良い。その場合、被写体領域からヒストグラムを作成し、ヒストグラムの形状と撮影手技情報とに基づいて基準領域を決定する。例えば、腎血管造影を行う場合は、腎血管、腎臓、腎臓以外の臓器、骨、その他の領域に大別できる。従って、ヒストグラムに自動判別分析法を適用して５つの領域に分割し、各解剖学的構造を割り当てる。そして、最も注目すべき領域である、腎血管及び腎臓に割り当てられたヒストグラムレンジを基準領域として決定する。

また、基準領域を抽出する際に、統計学的要素を用いても良い。統計学的要素として、例えばヒストグラムを作成し、そのヒストグラム内において、累積ヒストグラム４０％〜６０％の位置を基準領域として決定する。また、ヒストグラムレンジの４０％〜６０％の位置を基準領域として決定しても良い。

更に、基準領域を抽出する際に、統計学的要素を用いても良い。統計学的要素として、被写体領域の中心を含む所定のＲＯＩを利用する。例えば、被写体領域の中心を含むＮ＊Ｎの矩形のＲＯＩを設定し、ＲＯＩ中におけるヒストグラムを算出する。そして、ＲＯＩ内のヒストグラムにおける累積ヒストグラム４０％〜６０％の位置を基準領域として決定する。また、上述のＲＯＩ内における平均値を基準領域の中心画素とし、基準領域の中心画素から所定の画素範囲を基準領域として決定しても良い。

次に、得られた基準領域に対して、フィードバック係数を算出する（Ｓ６０６）。このフィードバック係数は、図５に示すように、基準領域内にフィードバック係数が最大値を得る関数とする。具体的に示すと、フィードバック係数の最小値をα_min 、オリジナル画像の画素値最大値をｘ_max 、基準領域内でフィードバック係数が最大値を示すオリジナル画像の画素値をｘ_basis としたとき、式１のように三次関数で近似する。

ｘ≦ｘ_basis ：
α＝ｋ₁ ｘ³ ＋ｋ₂ ｘ² ＋ｋ₃ ｘ＋α_min
ｘ＞ｘ_basis ：
α＝ｋ₁ (ｘ_max −ｘ)³ ＋ｋ₂ (ｘ_max −ｘ)² ＋ｋ₃ (ｘ_max −ｘ)＋α_min 式１
ｘ_basis の決め方は、基準領域レンジ内における中間点か、或いは基準領域レンジ内における累積ヒストグラムの５０％の位置とする。図７に示す（Ａ）のようなコントラストの変動は、上記式１の関数を利用できるが、図７に示す（Ｂ）のようなコントラスト変動には適用できない。この場合のフィードバック係数の関数は、フィードバック係数の最小値をα_min 、最大値をα_max から、スプライン補間や多項式補間、その他、Ｎ次関数で近似を行って算出する。また、最大値α_max の値は、過去の階調変換曲線を利用するために、０．５以上であることが望ましい。

次に、階調変換曲線算出部２０２により階調変換曲線を算出する（Ｓ６０７）。ここで階調変換曲線の基本となる形状、例えば直線、シグモイド関数などは予め決定しておく。そして、Ｓ６０４で算出した被写体領域を上述の基本形状に割り当てるように、階調変換曲線を算出する。

次に、階調変換曲線合成部２０４がＳ６０６で算出したフィードバック係数に基づいて、保存されている１フレーム前の過去階調変換曲線と、Ｓ６０７で算出した新規階調変換曲線とをオリジナル画像の画素値毎に合成する（Ｓ６０８）。

図８は、フィードバック係数に基づいて階調変換曲線を合成する処理を示す図である。ここで、新規階調変換曲線をＴｃ_new 、過去の階調変換曲線をＴｃ_old とし、オリジナル画像の画素値をｘとしたとき、合成された階調変換曲線Ｔｃ_merge は、式２のように表される。尚、１フレーム目で過去階調変換曲線が存在しない場合はα(ｘ)＝０とし、新規階調変換曲線を算出する。また、Ｓ６０３でシーン変化が検出された場合もα(ｘ)＝０とし、新規階調変換曲線を算出する。

Ｔｃ_merge (ｘ)＝α(ｘ)Ｔｃ_old (ｘ)＋(１−α(ｘ))Ｔｃ_new (ｘ) 式２
次に、階調変換曲線合成部２０４によって合成された階調変換曲線を階調変換曲線保存部２０５に保存する（Ｓ６０９）。そして、階調変換部２０６が合成された階調変換曲線を用いてオリジナル画像を階調変換する（Ｓ６１０）。ここで、必要であれば画像を出力する前に後処理を行う（Ｓ６１１）。尚、後処理とは、ビット変換や幾何変換、P-Value変換である。また、医療用モニタ１２０に出力する際には、モニタガンマ変換などの処理も行う。

最後に、画像出力部２０７がＳ６１０で階調変換され、Ｓ６１１で後処理された画像を医療用モニタ１２０やＨＤＤ１０５或いはモダリティ内のハードディスク装置などに出力する（Ｓ６１２）。

第１の実施形態によれば、注視して観察している領域では、画像を安定させ、画像全体ではコントラストの変動を反映させた画像を作成することができる。その結果、視認性を高めることができ、医師の診断精度、手術精度の向上へとつながる。

［第２の実施形態］
次に、図面を参照しながら本発明に係る第２の実施形態を詳細に説明する。第１の実施形態では、フィードバック係数に基づいて過去の階調変換曲線と新規の階調変換曲線とを合成した後に、合成された階調変換曲線を保存していたが、第２の実施形態では合成する前に保存するものである。

第２の実施形態における画像処理装置及びＸ線撮像システムの構成は、図１及び図２に示す第１の実施形態の構成と同じであり、それらの説明は省略する。ここでは、Ｘ線撮像システムからＸ線画像を取得し、そのＸ線画像を階調変換する第２の実施形態の画像処理を、図９を用いて説明する。尚、図９に示すＳ９０１〜Ｓ９０７、Ｓ９１０〜Ｓ９１２の各処理は、図６に示すＳ６０１〜Ｓ６０７、Ｓ６１０〜Ｓ６１２の各処理と同じである。従って、Ｓ９０８及びＳ９０９の処理を説明する。

階調変換曲線算出部２０２がＳ９０７で算出した新規階調変換曲線を階調変換曲線保存部２０５に保存する（Ｓ９０８）。ここで、保存する新規階調変換曲線が合成される前の階調変換曲線となる。次に、Ｓ９０６で算出したフィードバック係数に基づいてＳ９０７で算出した新規階調変換曲線と、保存されている過去の階調変換曲線とを合成する（Ｓ９０９）。

ここで、新規階調変換曲線をＴｃ_new 、過去の階調変換曲線をＴｃ_oldmergeとし、オリジナル画像の画素値をｘとしたとき、合成された階調変換曲線Ｔｃ_merge は、式３のように表される。

Ｔｃ_merge (ｘ)＝α(ｘ)Ｔｃ_oldmerge(ｘ)＋(１−α(ｘ))Ｔｃ_new (ｘ)
Ｔｃ_{old merge} (ｎ)＝ｋＴｃ_old (ｎ−１)＋(１−ｋ)Ｔｃ_old (ｎ−２) 式３
Ｔｃ_old (ｎ−１)は、ｎ−１フレーム目にＳ９０７で算出した階調変換曲線である。過去にＳ９０７で作成された階調変換曲線を合成し、Ｔｃ_{old merge} (ｎ)として、階調変換曲線を合成する。
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. Ｘ線撮像システムで撮像された画像の階調変換を行う画像処理装置にて実行される画像処理方法であって、
   抽出手段が、前記画像の基準となる基準領域を抽出する抽出工程と、
   階調変換手段が、前記画像が変化した場合に、前記抽出工程で抽出された基準領域では当該画像の変化によるコントラストの変動を抑えるように階調変換を行い、他の領域では前記コントラストの変動を反映させるように階調変換を行う階調変換工程と、
   を有することを特徴とする画像処理方法。
2. 前記基準領域に対しては前記他の領域より大きい値が設定されるフィードバック係数に基づいて前記画像の前フレームの階調変換曲線と現フレームの階調変換曲線とを合成する合成工程を更に有することを特徴とする請求項１に記載の画像処理方法。
3. 前記階調変換工程では、前記合成工程において合成された合成階調変換曲線により前記階調変換を行うことを特徴とする請求項２に記載の画像処理方法。
4. 前記基準領域は、解剖学的要素に基づいて決定される被写体の領域であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
5. 前記解剖学的要素は、撮影部位情報又は撮影手技情報であることを特徴とする請求項４に記載の画像処理方法。
6. 前記基準領域とは、統計学的要素に基づいて決定される被写体の領域であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理方法。
7. Ｘ線撮像システムで撮像された画像の階調変換を行う画像処理装置であって、
   前記画像の基準となる基準領域を抽出する抽出手段と、
   前記画像が変化した場合に、前記抽出手段で抽出された基準領域では当該画像の変化によるコントラストの変動を抑えるように階調変換を行い、他の領域では前記コントラストの変動を反映させるように階調変換を行う階調変換手段と、
   を有することを特徴とする画像処理装置。
8. 請求項１乃至６の何れか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images