JP7413295B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、診断対象である医用画像を入力し、診断に関する予測結果を出力する診断支援装置などに利用される画像処理技術に関し、特に、機械学習を利用した画像処理技術に関する。

Ｘ線ＣＴ（Ｘ－ｒａｙ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置等に代表される医用画像検査装置を用いた診断では、撮影された三次元医用画像を、連続した二次元断面として再構成し、その二次元断面画像を観察して読影を行うことが一般的である。読影では、例えば、陰影の検出やサイズ計測、陰影の正常／異常の識別や異常陰影の病変種類の区別等を行い、その過程で得られる画像特徴を、医師が最適な治療法を選択する際の補助情報として用いる。

近年、撮影装置の高度化により、生成される医用画像の三次元分解能も向上しており、データサイズは増加する傾向にある。これにより、二次元断面の生成間隔はより細かくすることが可能となり、医用画像上に現れる病変のより詳細な観察が可能である。しかし、結果的に三次元医用画像あたりの枚数も増加し、読影の負担も増加している。膨大な三次元医用画像を読影する際に医師や技師にかかる負担の軽減を図るために、上述した読影を、コンピュータを用いた画像処理技術を応用して自動あるいは半自動で実現する技術の開発が行われている。開発において、エビデンスに従った医療の実現が課題となる。

画像処理技術を医療に応用した技術として、主に放射線医用画像から、画素値の平均や分散、形状指数といった多様な特徴量群（以下、上述の特徴量群に含まれる特徴量を従来特徴量という）を用いて生成した識別モデルによって病状の判定や予後の予測、もしく最適な治療法選択の補助とする手法がある。この手法で抽出される特徴量には、有識者により設計および評価された特徴量も含まれ、医師の知見を反映したものとも言える。

一方、深層学習を利用して生成した特徴量を、従来特徴量の代替として利用もしくは従来特徴量と併用する手法も開発されつつあり、これらの手法により、予測精度が従来特徴量のみを用いて予測した場合の精度を上回るとする研究報告もある。ただし一般に深層学習の適切な適用には大量のデータセットが必要であることが知られ、また入力画像によってのみ特徴量が自動的に抽出されるため、医師が重視する特徴量が取り入れられない場合もある。

この課題を解決し、医師の納得感向上と精度向上とを両立させるために、従来特徴量と深層学習特徴量の両方の利点を活かし、これらの特徴量を融合するいくつかの手法が提案されている。例えば、特許文献1には、複数の従来特徴量に特化した深層学習（以下、特化学習という)を実施することで、各従来特徴量に特化した深層学習特徴量を算出し、その後、それらを統合する方法が提案されている。特許文献１では、複数の従来特徴量に応じた入力画像を生成する際に、領域切り分けや特定のフィルタ処理等の強調処理を施した画像を深層学習の学習データとし、一部の従来特徴量に対する特化学習を実現している。また特許文献２には、医用画像を予め定めた複数の類のいずれかに分類し、複数の類のそれぞれに対応する複数の復元器から、分類結果に応じて最適な復元器を選択する手法が開示されている。

特願２０１５－１６８４０４号公報 特開２０１９－２５０４４号公報

従来特徴量の中には、特許文献１等で用いられている強調処理や、特許文献２で行っている特徴量空間における入力データのクラスタリングのみでは、十分な特化学習が実現できないものもある。

例えば、胸部ＣＴ画像から、肺腫瘍の悪性度を判断する場合に重要な特徴の一つとして、腫瘍輪郭の勅状突起の度合い（とげとげ度）がある。これは、とげとげ度と悪性度に正の相関がある場合が多いという知見に基づく。しかし、腫瘍の悪性度はこのとげとげ度のみによって定義されるものではなく、またこのとげとげ度は医師の感性的な判断も含むため、画像のみから完全に数値化することは難しい。この知見を機械学習に取り入れるためには、とげとげ度に特化した学習、すなわちとげとげ度の違いと腫瘍の悪性度の違いの関係性を重点的に学習する学習システムを設計する必要があるが、従来技術で提案されている方法によりとげとげ度に特化した学習を実施することは以下の理由により困難である。

特許文献１等の手法においては、ある特徴量に特化した学習をさせるための手段として、入力画像にある特徴量を強調させるフィルタ処理を施したものを学習画像とする。しかしながらフィルタ処理は、画像全体に対して一律に効果をもたらすものであり、腫瘍輪郭のとげとげ度の高低のみを強調させることはできない。また数値化が困難なとげとげ度を特徴空間においてクラスタリングすることも困難である。

本発明は、医師の知見に即した複数の従来特徴量に対して特化学習を実施する場合に、特化学習をより高精度に実現可能な医用画像処理技術を提供すること、従来法では特化学習が困難であった従来特徴量についても特化学習を可能にすること、を課題とする。

上記課題を解決するために、本発明は、入力された画像群（第一の画像群）を、複数の特徴毎に特徴量を算出し、その特徴量（第一の特徴量）を用いて、入力された画像群から複数の画像群（第二の画像群）を作成し、複数の画像群についてそれぞれ新規な特徴量（第二の特徴量）を算出し、統合する。複数の画像群は、機械学習による識別器を用い第一の特徴量の閾値に基づき作成される。第一の特徴量の閾値は、識別器の目的変数に基いて識別器の識別性能を評価し、評価結果に基づいて設定される。

即ち、本発明の画像処理装置は、入力された第一の画像群を構成する各画像について、所定の特徴量（第一の特徴量）の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量（第二の特徴量）を抽出する特徴量抽出部と、を備える。

また本発明の画像処理方法は、第一の画像群を入力し、入力された第一の画像群を構成する各画像について、所定の特徴量（第一の特徴量）の値を算出するステップ、特徴量の閾値を設定するステップ、特徴量の値に基づき第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換ステップ、及び、第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量（第二の特徴量）を抽出するステップと、を含む。閾値を設定するステップは、所定の特徴量について、機械学習による識別器を生成してその識別性能を評価し、識別性能に基づき、画像を選択するための特徴量の閾値を設定する。

さらに本発明の画像処理プログラムは、上記方法をコンピュータに実行させるプログラムである。

本発明によれば、フィルタ等を使用することなく、医師の知見に即した従来特徴量の特徴を生かしたまま、従来特徴量に対する高精度な特化学習を実施することができる。これにより、医者の納得感向上と精度向上を両立し、診断や治療の支援に役立つ予測情報を提供することが可能となる。

医用画像処理装置を含むシステム構成例を示す図である。 （Ａ）、（Ｂ）は、それぞれ、図１のシステムの一部の構成例を示す図である。 図１の画像処理装置の処理の概要の一例を説明するフローである。 実施形態１の画像群変換処理の具体例を説明するフローである。 実施形態１の処理の概要を示す図である。 医用画像群変換部２１において作成される第二の医用画像群の一例を示す図である。 医用画像群変換部２１において作成される第二の医用画像群の他の例を示す図である。 実施形態２の処理の概要を示す図である。 実施形態２の特徴量選択処理を説明するフローである。

以下、本発明の実施形態を、図面を参照して説明する。

図１は、本発明が適用される医用画像処理システム１００の全体構成を示す図である。図１に示すように、医用画像処理システム１００は、医用画像処理装置（以下、単に画像処理装置という）２０と、操作者の入力等を受信し画像処理装置２０に送信する入力装置１０と、画像処理装置２０から得られる病変領域や特定臓器の位置や大きさ、病状等の予測結果、および医用画像や医用画像の一部を表示するモニタ３０とを含む。画像処理装置２０は、その内部或いは外部に、多数の医用画像が格納された記憶装置（画像記憶部）４０を備えている。

ここで、「病変領域」とは、読影医の医学的知識や当該疾病診断に対する医学的根拠（エビデンス）等に基づいて判断される、病変の疑いが高い点、および領域を指す。病変は、医用画像上に現れた場合に、周囲即ち病変の疑いが低い領域との輝度の違いや、分布の違いから判断できる可能性が高く、自動もしくは手動でその領域が指定されているものとする。

画像処理装置２０は、入力された医用画像群（多数の医用画像：第一の画像群）から複数の画像群（第二の画像群）を生成する医用画像群変換部２１と、複数の画像群のそれぞれから新規特徴量（第二の特徴量）を抽出する特徴量抽出部２２と、新規特徴量を統合する特徴量統合部２３と、統合された特徴量（以下、統合特徴量）から病変の悪性度合いや患者の予後等を予測する病変関連情報予測部（以下、単に予測部という）２４と、を含む。医用画像群変換部２１及び特徴量抽出部２２は、図２（Ａ）、（Ｂ）に示すように、それぞれ、画像群生成に用いる従来特徴量の数に相当する数の画像群生成部１～画像生成部ｎ、特徴量抽出部１～特徴量抽出部ｎ、を有している。

次に、上記システム構成を持つ画像処理装置２０による処理の一例を、図３を用いて説明する。画像処理装置２０による処理は、大きく分けて、学習モデルを生成する過程と学習後の学習モデルを適用する運用過程とがあるが、ここでは本発明の対象である特化学習を行う学習過程の処理を主として説明する。

まず、医用画像群変換部２１は、システムからの入力もしくはユーザからの指示により、記憶装置４０から多数の医用画像（第一の画像群）を取得し（ステップ１０１）、複数（１～ｎ）の従来特徴量（第一の特徴量）に基づいて、複数の画像群（第二の画像群）を生成する。従来特徴量Ｆ１～Ｆｎは、例えば、病変組織の円形度、臓器―腫瘍間距離、腫瘍輪郭の勅状突起の度合い（以下、とげとげ度という）など予め定められるものであり、例えば対応する特徴量算出式とともにテーブルの形で医用画像群変換部２１に保持されている。

次に医用画像群変換部２１は、保持されている特徴算出式を用いて、第一の画像群を構成する各画像について、それぞれ、各従来特徴量の値を算出するとともに、画像群作成の基準を作成する（ステップ１０２）。作成基準として、具体的には、従来特徴量に関する閾値を設定する。各画像の従来特徴量の値と閾値に基づき複数の画像群（第二の画像群）を生成する（ステップ１０３）。第二の画像群は、入力画像群を複数にクラスタリングしたものではなく、従来特徴量の閾値を用いて新たな形成した画像群であり、入力画像群に含まれる１つの画像が２以上の新たな画像群に含まれる場合もあり得る。画像群の作成基準設定の具体的な手法は後述の実施形態で説明するが、学習過程において、画像群作成基準を設定しておくことにより、その後の運用過程において、対象画像に対し従来特徴量に特化した深層学習特徴量を抽出することができる。

次に特徴量抽出部２２は、第二の画像群について新規特徴量（第二の特徴量）を算出する（ステップ１０４）。ステップ１０２からステップ１０４の処理を、従来特徴量全て（Ｆ１～Ｆｎ）について実施する。このように新規特徴量は、従来特徴量に基づき生成した画像群毎に行われるので、従来特徴量の情報を反映した特徴量となる。次いで、特徴量統合部２３は、画像群毎の新規特徴量を統合して統合特徴量を出力する（ステップ１０５）。

病変関連情報予測部２４は、統合特徴量と病変関連情報（例えば医用画像群の病変領域の悪性度）との関連性を学習し、予測モデルを生成する（ステップ１０６）。予測モデルの生成（学習）は、通常のCNN等を用いた学習と同様であり、主に教師データを用いた学習を行う。

以上が学習段階の処理である。

運用においては、入力装置１０を介して診断の対象である画像を入力し、医用画像群変換部２１が、対象画像について予め設定された特徴量算出式に従い、各従来特徴量の値を算出する。算出した特徴量の値をもとに、対象画像を複数の画像群に属するものとする。対象画像がどの画像群に属するかは、医用画像群作成部２１に設定された作成基準（閾値）に基づいて決められ、一つの対象画像が１ないし複数の画像群に属する可能性もある。

その後、各従来特徴量に特化して学習された特徴抽出部２２（特徴抽出部１～ｎのいずれか）により、画像群毎に新たな特徴量が抽出される。画像群毎の新規特徴量を特徴量統合部２３が統合し、統合特徴量として病変関連情報予測部２４に入力する。病変関連情報予測部２４はその出力である予測結果をモニタに出力する。

この医用画像処理システム１００では、従来特徴量、つまり医師等専門家の所見を反映した特徴抽出を行うことができるので、専門家の納得感が高く且つ精度の高い予測結果を得ることができる。

上述した画像処理装置２０の構成及び機能は、例えば、メモリとＣＰＵ或いはＧＰＵを備えた計算機が、それぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現することが可能である。また、画像処理装置２０の各構成、機能の一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

なお図１において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

また図１では、画像処理装置２０が医用画像処理システム１００の一要素である場合を示したが、本実施形態の画像処理装置２０は、例えば、ＭＲＩ装置、ＣＴ装置、Ｘ線撮像装置など医用撮像装置５０に付随するもの或いはその一部としてもよいし、これら１ないし複数の医用画像装置に接続された構成としてもよい。

次に、上述した画像処理装置の実施形態を踏まえ、画像処理装置各部の具体的な実施形態を説明する。以下の実施形態においても、基本的な構成及び動作は、図１～図３に示したものと同様であり、必要に応じて、これら図面を参照する。

＜実施形態１＞
本実施形態の画像処理装置２０は、図１に示す構成と同様に、医用画像群変換部２１、特徴量抽出部２２、特徴量統合部２３、及び、病変関連情報予測部（以下、単に予測部という）２４を備える。医用画像群変換部２１は、さらに、図２（Ａ）に示したように、第一の特徴量を算出する特徴算出部２１１と、特徴量の閾値を算出する閾値算出部２１２とを備える。特徴量抽出部２２及び予測部２４は、ＣＮＮ等の多層ニューラルネットワークから構成される。

以下、図３～図５を参照して、本実施形態の画像処理装置２０の学習過程の処理（図３の各ステップ）の詳細を説明する。

［ステップ１０１］
入力装置１０を介して記憶装置４０に格納された多数の画像ｐ１～ｐｍ（代表してｐｃと記す。ｃ＝１～ｍのいずれか）からなる画像群Ｐ０を入力する。

［ステップ１０２、ステップ１０３］
医用画像群変換部２１は、画像群Ｐ０から、従来特徴量に関連する画像群Ｐ１～Ｐｎを作成する。この医用画像群変換部２１の処理を、図４を参照して説明する。

まず画像群Ｐ０に含まれる全画像について、予め定めた従来特徴量Ｆの算出式ｆ（ｐｃ）に従い、特徴量の値を算出する（Ｓ２０１）。従来特徴量Ｆとしては、例えば、病変部位（例えば腫瘍）の円形度、特定の臓器と腫瘍との距離、とげとげ度などがあり、円形度や距離については、自動或いは手動で計測した計測値を用いて特徴量の値を算出する算出式が定められている。

ただし本実施形態で利用する従来特徴量は、算出式で求められる数式化された特徴量のほか、数式化されていない特徴量であってもよい。

例えば、「とげとげ度」は、前述したように、画像のみから数値化することは困難であるが、本実施形態では、次のような特徴量を一つ或いは組み合わせて用いる。一つ目は、腫瘍輪郭形状の振幅から周波数（輪郭周波数）を算出する。輪郭周波数は、とげとげ度と比較的高い相関がある考えられる。但し、輪郭周波数はとげとげ度を完全に数値化したものではなく、医師の知見の一部を数値化したものではあるが、医師が読影した際にとげとげ度として捉える特徴と同一のものではない。

二つ目は、例えば、各学習データ（画像）に対して医師が１０段階（１～１０）でとげとげ度を評価した値を特徴量（主観特徴量）とする。主観特徴量は医師自身によって付与された値であるため、順序尺度（順序や大小に意味がある尺度）の点では知見を表した値であると言える。ただし、主観による評価であるため、間隔尺度（目盛りが等間隔でその間隔に意味がある尺度）の観点等において正確性にばらつきがあることが想定される。

従ってこれら特徴量を組み合わせたり、必要に応じて重み付けして組み合わせたりして「とげとげ度」を表す特徴量とすることができる。

次に各特徴量Ｆ１～Ｆｎについて、それぞれ、閾値（上限値と下限値）Ｔｈ＿ｈ、Ｔｈ＿ｌを設定し（Ｓ２０２）、Ｓ２０１で算出した特徴量の値ｆ１（ｐ）と閾値を比較し、上限値Ｔｈ＿ｈより大きいか下限値Ｔｈ＿ｌより小さいときに、この画像を画像群Ｐ１に加える（Ｓ２０３、Ｓ２０４）。

閾値の設定（Ｓ２０２、図３：１０２）は、画像処理装置の設計時に予め経験値等をもとに適当な値を決めることも可能であるが、通常、設計時には実際の入力画像の情報は得られず、実際に入力された画像群の分布が設計時の想定と異なる場合も多いと考えられるので、本実施形態では、識別器を用いて閾値の評価を行い、識別能が高い閾値となるように設定する。具体的な手法は後述する。

上述したＳ２０３～Ｓ２０５を、全ての画像ｐ１～ｐｍについて、実行することで画像群Ｐ１へ加えられる画像が決定する。これにより従来特徴量Ｆ１に関連した一つの画像群Ｐ１が生成される。この様子を図６に示す。図６において、横軸は従来特徴量ｆ１の値を表す。図示された複数（ここでは７枚）の画像の集合が画像群Ｐ０であり、曲線で囲われた画像、特徴量の値が閾値（下限値）Ｔｈ＿ｌより小さい３枚の画像と、特徴量の値が上限値Ｔｈ＿ｈより大きい２枚の画像、が第二の医用画像群Ｐ１となる。

従来特徴量F２～Fｎについても、同様に、画像群Ｐ０の全ての画像について、従来特徴量F２～Fｎに関連した画像群Ｐ２～Ｐｎへの追加を行い、最終的に全ての従来特徴量に相当する数の画像群Ｐ１～Ｐｎが生成される（繰り返しステップ２００）。

次に、医用画像群作成基準である閾値Ｔｈ＿ｈ、Ｔｈ＿ｌの設定方法（ステップ２０２）の例について述べる。

前述したように、閾値を予め所定の値に設定しておいた場合、入力画像群の分布によっては、適切な画像群生成を行うことができない。例えば、設計時の固定値として閾値を設定した場合、入力画像群の分布によっては、画像群Ｐ１～Ｐｎに含まれる画像データ数Ｐ＿ｎｕｍが極端に少なく（場合によっては０に）なり、その後の処理が実行できない可能性も考えられる。これに対し、画像群に含まれる画像データ数の最小値Ｎ＿ｍｉｎを予め定め、入力画像群の中からｆ０の値が小さいものと大きいものから順に、Ｐ＿ｎｕｍ≧Ｎ＿ｍｉｎとなるまで収集するという方法も考えられる。この場合、生成される画像群の大きさとしてはその後の処理に耐えうることは保証されるが、入力画像群Ｐ０のほとんど(場合によってはすべて)が一つの画像群Ｐとなる可能性もあり、この場合は特徴量値の大きい群と小さい群を合わせて一つの群とするという当初の目的が達成されない。

このような事態を避けるため、本実施形態では、まず、画像群Ｐｘを入力として、画像群Ｐｙに属する画像データｐｃ‘に含まれる情報を予測する識別器(例えば、ｐｃ’各画像に現れる病変に紐づく悪性度を予測するよう学習した多層ニューラルネットワーク)を作成する。このとき、識別器の構成を変えずに、画像群Ｐｙを生成する際に用いた閾値Ｔｈ_ｌ、Ｔｈ_ｈを変更すると、識別器の識別精度が変化することが想定される。この識別器を用いて最もよく識別できた画像群を生成したときに用いた閾値を、最終的な閾値Ｔｈ_ｌ、Ｔｈ_ｈとする。なおこのような識別器を用いて閾値を決定する場合に用いる画像ｐｃ’の総数には最小値を設定しておくことが好ましい。

このような手法を用いることで、従来特徴量Ｆ１～Ｆｎの各値に対する入力画像の分布に偏りがあっても、分布如何に寄らず、適切な特化学習を実行することが可能となる。また、特定の従来特徴量の値が大きい群と小さい群のみを第二の医用画像群とすることで、次の特徴量抽出処理において、当該の従来特徴量の値の差に特化した特徴量が抽出できる。

以上のステップ２００～２０４により、画像群変換部２１は図５に示したように、特徴量に特化した画像群Ｐ１～Ｐｎを生成することができる。

［ステップ１０４］
特徴量抽出部２２は、ステップ１０３で生成された複数の画像群のそれぞれについて、深層学習による新規な特徴量（第二の特徴量）を抽出する。新規特徴量の抽出は、例えば、第二の医用画像群を入力として、第二の医用画像群の病変に紐づけられた悪性度を予測する学習を実施した場合の多層ニューラルネットワークの途中出力を利用してもよいし、オートエンコーダを用い特徴量生成ネットワークを採用してもよい。オートエンコーダとは、一般的には、ニューラルネットワークを利用した次元圧縮のためのアルゴリズムを指し、３層以上のニューラルネットワークにおいて、入力層と出力層に同じデータを用いて教師あり学習をさせたものである。これは入力データの次元を圧縮する手法とも考えられ、ここでの中間層の出力は入力データを次元圧縮した特徴表現も言える。

特徴量抽出部２２におけるネットワーク構成の設定は、機械学習等による回帰予測の精度に基づいて行ってもよいし、例えば病変情報との相関分析をした結果や、データや最終的な予測事象に対する専門知識に基づいて行ってもよい。

例えば、従来特徴量と最終的に予測したい病変情報との相関が非常に高い場合には、病変情報を目的変数とした場合の方が適切な新規特徴量を算出できる可能性が高いと考えられる。しかしながら入力画像群によっては、病変情報との相関があまり高くない従来特徴量が存在する可能性もある。すなわち、当該特徴量が病変情報との相関が高いという医師の知見があったとしても、被験者群の偏り等によって、取得可能な入力画像群に限っては当該特徴量と病変情報との相関が高くない、というような場合である。このような場合には、病変情報を目的変数とする教師あり学習ではなく、入力画像群の特徴量を正確に捉えることを目的としたオートエンコーダの方が、適切なＤＬ特徴量を算出できる可能性が高い。特徴量生成ネットワークの中間層の出力を新規特徴量とした場合と、悪性度を学習したネットワークの中間出力を新規特徴量とした場合とのどちらが最終的な予測結果の精度を高くするかを実験により確認し、精度が高い場合の構成を採用してもよい。

またニューラルネットワークの構成は、画像群毎に同様としてもよいが、従来特徴量の種類に応じて異なる特徴量生成ネットワークを構成することとしてもよい。

特徴量抽出部２２は、以上のように画像群毎に設定されたネットワークにより、画像群Ｐ１～Ｐｎのそれぞれについて新規特徴量（ＮＦ１～ＮＦｎ）を算出する。

［ステップ１０５］
特徴量統合部２３は、ステップ１０４で算出した新規特徴量（第二の特徴量）を統合し、統合画像特徴量を算出する。統合の手法として、単純に新規特徴量の和集合を統合画像特徴量としてもよいし、新規特徴量（ＮＦ１～ＮＦｎ）から有効な特徴量の組み合わせを選択して用いる特徴量選択処理を行った後に、統合を行ってもよい。

特徴量選択処理は、機械学習のモデルを使用する際に有効な特徴量の組み合わせを探索するプロセスである。統合すべき特徴量の中に類似する画像特徴量が含まれている場合、単純な和集合を統合画像特徴量とすると、過学習の原因となる可能性があるが、このプロセスを加えることで、過学習の可能性を回避することができる。

[ステップ１０６]
予測部２４は、統合画像特徴量と病変関連情報（例えば医用画像群の病変領域の悪性度）との関連性を学習し、予測モデルを生成する。予測モデルの生成（学習）は、通常のCNN等を用いた学習と同様であり、教師データを用いた学習を行う。

以上、実施形態１の画像処理装置の学習過程の処理を説明したが、運用については、前述の説明と同様である。

本実施形態によれば、従来特徴量に応じて適切な深層学習特徴量を取得可能であり、より高精度な特化学習が可能となる。また本実施形態によれば、輪郭周波数もしくは主観特徴量を、画像上のとげとげ度を捉えるための軸として用い、その軸に沿った深層学習を実施することで、「とげとげ度」のような従来特徴量抽出が困難であった特徴についても、特化学習が可能となり、診断に資する予測結果を出力することができる。

＜実施形態の変形例１＞
医用画像群変換部２１の処理として、図６に示す例では、一つの従来特徴量を用いて一つの画像群を作成したが、その従来特徴量以外の従来特徴量の値も参照して画像群を生成することも可能である。例えば、図７は、入力画像群の集合を示し、横軸は従来特徴量Ｆi(i=1～ｎのいずれか)で縦軸はそれ以外の従来特徴量Ｆｊ（j=1～ｎのいずれか、但しｊ≠i）である。画像に示すように、従来特徴量Ｆiの閾値Ｔｈ＿ｌとＴｈ＿ｈで分けた群は、他の特徴量Ｆjの値も考慮すると、Ｆｊの値が大きい集合Ｐ１＿１と、Ｆｊの値が小さい集合Ｐ１＿２との２つの集合に分けられる。すなわち第二の画像群として、複数の画像群が生成される。この場合に、特徴量の値ｆiの分布が最もバランスが良くなる集合（ここではＰ１＿１）を、特徴量Ｆiについての画像群Ｐiとする。

このように、一つの従来特徴量（例えばＦ１）に関連した第二の画像群（Ｐ１）を生成する際に、その従来特徴量以外の従来特徴量を用いることで、従来特徴量Ｆ１以外の特徴に関しては類似するもののみを集めた群を入力とすることができるため、より特徴量Ｆ１に特化した特徴量を抽出できる。

＜実施形態２＞
実施形態１では、特徴量抽出部２２が、従来特徴量に関連付けて生成された第二の画像群の特徴量を算出するが、本実施形態では、第二の画像群の特徴量抽出だけでなく、特徴量抽出部２２は、入力画像群の特徴量を抽出し、統合画像特徴量の算出に用いる。

本実施形態の処理を図８に示す。図８において、図５と同じ要素および処理は同じ符号で示し、以下、実施形態１と異なる点を説明する。

本実施形態では、特徴量抽出部２２には、従来特徴量に関連した複数の画像群の特徴量を抽出する複数の特徴量抽出部（図２（Ｂ））のほかに、医用画像群変換部２１を経由せず、入力画像群を入力し、その特徴量を抽出する特徴量抽出部（第二特徴量抽出部）２２０が含まれる。特徴量抽出部２２０は、この入力画像群と等しい画像群Ｐｋについて、深層学習特徴量ＮＦｋを算出する。この場合の特徴量抽出には、例えばオートエンコーダを用いた特徴量生成ネットワークを用いることができる。抽出される特徴量ＮＦｋは、従来特徴量に特化した学習により得られる新規特徴量ではないが、従来特徴量に対する特化学習では抽出できない特徴を含むと考えられ、これを次の特徴量統合に加えることで予測の精度が向上すると期待される。

特徴量統合部２３は、特徴量抽出部２２が抽出した画像群Ｐ１～Ｐｎの新規特徴量ＮＦ１～ＮＦｎと、画像群Ｐｋの特徴量ＮＦｋとを統合する。ここで、特徴量ＮＦｋは、特化学習で抽出した新規特徴量ＮＦ１～ＮＦｎと類似する画像特徴も併せて抽出される可能性もある。このため、本実施形態では、特徴量選択処理（図８：特徴量選択部２３１の処理）を行った後、特徴量の統合を行う。

特徴量選択処理としては、目的変数に影響を与えない特徴量を削除する処理(特徴量選択処理１)、同じ傾向を示す(例えば、Ｆｘ、Ｆｙをそれぞれ一つの特徴量とすると、Ｆｙ＝Ｆｘ＋ａのような関係にある)特徴量を削除する処理（特徴量選択処理２）、相関が非常に高い特徴量を削除する処理（特徴量選択処理３）、等が知られている。本実施形態でもこれらの処理を用いることができるが、従来は、特徴量選択処理２、３については、候補となるすべての特徴量の組合せに対して実施するのに対し、本実施形態では、特徴量ＮＦｋ（元画像の学習により得られる特徴量）と、新規特徴量ＮＦ1～ＮＦｎ(画像群Ｐ１～Ｐｎについて算出された新規特徴量)それぞれとの間で特徴量選択処理を実施する。

ＮＦ1～ＮＦｎは、それぞれ別の従来特徴量に沿った第二の画像特徴量が算出されていることが想定されるため、これら相互の組合せにおいては、それぞれ独立の特徴量であり、類似する特徴量が算出される可能性は低いが、元画像の学習により得られる特徴量Ｆｋと類似する特徴量が存在する可能性が考えられる。そのため、上記のような特徴量選択処理を実施することで過適合を回避でき、予測精度の向上が期待できる。

本実施形態による特徴量選択プロセスを含む統合処理の一例を図９に示す。この例では、一つの新規特徴量（例えばＮＦ１）をＮＦｋと比較し（ステップ３０１）、相関が高くない場合には、ＮＦ１を特徴量統合部２３の入力とする（ステップ３０２、ステップ３０３）。両者の相関が高い場合には、ＮＦ１を削除し、ＮＦｋがまだ特徴量統合部２３に入力されていないことを条件に（ステップ３０４）、ＮＦｋを特徴量統合部２３に入力する（ステップ３０５）。このステップ３０１～３０５を全ての新規特徴量ＮＦ１～ＮＦｎについて実行する（ステップ３００）。このような処理により、ＮＦｋとの相関が高いものは除かれ、予測部２４において有効な予測学習を行う統合特徴量が生成される。

ここで、特徴量ＦｋおよびＮＦ１～ＮＦｎは、それぞれ複数の特徴量からなる特徴量群でもよく、例えば新規特徴量群ＮＦ１について述べると、ステップ３０１においてＮＦ１の各特徴量とＦｋの各特徴量とを総当たり的に比較し、ステップ３０２、３０３においてはＮＦ１に属する特徴量それぞれについて処理を行う。つまり、ＮＦ１に属する特徴量のうちＮＦｋと相関の高いいくつかは削除され、それ以外のいくつかは特徴量統合部２３の入力となる。

なお図９は、特徴量選択処理の手法として特徴量選択処理３（相関を利用した選択）を採用した例であるが、判断ステップ３０２を「同じ傾向を示す特徴量か」という処理に置き換えることで、特徴量選択処理２についても同様に実施できる。

本実施形態によれば、元画像から抽出した特徴量を加えることで、予測の精度を高める可能性がある。また特徴量統合の際に、選択処理を実施することで過学習となる可能性を軽減することができる。

＜変形例２＞
実施形態１、２では、従来特徴量として、主に画像特徴量を用いる場合を説明したが、従来特徴量は画像特徴量に限定されない。例えば、対象として腫瘍の血中腫瘍マーカーの値を従来特徴量の値として特化学習を実施することも可能である。この場合、画像処理装置２００の入力データとして、医用画像だけでなく、例えば血液検査結果やゲノム変位情報等を入力し、その入力データを特徴量抽出部２２（第二特徴抽出部２２０）で特徴抽出し、特徴量統合部２３で画像群毎のＤＬ特徴量と併せて統合特徴量を算出する。

本変形例によれば、画像だけでなく、血液検査やゲノム変位情報など、複数種類の患者情報を統合的にとらえることができ、腫瘍の診断・治療等に適用する場合、より高精度な情報を提供することができ、高い貢献が期待できる。

以上、本発明の実施形態と変形例を説明したが、本発明は上記した実施形態や変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１０ 入力装置
２０ 医用画像処理装置
２１ 医用画像群変換部
２２ 特徴量抽出部
２３ 特徴量統合部
２４ 病変関連情報予測部
３０ モニタ
４０ 医用画像記憶部

Claims (15)

1. 医用画像を処理する画像処理装置であって、
   入力された第一の画像群を構成する各画像について、所定の特徴量の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、
   前記画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出する特徴量抽出部と、
   を備え、
   前記所定の特徴量は、複数の特徴量からなり、
   前記画像群変換部は、前記複数の特徴量について、それぞれ、特徴量の値に基づく画像の選択と第二の画像群の生成とを行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像群変換部は、前記所定の特徴量について、機械学習による識別器を生成してその識別性能を評価し、前記識別性能に基づき、画像を選択するための特徴量の閾値を設定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記特徴量抽出部は、前記複数の特徴量に応じて、異なる構成のネットワーク構造を有することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   複数の前記第二の画像群のそれぞれについて、前記特徴量抽出部が抽出した新規特徴量を統合する特徴量統合部をさらに備えることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記特徴量抽出部は、入力された患者情報の特徴量を抽出する第二特徴量抽出部を備え、
   前記特徴量抽出部が前記第二の画像群について抽出した新規特徴量と、前記第二特徴量抽出部が抽出した特徴量と、を統合する特徴量統合部をさらに備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記第二特徴量抽出部は、前記患者情報として、前記第一の画像群を入力し、当該第一の画像群の特徴量を抽出することを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記特徴量統合部は、前記第一の画像群の特徴量と、前記新規特徴量とを比較し、冗長な特徴量を除外する特徴量選択部を備えることを特徴とする画像処理装置。
8. 請求項５に記載の画像処理装置であって、
   前記第二特徴量抽出部は、前記患者情報として、画像以外の情報を入力することを特徴とする画像処理装置。
9. 医用画像を処理する画像処理装置であって、
   入力された第一の画像群を構成する各画像について、所定の特徴量の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、
   前記画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出する特徴量抽出部と、
   を備え、
   前記特徴量抽出部は、患者情報として前記第一の画像群を入力し、当該第一の画像群の特徴量を抽出する第二特徴量抽出部を備え、
   前記特徴量抽出部が前記第二の画像群について抽出した新規特徴量と、前記第二特徴量抽出部が抽出した特徴量と、を統合する特徴量統合部をさらに備え、
   前記特徴量統合部は、前記第一の画像群の特徴量と、前記新規特徴量とを比較し、冗長な特徴量を除外する特徴量選択部を備えることを特徴とする画像処理装置。
10. 医用画像を処理する画像処理装置であって、
    入力された第一の画像群を構成する各画像について、所定の特徴量の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、
    前記画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出する特徴量抽出部と、
    を備え、
    前記特徴量抽出部は、画像以外の患者情報を入力して当該画像以外の患者情報の特徴量を抽出する第二特徴量抽出部を備え、
    前記特徴量抽出部が前記第二の画像群について抽出した新規特徴量と、前記第二特徴量抽出部が抽出した特徴量と、を統合する特徴量統合部をさらに備えることを特徴とする画像処理装置。
11. 医用画像を処理する画像処理装置であって、
    入力された第一の画像群を構成する各画像について、所定の特徴量の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、
    前記画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出する特徴量抽出部と、
    を備え、
    前記所定の特徴量は、腫瘍輪郭の勅状突起の度合いを含むことを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置であって、
    前記特徴量抽出部は、前記腫瘍の輪郭の勅状突起の度合いの特徴量として、輪郭形状の振幅から算出した周波数および専門家による段階評価の少なくとも一つを用いることを特徴とする画像処理装置。
13. 医用画像を処理する画像処理装置であって、
    入力された第一の画像群を構成する各画像について、所定の特徴量の値を算出し、当該特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換部と、
    前記画像群変換部により生成された第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出する特徴量抽出部と、
    前記新規特徴量を入力し、病変に関する予測結果を出力する予測部と、を備えることを特徴とする画像処理装置。
14. 第一の画像群を入力し、入力された第一の画像群を構成する各画像について、複数の特徴量について所定の特徴量の値を算出するステップ、
    前記複数の特徴量について、機械学習による識別器を生成してその識別性能を評価し、前記識別性能に基づき、画像を選択するための特徴量の閾値を設定するステップ、
    前記特徴量の値に基づき前記第一の画像群から画像を選択して、第二の画像群の画像とする画像群変換ステップ、及び、
    前記第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、新規特徴量を抽出するステップと、を含み、
    前記画像群変換ステップは、前記複数の特徴量について、複数の前記第二の画像群を生成し、
    前記新規特徴量を抽出するステップは、複数の前記第二の画像群についてそれぞれ新規特徴量を抽出し、複数の新規特徴量を統合するステップを含む、
    ことを特徴とする画像処理方法。
15. コンピュータに、
    第一の画像群を入力し、入力された第一の画像群を構成する各画像について、複数の特徴量について所定の特徴量の値を算出するステップ、
    前記複数の特徴量について、それぞれ、特徴量の閾値を設定するステップ、
    前記複数の特徴量の値に基づき前記第一の画像群から、複数の第二の画像群の画像を選択する画像群変換ステップ、
    前記複数の第二の画像群について特徴量生成ネットワークを用いてそれぞれ学習を行い、複数の新規特徴量を抽出するステップ、及び
    前記複数の新規特徴量を統合するステップ、を実行させる画像処理プログラム。

Images