JP2021097727A

JP2021097727A - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2021097727A
Application number: JP2019229707A
Authority: JP
Inventors: 愛美彦坂; Manami Hikosaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2021-07-01
Anticipated expiration: 2039-12-19
Also published as: JP7504585B2

Abstract

【課題】光学画像から異常検出を検出することで、操作者の異物の検出を支援する画像処理装置を提供することを目的とする。
【解決手段】本発明の一態様に係る記載の画像処理装置は、
被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得部と、前記画像取得部によって取得された前記光学画像から前記被検体に関する異常を検出する異常検出部と、前記異常検出部によって前記光学画像から異常が検出された場合に、検出された前記異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを有する。
【選択図】図２

Description

本発明は、光学画像から異常を検出する画像処理装置、画像処理方法およびプログラムに関する。

放射線画像は光学画像では取得できないような被検体の体内の画像情報を取得することができる。放射線画像を用いることで、例えば体内に入ったガラスの破片などの異物の位置を特定できるので、特定した位置に基づいて手術を行い、異物を除去することができる。

放射線画像によっては被検体の体内の異物が骨等の硬組織と重なっていることがある。放射線画像上で異物が硬組織と重なると、放射線画像から異物を発見することが困難になり、見落としのリスクが高くなる。体内の異物が放射線画像で発見されず、手術で異物が除去されない場合には、被検体の症状が重篤化することがある。

特許文献１には、光学カメラを用いて取得された光学画像に対して、被検体の体位を判定し、放射線画像を表示する方向を変更する技術が開示されている。

特開２０１８−６８８２２号公報

しかしながら、特許文献１に記載の発明では、光学画像から被検体の体位を判定することはできても光学画像から異常検出を行うことにより、操作者が異物を発見することを支援する構成については記載されていない。例えば光学画像から出血が検出された場合、操作者は出血の情報を基に放射線画像を観察することができ、より異物を発見しやすくなる。

本発明は上記問題を鑑みてなされたものであり、光学画像から異常を検出し、検出された異常に関する異常情報を放射線画像とともに表示することで、操作者が異物を発見することを支援する画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明に記載の画像処理装置は、
被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得部と、前記画像取得部によって取得された前記光学画像から前記被検体に関する異常を検出する異常検出部と、前記異常検出部によって前記光学画像から異常が検出された場合に、検出された前記異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを備える。

本発明によれば、光学画像から異常検出を行い、検出された異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示することで、操作者が異物を発見することを支援することが可能となる。

第１の実施形態に係る放射線撮影システムのシステム構成図第１の実施形態に係る画像処理装置の構成図第１の実施形態に係る放射線撮影制御装置の表示画面図第１の実施形態に係る画像処理装置のフロー図第２の実施形態に係る画像処理装置の構成図第２の実施形態に係る画像処置装置のフロー図第２の実施形態に係る異常入力画面の一例第３の実施形態に係る設定画面の一例第３の実施形態に係る画像処理装置のフロー図放射線撮影システムにおけるシステム構成の変形例

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
＜放射線撮影システムの構成＞
図１は、本発明の実施の形態に係る放射線撮影システムの構成の一例を示す図である。

本システムは、例えば、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等で構成されるネットワーク１４０を介して、画像処理装置１００、放射線撮影制御装置１１０と、放射線発生装置１２０、光学画像取得装置１３０から構成される。なお、ネットワーク１４０は、有線ネットワークでも無線ネットワークでもよい。

画像処理装置１００は、光学画像取得装置１３０により光学撮影された光学画像と、放射線撮影装置１１５により放射線撮影された放射線画像を取得する。そして画像処理装置１００は取得した光学画像に対して異常検出処理を行い、検出された異常情報を取得した放射線画像とともに表示をする。画像処理装置１００はコンピュータなどの情報処理装置で構成される装置である。コンピュータには、例えば、ＣＰＵ等の主制御部、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等が具備される。画像処理装置１００は、放射線撮影システムとネットワーク１４０を介して接続されていれば、例えば画像処理装置１００の構成または、構成の一部がクラウド上にあってもよい。また後述する画像処理装置１００の構成がシステムを構成する装置の一部として実現されてもよい。

放射線撮影制御装置１１０は、放射線撮影装置１１５と通信して放射線撮影を制御する、コンピュータなどの情報処理装置で構築される装置である。コンピュータには、例えば、ＣＰＵ等の主制御部、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等が具備される。放射線撮影制御装置１１０は、ネットワーク１４０に接続するネットワーク装置、キーボードやマウスなど操作者による操作を受け付ける操作部１１１、装置全体を制御する制御部１１２、各種制御プログラム、及び放射線撮影装置１１５から受信した放射線画像、並びに光学画像取得装置１３０受信した画像情報などを記憶する記憶部１１３、液晶ディスプレイなど放射線画像を表示する表示部１１４から構成される。なお、操作部１１１と表示部１１４を別々の装置として記載しているが、これらの装置が一体となった操作部としてもよい。放射線撮影制御装置１１０は、また、放射線発生装置１２０と通信し、放射線発生装置１２０から放射線を照射した際の情報を取得する。放射線撮影制御装置１１０は、光学画像取得装置１３０と通信し、光学画像取得装置１３０の制御、及び、光学画像取得装置１３０が光学撮影した光学画像を取得する。ＰＡＣＳ１５０（ＰｉｃｔｕｒｅＡｒｃｈｉｖｉｎｇａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）は画像サーバである。放射線撮影制御装置１１０では撮影された放射線画像に検査情報を付与し、ＰＡＣＳ１５０への転送が行われる。

放射線撮影装置１１５は、放射線撮影制御装置１１０からの指示により撮影可能状態へと遷移し、放射線発生装置１２０と同期を取りながら放射線撮影を実施し、放射線発生装置１２０から照射された放射線に基づき放射線画像を生成する装置である。なお、放射線撮影装置１１５の台数は一台に限定されるものではなく、複数台の放射線撮影装置を用いる構成でも良い。

放射線発生装置１２０は、操作者による放射線照射指示を検知し、操作パネルなど操作者による操作を受け付ける操作部を介して操作者により設定された照射条件を元に、管球１２１より放射線を発生させる装置である。

光学画像取得装置１３０は、放射線撮影制御装置１１０からの指示により光学撮影を行い、光学画像を取得する装置である。本実施形態では、光学画像取得装置１３０に光学カメラを用い、光学画像を取得するものとする。なお、本実施形態では、画像取得装置１３０は管球１２１に取り付けられ、管球１２１の放射線発生方向の撮影を行い、放射線画像と同等の撮影範囲を持つものとする。

以上が、本発明の実施形態に係る放射線撮影システムの構成の一例についての説明である。なお、図１に示す構成は、あくまで一例であり、適宜変更できる。例えば、図１では、画像処理装置１００や放射線撮影制御装置１１０に対してネットワーク１４０を介して各種装置が接続されているが、必ずしも、放射線撮影システムは上述したような装置構成である必要はない。また、各装置はネットワーク上に複数存在しても良い。

＜異常検出処理＞
ここで図２を用いて、放射線撮影システムを構成する画像処理装置１００の各構成とそれぞれの機能について述べる。

放射線撮影システムを構成する画像処理装置１００は、放射線撮影制御装置１１０における記憶部１１３から光学画像と、放射線画像を取得する画像取得部１０２と、画像取得部１０２によって取得された光学画像に対して異常を検出する異常検出部１０３、そして、検出された異常に関する異常情報に基づくオブジェクトを、取得した放射線画像とともに放射線撮影制御装置１１０の表示部１１４に表示をさせる表示制御部１０４から構成される。

画像取得部１０２は、記憶部１１３に記憶した光学画像と放射線画像を取得する。そして取得された画像を異常検出部１０３に送信する。

異常検出部１０３は、画像取得部１０３から送信された画像のうち、光学画像に対して異常検出処理を行う。異常検出処理には、例えば機械学習のひとつであるＣＮＮ（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）を用いて異常が検出される。即ち、異常検出部１０３は、機械学習に基づいて異常を検出することを特徴とする。なお、異常の検出には、他のディープラーニング技術が適用されても、他の機械学習の技術が適用されても、従来のルールベースの画像処理技術が適用されても、それぞれの技術が組み合わされてもよい。異常検出部１０３によって被検体に関する異常が検出されると、異常検出部１０３は検出された異常の種別と、当該異常の画像上の位置とを示す異常情報および、取得した放射線画像を表示制御部１０４に送信する。即ち、異常情報は、異常の種別と異常の光学画像上の座標であることを特徴とする。

表示制御部１０４は、異常検出部１０３により送信された異常情報に基づくオブジェクトと放射線画像とを放射線撮影制御装置１１０の表示部１１４に表示する。

即ち、画像処理装置１００は、被検体を光学撮影した光学画像と、被検体を放射線撮影した放射線画像とを取得する画像取得部１０２と、画像取得部１０２によって取得された光学画像から異常を検出する異常検出部１０３と、異常検出部１０３によって光学画像から異常が検出された場合に、検出された異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを備える。

＜撮影処理＞
ここで、図１に示す放射線撮影システムによる検査の流れに沿って、光学画像に対して異常検出処理を実施し、検出された異常に基づいて生成された異常情報を放射線画像とともに表示をする手順について図３を用いて説明をする。

図３は表示部１１４に表示される表示画面２００の一例を示した図である。まず操作者は放射線撮影制御装置１１０の操作部１１１を操作し、被検体の患者情報および検査情報を入力し、検査を開始する。患者情報は、患者名、患者ＩＤなどを含み、検査情報は、被検体に対して実施する撮影の内容を規定した撮影情報を含む。検査開始操作に従って、放射線撮影制御装置１１０は、図３に示すような表示画面２００を表示部１１４に表示する。

表示部１１４に表示される表示画面２００における撮影情報表示領域２０５内には、検査開始前に入力した患者情報を表す患者情報表示部２０４と検査情報を表す撮影方法ボタン２０６が表示される。撮影方法ボタン２０６には、たとえば撮影部位や撮影に使用する放射線撮影装置１１０の情報が含まれる。入力した検査情報に伴って、放射線撮影制御装置１１０の制御部１１２は、当該撮影方法ボタン２０６（撮影方法）に対応して設定された撮影条件（管電圧、管電流、照射時間等）を放射線発生装置１２０に向けて送信し、放射線撮影装置１１５を制御することで放射線画像の撮影の準備を整える。

放射線画像の撮影の準備が整うと、放射線撮影制御装置１１０は、撮影可能状態へ遷移する。放射線撮影制御装置１１０が、撮影可能状態に推移すると、メッセージ領域２０３には、撮影可能状態であることを示す「Ｒｅａｄｙメッセージ」が表示される。

続いて、操作者は、表示部１１４に表示された表示画面２００から、放射線画像の撮影方法を確認し、撮影のセッティング及び被検体のポジショニングを行う。一連の撮影準備が完了すると、操作者は、メッセージ領域２０３を参照して撮影可能状態であることを確認した後、放射線照射スイッチを押下する。放射線撮影照射スイッチが押下されると、放射線撮影制御装置１１０は、放射線発生装置１２０により被検体に対して放射線を照射させ、放射線撮影装置１１５により被検体を透過した放射線を検出させる。これにより、放射線画像の撮影が行われる。放射線撮影の撮影に伴って、光学画像取得装置１３０で光学画像の撮影も行われる。

放射線画像の撮影が完了すると、放射線撮影制御装置１１０の制御部１１２は、放射線撮影装置１１０から放射線画像、光学画像取得装置１３０から光学画像を取得し記憶部１１３に記憶させる。放射線撮影制御装置１１０は、取得した放射線画像に対して所定の画像処理条件に基づいて画像処理を実施する。所定の画像処理条件は、撮影方法に対応して予め規定されている。画像処理が終了すると、放射線撮影制御装置１１０は、当該画像処理された放射線画像を放射線画像表示領域２０１に表示する。放射線画像表示領域２０１は表示部１１４に表示される表示内容の一部である。

放射線画像および光学画像が取得されると画像処理装置１００は、画像取得部１０２によって放射線画像および光学画像を記憶部１１３から取得する。次に、取得された光学画像に対して異常検出部１０３が異常を検出する。ここで異常とは、皮膚の変色、腫れ、出血などの外傷をさす。光学画像から異常検出部１０３が異常を検出すると、表示制御部１０４は検出された異常に関する異常情報に基づくオブジェクトと、取得した放射線画像を表示部１１４に表示をさせる。操作者は、異常情報に基づくオブジェクトを基に、該異常に関連する異物を放射線画像に対して探索することができる。画像処理装置１００における表示制御部１０４は、表示部１１４に対して例えば光学画像で異常が判定された箇所に該当する放射線画像の位置に、異常通知表示のためのオブジェクト２０９を表示させる。操作者は、当該放射線画像のコントラスト等を変更したい場合、画像処理設定領域２０７に設けられたコントラストや輝度等のボタンを操作する。

同様に、出力画像の切り出し領域を変更したい場合は、画像操作領域２０２に設けられた調整ボタンを操作する。例えば、画像診断情報となる文字列を付与する場合は、アノテーションボタン２０２ｄ等を操作してアノテーション２０８に示すような文字列を画像上に重ねて表示させる。また、画像の向きが診断に適さない場合、回転ボタン２０２ａ、反転ボタン２０２ｂ等を使って幾何変換を行う。以上のように、操作者は、当該放射線画像表示領域２０１に表示された画像に対して追加の画像編集を実施できる。

操作者は、上述した手順を繰り返して撮影情報表示領域２０５の撮影方法に即して、すべての放射線画像の撮影を実施する。全ての撮影が終了すると、操作者は、検査終了ボタン２０８を押下する。これにより、一連の検査が終了する。一連の検査が終了すると、放射線撮影制御装置１１０は、撮影画像をその検査情報、撮影条件等を付帯情報として付与したうえで、例えば、ＰＡＣＳ１５０に出力する。検査終了時には、光学画像取得装置１３０から取得した光学画像は破棄されてもよいし、ＰＡＣＳ１５０に出力して放射線画像と関連付けて保存されてもよい。

＜画像処理装置１００における光学画像からの異常検出付与フロー＞
図４は、画像処理装置１００のフロー図である。

まずステップＳ４０１において、画像取得部１０２は、記憶部１１３から放射線画像および光学画像を取得する。

次にステップＳ４０２において、異常検出部１０３は画像取得部１０２が取得した光学画像に対して異常検出を行う。異常は例えば皮膚の変色、腫れ、出血、痣、骨折などの外傷であり、異常の検出は機械学習に基づく技術のひとつである例えばＣＮＮが用いられる。

ＣＮＮは機械学習の教師あり学習に分類される。教師あり学習は、学習用のデータと、学習用のデータに対する正解を付した正解データとを対にした教師データを用いて、ＣＮＮを学習することで、異常の検出のタスクに利用可能になる。ここでは、異常のそれぞれに対応する正解データとして教師データを構成し、ＣＮＮに学習を行う。

学習されたＣＮＮは、被検体の光学画像が入力されると、異常の種別と、異常の座標を出力する。なお、異常検出部１０３の検出を機械学習によって検出する処理を説明したが、従来のルールベースの画像処理技術によって検出処理が実施されてもよい。

ステップＳ４０３において、表示制御部１０４は、画像取得部１０２によって取得された放射線画像と、光学画像との座標を対応付ける対応付け情報を生成する。対応付け情報は、例えば、照射野情報に基づいて生成される。照射野情報とは、放射線画像として撮影される範囲を示す情報である。取得した光学画像には、照射野領域に対応する領域が照射野を示す光によって、他の領域に比べて明るく表示される。よって光学画像の照射野領域を明るさに基づいてトリミングすることで、放射線画像との座標上の対応関係がとれた対応付け情報が取得される。対応付け情報の生成方法は、照射野情報のみにより決定されるものではなく例えば、光学画像取得装置１３０、放射線を撮影するための管球１２１の位置ずれや、それぞれの装置の位置情報を用いてもよい。また、取得される両者の画像に合わせて拡大や縮小、回転や角度の補正処理が実施されてもよい。また、画像上から機械学習等の技術により特徴を抽出し、抽出された特徴をもとに対応付けが行われてもよい。対応付け情報は、両画像の座標上の対応付けができればよく、公知技術のいずれにより実現されてもよい。座標の対応付けがなされると、対応付け情報に基づいて、一方の画像の特定の座標から、もう一方への画像に対応する座標への変換が可能となる。

ステップＳ４０４において、表示制御部１０４は、異常検出部１０３により検出された異常の種別と異常の座標を含む異常情報と、算出した画像間の座標の対応付け情報とに基づいてオブジェクトを放射線画像に付与する。放射線画像に付与されるオブジェクトは、検出された異常に対応する座標を放射線画像上で確認できるように、表示部１１４が表示できれば形態は問わない。即ち、表示制御部１０４は、対応付け情報に基づいて光学画像から検出された異常情報に基づくオブジェクトを、放射線画像上で表示させることを特徴とする。例えば、放射線画像上で、検出された異常の座標に対応する領域を強調表示し、表示領域付近に検出された異常情報を重畳してもよい。放射線画像に対して異常情報が付与されると、表示制御部１０４は、表示部１１４へ放射線画像と、異常情報の送信を行う。即ち、表示制御部１０４は、検出された異常情報と、対応付け情報とに基づいて、光学画像より検出された異常を光学画像の座標と対応する放射線画像の座標上に表示させることを特徴とする。

表示部１１４は、表示制御部１０４から送信された情報を放射線画像表示領域２０１に表示をする。操作者は、異常検出部１０３によって検出された異常に関係する異物を、異常に対応する座標を基に探索することで操作者の負荷を軽減しながら異物を検出することが可能となる。

（第２の実施形態）
第１の実施形態では、異常検出部１０３が光学画像から異常と異常の座標を検出し、表示制御部１０４によって、検出された異常に関する異常情報を放射線画像に反映する例を説明した。第２の実施形態では、操作者が光学画像の異常情報を入力する例について説明する。

なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。

図５は、本発明の一実施の形態に係る放射線撮影システムのおける画像処理装置５００の構成の一例を示す図である。本実施形態では放射線撮影制御装置１１０等の操作部１０３を操作し、画像処理装置５００が操作者かの異常情報の入力を受け付ける異常入力部５０１を有する。操作者は操作部１０３を操作し、光学画像に対して異常に該当する箇所をマウス等で異常入力部５０１に入力する。

図６は、本実施形態の画像処理装置５００におけるフロー図である。

ステップＳ６０２において、画像取得部１０２が取得した光学画像に対して、操作者が判断した異常の種別と異常の座標等の異常情報を入力する。操作者によって入力された異常情報は、第一の実施形態と同様に処理をされ、表示部１１４における放射線画像表示領域２０１に表示される。なお、画像処理装置５００は実施形態１で説明をした異常検出部１０３を有していてもよい。異常検出部１０３によって検出された異常と、操作者によって異常入力部５０１に入力された異常とを対比することで、異常検出精度が向上する。また、画像処理装置１００が異常検出部１０３と、異常入力部５０１を有する場合には、例えば、異常検出部１０３が異常を検出する領域を、異常入力部５０１で入力された異常の座標領域外としてもよい。この構成により、操作者による入力による異常情報と、操作者の異常情報の入力がされなかった領域から異常検出部１０３が異常を検出でき、操作者の負荷を軽減しながらも、異物の見逃しを抑制することができる。

図７は、例えば操作部１１１により操作者が異常情報を異常入力部５０１へ入力するための表示部１１４におけるＧＵＩの一例を示す図である。放射線画像撮影制御装置１１０は、光学画像取得装置１３０から光学画像を取得すると、表示部１１４に異常入力画面６００を表示する。異常入力画面６００は、異常入力画面６００と上述の表示画面２００を同じ液晶ディスプレイに表示して切り替えできるように実現してもよいし、別の液晶ディスプレイを設けて異常入力画面６００と表示画面２００を同時に表示するように実現してもよい。

取得した光学画像は、光学画像表示部６０１に表示される。操作者は表示された光学画像を確認し、異常があると判断した場合、異常情報を入力する。異常情報の入力として、まず操作者は異常の座標を指定する。具体的には座標指定開始ボタン６１０を押下し、座標指定モードに移行する。その後、マウスやタブレット等の操作部１０３を介して、光学画像表示部６０１上の異常の座標を指定する。指定された異常に対応する座標は、異常箇所指定領域６４０として光学画像表示部６０１上に重畳表示される。異常箇所指定領域６４０は、指定後にドラッグなどの操作で位置を調整できてもよい。また、指定した異常箇所に誤りがある場合は異常箇所指定領域６４０を選択した状態で異常箇所解除ボタン６１１を押下することで、異常箇所の入力を削除されてもよい。異常箇所の座標として異常箇所指定領域６４０を指定したのち、異常の種別を選択する異常の種別選択部６２０により、異常の種別を入力する。異常の種別選択部６２０はプリセットされた一覧から異常の種別を選択するドロップボックスや、操作者による任意の文字列を入力するテキストボックスなどで実現される。光学画像上の異常箇所を入力した後、異常箇所指定完了ボタン６３０を押下する。これにより、光学画像に対する異常箇所の入力が完了し、異常入力画面６００が終了する。操作者によって異常情報が入力されると、異常入力画面６００で入力された異常箇所を基に、画像処理装置５００は、表示制御部１０４における座標の変換および情報付与が実施され、表示部１１４で表示をする放射線画像と異常情報が生成される。

本実施形態によれば、操作者が光学画像に対して、異常情報を入力し、画像処理装置５００が異常入力部５０１を介して入力を受け付けた異常情報を基に、表示性制御部１０４が放射線画像と光学画像の座標の対応付けを行い、放射線撮影制御装置１１０の表示部１１４に送信をする。これにより、操作者が放射線画像上で確認が必要と判断した異常のみを放射線画像に表示し、検査には影響しない異常を検知しても表示を行うことがなくなるため、操作者の負担を軽減することが可能となる。

（第３の実施形態）
第１や第２の実施形態では、画像処理装置が異常を検出もしくは入力された異常情報に対して、表示制御を行い、表示部１１４に表示をさせる例について説明をした。第三の実施形態では、操作者が表示部１１４に表示をさせる異物の種別を設定する構成について説明をする。

図８は、表示部１１４における操作者が放射線画像に反映する異常の種別を設定するＧＵＩの一例を示す図である。表示部１１４における異常の種別設定画面７００には、異常の種別７２０と、それぞれの異常に対応する異常情報を放射線画像へ反映するかどうかを設定するチェックボックス７１０が含まれる。図８では、放射線画像へ反映する異常として出血および骨折が有効で、痣および発疹の通知が無効として設定された際の例を示す。確定ボタン７３０の押下により、操作者の設定が記憶部１１３に記憶される。画像処理装置１００における表示制御部１０４は、設定された情報に基づいて通知を行う。

図９は、本実施例における画像処理装置１００の異常通知表示処理のデータフロー図である。ステップＳ９００において、画像取得部１０２は、記憶部１１３より放射線画像と、光学画像とさらに放射線画像に反映させる異常の設定情報を取得する。

ステップＳ９０１では、画像取得部１０２が取得した異常の設定情報に基づいて、異常検出部１０３は、異常検出部１０３により検出された異常が、放射線画像に反映させる異常かどうかを判定する。ここで、異常検出部１０３により検出された異常が、設定された異常であれば、該当する異常に関して後段の処理を実行し、設定された異常に該当する異常がない場合は、処理を終了する。例えば図８で示したように出血および骨折が有効で、痣および発疹の通知が無効な設定情報の場合について述べる。この場合に、異常検出部１０３によって検出された異常に出血または骨折に該当する異常があるかを判定する。検出された異常に出血または骨折がある場合には、表示制御部１０４は放射線画像と設定情報に合致すると判定された異常情報を基に、表示部１１４に表示させる放射線表示画像を生成する。一方で、異常検出部１０３による検出された異常に痣または発疹に該当する異常がある場合には、該当する異常に関しては、表示部１１４に表示させる放射線表示画像の生成を行わない。即ち、画像処理装置１００は、ユーザが設定した放射線画像に反映させる異常の設定情報を取得し、異常検出部１０３によって検出された異常のうち、設定情報を満たす異常を放射線画像とともに表示する異常情報とすることを特徴とする。

本実施形態によれば、放射線画像表示領域２０１上に表示される異常箇所が、操作者の望む異常にだけに限定されることにより、必要な異常のみを放射線画像上に表示をすることで、検査には影響しない異常を検知しても表示を行うことがなくなるため、操作者の負荷を軽減することが可能となる。

（変形例）
上述までの実施形態１乃至３では、画像処理を行う画像処理装置１００が独立した装置として説明を行った。しかしながら、図１０に示すように、画像処理装置１００の構成が、画像処理部１００１として放射線撮影制御装置内の構成の一部とされてもよい。また、画像処理装置１００や画像処理部１００１は、他の装置内の構成の一部とされても、クラウド上に実現されても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００画像処理装置
１０２画像取得部
１０３異常検出部
１０４表示制御部
１１３記憶部
１１４表示部

Claims

被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得部と、前記画像取得部によって取得された前記光学画像から前記被検体に関する異常を検出する異常検出部と、前記異常検出部によって前記光学画像から異常が検出された場合に、検出された前記異常に関する異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御部とを備える画像処理装置。
前記異常検出部は、機械学習に基づいて前記異常を検出することを特徴とする請求項１に記載の画像処理装置。
前記異常情報は、前記異常の種別と、前記異常の前記光学画像上の座標を含むことを特徴とする請求項１または２に記載の画像処理装置。
前記表示制御部は、前記光学画像上の座標と、前記放射線画像上の座標を対応付ける対応付け情報を生成することを特徴とする請求項３に記載の画像処理装置。
前記表示制御部は、前記対応付け情報に基づいて光学画像から検出された異常情報を、放射線画像上で表示させることを特徴とする請求項４に記載の画像処理装置。
前記表示制御部は、前記異常情報と対応付け情報とに基づいて、前記光学画像より検出された前記異常を光学画像の座標と対応する放射線画像の座標上に表示させることを特徴とする請求項５に記載の画像処理装置。
前記画像処理装置は、操作者から前記操作者が発見した異物に関する異常情報の入力を受け付ける異常入力部を有することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
前記画像処理装置は、操作者が設定した前記放射線画像に反映させる異常の設定情報を取得し、前記異常検出部によって検出された異常のうち、前記設定情報を満たす異常を前記放射線画像とともに表示する異常情報とすることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
前記異常検出部は、前記被検体の皮膚の変色、腫れ、出血、痣、骨折のうちのすくなくともいずれかを前記異常として検出することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
被検体を光学撮影した光学画像と、前記被検体を放射線撮影した放射線画像とを取得する画像取得ステップと、画像取得ステップによって取得された光学画像から異常を検出する異常検出ステップと、異常検出ステップによって前記光学画像から前記異常が検出された場合に、検出された異常情報に基づくオブジェクトを放射線画像とともに表示する表示制御ステップとを備える画像処理方法。
請求項１０に記載の画像処理方法をコンピュータで実行するためのプログラム。