JP2021049248A - 画像処理システム及びその制御方法 - Google Patents
画像処理システム及びその制御方法 Download PDFInfo
- Publication number
- JP2021049248A JP2021049248A JP2019175334A JP2019175334A JP2021049248A JP 2021049248 A JP2021049248 A JP 2021049248A JP 2019175334 A JP2019175334 A JP 2019175334A JP 2019175334 A JP2019175334 A JP 2019175334A JP 2021049248 A JP2021049248 A JP 2021049248A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- information
- processing system
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims description 62
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000010365 information processing Effects 0.000 claims description 2
- 208000025865 Ulcer Diseases 0.000 description 103
- 231100000397 ulcer Toxicity 0.000 description 103
- 239000002131 composite material Substances 0.000 description 50
- 208000004210 Pressure Ulcer Diseases 0.000 description 47
- 238000005259 measurement Methods 0.000 description 39
- 206010011985 Decubitus ulcer Diseases 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 238000011156 evaluation Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 24
- 238000000605 extraction Methods 0.000 description 20
- 238000010191 image analysis Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 241000282341 Mustela putorius furo Species 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000037380 skin damage Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
ポケット203の全周囲に沿ってマーキングを行った状態である。全周囲に沿った複数のマーキングから、ポケット203の外周の形状を判断することができ、ポケット203を評価することができる。
実施例1では、撮影画像から褥瘡の潰瘍面の面積計測を行い、更に、ポケット領域の大きさを計測できるような合成画像を作成する手順について説明する。
クが挙げられる。なお、Wi−Fi(登録商標)を用いた通信はルーターを介して実現されてもよい。また、通信部218はUSBやLANなど有線の通信インターフェースにより実現されてもよい。
ても用いられることが多い。そして、深層学習を行う処理においても、GPUが用いられることが一般的である。なお、補助演算部317として、FPGA(field−programmable gate array)やASICなどを用いてもよい。
て入力画像から褥瘡のエリアを推定する。また、ニューラルネットワークのモデルとして、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク FCN(Fully Convolutional Network)を適用したとする。深層学習の推論は、積和演算の並列実行を得意とするGPU(補助演算部317に含まれる)を用いて行われる。なお、推論処理はFPGAやASICなどにより実行されてもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。
219は、ステップS706で生成した距離情報(被写体距離)も画像処理装置3に送信する。本撮影時に距離情報を再度生成し、本撮影時の距離情報を画像処理装置3に送信してもよい。
る。図11は、図2と同様に、ポケット1100、ポケット1100の入り口部である潰瘍面1101、ライト先端の経路1102、ポケット1100の最深部(端)に到達した時点でのライト先端の位置に対応する点1103を示す。ポケット1100として、皮下部分でみえない面を概念的に図示している。経路1102上の点は、複数のタイミングにそれぞれ対応する、ライト先端の複数の位置を示す。
ュー表示の画面である。動画解析により得られたマーキング位置1204とポケット形状1205が表示されている。さらに、画面1301と隣接して、マーキング位置を編集するマーキング位置編集メニュー1302が表示されている。マーキング位置編集メニュー1302は複数の項目1303を含み、ユーザーは複数の項目1303のいずれかを選択することができる。ここでは、複数の項目1303は、「追加」と「移動」と「削除」の3つの項目を含むとする。画面1301では、「追加」が選択されている。
0では、図14(A)のラベル1401の代わりに、ラベル1411が重畳されている。ラベル1411には、潰瘍面領域の面積値を示す文字列1402だけでなく、ポケットの面積値を示す文字列1412も記述されている。ポケットの面積値も、潰瘍面領域の面積値と同様に、被写体距離などに基づいて算出される。さらに、図14(B)の重畳画像1410では、ポケット領域1413と潰瘍面領域1414とが異なる色で塗りつぶされている。このように色分けすることで、ポケット領域1413と潰瘍面領域1414を視覚的に正確に判別することが可能となる。
紐づくデータ(被検体情報)が記録されている場合は、被験者情報を更新する。
のステップS728と同様の手法で行う。ここで、ライトでの計測中は潰瘍面領域がライトや作業者の手で隠れてしまうことも考えられる。そのような場合を考慮して、例えば、図17のように潰瘍面の近くにマーカー1701,1702を配置し、配置されたマーカーを、ライト領域を合成するため基準として検出してもよい。図17の例では、計測中にマーカーが隠れてしまう場合を考慮して、2つのマーカー1701,1702を配置している。なお、マーカーは3つ以上配置してもよい。また、患者(被験者)の体部に特徴となるようなものがあれば、それを基準としてもよい。
装置3のCPU310は、ステップS1610で抽出した特徴点(基準画像の潰瘍面領域の特徴点)とステップS1611で抽出した特徴点(対象画像の潰瘍面領域の特徴点)とのマッチングを行う。このマッチングにより、基準画像と対象画像の間で互いに対応する特徴点を識別する。ステップS1613では、画像処理装置3のCPU310は、ステップS1612のマッチング結果を基にして、対象画像の潰瘍面領域が基準画像の潰瘍面領域と同一の領域(平面)になるような射影変換の逆行列を算出する。ステップS1614では、画像処理装置3のCPU310は、ステップS1613で算出した逆行列を使って、対象画像の射影変換を行う。このような射影変換を行うことで、被写体に対する撮像装置2の向きの変化を抑えた画像を得ることが可能となる。
て、ステップS1913で画像処理装置3が送信した合成画像を受信する。
像して、画像処理装置3で動画解析してポケット形状が分かる合成画像を作成することができる。また、その合成画像を撮像装置2に送信して、ユーザーがポケット領域を簡単に指定することができる。
実施例1では、撮像装置2と画像処理装置3を別々の装置としたが、画像処理装置3の機能構成は撮像装置2に設けてもよい(撮像装置2と画像処理装置3が一体で構成されてもよい)。そのようにすることで、撮像装置2が画像処理装置3と通信するといった処理が不要となり、処理負荷を低減することができる。また、実施例1では、ポケット領域が分かる合成画像を撮像装置2に送信して、撮像装置2上でユーザーがポケット外周を入力する構成としたが、ポケット外周の入力は必ずしも撮像装置2に対し行う必要は無い。例えば、合成画像は画像処理装置3に保存しておき、画像処理装置3にディスプレイやマウスといった入出力デバイスを接続して、ユーザーが画像処理装置3にポケット外周を入力することも考えられる。また、合成画像は画像処理装置3に保存しておき、画像処理装置3とは異なる他の画像処理装置(PC、スマートフォン、タブレットなど)にユーザーがポケット外周を入力し、他の画像処理装置から画像処理装置3にポケット外周を通知することも考えられる。
実施例1では、潰瘍面領域の面積算出と、ポケット領域の大きさが分かる合成画像の作成とを同じタイミング(同じフローチャート)で実施したが、それらを別々のタイミングで実施してもよい。例えば、病院の事情で、潰瘍面領域の測定と、ライトを使ったポケット領域の測定とを別々のタイミングで行うことも考えられる。そのような状況で、図14(B)の重畳画像1410(合成画像)のように潰瘍面領域とポケット領域(塗りつぶし画像)を重畳しようとしたとする。そのような場合、潰瘍面領域の測定のタイミングと、ポケット領域の測定のタイミングとの間で、測定時の患者の姿勢が大きく変わること等により、撮像装置2と患者の間の距離が変わることがある。このため、潰瘍面領域またはポケット領域を正しい大きさで重畳することができない。そのような場合は、撮影時の焦点距離を使って、片方の画像(領域)を拡大または縮小することで、正しい大きさで潰瘍面領域とポケット領域を重畳した合成画像を得ることが可能となる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
2:撮像装置
211:撮像部 217:画像処理部 219:システム制御部 222:表示部
223:操作部
3:画像処理装置
310:中央演算処理部(CPU) 313:入力部 314:出力部
Claims (21)
- 撮影された画像に関する情報を取得する取得手段と、
前記取得手段により取得された前記情報より、患部内を移動するライトの位置を検出する検出手段と、
前記検出手段により検出された複数の位置からライトの移動の軌跡に関する情報を提供する提供手段と
を有することを特徴とする画像処理システム。 - 前記画像内には、患部と共に患部内のライトが含まれる
ことを特徴とする請求項1に記載の画像処理システム。 - 前記取得手段は、ライトが所定距離移動するごとの画像、もしくは所定時間ごとの画像に関する情報を取得する
ことを特徴とする請求項1または2に記載の画像処理システム。 - 前記提供手段は、前記ライトの移動の軌跡と、前記複数の位置とを前記患部と共に重畳して表示するように制御する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理システム。 - 前記ライトは、患部内を径方向、かつ、患部の中心付近の所定の領域から患部の端の位置へと移動し、さらに前記所定の領域へと移動することを繰り返す
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理システム。 - 前記画像は、動画の1フレーム、または、前記動画とは別に撮影された静止画である
ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理システム。 - 前記検出手段は、前記画像における所定の特徴をさらに検出し、
前記提供手段は、前記所定の特徴の検出結果に基づいて前記複数の位置を前記患部と共に重畳して表示するように制御する
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理システム。 - 前記所定の特徴は、前記患部のうち外部に露出している部分である
ことを特徴とする請求項7に記載の画像処理システム。 - 前記取得手段は、さらに、前記画像の撮影時における焦点距離の情報を取得し、
前記提供手段は、前記取得手段によって取得された前記焦点距離の情報に基づいて前記複数の位置を前記患部と共に重畳して表示するように制御する
ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記複数の位置を、前記ライトが映っていない前記患部の画像に重畳して表示するように制御する
ことを特徴とする請求項1〜9のいずれか1項に記載の画像処理システム。 - 前記取得手段、前記検出手段、及び、前記提供手段は、撮像装置または情報処理装置に備わっている
ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理システム。 - ユーザーによって指定された前記患部の外周と、前記患部のうち外部に露出している部分とから、前記患部のうち外部に露出していない部分のサイズを算出する算出手段をさら
に有する
ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理システム。 - 前記算出手段は、前記指定された外周で囲まれた部分と、前記外部に露出している部分とから、DESIGN−Rの計算方法で前記外部に露出していない部分のサイズを算出する
ことを特徴とする請求項12に記載の画像処理システム。 - 前記提供手段は、さらに、前記外部に露出している部分を第1の色で表示する第1の制御と、前記指定された外周までの、前記外部に露出していない部分を第2の色で表示する第2の制御との少なくとも一方を行う
ことを特徴とする請求項12または13に記載の画像処理システム。 - 前記提供手段は、前記第1の制御と前記第2の制御の両方を行い、
前記第2の色は、前記第1の色と異なる
ことを特徴とする請求項14に記載の画像処理システム。 - 前記提供手段は、前記第1の制御と前記第2の制御を切り替えて行う
ことを特徴とする請求項14に記載の画像処理システム。 - 焦点距離が前記患部のうち外部に露出している部分を測定するための撮影時と同じになったタイミングで、前記画像の撮影を自動で開始するように制御する制御手段をさらに有する
ことを特徴とする請求項1〜16のいずれか1項に記載の画像処理システム。 - 前記提供手段は、前記ライトの移動の軌跡に関する情報として、ユーザーによって指定された期間の軌跡を除いた軌跡に関する情報を提供する
ことを特徴とする請求項1〜17のいずれか1項に記載の画像処理システム。 - 撮影された画像に関する情報を取得する取得ステップと、
前記取得ステップにおいて取得された前記情報より、患部内を移動するライトの位置を検出する検出ステップと、
前記検出ステップにおいて検出された複数の位置からライトの移動の軌跡に関する情報を提供する提供ステップと
を有することを特徴とする画像処理システムの制御方法。 - コンピュータを、請求項1〜18のいずれか1項に記載の画像処理システムの各手段として機能させるためのプログラム。
- コンピュータを、請求項1〜18のいずれか1項に記載の画像処理システムの各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175334A JP2021049248A (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
US17/032,963 US20210093227A1 (en) | 2019-09-26 | 2020-09-25 | Image processing system and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019175334A JP2021049248A (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021049248A true JP2021049248A (ja) | 2021-04-01 |
Family
ID=75155124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019175334A Pending JP2021049248A (ja) | 2019-09-26 | 2019-09-26 | 画像処理システム及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021049248A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023112441A1 (ja) * | 2021-12-17 | 2023-06-22 | キヤノン株式会社 | 画像表示装置、画像表示方法、プログラム及び記憶媒体 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006057138A1 (ja) * | 2004-11-02 | 2006-06-01 | Koshiya Medical Care Co., Ltd. | 褥瘡ポケット計測器 |
JP2009511163A (ja) * | 2005-10-14 | 2009-03-19 | アプライド リサーチ アソシエイツ エヌゼット リミテッド | 表面特徴を観察する方法とその装置 |
JP2009182535A (ja) * | 2008-01-30 | 2009-08-13 | Casio Comput Co Ltd | 撮像装置、撮影方法、撮影プログラム |
JP2009536847A (ja) * | 2006-05-12 | 2009-10-22 | ケーシーアイ ライセンシング インコーポレイテッド | 創傷部を取り扱うためのシステム及び方法 |
JP2012198142A (ja) * | 2011-03-22 | 2012-10-18 | Tokyo Electric Power Co Inc:The | 面積計測装置および面積計測方法 |
JP2015129746A (ja) * | 2013-12-17 | 2015-07-16 | ゼネラル・エレクトリック・カンパニイ | 異常の表面上の最深点を自動的に識別するための方法およびデバイス |
JP2016137163A (ja) * | 2015-01-28 | 2016-08-04 | カシオ計算機株式会社 | 医療画像処理装置、医療画像処理方法及びプログラム |
JP2017205841A (ja) * | 2016-05-19 | 2017-11-24 | ファナック株式会社 | 物品搬送装置 |
-
2019
- 2019-09-26 JP JP2019175334A patent/JP2021049248A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006057138A1 (ja) * | 2004-11-02 | 2006-06-01 | Koshiya Medical Care Co., Ltd. | 褥瘡ポケット計測器 |
JP2009511163A (ja) * | 2005-10-14 | 2009-03-19 | アプライド リサーチ アソシエイツ エヌゼット リミテッド | 表面特徴を観察する方法とその装置 |
JP2009536847A (ja) * | 2006-05-12 | 2009-10-22 | ケーシーアイ ライセンシング インコーポレイテッド | 創傷部を取り扱うためのシステム及び方法 |
JP2009182535A (ja) * | 2008-01-30 | 2009-08-13 | Casio Comput Co Ltd | 撮像装置、撮影方法、撮影プログラム |
JP2012198142A (ja) * | 2011-03-22 | 2012-10-18 | Tokyo Electric Power Co Inc:The | 面積計測装置および面積計測方法 |
JP2015129746A (ja) * | 2013-12-17 | 2015-07-16 | ゼネラル・エレクトリック・カンパニイ | 異常の表面上の最深点を自動的に識別するための方法およびデバイス |
JP2016137163A (ja) * | 2015-01-28 | 2016-08-04 | カシオ計算機株式会社 | 医療画像処理装置、医療画像処理方法及びプログラム |
JP2017205841A (ja) * | 2016-05-19 | 2017-11-24 | ファナック株式会社 | 物品搬送装置 |
Non-Patent Citations (1)
Title |
---|
松井優子: "褥瘡の評価(DESIGN−R)", 臨床栄養, vol. Vol.124,No.6(臨時増刊号), JPN6023011091, May 2014 (2014-05-01), pages 737 - 742, ISSN: 0005086490 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023112441A1 (ja) * | 2021-12-17 | 2023-06-22 | キヤノン株式会社 | 画像表示装置、画像表示方法、プログラム及び記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839481B1 (en) | Automatic marker-less alignment of digital 3D face and jaw models | |
JP7322097B2 (ja) | 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体 | |
JP4702418B2 (ja) | 撮影装置、画像領域の存否判定方法及びプログラム | |
US10810738B1 (en) | Marker-less alignment of digital 3D face and jaw models | |
CN109171817B (zh) | 三维乳腺超声扫描方法及超声扫描系统 | |
JP5822545B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP2021051573A (ja) | 画像処理装置、および画像処理装置の制御方法 | |
US20210093227A1 (en) | Image processing system and control method thereof | |
JP7028729B2 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
JP2021029676A (ja) | 情報処理装置、検査システム及び情報処理方法 | |
WO2019230724A1 (ja) | 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、これらの制御方法を記憶した記憶媒体 | |
JP7309556B2 (ja) | 画像処理システム及びその制御方法 | |
KR100874186B1 (ko) | 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치 | |
JP2021049248A (ja) | 画像処理システム及びその制御方法 | |
US11599993B2 (en) | Image processing apparatus, method of processing image, and program | |
JP2020065173A (ja) | 画像処理装置、学習装置、画像処理方法、学習方法およびプログラム | |
CN107045594B (zh) | 一种脊柱损伤测量中x射线标志物的数字化系统 | |
WO2022145294A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP7665369B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7536463B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP2023073109A (ja) | 情報処理装置、医用画像診断装置、プログラム及び記憶媒体 | |
JP7317498B2 (ja) | 処理システム、処理装置、処理方法、およびプログラム | |
WO2020184230A1 (ja) | 撮像装置、情報処理装置および画像処理システム | |
JP2009151516A (ja) | 情報処理装置および情報処理装置用操作者指示点算出プログラム | |
JP2021137344A (ja) | 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230620 |