特許 7642613 プログラム、情報処理方法、情報処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-28

(45)【発行日】2025-03-10

(54)【発明の名称】プログラム、情報処理方法、情報処理装置及びモデル生成方法

(51)【国際特許分類】

   A61B 8/12 20060101AFI20250303BHJP

   A61B 1/045 20060101ALI20250303BHJP

   A61B 1/00 20060101ALI20250303BHJP

   G06T 7/00 20170101ALI20250303BHJP

   G06V 10/70 20220101ALI20250303BHJP

【ＦＩ】

A61B8/12

A61B1/045 614

A61B1/00 630

A61B1/045 618

G06T7/00 350B

G06V10/70

【請求項の数】 16

(21)【出願番号】P 2022509529

(86)(22)【出願日】2021-03-09

(86)【国際出願番号】 JP2021009230

(87)【国際公開番号】W WO2021193007

(87)【国際公開日】2021-09-30

【審査請求日】2023-10-13

(31)【優先権主張番号】P 2020058991

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】井口 陽

(72)【発明者】

【氏名】関 悠介

(72)【発明者】

【氏名】坂口 雄紀

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１０－１７２４３４（ＪＰ，Ａ）

【文献】特表２０１７－５０３５６１（ＪＰ，Ａ）

【文献】特開２０１３－１０２８５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ － ８／１５

Ａ６１Ｂ １／００ － １／３２

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

生体管腔内に挿入可能なカテーテルで検出した信号に基づき生成された医用画像と、前記カテーテルが接続された画像診断装置の操作情報とを取得し、
前記操作情報に基づき、前記医用画像の生成時点が検査前であるか否かを判定し、
画像不良が発生している前記医用画像と、検査前であるか否かの判定結果とを入力した場合に、前記画像不良の原因を出力するよう学習済みのモデルに、取得した前記医用画像と、検査前であるか否かの判定結果とを入力して前記画像不良の原因を推定し、
推定した前記画像不良の原因を除去するための対応策を案内する案内情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記生体管腔の長手方向に沿って生成された複数の前記医用画像を取得し、
前記複数の医用画像を前記モデルに入力して、前記画像不良の原因を推定する
請求項１に記載のプログラム。

【請求項3】

前記案内情報を出力した場合、前記対応策を実施後の前記医用画像を再取得し、
再取得した前記医用画像を前記モデルに入力して再推定を行う
請求項１又は２に記載のプログラム。

【請求項4】

前記生体管腔内に前記カテーテルが挿入された状態で生成された前記医用画像を取得し、
取得した前記医用画像を前記モデルに入力して、前記カテーテルの破損の予兆を検出する
請求項１又は２に記載のプログラム。

【請求項5】

前記破損の予兆を検出した場合、前記破損を回避するための前記カテーテルの操作方法を示す前記案内情報を出力する
請求項４に記載のプログラム。

【請求項6】

前記破損の予兆を検出した場合、前記カテーテルの交換を促す前記案内情報を出力する
請求項４に記載のプログラム。

【請求項7】

前記生体管腔内に前記カテーテルが挿入された状態で生成された前記医用画像と、該医用画像の生成時点における前記生体管腔の透視画像とを取得し、
前記医用画像及び透視画像に基づき、前記画像不良の原因を推定して前記案内情報を出力する
請求項１～６のいずれか１項に記載のプログラム。

【請求項8】

前記医用画像及び透視画像に基づき、前記画像不良の原因と、前記カテーテルの挿入位置とを推定し、
推定した前記画像不良の原因及び挿入位置に応じた前記カテーテルの操作方法を示す前記案内情報を出力する
請求項７に記載のプログラム。

【請求項9】

前記案内情報を出力後、前記モデルに基づく推定結果を修正する修正入力を受け付け、
推定対象とした前記医用画像と、修正後の前記推定結果とに基づく再学習を行い、前記モデルを更新する
請求項１～８のいずれか１項に記載のプログラム。

【請求項10】

前記医用画像を入力した場合に、該医用画像内のアーチファクトに対応する画像領域を検出した検出結果を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記アーチファクトに対応する画像領域を検出し、
検出結果を前記医用画像と関連付けて出力する
請求項１～９のいずれか１項に記載のプログラム。

【請求項11】

前記医用画像を入力した場合に、前記医用画像内の検査対象のオブジェクトに対応する画像領域を検出した検出結果を出力するよう学習済みのモデルに、取得した前記医用画像を入力して前記オブジェクトに対応する画像領域を検出し、
検出結果を前記医用画像と関連付けて出力する
請求項１～１０のいずれか１項に記載のプログラム。

【請求項12】

生体管腔内に挿入可能なカテーテルで検出した信号に基づき生成された医用画像と、前記カテーテルが接続された画像診断装置の操作情報とを取得し、
前記操作情報に基づき、前記医用画像の生成時点が検査前であるか否かを判定し、
画像不良が発生している前記医用画像と、検査前であるか否かの判定結果とを入力した場合に、前記画像不良の原因を出力するよう学習済みのモデルに、取得した前記医用画像と、検査前であるか否かの判定結果とを入力して前記画像不良の原因を推定し、
推定した前記画像不良の原因を除去するための対応策を案内する案内情報を出力する
処理をコンピュータが実行する情報処理方法。

【請求項13】

生体管腔内に挿入可能なカテーテルで検出した信号に基づき生成された医用画像と、前記カテーテルが接続された画像診断装置の操作情報とを取得する取得部と、
前記操作情報に基づき、前記医用画像の生成時点が検査前であるか否かを判定する判定部と、
画像不良が発生している前記医用画像と、検査前であるか否かの判定結果とを入力した場合に、前記画像不良の原因を出力するよう学習済みのモデルに、取得した前記医用画像と、検査前であるか否かの判定結果とを入力して前記画像不良の原因を推定する推定部と、
推定した前記画像不良の原因を除去するための対応策を案内する案内情報を出力する出力部と
を備える情報処理装置。

【請求項14】

生体管腔内に挿入可能なカテーテルで検出した信号に基づき生成された医用画像であって、画像不良が発生している前記医用画像と、前記カテーテルが接続された画像診断装置の操作情報とに対し、前記画像不良の原因を示すデータが付与された訓練データを取得し、
前記訓練データに基づき、画像不良が発生している前記医用画像と、前記操作情報から判定される検査前であるか否かの判定結果とを入力した場合に前記画像不良の原因を出力する学習済みモデルを生成する
処理をコンピュータが実行するモデル生成方法。

【請求項15】

生体管腔内に挿入された状態のカテーテルで検出した信号に基づき生成された医用画像を取得し、
画像不良が発生している前記医用画像を入力した場合に、前記カテーテルの破損の予兆を検出するよう学習済みのモデルに、取得した前記医用画像を入力して前記カテーテルの破損の予兆を検出し、
前記破損の予兆を検出した場合、前記画像不良の原因を除去するための対応策を案内する案内情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項16】

生体管腔内に挿入された状態のカテーテルで検出した信号に基づき生成された医用画像と、該医用画像の生成時点における前記生体管腔の透視画像とを取得し、
画像不良が発生している前記医用画像と、前記透視画像とを入力した場合に、前記画像不良の原因を出力するよう学習済みのモデルに、取得した前記医用画像及び透視画像を入力して前記画像不良の原因を推定し、
推定した前記画像不良の原因を除去するための対応策を案内する案内情報を出力する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

超音波診断装置、Ｘ線写真撮影装置、Ｘ線ＣＴ装置など、人体内部を画像化する医用画像診断装置が広く普及しており、その画像診断装置の故障、破損などを検知する手法が提案されている。例えば特許文献１では、医用画像機器から得られた医用画像を、装置の故障等に起因して異常な現象が現れている典型画像と比較し、異常な現象が現れている場合に対症事例を表示する医用画像機器故障診断支援装置等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１７２４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は単なる典型画像とのパターンマッチングで異常を検出するものであり、必ずしも精度の良いものとはいえない。

【0005】

一つの側面では、医用画像で発生する画像不良の原因を好適に除去することができるプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、生体管腔内に挿入可能なカテーテルで検出した信号に基づき生成された医用画像と、前記カテーテルが接続された画像診断装置の操作情報とを取得し、前記操作情報に基づき、前記医用画像の生成時点が検査前であるか否かを判定し、画像不良が発生している前記医用画像と、検査前であるか否かの判定結果とを入力した場合に、前記画像不良の原因を出力するよう学習済みのモデルに、取得した前記医用画像と、検査前であるか否かの判定結果とを入力して前記画像不良の原因を推定し、推定した前記画像不良の原因を除去するための対応策を案内する案内情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、医用画像で発生する画像不良の原因を好適に除去することができる。

【図面の簡単な説明】

【0008】

【図1】画像診断システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】画像診断装置において発生する画像不良に関する説明図である。

【図4】推定モデルに関する説明図である。

【図5】画像不良の案内手順を示すフロー図である。

【図6】画像診断装置の表示画面例を示す説明図である。

【図7】推定モデルの生成処理の手順を示すフローチャートである。

【図8】画像不良の推定処理の手順を示すフローチャートである。

【図9】実施の形態２に係るサーバの構成例を示すブロック図である。

【図10】アーチファクトに関する説明図である。

【図11】検出モデルに関する説明図である。

【図12】実施の形態２に係る画像診断装置の表示画面例を示す説明図である。

【図13】検出モデルの生成処理の手順を示すフローチャートである。

【図14】画像不良推定及びアーチファクト検出の処理手順を示すフローチャートである。

【図15】実施の形態３に係る検出モデルに関する説明図である。

【図16】実施の形態３に係る画像診断装置の表示画面例を示す説明図である。

【図17】実施の形態３に係る検出モデルの生成処理の手順を示すフローチャートである。

【図18】アーチファクト及びオブジェクト検出処理の手順を示すフローチャートである。

【図19】実施の形態４に係る推定モデルに関する説明図である。

【図20】実施の形態４に係る推定モデルの生成処理の手順を示すフローチャートである。

【図21】実施の形態４に係る画像不良の推定処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、画像診断装置２から取得した医用画像から、画像診断装置２の不適切な使用、破損、故障等に起因する画像不良の有無及び原因を推定し、当該画像不良の原因を除去するための対応策をユーザ（医療従事者）に提示する画像診断システムについて説明する。画像診断システムは、情報処理装置１、画像診断装置２を含む。情報処理装置１及び画像診断装置２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。

【0010】

画像診断装置２は、被検者の生体管腔内をイメージングするための装置ユニットであり、例えばカテーテル２１を用いた被検者血管内の超音波検査を行うための装置ユニットである。画像診断装置２は、カテーテル２１、ＭＤＵ（Motor Drive Unit）２２、画像処理装置２３、表示装置２４を備える。カテーテル２１は被検者の血管内に挿入される医用器具であり、パルス信号に基づく超音波を送信すると共に血管内からの反射波を受信するイメージングコアを備える。画像診断装置２は、カテーテル２１で受信した反射波の信号に基づいて血管内の断層像（医用画像）を生成する。ＭＤＵ２２は、カテーテル２１が着脱可能に取り付けられた駆動装置であり、使用者の操作に応じて内蔵モータを駆動することにより、血管内におけるカテーテル２１のイメージングコアの長手方向及び回転方向の動作を制御する。画像処理装置２３は、カテーテル２１で受信した反射波のデータを処理して断層像を生成する処理装置であり、生成した断層像を表示装置２４に表示させるほか、検査を行う際の各種設定値の入力を受け付けるための入力インターフェイスなどを備える。

【0011】

なお、本実施の形態では血管内検査を一例として説明するが、検査対象とする生体管腔は血管に限定されず、例えば腸などの臓器であってもよい。また、医用画像は超音波画像に限定されず、例えばＯＣＴ（Optical Coherence Tomography）画像などであってもよい。

【0012】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断装置２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２に通信接続されたクラウドサーバであってもよい。サーバ１は、画像診断装置２で生成された医用画像から画像不良の有無及び原因を推定する推定装置として機能し、推定結果を画像診断装置２に提供する。具体的には後述のように、サーバ１は、訓練データを学習する機械学習を行い、医用画像を入力として、医用画像における画像不良の有無及び原因を推定した推定結果を出力する推定モデル１４１（図４参照）を予め用意してある。サーバ１は、画像診断装置２から医用画像を取得し、推定モデル１４１に入力して画像不良の有無及び原因を推定する。画像不良があると推定した場合、サーバ１は、画像不良の原因を除去するための対応策を案内する案内情報を画像診断装置２に出力し、表示させる。

【0013】

なお、本実施の形態では画像診断装置２とは別体のサーバ１において画像不良の推定を行うものとするが、サーバ１が機械学習によって生成した推定モデル１４１を画像診断装置２（画像処理装置２３）にインストールし、画像診断装置２で画像不良の推定を可能としてもよい。

【0014】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0015】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、推定モデル１４１を記憶している。推定モデル１４１は、上述の如く訓練データを学習済みの機械学習モデルであり、医用画像を入力として、画像不良の有無及び原因を推定した推定結果を出力するモデルである。推定モデル１４１は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。

【0016】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0017】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

【0018】

図３は、画像診断装置２において発生する画像不良に関する説明図である。図３に基づき、本実施の形態で推定対象とする画像不良について説明する。
画像診断装置２でイメージングする医用画像には、画像診断装置２の不適切な使用、破損、故障等に起因して、種々の画像不良が発生し得る。図３では、画像診断装置２で発生する代表的な画像不良を、その画像不良の原因箇所と対比する形で例示している。

【0019】

例えば画像不良の原因としては、エアトラップ、カテーテル２１内部のドライブシャフトの断線、カテーテル２１内部のドライブシャフトの回転阻害、カテーテル２１とＭＤＵ２２との接続不良、ＭＤＵ２２の故障などがある。エアトラップに起因する画像不良は、カテーテル２１先端のエアトラップに気泡が残っていることで発生する。検査前のプライミングでエアトラップの気泡が充分に除去されていない場合、気泡によって超音波が減衰し、画像の一部又は全部が暗くなる。また、カテーテル２１先端の振動子上に気泡が存在する場合、ドライブシャフトの回転に合わせて画像の暗い部分が回転するという現象が発生する。なお、図３では便宜上、画像の一部が暗くなっている様子をハッチングで図示している。

【0020】

また、カテーテル２１のドライブシャフトの断線が生じた場合、画像全体が暗くなり、かつ、中心付近のリングダウン（Ring-Down、画像中心付近に出現する白いリング状の像）が消失する。また、断線の予兆がある場合、画像自体の回転、あるいはＮＵＲＤ（Non-Uniformed Rotational Distortion、回転不良による画像の歪み）などの現象が発生する。断線の理由は様々だが、例えばカテーテル２１が血管内の狭窄部（プラーク等で狭くなった部位）に挿入された場合、ドライブシャフトのキンク（折れ、よれ、潰れなど）が生じる。ドライブシャフトのキンクが生じた状態でカテーテル２１を無理に前後に動かした場合、断線が発生する恐れがある。

【0021】

また、カテーテル２１のドライブシャフトの回転が阻害されている場合、画像内にモザイク状、うろこ状等の模様が発生する。当該現象はドライブシャフトの捻じれが原因で発生し、ドライブシャフトが捻じれた状態で使用を継続すると回転が阻害され、画像不良が発生する。

【0022】

また、カテーテル２１とＭＤＵ２２との接続不良が発生している場合、画像が暗くなる、あるいは放射状、砂嵐状の像が現れるなどの現象が発生する。また、ＭＤＵ２２の故障（例えばエンコーダの不良、フェライトコアが外れる）に起因して、画像全体が暗くなる、あるいは画像の一部（図３で右下端に示すハッチング部分）の輝度が高くなるなどの現象が発生する。

【0023】

本実施の形態でサーバ１は、これらの画像不良の有無及び原因（種類）を医用画像から推定する。そしてサーバ１は、画像不良の原因を除去するための対応策をユーザに案内する案内情報を出力する。なお、上記の画像不良及びその原因は一例であって、上記に限定されない。

【0024】

図４は、推定モデル１４１に関する説明図である。推定モデル１４１は、画像不良が発生している医用画像を入力した場合に、画像不良の原因を推定した推定結果を出力する機械学習モデルである。サーバ１は、所定の訓練データを学習する機械学習を行って推定モデル１４１を事前に生成しておき、画像診断装置２から医用画像を取得して推定モデル１４１に入力して、画像不良の有無及び原因を推定する。図４に基づき、推定モデル１４１について説明する。

【0025】

なお、後述するように、推定モデル１４１に入力する医用画像は、被験者の血管（生体管腔）内にカテーテル２１を挿入した状態の検査中の画像である場合もあれば、検査前のテスト画像である場合もある。検査前及び検査中の画像不良の推定、並びに検査前及び検査中に応じた画像不良の案内について、詳しくは後述する。

【0026】

推定モデル１４１は、例えば深層学習によって生成されるニューラルネットワークモデルであり、多数のコンボリューション層で入力画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）である。推定モデル１４１は、入力画像の画素情報を畳み込むコンボリューション層と、畳み込んだ画素情報をマッピングするプーリング層とが交互に連結された中間層（隠れ層）を備え、入力画像の特徴量（特徴量マップ）を抽出する。

【0027】

なお、本実施の形態では推定モデル１４１がＣＮＮであるものとして説明するが、例えばＧＡＮ（Generative Adversarial Network）、ＲＮＮ（Recurrent Neural Network）、ＳＶＭ（Support Vector Machine）、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。

【0028】

サーバ１は、訓練用の医用画像に対し、当該医用画像における画像不良の有無、及び画像不良がある場合はその原因を示すデータがラベリングされた訓練データを用いて学習を行う。具体的には、訓練用の各医用画像には、画像が正常であることを示す「正常」、又は画像不良の原因を示す「エアトラップ」、「接続不良」、「断線」、「回転阻害」、「ＭＤＵ故障」のいずれかのラベル（メタデータ）が付与されている。サーバ１は訓練データを推定モデル１４１に与え、学習を行う。

【0029】

なお、本実施の形態では正常な医用画像も訓練データとして学習するものとするが、正常な医用画像を訓練データに含めず、画像不良が発生している医用画像のみを学習してもよい。この場合、サーバ１は、各画像不良が発生している確率値を総合的に判断し、例えば全ての画像不良の確率値が閾値以下（例えば７０％以下）の場合には正常であるものと推定すればよい。あるいは、ユーザが目視で画像不良の有無を判断し、画像不良があると判断した場合はサーバ１に画像を送信して、画像不良の原因推定をサーバ１に実行させてもよい。このように、推定モデル１４１は、少なくとも画像不良が発生している医用画像を入力した場合に、当該画像不良の原因を推定可能であればよく、画像不良の有無まで推定する構成は必須ではない。

【0030】

サーバ１は、訓練用の断層像を推定モデル１４１に入力して、画像不良の有無及び原因を推定した推定結果を出力として取得する。具体的には、「正常」、「エアトラップ」等の各ラベルに対応する確率値を出力として取得する。なお、推定モデル１４１からの出力は確率値ではなく、そのラベルに該当するか否かを二値（「０」又は「１」）で判定した値であってもよい。

【0031】

サーバ１は、推定モデル１４１から出力された推定結果を、訓練データの正解値と比較し、両者が近似するように、ニューロン間の重み等のパラメータを更新する。サーバ１は、訓練用の各医用画像を推定モデル１４１に順次入力してパラメータを更新し、最終的に推定モデル１４１を生成する。

【0032】

本実施の形態では、推定モデル１４１は、時系列で連続する複数フレームの医用画像（動画）を入力として受け付け、複数フレームの医用画像から画像不良の有無及び原因を推定する。具体的には、推定モデル１４１は、カテーテル２１の走査に従い、血管の長手方向に沿って連続する複数フレームの医用画像を入力として受け付ける。推定モデル１４１は、時間軸ｔに沿って連続する複数フレームの医用画像から画像不良の有無及び原因を推定する。

【0033】

なお、以下の説明では便宜上、連続する各フレームの医用画像を単に「フレーム画像」と呼ぶ。

【0034】

サーバ１は、各フレーム画像を推定モデル１４１に一枚ずつ入力して処理してもよいが、連続する複数のフレーム画像を同時に入力して推定を行えるようにすると好適である。例えばサーバ１は、推定モデル１４１を、３次元の入力データを取り扱う３Ｄ－ＣＮＮ（例えばＣ３Ｄ）とする。そしてサーバ１は、２次元のフレーム画像の座標を２軸とし、各フレーム画像を取得した時間ｔを１軸とする３次元データとして取り扱う。サーバ１は、所定の単位時間分の複数フレーム画像（例えば１６フレーム）を一セットとして推定モデル１４１に入力し、複数のフレーム画像から単一の推定結果（各ラベルの確率値）を出力する。これにより、時系列で連続する前後のフレーム画像も考慮して推定を行うことができ、推定精度を向上させることができる。

【0035】

なお、上記では時間軸も含めた３次元データとすることで時系列のフレーム画像を処理可能としたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、推定モデル１４１を、ＣＮＮとＲＮＮとを組み合わせたモデルとすることで、連続する複数フレーム画像のから画像不良を推定可能としてもよい。この場合、例えばＣＮＮに係る中間層の後ろにＬＳＴＭ（Long-Short Term Memory）層を挿入し、複数のフレーム画像それぞれから抽出した特徴量に基づいて推定を行う。この場合でも上記と同様に、連続する複数フレーム画像を考慮して検出精度を向上させることができる。

【0036】

さらに本実施の形態では、推定モデル１４１への入力として、医用画像以外に、医用画像の生成時における画像診断装置２の操作情報を入力に用いる。操作情報は、ユーザによる画像診断装置２の操作状況を示すログであり、画像診断装置２を使用した被検者の検査状況を識別可能なデータである。

【0037】

具体的には、サーバ１は、医用画像の生成時点の操作情報から、当該時点が検査前であるか、又は検査中（あるいは検査後）であるかを判定する。そしてサーバ１は、検査前又は検査中を判定した判定結果を、当該時点に対応する医用画像と共に推定モデル１４１に入力する。なお、検査前はカテーテル２１が被験者の血管内に挿入されていない状態（検査前のテスト）を表し、検査中はカテーテル２１が被験者の血管内に挿入された状態を表す。

【0038】

例えばサーバ１は、医用画像の属性を示すカテゴリ変数として、検査前であるか、又は検査中であるかを示す二値のデータを推定モデル１４１に入力する。訓練データには、医用画像と対応付けて操作情報が入力用データとして含まれており、サーバ１は、操作情報から判定した検査前又は検査中の判定結果も推定モデル１４１に入力して学習を行う。

【0039】

一般的に、画像診断装置２では検査中であるか否かに応じて、検査中に発生しやすい画像不良と、検査中に関わらず発生する画像不良とがある。例えば上述の断線又は断線の予兆、回転阻害等に起因する画像不良は、カテーテル２１を操作している検査中に発生しやすい。一方で、エアトラップ、接続不良等に起因する画像不良は検査中であるか否かに関わらず発生するため、検査前であっても発見しやすい。そこで、推定モデル１４１に医用画像生成時の検査状況も含めて学習させることで、推定精度を向上させることができる。

【0040】

サーバ１は、上述の如く訓練データを学習して推定モデル１４１を生成する。実際に画像不良の推定を行う場合、サーバ１は、画像診断装置２から医用画像を取得して推定モデル１４１に入力し、画像不良の有無及び原因を推定する。なお、画像不良の推定は検査時にリアルタイムで行ってもよく、あるいは録画された医用画像を検査後に取得して処理を行ってもよい。本実施の形態では一例として、検査時にリアルタイムで処理を行うものとする。

【0041】

サーバ１は、リアルタイムで画像診断装置２から医用画像を取得し、画像不良の推定を行う。そしてサーバ１は、画像不良があると推定した場合、画像不良の推定結果と、推定した画像不良の原因を除去するための案内情報とを画像診断装置２に出力する。

【0042】

なお、本実施の形態では案内情報の出力先が画像診断装置２であるものとして説明するが、画像診断装置２以外の装置（例えばパーソナルコンピュータ）に出力してもよいことは勿論である。

【0043】

案内情報は、画像不良の原因を除去するための対応策を示す情報であり、例えばカテーテル２１の点検方法（プライミング等）、カテーテル２１の破損を回避するための正しい操作方法、部品交換、あるいはメーカへの連絡の必要性などを示すメッセージである。本実施の形態でサーバ１は、推定した画像不良の原因がユーザ自身で除去可能な場合は、その原因を除去するために必要な点検、操作、又は部品交換を促す案内情報を出力する。一方、画像不良の原因をユーザ自身では除去不可能な場合、サーバ１は、メーカ等への連絡を促す案内情報を出力する。

【0044】

例えばエアトラップに起因する画像不良が発生しているものと推定した場合、プライミングを促す案内情報を出力する。また、接続不良が発生しているものと推定した場合、カテーテル２１及びＭＤＵ２２の接続の確認を促す案内情報を出力する。また、カテーテル２１の断線又は断線の予兆、あるいは回転阻害などの破損の可能性があると推定した場合、断線等を回避するための正しい操作やカテーテル２１の交換を促す案内情報を出力する。一方で、ＭＤＵ２２の故障が発生しているものと推定した場合、ＭＤＵ２２の修理はユーザで行えないため、製造元のメーカへの連絡を促す案内情報を出力する。

【0045】

図５は、画像不良の案内手順を示すフロー図である。図５では、検査時に画像不良を推定し、各画像不良の原因を案内する際の手順を概念的に図示してある。図５に基づき、画像不良の案内手順について説明する。

【0046】

サーバ１は、検査時に画像診断装置２の操作情報を取得する。そしてサーバ１は、操作情報から、検査前であるか、又は検査中であるか判定する。検査前であるか否かに応じて、サーバ１は以下のように処理を分岐する。

【0047】

検査前であると判定した場合、サーバ１は、検査前の医用画像（テスト画像）を画像診断装置２から取得し、推定モデル１４１に入力して画像不良の有無及び原因を推定する。なお、上述の如く、サーバ１は、検査前であるか否かを判定した判定結果を医用画像と共に推定モデル１４１に入力する。

【0048】

サーバ１は、所定の画像不良が発生しているか否か、推定モデル１４１から出力された推定結果に基づいて判定する。具体的には、サーバ１は、接続不良、又はエアトラップに起因する画像不良が発生しているか否か判定する。なお、検査前の段階で、断線等、その他の原因の画像不良が発生しているか判定してもよい。

【0049】

所定の画像不良が発生していると判定した場合、サーバ１は、その画像不良の原因に応じた案内情報を出力する。具体的には、サーバ１は、エアトラップに起因する画像不良が発生していると判定した場合、プライミングを促す案内情報を出力する。また、サーバ１は、カテーテル２１とＭＤＵ２２との接続不良が発生していると判定した場合、カテーテル２１及びＭＤＵ２２の接続の確認を促す案内情報を出力する。

【0050】

なお、接続不良が発生していると判定した場合、サーバ１は、接続確認後の医用画像を画像診断装置２から再取得し、推定モデル１４１に入力して再推定を行う。再推定の結果、接続不良とは別に、エアトラップに起因する画像不良が発生しているか否か判定する。エアトラップに起因する画像不良が発生していると判定した場合、サーバ１は、プライミングを促す案内情報を出力する。このように、サーバ１は、案内情報を出力した場合、案内情報で示す対応策を実施後の医用画像を再取得し、再推定を行って、他の原因による画像不良が発生しているか否か判定する。これにより、ユーザに好適な順序で画像診断装置２の点検を行わせることができる。

【0051】

検査中であると判定した場合、サーバ１は検査中の医用画像を画像診断装置２から取得し、推定モデル１４１に入力して画像不良の有無及び原因を推定する。そしてサーバ１は、推定結果に基づき、検査中に発生しやすい所定の画像不良が発生している否かを判定する。具体的には、サーバ１は、エアトラップ、カテーテル２１の断線又は断線の予兆、回転阻害、ＭＤＵ２２の故障等が発生しているか否かを判定する。

【0052】

エアトラップに起因する画像不良が発生していると判定した場合、サーバ１は、プライミングを促す案内情報を出力する。断線、断線の予兆、回転阻害等のように、カテーテル２１に破損の予兆があると判定した場合、カテーテル２１の破損を回避するための操作、あるいはカテーテル２１の交換、カテーテル２１を取り外しての画像取得等を促す案内情報を出力する。ＭＤＵ２２の故障が発生していると判定した場合、サーバ１は、メーカへの連絡を促す案内情報を出力する。

【0053】

なお、検査中も検査前と同様に、サーバ１は、案内情報を出力後に医用画像を再取得し、画像不良の再推定を行う。具体的には図５に示すように、サーバ１は、エアトラップに起因する画像不良が発生していると判定した場合、プライミング実施後の医用画像を再取得し、再推定を行う。再推定の結果、破損の可能性があると推定した場合、サーバ１は案内情報を出力し、対応策実施後の医用画像を再取得して再推定を行う。再推定の結果、ＭＤＵ２２の故障が発生していると判定した場合、サーバ１はＭＤＵ２２の交換を促す案内情報を出力する。

【0054】

このように、サーバ１は、検査前であるか、又は検査中であるかに応じて推定を行い、医用画像の再取得、再推定を繰り返しながら案内情報を出力する。

【0055】

図６は、画像診断装置２の表示画面例を示す説明図である。図６では、画像不良が発生している場合の画像診断装置２における表示画面例を図示してある。図６では一例として、検査中に破損（例えば断線）の予兆が推定された場合の表示画面を図示してある。

【0056】

画像診断装置２は、図６に示すように、被検者の血管内をイメージングした医用画像（断層像）を表示する。そして画像診断装置２は、サーバ１において画像不良があると推定された場合、サーバ１からの出力に従って、画像不良に係る推定結果をアラート表示する。

【0057】

画像診断装置２は、画像不良の原因を除去するための対応策を案内する案内情報を表示する。例えばカテーテル２１の断線の予兆があると推定された場合、画像診断装置２は、表示画像を確認しながらカテーテル２１をゆっくりと押し進めるよう、カテーテル２１の操作方法を案内する。また、画像診断装置２は、当該操作によっても画像不良が解消されない場合、カテーテル２１を交換するよう案内する。

【0058】

また、サーバ１は、図６に示すように、画像不良の推定の根拠とした画像の特徴部分を可視化した第２医用画像を生成し、画像診断装置２に表示させてもよい。第２医用画像は、推定モデル１４１が画像不良を推定する際に特徴部分として参照した画像領域を示す画像であり、例えば当該領域をヒートマップで示す画像である。

【0059】

例えばサーバ１は、Ｇｒａｄ－ＣＡＭの手法を用いて第２医用画像を生成する。Ｇｒａｄ－ＣＡＭは、ＣＮＮ内で入力画像のどの部分を特徴として捉えたか可視化する手法であり、出力に対する寄与が大きい画像部分を抽出する手法である。Ｇｒａｄ－ＣＡＭでは、ＣＮＮの中間層で特徴量を抽出する際の勾配が大きい部分を特徴部分と見なして、抽出を行う。

【0060】

具体的には、サーバ１は、推定モデル１４１（ＣＮＮ）の出力層からの出力値（各ラベルの確率値）と、中間層における最後のコンボリューション層に対する入力の勾配データとを活性化関数に入力し、ヒートマップを生成する。サーバ１は、生成したヒートマップを元の医用画像に重畳し、第２医用画像を生成する。サーバ１は、図６右下に図示するように、第２医用画像を元の医用画像と並列表示させる。

【0061】

なお、上記ではＧｒａｄ－ＣＡＭについて説明したが、Ｇｕｉｄｅｄ Ｇｒａｄ－ＣＡＭなど、その他の手法を用いて第２医用画像を生成してもよい。第２医用画像を表示することで、推定モデル１４１が画像不良を判断した根拠をユーザに提示し、その判断が正しいかチェックさせることができる。

【0062】

図７は、推定モデル１４１の生成処理の手順を示すフローチャートである。図７に基づき、訓練データを学習して推定モデル１４１を生成する際の処理内容について説明する。
サーバ１の制御部１１は、訓練用の医用画像及び操作情報に対し、当該医用画像における画像不良の有無及び原因を示すデータが付与された訓練データを取得する（ステップＳ１１）。制御部１１は訓練データに基づき、医用画像を入力した場合に、画像不良の有無及び原因を推定した推定結果を出力する推定モデル１４１を生成する（ステップＳ１２）。例えば制御部１１は、上述の如く、ＣＮＮモデルを推定モデル１４１として生成する。制御部１１は、訓練用の医用画像と、操作情報から判定される検査前であるか否かの判定結果とを推定モデル１４１に入力し、画像不良の有無及び原因を推定した推定結果を出力として取得する。制御部１１は、推定結果を正解値と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化して推定モデル１４１を生成する。制御部１１は一連の処理を終了する。

【0063】

図８は、画像不良の推定処理の手順を示すフローチャートである。図８に基づき、推定モデル１４１を用いて画像不良の有無及び原因を推定し、原因を除去するための案内情報を出力する際の処理内容について説明する。
サーバ１の制御部１１は、医用画像を画像診断装置２から取得する（ステップＳ３１）。また、制御部１１は、医用画像の生成時の操作情報を画像診断装置２から取得する（ステップＳ３２）。

【0064】

制御部１１は、取得した医用画像と、操作情報から判定される検査前であるか否かの判定結果とを推定モデル１４１に入力して、画像不良の有無及び原因を推定する（ステップＳ３３）。制御部１１は、ステップＳ３４の推定結果に基づき、画像不良があるか否かを判定する（ステップＳ３４）。画像不良があると判定した場合（Ｓ３４：ＹＥＳ）、制御部１１は、推定モデル１４１において画像不良を推定した際に参照した医用画像内の特徴部分を示す第２医用画像を生成する（ステップＳ３５）。制御部１１は、第２医用画像と共に、画像不良の原因を除去するための対応策を案内する案内情報を画像診断装置２に出力する（ステップＳ３６）。

【0065】

ステップＳ３４でＮＯ、又はステップＳ３６の処理を実行後、制御部１１は、画像診断装置２による検査が終了したか否かを判定する（ステップＳ３７）。検査が終了していないと判定した場合（Ｓ３７：ＮＯ）、制御部１１は処理をステップＳ３１に戻す。検査が終了したと判定した場合（Ｓ３７：ＹＥＳ）、制御部１１は一連の処理を終了する。

【0066】

なお、上記では画像不良の推定結果を表示する点を説明したが、さらにサーバ１はさらに、表示した画像不良の推定結果を修正する入力をユーザから受け付け、入力された情報に基づく再学習を行ってもよい。具体的には、サーバ１は、図５で例示した表示画面において、推定結果として表示した画像不良が実際に発生しているか否か、修正入力を受け付ける。さらにサーバ１は、表示した画像不良の原因が実際と異なる場合は、正しい画像不良の原因の入力を受け付ける。修正入力を受け付けた場合、サーバ１は、修正された推定結果（画像不良の有無及び原因）をラベリングした医用画像を訓練データとして再学習を行い、推定モデル１４１を更新する。これにより、本システムの運用を通じて画像不良の推定精度を向上させることができる。

【0067】

また、上記では検査前と検査中とで共通の推定モデル１４１を用いたが、検査前の医用画像を学習した推定モデル１４１と、検査中の医用画像を学習した推定モデル１４１とを別々に用意し、検査前であるか否かに応じて異なる推定モデル１４１を用いてもよい。検査前であるか否かに応じて別々のモデルを用意することで、推定精度を向上させることができる。

【0068】

以上より、本実施の形態１によれば、機械学習により構築された推定モデル１４１を用いることで、画像不良の有無及び原因を精度良く推定することができ、その画像不良の原因を除去することができる。

【0069】

また、本実施の形態１によれば、複数のフレーム画像を推定モデル１４１に入力して同時に処理することで、推定精度を向上させることができる。

【0070】

また、本実施の形態１によれば、画像の再取得、再推定を繰り返すことで、各画像不良の原因が生じているか否か好適な手順で推定し、ユーザに対応策を案内することができる。

【0071】

また、本実施の形態１によれば、医用画像からカテーテル２１の破損の予兆を検知し、破損を回避するための正しい操作方法や部品交換をユーザに案内することができる。

【0072】

（実施の形態２）
本実施の形態では、画像不良の推定に加えて、医用画像内のアーチファクトを検出してユーザに提示する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

【0073】

図９は、実施の形態２に係るサーバ１の構成例を示すブロック図である。本実施の形態に係るサーバ１の補助記憶部１４は、アーチファクト検出用の検出モデル１４２を記憶している。検出モデル１４２は、推定モデル１４１と同様に訓練データを学習済みの機械学習モデルであり、医用画像を入力として、医用画像内のアーチファクトに対応する画像領域を検出した検出結果を出力するモデルである。検出モデル１４２は、人工知能ソフトウェアの一部として機能するプログラムモジュールとしての利用が想定される。

【0074】

なお、以下の説明では便宜上、医用画像内のアーチファクトに対応する画像領域を「アーチファクト領域」と呼ぶ。

【0075】

図１０は、アーチファクトに関する説明図である。図１０では、医用画像において発生する５種類のアーチファクトを概念的に図示している。

【0076】

アーチファクトは、検査の目的としていない、あるいは実際に存在しない虚像のことであり、装置や撮影条件などに由来して画像化されてしまう像である。図１０に示すように、アーチファクトには、多重反射（エコー）、リングダウン、音響陰影（Acoustic Shadow）、サイドローブ（Side Lobe）、ＮＵＲＤなどがある。

【0077】

多重反射は、カテーテル２１から送信される超音波が生体管腔内で何度も反射することで発生する虚像である。図１０の例では、血管内のオブジェクトＭ１（例えば石灰化した組織など）に超音波が反射してアーチファクトＡ１が発生する様子を図示している。血管内に硬いオブジェクトＭ１が存在する場合、オブジェクトＭ１及びカテーテル２１の間の距離と等間隔の位置にアーチファクトＡ１が発生し、オブジェクトＭ１とよく似た像として映し出される。

【0078】

リングダウンは、振動子とシースとの間の多重反射によって画像中央付近に出現するリング状の像である。図１０の例では、画像中心にリング状のアーチファクトＡ２が出現する様子を図示している。リングダウンは一定幅の白いリングとして映し出される。

【0079】

音響陰影は、超音波がカテーテル２１の径方向外側に向けて透過していく過程で大きく減衰することにより、画像の一部が黒く抜け落ちる現象である。図１０の例では、オブジェクトＭ２よりもカテーテル２１の径方向外側の領域が黒く抜け落ちている様子をアーチファクトＡ３として概念的に図示している。なお、図１０では図示の便宜上、黒く抜け落ちている領域をハッチングで図示している。音響陰影は、硬いオブジェクトＭ２が血管内に存在する場合に、オブジェクトＭ２に大部分の超音波が反射されることで、オブジェクトＭ２よりもカテーテル２１の径方向外側に透過する超音波が大きく減衰することで発生する。

【0080】

サイドローブは、一定の指向性を持って送信される超音波のメインローブ（主極）とは一定の角度をなして送信される弱い超音波（副極）である。サイドローブに起因して、実際の血管内のオブジェクトＭ３（例えばステント）が実物よりも大きな像として映し出される。図１０の例では、サイドローブに起因する像をアーチファクトＡ４として図示している。サイドローブ上のオブジェクトＭ３からの反射波と、メインローブからの反射波をカテーテル２１が同時に受信することで、アーチファクトＡ４が発生する。

【0081】

ＮＵＲＤは、カテーテル２１のドライブシャフトが正常な回転をしていないことにより発生する画像の歪みである。ＮＵＲＤは、血管内の屈曲、あるいはカテーテル２１のシャフトの捻じれなどに起因して発生する。図１０の例では、回転速度のムラによって左半分の画像が歪んでいる部分を、破線で囲んだアーチファクトＡ５として図示している。

【0082】

本実施の形態でサーバ１は、上述の各種アーチファクトを医用画像から検出する。具体的には以下のように、サーバ１は、医用画像内のアーチファクト領域を学習済みの検出モデル１４２を用いてアーチファクトを検出する。

【0083】

なお、多重反射、リングダウン等はいずれもアーチファクトの例示であって、検出対象とするアーチファクトはこれらに限定されない。

【0084】

図１１は、検出モデル１４２に関する説明図である。検出モデル１４２は、医用画像を入力として、医用画像内のアーチファクト領域を検出した検出結果を出力とする機械学習モデルである。サーバ１は、推定モデル１４１と同様に訓練データを学習して検出モデル１４２を事前に生成しておく。そしてサーバ１は、画像診断装置２から取得した医用画像を検出モデル１４２に入力し、医用画像内のアーチファクト領域を検出する。

【0085】

検出モデル１４２は、例えばＣＮＮであり、コンボリューション層及びプーリング層が交互に連結された中間層（隠れ層）を備え、入力画像の特徴量（特徴量マップ）を抽出する。なお、本実施の形態では検出モデル１４２がＣＮＮであるものとして説明するが、例えばＧＡＮ、ＲＮＮ、ＳＶＭ、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。

【0086】

本実施の形態でサーバ１は、入力される医用画像内の各画素がアーチファクト領域に対応する画素であるか否か、画素単位で識別する検出モデル１４２を生成する。例えばサーバ１は、検出モデル１４２として、セマンティックセグメンテーションモデル、あるいはＭＡＳＫ Ｒ－ＣＮＮ（Region CNN）などを生成する。

【0087】

セマンティックセグメンテーションモデルはＣＮＮの一種であり、入力データから出力データを生成するＥｎｃｏｄｅｒＤｅｃｏｄｅｒモデルの一種である。セマンティックセグメンテーションモデルは、入力画像のデータを圧縮するコンボリューション層以外に、圧縮して得た特徴量を元の画像サイズにマッピング（拡大）する逆コンボリューション層（Deconvolution Layer）を備える。逆コンボリューション層では、コンボリューション層で抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを識別し、各画素がどの物体に対応するかを二値化したラベル画像を生成する。

【0088】

ＭＡＳＫ Ｒ－ＣＮＮは、主に物体検出に用いられるＦａｓｔｅｒ Ｒ－ＣＮＮの変形であり、Ｆａｓｔｅｒ Ｒ－ＣＮＮに逆コンボリューション層を連結した構成を有する。ＭＡＳＫ Ｒ－ＣＮＮでは、ＣＮＮで抽出した画像の特徴量と、ＲＰＮ（Region Proposal Network）で抽出した対象物体の座標領域の情報とを逆コンボリューション層に入力し、最終的に入力画像内の物体の座標領域をマスクするマスク画像を生成する。

【0089】

サーバ１は、これらのモデルを検出モデル１４２として生成し、アーチファクトの検出に用いる。なお、上記のモデルはいずれも例示であって、検出モデル１４２は、医用画像内のアーチファクトの位置や形状を識別可能であればよい。本実施の形態では一例として、検出モデル１４２がセマンティックセグメンテーションモデルであるものとして説明する。

【0090】

サーバ１は、訓練用の医用画像に対し、アーチファクト領域を示すデータがラベリングされた訓練データを用いて学習を行う。具体的には、訓練データでは、訓練用の医用画像に対し、アーチファクト領域に対応する座標範囲と、アーチファクトの種類とを表すラベルが付与されている。

【0091】

サーバ１は、訓練用の医用画像を検出モデル１４２に入力して、アーチファクト領域を検出した検出結果を出力として取得する。具体的には、図１１において検出モデル１４２の右側にハッチングで図示するように、アーチファクト領域に対応する各画素に対し、アーチファクトの種類を示すデータがラベリングされたラベル画像を出力として取得する。

【0092】

サーバ１は、検出モデル１４２から出力された検出結果を、訓練データが示す正解のアーチファクト領域の座標範囲、及びアーチファクトの種類と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して検出モデル１４２を生成する。

【0093】

なお、検出モデル１４２も推定モデル１４１と同様に、時系列で連続する複数のフレーム画像から推定を行えるようにすること好適である。この場合、推定モデル１４１と同様に、検出モデル１４２を３Ｄ－ＣＮＮ（例えば３Ｄ Ｕ－ｎｅｔ）、あるいはＣＮＮ及びＲＮＮを組み合わせたモデルとすればよい。

【0094】

サーバ１は、上述の如く訓練データを学習して検出モデル１４２を生成する。サーバ１は、画像診断装置２から医用画像を取得した場合、推定モデル１４１を用いて画像不良の推定を行うほか、検出モデル１４２に医用画像を入力してアーチファクト領域を検出する。サーバ１は、アーチファクト領域を検出した場合、検出結果を画像診断装置２に出力する。

【0095】

図１２は、実施の形態２に係る画像診断装置２の表示画面例を示す説明図である。図１２では、アーチファクトを検出した場合に画像診断装置２が表示する表示画面例を図示している。

【0096】

画像診断装置２は、サーバ１においてアーチファクト領域が検出された場合、当該アーチファクト領域を医用画像と関連付けて表示する。具体的には図１２でハッチングにより示すように、画像診断装置２は、検出されたアーチファクト領域を、その他の画像領域とは異なる表示態様（例えばカラー表示）で示す第３医用画像を表示する。

【0097】

第３医用画像は、他の領域と識別可能なようにアーチファクト領域を加工した医用画像であり、検出モデル１４２から出力されたラベル画像を元の医用画像に重畳した画像である。アーチファクト領域を検出した場合、サーバ１は第３医用画像を生成して画像診断装置２に出力する。例えばサーバ１は、ラベル画像を白黒以外の表示色の半透明マスクに加工し、白黒で表現される医用画像のアーチファクト領域に重畳して第３医用画像を生成する。

【0098】

この場合にサーバ１は、アーチファクトの種類に応じて表示態様（表示色）を変更すると好適である。これにより、異なる原因で発生した各種アーチファクトをユーザは直感的に把握することができ、利便性を向上させることができる。

【0099】

なお、上記ではアーチファクト領域をカラー表示したが、本実施の形態はこれに限定されず、例えばアーチファクト領域の輪郭（エッジ）部分を強調表示するなどしてもよい。このように、アーチファクト領域を他の画像領域と識別可能に表示できればよく、その表示態様は特に限定されない。

【0100】

画像診断装置２は、第３医用画像を表示し、アーチファクトが発生していることをユーザに報知する。また、アーチファクトの種類を示すラベル名を、アーチファクト領域の表示色（図１２ではハッチングの種類）と対応付けて表示させる。

【0101】

なお、上記では画素単位でアーチファクト領域を検出し、画素単位でアーチファクト領域を表示するものとしたが、本実施の形態はこれに限定されるものではない。例えば、単にアーチファクト領域をバウンディングボックス（矩形状の枠）で囲んで表示するのみであってもよい。このように、画素単位でアーチファクト領域を検出する構成は必須ではなく、アーチファクトに対応する箇所を検出して表示可能であればよい。

【0102】

また、図１２の例ではアーチファクトのみが検出された場合を図示したが、画像不良も同時に推定（検出）されている場合、アーチファクトの検出結果と、画像不良の推定根拠とを医用画像に同時に表示してもよい。この場合、例えばサーバ１は、アーチファクト領域に対応する半透明マスクと、画像不良に対応するヒートマップとを同じ医用画像に重畳表示すればよい。

【0103】

図１３は、検出モデル１４２の生成処理の手順を示すフローチャートである。図１３に基づき、機械学習によって検出モデル１４２を生成する際の処理内容について説明する。
サーバ１の制御部１１は、訓練用の医用画像に対し、アーチファクト領域がラベリングされた訓練データを取得する（ステップＳ２０１）。具体的には上述の如く、訓練用の医用画像に対し、アーチファクト領域の座標範囲と、アーチファクトの種類とを示すラベルが付与された訓練データを取得する。

【0104】

制御部１１は、訓練データに基づき、医用画像を入力した場合に、アーチファクト領域及びアーチファクトの種類を検出した検出結果を出力する検出モデル１４２を生成する（ステップＳ２０２）。具体的には上述の如く、制御部１１は、医用画像内のオブジェクトを画素単位で識別するセマンティックセグメンテーションモデルを検出モデル１４２として生成する。制御部１１は、訓練用の医用画像を検出モデル１４２に入力し、アーチファクト領域及びアーチファクトの種類を検出した検出結果を出力として取得する。制御部１１は、検出結果を正解値（正解のラベル）と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化して検出モデル１４２を生成する。制御部１１は一連の処理を終了する。

【0105】

図１４は、画像不良推定及びアーチファクト検出の処理手順を示すフローチャートである。なお、図８のフローチャートと同一のステップについては、同一の符号を付して説明を省略する。
サーバ１の制御部１１は、ステップＳ３４でＮＯ、又はステップＳ３６の処理を実行後、以下の処理を実行する。制御部１１は、画像診断装置２から取得した医用画像を検出モデル１４２に入力して、アーチファクト領域を検出する（ステップＳ２２１）。具体的には上述の如く、制御部１１は、アーチファクト領域の座標範囲と、アーチファクトの種類とを検出する。

【0106】

制御部１１は、ステップＳ２２１の処理の結果、アーチファクト領域が検出されたか否かを判定する（ステップＳ２２２）。アーチファクト領域が検出されたと判定した場合（Ｓ２２２：ＹＥＳ）、制御部１１は、アーチファクト領域の表示態様をアーチファクトの種類に応じて異ならせた第３医用画像を生成する（ステップＳ２２３）。制御部１１は、生成した第３医用画像を画像診断装置２に出力し、表示させる（ステップＳ２２４）。ステップＳ２２２でＮＯ、又はステップＳ２２４の処理を実行後、制御部１１は処理をステップＳ３７に移行する。

【0107】

なお、上記では推定モデル１４１と検出モデル１４２とが別々のモデルであるものとして説明したが、両者を同一のモデルとしてもよい。

【0108】

また、検出モデル１４２についても推定モデル１４１と同様に検出結果の修正入力を受け付け、修正された検出結果（アーチファクト領域の座標範囲及び種類）をラベリングした医用画像を訓練データとして検出モデル１４２に与え、再学習を行ってもよい。

【0109】

以上より、本実施の形態２によれば、画像不良の推定だけでなく、アーチファクトの検出も同時に行うことができる。

【0110】

（実施の形態３）
実施の形態２では、検出モデル１４２を用いてアーチファクト領域を検出する形態について説明した。本実施の形態では、アーチファクトの他に、検査対象とする生体管腔内の所定のオブジェクトを医用画像から検出する形態について説明する。

【0111】

図１５は、実施の形態３に係る検出モデル１４２に関する説明図である。本実施の形態でサーバ１は、訓練用の医用画像に対し、アーチファクト領域以外に、検査対象とするオブジェクトの画像領域（以下、「オブジェクト領域」と呼ぶ）を示すデータをラベリングした訓練データを学習して、検出モデル１４２を生成する。オブジェクトは、診断又は治療の目的とする血管（生体管腔）内の物体であり、例えばプラークなどである。

【0112】

なお、オブジェクトは血管内に存在する生体組織に限定されず、例えば被検者（患者）の血管内に留置されたステントなど、生体組織以外の物質であってもよい。

【0113】

訓練データでは、訓練用の医用画像に対し、アーチファクトのデータ（アーチファクト領域の座標範囲及びアーチファクトの種類）に加えて、又はアーチファクトのデータに代えて、オブジェクトに関するデータが付与されている。具体的には検出モデル１４２の右側に示すように、画像内にアーチファクトが存在する場合はアーチファクト領域の座標範囲及びアーチファクトの種類を示すデータが、オブジェクトが存在する場合はオブジェクト領域の座標範囲及びオブジェクトの種類を示すデータがラベリングされている。

【0114】

サーバ１は、上記の訓練データに基づき検出モデル１４２を生成する。オブジェクト領域が加わる点以外は実施の形態１と同様であるため、本実施の形態では詳細な説明を省略する。サーバ１は、画像診断装置２から医用画像を取得した場合、検出モデル１４２に入力してアーチファクト領域及び／又はオブジェクト領域を検出し、検出結果を画像診断装置２に出力する。

【0115】

図１６は、実施の形態３に係る画像診断装置２の表示画面例を示す説明図である。本実施の形態において画像診断装置２は、アーチファクト領域以外にオブジェクト領域を示す第３医用画像を表示し、ユーザに提示する。サーバ１は、アーチファクト領域及びオブジェクト領域を同時に検出した場合、各領域の表示態様（表示色）を異ならせた第３医用画像を生成し、画像診断装置２に表示させる。なお、例えばサーバ１は、オブジェクト領域の座標値からオブジェクトのサイズ等を判別し、併せて表示させてもよい。

【0116】

図１７は、実施の形態３に係る検出モデル１４２の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、訓練用の医用画像に対し、アーチファクト領域及び／又はオブジェクト領域に関するデータがラベリングされた訓練データを取得する（ステップＳ３０１）。制御部１１は訓練データに基づき、医用画像を入力した場合に、アーチファクト領域及び／又はオブジェクト領域を検出する検出モデル１４２を生成する（ステップＳ３０２）。制御部１１は一連の処理を終了する。

【0117】

図１８は、アーチファクト及びオブジェクト検出処理の手順を示すフローチャートである。なお、図１４のフローチャートと重複するステップについては、同一の符号を付して説明を省略する。
サーバ１の制御部１１は、ステップＳ３４でＮＯ、又はステップＳ３６の処理を実行後、以下の処理を実行する。制御部１１は、画像診断装置２から取得した医用画像を検出モデル１４２に入力して、医用画像内のアーチファクト領域及び／又はオブジェクト領域を検出する（ステップＳ３２１）。

【0118】

制御部１１は、ステップＳ３２１でアーチファクト領域及び／又はオブジェクト領域が検出されたか否かを判定する（ステップＳ３２２）。アーチファクト領域及び／又はオブジェクト領域が検出されなかったと判定した場合（Ｓ３２２：ＮＯ）、処理をステップＳ３７に移行する。

【0119】

アーチファクト領域及び／又はオブジェクト領域が検出されたと判定した場合（Ｓ３２２：ＹＥＳ）、制御部１１は、アーチファクト領域及び／又はオブジェクト領域を加工した第３医用画像を生成する（ステップＳ３２３）。制御部１１は、生成した第３医用画像を画像診断装置２に出力し、ガイダンス表示を行わせる（ステップＳ３２４）。制御部１１は処理をステップＳ３７に移行する。

【0120】

なお、上記では同一の検出モデル１４２においてアーチファクト及びオブジェクトを検出するものとしたが、両者を検出するためのモデルを別々に設けてもよい。

【0121】

以上より、本実施の形態３によれば、医用画像からアーチファクト及びオブジェクトを同時に検出してユーザに提示することができ、いずれが所望のオブジェクトであるか、又はアーチファクトであるかを識別させることができる。

【0122】

（実施の形態４）
本実施の形態では、カテーテルで検出した信号に基づき生成された医用画像（断層像）以外に、被検者の生体管腔の透視画像を用いて画像不良を推定する形態について説明する。

【0123】

図１９は、実施の形態４に係る推定モデル１４１に関する説明図である。図１９では、画像診断装置２でイメージングされた医用画像、操作情報のほかに、被検者の生体管腔の透視画像を推定モデル１４１に入力して画像不良の原因を推定する様子を概念的に図示している。図１９に基づき、本実施の形態の概要を説明する。

【0124】

透視画像は、Ｘ線撮影等の手段で被検者の生体管腔を可視化した画像であり、例えば血管造影装置（不図示）で生成されたアンギオ画像である。なお、透視画像は被検者の生体管腔と、生体管腔に挿入されたカテーテル２１とを識別可能な画像であればよく、アンギオ画像に限定されない。

【0125】

被検者はカテーテル２１による超音波検査を受ける場合に、同時に造影装置による血管造影を行う。また、例えばカテーテル２１の先端にはＸ線不透過マーカが装着され、カテーテル２１の挿入位置（先端の位置）が透視画像で識別可能となっている。なお、図１９ではカテーテル２１の挿入位置を黒丸で図示している。

【0126】

サーバ１は、画像診断装置２から超音波検査による生体管腔（血管）内の医用画像を取得すると共に、造影装置から生体管腔の透視画像を取得する。サーバ１は、両者の画像を推定モデル１４１に入力して、画像不良の有無及び原因を推定する。

【0127】

具体的には、サーバ１は、画像不良の有無及び原因と、カテーテル２１の挿入位置とを出力として推定モデル１４１から取得する。本実施の形態に係る推定モデル１４１の訓練データでは、例えば画像不良の有無及び原因と、カテーテル２１の挿入位置とを一つのラベルと見なして、訓練用の画像診断装置２の医用画像、操作情報、及び造影装置の透視画像に対して付与されている。サーバ１は、訓練用の医用画像、操作情報、及び透視画像を推定モデル１４１に入力して、正解のラベルを出力するよう学習を行う。

【0128】

サーバ１は実施の形態１と同様に、推定モデル１４１で推定した画像不良の原因に応じて案内情報を出力する。ここでサーバ１は、同一の画像不良の原因であっても、推定したカテーテル２１の挿入位置に応じて異なる案内情報を出力する。例えば図１９に示すように、カテーテル２１に破損（断線、回転阻害等）の予兆があると推定した場合において、カテーテル２１の挿入位置が血管の狭窄部であるか、あるいは血管の屈曲部であるか等に応じて、カテーテル２１のフォワード操作に関し異なる注意喚起を出力する。このように、サーバ１は、カテーテル２１の挿入位置に応じて異なる操作方法を案内情報として出力する。

【0129】

図２０は、実施の形態４に係る推定モデル１４１の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、訓練用の画像診断装置２による医用画像、操作情報、及び造影装置による透視画像に対し、画像不良の有無及び原因を示すデータがラベリングされた訓練データを取得する（ステップＳ４０１）。具体的には上述の如く、制御部１１は、画像不良の有無及び原因のほかに、カテーテル２１の挿入位置を示すデータが正解のラベルとして付与された訓練データを取得する。

【0130】

制御部１１は訓練データに基づき、カテーテルを用いて生成された医用画像と、当該医用画像の生成時点の透視画像とを入力した場合に、画像不良の有無及び原因を推定する推定モデル１４１を生成する（ステップＳ４０２）。具体的には上述の如く、制御部１１は、画像不良の有無及び原因のほかに、カテーテル２１の挿入位置を推定結果として出力する推定モデル１４１を生成する。制御部１１は一連の処理を終了する。

【0131】

図２１は、実施の形態４に係る画像不良の推定処理の手順を示すフローチャートである。図８のフローチャートと同一のステップについては、同一の符号を付して説明を省略する。
サーバ１の制御部１１は、ステップＳ３２の処理を実行後、以下の処理を実行する。制御部１１は、被検者の生体管腔の透視画像を造影装置から取得する（ステップＳ４２１）。そして制御部１１は、画像診断装置２による医用画像及び操作情報のほかに、造影装置による透視画像を推定モデル１４１に入力して、画像不良の有無及び原因と、カテーテル２１の挿入位置とを推定する（ステップＳ４２２）。制御部１１は処理をステップＳ３４に移行する。

【0132】

ステップＳ３５の処理を実行後、制御部１１は、画像不良の原因を除去するための案内情報を出力する（ステップ４２３）。具体的には、制御部１１は、推定された画像不良の原因と、カテーテル２１の挿入位置とに応じた案内情報を出力する。例えば制御部１１は、挿入位置に応じて異なるカテーテル２１の操作に関する注意喚起を案内情報として出力する。制御部１１は処理をステップＳ３７に移行する。

【0133】

以上より、本実施の形態４によれば、透視画像を推定モデル１４１の入力に用いることで、カテーテル２１の挿入位置を考慮して対応策を好適に案内することができる。

【0134】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0135】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ 推定モデル
１４２ 検出モデル
２ 画像診断装置
２１ カテーテル
２２ ＭＤＵ
２３ 画像処理装置
２４ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】