特開 2022-149735 プログラム、画像処理方法、画像処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022149735

(43)【公開日】2022-10-07

(54)【発明の名称】プログラム、画像処理方法、画像処理装置及びモデル生成方法

(51)【国際特許分類】

   A61B 8/12 20060101AFI20220929BHJP

   A61B 1/00 20060101ALI20220929BHJP

   A61B 1/313 20060101ALI20220929BHJP

【ＦＩ】

A61B8/12

A61B1/00 530

A61B1/00 526

A61B1/313 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021052013

(22)【出願日】2021-03-25

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】纐纈 智仁

(72)【発明者】

【氏名】時田 昌典

【テーマコード（参考）】

4C161

4C601

【Ｆターム（参考）】

4C161AA22

4C161BB08

4C161CC07

4C161FF40

4C161FF46

4C161GG24

4C161MM10

4C161NN01

4C161QQ09

4C161RR01

4C161RR18

4C601DD01

4C601DD14

4C601EE11

4C601FE04

4C601JC06

4C601LL33

(57)【要約】

【課題】フラッシュ操作における各種の条件を提案することが可能なプログラム等を提供する。
【解決手段】コンピュータは、プログラムに従って、超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得する。また、コンピュータは、取得した超音波断層画像に基づいて、超音波断層画像中の血管の内腔に関する情報を算出する。そして、コンピュータは、算出した内腔に関する情報に基づいて、光信号を用いて血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得し、
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する
処理をコンピュータに実行させるプログラム。

【請求項2】

超音波断層画像を入力した場合に前記超音波断層画像中の血管の内腔の領域を示す情報を出力するように学習済みの学習モデルに、取得した前記超音波断層画像を入力して、前記超音波断層画像中の血管の内腔の領域を出力し、
出力した内腔の領域に基づいて、前記内腔に関する情報を算出する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項3】

前記内腔に関する情報は、前記内腔の横断面の径、及び、前記内腔の長軸方向の長さを含み、
超音波信号を用いて前記血管の横断面を複数箇所で撮影した複数の超音波断層画像を取得し、
取得した超音波断層画像の枚数に基づいて、撮影した前記血管の内腔の長軸方向の長さを算出する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項4】

前記フラッシュ操作において前記血管内の血液と置換されるフラッシュ液の流量及び流速を含む前記操作情報を特定する
請求項１から３までのいずれかひとつに記載のプログラム。

【請求項5】

前記内腔に関する情報を入力した場合に前記フラッシュ操作に関する操作情報を出力するように学習済みの第２の学習モデルに、算出した前記内腔に関する情報を入力して、前記フラッシュ操作に関する操作情報を出力する
処理を前記コンピュータに実行させる請求項１から４までのいずれかひとつに記載のプログラム。

【請求項6】

前記第２の学習モデルは、前記内腔に関する情報及び患者に関する患者情報を入力した場合に前記フラッシュ操作に関する操作情報を出力するように学習してあり、
患者に関する患者情報を取得し、
算出した前記内腔に関する情報及び取得した前記患者情報を前記第２の学習モデルに入力して、前記フラッシュ操作に関する操作情報を出力する
処理を前記コンピュータに実行させる請求項５に記載のプログラム。

【請求項7】

超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得し、
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する
処理をコンピュータが実行する画像処理方法。

【請求項8】

超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得する取得部と、
取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出する算出部と、
算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する特定部と
を備える画像処理装置。

【請求項9】

患者の血管の内腔に関する情報と、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報とを関連付けた訓練データを取得し、
前記訓練データを用いて、血管の内腔に関する情報を入力した場合に前記フラッシュ操作に関する操作情報を出力する学習済みの学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、画像処理方法、画像処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

患者の血管内にカテーテルを挿入し、バルーン又はステントを用いて血管の狭窄部位を拡張する血管内治療が行われている。血管内治療では、光干渉断層診断装置（ＯＣＴ：Optical Coherence Tomography）を用いて血管内から血管の断層画像を撮影し、得られた断層画像によって血管の観察が行われている。ＯＣＴによる撮影時には、赤血球等の血球成分を含む血液によって光の乱反射と減衰が起こることがあるので、造影剤、低分子デキストラン又は生理食塩水等を血管内に注入して血液が無い状態を一時的に作り出すフラッシュ操作が行われる。特許文献１には、画像診断に使用する断層画像を適切に撮影するためのフラッシュ操作に用いるフラッシュ液が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６５６２９０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

フラッシュ操作においてフラッシュ液の種類及び希釈率、注入量及び注入する際の流速等の条件を適切に設定する必要がある。適切な条件でのフラッシュ操作が行われなかった場合、フラッシュ操作のやり直し及び断層画像の撮り直し等が発生し、手技時間が延長する。フラッシュ操作における条件は、治療対象の血管の状態や、使用するカテーテルのサイズ等を考慮して設定する必要があり、適切に選択することは容易ではない。特許文献１では、フラッシュ操作における各種の条件の選択については言及されていない。

【0005】

一つの側面では、フラッシュ操作における条件（フラッシュ操作に関する操作情報）を提案することが可能なプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、超音波信号を用いて血管の横断面を撮影した超音波断層画像を取得し、取得した超音波断層画像に基づいて、前記血管の内腔に関する情報を算出し、算出した前記内腔に関する情報に基づいて、光信号を用いて前記血管の横断面を撮影する際のフラッシュ操作に関する操作情報を特定する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、フラッシュ操作における条件（フラッシュ操作に関する操作情報）を提案することができる。

【図面の簡単な説明】

【0008】

【図1】画像診断システムの構成例を示す説明図である。

【図2】ガイディングカテーテルの概要を説明する説明図である。

【図3】画像処理装置の構成例を示すブロック図である。

【図4】診療ＤＢの構成例を示す説明図である。

【図5】学習モデルの概要を示す説明図である。

【図6】フラッシュ情報の画面例を示す模式図である。

【図7】第２学習モデルの生成処理手順の一例を示すフローチャートである。

【図8】フラッシュ情報の提示処理手順の一例を示すフローチャートである。

【図9】学習モデルの変形例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本開示のプログラム、画像処理方法、画像処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。以下の実施形態では、血管内治療である心臓カテーテル治療を一例に説明する。

【0010】

図１は、画像診断システムの構成例を示す説明図である。本実施形態の画像診断システムは、血管内検査装置１と、透視画像撮影装置２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１は、患者の血管内断層像をイメージングするための装置であり、血管内から血管の横断面の断層画像を撮影する。本実施形態の血管内検査装置１は、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのイメージングカテーテル１０を用いた画像診断装置である。デュアルタイプのイメージングカテーテル１０では、ＩＶＵＳのみによって超音波断層画像を取得するＩＶＵＳモードと、ＯＣＴのみによって光干渉断層画像を取得するＯＣＴモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するデュアルモードとが設けられており、これらのモードを切り替えて使用することができる。なお、本実施形態の血管内検査装置１は、デュアルタイプのイメージングカテーテル１０を用いた構成に限定されず、ＩＶＵＳのみ又はＯＣＴのみを備えるイメージングカテーテルを用いた構成でもよい。以下、超音波断層画像及び光干渉断層画像それぞれを適宜、ＩＶＵＳ画像及びＯＣＴ画像という。

【0011】

イメージングカテーテル１０は患者の血管内に挿入される医用器具であり、血管内検査装置１は、血管内に挿入されたイメージングカテーテル１０によって血管内から血管のＩＶＵＳ画像及びＯＣＴ画像を撮影する。イメージングカテーテル１０を用いてＩＶＵＳ画像又はＯＣＴ画像を撮影する場合、医療従事者はまず、後述のガイディングカテーテル６０（図２参照）を患者の血管内に挿入し、血管内に挿入したガイディングカテーテル６０内に、イメージングカテーテル１０を挿入する。イメージングカテーテル１０は、画像診断用プローブ１１（図２参照）を有しており、画像診断用プローブ１１には、超音波（超音波信号）を送信すると共に血管内からの反射波を受信する超音波送受信部と、近赤外光（光信号）を送信すると共に血管内からの反射光を受信する光送受信部とが設けられている。血管内検査装置１は、イメージングカテーテル１０の超音波送受信部で受信した超音波の反射波の信号に基づいてＩＶＵＳ画像を生成し、光送受信部で受信した反射光の信号に基づいてＯＣＴ画像を生成する。血管内検査装置１がイメージングカテーテル１０を用いて撮影したＩＶＵＳ画像及びＯＣＴ画像は、画像処理装置３を介して表示装置４に表示される。

【0012】

なお、医療従事者は、ＯＣＴ画像を撮影する際に、造影剤、低分子デキストラン又は生理食塩水等で構成されるフラッシュ液を血管内に注入して一時的に血液が無い状態（血液がフラッシュ液に置換された状態）を作り出すフラッシュ操作を行う。フラッシュ操作において、医療従事者は、血管内に挿入したガイディングカテーテル６０を介してフラッシュ液の血管への注入を行う。

【0013】

透視画像撮影装置２は、患者体内を透視した透視画像を撮影するための装置であり、例えば患者の血管に造影剤を注入しながら患者の生体外からＸ線を用いて血管を撮影し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。透視画像撮影装置２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、イメージングカテーテル１０及びガイディングカテーテル６０の先端にはＸ線を透過しないＸ線不透過マーカが装着されており、透視画像においてイメージングカテーテル１０及びガイディングカテーテル６０（Ｘ線不透過マーカ）の位置が可視化される。透視画像撮影装置２が撮影した透視画像は、画像処理装置３を介して表示装置４に表示される。本実施形態では、画像診断システムが、アンギオ画像を撮影する透視画像撮影装置２を備える構成とするが、生体外の複数の方向から患者の血管及びカテーテル１０，６０を撮影する装置であれば、特に限定されるものではない。

【0014】

画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、血管内検査装置１で撮影されたＩＶＵＳ画像及びＯＣＴ画像、透視画像撮影装置２で撮影されたアンギオ画像等の医用画像を表示する。入力装置５は、例えばキーボード、マウス、トラックボール又はマイク等であり、術者による各種の操作を受け付ける。表示装置４と入力装置５とは、一体に積層されて、タッチパネルを構成していてもよい。また入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。

【0015】

画像処理装置３は、血管内検査装置１で撮影されたＩＶＵＳ画像及びＯＣＴ画像と、透視画像撮影装置２で撮影された透視画像とを表示装置４に出力して表示させる。また画像処理装置３は、血管内検査装置１が撮影したＩＶＵＳ画像に基づいて、撮影対象の血管のサイズ（径及び血管の走行方向の長さ）等を特定し、特定した血管のサイズ等に基づいて、ＯＣＴ画像の撮影時に行うフラッシュ操作に関する操作情報（以下、フラッシュ情報という）を生成する。よって、本実施形態では、ＯＣＴ画像を撮影する前にＩＶＵＳ画像を撮影することにより、画像処理装置３がＩＶＵＳ画像に基づいてフラッシュ情報を生成して術者に提示することができる。

【0016】

図２はガイディングカテーテル６０の概要を説明する説明図である。ガイディングカテーテル６０は、シース６１と、シース６１の端部に装着された分岐ハブ６２とを有する。以下の説明ではガイディングカテーテル６０の分岐ハブ６２から遠い側を先端側と記載し、分岐ハブ６２側を基端側と記載する。シース６１は、先端部から分岐ハブ６２の開口部６４に亘って連続する管部を形成しており、分岐ハブ６２の開口部６４は、血管内検査装置１に接続されたイメージングカテーテル１０（画像診断用プローブ１１）の挿入口として用いられる。また分岐ハブ６２にはサイドポート６３が設けられており、サイドポート６３は、フラッシュ液７２を充填済みのシリンジ７０の接続用ポートとして用いられる。ガイディングカテーテル６０は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによって冠動脈の入口付近まで導かれる。ガイディングカテーテル６０の内部には、コネクタ部１３に接続された画像診断用プローブ１１が、分岐ハブ６２の開口部６４から挿通されている。

【0017】

イメージングカテーテル１０は、画像診断用プローブ１１と、画像診断用プローブ１１の端部（基端側）に配置されたコネクタ部１３とを有する。イメージングカテーテル１０は、コネクタ部１３を介して血管内検査装置１のＭＤＵ（Motor Drive Unit）（図示せず）に接続される。画像診断用プローブ１１は、ガイディングカテーテル６０に挿入されるシース（図示せず）と、シース内に挿通されたシャフトと、シャフトの先端に設けられたセンサ部１２とを有する。シースの先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部（図示せず）が設けられている。ガイドワイヤ挿通部は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによって画像診断用プローブ１１を観察部位又は患部まで導くのに使用される。センサ部１２は超音波送受信部及び光送受信部を有する。シャフトには、超音波送受信部に接続された電気信号ケーブル（図示せず）と、光送受信部に接続された光ファイバケーブル（図示せず）とが内挿されており、電気信号ケーブル及び光ファイバケーブルはコネクタ部１３に接続されている。画像診断用プローブ１１は、ガイディングカテーテル６０の内部で進退可能であり、シャフト及びセンサ部１２は、画像診断用プローブ１１のシース内部で進退可能であり、また周方向に回転することができる。血管内検査装置１は、コネクタ部１３によってイメージングカテーテル１０が着脱可能に取り付けられる駆動装置（ＭＤＵ）を有しており、医療従事者の操作に応じて内蔵モータを駆動することにより、血管１００内に挿入された画像診断用プローブ１１の動作を制御する。例えばＭＤＵは、画像診断用プローブ１１を一定の速度で引っ張りながら周方向に回転させるプルバック操作を行う。画像診断用プローブ１１は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管１００内を走査することにより、画像診断用プローブ１１に略垂直な複数枚のＩＶＵＳ画像又はＯＣＴ画像を連続的に撮影する。

【0018】

フラッシュ操作を行う場合、医療従事者は、分岐ハブ６２のサイドポート６３に、フラッシュ液７２を充填済みのシリンジ７０を装着し、画像診断用プローブ１１の先端部を観察位置付近に配置した後に、シリンジ７０のプランジャー７１を押し込む。これにより、シリンジ７０内のフラッシュ液７２が、ガイディングカテーテル６０内を通って、ガイディングカテーテル６０の先端から血管１００内に射出される。射出されたフラッシュ液７２により、当該部位の血液が押し流され、フラッシュ液７２が充満する状態となる。この状態で画像診断用プローブ１１（センサ部１２）によってＯＣＴ画像を撮影することにより、血液の影響を受けないＯＣＴ画像を得ることができる。なお、プランジャー７１の押し込みは例えばオートインジェクタを用いて行われる。

【0019】

図３は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、補助記憶部３４、読取部３５を備える。制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。

【0020】

主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。

【0021】

入出力Ｉ／Ｆ３３は、血管内検査装置１及び透視画像撮影装置２、表示装置４及び入力装置５が接続されるインタフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、血管内検査装置１からＩＶＵＳ画像又はＯＣＴ画像を取得し、透視画像撮影装置２からアンギオ画像を取得する。また制御部３１は、入出力Ｉ／Ｆ３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。

【0022】

補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ、制御部３１の処理に必要な各種データを記憶する。また、補助記憶部３４は、後述する第１学習モデルＭ１、第２学習モデルＭ２及び診療ＤＢ３４ａを記憶する。第１学習モデルＭ１は、所定の訓練データを学習済みの機械学習モデルであり、ＩＶＵＳ画像を入力として、入力されたＩＶＵＳ画像中の血管内腔の領域を出力するモデルである。第２学習モデルＭ２（第２の学習モデル）は、所定の訓練データを学習済みの機械学習モデルであり、血管情報、治療情報、及び患者情報を入力として、フラッシュ操作に関するフラッシュ情報を出力するモデルである。第１学習モデルＭ１及び第２学習モデルＭ２は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。診療ＤＢ３４ａは、患者の診療データを格納するデータベースである。なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させてもよい。

【0023】

読取部３５は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体３０に記憶されたデータを読み取る。コンピュータプログラムＰは、記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３５が記録媒体３０から読み出して補助記憶部３４に記憶させてもよい。また、コンピュータプログラムＰは半導体メモリに記録された態様であってもよく、制御部３１は半導体メモリからコンピュータプログラムＰを読み出して実行してもよい。

【0024】

画像処理装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。

【0025】

本実施形態の画像処理装置３において、制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、血管内検査装置１で撮影したＩＶＵＳ画像に基づいて、撮影された血管の内腔のサイズを検出する処理を実行する。また制御部３１は、検出した血管内腔のサイズ（血管情報）と、血管内検査装置１による血管内治療に用いる治療用デバイスに関する情報（治療情報）と、患者の情報（患者情報）とに基づいて、ＯＣＴ画像を撮影する際に行うフラッシュ操作に関するフラッシュ情報を生成する処理を実行する。よって、本実施形態の画像処理装置３は、ＯＣＴ画像を撮影する際のフラッシュ操作に関するフラッシュ情報を術者に提示することができる。なお、本実施形態の画像処理装置３では、ＩＶＵＳ画像中の血管内腔を検出する際に第１学習モデルＭ１を用い、血管情報、治療情報及び患者情報からフラッシュ操作の操作情情報を生成する際に第２学習モデルＭ２を用いる。

【0026】

図４は診療ＤＢ３４ａの構成例を示す説明図である。診療ＤＢ３４ａは、診療ＩＤ列、患者情報列、治療情報列、画像情報列を含む。診療ＩＤ列は、各診療データを識別するための診療ＩＤを記憶する。患者情報列、治療情報列及び画像情報列はそれぞれ、診療ＩＤに対応付けて、診療対象の患者に関する患者情報、当該患者に実施した治療及び実施予定の治療に関する治療情報、及び当該患者を検査して得た医用画像を記憶している。患者情報は、治療を実施した患者又は実施予定の患者に関する情報であり、患者の診療記録である。患者情報は、患者の年齢、性別、体重、身長、腎機能レベル（例えばＣｒ値を５段階で評価した値）、診断名、既往歴等を含む。また患者情報は、治療歴、薬の服用歴、血液検査結果等を含んでもよい。治療情報は、患者に実施した血管内治療又は実施予定の血管内治療に関する情報である。治療情報は、例えば治療実施日又は実施予定日、治療した病変部の位置（病変部位）、病変部における血管内腔の大きさ（直径、長さ、体積）及び形状、使用したガイディングカテーテル６０又は使用予定のガイディングカテーテル６０の種類（例えば製品名）、直径及び長さ等の情報、使用したイメージングカテーテル１０又は使用予定のイメージングカテーテル１０の種類、直径及び長さ等の情報等を含む。また治療情報は、ＯＣＴ画像を撮影する際のフラッシュ操作に使用したフラッシュ液（例えば造影剤）の種類、希釈率、投与量（フラッシュ量）及び流速（フラッシュ流速）等のフラッシュ情報を含む。更に治療情報は、フラッシュ情報に対応付けて、フラッシュ情報に含まれる各条件でフラッシュ操作を行った場合の成功確率を含む。成功確率は、フラッシュ操作を行ってＯＣＴ画像を撮影した術者によって登録される値であり、例えばＯＣＴ画像の撮影後に術者によって登録される。なお、フラッシュ操作の成功とは画像診断に十分用いることができるＯＣＴ画像を撮影できたと術者が判断したことを意味し、成功確率は例えば１００点満点で術者の満足度を示す。また治療情報は、ＩＶＵＳ画像又はＯＣＴ画像を撮影する際のプルバック速度及び移動距離、透視画像撮影装置２でアンギオ画像を撮影する際に使用した造影剤の種類、希釈率及び投与量等を含む。更に治療情報は、病変部の性状、ガイディングカテーテル６０の穿刺部位、透視画像の撮影時間、留置したステントの種類、直径、長さ及び総数、バルーンの種類、長さ、最大拡張径、最大拡張圧、拡張時間及び減衰時間、治療後の経過情報（例えば合併症発症の有無）等を含んでもよい。医用画像は、患者の血管をイメージングした画像であり、アンギオ画像、ＩＶＵＳ画像及びＯＣＴ画像を含む。また医用画像は、コンピュータ断層撮影画像（ＣＴ画像）、磁気共鳴画像（ＭＲＩ画像）等を含んでもよい。

【0027】

図５は学習モデルＭ１，Ｍ２の概要を示す説明図である。図５Ａは第１学習モデルＭ１を示し、図５Ｂは第２学習モデルＭ２を示す。第１学習モデルＭ１は、ＩＶＵＳ画像に含まれる所定のオブジェクトを認識するモデルである。第１学習モデルＭ１は、例えばセマンティックセグメンテーションにより、画像中のオブジェクトを画素単位で分類することができるモデルである。本実施形態の第１学習モデルＭ１は、１枚のＩＶＵＳ画像を入力とし、ＩＶＵＳ画像に含まれる血管内腔を認識するように学習済みの機械学習モデルであり、認識した結果を出力する。具体的には、第１学習モデルＭ１は、入力されたＩＶＵＳ画像の各画素を血管内腔の領域と、それ以外の領域とに分類し、各画素に領域毎のラベルを対応付けた分類済みのＩＶＵＳ画像（以下ではラベル画像という）を出力する。第１学習モデルＭ１は、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network ）、ＳｅｇＮｅｔ等で構成することができる。

【0028】

第１学習モデルＭ１は、入力層、中間層及び出力層（図示せず）を有し、中間層は、畳み込み層及びプーリング層と、逆畳み込み層とを有する。畳み込み層は、入力層を介して入力された画像の画素情報から画像の特徴量を抽出して特徴量マップを生成し、プーリング層は、生成された特徴量マップを圧縮する。逆畳み込み層は、畳み込み層及びプーリング層によって生成された特徴量マップを元の画像サイズに拡大（マッピング）する。なお、逆畳み込み層は、畳み込み層で抽出された特徴量に基づいて画像内にどのオブジェクトがどの位置に存在するかを画素単位で識別し、各画素がどのオブジェクトに対応するかを示したラベル画像を生成する。図５Ａ右側に示すように、第１学習モデルＭ１から出力されるラベル画像は、ＩＶＵＳ画像の各画素が、血管内腔の領域と、それ例外の領域とにそれぞれ分類され、各領域に応じた画素値が割り当てられた画像となる。図５Ａでは、血管内腔の領域に分類された画素をハッチングで示している。

【0029】

上述した構成の第１学習モデルＭ１は、訓練用のＩＶＵＳ画像と、図５Ａ右側に示すようにＩＶＵＳ画像中の各画素に対して、判別すべきオブジェクト（ここでは血管内腔）を示すデータがラベリングされたラベル画像とを含む訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。なお、訓練用のラベル画像では、訓練用のＩＶＵＳ画像に対して、各オブジェクトの領域に対応する座標範囲と、各オブジェクトの種類とを表すラベルが付与されている。第１学習モデルＭ１は、訓練データに含まれるＩＶＵＳ画像が入力された場合に、訓練データに含まれるラベル画像を出力するように学習する。具体的には、第１学習モデルＭ１は、入力されたＩＶＵＳ画像に基づいて中間層での演算を行い、ＩＶＵＳ画像中の各オブジェクト（ここでは血管内腔）を検出した検出結果を取得する。より具体的には、第１学習モデルＭ１は、ＩＶＵＳ画像中の各画素に対して、分類されたオブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。そして第１学習モデルＭ１は、取得した検出結果（ラベル画像）を、訓練データが示す正解のオブジェクト領域の座標範囲及びオブジェクトの種類と比較し、両者が近似するように、ニューロン間の重み（結合係数）等のパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、ＩＶＵＳ画像が入力された場合に、ＩＶＵＳ画像中の血管内腔の領域を示すラベル画像を出力する第１学習モデルＭ１が得られる。

【0030】

画像処理装置３は、このような第１学習モデルＭ１を予め用意しておき、ＩＶＵＳ画像中の血管内腔の検出に用いる。なお、第１学習モデルＭ１は、ＩＶＵＳ画像中の血管内腔の位置及び形状を識別可能であればよい。本実施形態では、第１学習モデルＭ１は、ＩＶＵＳ画像中の血管内腔を認識できればよいが、血管内腔に加えて、血管壁（中膜及びプラーク）及びカテーテルの領域を認識するように構成されていてもよい。第１学習モデルＭ１の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの第１学習モデルＭ１は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３４に記憶される。

【0031】

第２学習モデルＭ２は、第１学習モデルＭ１を用いてＩＶＵＳ画像から検出された血管内腔に関する血管情報と、患者に行う予定の血管内治療に関する治療情報と、診療ＤＢ３４ａに格納されている患者情報とを入力とする。なお、血管情報、治療情報及び患者情報の各項目のうちで用意できない情報がある場合、項目毎に予め設定されたデフォルトの情報を第２学習モデルＭ２に入力してもよい。そして第２学習モデルＭ２は、図５Ｂ右側に示すような各項目について推定した推定結果をフラッシュ情報として出力する。血管情報は、例えば血管内の病変部（治療対象箇所）の直径、長さ及び体積を含む。また血管情報は、冠動脈に対するガイディングカテーテル６０の先端の位置、及び、ガイディングカテーテル６０の先端と冠動脈との係合状態を含んでもよい。なお、病変部の長さは、例えば血管内検査装置１がＩＶＵＳ画像を撮影した際のプルバック操作におけるプルバック距離を用いることができる。また、ガイディングカテーテル６０の先端の位置、及び冠動脈との係合状態は、例えば透視画像撮影装置２で撮影されたアンギオ画像に基づいて検出可能である。なお、プルバック距離は、１回のプルバック操作によって撮影されたＩＶＵＳ画像の枚数と、プルバック速度とに基づいて算出できる。

【0032】

治療情報は、例えば病変部の位置（例えば血管の種類）を含む。また治療情報は、使用予定のガイディングカテーテル６０の種類（例えば商品名）、形状（直径及び長さ）、フラッシュ操作の際にガイディングカテーテル６０の先端が配置される予定の位置、使用予定のイメージングカテーテル１０の種類、形状（直径及び長さ）、フラッシュ操作の際にイメージングカテーテル１０の先端が配置される予定の位置等、カテーテルに関するカテーテル情報を含む。なお、ガイディングカテーテル６０及びイメージングカテーテル１０の先端の位置は、透視画像撮影装置２によって撮影されたアンギオ画像に基づいて特定された位置を用いることができる。また治療情報は、使用予定の造影剤の種類、希釈率、造影剤の投与に使用するシリンジ７０における内圧限界等、造影剤に関する造影剤情報を含む。また治療情報は、ＩＶＵＳ画像の撮影時に行ったプルバック操作におけるプルバック速度及びプルバック距離等、プルバック操作に関するプルバック情報を含む。また治療情報は、患者のアンギオ画像を含んでもよい。更に治療情報は、血管内治療が実施中である場合、既に使用された造影剤の種類、希釈率及び投与量と、今後に使用予定の造影剤の種類、希釈率及び投与量とを含んでもよい。患者情報は、例えば患者の年齢（年齢層）、体重、腎機能レベルを含む。上述したような治療情報及び患者情報は、診療ＤＢ３４ａに記録されている各情報を用いることができる。

【0033】

第２学習モデルＭ２が出力するフラッシュ情報は、フラッシュ液に使用する造影剤の種類及び希釈率、フラッシュ液を投与する際の流速（フラッシュ流速）及び投与量（フラッシュ流量）、これらの条件でフラッシュ操作を行った場合の成功確率を含む。第２学習モデルＭ２は、例えばＣＮＮ（Convolutional Neural Network）で構成されるが、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）、ＲＮＮ（Recurrent Neural Network）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0034】

第２学習モデルＭ２は、訓練用の血管情報、治療情報及び患者情報と、正解のフラッシュ情報とが対応付けられた訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。訓練用の血管情報、治療情報及び患者情報は、血管内治療を実施した患者の診療データを用いることができ、例えば診療ＤＢ３４ａに記憶してある各情報を用いることができる。正解のフラッシュ情報も、患者の診療データに含まれるフラッシュ情報を用いることができる。画像処理装置３は、訓練データに含まれる血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、訓練データに含まれる正解のフラッシュ情報を出力するように第２学習モデルＭ２の学習を行う。

【0035】

具体的には、画像処理装置３は、訓練用の血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、図５Ｂに例示した各項目のフラッシュ情報を出力として第２学習モデルＭ２から取得する。画像処理装置３は、出力されたフラッシュ情報を、訓練データに含まれる正解のフラッシュ情報と比較し、両者が近似するように、ニューロン間の重み（結合係数）等のパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、患者の血管情報、治療情報及び患者情報が入力された場合にフラッシュ情報を出力する第２学習モデルＭ２が得られる。

【0036】

なお、図５Ｂに示した各項目において、「造影剤の種類」は分類結果で示される項目であるが、その他の項目は連続値で表現される項目である。このように第２学習モデルＭ２は、いわゆる分類問題と回帰問題とを同時に扱うが、例えば全ての項目を回帰問題と見なして連続値を出力し、分類結果として示すべき項目を連続値から二値に変換すればよい。あるいは、各項目に対応する出力層を別々に設け、中間層で抽出された特徴量を各出力層に入力して、各項目の推定を別々に行うようにしてもよい。あるいは、第２学習モデルＭ２自体を項目別に用意し、別々に推定を行ってもよい。

【0037】

画像処理装置３は、このような第２学習モデルＭ２を予め用意しておき、新たに治療を実施する患者に対するフラッシュ情報の生成に用いる。なお、新たに治療を実施する患者のフラッシュ情報を生成する場合、画像処理装置３は、当該患者のＩＶＵＳ画像を血管内検査装置１で撮影し、得られたＩＶＵＳ画像から第１学習モデルＭ１を用いて血管内腔の大きさを検出する。また画像処理装置３は、検出した血管内腔の大きさ（血管情報）に、患者の治療予定の内容（治療情報）及び患者情報を加えて第２学習モデルＭ２に入力することでフラッシュ情報を生成する。画像処理装置３は、生成したフラッシュ情報を表示装置４に出力して表示させる。

【0038】

第２学習モデルＭ２の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われた場合、学習済みの第２学習モデルＭ２は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３４に記憶される。

【0039】

図６はフラッシュ情報の画面例を示す模式図である。図６に示す画面は、術者に提示するフラッシュ情報として、フラッシュ液（例えば造影剤）の投与量（フラッシュ量）の低減を重視したパターンと、フラッシュ液の流速（フラッシュ流速）の低減を重視したパターンとの２パターンのフラッシュ情報を表示している。また図６に示すフラッシュ情報は、フラッシュ流速、フラッシュ量（造影剤の総量）、成功確率を含んでおり、更に、このフラッシュ情報に関する注意事項及びアドバイスを含んでいる。注意事項及びアドバイスは、例えばフラッシュ情報が、フラッシュ量又はフラッシュ流速のいずれの低減を重視したものであるかに応じて、予め補助記憶部３４に記憶されている。よって、制御部３１は、生成したフラッシュ情報の内容に応じた注意事項及びアドバイスを補助記憶部３４から読み出して表示画面に表示させることによって、フラッシュ情報と共に注意事項及びアドバイスを術者に提示することができる。

【0040】

なお、図６のパターンＡに示すアドバイスのように、フラッシュ操作の際にガイディングカテーテル６０の先端位置を血管に対して適切な位置に位置合わせすることにより、フラッシュ液が他の血管に流れ出る量を減らすことができ、その結果、フラッシュ量の低減が可能となる。また、図６のパターンＢに示すアドバイスのように、フラッシュ液に使用する造影剤の希釈率を上昇させることにより、フラッシュ液の粘度が低下するので、血管に対する負荷の低減が可能となる。このようにフラッシュ量の低減又はフラッシュ流速の低減を更に実現できるアドバイスを術者に提示することができる。なお、フラッシュ情報に造影剤の種類及び希釈率を含めて表示してもよい。また画像処理装置３は、患者の情報から最適なフラッシュ情報を特定し、特定したフラッシュ情報のみを表示する構成でもよい。

【0041】

術者は、提示された各パターンのフラッシュ情報の各情報及び注意事項に基づいて、最適なフラッシュ情報を特定する。例えば術者は、患者の体調を考慮して、最適なパターンのフラッシュ情報を特定する。また術者は、フラッシュ情報と共に提示されるアドバイスと自身の手技技術とを考慮して最適なフラッシュ情報を特定する。そして術者は、特定したフラッシュ情報（フラッシュ条件）でのフラッシュ操作を行う。ここでは、術者は、例えばオートインジェクタに対して、特定したフラッシュ条件（フラッシュ流速及びフラッシュ量等）を設定し、オートインジェクタによるフラッシュ液の注入を実行する。そして、術者は、フラッシュ操作を実行した後、ＯＣＴ画像の撮影を実行する。

【0042】

フラッシュ情報と共に術者に提示される注意事項及びアドバイスは、フラッシュ情報がフラッシュ量の低減を重視したものである場合、例えばプルバック速度を上昇させることによってフラッシュ量の総量の低減をアドバイスする情報であってもよい。なお、プルバック速度を上昇させた場合、プルバック操作に要する時間が短縮されるので、少ない量のフラッシュ液でのフラッシュ操作が可能となる。

【0043】

以下に、訓練データを学習して第２学習モデルＭ２を生成する処理について説明する。図７は第２学習モデルＭ２の生成処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行うが、他の学習装置で行われてもよい。

【0044】

画像処理装置３の制御部３１は、１人の患者に関する血管情報、治療情報及び患者情報と、この患者に対して実施したフラッシュ操作に関するフラッシュ情報とを対応付けた訓練データを取得する（Ｓ１１）。フラッシュ情報には、当該フラッシュ情報に含まれる各条件でのフラッシュ操作に対する成功確率が含まれる。訓練データ用の血管情報、治療情報及び患者情報と、訓練データ用のフラッシュ情報とは、診療ＤＢ３４ａに記憶されている各情報を用いることができる。なお、訓練データは、予め訓練データ用の血管情報、治療情報及び患者情報と、フラッシュ情報とを用意して訓練データＤＢ（図示せず）に登録しておいてもよい。この場合、制御部３１は、訓練データＤＢから訓練データを取得すればよい。

【0045】

制御部３１は、取得した訓練データを用いて第２学習モデルＭ２の学習処理を行う（Ｓ１２）。ここでは、制御部３１は、訓練データに含まれる血管情報、治療情報及び患者情報を第２学習モデルＭ２に入力し、フラッシュ情報の各項目に関する出力値を取得する。制御部３１は、出力された各項目に関する出力値を、正解の各項目の情報と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化する。

【0046】

制御部３１は、未処理のデータがあるか否かを判断する（Ｓ１３）。例えば訓練データが予め訓練データＤＢに登録してある場合、制御部３１は、訓練データＤＢに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断する。未処理のデータがあると判断した場合（Ｓ１３：ＹＥＳ）、制御部３１はステップＳ１１の処理に戻り、学習処理が未処理の訓練データに基づいて、ステップＳ１１～Ｓ１２の処理を行う。未処理のデータがないと判断した場合（Ｓ１３：ＮＯ）、制御部３１は一連の処理を終了する。

【0047】

上述した処理により、患者の血管情報、治療情報及び患者情報を入力した場合にフラッシュ情報を出力するように学習された第２学習モデルＭ２が得られる。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、第２学習モデルＭ２を更に最適化することができる。また、既に学習済みの第２学習モデルＭ２についても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い第２学習モデルＭ２が得られる。

【0048】

図８は、フラッシュ情報の提示処理手順の一例を示すフローチャートである。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３４に記憶してあるコンピュータプログラムＰに従って行う。なお、本実施形態の画像診断システムでは、血管内治療を行う際に血管の断層画像を撮影する場合、まず血管内検査装置１をＩＶＵＳモードで使用してＩＶＵＳ画像を撮影する。その後、必要に応じて血管内検査装置１をＯＣＴモードで使用してＯＣＴ画像を撮影する。その際に、画像処理装置３は、先に撮影したＩＶＵＳ画像に基づいて、ＯＣＴ画像の撮影時に行うべきフラッシュ操作における条件（フラッシュ情報）を生成して術者に提示する。術者は、提示されたフラッシュ情報を考慮して、実行すべきフラッシュ操作の内容（フラッシュ情報）を選択できる。

【0049】

画像処理装置３の制御部３１（取得部）は、患者の血管を血管内から撮影したＩＶＵＳ画像を血管内検査装置１から取得する（Ｓ２１）。そして、制御部３１は、取得したＩＶＵＳ画像に基づいてフラッシュ情報を生成する。なお、制御部３１は、ステップＳ２１の処理後、例えば入力装置５を介して術者からＯＣＴ画像の撮影指示を受け付けた場合に、ＩＶＵＳ画像に基づいてフラッシュ情報を生成する処理を実行してもよい。

【0050】

フラッシュ情報を生成する場合、制御部３１はまず、ＩＶＵＳ画像を第１学習モデルＭ１に入力し、第１学習モデルＭ１からの出力画像に基づいて、ＩＶＵＳ画像中の血管内腔を検出する（Ｓ２２）。そして制御部３１（算出部）は、検出した血管内腔に基づいて血管内腔の直径を算出する（Ｓ２３）。血管内腔の直径は例えば、血管内腔の中心を通る血管内径の最小値及び最大値であり、制御部３１は、例えばＩＶＵＳ画像中の血管内径上の画素数に基づいて直径を算出する。また制御部３１（算出部）は、検出した血管内腔に基づいて、ＩＶＵＳで撮影された血管内腔の長さを算出する（Ｓ２４）。血管内腔の長さは、血管の走行方向（長軸方向）の長さであり、例えばＩＶＵＳ画像の撮影時に行ったプルバック操作によるプルバック距離である。なお、プルバック距離は、１回のプルバック操作によって撮影されたＩＶＵＳ画像の枚数と、プルバック速度とに基づいて算出できる。更に制御部３１（算出部）は、検出した血管内腔に基づいて、血管内腔の体積を算出する（Ｓ２５）。血管内腔の体積は、血管内腔の断面積及び長さから算出される体積である。血管内腔の断面積は、算出した血管内腔の直径に基づいて算出されてもよく、ＩＶＵＳ画像中の血管内腔内の画素数に基づいて算出されてもよい。制御部３１は例えば、１枚のＩＶＵＳ画像における血管内腔の断面積を算出し、隣り合うＩＶＵＳ画像間の距離（ＩＶＵＳ画像の撮影位置間の距離）に基づいて、１枚のＩＶＵＳ画像における血管内腔の体積を算出する。そして制御部３１は、それぞれのＩＶＵＳ画像における血管内腔の体積を加算することにより、ＩＶＵＳで撮影された血管内腔の体積を算出する。このような処理により、制御部３１は、ＩＶＵＳ画像で撮影された血管内腔の直径、長さ及び体積等、血管内腔に関する血管情報を算出する。なお、これらの各情報の算出処理は、従来使用されている血管内検査装置１又は画像処理装置３で行われている算出処理によって実行可能である。また制御部３１は、例えば透視画像撮影装置２で撮影したアンギオ画像に基づいて、この時点でのガイディングカテーテル６０の先端の位置及び画像診断用プローブ１１の先端の位置を検出し、検出した位置を血管情報として用いる。

【0051】

制御部３１（特定部）は、患者の治療情報及び患者情報を診療ＤＢ３４ａから読み出し、算出した血管情報と、読み出した患者の治療情報及び患者情報とを第２学習モデルＭ２に入力し、第２学習モデルＭ２からの出力情報に基づいてフラッシュ情報を生成する（Ｓ２６）。制御部３１は、生成したフラッシュ情報を表示装置４に出力し、例えば図６に示すような画面にてフラッシュ情報を表示する（Ｓ２７）。フラッシュ情報は、例えば図６に示すように複数パターンが表示され、術者は、表示されたフラッシュ情報から、実行すべきフラッシュ情報を選択する。また術者は、選択したフラッシュ情報に基づいて、例えばオートインジェクタに対して、選択したフラッシュ液７２が充填されたシリンジ７０の装着、フラッシュ流速及びフラッシュ量の設定等を行い、フラッシュ操作を実行する。なお、制御部３１は、例えば入力装置５を介して、いずれかのフラッシュ情報に対する術者の選択を受け付け（Ｓ２８）、選択を受け付けた場合、選択されたフラッシュ情報を診療ＤＢ３４ａに記憶しておく（Ｓ２９）。

【0052】

オートインジェクタは、術者によって設定されたフラッシュ条件に基づくフラッシュ操作を実行し、その後、術者は、血管内検査装置１を用いてＯＣＴ画像の撮影を行う。制御部３１は、ＯＣＴ画像を血管内検査装置１から取得し（Ｓ３０）、取得したＯＣＴ画像を表示装置４に出力して表示する（Ｓ３１）。術者は、表示されたＯＣＴ画像にて血管の状態を観察し、必要に応じて血管内治療を行う。なお、血管内治療では、術者は、ガイディングカテーテル６０からイメージングカテーテル１０を一旦取り出し、ガイディングカテーテル６０にバルーンカテーテル等の治療用カテーテルを挿入して手技を行う。

【0053】

なお、制御部３１は、血管内検査装置１で撮影されたＯＣＴ画像を表示装置４に表示した場合に、例えばＯＣＴ画像に対する評価に関する情報を入力装置５を介して術者から取得する（Ｓ３２）。ＯＣＴ画像に対する評価情報は、例えばＯＣＴ画像が画像診断に十分用いることができるクリアフレームであるか否かを示す情報であり、例えばクリアフレームである（可）又はクリアフレームでない（否）ことを示す情報であってもよい。またＯＣＴ画像に対する評価情報は、術者が画像診断に用いる際の満足度（例えば５段階評価又は１００点満点の各値）であってもよい。また制御部３１は、血管内検査装置１によるＯＣＴ画像の撮り直しが行われたか否かを判断し、撮り直しが行われた場合に、このときのフラッシュ情報に対して低評価（例えば５段階評価の１）を付与し、撮り直しが行われなかった場合に、このときのフラッシュ情報に対して高評価（例えば５段階評価の５）を付与してもよい。更に制御部３１は、１回のプルバック操作で撮影された複数のＯＣＴ画像について、術者によって所定以上の評価が得られたＯＣＴ画像（クリアフレーム）、又は、病変部の画質又は輝度が所定の画質又は輝度以上であるＯＣＴ画像（クリアフレーム）を抽出し、クリアフレームの割合を算出し、算出した割合を評価情報に用いてもよい。なお、ＯＣＴ画像がクリアフレームであるか否かの判定を、機械学習によって構築された学習モデル（ニューラルネットワーク）を用いて行ってもよい。例えばＣＮＮで構成され、ＯＣＴ画像が入力された場合に、ＯＣＴ画像が画像診断に十分用いることができるクリアな画像であるか否かを示す情報を出力するように学習された学習モデルを用いてもよい。この場合、画像処理装置３は、ＯＣＴ画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、ＯＣＴ画像がクリアフレームであるか否かを判定することができる。このように各フラッシュ情報に付与される評価情報は、フラッシュ操作における成功確率を示していてもよく、このような評価情報から成功確率が算出されてもよい。制御部３１は、フラッシュ情報に対する評価情報を取得した場合、フラッシュ情報に対応付けて、取得した評価情報（成功確率）を診療ＤＢ３４ａに記憶しておく。これにより、診療ＤＢ３４ａに記憶したフラッシュ情報及びフラッシュ情報に対する評価情報を、第２学習モデルＭ２の学習における訓練データに用いることができる。

【0054】

上述した処理により、本実施形態では、ＯＣＴ画像を撮影する際に実施すべきフラッシュ操作における条件（フラッシュ情報）が、ＩＶＵＳ画像と、患者の治療情報及び患者情報とに基づいて生成される。よって、フラッシュ操作によって適切に血液を除去できないフラッシュ不良の発生が抑制され、適切なフラッシュ操作を実施できる可能性が向上する。適切なフラッシュ操作が実施できた場合、フラッシュ操作のやり直し及びＯＣＴ画像の撮り直し等の発生が抑制され、手技時間の延長が回避できる。また、フラッシュ液に造影剤を用いたフラッシュ操作を実施する場合には、フラッシュ操作のやり直しによる造影剤の投与量の増加、正確には造影剤に含まれるヨードの投与量の増加を回避でき、患者の腎機能への影響を最小限に留めることができ、腎機能に対する負担を軽減できる。

【0055】

本実施形態のように、デュアルタイプのイメージングカテーテル１０を用いる血管内検査装置１では、血管内治療の実施後、例えば病変部にステントを留置した後に、ステントの留置位置を確認するためにＯＣＴ画像の撮影が行われる。このときにも、ＯＣＴ画像の撮影を行う前にＩＶＵＳ画像を撮影し、得られたＩＶＵＳ画像からフラッシュ情報を生成し、生成されたフラッシュ情報を術者に提示することができる。このような場合にも、術者は、提示されたフラッシュ情報に基づいて、実行すべきフラッシュ操作の内容を特定することにより、最適なフラッシュ条件を選定できる。

【0056】

図９は学習モデルの変形例を示す説明図である。上述した第１学習モデルＭ１及び第２学習モデルＭ２は、図９に示すように１つの学習モデルで構成されていてもよい。図９に示す学習モデルＭ３は、例えば１回のプルバック操作によって撮影された複数のＩＶＵＳ画像と、患者の治療情報及び患者情報とを入力とし、上述した第２学習モデルＭ２と同様のフラッシュ情報を出力する構成を有する。図９に示す学習モデルＭ３は例えばＣＮＮを有し、ＣＮＮによって、入力されたＩＶＵＳ画像から画像の特徴量を抽出する。ここで抽出される特徴量は、ＩＶＵＳ画像中の血管内腔に関する血管情報に相当する。よって、学習モデルＭ３は、ＣＮＮで抽出した特徴量と、入力された治療情報及び患者情報とに基づいてフラッシュ情報を生成することができる。このように１つの学習モデルＭ３で構成した場合であっても、ＩＶＵＳ画像と、患者の治療情報及び患者情報とからフラッシュ情報が生成され、生成されたフラッシュ情報を術者に提示することができる。

【0057】

本実施形態において、患者の血管情報、治療情報及び患者情報からフラッシュ操作における各情報を生成する処理は第２学習モデルＭ２を用いる構成の代わりに、ルールベースで行うように構成されていてもよい。この場合、例えば、血管情報、治療情報及び患者情報の各情報の組合せに対して、最適なフラッシュ情報を対応付けたテーブルを用意しておき、画像処理装置３は、テーブルの内容から、患者の血管情報、治療情報及び患者情報に応じたフラッシュ情報を特定する。この場合にも、患者に応じた最適なフラッシュ情報を術者に提示できる。

【0058】

本実施形態では、第１学習モデルＭ１及び第２学習モデルＭ２を用いてＩＶＵＳ画像と、患者の治療情報及び患者情報とに基づいてフラッシュ情報を生成する処理を画像処理装置３がローカルで行う構成であるが、この構成に限定されない。例えば、第１学習モデルＭ１及び第２学習モデルＭ２を用いたフラッシュ情報の生成処理を行うサーバを設けてもよい。この場合、画像処理装置３は、ＩＶＵＳ画像、治療情報及び患者情報をサーバへ送信し、サーバで生成されたフラッシュ情報を取得するように構成されていてもよい。なお、ここでのサーバが診療ＤＢ３４ａを記憶するサーバである場合、画像処理装置３は、ＩＶＵＳ画像のみをサーバへ送信し、サーバで生成されたフラッシュ情報を取得することができる。このような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。

【0059】

本実施形態において、第２学習モデルＭ２は、例えばフラッシュ液（造影剤）の投与量の低減を重視する場合、又はフラッシュ液の流速の低減を重視する場合等のように治療のシチュエーション毎に用意されていてもよい。また第２学習モデルＭ２は、フラッシュ操作の処理対象の部位（例えば血管の種類）毎、又は、血管に対するガイディングカテーテル６０の先端の位置毎に用意されていてもよい。例えば、右冠動脈用のモデル、左前下行枝用のモデル、回旋枝用のモデル、ガイディングカテーテル６０の先端が冠動脈に十分係合している場合用のモデル、係合状態が浅い場合用のモデルが用意されていてもよい。この場合、画像処理装置３は、それぞれのモデルを用いて生成したフラッシュ情報を術者に提示してもよい。また、画像処理装置３は、処理対象の血管の種類又は術者による設定入力に応じて使用するモデルを選択し、選択したモデルを用いてフラッシュ情報を生成して術者に提示することができる。

【0060】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0061】

１ 血管内検査装置
２ 透視画像撮影装置
３ 画像処理装置
４ 表示装置
５ 入力装置
１０ イメージングカテーテル
１１ 画像診断用プローブ
６０ ガイディングカテーテル
６１ シース
６２ 分岐ハブ
７０ シリンジ
３４ａ 診療ＤＢ
Ｍ１ 第１学習モデル
Ｍ２ 第２学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】