(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142137
(43)【公開日】2024-10-10
(54)【発明の名称】プログラム、画像処理方法及び画像処理装置
(51)【国際特許分類】
A61B 1/00 20060101AFI20241003BHJP
A61B 1/045 20060101ALI20241003BHJP
A61B 8/12 20060101ALI20241003BHJP
【ＦＩ】
A61B1/00 526
A61B1/00 530
A61B1/045 614
A61B1/045 618
A61B1/045 622
A61B8/12
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023054162
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】坂口 雄紀
【テーマコード（参考）】
4C161
4C601
【Ｆターム（参考）】
4C161AA22
4C161BB08
4C161CC07
4C161FF40
4C161FF46
4C161HH51
4C161MM10
4C161NN01
4C161QQ09
4C161RR01
4C161RR18
4C161WW02
4C161WW13
4C161WW16
4C601BB03
4C601BB13
4C601BB14
4C601BB24
4C601DD14
4C601EE07
4C601EE11
4C601FE02
4C601FE04
4C601JB34
4C601JC06
4C601JC22
4C601JC25
4C601JC37
(57)【要約】
【課題】ステントエッジによる解離の有無を早急に判定することが可能なプログラム等を提供する。
【解決手段】コンピュータは、プログラムに従って、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得する。コンピュータは、スキャンデータのうちで、管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、管腔器官の縦断層画像を生成し、生成した縦断層画像に基づいて、管腔器官に留置されたステントを検出する。また、コンピュータは、検出したステントのエッジからステントの外側の所定領域を撮影位置とするスキャンデータに基づいて、管腔器官の横断層画像を生成し、生成した横断層画像に基づいて、管腔器官内のステントのエッジによる解離の有無を判定する。
【選択図】図１
【解決手段】コンピュータは、プログラムに従って、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得する。コンピュータは、スキャンデータのうちで、管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、管腔器官の縦断層画像を生成し、生成した縦断層画像に基づいて、管腔器官に留置されたステントを検出する。また、コンピュータは、検出したステントのエッジからステントの外側の所定領域を撮影位置とするスキャンデータに基づいて、管腔器官の横断層画像を生成し、生成した横断層画像に基づいて、管腔器官内のステントのエッジによる解離の有無を判定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
処理をコンピュータに実行させるプログラム。
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
処理をコンピュータに実行させるプログラム。
【請求項2】
管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官に対するステントのエッジによる解離の有無を示す情報を出力するように学習された学習モデルに、前記生成した横断層画像を入力して、入力した前記横断層画像中の管腔器官に対するステントのエッジによる解離の有無を示す情報を取得する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項3】
前記スキャンデータは、前記カテーテル内の光センサを用いて前記管腔器官をスキャンした光データと、前記カテーテル内の超音波センサを用いて前記管腔器官をスキャンした超音波データとを含み、
前記光データに基づいて前記管腔器官の光干渉縦断層画像を生成し、
前記超音波データに基づいて前記管腔器官の超音波縦断層画像を生成し、
前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれに基づいて、前記ステントを検出し、
前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれから検出した前記ステントの位置に基づいて、前記ステントの位置を特定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
前記光データに基づいて前記管腔器官の光干渉縦断層画像を生成し、
前記超音波データに基づいて前記管腔器官の超音波縦断層画像を生成し、
前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれに基づいて、前記ステントを検出し、
前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれから検出した前記ステントの位置に基づいて、前記ステントの位置を特定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項4】
前記スキャンデータは、前記カテーテル内の光センサを用いて前記管腔器官をスキャンした光データと、前記カテーテル内の超音波センサを用いて前記管腔器官をスキャンした超音波データとを含み、
前記ステントのエッジから外側の所定領域を撮影位置とする前記光データに基づいて、前記管腔器官の光干渉横断層画像を生成し、
前記ステントのエッジから外側の所定領域を撮影位置とする前記超音波データに基づいて、前記管腔器官の超音波横断層画像を生成し、
前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づいて、前記ステントのエッジによる解離の有無を判定し、
前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づく判定結果から、前記解離の有無を特定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
前記ステントのエッジから外側の所定領域を撮影位置とする前記光データに基づいて、前記管腔器官の光干渉横断層画像を生成し、
前記ステントのエッジから外側の所定領域を撮影位置とする前記超音波データに基づいて、前記管腔器官の超音波横断層画像を生成し、
前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づいて、前記ステントのエッジによる解離の有無を判定し、
前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づく判定結果から、前記解離の有無を特定する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項5】
前記生成した縦断層画像上に、検出したステントの位置を表示する画面を出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項6】
前記生成した縦断層画像上に、判定した解離の位置を表示する画面を出力する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
【請求項7】
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
処理をコンピュータが実行する画像処理方法。
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
処理をコンピュータが実行する画像処理方法。
【請求項8】
制御部を備える画像処理装置であって、
前記制御部は、
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
画像処理装置。
前記制御部は、
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、
検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、
生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する
画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像処理方法及び画像処理装置に関する。
【背景技術】
【0002】
冠動脈における狭窄部の治療法の一つに経皮的冠状動脈インターベンション（Percutaneous Coronary Intervention：ＰＣＩ）と称される方法がある。ＰＣＩは、狭窄した病変部をバルーンカテーテルで拡張し、ステントを留置して血管を再建する低侵襲治療である。ＰＣＩの術中又は術後において、画像診断用カテーテルを用いた血管内超音波診断法（ＩＶＵＳ：Intra Vascular Ultra Sound）又は光干渉断層診断法（ＯＣＴ：Optical Coherence Tomography）により、血管内の状態を観察することができる。特許文献１には、超音波診断のためのイメージングコアを備える超音波カテーテルが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１５３６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＰＣＩの術中に治療対象領域にステントを留置した後、ステントのエッジが血管壁（血管内膜）に接触する箇所において、ステントエッジによって血管壁に亀裂が入り剥離した状態（以下では解離と称する）が発生するおそれがある。解離が発生すると、剥離した血管壁、又は解離部分に発生した血栓が血流を阻害し、末梢の心筋の梗塞等の合併症の発生原因となり得る。そこで、術者は、ステント留置後に、ステントエッジによる解離が発生していないことを早急に確認する必要がある。術者が血管内の状態を把握するために、血管内を撮影した画像に基づいて、血管の状態を検出し、検出結果を術者に提示することが行われている。例えば、血管の横断面を撮影したＩＶＵＳ画像又はＯＣＴ画像に基づいて、撮影された血管の内腔及び血管壁等の領域が検出されて提示される。このような検出処理は、一般的に、撮影範囲内で撮影された全ての画像に対して行われた後に検出結果が提示されるので、検出結果が提示されるまでに時間を要する。
【0005】
一つの側面では、ステントエッジによる解離の有無を早急に判定することが可能なプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）本開示は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する処理をコンピュータに実行させるプログラムである。
【0007】
（２）上記（１）のプログラムにおいて、管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官に対するステントのエッジによる解離の有無を示す情報を出力するように学習された学習モデルに、前記生成した横断層画像を入力して、入力した前記横断層画像中の管腔器官に対するステントのエッジによる解離の有無を示す情報を取得する処理を更に前記コンピュータに実行させることが好ましい。
【0008】
（３）上記（１）又は（２）のプログラムにおいて、前記スキャンデータは、前記カテーテル内の光センサを用いて前記管腔器官をスキャンした光データと、前記カテーテル内の超音波センサを用いて前記管腔器官をスキャンした超音波データとを含み、前記光データに基づいて前記管腔器官の光干渉縦断層画像を生成し、前記超音波データに基づいて前記管腔器官の超音波縦断層画像を生成し、前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれに基づいて、前記ステントを検出し、前記光干渉縦断層画像及び前記超音波縦断層画像のそれぞれから検出した前記ステントの位置に基づいて、前記ステントの位置を特定する処理を更に前記コンピュータに実行させることが好ましい。
【0009】
（４）上記（１）～（３）のいずれかに記載のプログラムにおいて、前記スキャンデータは、前記カテーテル内の光センサを用いて前記管腔器官をスキャンした光データと、前記カテーテル内の超音波センサを用いて前記管腔器官をスキャンした超音波データとを含み、前記ステントのエッジから外側の所定領域を撮影位置とする前記光データに基づいて、前記管腔器官の光干渉横断層画像を生成し、前記ステントのエッジから外側の所定領域を撮影位置とする前記超音波データに基づいて、前記管腔器官の超音波横断層画像を生成し、前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づいて、前記ステントのエッジによる解離の有無を判定し、前記光干渉横断層画像及び前記超音波横断層画像のそれぞれに基づく判定結果から、前記解離の有無を特定する処理を更に前記コンピュータに実行させることが好ましい。
【0010】
（５）上記（１）～（４）のいずれかに記載のプログラムにおいて、前記生成した縦断層画像上に、検出したステントの位置を表示する画面を出力する処理を更に前記コンピュータに実行させることが好ましい。
【0011】
（６）上記（１）～（５）のいずれかに記載のプログラムにおいて、前記生成した縦断層画像上に、判定した解離の位置を表示する画面を出力する処理を更に前記コンピュータに実行させることが好ましい。
【0012】
（７）また、本開示は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する処理をコンピュータが実行する画像処理方法である。
【0013】
（８）また、本開示は、制御部を備える画像処理装置であって、前記制御部は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、生成した前記縦断層画像に基づいて、前記管腔器官に留置されたステントを検出し、検出した前記ステントのエッジから前記ステントの外側の所定領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を生成し、生成した前記横断層画像に基づいて、前記ステントのエッジによる解離の有無を判定する画像処理装置である。
【発明の効果】
【0014】
一つの側面では、ステントエッジによる解離の有無を早急に判定することが可能となる。
【図面の簡単な説明】
【0015】
【図1】画像診断装置の構成例を示す説明図である。
【図2】画像診断用カテーテルの概要を説明する説明図である。
【図3】センサ部を挿通させた血管の断面を示す説明図である。
【図4】断層画像を説明する説明図である。
【図5】画像処理装置の構成例を示すブロック図である。
【図6】モデルの構成例を示す説明図である。
【図7】解離の有無の判定処理手順の一例を示すフローチャートである。
【図8】解離の有無の判定処理の説明図である。
【図9】画面例を示す説明図である。
【図10】解離の有無の判定処理手順の他の一例を示すフローチャートである。
【図11】実施形態２の解離の有無の判定処理手順の一例を示すフローチャートである。
【図12】画面例を示す説明図である。
【図13】解離判定モデルの変形例を示す説明図である。
【発明を実施するための形態】
【0016】
以下、本開示のプログラム、画像処理方法及び画像処理装置について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
【0017】
（実施形態１）
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれＩＶＵＳ画像及びＯＣＴ画像と記載する。ＩＶＵＳ画像及びＯＣＴ画像は血管の断層画像の一例であり、ＩＶＵＳ画像及びＯＣＴ画像はそれぞれ、血管の径方向の断面画像である横断層画像と、血管の長軸方向の断面画像である縦断層画像とを含む。
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれＩＶＵＳ画像及びＯＣＴ画像と記載する。ＩＶＵＳ画像及びＯＣＴ画像は血管の断層画像の一例であり、ＩＶＵＳ画像及びＯＣＴ画像はそれぞれ、血管の径方向の断面画像である横断層画像と、血管の長軸方向の断面画像である縦断層画像とを含む。
【0018】
本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、タッチパネル又はマイク等である。入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
【0019】
血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮影し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、画像診断用カテーテル１にはＸ線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル１（マーカ）の位置が可視化される。血管造影装置１０２は、撮影して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して当該アンギオ画像を表示装置４に表示させる。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮影された断層画像とが表示される。
【0020】
図２は画像診断用カテーテル１の概要を説明する説明図である。なお、図２中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側と記載する。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤＧＷが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤＧＷを受け入れ、ガイドワイヤＧＷによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４との接続部分からコネクタ部１５との接続部分に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
【0021】
センサ部１２は、ハウジング１２ｄを有し、ハウジング１２ｄの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｄ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａ（超音波センサ、以下ではＩＶＵＳセンサ１２ａという）と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂ（光センサ、以下ではＯＣＴセンサ１２ｂという）とが配置されている。図２に示す例では、プローブ１１の先端側にＩＶＵＳセンサ１２ａが設けられており、基端側にＯＣＴセンサ１２ｂが設けられている。画像診断用カテーテル１において、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、シャフト１３の軸方向に対して略９０度となる方向（シャフト１３の径方向）を超音波又は近赤外光の送受信方向として取り付けられている。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、カテーテルシース１１ａの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。
【0022】
シャフト１３には、ＩＶＵＳセンサ１２ａに接続された電気信号ケーブル（図示せず）と、ＯＣＴセンサ１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。画像診断装置１００では、センサ部１２及びシャフト１３によって構成されるイメージングコアを用いることにより、血管の内側から撮影されたＩＶＵＳ画像、及び／又は、血管の内側から撮影されたＯＣＴ画像によって血管内部の状態を測定する。
【0023】
ＭＤＵ２は、コネクタ部１５によってプローブ１１（画像診断用カテーテル１）が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル１の動作を制御する。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、ＩＶＵＳセンサ１２ａが送信した超音波の血管内からの反射波を受信し、ＯＣＴセンサ１２ｂが送信した光の血管内からの反射光を受信する。ＭＤＵ２は、ＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを画像処理装置３へ出力する。
【0024】
画像処理装置３は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａが受信した超音波の反射波データである信号データセットと、ＯＣＴセンサ１２ｂが受信した反射光データである信号データセットとを取得する。画像処理装置３は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層（横断面）を撮影したＩＶＵＳ横断層画像と、血管の縦断層（縦断面）を撮影したＩＶＵＳ縦断層画像とを構築する。また、画像処理装置３は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮影したＯＣＴ横断層画像と、血管の縦断層を撮影したＯＣＴ縦断層画像とを構築する。なお、超音波の信号データセットから超音波ラインデータを生成する処理、及び、反射光の信号データセットから光ラインデータを生成する処理は、画像処理装置３で実行されるほかに、ＭＤＵ２で実行されてもよい。この場合、画像処理装置３は、ＭＤＵ２から超音波ラインデータ及び光ラインデータを取得する構成となる。
【0025】
ここで、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。図３は、センサ部１２を挿通させた血管の断面を示す説明図であり、図４は断層画像を説明する説明図である。まず、図３を用いて、血管内におけるＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの動作と、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセット（超音波ラインデータ及び光ラインデータ）について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮影が開始されると、イメージングコアが矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、ＩＶＵＳセンサ１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、ＩＶＵＳセンサ１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。ＩＶＵＳセンサ１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａ左側に示すような２次元の超音波断層画像を構築することができる。このように５１２本のラインデータから構築される２次元の超音波断層画像を１フレームのＩＶＵＳ横断層画像（超音波横断層画像）という。なお、センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ横断層画像が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ横断層画像が取得されるので、図４Ａ右側に示すように、移動範囲内で複数フレームのＩＶＵＳ横断層画像が取得される。
【0026】
また、画像処理装置３は、移動範囲内で取得した超音波ラインデータのうちで、同一の回転角度で受信した超音波ラインデータを、各ラインデータの取得位置（血管の長軸方向の位置）に応じて並べることにより、図４Ｂに示すような２次元の超音波断層画像を構築することができる。具体的には、画像処理装置３は、任意の回転角度で受信したラインデータ（同じライン番号のラインデータ）と、この回転角度に１８０度を加算した回転角度で受信したラインデータ（前記ライン番号に２５６を加算したライン番号のラインデータ）とから２次元の超音波断層画像を構築し、このような２次元の超音波断層画像をＩＶＵＳ縦断層画像（超音波縦断層画像）という。
【0027】
同様に、ＯＣＴセンサ１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。ＯＣＴセンサ１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すＩＶＵＳ横断層画像と同様の２次元のＯＣＴ横断層画像（光干渉横断層画像）を構築することができる。また、光ラインデータについても、画像処理装置３は、任意の回転角度で受信した光ラインデータと、この回転角度に１８０度を加算した回転角度で受信した光ラインデータとから、図４Ｂに示すＩＶＵＳ縦断層画像と同様の２次元のＯＣＴ縦断層画像（光干渉縦断層画像）を構築することができる。
【0028】
画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａによって得られるＩＶＵＳ画像及び／又はＯＣＴセンサ１２ｂによって得られるＯＣＴ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を確認するために、Ｘ線を透過しないマーカを有する。図２に示す例では、カテーテルシース１１ａの先端部、例えばガイドワイヤ挿通部１４にマーカ１４ａが設けられており、センサ部１２のシャフト１３側にマーカ１２ｃが設けられている。このように構成された画像診断用カテーテル１をＸ線で撮影すると、マーカ１４ａ，１２ｃが可視化されたアンギオ画像が得られる。マーカ１４ａ，１２ｃを設ける位置は一例であり、マーカ１２ｃはセンサ部１２ではなくシャフト１３に設けてもよく、マーカ１４ａはカテーテルシース１１ａの先端部以外の箇所に設けてもよい。また、本実施形態では、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂはそれぞれ、５１２本のラインデータを取得する構成とするが、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得するラインデータの数は５１２本に限定されない。
【0029】
図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータ（情報処理装置）であり、制御部３１、主記憶部３２、入出力部３３、通信部３４、補助記憶部３５、読取部３６を備える。制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
【0030】
主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
【0031】
入出力部３３は、血管内検査装置１０１、血管造影装置１０２、表示装置４、入力装置５等の外部装置が接続されるインタフェースを備える。制御部３１は、入出力部３３を介して、血管内検査装置１０１から超音波の反射波データ及び測定光の反射光データを取得し、血管造影装置１０２からアンギオ画像を取得する。なお、制御部３１は、血管内検査装置１０１から取得した反射波データから超音波ラインデータを生成し、更にＩＶＵＳ画像を構築する。また制御部３１は、血管内検査装置１０１から取得した反射光データから光ラインデータを生成し、更にＯＣＴ画像を構築する。また、制御部３１は、入出力部３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力部３３を介して、入力装置５に入力された情報を受け付ける。
【0032】
通信部３４は、例えば、４Ｇ、５Ｇ、ＷｉＦｉ等の通信規格に準拠した通信インタフェースを備える。画像処理装置３は、通信部３４を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信を行う。制御部３１は、通信部３４を介して、外部サーバにアクセスし、当該外部サーバのストレージに記憶されている各種のデータを参照するものであってもよい。また、制御部３１は、当該外部サーバと、例えばプロセス間通信を行うことにより、本実施形態における処理を協働して行うものであってもよい。
【0033】
補助記憶部３５は、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置である。補助記憶部３５は、制御部３１が実行するプログラムＰ、制御部３１の処理に必要な各種データを記憶する。また補助記憶部３５は、例えば機械学習によって訓練データを学習済みの学習モデルが記憶されている。学習モデルは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、補助記憶部３５には、この演算を規定する関数の係数や閾値等のデータが学習モデルとして記憶される。本実施形態では、学習モデルとして、後述するステント検出モデルＭ１と、解離判定モデルＭ２とを記憶している。なお、補助記憶部３５は画像処理装置３に接続された外部記憶装置であってもよい。プログラムＰ及びモデルＭ１，Ｍ２の一部又は全部は、画像処理装置３の製造段階において補助記憶部３５に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３５に記憶させてもよい。また、プログラムＰ及びモデルＭ１，Ｍ２の一部又は全部は、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３６が記録媒体３０から読み出して補助記憶部３５に記憶させてもよい。
【0034】
画像処理装置３は、単一のコンピュータに限らず、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。本実施形態では、画像処理装置３に、２次元のアンギオ画像を撮影する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮影する装置であれば、血管造影装置１０２に限定されない。
【0035】
図６はモデルＭ１，Ｍ２の構成例を示す説明図である。図６Ａはステント検出モデルＭ１の構成例を示す。ステント検出モデルＭ１は、ＩＶＵＳ縦断層画像又はＯＣＴ縦断層画像を入力とし、入力された縦断層画像中の血管内に留置されたステントを認識するモデルである。ステント検出モデルＭ１は、ＩＶＵＳ縦断層画像用のモデルと、ＯＣＴ縦断層画像用のモデルとを含むが、以下ではまとめてステント検出モデルＭ１と記載する。ステント検出モデルＭ１は、例えばＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）、ＶｉＴ（Vision Transformer）等の物体検出用のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。また、ステント検出モデルＭ１は、Ｕ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network）、ＳｅｇＮｅｔ、ＰＳＰＮｅｔ等の画像セグメンテーション用のアルゴリズムを用いて構成してもよい。この場合、ステント検出モデルＭ１は、セマンティックセグメンテーションにより、画像中のステントの領域を画素単位で分類することができる。
【0036】
ステント検出モデルＭ１は、１枚の縦断層画像を入力とし、入力された縦断層画像に基づいて、当該縦断層画像に含まれるステント（血管内に留置されたステント）を検出する演算を行い、検出結果を示す情報を出力するように学習される。具体的には、ステント検出モデルＭ１は、入力された縦断層画像に対して、検出されたステントを囲むバウンディングボックス（図６Ａでは白実線で示す矩形）が付加された画像（以下ではラベル画像と称する）を出力する。
【0037】
ステント検出モデルＭ１は、訓練用の縦断層画像と、この縦断層画像中のステントにマーク（バウンディングボックス）が付けられた画像（正解のラベル画像）とを関連付けた訓練データを用いて機械学習することにより生成される。正解のラベル画像は、医師等のアノテーション担当者が、訓練用の縦断層画像に対して、画像中のステントにマーク（ステントの領域を示すバウンディングボックス）を付加することにより生成される。ステント検出モデルＭ１は、訓練データに含まれる縦断層画像が入力された場合に、訓練データに含まれる正解のラベル画像を出力するように学習する。学習処理においてステント検出モデルＭ１は、入力された縦断層画像に基づいて演算を行い、画像中のステントの領域を検出した検出結果（ラベル画像）を算出する。そして、ステント検出モデルＭ１は、検出結果のラベル画像と、正解のラベル画像とを比較し、両者が近似するように、演算処理に用いるパラメータを最適化する。具体的には、ステント検出モデルＭ１は、検出結果のラベル画像中のステント領域の座標範囲と、正解のラベル画像中のステント領域の座標範囲とを比較し、両者が近似するように最適化する。当該パラメータは、ステント検出モデルＭ１におけるニューロン間の重み（結合係数）等のパラメータであり、パラメータの最適化の方法は、誤差逆伝播法、最急降下法等を用いることができる。これにより、縦断層画像が入力された場合に、縦断層画像中のステントの領域をバウンディングボックスで示すラベル画像を出力するステント検出モデルＭ１が得られる。なお、ステント検出モデルＭ１は、縦断層画像から、ステントの領域に加えて、血管内腔及び血管壁の領域、ガイドワイヤ及びカテーテルの領域を認識する構成でもよい。
【0038】
図６Ｂは解離判定モデルＭ２の構成例を示す。解離判定モデルＭ２は、ＩＶＵＳ横断層画像又はＯＣＴ横断層画像を入力とし、入力された横断層画像中の血管における解離の有無を認識するモデルである。解離判定モデルＭ２は、ＩＶＵＳ横断層画像用のモデルと、ＯＣＴ横断層画像用のモデルとを含むが、以下ではまとめて解離判定モデルＭ２と記載する。解離判定モデルＭ２は、例えばＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、Transformer、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。
【0039】
解離判定モデルＭ２は、１枚の横断層画像又は複数枚の横断層画像を入力とし、入力された横断層画像に基づいて、当該横断層画像に含まれる血管における解離の有無を判別する演算を行い、演算した結果を示す情報を出力するように学習してある。なお、解離判定モデルＭ２に複数枚の横断層画像が入力される場合、当該横断層画像は、例えばプルバック操作を行いつつ撮影した一連のラインデータに基づく縦断層画像とすることができる。図６Ｂに示す解離判定モデルＭ２は、２つの出力ノードを有しており、各出力ノードには、予め設定された判別結果が対応付けられており、各出力ノードから、対応付けられた判別結果であると判別すべき確率（確信度）を出力する。図６Ｂの例では、一方の出力ノードは、画像中に解離角度が６０度以上の解離があると判別すべき確率を出力し、他方の出力ノードは、画像中に解離角度が６０度以上の解離がない（即ち、画像中の解離の角度が６０度未満である）と判別すべき確率を出力する。解離角度は、図６Ｃに示すように、血管内腔の重心を中心として、血管壁の内膜（血管内膜）の剥離領域（解離部分）の先端部と基端部との角度を意味する。各出力ノードの出力値は例えば０～１．０の値であり、各出力ノードから出力された確信度の合計が１．０となる。上述した構成により、解離判定モデルＭ２は、横断層画像が入力された場合に、入力された画像中の血管内に解離角度が６０度以上の解離の有無を示す情報を出力する。なお、解離判定モデルＭ２は、それぞれの判別結果に対する確信度を出力する２つの出力ノードを有する代わりに、確信度が大きい判別結果を出力する１つの出力ノードを有する構成でもよい。
【0040】
解離判定モデルＭ２は、訓練用の横断層画像と、当該横断層画像について医師等が判断した判別結果を示す情報（正解ラベル）とを関連付けた訓練データを用いて機械学習させることにより生成される。解離判定モデルＭ２は、訓練データに含まれる横断層画像が入力された場合に、正解ラベルが示す判別結果に対応する出力ノードからの出力値が１に近づき、他方の出力ノードからの出力値が０に近づくように学習する。学習処理において解離判定モデルＭ２は、入力された横断層画像に基づく演算を行い、各出力ノードからの出力値を算出する。そして解離判定モデルＭ２は、算出した各出力ノードの出力値と正解ラベルに応じた値（正解ラベルが示す判別結果に対応する出力ノードに対しては１、他方の出力ノードに対しては０）とを比較し、各出力値がそれぞれ正解ラベルに応じた値に近似するように、演算処理に用いるパラメータを最適化する。ここでも、誤差逆伝播法、最急降下法等を用いて、解離判定モデルＭ２におけるニューロン間の重み（結合係数）等のパラメータを最適化する。これにより、横断層画像が入力された場合に、横断層画像中の血管に解離角度が６０度以上の解離が発生しているか否かを推定し、推定結果を出力する解離判定モデルＭ２が得られる。
【0041】
上述したモデルＭ１，Ｍ２の学習は、画像処理装置３で行われてもよく、他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みのモデルＭ１，Ｍ２は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３５に記憶される。
【0042】
解離判定モデルＭ２は、図６Ｂに示す構成に限定されない。図１３は解離判定モデルＭ２の変形例を示す説明図である。図１３Ａに示す解離判定モデルＭ２ａは、ＩＶＵＳ横断層画像又はＯＣＴ横断層画像を入力とし、入力された横断層画像中の血管内腔（ルーメン）及び解離領域を認識するモデルである。解離判定モデルＭ２ａも、ＩＶＵＳ横断層画像用のモデルと、ＯＣＴ横断層画像用のモデルとを含む。解離判定モデルＭ２ａは、例えばＵ－Ｎｅｔ、ＦＣＮ、ＳｅｇＮｅｔ、ＰＳＰＮｅｔ等の画像セグメンテーション用のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。この場合、解離判定モデルＭ２ａは、セマンティックセグメンテーションにより、画像中の血管内腔及び解離領域を画素単位で分類することができる。なお、解離判定モデルＭ２ａは、例えばＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）、ＶｉＴ（Vision Transformer）等の物体検出用のアルゴリズムを用いて構成してもよい。
【0043】
解離判定モデルＭ２ａは、１枚の横断層画像又は複数枚の横断層画像を入力とし、入力された横断層画像に基づいて、当該横断層画像に含まれる血管における血管内腔及び解離領域を検出する演算を行い、演算した結果を示す情報を出力するように学習してある。図１３Ａに示す解離判定モデルＭ２ａは、入力された横断層画像に対して、検出された血管内腔及び解離領域を示すラベル（図１３Ａでは血管内腔及び解離領域にそれぞれ異なるハッチング）が付加された画像（以下ではラベル画像と称する）を出力する。
【0044】
解離判定モデルＭ２ａは、訓練用の横断層画像と、この横断層画像中の血管内腔及び解離領域にそれぞれに応じたラベルが付けられた画像（正解のラベル画像）とを関連付けた訓練データを用いて機械学習させることにより生成される。正解のラベル画像は、医師等のアノテーション担当者が、訓練用の横断層画像に対して、画像中の血管内腔及び解離領域にラベルを付加することにより生成される。解離判定モデルＭ２ａは、訓練データに含まれる横断層画像が入力された場合に、訓練データに含まれる正解のラベル画像を出力するように学習する。学習処理において解離判定モデルＭ２ａは、入力された横断層画像に基づく演算を行い、画像中の血管内腔及び解離領域を検出した検出結果（ラベル画像）を算出する。そして解離判定モデルＭ２ａは、検出結果のラベル画像と、正解のラベル画像とを比較し、両者が近似するように、演算処理に用いるパラメータを最適化する。具体的には、解離判定モデルＭ２ａは、検出結果のラベル画像中の血管内腔及び解離領域の座標範囲と、正解のラベル画像中の血管内腔及び解離領域の座標範囲とを比較し、両者が近似するように最適化する。ここでも、誤差逆伝播法、最急降下法等を用いて、解離判定モデルＭ２ａにおけるパラメータを最適化する。これにより、横断層画像が入力された場合に、横断層画像中の血管内腔及び解離領域を示すラベル画像を出力する解離判定モデルＭ２ａが得られる。このような解離判定モデルＭ２ａを用いる場合でも、制御部３１は、解離判定モデルＭ２ａによって検出された入力画像中の血管内腔及び解離領域に基づいて、血管内腔の重心を同定し、同定した重心に基づいて解離領域の角度範囲を算出し、例えば解離角度が６０度以上の解離の有無を判定できる。
【0045】
図１３Ｂは、血管内腔の重心を同定する方法の説明図である。横断層画像中の血管内腔及び解離領域が検出された場合、制御部３１は、図１３Ｂの左側に示すように解離フラップ領域を特定できる。血管内の解離フラップ領域は、例えば、図１３Ａに示す解離判定モデルＭ２ａを用いて画像中の血管内腔及び解離領域を検出した場合、検出した血管内腔及び解離領域に基づいて特定できる。例えば血管内腔及び解離領域を合わせた領域に基づいて解離前の血管内腔を予測し、予測した血管内腔から、検出した血管内腔及び解離領域を除外した領域を解離フラップ領域に特定できる。また、解離判定モデルＭ２ａが、血管内腔及び解離領域に加えて、解離フラップ領域も検出するように構成されていてもよく、この場合、解離判定モデルＭ２ａによって解離フラップ領域を検出できる。また、解離判定モデルＭ２ａは、血管内腔及び解離フラップ領域を検出するように構成されていてもよく、この場合にも、解離判定モデルＭ２ａによって解離フラップ領域を検出できる。解離フラップ領域を特定した場合、制御部３１は、図１３Ｂの左側に示すように、解離フラップ領域の根本（血管壁との連結箇所）を直線とし、この直線に平行な直線を複数特定する。次に制御部３１は、図１３Ｂの中央に示すように、解離フラップ領域を血管壁に接する位置まで平行移動する。そして、制御部３１は、図１３Ｂ中の右側に示すように、解離が発生する前の血管内腔の形状を予測し、予測した血管内腔の形状に基づいて血管内腔の重心位置を算出する。制御部３１は、このように横断層画像中の血管内腔の重心を特定することにより、重心を中心とした解離領域の角度範囲を算出することができる。
【0046】
以下に、ＰＣＩの術中に、血管内に留置したステントのエッジによって解離が発生しているか否かを画像処理装置３が判定する処理について説明する。図７は解離の有無の判定処理手順の一例を示すフローチャート、図８は解離の有無の判定処理の説明図、図９は画面例を示す説明図である。本実施形態の画像処理装置３において、制御部３１は、補助記憶部３５に記憶されたプログラムＰを読み出して実行することにより以下の処理を行う。
【0047】
ＰＣＩの術中に、術者は、ステントを留置した後、又は留置したステントをバルーンカテーテルで圧接（後拡張）した後等、適宜のタイミングでＩＶＵＳセンサ１２ａ及び／又はＯＣＴセンサ１２ｂによる撮影を行い、治療対象領域を血管内から撮影した断層画像（ＩＶＵＳ画像及び／又はＯＣＴ画像）を取得する。そして、術者は、取得した断層画像によって治療対象領域を観察し、留置したステントのエッジによって解離が発生していないことを確認する。
【0048】
画像処理装置３の制御部３１は、血管内検査装置１０１による血管内の撮影処理を行い、血管内検査装置１０１がプルバック操作を行いつつ撮影した一連のラインデータ（血管内をスキャンしたスキャンデータ）を取得する（Ｓ１１）。ここでは、血管内検査装置１０１は、画像診断用カテーテル１のセンサ部１２を先端側（遠位側）から基端側（近位側）に移動させながら血管内を走査して、ＩＶＵＳセンサ１２ａによる撮影で得られた超音波ラインデータと、ＯＣＴセンサ１２ｂによる撮影で得られた光ラインデータとを取得する。画像処理装置３の制御部３１は、入出力部３３を通じて、血管内検査装置１０１が取得した一連のラインデータを取得する。なお、制御部３１は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａから超音波の反射波データを取得する場合、取得した超音波の反射波データから超音波ラインデータを生成し、ＭＤＵ２を介してＯＣＴセンサ１２ｂから反射光データを取得する場合、取得した反射光データから光ラインデータを生成する。
【0049】
制御部３１は、ステップＳ１１で取得した超音波ラインデータに基づいて、所定枚数のＩＶＵＳ縦断層画像を構築する（Ｓ１２）。例えば制御部３１は、１枚のＩＶＵＳ縦断層画像を構築する。この場合、制御部３１は、任意のライン番号（例えば１）及びこのライン番号に２５６を加算したライン番号（例えば２５７）の超音波ラインデータに基づいてＩＶＵＳ縦断層画像を生成する。具体的には、制御部３１は、取得した超音波ラインデータから、２つの超音波ラインデータ（例えばライン番号１及び２５７のラインデータ）を抽出し、各超音波ラインデータを、長軸方向における撮影位置の順に並べて２次元のＩＶＵＳ縦断層画像を生成する。これにより、血管の径方向の所定角度（ここでは、ライン番号１及び２５７の撮影方向）でスキャンしたスキャンデータに基づくＩＶＵＳ縦断層画像が生成される。また、制御部３１は、２枚以上のＩＶＵＳ縦断層画像を構築してもよく、２枚のＩＶＵＳ縦断層画像を構築する場合、例えば、ライン番号１及び２５７の超音波ラインデータに基づくＩＶＵＳ縦断層画像と、ライン番号１２９及び３８５の超音波ラインデータに基づくＩＶＵＳ縦断層画像とを生成する。また、４枚のＩＶＵＳ縦断層画像を構築してもよく、この場合、制御部３１は、例えば、ライン番号１及び２５７の超音波ラインデータに基づくＩＶＵＳ縦断層画像と、ライン番号６５及び３２１の超音波ラインデータに基づくＩＶＵＳ縦断層画像と、ライン番号１２９及び３８５の超音波ラインデータに基づくＩＶＵＳ縦断層画像と、ライン番号１９３及び４４９の超音波ラインデータに基づくＩＶＵＳ縦断層画像とを生成する。制御部３１は、構築したＩＶＵＳ縦断層画像を主記憶部３２又は補助記憶部３５に記憶する。
【0050】
同様に、制御部３１は、ステップＳ１１で取得した光ラインデータに基づいて、所定枚数のＯＣＴ縦断層画像を構築し（Ｓ１３）、構築したＯＣＴ縦断層画像を主記憶部３２又は補助記憶部３５に記憶する。ここでも、制御部３１は、１枚のＯＣＴ縦断層画像を構築してもよく、２枚以上のＯＣＴ縦断層画像を構築してもよい。これにより、血管の径方向の所定角度（例えばライン番号１及び２５７の撮影方向）でスキャンしたスキャンデータに基づくＯＣＴ縦断層画像が生成される。
【0051】
制御部３１は、ステップＳ１２で生成したＩＶＵＳ縦断層画像に基づいて、当該画像中のステントの位置（ステントの留置範囲）を検出する（Ｓ１４）。ここでは、制御部３１は、ＩＶＵＳ縦断層画像を、ＩＶＵＳ用のステント検出モデルＭ１に入力し、ステント検出モデルＭ１から出力されたラベル画像に基づいて、入力画像中のステントを検出する。図４Ｂに示すように縦断層画像の横軸は、血管の長軸方向の撮影位置を示しており、制御部３１は、ラベル画像に基づいて、入力画像中の血管の長軸方向の各撮影位置に対して、ステント有又はステント無を判定し、ステント有と判定した撮影位置を、ステントの留置範囲に特定する。
【0052】
同様に、制御部３１は、ステップＳ１３で生成したＯＣＴ縦断層画像に基づいて、当該画像中のステントの位置（ステントの留置範囲）を検出する（Ｓ１５）。ここでは、制御部３１は、ＯＣＴ縦断層画像を、ＯＣＴ用のステント検出モデルＭ１に入力し、ステント検出モデルＭ１から出力されたラベル画像に基づいて、入力画像中のステントを検出する。ここでも制御部３１は、ラベル画像に基づいて、入力画像中の血管の長軸方向の各撮影位置に対して、ステント有又はステント無を判定し、ステント有と判定した撮影位置を、ステントの留置範囲に特定する。
【0053】
なお、ステップＳ１４，Ｓ１５において、縦断層画像中のステントの位置を検出する処理は、ステント検出モデルＭ１を用いる構成に限定されず、ルールベースで行う構成でもよい。例えば、ＩＶＵＳ縦断層画像又はＯＣＴ縦断層画像中に撮影されたステントが取り得る画素値の範囲を予め設定しておき、縦断層画像中の各画素の画素値に基づいてステント有又はステント無を判定し、判定結果からステントの位置（留置範囲）を特定してもよい。
【0054】
制御部３１は、ＩＶＵＳ縦断層画像に基づいて検出したステントの位置と、ＯＣＴ縦断層画像に基づいて検出したステントの位置とに基づいて、最終的なステントの位置（留置範囲）を特定する（Ｓ１６）。例えば制御部３１は、ＩＶＵＳ縦断層画像に基づいてステント有と判定した撮影位置（ステントの留置範囲）と、ＯＣＴ縦断層画像に基づいてステント有と判定した撮影位置（ステントの留置範囲）とにおいて、ステントの留置範囲の一端側同士を比較し、例えば、よりステントの内側にある端部を採用してもよく、２つの端部の中央位置を最終的な端部としてもよい。同様に、他端側同士を比較し、よりステントの内側にある端部を採用してもよく、２つの端部の中央位置を最終的な端部としてもよい。また、制御部３１が、留置されたステントの長さを把握している場合、ステントの長さを考慮して、一端側及び他端側のそれぞれについて、いずれの端部を採用するかを決定してもよい。このように、ＩＶＵＳ縦断層画像及びＯＣＴ縦断層画像のそれぞれに基づいてステント位置を検出した場合、それぞれの検出結果を補正することにより、より適切なステントの位置（留置範囲）を特定できる。
【0055】
ステントエッジによる解離は、ステントエッジからステントの外側の所定範囲内で発生するので、ステントエッジによる解離の有無の判定は、この範囲内で行えばよい。よって、制御部３１は、ステップＳ１６で特定したステント位置に基づいて、ステントエッジによる解離の有無の判定対象とすべき対象領域を特定する（Ｓ１７）。具体的には、制御部３１は、図８に示すように、特定したステント位置（ステントの留置範囲）の長軸方向の両端部（エッジ）のそれぞれから、ステントの外側に所定距離隔てた位置までの範囲（所定領域）を対象領域に特定する。対象領域は、ステントエッジから、例えば５ｍｍ又は１０ｍｍ程度とすることができる。なお、ステントはメッシュ状に形成されているので、ステップＳ１４，Ｓ１５でステント位置の検出に用いる縦断層画像に、正確なステントエッジが含まれない場合が生じる。そこで、対象領域を、縦断層画像から検出されたステントエッジから１０ｍｍ程度の範囲とすることにより、縦断層画像に正確なステントエッジが撮影されていない場合であっても、正確なステントエッジから所定範囲（５ｍｍ程度）を含む領域を対象領域とすることができる。この場合、ステップＳ１２，Ｓ１３で制御部３１は、１枚の縦断層画像を構築し、ステップＳ１４，Ｓ１５で１枚の縦断層画像からステント位置を検出すればよい。
【0056】
一方、対象領域を、縦断層画像から検出されたステントエッジから５ｍｍ程度の範囲とする場合、縦断層画像に正確なステントエッジが撮影されていない場合には、正確なステントエッジから所定範囲（５ｍｍ程度）を含む領域を対象領域とすることができない。そこで、この場合、ステップＳ１２，Ｓ１３で制御部３１は、複数枚の縦断層画像を構築し、ステップＳ１４，Ｓ１５で複数枚の縦断層画像からステント位置を検出する。これにより、１枚の縦断層画像から正確なステント位置を検出できない場合であっても、複数枚の縦断層画像からステントを検出することにより、正確なステント位置を検出でき、その結果、正確なステントエッジから所定範囲（５ｍｍ程度）を対象領域とすることができる。なお、複数枚の縦断層画像からステント位置を検出する場合、各縦断層画像からそれぞれ検出したステント位置に基づいて、最終的なステント位置を特定すればよい。
【0057】
制御部３１は、ステップＳ１１で取得した超音波ラインデータのうちで、特定した対象領域を撮影位置として取得した超音波ラインデータに基づいて、前記対象領域を撮影位置とするＩＶＵＳ横断層画像を構築する（Ｓ１８）。具体的には、制御部３１は、当該対象領域でセンサ部１２が一回転する間に取得された５１２本の超音波ラインデータ毎に、５１２本の超音波ラインデータに対して補間処理によって画素を補間して２次元のＩＶＵＳ横断層画像を構築する。制御部３１は、構築したＩＶＵＳ横断層画像を主記憶部３２又は補助記憶部３５に記憶する。同様に、制御部３１は、ステップＳ１１で取得した光ラインデータのうちで、特定した対象領域を撮影位置として取得した光ラインデータに基づいて、前記対象領域を撮影位置とするＯＣＴ横断層画像を構築し（Ｓ１９）、構築したＯＣＴ横断層画像を主記憶部３２又は補助記憶部３５に記憶する。
【0058】
制御部３１は、ステップＳ１８で生成したＩＶＵＳ横断層画像のそれぞれに対して、各画像中の血管に、解離角度が６０度以上の解離が発生しているか否か（解離の有無）を判定する（Ｓ２０）。ここでは、制御部３１は、ＩＶＵＳ横断層画像を１枚ずつ、ＩＶＵＳ用の解離判定モデルＭ２に入力し、解離判定モデルＭ２からの出力情報に基づいて、各入力画像中の血管に解離角度が６０度以上の解離が発生しているか否かを判定する。具体的には、制御部３１は、解離判定モデルＭ２において、大きい方の出力値（確信度）を出力した出力ノードを特定し、特定した出力ノードに対応付けられている判別結果を、入力画像中の血管に対する判別結果に特定する。
【0059】
同様に、制御部３１は、ステップＳ１９で生成したＯＣＴ横断層画像のそれぞれに対して、各画像中の血管に解離が発生しているか否か（解離の有無）を判定する（Ｓ２１）。ここでは、制御部３１は、ＯＣＴ横断層画像を１枚ずつ、ＯＣＴ用の解離判定モデルＭ２に入力し、解離判定モデルＭ２からの出力情報に基づいて、各入力画像中の血管に解離角度が６０度以上の解離が発生しているか否かを判定する。ここでも制御部３１は、解離判定モデルＭ２において、大きい方の出力値（確信度）を出力した出力ノードに対応付けられている判別結果を、入力画像中の血管に対する判別結果に特定する。なお、図１３Ａに示すような解離判定モデルＭ２ａを用いて解離領域を判定する場合、制御部３１は、上述したような処理によって、解離前の血管内腔の形状を予測して血管内腔の重心位置を算出し、算出した重心を中心とした解離領域の角度範囲を算出してもよい。そして、制御部３１は、算出した解離領域の角度範囲が６０度以上であるか否かを判断することにより、入力画像中の血管に解離角度が６０度以上の解離が発生しているか否かを判定してもよい。
【0060】
制御部３１は、ＩＶＵＳ横断層画像のそれぞれに対して判定した解離有無の判定結果と、ＯＣＴ横断層画像のそれぞれに対して判定した解離有無の判定結果とに基づいて、解離が発生している領域を特定する（Ｓ２２）。例えば、解離角度が６０度以上の解離が血管の長軸方向に２ｍｍ以上続いている場合、ステントの追加留置等の処置を行う必要がある解離が発生していると考えられる。そこで、制御部３１は、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像のそれぞれについて、解離角度が６０度以上の解離が長軸方向に２ｍｍ以上続いているか否かを判断する。具体的には、制御部３１は、対象領域を撮影位置とする全てのＩＶＵＳ横断層画像に対して解離判定モデルＭ２を用いた判定処理を行い、解離角度が６０度以上の解離が有ると判定された横断層画像が長軸方向に連続する長さを計測し、計測した長さが所定値（例えば２ｍｍ）以上であった場合に、処置を要する解離があると判断する。そして、制御部３１は、処置を要する解離があると判断した場合、当該解離の領域（当該解離を撮影した横断層画像の撮影位置）を、解離が発生しているフレーム（解離の発生領域）に特定する。なお、プルバック操作におけるセンサ部１２の移動速度とセンサ部１２の撮影タイミングとに基づいて、横断層画像の各フレーム間の距離（各フレームの撮影位置間の距離）が算出できる。従って、解離の長軸方向の長さは、解離角度が６０度以上の解離が有ると判定された横断層画像のフレーム数に基づいて算出できる。
【0061】
ＯＣＴ横断層画像についても同様に、制御部３１は、対象領域を撮影位置とする全てのＯＣＴ横断層画像に対して解離判定モデルＭ２を用いた判定処理を行い、解離角度が６０度以上の解離が有ると判定された横断層画像が長軸方向に連続する長さが所定値（例えば２ｍｍ）以上であった場合に、処置を要する解離があると判断する。そして、制御部３１は、処置を要する解離があると判断した領域（当該解離を撮影した横断層画像の撮影位置）を、解離が発生しているフレーム（解離の発生領域）に特定する。そして、制御部３１は、ＩＶＵＳ横断層画像に基づいて特定した解離の発生領域と、ＯＣＴ横断層画像に基づいて特定した解離の発生領域とを比較し、例えば、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像に基づいてそれぞれ特定された解離の発生領域の少なくとも一方を含む範囲を、最終的な解離の発生領域に特定する。また、制御部３１は、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像に基づいてそれぞれ特定された解離の発生領域が重複する範囲を、最終的な解離の発生領域に特定してもよい。このように、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像のそれぞれに基づく判定結果を総合的に判断して最終的な解離の発生領域を特定することにより、より適切な解離の発生領域を特定できる。
【0062】
制御部３１は、構築して主記憶部３２又は補助記憶部３５に記憶したＩＶＵＳ横断層画像、ＩＶＵＳ縦断層画像、ＯＣＴ横断層画像及びＯＣＴ縦断層画像と共に、血管の状態の検出結果を表示装置４に表示する（Ｓ２３）。例えば制御部３１は、図９に示すような画面を表示する。図９の画面は、ステップＳ１９で構築したＯＣＴ横断層画像、ステップＳ１３で構築したＯＣＴ縦断層画像、ステップＳ１８で構築したＩＶＵＳ横断層画像、ステップＳ１２で構築したＩＶＵＳ縦断層画像を並べて表示している。なお、ＯＣＴ横断層画像及びＩＶＵＳ横断層画像は、血管の長軸方向の同じ位置で撮影された横断層画像であり、この横断層画像の撮影位置は、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像においてマークＬ１で示されている。また、図９の画面では、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像のそれぞれの上側に、撮影対象の血管の長軸方向において、ステップＳ１６で特定したステント位置（ステントの留置範囲）を示すマークＬ２が表示されている。また、図９の画面では、ＯＣＴ縦断層画像の上側に、ステップＳ２２で特定した解離の発生領域を示すマークＬ３が表示されている。なお、図９の画面では、ＯＣＴ縦断層画像の上側にのみマークＬ３が表示されており、これは、ＯＣＴ画像のみに基づいて解離の有無及び解離の発生領域が判定された場合の例である。しかし、図７に示すようにＯＣＴ画像に加えてＩＶＵＳ画像に基づいて解離の有無及び解離の発生領域を判定する処理を行う場合、ＯＣＴ縦断層画像だけでなくＩＶＵＳ縦断層画像の上側にも、解離の発生領域を示すマークＬ３が表示される。
【0063】
なお、制御部３１は、対象領域を撮影位置とする横断層画像に対して、ステップＳ２０，Ｓ２１に加えて、血管内のプラーク領域の検出、ステントと血管内腔面（内膜）との隙間（マルアポジション）が所定値（例えば０．４ｍｍ）以上である箇所の検出等の処理を行っており、その結果を図９の画面に表示する。また、制御部３１は、ステントの留置範囲を撮影位置とする横断層画像に対して、ＭＳＡ（Minimum Stent Area：最小ステント拡張面積）の大きさ及び位置の検出処理を行い、その結果を図９の画面に表示する。例えば、制御部３１は、横断層画像（ＩＶＵＳ横断層画像又はＯＣＴ横断層画像）を入力とし、入力された横断層画像中の血管内の血管内腔の領域、血管壁の領域、ステントの領域、又はプラークの領域等を認識するモデルを用いて、横断層画像の各画素を各領域に分類する処理を行う。そして制御部３１は、分類した各領域に基づいて、画像中の血管内のプラーク領域を検出する。この場合、図９に示すように、ＯＣＴ横断層画像上に当該画像中に検出されたプラーク領域を示すマークＬ４が表示され、ＩＶＵＳ横断層画像上に当該画像中に検出されたプラーク領域を示すマークＬ５が表示される。マークＬ４，Ｌ５は、表示中の横断層画像におけるプラーク領域の血管周方向の広がりを示している。なお、ＯＣＴ画像では、脂質性組織で形成されて線維性被膜が薄い脂質性プラークを高精度で撮影できるため、制御部３１は、ＯＣＴ横断層画像から脂質性プラークの領域を検出してもよく、この場合、マークＬ４は、脂質性プラークの領域を示す。また、ＩＶＵＳ画像では超音波の減衰を伴う減衰性プラーク（attenuated plaque）を撮影できるため、制御部３１は、ＩＶＵＳ横断層画像から減衰性プラークの領域を検出してもよく、この場合、マークＬ５は、減衰性プラークの領域を示す。また、制御部３１は、横断層画像に基づいて画像中の血管内のプラーク領域を検出する処理に加えて、解離の発生範囲を検出してもよく、検出した解離の発生範囲を示すマークを、例えば横断層画像中に表示してもよい。
【0064】
また制御部３１は、横断層画像を分類した各領域に基づいて、対象領域の各撮影位置におけるマルアポジションを計測し、計測したマルアポジションが所定値（例えば０．４ｍｍ）以上である箇所を検出する。マルアポジションが所定値以上である箇所を検出できた場合、図９に示すように、ＯＣＴ縦断層画像の上側に、マルアポジションが所定値以上である箇所を示すマークＬ６が表示される。マークＬ６についてもＯＣＴ横断層画像の上側にのみ表示されており、これは、ＯＣＴ横断層画像のみに基づいてマルアポジションの計測が行われた場合の例である。マルアポジションの計測もＯＣＴ横断層画像に加えてＩＶＵＳ横断層画像に基づいて行われてもよく、この場合、ＯＣＴ横断層画像だけでなくＩＶＵＳ横断層画像の上側にも、マルアポジションが所定値以上である箇所を示すマークＬ６が表示される。また制御部３１は、ステントの留置範囲を撮影位置とする横断層画像に対して同様の処理を行ってもよく、対象領域に加えてステントの留置範囲の各撮影位置についても、マルアポジションが所定値以上である箇所を検出してマークＬ６で表示してもよい。
【0065】
更に制御部３１は、ステントの留置範囲を撮影位置とする横断層画像に対して、画像中の各画素を各領域に分類する処理を行い、分類結果から、ＭＳＡの大きさ及び位置を検出する。この場合、図９に示すように、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像のそれぞれの上側に、ＭＳＡの位置を示すマークＬ７が表示される。その他に、制御部３１は、例えばＩＶＵＳ横断層画像に基づいて、画像診断用カテーテル１が挿入されている血管（本幹）から分岐して伸びる血管（側枝）の位置を検出する処理を行ってもよい。この場合、図９に示すように、ＩＶＵＳ縦断層画像上に、側枝が分岐している位置を示すマークＬ８を表示できる。上述した処理のほかに、制御部３１は、例えば横断層画像中の血管内腔面（ルーメンの輪郭）、ＥＥＭ（External Elastic Membrane：外弾性板）（ヴェッセルの輪郭）、ステントをそれぞれ検出し、図９の画像中の横断層画像中に表示してもよい。
【0066】
図７に示す処理において、制御部３１は、ステップＳ１６の処理後に、図９の画面中の縦断層画像及びマークＬ２のみが表示された画面を表示し、ステップＳ２３で図９の画面を表示してもよい。この場合、縦断層画像に基づいてステントの位置が特定された直後に、術者は、縦断層画像中のステントの位置を確認でき、横断層画像に基づいて血管の状態が検出された後には、図９に示すような画面によって血管の状態を詳細に確認できる。
【0067】
上述した処理では、解離の有無を判定する処理に用いる横断層画像を、ステントエッジからステントの外側の所定範囲を撮影位置とする画像に制限することにより、演算量が削減され、ステントエッジによる解離の有無を確認するために必要な情報を早期に提供することができる。よって、術者は、早期に提供された情報に基づいて、ステントエッジによる解離の有無を早急に判定することが可能となる。また、解離判定モデルＭ２を用いた解離有無の判定処理を行う画像を、ステントエッジから所定範囲の領域で撮影された画像に制限することにより、解離判定モデルＭ２の学習に用いる訓練データを、当該領域の画像に制限できるので、効率のよい学習が可能となると共に、精度の高い判定結果が得られる解離判定モデルＭ２の実現が可能となる。なお、ラインデータの一部（任意のライン番号のラインデータ及びこのライン番号に２５６を加算したライン番号のラインデータ）から構築された縦断層画像に基づいてステント位置の検出が行われるので、全てのラインデータを処理する必要がなく、早期にステント位置の検出が可能となる。また、上述した処理では、ＩＶＵＳ画像及びＯＣＴ画像の両方を用いてステントエッジによる解離の有無を判定するため、それぞれの画像に基づいて検出されたステントの位置、及び、それぞれの画像に基づいて判定された解離の発生領域を補正することにより、より適切なステントの位置及び解離の発生領域を特定できる。
【0068】
本実施形態の血管内検査装置１０１は、ＩＶＵＳ及びＯＣＴの両方の機能を備えるデュアルタイプの画像診断用カテーテル１を用いた構成に限定されず、画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａのみ又はＯＣＴセンサ１２ｂのみを備える構成でもよい。以下に、ＩＶＵＳセンサ１２ａのみ又はＯＣＴセンサ１２ｂのみを備える画像診断用カテーテル１を用いてステントエッジによる解離の有無を判定する処理について説明する。図１０は、解離の有無の判定処理手順の他の一例を示すフローチャートである。なお、ＯＣＴ画像に基づいて解離の有無を判定する処理と、ＩＶＵＳ画像に基づいて解離の有無を判定する処理とは同様の処理であり、以下ではまとめて説明する。よって、以下の説明において、ＯＣＴ画像に基づいて解離の有無を判定する処理では、ラインデータは光ラインデータ、縦断層画像はＯＣＴ縦断層画像、横断層画像はＯＣＴ横断層画像とそれぞれ読み替える。また、ＩＶＵＳ画像に基づいて解離の有無を判定する処理では、ラインデータは超音波ラインデータ、縦断層画像はＩＶＵＳ縦断層画像、横断層画像はＩＶＵＳ横断層画像とそれぞれ読み替える。
【0069】
画像処理装置３の制御部３１は、図７中のステップＳ１１と同じ処理を行い、血管内検査装置１０１によって撮影された一連のラインデータを取得する（Ｓ３１）。また制御部３１は、図７中のステップＳ１２，Ｓ１３と同じ処理を行い、ステップＳ３１で取得したラインデータに基づいて、所定枚数の縦断層画像を構築する（Ｓ３２）。また制御部３１は、図７中のステップＳ１４，Ｓ１５と同じ処理を行い、生成した縦断層画像に基づいて、当該画像中のステントの位置（ステントの留置範囲）を検出する（Ｓ３３）。そして、制御部３１は、検出したステント位置に基づいて、ステントエッジによる解離の有無の判定対象とすべき対象領域を特定する（Ｓ３４）。ここでは、制御部３１は、検出したステント位置の長軸方向の両端部（エッジ）のそれぞれから、ステントの外側に所定距離隔てた位置までの範囲を対象領域に特定する。
【0070】
制御部３１は、図７中のステップＳ１８，Ｓ１９と同じ処理を行い、特定した対象領域を撮影位置とするラインデータに基づいて、前記対象領域を撮影位置とする横断層画像を構築し（Ｓ３５）、主記憶部３２又は補助記憶部３５に記憶する。また制御部３１は、図７中のステップＳ２０，Ｓ２１と同じ処理を行い、生成した横断層画像のそれぞれに対して、各画像中の血管における解離の有無を判定する（Ｓ３６）。また制御部３１は、図７中のステップＳ２２と同じ処理を行い、横断層画像のそれぞれに対して判定した解離有無の判定結果に基づいて、解離の発生領域を特定する（Ｓ３７）。そして、制御部３１は、図７中のステップＳ２３と同じ処理を行い、図９に示すような画面によって、血管の状態の検出結果を表示する（Ｓ３８）。なお、ここでの画面では、図９の画面において、ＯＣＴ横断層画像及びＯＣＴ縦断層画像、あるいは、ＩＶＵＳ横断層画像及びＩＶＵＳ縦断層画像のいずれか一方が表示される。
【0071】
図１０に示す処理のように、ＩＶＵＳセンサ１２ａのみ、又はＯＣＴセンサ１２ｂのみを用いる場合であっても、ラインデータに基づく縦断層画像からステント位置が検出され、検出されたステント位置から対象領域が特定され、対象領域について、横断層画像に基づいてステントエッジによる解離の有無の判定処理が行われる。このような構成においても、ステントエッジによる解離の有無を確認するために必要な情報を早期に提供することができるので、術者は、ステントエッジによる解離の有無を早急に判定することができる。
【0072】
（実施形態２）
ステントエッジによる解離の有無の判定結果と共に、ステントエッジによる解離があると判定した場合に、解離の状態（タイプ）及び解離に対するアドバイスを術者に提供する画像診断装置について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。
ステントエッジによる解離の有無の判定結果と共に、ステントエッジによる解離があると判定した場合に、解離の状態（タイプ）及び解離に対するアドバイスを術者に提供する画像診断装置について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。
【0073】
図１１は、実施形態２の解離の有無の判定処理手順の一例を示すフローチャート、図１２は画面例を示す説明図である。図１１に示す処理は、図７に示す処理において、ステップＳ２３の後にステップＳ４１～Ｓ４３を追加したものである。図７と同じステップについては説明を省略する。なお、図１１では図７中のステップＳ１１～Ｓ２１の図示を省略している。
【0074】
本実施形態の画像診断装置１００では、画像処理装置３の制御部３１は、図９に示すような画面によって検出結果を表示した（Ｓ２３）後、例えば横断層画像（ＩＶＵＳ横断層画像又はＯＣＴ横断層画像）に基づいて、検出した解離（処置を要する解離）の状態を判定する（Ｓ４１）。解離の状態の判定処理は、例えば、解離を含む血管の横断層画像から生成されたテンプレート画像を用いたパターンマッチングによって行ってもよく、機械学習によって構築された学習モデルを用いて行ってもよい。
【0075】
学習モデルを用いて解離状態の判定処理を行う場合、例えば、１枚の横断層画像を入力とし、入力された横断層画像に基づいて、当該画像中の血管内の解離の状態（タイプ）を判別する演算を行い、演算結果を示す情報を出力するように学習された学習モデルを用いることができる。このような学習モデルは、例えば、予め設定された判別結果が対応付けられた複数の出力ノードを有し、各出力ノードから、対応付けられた判別結果であると判別すべき確率（確信度）を出力するように構成される。各出力ノードに対応付けられる判別結果には、例えばスタンフォード分類によるスタンフォードＡ型及びスタンフォードＢ型、ドベーキー分類によるドベーキーＩ型、ＩＩ型、ＩＩＩａ型、ＩＩＩｂ型等を用いることができる。このような学習モデルは、例えばＣＮＮ、ＲＮＮ、ＬＳＴＭ、Transformer、決定木、ランダムフォレスト、ＳＶＭ等を用いて構成される。画像処理装置３の制御部３１は、このような学習モデルに横断層画像を入力することにより、学習モデルからの出力情報に基づいて、入力画像中の血管内の解離の状態（分類）を特定することができる。
【0076】
次に制御部３１は、ステップＳ２２で特定した解離の発生領域、及び、ステップＳ４１で判定した解離の状態に基づいて、術者に提供すべきアドバイスを特定する（Ｓ４２）。例えば制御部３１は、解離角度が６０度以上の解離の発生領域が血管の長軸方向に所定値（例えば２ｍｍ）以上続く場合、解離の発生領域に追加のステントを留置するアドバイスを特定する。また、制御部３１は、解離の発生領域の大きさに応じて、追加で留置すべきステントのサイズ又は型番、並びに、ステントの留置位置の候補等を特定してアドバイスに含めてもよい。また、解離の状態又はタイプに応じて術者に提供すべきアドバイスを予めＤＢに登録しておき、制御部３１は、判定した解離の状態又はタイプに応じたアドバイスをＤＢから特定してもよい。
【0077】
そして、制御部３１は、図９に示す画面に、特定したアドバイスを追加して表示する（Ｓ４３）。これにより、図１２に示す画面が表示装置４に表示される。図１２に示す画面は、図９に示す画面と同様の構成に加えて、判定された解離の状態と、解離に対するアドバイスとを表示する。これにより、ステントの留置後に撮影された画像に基づいて判定された、ステントエッジによる解離の有無の判定結果に加えて、解離の状態又はタイプと共に、追加で行うべき処置に関するアドバイスを術者に提供することができる。
【0078】
上述した処理により、ステントの留置後にステントエッジによる解離が発生した場合に、解離の発生領域と共に、解離の状態又はタイプ、並びに、ステントの追加留置等の処置に関するアドバイスを術者に提供することができる。よって、術者は、提供された情報に基づいてステントエッジによる解離の有無を判断でき、また、アドバイスを参考にして最適な治療を行うことができる。
【0079】
上述した各実施形態において、ステント検出モデルＭ１を用いて縦断層画像からステント位置を検出する処理、解離判定モデルＭ２を用いて横断層画像から解離の有無を判定する処理は、画像処理装置３がローカルで行う構成に限定されない。例えば、ステント検出モデルＭ１を用いて縦断層画像からステント位置を検出する処理を行うサーバを設けてもよい。この場合、画像処理装置３は、ＯＣＴ縦断層画像及び／又はＩＶＵＳ縦断層画像をサーバへ送信し、サーバでＯＣＴ縦断層画像及び／又はＩＶＵＳ縦断層画像から検出されたステント位置を取得するように構成される。また、解離判定モデルＭ２を用いて横断層画像から解離の有無を判定する処理を行うサーバを設けてもよい。この場合、画像処理装置３は、ＯＣＴ横断層画像及び／又はＩＶＵＳ横断層画像をサーバへ送信し、サーバでＯＣＴ横断層画像及び／又はＩＶＵＳ横断層画像から判定された解離の有無の判定結果を取得するように構成される。このような構成とした場合であっても、上述した各実施形態と同様の処理が可能であり、同様の効果が得られる。なお、実施形態２においても、上述した実施形態１で適宜説明した変形例の適用が可能である。
【0080】
上述した各実施形態では、超音波を用いて血管内の断層画像を撮影するＩＶＵＳセンサ１２ａと、近赤外光を用いて血管内の断層画像を撮影するＯＣＴセンサ１２ｂとを使用する構成であるが、このような構成に限定されない。例えばＩＶＵＳセンサ１２ａ又はＯＣＴセンサ１２ｂの代わりに、血管内からのラマン散乱光を受光して血管内の断層画像を撮影するセンサ、血管内からの励起光を受光して血管内の断層画像を撮影するセンサ等、血管の状態を観察できる各種のセンサを使用する構成とすることもできる。
【0081】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0082】
１ 画像診断用カテーテル
２ ＭＤＵ
３ 画像処理装置
４ 表示装置
５ 入力装置
３１ 制御部
３２ 主記憶部
３３ 入出力部
３５ 補助記憶部
１０１ 血管内検査装置
１０２ 血管造影装置
Ｐ プログラム
２ ＭＤＵ
３ 画像処理装置
４ 表示装置
５ 入力装置
３１ 制御部
３２ 主記憶部
３３ 入出力部
３５ 補助記憶部
１０１ 血管内検査装置
１０２ 血管造影装置
Ｐ プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】