特開2024-139509プログラム、画像処理方法、画像処理装置及びモデル生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024139509
(43)【公開日】2024-10-09
(54)【発明の名称】プログラム、画像処理方法、画像処理装置及びモデル生成方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20241002BHJP
A61B 1/00 20060101ALI20241002BHJP
A61B 1/045 20060101ALI20241002BHJP
A61B 8/06 20060101ALN20241002BHJP
【ＦＩ】
A61B8/12
A61B1/00 526
A61B1/00 530
A61B1/045 614
A61B1/045 618
A61B8/06
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023050481
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】坂口 雄紀
(72)【発明者】
【氏名】井上 耕一
(72)【発明者】
【氏名】松下 祐次郎
【テーマコード（参考）】
4C161
4C601
【Ｆターム（参考）】
4C161AA22
4C161BB08
4C161CC07
4C161FF40
4C161FF46
4C161MM10
4C161NN01
4C161QQ09
4C161RR01
4C161RR18
4C161WW02
4C161WW08
4C161WW16
4C601BB03
4C601BB13
4C601BB14
4C601BB24
4C601DD14
4C601EE07
4C601EE09
4C601EE14
4C601FE01
4C601FE04
4C601JB34
4C601JC06
4C601KK25
4C601KK31
4C601LL33
(57)【要約】
【課題】処理負荷の増加を抑制しつつ、術者にとって有用な情報の提供が可能なプログラム等を提供する。
【解決手段】コンピュータは、プログラムに従って、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、取得したスキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成する。そして、コンピュータは、生成した複数の縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、第１処理の検出結果を出力する。
【選択図】図１
【解決手段】コンピュータは、プログラムに従って、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、取得したスキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成する。そして、コンピュータは、生成した複数の縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、第１処理の検出結果を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
処理をコンピュータに実行させるプログラム。
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記第１処理の検出結果に基づいて、前記管腔器官の横断層画像に基づいて前記管腔器官の状態を検出する第２処理を優先的に実行すべき優先領域を特定し、
特定した優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、
生成した前記横断層画像に基づいて前記第２処理を実行し、
前記第２処理の検出結果を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
特定した優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、
生成した前記横断層画像に基づいて前記第２処理を実行し、
前記第２処理の検出結果を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項3】
前記管腔器官の横断層画像に基づいて前記管腔器官の状態を検出する第２処理を優先的に実行すべき優先領域の指定を受け付け、
指定された優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、
生成した前記横断層画像に基づいて前記第２処理を実行し、
前記第２処理の検出結果を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
指定された優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、
生成した前記横断層画像に基づいて前記第２処理を実行し、
前記第２処理の検出結果を出力する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。
【請求項4】
前記優先領域以外の領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、
前記優先領域の横断層画像に実行した前記第２処理の処理間隔よりも大きい処理間隔で、前記優先領域以外の領域の横断層画像に基づいて前記第２処理を実行する
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。
前記優先領域の横断層画像に実行した前記第２処理の処理間隔よりも大きい処理間隔で、前記優先領域以外の領域の横断層画像に基づいて前記第２処理を実行する
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。
【請求項5】
管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力するように学習された第１学習モデルに、生成した前記縦断層画像を入力して、前記縦断層画像中の管腔器官の状態に関する情報を取得する前記第１処理を実行する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。
【請求項6】
管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官の状態に関する情報を出力するように学習された第２学習モデルに、生成した前記横断層画像を入力して、前記横断層画像中の管腔器官の状態に関する情報を取得する前記第２処理を実行する
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。
【請求項7】
管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力するように学習された第１学習モデルに、生成した前記縦断層画像を入力して、前記縦断層画像中の管腔器官の状態に関する情報を取得し、
取得した前記縦断層画像中の管腔器官の状態に関する情報に基づいて、前記管腔器官の横断層画像中の管腔器官の状態に関する情報を推定した推定横断層画像を取得し、
前記第２学習モデルは、前記管腔器官の横断層画像と、前記縦断層画像中の管腔器官の状態に関する情報に基づいて推定された推定横断層画像とを入力した場合に、前記横断層画像中の管腔器官の状態に関する情報を出力するように学習されており、
前記第２学習モデルに、生成した前記横断層画像と、取得した前記推定横断層画像とを入力して、生成した前記横断層画像中の管腔器官の状態に関する情報を取得する
処理を前記コンピュータに実行させる請求項６に記載のプログラム。
取得した前記縦断層画像中の管腔器官の状態に関する情報に基づいて、前記管腔器官の横断層画像中の管腔器官の状態に関する情報を推定した推定横断層画像を取得し、
前記第２学習モデルは、前記管腔器官の横断層画像と、前記縦断層画像中の管腔器官の状態に関する情報に基づいて推定された推定横断層画像とを入力した場合に、前記横断層画像中の管腔器官の状態に関する情報を出力するように学習されており、
前記第２学習モデルに、生成した前記横断層画像と、取得した前記推定横断層画像とを入力して、生成した前記横断層画像中の管腔器官の状態に関する情報を取得する
処理を前記コンピュータに実行させる請求項６に記載のプログラム。
【請求項8】
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
処理をコンピュータが実行する画像処理方法。
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
処理をコンピュータが実行する画像処理方法。
【請求項9】
制御部を備える画像処理装置であって、
前記制御部は、
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
画像処理装置。
前記制御部は、
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、
生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、
前記第１処理の検出結果を出力する
画像処理装置。
【請求項10】
カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
前記スキャンデータに基づいて、前記管腔器官の長軸方向の複数位置で撮影した横断層画像を複数生成し、
管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官の状態に関する情報を出力するように学習された第２学習モデルに、生成した複数の横断層画像を入力して、それぞれの横断層画像中の管腔器官の状態に関する情報を取得し、
それぞれの横断層画像中の管腔器官の状態に基づいて、前記所定角度でスキャンしたスキャンデータに基づく縦断層画像中の管腔器官の状態に関する情報を生成し、
生成した前記管腔器官の縦断層画像と、生成した前記縦断層画像中の管腔器官の状態に関する情報とを関連付けた訓練データを取得し、
前記訓練データを用いて、前記管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力する第１学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。
前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、
前記スキャンデータに基づいて、前記管腔器官の長軸方向の複数位置で撮影した横断層画像を複数生成し、
管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官の状態に関する情報を出力するように学習された第２学習モデルに、生成した複数の横断層画像を入力して、それぞれの横断層画像中の管腔器官の状態に関する情報を取得し、
それぞれの横断層画像中の管腔器官の状態に基づいて、前記所定角度でスキャンしたスキャンデータに基づく縦断層画像中の管腔器官の状態に関する情報を生成し、
生成した前記管腔器官の縦断層画像と、生成した前記縦断層画像中の管腔器官の状態に関する情報とを関連付けた訓練データを取得し、
前記訓練データを用いて、前記管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力する第１学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像処理方法、画像処理装置及びモデル生成方法に関する。
【背景技術】
【0002】
冠動脈における狭窄部の治療法の一つに経皮的冠状動脈インターベンション（Percutaneous Coronary Intervention：ＰＣＩ）と称される方法がある。ＰＣＩは、狭窄した病変部をバルーンカテーテルで拡張し、ステントを留置して血管を再建する低侵襲治療である。ＰＣＩの術中又は術後において、画像診断用カテーテルを用いた血管内超音波診断法（ＩＶＵＳ：Intra Vascular Ultra Sound）又は光干渉断層診断法（ＯＣＴ：Optical Coherence Tomography）により、血管内の状態を観察することができる。特許文献１には、超音波診断のためのイメージングコアを備える超音波カテーテルが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１５３６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＰＣＩの術中に、術者は、ＩＶＵＳ又はＯＣＴによって血管内の状態を観察し、ステントのサイズ及び留置位置等を決定しており、術者の意思決定を支援するために、血管内を撮影した画像に基づいて、血管の状態を検出し、検出結果を術者に提示することが行われている。例えば、血管の横断面を撮影したＩＶＵＳ画像又はＯＣＴ画像に基づいて、撮影された血管の内腔及び血管壁等の領域が検出されて提示される。このような検出処理は、ステントを留置する可能性のある治療対象領域では高精度に行う必要があるが、それ以外の領域では高精度に行う必要は必ずしもない。撮影範囲内で撮影された全ての画像に対して高精度の処理を行う場合、処理負荷及び処理時間が増加し、また、高精度の処理を行うために高性能な装置を採用する場合にはコストアップが必要となる。
【0005】
一つの側面では、処理負荷の増加を抑制しつつ、術者にとって有用な情報の提供が可能なプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）本開示は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、前記第１処理の検出結果を出力する処理をコンピュータに実行させるプログラムである。
【0007】
（２）上記（１）のプログラムにおいて、前記第１処理の検出結果に基づいて、前記管腔器官の横断層画像に基づいて前記管腔器官の状態を検出する第２処理を優先的に実行すべき優先領域を特定し、特定した優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、生成した前記横断層画像に基づいて前記第２処理を実行し、前記第２処理の検出結果を出力する処理を更に前記コンピュータに実行させることが好ましい。
【0008】
（３）上記（１）又は（２）のプログラムにおいて、前記管腔器官の横断層画像に基づいて前記管腔器官の状態を検出する第２処理を優先的に実行すべき優先領域の指定を受け付け、指定された優先領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、生成した前記横断層画像に基づいて前記第２処理を実行し、前記第２処理の検出結果を出力する処理を更に前記コンピュータに実行させることが好ましい。
【0009】
（４）上記（２）又は（３）のプログラムにおいて、前記優先領域以外の領域を撮影位置とする前記スキャンデータに基づいて、前記管腔器官の横断層画像を複数生成し、前記優先領域の横断層画像に実行した前記第２処理の処理間隔よりも大きい処理間隔で、前記優先領域以外の領域の横断層画像に基づいて前記第２処理を実行する処理を更に前記コンピュータに実行させることが好ましい。
【0010】
（５）上記（１）～（４）のいずれか１つに記載のプログラムにおいて、管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力するように学習された第１学習モデルに、生成した前記縦断層画像を入力して、前記縦断層画像中の管腔器官の状態に関する情報を取得する前記第１処理を実行する処理を更に前記コンピュータに実行させることが好ましい。
【0011】
（６）上記（２）～（５）のいずれか１つに記載のプログラムにおいて、管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官の状態に関する情報を出力するように学習された第２学習モデルに、生成した前記横断層画像を入力して、前記横断層画像中の管腔器官の状態に関する情報を取得する前記第２処理を実行する処理を更に前記コンピュータに実行させることが好ましい。
【0012】
（７）上記（６）のプログラムにおいて、管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力するように学習された第１学習モデルに、生成した前記縦断層画像を入力して、前記縦断層画像中の管腔器官の状態に関する情報を取得し、取得した前記縦断層画像中の管腔器官の状態に関する情報に基づいて、前記管腔器官の横断層画像中の管腔器官の状態に関する情報を推定した推定横断層画像を取得し、前記第２学習モデルは、前記管腔器官の横断層画像と、前記縦断層画像中の管腔器官の状態に関する情報に基づいて推定された推定横断層画像とを入力した場合に、前記横断層画像中の管腔器官の状態に関する情報を出力するように学習されており、前記第２学習モデルに、生成した前記横断層画像と、取得した前記推定横断層画像とを入力して、生成した前記横断層画像中の管腔器官の状態に関する情報を取得する処理を更に前記コンピュータに実行させることが好ましい。
【0013】
（８）また、本開示は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、前記第１処理の検出結果を出力する処理をコンピュータが実行する画像処理方法である。
【0014】
（９）また、本開示は、制御部を備える画像処理装置であって、前記制御部は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の複数角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を複数生成し、生成した複数の前記縦断層画像に基づいて、前記管腔器官の状態を検出する第１処理を実行し、前記第１処理の検出結果を出力する画像処理装置である。
【0015】
（１０）また、本開示は、カテーテルを用いて管腔器官をスキャンしたスキャンデータを取得し、前記スキャンデータのうちで、前記管腔器官の径方向の所定角度でスキャンしたスキャンデータに基づいて、前記管腔器官の縦断層画像を生成し、前記スキャンデータに基づいて、前記管腔器官の長軸方向の複数位置で撮影した横断層画像を複数生成し、管腔器官の横断層画像を入力した場合に前記横断層画像中の管腔器官の状態に関する情報を出力するように学習された第２学習モデルに、生成した複数の横断層画像を入力して、それぞれの横断層画像中の管腔器官の状態に関する情報を取得し、それぞれの横断層画像中の管腔器官の状態に基づいて、前記所定角度でスキャンしたスキャンデータに基づく縦断層画像中の管腔器官の状態に関する情報を生成し、生成した前記管腔器官の縦断層画像と、生成した前記縦断層画像中の管腔器官の状態に関する情報とを関連付けた訓練データを取得し、前記訓練データを用いて、前記管腔器官の縦断層画像を入力した場合に前記縦断層画像中の管腔器官の状態に関する情報を出力する第１学習モデルを生成する処理をコンピュータが実行するモデル生成方法である。
【発明の効果】
【0016】
一つの側面では、処理負荷の増加を抑制しつつ、術者にとって有用な情報を提供することができる。
【図面の簡単な説明】
【0017】
【図1】画像診断装置の構成例を示す説明図である。
【図2】画像診断用カテーテルの概要を説明する説明図である。
【図3】センサ部を挿通させた血管の断面を示す説明図である。
【図4】断層画像を説明する説明図である。
【図5】画像処理装置の構成例を示すブロック図である。
【図6】モデルの構成例を示す説明図である。
【図7】縦断層用モデルの生成処理手順の一例を示すフローチャートである。
【図8】縦断層用モデルの生成に用いる訓練データの説明図である。
【図9】ＰＣＩで撮影された画像の表示処理手順の一例を示すフローチャートである。
【図10】画像の表示処理を示す説明図である。
【図11】画面例を示す説明図である。
【図12】実施形態２の画像の表示処理手順の一例を示すフローチャートである。
【図13】横断層用モデルの変形例を示す説明図である。
【発明を実施するための形態】
【0018】
以下、本開示のプログラム、画像処理方法、画像処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療である心臓カテーテル治療を一例に説明するが、カテーテル治療の対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸等の他の管腔器官であってもよい。
【0019】
（実施形態１）
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれＩＶＵＳ画像及びＯＣＴ画像と記載する。ＩＶＵＳ画像及びＯＣＴ画像は血管の断層画像の一例であり、ＩＶＵＳ画像及びＯＣＴ画像はそれぞれ、血管の径方向の断面画像である横断層画像と、血管の長軸方向の断面画像である縦断層画像とを含む。
図１は、画像診断装置１００の構成例を示す説明図である。本実施形態では、血管内超音波診断法（ＩＶＵＳ）及び光干渉断層診断法（ＯＣＴ）の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、ＩＶＵＳのみによって超音波断層画像を取得するモードと、ＯＣＴのみによって光干渉断層画像を取得するモードと、ＩＶＵＳ及びＯＣＴによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれＩＶＵＳ画像及びＯＣＴ画像と記載する。ＩＶＵＳ画像及びＯＣＴ画像は血管の断層画像の一例であり、ＩＶＵＳ画像及びＯＣＴ画像はそれぞれ、血管の径方向の断面画像である横断層画像と、血管の長軸方向の断面画像である縦断層画像とを含む。
【0020】
本実施形態の画像診断装置１００は、血管内検査装置１０１と、血管造影装置１０２と、画像処理装置３と、表示装置４と、入力装置５とを備える。血管内検査装置１０１は、画像診断用カテーテル１及びＭＤＵ（Motor Drive Unit）２を備える。画像診断用カテーテル１は、ＭＤＵ２を介して画像処理装置３に接続されている。画像処理装置３には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、入力装置５は、例えばキーボード、マウス、タッチパネル又はマイク等である。入力装置５と画像処理装置３とは、一体に構成されていてもよい。更に入力装置５は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
【0021】
血管造影装置１０２は画像処理装置３に接続されている。血管造影装置１０２は、患者の血管に造影剤を注入しながら、患者の生体外からＸ線を用いて血管を撮影し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置１０２は、Ｘ線源及びＸ線センサを備え、Ｘ線源から照射されたＸ線をＸ線センサが受信することにより、患者のＸ線透視画像をイメージングする。なお、画像診断用カテーテル１にはＸ線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル１（マーカ）の位置が可視化される。血管造影装置１０２は、撮影して得られたアンギオ画像を画像処理装置３へ出力し、画像処理装置３を介して当該アンギオ画像を表示装置４に表示させる。なお、表示装置４には、アンギオ画像と、画像診断用カテーテル１を用いて撮影された断層画像とが表示される。
【0022】
図２は画像診断用カテーテル１の概要を説明する説明図である。なお、図２中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル１は、プローブ１１と、プローブ１１の端部に配置されたコネクタ部１５とを有する。プローブ１１は、コネクタ部１５を介してＭＤＵ２に接続される。以下の説明では画像診断用カテーテル１のコネクタ部１５から遠い側を先端側と記載し、コネクタ部１５側を基端側と記載する。プローブ１１は、カテーテルシース１１ａを備え、その先端部には、ガイドワイヤＧＷが挿通可能なガイドワイヤ挿通部１４が設けられている。ガイドワイヤ挿通部１４はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤＧＷを受け入れ、ガイドワイヤＧＷによってプローブ１１を患部まで導くのに使用される。カテーテルシース１１ａは、ガイドワイヤ挿通部１４との接続部分からコネクタ部１５との接続部分に亘って連続する管部を形成している。カテーテルシース１１ａの内部にはシャフト１３が挿通されており、シャフト１３の先端側にはセンサ部１２が接続されている。
【0023】
センサ部１２は、ハウジング１２ｄを有し、ハウジング１２ｄの先端側は、カテーテルシース１１ａの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング１２ｄ内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部１２ａ（以下ではＩＶＵＳセンサ１２ａという）と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部１２ｂ（以下ではＯＣＴセンサ１２ｂという）とが配置されている。図２に示す例では、プローブ１１の先端側にＩＶＵＳセンサ１２ａが設けられており、基端側にＯＣＴセンサ１２ｂが設けられている。画像診断用カテーテル１において、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、シャフト１３の軸方向に対して略９０度となる方向（シャフト１３の径方向）を超音波又は近赤外光の送受信方向として取り付けられている。なお、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂは、カテーテルシース１１ａの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。
【0024】
シャフト１３には、ＩＶＵＳセンサ１２ａに接続された電気信号ケーブル（図示せず）と、ＯＣＴセンサ１２ｂに接続された光ファイバケーブル（図示せず）とが内挿されている。プローブ１１は、先端側から血管内に挿入される。センサ部１２及びシャフト１３は、カテーテルシース１１ａの内部で進退可能であり、また、周方向に回転することができる。センサ部１２及びシャフト１３は、シャフト１３の中心軸を回転軸として回転する。画像診断装置１００では、センサ部１２及びシャフト１３によって構成されるイメージングコアを用いることにより、血管の内側から撮影されたＩＶＵＳ画像、及び／又は、血管の内側から撮影されたＯＣＴ画像によって血管内部の状態を測定する。
【0025】
ＭＤＵ２は、コネクタ部１５によってプローブ１１（画像診断用カテーテル１）が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル１の動作を制御する。例えばＭＤＵ２は、プローブ１１に内挿されたセンサ部１２及びシャフト１３を一定の速度でＭＤＵ２側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部１２は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、ＩＶＵＳセンサ１２ａが送信した超音波の血管内からの反射波を受信し、ＯＣＴセンサ１２ｂが送信した光の血管内からの反射光を受信する。ＭＤＵ２は、ＩＶＵＳセンサ１２ａが受信した超音波の反射波データと、ＯＣＴセンサ１２ｂが受信した反射光データとを画像処理装置３へ出力する。
【0026】
画像処理装置３は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａが受信した超音波の反射波データである信号データセットと、ＯＣＴセンサ１２ｂが受信した反射光データである信号データセットとを取得する。画像処理装置３は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層（横断面）を撮影したＩＶＵＳ横断層画像と、血管の縦断層（縦断面）を撮影したＩＶＵＳ縦断層画像とを構築する。また、画像処理装置３は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮影したＯＣＴ横断層画像と、血管の縦断層を撮影したＯＣＴ縦断層画像とを構築する。なお、超音波の信号データセットから超音波ラインデータを生成する処理、及び、反射光の信号データセットから光ラインデータを生成する処理は、画像処理装置３で実行されるほかに、ＭＤＵ２で実行されてもよい。この場合、画像処理装置３は、ＭＤＵ２から超音波ラインデータ及び光ラインデータを取得する構成となる。
【0027】
ここで、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。図３は、センサ部１２を挿通させた血管の断面を示す説明図であり、図４は断層画像を説明する説明図である。まず、図３を用いて、血管内におけるＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂの動作と、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂによって取得される信号データセット（超音波ラインデータ及び光ラインデータ）について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮影が開始されると、イメージングコアが矢符で示す方向に、シャフト１３の中心軸を回転中心として回転する。このとき、ＩＶＵＳセンサ１２ａは、各回転角度において超音波の送信及び受信を行う。ライン１，２，…５１２は各回転角度における超音波の送受信方向を示している。本実施形態では、ＩＶＵＳセンサ１２ａは、血管内において３６０度回動（１回転）する間に５１２回の超音波の送信及び受信を断続的に行う。ＩＶＵＳセンサ１２ａは、１回の超音波の送受信により、送受信方向の１ラインのデータを取得するので、１回転の間に、回転中心から放射線状に延びる５１２本の超音波ラインデータを得ることができる。５１２本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａ左側に示すような２次元の超音波断層画像を構築することができる。このように５１２本のラインデータから構築される２次元の超音波断層画像を１フレーム（１枚）のＩＶＵＳ横断層画像という。なお、センサ部１２は血管内を移動しながら走査するため、移動範囲内において１回転した各位置で１フレームのＩＶＵＳ横断層画像が取得される。即ち、移動範囲においてプローブ１１の先端側から基端側への各位置で１フレームのＩＶＵＳ横断層画像が取得されるので、図４Ａ右側に示すように、移動範囲内で複数フレームのＩＶＵＳ横断層画像が取得される。
【0028】
また、画像処理装置３は、移動範囲内で取得した超音波ラインデータのうちで、同一の回転角度で受信した超音波ラインデータを、各ラインデータの取得位置（血管の長軸方向の位置）に応じて並べることにより、図４Ｂに示すような２次元の超音波断層画像を構築することができる。具体的には、画像処理装置３は、任意の回転角度で受信したラインデータ（同じライン番号のラインデータ）と、この回転角度に１８０度を加算した回転角度で受信したラインデータ（前記ライン番号に２５６を加算したライン番号のラインデータ）とから２次元の超音波断層画像を構築し、このような２次元の超音波断層画像をＩＶＵＳ縦断層画像という。
【0029】
同様に、ＯＣＴセンサ１２ｂも、各回転角度において近赤外光（測定光）の送信及び受信を行う。ＯＣＴセンサ１２ｂも血管内において３６０度回動する間に５１２回の測定光の送信及び受信を行うので、１回転の間に、回転中心から放射線状に延びる５１２本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置３は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、図４Ａに示すＩＶＵＳ横断層画像と同様の２次元のＯＣＴ横断層画像を構築することができる。また、光ラインデータについても、画像処理装置３は、任意の回転角度で受信した光ラインデータと、この回転角度に１８０度を加算した回転角度で受信した光ラインデータとから、図４Ｂに示すＩＶＵＳ縦断層画像と同様の２次元のＯＣＴ縦断層画像を構築することができる。
【0030】
画像診断用カテーテル１は、ＩＶＵＳセンサ１２ａによって得られるＩＶＵＳ画像及び／又はＯＣＴセンサ１２ｂによって得られるＯＣＴ画像と、血管造影装置１０２によって得られるアンギオ画像との位置関係を確認するために、Ｘ線を透過しないマーカを有する。図２に示す例では、カテーテルシース１１ａの先端部、例えばガイドワイヤ挿通部１４にマーカ１４ａが設けられており、センサ部１２のシャフト１３側にマーカ１２ｃが設けられている。このように構成された画像診断用カテーテル１をＸ線で撮影すると、マーカ１４ａ，１２ｃが可視化されたアンギオ画像が得られる。マーカ１４ａ，１２ｃを設ける位置は一例であり、マーカ１２ｃはセンサ部１２ではなくシャフト１３に設けてもよく、マーカ１４ａはカテーテルシース１１ａの先端部以外の箇所に設けてもよい。また、本実施形態では、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂはそれぞれ、５１２本のラインデータを取得する構成とするが、ＩＶＵＳセンサ１２ａ及びＯＣＴセンサ１２ｂが取得するラインデータの数は５１２本に限定されない。
【0031】
図５は画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータ（情報処理装置）であり、制御部３１、主記憶部３２、入出力部３３、通信部３４、補助記憶部３５、読取部３６を備える。制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。制御部３１は、バスを介して画像処理装置３を構成するハードウェア各部と接続されている。
【0032】
主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。
【0033】
入出力部３３は、血管内検査装置１０１、血管造影装置１０２、表示装置４、入力装置５等の外部装置が接続されるインタフェースを備える。制御部３１は、入出力部３３を介して、血管内検査装置１０１から超音波の反射波データ及び測定光の反射光データを取得し、血管造影装置１０２からアンギオ画像を取得する。なお、制御部３１は、血管内検査装置１０１から取得した反射波データから超音波ラインデータを生成し、更にＩＶＵＳ画像を構築する。また制御部３１は、血管内検査装置１０１から取得した反射光データから光ラインデータを生成し、更にＯＣＴ画像を構築する。また、制御部３１は、入出力部３３を介して、ＩＶＵＳ画像、ＯＣＴ画像、又はアンギオ画像の医用画像信号を表示装置４へ出力することによって、表示装置４に医用画像を表示する。更に、制御部３１は、入出力部３３を介して、入力装置５に入力された情報を受け付ける。
【0034】
通信部３４は、例えば、４Ｇ、５Ｇ、ＷｉＦｉ等の通信規格に準拠した通信インタフェースを備える。画像処理装置３は、通信部３４を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信を行う。制御部３１は、通信部３４を介して、外部サーバにアクセスし、当該外部サーバのストレージに記憶されている各種のデータを参照するものであってもよい。また、制御部３１は、当該外部サーバと、例えばプロセス間通信を行うことにより、本実施形態における処理を協働して行うものであってもよい。
【0035】
補助記憶部３５は、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置である。補助記憶部３５は、制御部３１が実行するプログラムＰ、制御部３１の処理に必要な各種データを記憶する。また補助記憶部３５は、例えば機械学習によって訓練データを学習済みの学習モデルが記憶されている。学習モデルは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、補助記憶部３５には、この演算を規定する関数の係数や閾値等のデータが学習モデルとして記憶される。本実施形態では、学習モデルとして、後述する横断層用モデルＭ１と、縦断層用モデルＭ２とを記憶している。なお、補助記憶部３５は画像処理装置３に接続された外部記憶装置であってもよい。プログラムＰ及びモデルＭ１，Ｍ２の一部又は全部は、画像処理装置３の製造段階において補助記憶部３５に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３５に記憶させてもよい。また、プログラムＰ及びモデルＭ１，Ｍ２の一部又は全部は、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３０に読み出し可能に記録された態様であってもよく、読取部３６が記録媒体３０から読み出して補助記憶部３５に記憶させてもよい。
【0036】
画像処理装置３は、単一のコンピュータに限らず、複数のコンピュータを含んで構成されるマルチコンピュータであってよい。また、画像処理装置３は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置３が１台のコンピュータであるものとして説明する。本実施形態では、画像処理装置３に、２次元のアンギオ画像を撮影する血管造影装置１０２が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル１を撮影する装置であれば、血管造影装置１０２に限定されない。
【0037】
図６はモデルＭ１，Ｍ２の構成例を示す説明図である。図６Ａは横断層用モデルＭ１の構成例を示す。横断層用モデルＭ１（第２学習モデル）は、ＩＶＵＳ横断層画像又はＯＣＴ横断層画像を入力とし、入力された横断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルであり、例えばセマンティックセグメンテーションにより、画像中のオブジェクト（血管内腔及び血管壁の領域）を画素単位で分類することができる。なお、血管壁は、血管内腔側から内膜、内弾性板、中膜、外弾性板、外膜で構成されている。横断層用モデルＭ１は、ＩＶＵＳ横断層画像用のモデルと、ＯＣＴ横断層画像用のモデルとを含むが、以下ではまとめて横断層用モデルＭ１と記載する。横断層用モデルＭ１は、例えばＵ－Ｎｅｔ、ＦＣＮ、ＳｅｇＮｅｔ、ＰＳＰＮｅｔ等の画像セグメンテーション用のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。また、横断層用モデルＭ１は、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）、ＶｉＴ（Vision Transformer）等の物体検出用の学習モデルであってもよい。更に、横断層用モデルＭ１は、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像の両方を入力とし、入力された横断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルであってもよい。
【0038】
横断層用モデルＭ１は、１枚の横断層画像を入力とし、入力された横断層画像に基づいて、当該横断層画像に含まれる血管内腔の領域及び血管壁の領域を認識する演算を行い、認識結果を示す情報を出力するように学習される。具体的には、横断層用モデルＭ１は、入力された横断層画像の各画素を、血管内腔の領域と血管壁の領域とその他の領域とに分類し、各画素に領域毎のラベルを対応付けた分類済みの画像（以下ではラベル画像という）を出力する。図６Ａに示す横断層用モデルＭ１は、横断層画像中の各画素が、血管内腔の領域と、血管壁の領域と、その他の領域とに分類され、各領域に応じた画素値が割り当てられたラベル画像（血管の状態に関する情報）を出力する。図６Ａに示すラベル画像では、血管内腔の領域に分類された画素を白で示し、血管壁の領域に分類された画素をグレーで示し、その他の領域に分類された画素を黒で示している。例えば、ＩＶＵＳ画像においては、画像セグメンテーションで、血管内腔の輪郭線（血管内腔と血管壁との境界線）として血管内膜が認識され、血管壁の外側の輪郭線として外弾性板（ＥＥＭ：External Elastic Membrane）が認識される。
【0039】
横断層用モデルＭ１は、訓練用の横断層画像と、この横断層画像中の各画素に対して判別すべきオブジェクト（ここでは血管内膜及び血管壁の領域）を示すデータがラベリングされた正解のラベル画像もしくはラベル配列（ラベルデータ、以下ではまとめてラベル画像と記載する）とを含む訓練データを用いて機械学習することにより生成される。正解のラベル画像では、訓練用の横断層画像に対して、各オブジェクトの領域に対応する座標範囲と、各オブジェクトの種類とを表すラベルが付与されている。正解のラベル画像は、医師等のアノテーション担当者が横断層画像中の各画素を各領域に分類し、各画素に対して、分類した領域を示す正解ラベルを割り当てることにより生成される。横断層用モデルＭ１は、訓練データに含まれる少なくとも１フレームの横断層画像が入力された場合に、訓練データに含まれる正解のラベル画像を出力するように学習する。具体的には、横断層用モデルＭ１は、入力された横断層画像に基づいて演算を行い、画像中の各オブジェクト（ここでは血管内腔及び血管壁の領域）を検出した検出結果を取得する。より具体的には、横断層用モデルＭ１は、横断層画像中の各画素に対して、分類されたオブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。そして、横断層用モデルＭ１は、検出結果のラベル画像を、正解のラベル画像におけるオブジェクト領域の座標範囲及びオブジェクトの種類と比較し、両者が近似するように、最急降下法、誤差逆伝播法等を用いて、ニューロン間の重み等のパラメータを最適化する。これにより、横断層画像が入力された場合に、入力画像中の血管内腔の領域及び血管壁の領域を示すラベル画像を出力する横断層用モデルＭ１が得られる。なお、横断層用モデルＭ１は、横断層画像から、血管内腔及び血管壁の領域に加えて、ガイドワイヤ及びカテーテルの領域を認識する構成でもよく、血管壁中のプラークの領域を認識する構成でもよい。
【0040】
図６Ｂは縦断層用モデルＭ２の構成例を示す。縦断層用モデルＭ２（第１学習モデル）は、ＩＶＵＳ縦断層画像又はＯＣＴ縦断層画像を入力とし、入力された縦断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルである。縦断層用モデルＭ２も、例えばセマンティックセグメンテーションにより、画像中のオブジェクト（血管内腔及び血管壁の領域）を画素単位で分類することができる。縦断層用モデルＭ２は、ＩＶＵＳ縦断層画像用のモデルと、ＯＣＴ縦断層画像用のモデルとを含むが、以下ではまとめて縦断層用モデルＭ２と記載する。縦断層用モデルＭ２は、例えばＵ－Ｎｅｔ、ＦＣＮ、ＳｅｇＮｅｔ、ＰＳＰＮｅｔ等の画像セグメンテーション用のアルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよく、ＹＯＬＯ、ＳＳＤ、ＶｉＴ等の物体検出用の学習モデルであってもよい。また、縦断層用モデルＭ２は、ＩＶＵＳ縦断層画像及びＯＣＴ縦断層画像の両方を入力とし、入力された縦断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルであってもよい。
【0041】
縦断層用モデルＭ２は、少なくとも１フレームの縦断層画像を入力とし、入力された縦断層画像に基づいて、当該縦断層画像に含まれる血管内腔の領域及び血管壁の領域を認識する演算を行い、認識結果を示す情報を出力するように学習される。具体的には、縦断層用モデルＭ２は、入力された縦断層画像の各画素を、血管内腔の領域と血管壁の領域とその他の領域とに分類し、各画素に領域毎のラベルを対応付けた分類済みの画像（以下ではラベル画像という）を出力する。図６Ｂに示す縦断層用モデルＭ２は、縦断層画像中の各画素が、血管内腔の領域と、血管壁の領域と、その他の領域とに分類され、各領域に応じた画素値が割り当てられたラベル画像を出力する。図６Ｂに示すラベル画像では、血管内腔の領域に分類された画素を白で示し、血管壁の領域に分類された画素をグレーで示し、その他の領域に分類された画素を黒で示している。
【0042】
縦断層用モデルＭ２は、訓練用の縦断層画像と、この縦断層画像中の各画素に対して判別すべきオブジェクト（ここでは血管内膜及び血管壁の領域）を示すデータがラベリングされた正解のラベル画像とを含む訓練データを用いて機械学習することにより生成される。正解のラベル画像では、訓練用の縦断層画像に対して、各オブジェクトの領域に対応する座標範囲と、各オブジェクトの種類とを表すラベルが付与されている。ここでも、正解のラベル画像は、医師等のアノテーション担当者が縦断層画像中の各画素を各領域に分類し、各画素に対して、分類した領域を示す正解ラベルを割り当てることにより生成される。縦断層用モデルＭ２は、訓練データに含まれる縦断層画像が入力された場合に、訓練データに含まれる正解のラベル画像を出力するように学習する。具体的には、縦断層用モデルＭ２は、入力された縦断層画像に基づいて演算を行い、画像中の各オブジェクト（ここでは血管内腔及び血管壁の領域）を検出した検出結果を取得する。より具体的には、縦断層用モデルＭ２は、縦断層画像中の各画素に対して、分類されたオブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。そして、縦断層用モデルＭ２は、検出結果のラベル画像を、正解のラベル画像におけるオブジェクト領域の座標範囲及びオブジェクトの種類と比較し、両者が近似するように、最急降下法、誤差逆伝播法等を用いて、ニューロン間の重み等のパラメータを最適化する。これにより、縦断層画像が入力された場合に、入力画像中の血管内腔の領域及び血管壁の領域を示すラベル画像を出力する縦断層用モデルＭ２が得られる。なお、縦断層用モデルＭ２は、縦断層画像から、血管内腔及び血管壁の領域に加えて、ガイドワイヤ及びカテーテルの領域を認識する構成でもよく、血管壁中のプラークの領域を認識する構成でもよい。
【0043】
上述したモデルＭ１，Ｍ２の学習は、画像処理装置３で行われてもよく、他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みのモデルＭ１，Ｍ２は、例えばネットワーク経由又は記録媒体３０経由で学習装置から画像処理装置３にダウンロードされて補助記憶部３５に記憶される。
【0044】
以下に、縦断層用モデルＭ２の生成処理について説明する。図７は縦断層用モデルＭ２の生成処理手順の一例を示すフローチャート、図８は縦断層用モデルＭ２の生成に用いる訓練データの説明図である。以下の処理は、画像処理装置３の制御部３１が、補助記憶部３５に記憶してあるプログラムＰに従って行うが、他の学習装置で行われてもよい。以下の処理では、制御部３１はまず、ＰＣＩの術中等に血管内検査装置１０１によって取得されたラインデータに基づいて訓練データを生成し、その後、生成した訓練データを用いて縦断層用モデルＭ２の学習を行う。なお、ＩＶＵＳ用の縦断層用モデルＭ２及びＯＣＴ用の縦断層用モデルＭ２は共に以下の処理によって生成可能であるので以下ではまとめて説明する。よって、以下の説明において、ＩＶＵＳ用の縦断層用モデルＭ２の生成処理では、ラインデータは超音波ラインデータ、横断層画像はＩＶＵＳ横断層画像、横断層用モデルＭ１はＩＶＵＳ用の横断層用モデルＭ１、縦断層画像はＩＶＵＳ縦断層画像とそれぞれ読み替える。また、ＯＣＴ用の縦断層用モデルＭ２の生成処理では、ラインデータは光ラインデータ、横断層画像はＯＣＴ横断層画像、横断層用モデルＭ１はＯＣＴ用の横断層用モデルＭ１、縦断層画像はＯＣＴ縦断層画像とそれぞれ読み替える。
【0045】
画像処理装置３の制御部３１は、血管内検査装置１０１によって撮影されて、例えば補助記憶部３５に記憶してあるラインデータを取得する（Ｓ１１）。例えば制御部３１は、血管内検査装置１０１がプルバック操作を行いつつ撮影した一連のラインデータ（血管内をスキャンしたスキャンデータ）を取得する。制御部３１は、ラインデータに基づいて横断層画像を構築する（Ｓ１２）。具体的には、制御部３１は、センサ部１２が１回転する間に取得された５１２本のラインデータ毎に、５１２本のラインデータに対して補間処理によって画素を補間して２次元の横断層画像を複数構築する。これにより、制御部３１は、血管の長軸方向における撮影範囲内の複数の撮影位置で撮影した横断層画像を生成する。なお、ラインデータから構築された横断層画像が補助記憶部３５に記憶されている場合、制御部３１は、ステップＳ１１～Ｓ１２の代わりに、補助記憶部３５から横断層画像を取得する処理を行う。
【0046】
制御部３１は、取得した横断層画像のそれぞれに対してセグメンテーションを実行する（Ｓ１３）。具体的には、制御部３１は、それぞれの横断層画像を横断層用モデルＭ１に入力し、横断層用モデルＭ１から出力されたラベル画像を取得する。これにより、図８上側に示すように、一連の横断層画像から、各横断層画像中の画素が血管内腔の領域、血管壁の領域、又は他の領域に分類されたラベル画像が生成される。よって、制御部３１は、それぞれの横断層画像中の血管の状態（血管内腔及び血管壁の領域）に関する情報を取得できる。
【0047】
制御部３１は、処理対象のライン番号に１を設定する（Ｓ１４）。そして、制御部３１は、横断層画像のラベル画像から、設定したライン番号（ここでは１）の縦断層画像のラベル画像を生成する（Ｓ１５）。なお、横断層画像のラベル画像において、画像中心から放射線状に延びる各ライン上の画素は、横断層画像における各ライン上の画素に対応している。よって、制御部３１は、横断層画像の各ラベル画像から、処理対象のライン番号、及びこのライン番号に２５６を加算したライン番号のライン上の画素を抽出する。例えば制御部３１は、図８上側に示す横断層画像のラベル画像中に実線で示すライン上の画素を抽出する。そして、制御部３１は、横断層画像の各ラベル画像から抽出したライン上の画素を、横断層画像の撮影位置の順に並べることにより、図８下側に示すような縦断層画像のラベル画像を生成する。これにより、制御部３１は、一連の横断層画像のラベル画像（血管の状態に関する情報）に基づいて、所定角度（ここでは、ライン番号１，２５７の撮影方向）でスキャンしたスキャンデータに基づくラベル画像（血管の状態に関する情報）を生成する。
【0048】
次に制御部３１は、ステップＳ１１で取得したラインデータから、ここでのライン番号の縦断層画像を構築する（Ｓ１６）。具体的には、制御部３１は、ここでのライン番号のラインデータと、このライン番号に２５６を加算したライン番号のラインデータとを抽出して、撮影位置の順に並べて２次元の縦断層画像を構築する。これにより、血管の径方向の所定角度（ここでは、ライン番号１，２５７の撮影方向）でスキャンしたスキャンデータに基づいて、血管の縦断層画像が生成される。制御部３１は、ステップＳ１５で生成した縦断層画像のラベル画像（血管の状態に関する情報）を正解のラベル画像として、ステップＳ１６で生成した縦断層画像と関連付けて訓練データを生成し、主記憶部３２又は補助記憶部３５に記憶する（Ｓ１７）。制御部３１は、生成した訓練データを、主記憶部３２又は補助記憶部３５に用意された訓練ＤＢ（図示せず）に記憶する。
【0049】
制御部３１は、処理対象のライン番号に所定数を加算する（Ｓ１８）。例えば、ライン番号１，２，３…のラインデータに基づいて訓練データを生成する場合、制御部３１は、ライン番号に１を加算する。また、ライン番号１，３，５，７…のラインデータに基づいて訓練データを生成する場合、制御部３１は、ライン番号に２を加算する。そして、制御部３１は、加算後のライン番号が２５６よりも大きいか否かを判断し（Ｓ１９）、２５６以下であると判断した場合（Ｓ１９：ＮＯ）、ステップＳ１５に戻り、加算後のライン番号について、ステップＳ１５～Ｓ１７の処理を実行する。これにより、所定間隔のライン番号毎に各ラインデータに基づく訓練データが生成されて記憶される。
【0050】
加算後のライン番号が２５６よりも大きいと判断した場合（Ｓ１９：ＹＥＳ）、制御部３１は、ステップＳ１１で取得したラインデータに基づく訓練データの生成処理を終了したと判断し、訓練データの処理に用いる他のラインデータ（処理対象のラインデータ）があるか否かを判断する（Ｓ２０）。処理対象のラインデータがあると判断した場合（Ｓ２０：ＹＥＳ）、制御部３１は、ステップＳ１１に戻り、処理対象のラインデータについて、ステップＳ１１～Ｓ１９の処理を実行する。制御部３１は、訓練データの処理に用いるラインデータがないと判断するまでステップＳ１１～Ｓ２０の処理を繰り返す。これにより、プルバック操作を行いつつ撮影した一連のラインデータを複数用いて訓練データが生成されて記憶される。なお、訓練データの生成に用いるラインデータは、補助記憶部３５に記憶してある構成に限定されず、制御部３１は、例えばネットワーク経由で他の装置からラインデータを取得する構成でもよい。
【0051】
処理対象のラインデータがないと判断した場合（Ｓ２０：ＮＯ）、制御部３１は、上述したように生成して訓練ＤＢに蓄積した訓練データを用いて、縦断層用モデルＭ２の学習を行う。制御部３１は、上述した処理によって訓練ＤＢに蓄積した訓練データのうちの１つを読み出す（Ｓ２１）。そして、制御部３１は、読み出した訓練データに基づいて、縦断層用モデルＭ２の学習処理を行う（Ｓ２２）。ここでは、制御部３１は、訓練データに含まれる縦断層画像を縦断層用モデルＭ２に入力し、当該縦断層画像が入力されることによって縦断層用モデルＭ２から出力される出力値（縦断層画像のラベル画像）を取得する。制御部３１は、縦断層用モデルＭ２から出力された出力値と、訓練データに含まれる正解のラベル画像とを比較し、両者が近似するように縦断層用モデルＭ２を学習させる。なお、学習処理において、縦断層用モデルＭ２は、例えば、出力層側から入力層側に向かって順次更新する誤差逆伝播法を用いて、演算処理に用いるパラメータを最適化する。
【0052】
制御部３１は、訓練ＤＢに記憶してある訓練データのうちで、学習処理が行われていない未処理の訓練データがあるか否かを判断する（Ｓ２３）。未処理の訓練データがあると判断した場合（Ｓ２３：ＹＥＳ）、制御部３１は、ステップＳ２１の処理に戻り、学習処理が未処理の訓練データに基づいてステップＳ２１～Ｓ２２の処理を行う。未処理の訓練データがないと判断した場合（Ｓ２３：ＮＯ）、制御部３１は、一連の処理を終了する。
【0053】
上述した学習処理により、ラインデータから構築された縦断層画像が入力された場合に、入力画像中の各画素が血管内腔の領域、血管壁の領域、及びその他の領域に分類されたラベル画像を出力する縦断層用モデルＭ２が生成される。なお、上述した処理において、ステップＳ１１～Ｓ２０による訓練データの生成処理と、ステップＳ２１～Ｓ２３による縦断層用モデルＭ２の生成処理とは、各別の装置で行われてもよい。縦断層用モデルＭ２は、上述したような訓練データを用いた学習処理を繰り返し行うことにより更に最適化することが可能である。また、既に学習済みの縦断層用モデルＭ２についても、上述した学習処理で再学習させることにより、判別精度が更に向上した縦断層用モデルＭ２を生成できる。
【0054】
上述した処理では、ラインデータから構築された縦断層画像と、横断層画像のラベル画像に基づいて生成された縦断層画像のラベル画像とを関連付けた訓練データを、ライン番号が１，２，３…の順に生成したが、この構成に限定されない。例えば、訓練データの生成処理を開始するライン番号は１に限定されず、任意のライン番号から処理を行ってもよい。また、訓練データの生成に用いるラインデータは、ライン番号１，２，３…の全てのデータを用いる必要はなく、例えば所定数間隔のライン番号のデータを用いて訓練データを生成してもよい。
【0055】
以下に、横断層用モデルＭ１及び縦断層用モデルＭ２を用いて画像処理装置３が行う処理について説明する。図９は、ＰＣＩで撮影された画像の表示処理手順の一例を示すフローチャート、図１０は画像の表示処理を示す説明図、図１１は画面例を示す説明図である。本実施形態の画像処理装置３において、制御部３１は、補助記憶部３５に記憶されたプログラムＰを読み出して実行することにより以下の処理を行う。なお、ＯＣＴ画像に対して行う処理と、ＩＶＵＳ画像に対して行う処理とは同様の処理であり、以下ではまとめて説明する。よって、以下の説明において、ＯＣＴ画像に基づく処理では、ラインデータは光ラインデータ、縦断層画像はＯＣＴ縦断層画像、横断層画像はＯＣＴ横断層画像とそれぞれ読み替える。また、ＩＶＵＳ画像に基づく処理では、ラインデータは超音波ラインデータ、縦断層画像はＩＶＵＳ縦断層画像、横断層画像はＩＶＵＳ横断層画像とそれぞれ読み替える。
【0056】
ＰＣＩの術中に、術者は、バルーンカテーテルによって血管を拡張する前、血管を拡張した後（ステントの留置前）、ステントを留置した後、留置したステントをバルーンカテーテルで圧接（後拡張）した後等、適宜のタイミングでＩＶＵＳセンサ１２ａ及び／又はＯＣＴセンサ１２ｂによる撮影を行い、治療対象領域を血管内から撮影した断層画像（ＩＶＵＳ画像及び／又はＯＣＴ画像）を取得する。そして、術者は、取得した断層画像によって治療対象領域を観察する。以下の処理は、上述したタイミングのいずれで実行されてもよい。
【0057】
画像処理装置３の制御部３１は、血管内検査装置１０１による血管内の撮影処理を行い、血管内検査装置１０１がプルバック操作を行いつつ撮影した一連のラインデータ（血管内をスキャンしたスキャンデータ）を取得する（Ｓ３１）。ここでは、血管内検査装置１０１は、画像診断用カテーテル１のセンサ部１２を先端側（遠位側）から基端側（近位側）に移動させながら血管内を走査して、ＩＶＵＳセンサ１２ａによる撮影で得られた超音波ラインデータと、ＯＣＴセンサ１２ｂによる撮影で得られた光ラインデータとを取得する。画像処理装置３の制御部３１は、入出力部３３を通じて、血管内検査装置１０１が取得した一連のラインデータを取得する。なお、制御部３１は、ＭＤＵ２を介してＩＶＵＳセンサ１２ａから超音波の反射波データを取得する場合、取得した超音波の反射波データから超音波ラインデータを生成し、ＭＤＵ２を介してＯＣＴセンサ１２ｂから反射光データを取得する場合、取得した反射光データから光ラインデータを生成する。
【0058】
制御部３１は、ステップＳ３１で取得したラインデータに基づいて、所定枚数の縦断層画像を構築する（Ｓ３２）。例えば制御部３１は、４枚の縦断層画像を生成する場合、ライン番号１及び２５７のラインデータに基づく縦断層画像と、ライン番号６５及び３２１のラインデータに基づく縦断層画像と、ライン番号１２９及び３８５のラインデータに基づく縦断層画像と、ライン番号１９３及び４４９のラインデータに基づく縦断層画像とを構築する。具体的には、制御部３１は、取得したラインデータのうちで、上述した各ライン番号のラインデータを抽出し、各ラインデータを、長軸方向における撮影位置の順に並べて２次元の縦断層画像を生成する。これにより、血管の径方向の複数角度（ここでは、６４毎のライン番号の撮影方向）でスキャンしたスキャンデータに基づいて４枚の縦断層画像が生成される。制御部３１は、構築した縦断層画像を主記憶部３２又は補助記憶部３５に記憶する。なお、ここで構築する縦断層画像の枚数は４枚に限定されず、２枚、６枚、８枚等であってもよい。
【0059】
制御部３１は、生成した縦断層画像のそれぞれに対してセグメンテーションを実行する（Ｓ３３）。具体的には、制御部３１は、それぞれの縦断層画像を縦断層用モデルＭ２に入力し、縦断層用モデルＭ２から出力されたラベル画像を取得する。これにより、制御部３１は、それぞれの縦断層画像中の画素が血管内腔の領域、血管壁の領域、又は他の領域に分類されたラベル画像を取得する。制御部３１は、それぞれの縦断層画像から取得したラベル画像から、血管の長軸方向の各撮影位置における血管内腔及び血管壁の領域を特定し、特定した血管内腔及び血管壁の領域に基づいて仮想横断層画像を生成する（Ｓ３４）。具体的には、制御部３１は、図１０Ａ左側に示すように、４枚の縦断層画像において、長軸方向のある撮影位置における血管内腔の輪郭線（具体的には血管内膜）及び血管壁の外側の輪郭線（具体的にはＥＥＭ）を検出する。図１０Ａでは血管内膜を白丸で示し、ＥＥＭを黒丸で示す。そして、制御部３１は、４枚の縦断層画像から検出した血管内膜上の８点に対して、スプライン補間等によって血管内膜を補間し、４枚の縦断層画像から検出したＥＥＭ上の８点に対して、スプライン補間等によってＥＥＭを補間する。これにより、図１０Ａ右側に示すように、補間された血管内腔の輪郭線と血管壁の輪郭線とを含む仮想横断層画像（縦断層画像のラベル画像から推定された推定横断層画像）が生成される。制御部３１は、このような仮想横断層画像を、センサ部１２が移動した移動範囲内において１回転した位置毎に生成してもよく、所定間隔毎に生成してもよい。このように生成された仮想横断層画像は、横断層用モデルＭ１の学習に用いてもよい。即ち、各撮影位置での横断層画像に対して、各撮影位置について生成された仮想横断層画像を正解のラベル画像とする訓練データを、横断層用モデルＭ１の訓練データに用いてもよい。
【0060】
制御部３１は、ステップＳ３２で生成した縦断層画像と、上述のように生成した仮想横断層画像とに基づいて、画像中の血管の状態を検出する第１処理を実行する（Ｓ３５）。例えば制御部３１は、各撮影位置における仮想横断層画像について、画像中の血管内のプラーク領域を特定する。例えば制御部３１は、各仮想横断層画像中の血管内腔の面積と、血管内腔及び血管壁を合わせた血管全体の面積とを算出し、例えば以下の式を用いてプラークバーデンを算出し、プラークバーデンが所定値（例えば５０％）以上である撮影位置を、プラーク領域がある位置に特定する。なお、制御部３１は、仮想横断層画像中の各画素の画素値に基づいて、プラークの領域を特定してもよい。また、ＯＣＴ画像では脂質性組織で形成されて線維性被膜が薄い脂質性プラークを高精度で撮影できるため、制御部３１は、ＯＣＴ画像から生成した仮想横断層画像に基づいて脂質性プラークの領域を特定してもよい。ＩＶＵＳ画像では超音波の減衰を伴う減衰性プラーク（attenuated plaque）を撮影できるため、制御部３１は、ＩＶＵＳ画像から生成した仮想横断層画像に基づいて減衰性プラークの領域を特定してもよい。また、制御部３１は、仮想横断層画像においてプラーク領域の血管周方向の広がりを計測してもよい。
【0061】
プラークバーデン＝（血管全体の面積－血管内腔の面積）／血管全体の面積 …（式）
【0062】
また制御部３１は、仮想横断層画像に基づいて、画像中の血管内の石灰化領域を特定してもよい。また制御部３１は、例えばＩＶＵＳ画像から生成した仮想横断層画像に基づいて、画像診断用カテーテル１が挿入されている血管（本幹）から分岐して伸びる血管（側枝）の位置を検出してもよい。また、ステップＳ３１で取得したラインデータが、ステント留置後に取得したラインデータである場合、制御部３１は、ステップＳ３２で生成した縦断層画像に基づいて、画像中の血管内のステントの留置範囲を検出してもよい。なお、制御部３１は、ＩＶＵＳ及びＯＣＴの各モダリティが得意とする検出対象について、ＩＶＵＳ縦断層画像及びＯＣＴ縦断層画像のそれぞれに対するセグメンテーションの結果から、ＩＶＵＳ横断層画像及びＯＣＴ横断層画像のそれぞれに対するセグメンテーションを実行するか否かを判断してもよい。また、横断層画像（ＩＶＵＳ横断層画像及び／又はＯＣＴ横断層画像）に対するセグメンテーションを実行する場合、縦断層画像に対するセグメンテーションの結果と、横断層画像に対するセグメンテーションの結果との間にズレが生じていれば、横断層画像及び縦断層画像に基づいてセグメンテーションの結果を補正してもよい。例えば、縦断層画像に対するセグメンテーションの結果から生成された仮想横断層画像と、横断層画像に対するセグメンテーションの結果のラベル画像とにおいて、各画素の平均値を補正後のラベル画像の画素値としてもよい。また、撮影位置の前後方向のズレも加味して、縦断層画像に対するセグメンテーションの結果と、横断層画像に対するセグメンテーションの結果との間のズレを補正してもよい。
【0063】
制御部３１は、ステップＳ３２で構築して主記憶部３２又は補助記憶部３５に記憶した縦断層画像を表示装置４に表示する（Ｓ３６）。ここでは、制御部３１は、図１１Ａに示すような画面を表示する。図１１Ａの画面は、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像を並べて表示しており、この２つの縦断層画像は、血管の径方向の同じ方向を撮影方向とした縦断層画像である。また図１１Ａの画面では、ＯＣＴ縦断層画像の上側に、撮影対象の血管の長軸方向において、プラーク領域（例えば脂質性プラーク）が検出された仮想横断層画像の撮影位置を示すマークＬ１が表示されており、ＩＶＵＳ縦断層画像の上側に、プラーク領域（例えば減衰性プラーク）が検出された仮想横断層画像の撮影位置を示すマークＬ２が表示されている。なお、マークＬ１は、例えばプラークの血管周方向の広がりが１８０度以上であると判定された仮想横断層画像の撮影位置を示している。また、マークＬ２は、例えばプラークバーデンが５０％以上であると判定された仮想横断層画像の撮影位置、プラークの血管周方向の広がりが１８０度以上であると判定された仮想横断層画像の撮影位置、石灰化領域の血管周方向の広がりが１８０度以上であると判定された仮想横断層画像の撮影位置等を示しており、血管の状態に応じてマークＬ２内のハッチングを異ならせてもよい。また、図１１Ａの画面では、ＩＶＵＳ縦断層画像上に、側枝が分岐している位置を示すマークＬ３が表示されている。
【0064】
ステップＳ３１で取得したラインデータがステント留置後に取得したラインデータである場合、制御部３１は、図１１Ｂに示すような画面を表示する。図１１Ｂの画面は、図１１Ａの画面と同様に、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像を並べて表示している。また図１１Ｂの画面では、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像の上側に、血管の長軸方向におけるステントの留置範囲を示すマークＬ４と、ＭＳＡ（Minimum Stent Area：最小ステント拡張面積）の位置を示すマークＬ６とが表示されている。更に図１１Ｂの画面では、ステントと血管内腔面（内膜）との隙間（マルアポジション）が所定値（例えば０．４ｍｍ）以上である位置を示すマークＬ５が表示されている。このような画面を表示装置４に表示することにより、縦断層画像及び仮想横断層画像に基づく第１処理によって検出した血管の状態を術者に提示できる。ここで、画像処理装置３は、横断層画像として例えば５１２画素×５１２画素の画像を処理しており、血管内検査装置１０１が１回のプルバック操作によって１０２４回転する場合、縦断層画像として例えば５１２画素×１０２４画素の画像を処理する。よって、縦断層画像は横断層画像の２枚分のデータ量であり、このような少ないデータ量に基づいて、血管の長軸方向の概要を検出することにより、センサ部１２の撮影終了から早期に血管の概要を術者に提示できる。なお、縦断層画像は、５１２画素×１０２４画素の画像のほかに、血管の長軸方向の画素を１画素毎に間引くことにより、５１２画素×５１２画素の画像としてもよく、この場合、更にデータ量を削減することができる。なお、５１２画素×１０２４画素の縦断層画像を５１２画素×５１２画素の画像２枚で生成してもよく、この場合、２枚の画像のつなぎ目部分を含む画像を更に１枚追加して３枚の画像で縦断層画像を生成してもよい。例えば１フレーム～１０２４フレームの各撮影位置において、１フレーム目～５１２フレーム目のラインデータに基づく縦断層画像と、２５６フレーム目～７６８フレーム目のラインデータに基づく縦断層画像と、５１２フレーム目～１０２４フレーム目のラインデータに基づく縦断層画像とを生成してもよい。
【0065】
次に制御部３１は、縦断層画像及び仮想横断層画像に基づく第１処理の結果から、詳細に血管状態を確認すべき優先領域を特定する（Ｓ３７）。例えば制御部３１は、図１０Ｂに示すように、上述した第１処理によって検出した、プラークバーデンが所定値以上の位置、血管内腔の面積又は直径が所定値未満の位置（狭窄部の位置）、及び、これらの位置を含む近傍の領域等を優先領域に特定する。また、ステップＳ３１で取得したラインデータがステント留置後に取得したラインデータである場合、制御部３１は、図１０Ｃに示すように、ステントの留置範囲を優先領域に特定してもよい。本実施形態では、第１処理の結果から優先領域を特定するが、優先領域は、縦断層画像（ＩＶＵＳ縦断層画像及び／又はＯＣＴ縦断層画像）に対する、縦断層用モデルＭ２を用いたセグメンテーションの結果から特定されればよい。例えば、縦断層画像（ＩＶＵＳ縦断層画像及び／又はＯＣＴ縦断層画像）を入力した場合に、入力された縦断層画像中の優先領域を出力するモデルを用いて、優先領域を特定してもよい。
【0066】
制御部３１は、ステップＳ３１で取得したラインデータのうちで、特定した優先領域内を撮影位置として取得したラインデータに基づいて、当該優先領域を撮影位置とする横断層画像を構築する（Ｓ３８）。ここでは制御部３１は、優先領域内でセンサ部１２が一回転する間に取得された５１２本のラインデータ毎に、５１２本のラインデータに対して補間処理によって画素を補間して２次元の横断層画像を構築する。制御部３１は、構築した横断層画像を主記憶部３２又は補助記憶部３５に記憶する。
【0067】
制御部３１は、ステップＳ３８で構築して主記憶部３２又は補助記憶部３５に記憶した優先領域内の横断層画像のそれぞれに対してセグメンテーションを実行する（Ｓ３９）。ここでは制御部３１は、それぞれの横断層画像を横断層用モデルＭ１に入力し、横断層用モデルＭ１から出力されたラベル画像に基づいて、それぞれの横断層画像中の血管内腔及び血管壁の領域を特定する。そして、制御部３１は、セグメンテーションによって得られた各横断層画像中の血管内腔及び血管壁の領域に基づいて、画像中の血管の状態を検出する第２処理を実行する（Ｓ４０）。第２処理は、処理対象が横断層画像であるが、第１処理と同じ処理である。よって、制御部３１は、各横断層画像について、画像中の血管内のプラーク領域及び石灰化領域を特定し、プラーク領域及び石灰化領域の血管周方向の広がりを計測し、側枝の位置を検出する。また制御部３１は、各横断層画像中の血管内腔面（ルーメンの輪郭）、ＥＥＭ（External Elastic Membrane：外弾性板）（ヴェッセルの輪郭）を検出してもよく、ステントの留置後のラインデータに基づく横断層画像については画像中の血管内のステントを検出してもよい。
【0068】
制御部３１は、構築して主記憶部３２又は補助記憶部３５に記憶した横断層画像を表示装置４に表示する（Ｓ４１）。ここでは、制御部３１は、図１１Ｃに示すような画面を表示する。図１１Ｃの画面は、ステップＳ３２で生成したＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像と、ステップＳ３８で生成したＯＣＴ横断層画像及びＩＶＵＳ横断層画像とを並べて表示している。なお、ＯＣＴ横断層画像及びＩＶＵＳ横断層画像は、血管の長軸方向の同じ位置で撮影された横断層画像であり、この横断層画像の撮影位置は、ＯＣＴ縦断層画像及びＩＶＵＳ縦断層画像においてマークＬ７で示されている。図１１Ｃに示す画面において、例えば入力装置５を介して一方の縦断層画像上のマークＬ７が左右に移動された場合、制御部３１は、他方の縦断層画像上のマークＬ７も連動して移動し、また、表示中の横断層画像を、移動後のマークＬ７の位置を撮影位置とする横断層画像に切り替える。これにより、術者は、横断層画像を、観察位置（撮影位置）を適宜変更しながら確認できる。
【0069】
また図１１Ｃの画面では、図１１Ａの画面中のマークＬ１～Ｌ３に加えて、ＯＣＴ横断層画像及びＩＶＵＳ横断層画像上に、表示中の横断層画像中に検出されたプラーク（例えば脂質性プラーク）の領域を示すマークＬ８，Ｌ９が表示されている。マークＬ８，Ｌ９は、表示中の横断層画像中のプラーク領域の血管周方向の広がりを示している。これにより、術者は、脂質性プラーク等のプラークの位置及び広がり範囲を把握できる。また、図１１Ｃの画面において、横断層画像上に、石灰化領域の位置及び広がり範囲を示すマークが表示されてもよい。更に、横断層画像上に、横断層画像から検出された血管内腔面（ルーメンの輪郭）、ＥＥＭ（ヴェッセルの輪郭）、ステントが表示されてもよい。このような画面を表示装置４に表示することにより、横断層画像に基づく第２処理によって検出した血管の状態を術者に提示できる。
【0070】
制御部３１は、優先領域を撮影位置とする横断層画像に対してステップＳ３９～Ｓ４１の処理を実行した後、優先領域以外の領域を撮影位置として取得したラインデータに基づいて、ステップＳ３８～Ｓ４０と同様の処理を行う（Ｓ４２～Ｓ４４）。具体的には、制御部３１は、優先領域以外の領域を撮影位置とする横断層画像を構築し（Ｓ４２）、構築した横断層画像のそれぞれに対してセグメンテーションを実行し（Ｓ４３）、セグメンテーションによって得られた各横断層画像中の血管内腔及び血管壁の領域に基づいて、画像中の血管の状態を検出する第２処理を実行する（Ｓ４４）。なお、制御部３１は、ステップＳ３８～Ｓ３９では、センサ部１２が一回転する間に取得された５１２本のラインデータ毎に、即ち１フレーム毎に横断層画像の生成及び各横断層画像のセグメンテーションを行うのに対して、ステップＳ４２～Ｓ４３では、複数フレーム毎（例えば０．５ｍｍ毎又は１ｍｍ毎）に横断層画像の生成及びセグメンテーションを行ってもよい。この場合、詳細に血管状態を観察すべき優先領域では、横断層画像の各フレームに対して第２処理が行われて血管の状態が詳細に検出されるのに対して、優先領域以外の領域では、第２処理を行うフレームを間引いて複数フレーム毎に第２処理が行われる。即ち、優先領域以外の領域では、第２処理を実行する横断層画像の撮影位置の間隔（第２処理の処理間隔）が複数フレーム毎であり、優先領域よりも大きく設定されている。これにより、優先領域では１フレーム毎の検出処理によって血管の状態を高精度に検出すると共に、優先領域以外の領域では処理対象のフレーム数を削減することにより、演算量を削減することができる。
【0071】
制御部３１は、ステップＳ４４の処理後、ステップＳ４２で生成した横断層画像と、ステップＳ４４で検出した血管の状態を示す各マークとを表示装置４に表示してもよい。なお、術者は、ステップＳ４１で表示された図１１Ｃに示す画面によって血管の状態を確認し、例えばバルーンカテーテルによる血管拡張前又はステントの留置前であれば、拡張すべき位置及びステントの留置位置を決定し、ステントの留置後であればステントの留置位置が適切であるか否かを判断する。よって、ステップＳ４１の処理後、術者は、決定した処置内容に基づいて次の処置を開始してもよく、この場合、制御部３１は、ステップＳ４２～Ｓ４４の処理を行わずに一連の処理を終了してもよい。
【0072】
上述した処理により、本実施形態では、プルバック操作によって一連のラインデータを取得した後、縦断層画像に基づいて血管の長軸方向の概要が検出され、血管全体の状態をおおまかに把握するための情報が術者に提供される。縦断層画像はラインデータの一部（任意のライン番号のラインデータ及びこのライン番号に２５６を加算したライン番号のラインデータ）から構築されるので、全てのラインデータを処理する必要がなく、早期に血管状態の検出が可能となる。よって、ラインデータの取得後すぐに、縦断層画像に基づく演算量の少ない処理によって、血管全体の状態を大まかに把握できる情報を提供できる。よって、術者は、ラインデータの取得後、早期に提供された情報に基づいて、注目すべき領域（狭窄部、病変部等）を早急に特定することが可能となる。また、本実施形態では、注目すべき領域として、縦断層画像に基づいて優先領域が設定され、優先領域を撮影位置とする横断層画像に対する血管状態の検出処理を優先的に行うことにより、注目すべき領域についての検査結果が早期に術者に提供される。このように縦断層画像から検出された血管の状態に基づいて、優先的に検出処理を行うべき領域を決定できるので、長軸方向の各領域に対して、横断層画像に基づく詳細な検出処理を行う際の優先順位を設定できる。また、優先領域については１フレーム毎に検出処理を実行することにより、詳細な検出結果が得られる。一方、注目すべき領域ではない領域については、検出処理の対象を削減することにより、処理負荷の増加を抑制できる。よって、本実施形態では、ラインデータの取得直後に、注目すべき領域の特定に利用できる情報として、縦断層画像に基づいて検出された血管の情報が提示され、注目すべき領域が設定された後は、注目すべき領域で撮影された横断層画像に基づいて血管の詳細な状態が検出される。このように、術者が意思決定を行う際に有益な情報を適切なタイミングで術者に提供できる。
【0073】
図９に示す処理は、ステップＳ３１で超音波ラインデータ及び光ラインデータを取得し、超音波ラインデータ及び光ラインデータのそれぞれについてステップＳ３２～Ｓ４４の処理を行うものである。本実施形態では、超音波ラインデータに基づく検出処理の結果と、光ラインデータに基づく検出処理の結果とから、最終的な検出結果を判断してもよい。例えばステップＳ３５において、ＩＶＵＳ画像に基づく検出結果と、ＯＣＴ画像に基づく検出結果とに基づいて、最終的な血管の状態を判断してもよい。また、ステップＳ３７において、ＩＶＵＳ画像に基づいて特定した優先領域と、ＯＣＴ画像に基づいて特定した優先領域とに基づいて、最終的な優先領域を特定してもよい。また、ステップＳ４０，Ｓ４４において、ＩＶＵＳ画像に基づく検出結果と、ＯＣＴ画像に基づく検出結果とに基づいて、最終的な血管の状態を判断してもよい。このような構成とした場合、より高精度の検出処理を実現できる。
【0074】
（実施形態２）
横断層画像に基づく血管状態の検出処理（第２処理）の処理対象の領域を術者が指定できる画像診断装置について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。
横断層画像に基づく血管状態の検出処理（第２処理）の処理対象の領域を術者が指定できる画像診断装置について説明する。本実施形態の画像診断装置１００は、実施形態１の画像診断装置１００における各装置と同様の装置によって実現できるので、同様の構成については説明を省略する。
【0075】
図１２は、実施形態２の画像の表示処理手順の一例を示すフローチャートである。図１２に示す処理は、図９に示す処理において、ステップＳ３６，Ｓ３７の間にステップＳ５１～Ｓ５５を追加したものである。図９と同じステップについては説明を省略する。
【0076】
本実施形態の画像診断装置１００では、画像処理装置３の制御部３１は、図９中のステップＳ３１～Ｓ３６と同じ処理を実行する。これにより、例えば図１１Ａ又は図１１Ｂに示すような画面が表示装置４に表示される。本実施形態の画像処理装置３は、例えば入力装置５を介して、横断層画像に基づく血管状態の検出処理（第２処理）の実行を優先的に行う処理領域の指定を受け付けるように構成されている。処理領域の指定は、例えば図１１Ａ又は図１１Ｂの画面中の縦断層画像に対して、血管の長軸方向の任意の領域が選択されることによって行われる。制御部３１は、処理領域の指定を受け付けたか否かを判断する（Ｓ５１）。処理領域の指定を受け付けていないと判断した場合（Ｓ５１：ＮＯ）、制御部３１は、ステップＳ３７の処理に移行する。この場合、制御部３１は、図９に示す実施形態１の処理と同じ処理を行う。
【0077】
処理領域の指定を受け付けたと判断した場合（Ｓ５１：ＹＥＳ）、制御部３１は、指定された処理領域（指定領域）内を撮影位置として取得したラインデータに基づいて、ステップＳ３８～Ｓ４１と同様の処理を行う（Ｓ５２～Ｓ５５）。ここでは制御部３１は、指定領域を撮影位置とする横断層画像を構築し（Ｓ５２）、構築した横断層画像のそれぞれに対してセグメンテーションを実行し（Ｓ５３）、セグメンテーションによって得られた各横断層画像中の血管内腔及び血管壁の領域に基づいて、画像中の血管の状態を検出する第２処理を実行する（Ｓ５４）。なお、ステップＳ５２～Ｓ５３では、制御部３１は、１フレーム毎に横断層画像の生成及び各横断層画像のセグメンテーションを行う。これにより、術者に指定された領域に対して血管状態を高精度に検出することができる。
【0078】
そして、制御部３１は、図１１Ｃに示すような画面によって、ステップＳ５２で生成した横断層画像を表示装置４に表示する（Ｓ５５）。その後、制御部３１は、ステップＳ４２の処理に移行する。なお、制御部３１は、ステップＳ５５の処理後、ステップＳ３７の処理に移行してもよい。この場合、術者が指定した領域に対する検出処理が終了した後に、仮想横断層画像に基づく血管状態の検出結果から優先領域が特定され、特定した優先領域に対して横断層画像に基づく血管状態の検出処理が行われる構成となる。
【0079】
上述した処理により、本実施形態では、横断層画像に基づく血管状態の検出処理（第２処理）を優先的に行う領域の指定を術者から受け付けることができる。よって、術者が指定した領域に対して、横断層画像に基づく血管状態の検出処理を優先的に実行することができる。これにより、縦断層画像に基づく血管状態の検出処理から設定される優先領域よりも、術者による指定領域に対する処理を割込処理として優先的に行うことができる。よって、術者が観察したい領域に対する検出結果を早期に提示することができる。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。
【0080】
（実施形態３）
横断層用モデルＭ１の変形例について説明する。図１３は横断層用モデルＭ１の変形例を示す説明図である。図１３に示す横断層用モデルＭ１は、図６Ａに示す実施形態１の横断層用モデルＭ１の構成に加えて、図９に示す処理中のステップＳ３４で生成される仮想横断層画像（ＩＶＵＳ仮想横断層画像又はＯＣＴ仮想横断層画像）が入力される構成を有する。具体的には、横断層用モデルＭ１は、横断層画像（ＩＶＵＳ横断層画像又はＯＣＴ横断層画像）と、仮想横断層画像（ＩＶＵＳ仮想横断層画像又はＯＣＴ仮想横断層画像）とを入力とし、入力された横断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルである。
横断層用モデルＭ１の変形例について説明する。図１３は横断層用モデルＭ１の変形例を示す説明図である。図１３に示す横断層用モデルＭ１は、図６Ａに示す実施形態１の横断層用モデルＭ１の構成に加えて、図９に示す処理中のステップＳ３４で生成される仮想横断層画像（ＩＶＵＳ仮想横断層画像又はＯＣＴ仮想横断層画像）が入力される構成を有する。具体的には、横断層用モデルＭ１は、横断層画像（ＩＶＵＳ横断層画像又はＯＣＴ横断層画像）と、仮想横断層画像（ＩＶＵＳ仮想横断層画像又はＯＣＴ仮想横断層画像）とを入力とし、入力された横断層画像中の血管内の血管内腔の領域及び血管壁の領域を認識するモデルである。
【0081】
本実施形態の横断層用モデルＭ１は、１枚の横断層画像と、この横断層画像と同じ撮影位置であり、図９中のステップＳ３４で生成された仮想横断層画像とを入力とし、入力された横断層画像及び仮想横断層画像に基づいて、当該横断層画像に含まれる血管内腔の領域及び血管壁の領域を認識する演算を行い、認識結果を示す情報を出力するように学習される。具体的には、横断層用モデルＭ１は、入力された横断層画像の各画素を、血管内腔の領域と血管壁の領域とその他の領域とに分類し、各画素に領域毎のラベルを対応付けた分類済みの画像（ラベル画像）を出力する。
【0082】
本実施形態の横断層用モデルＭ１は、訓練用の横断層画像及び仮想横断層画像と、この横断層画像中の各画素に対して判別すべきオブジェクト（ここでは血管内膜及び血管壁の領域）を示すデータがラベリングされた正解のラベル画像とを含む訓練データを用いて機械学習することにより生成される。本実施形態の横断層用モデルＭ１は、訓練データに含まれる横断層画像及び仮想横断層画像が入力された場合に、訓練データに含まれる正解のラベル画像を出力するように学習する。具体的には、横断層用モデルＭ１は、入力された横断層画像中の各画素に対して、分類されたオブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。そして、横断層用モデルＭ１は、検出結果のラベル画像を、正解のラベル画像におけるオブジェクト領域の座標範囲及びオブジェクトの種類と比較し、両者が近似するように、最急降下法、誤差逆伝播法等を用いて、ニューロン間の重み等のパラメータを最適化する。これにより、横断層画像及び仮想横断層画像が入力された場合に、入力画像中の血管内腔の領域及び血管壁の領域を示すラベル画像を出力する横断層用モデルＭ１が得られる。本実施形態の横断層用モデルＭ１においても、横断層画像及び仮想横断層画像から、血管内腔及び血管壁の領域に加えて、ガイドワイヤ及びカテーテルの領域を認識する構成でもよく、血管壁中のプラークの領域を認識する構成でもよい。
【0083】
上述した構成の横断層用モデルＭ１を用いる場合であっても、画像処理装置３は、図９の処理の実行が可能である。なお、ステップＳ３９において、制御部３１は、ステップＳ３８で構築した優先領域内の横断層画像のそれぞれと、各横断層画像と同じ撮影位置の仮想横断層画像とを横断層用モデルＭ１に入力し、横断層用モデルＭ１から出力されたラベル画像に基づいて、それぞれの横断層画像中の血管内腔及び血管壁の領域を特定する。また、ステップＳ４３において、制御部３１は、ステップＳ４２で構築した優先領域以外の領域内の横断層画像のそれぞれと、各横断層画像と同じ撮影位置の仮想横断層画像とを横断層用モデルＭ１に入力し、横断層用モデルＭ１から出力されたラベル画像に基づいて、それぞれの横断層画像中の血管内腔及び血管壁の領域を特定する。
【0084】
本実施形態の横断層用モデルＭ１では、横断層画像と仮想横断層画像とが入力される構成であるが、例えば、横断層画像と仮想横断層画像とを重ねた状態で入力される構成でもよい。例えば、横断層画像に対して、仮想横断層画像中の血管内腔の輪郭線と血管壁の輪郭線とが付加された画像を入力画像としてもよく、横断層画像中の各画素に対して、各画素が対応する仮想横断層画像中の画素が血管内腔の領域であるか血管壁の領域であるかを示すラベルが付加された画像を入力画像としてもよい。
【0085】
本実施形態の横断層用モデルＭ１の構成は、上述した実施形態１～２の横断層用モデルＭ１に適用可能であり、実施形態１～２の横断層用モデルＭ１に適用した場合であっても同様の効果が得られる。なお、本実施形態の横断層用モデルＭ１のように、横断層画像に加えて、当該横断層画像と同じ撮影位置について生成された仮想横断層画像に基づいて、当該横断層画像中の血管内腔及び血管壁の領域を分類する構成により、より分類精度の高いモデルを実現できる。また、本実施形態においても、上述した実施形態１～２で適宜説明した変形例の適用が可能である。
【0086】
上述した各実施形態では、超音波を用いて血管内の断層画像を撮影するＩＶＵＳセンサ１２ａと、近赤外光を用いて血管内の断層画像を撮影するＯＣＴセンサ１２ｂとを使用する構成であるが、このような構成に限定されない。例えばＩＶＵＳセンサ１２ａ又はＯＣＴセンサ１２ｂの代わりに、血管内からのラマン散乱光を受光して血管内の断層画像を撮影するセンサ、血管内からの励起光を受光して血管内の断層画像を撮影するセンサ等、血管の状態を観察できる各種のセンサを使用する構成とすることもできる。
【0087】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0088】
１ 画像診断用カテーテル
２ ＭＤＵ
３ 画像処理装置
４ 表示装置
５ 入力装置
３１ 制御部
３２ 主記憶部
３３ 入出力部
３５ 補助記憶部
１０１ 血管内検査装置
１０２ 血管造影装置
Ｐ プログラム
２ ＭＤＵ
３ 画像処理装置
４ 表示装置
５ 入力装置
３１ 制御部
３２ 主記憶部
３３ 入出力部
３５ 補助記憶部
１０１ 血管内検査装置
１０２ 血管造影装置
Ｐ プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
