(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024051774
(43)【公開日】2024-04-11
(54)【発明の名称】コンピュータプログラム、情報処理方法及び情報処理装置
(51)【国際特許分類】
A61B 8/12 20060101AFI20240404BHJP
A61B 1/313 20060101ALI20240404BHJP
A61B 1/045 20060101ALI20240404BHJP
A61B 1/00 20060101ALI20240404BHJP
【FI】
A61B8/12
A61B1/313 510
A61B1/045 618
A61B1/045 614
A61B1/00 526
A61B1/00 530
A61B1/045 615
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022158099
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】楠 耕太郎
【テーマコード(参考)】
4C161
4C601
【Fターム(参考)】
4C161AA22
4C161BB08
4C161CC07
4C161FF40
4C161FF46
4C161JJ09
4C161MM10
4C161NN01
4C161QQ09
4C161RR01
4C161RR18
4C161SS21
4C161WW16
4C601BB03
4C601BB13
4C601BB14
4C601BB24
4C601DD14
4C601DD15
4C601EE09
4C601FE01
4C601FE04
4C601JB34
4C601JC05
4C601JC06
4C601LL33
(57)【要約】
【課題】コンピュータプログラム、情報処理方法及び情報処理装置の提供。
【解決手段】血管の断層画像を取得し、前記血管における病変候補を特定し、特定した病変候補に加わる応力の値を算出し、血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行し、前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する処理をコンピュータに実行させる。
【選択図】
図6
【特許請求の範囲】
【請求項1】
血管の断層画像を取得し、
前記血管における病変候補を特定し、
特定した病変候補に加わる応力の値を算出し、
血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行し、
前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する
処理をコンピュータに実行させるためのコンピュータプログラム。
【請求項2】
前記学習モデルは、血管の病変候補に加わる応力の値と、前記病変候補の形態に係る特徴量とを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、
取得した断層画像から病変候補の形態に係る特徴量を抽出し、
前記学習モデルに、算出した応力の値と、抽出した特徴量とを入力して、前記学習モデルによる演算を実行する
処理を前記コンピュータに実行させるための請求項1に記載のコンピュータプログラム。
【請求項3】
前記学習モデルは、血管の病変候補に加わる応力の値と、血管の断層画像とを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、
前記学習モデルに、算出した応力の値と、取得した断層画像とを入力して、前記学習モデルによる演算を実行する
処理を前記コンピュータに実行させるための請求項1に記載のコンピュータプログラム。
【請求項4】
前記学習モデルは、血管の病変候補に加わる応力の値と、血管の3次元形状モデルとを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、
血管の3次元形状モデルを取得し、
前記学習モデルに、算出した応力の値と、算出した3次元形状モデルとを入力して、前記学習モデルによる演算を実行する
処理を前記コンピュータに実行させるための請求項1に記載のコンピュータプログラム。
【請求項5】
前記血管の3次元形状モデルを取得し、
取得した3次元形状モデルに基づき、前記応力の値を算出する
処理を前記コンピュータに実行させるための請求項1に記載のコンピュータプログラム。
【請求項6】
取得した断層画像から前記応力の値を算出する
処理を前記コンピュータに実行させるための請求項1に記載のコンピュータプログラム。
【請求項7】
前記応力は、前記病変候補に加わる剪断応力及び垂直応力の少なくとも一方を含む
請求項1に記載のコンピュータプログラム。
【請求項8】
前記血管から複数の病変候補を特定した場合、特定した病変候補の夫々について、虚血性心疾患の発症リスクに係る情報を出力する
処理を前記コンピュータに実行させるための請求項1から請求項7の何れか1つに記載のコンピュータプログラム。
【請求項9】
前記病変候補の夫々について、前記発症リスクの時系列推移を示す情報を出力する
処理を前記コンピュータに実行させるための請求項8に記載のコンピュータプログラム。
【請求項10】
前記断層画像は、超音波断層画像及び光干渉断層画像の少なくとも一方を含む
請求項1に記載のコンピュータプログラム。
【請求項11】
血管の断層画像を取得し、
前記血管における病変候補を特定し、
特定した病変候補に加わる応力の値を算出し、
血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行し、
前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する
処理をコンピュータにより実行する情報処理方法。
【請求項12】
血管の断層画像を取得する取得部と、
前記血管における病変候補を特定する特定部と、
特定した病変候補に加わる応力の値を算出する算出部と、
血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行する演算部と、
前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する出力部と
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータプログラム、情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
カテーテルを用いた血管内超音波(IVUS : IntraVascular UltraSound)法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査が行われている。一方で、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている(例えば、特許文献1を参照)。特許文献1に開示されている技術では、管腔壁やステントなどの特徴を血管画像から個別に抽出することが可能である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示されている技術では、虚血性心疾患の発症リスクを予測することは困難である。
【0005】
一つの側面では、虚血性心疾患の発症リスクを予測することができるコンピュータプログラム、情報処理方法及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
(1)一つの側面に係るコンピュータプログラムは、血管の断層画像を取得し、前記血管における病変候補を特定し、特定した病変候補に加わる応力の値を算出し、血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行し、前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する処理をコンピュータに実行させるためのコンピュータプログラムである。
【0007】
(2)上記(1)のコンピュータプログラムにおいて、前記学習モデルは、血管の病変候補に加わる応力の値と、前記病変候補の形態に係る特徴量とを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、取得した断層画像から病変候補の形態に係る特徴量を抽出し、前記学習モデルに、算出した応力の値と、抽出した特徴量とを入力して、前記学習モデルによる演算を実行することが好ましい。
【0008】
(3)上記(1)のコンピュータプログラムにおいて、前記学習モデルは、血管の病変候補に加わる応力の値と、血管の断層画像とを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、前記学習モデルに、算出した応力の値と、取得した断層画像とを入力して、前記学習モデルによる演算を実行することが好ましい。
【0009】
(4)上記(1)のコンピュータプログラムにおいて、前記学習モデルは、血管の病変候補に加わる応力の値と、血管の3次元形状モデルとを入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習されており、血管の3次元形状モデルを取得し、前記学習モデルに、算出した応力の値と、算出した3次元形状モデルとを入力して、前記学習モデルによる演算を実行することが好ましい。
【0010】
(5)上記(1)から(4)の何れか1つのコンピュータプログラムにおいて、前記血管の3次元形状モデルを取得し、取得した3次元形状モデルに基づき、前記応力の値を算出することが好ましい。
【0011】
(6)上記(1)から(4)の何れか1つのコンピュータプログラムにおいて、取得した断層画像から前記応力の値を算出することが好ましい。
【0012】
(7)上記(1)から(6)の何れか1つのコンピュータプログラムにおいて、前記応力は、前記病変候補に加わる剪断応力及び垂直応力の少なくとも一方を含むことが好ましい。
【0013】
(8)上記(1)から(7)の何れか1つのコンピュータプログラムにおいて、前記血管から複数の病変候補を特定した場合、特定した病変候補の夫々について、虚血性心疾患の発症リスクに係る情報を出力することが好ましい。
【0014】
(9)上記(1)から(7)の何れか1つのコンピュータプログラムにおいて、前記病変候補の夫々について、前記発症リスクの時系列推移を示す情報を出力することが好ましい。
【0015】
(10)上記(1)から(9)の何れか1つのコンピュータプログラムにおいて、前記断層画像は、超音波断層画像及び光干渉断層画像の少なくとも一方を含むことが好ましい。
【0016】
(11)一つの側面に係る情報処理方法は、血管の断層画像を取得し、前記血管における病変候補を特定し、特定した病変候補に加わる応力の値を算出し、血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行し、前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する処理をコンピュータにより実行する。
【0017】
(12)一つの側面に係る情報処理装置は、血管の断層画像を取得する取得部と、前記血管における病変候補を特定する特定部と、特定した病変候補に加わる応力の値を算出する算出部と、血管の病変候補に加わる応力の値を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習された学習モデルに、算出した応力の値を入力して、前記学習モデルによる演算を実行する演算部と、前記学習モデルより得られる虚血性心疾患の発症リスクに係る情報を出力する出力部とを備える。
【発明の効果】
【0018】
一つの側面では、虚血性心疾患の発症リスクを予測することができる。
【図面の簡単な説明】
【0019】
【
図1】実施の形態1における画像診断装置の構成例を示す模式図である。
【
図2】画像診断用カテーテルの概要を示す模式図である。
【
図3】センサ部を挿通させた血管の断面を示す説明図である。
【
図5】画像処理装置の構成例を示すブロック図である。
【
図6】画像処理装置が実行する処理の概要を説明する説明図である。
【
図7】実施の形態1における学習モデルの構成例を示す模式図である。
【
図8】実施の形態1における画像処理装置が実行する処理の手順を説明するフローチャートである。
【
図11】実施の形態2における学習モデルの構成例を示す模式図である。
【
図12】実施の形態3における処理の概要を説明する説明図である。
【
図13】実施の形態3における学習モデルの構成例を示す模式図である。
【
図14】実施の形態3における画像処理装置が実行する処理の手順を説明するフローチャートである。
【
図15】実施の形態4における学習モデルの構成例を示す模式図である。
【
図16】実施の形態5における学習モデルの構成例を示す模式図である。
【
図17】実施の形態6における学習モデルの構成例を示す模式図である。
【
図18】実施の形態7における処理の概要を説明する説明図である。
【
図19】実施の形態7における学習モデルの構成例を示す模式図である。
【
図20】実施の形態7における画像処理装置が実行する処理の手順を説明するフローチャートである。
【
図21】実施の形態8における学習モデルの構成例を示す模式図である。
【
図22】実施の形態9における学習モデルの構成例を示す模式図である。
【発明を実施するための形態】
【0020】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
図1は実施の形態1における画像診断装置100の構成例を示す模式図である。本実施の形態では、血管内超音波診断法(IVUS)及び光干渉断層診断法(OCT)の両方の機能を備えるデュアルタイプのカテーテルを用いた画像診断装置について説明する。デュアルタイプのカテーテルでは、IVUSのみによって超音波断層画像を取得するモードと、OCTのみによって光干渉断層画像を取得するモードと、IVUS及びOCTによって両方の断層画像を取得するモードとが設けられており、これらのモードを切り替えて使用することができる。以下、超音波断層画像及び光干渉断層画像をそれぞれIVUS画像及びOCT画像とも記載する。IVUS画像及びOCT画像を区別して説明する必要がない場合、単に断層画像とも記載する。
【0021】
実施の形態に係る画像診断装置100は、血管内検査装置101と、血管造影装置102と、画像処理装置3と、表示装置4と、入力装置5とを備える。血管内検査装置101は、画像診断用カテーテル1及びMDU(Motor Drive Unit)2を備える。画像診断用カテーテル1は、MDU2を介して画像処理装置3に接続されている。画像処理装置3には、表示装置4及び入力装置5が接続されている。表示装置4は、例えば液晶ディスプレイ又は有機ELディスプレイ等であり、入力装置5は、例えばキーボード、マウス、タッチパネル又はマイク等である。入力装置5と画像処理装置3とは、一体に構成されていてもよい。更に入力装置5は、ジェスチャ入力又は視線入力等を受け付けるセンサであってもよい。
【0022】
血管造影装置102は画像処理装置3に接続されている。血管造影装置102は、患者の血管に造影剤を注入しながら、患者の生体外からX線を用いて血管を撮像し、当該血管の透視画像であるアンギオ画像を得るためのアンギオグラフィ装置である。血管造影装置102は、X線源及びX線センサを備え、X線源から照射されたX線をX線センサが受信することにより、患者のX線透視画像をイメージングする。なお、画像診断用カテーテル1にはX線を透過しないマーカが設けられており、アンギオ画像において画像診断用カテーテル1(マーカ)の位置が可視化される。血管造影装置102は、撮像して得られたアンギオ画像を画像処理装置3へ出力し、画像処理装置3を介して当該アンギオ画像を表示装置4に表示させる。なお、表示装置4には、アンギオ画像と、画像診断用カテーテル1を用いて撮像された断層画像とが表示される。
【0023】
なお、本実施の形態では、画像処理装置3に、2次元のアンギオ画像を撮像する血管造影装置102が接続されているが、生体外の複数の方向から患者の管腔器官及び画像診断用カテーテル1を撮像する装置であれば、血管造影装置102に限定されない。
【0024】
図2は画像診断用カテーテル1の概要を示す模式図である。なお、
図2中の上側の一点鎖線の領域は、下側の一点鎖線の領域を拡大したものである。画像診断用カテーテル1は、プローブ11と、プローブ11の端部に配置されたコネクタ部15とを有する。プローブ11は、コネクタ部15を介してMDU2に接続される。以下の説明では画像診断用カテーテル1のコネクタ部15から遠い側を先端側と記載し、コネクタ部15側を基端側と記載する。プローブ11は、カテーテルシース11aを備え、その先端部には、ガイドワイヤが挿通可能なガイドワイヤ挿通部14が設けられている。ガイドワイヤ挿通部14はガイドワイヤルーメンを構成し、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってプローブ11を患部まで導くのに使用される。カテーテルシース11aは、ガイドワイヤ挿通部14との接続部分からコネクタ部15との接続部分に亘って連続する管部を形成している。カテーテルシース11aの内部にはシャフト13が挿通されており、シャフト13の先端側にはセンサ部12が接続されている。
【0025】
センサ部12は、ハウジング12dを有し、ハウジング12dの先端側は、カテーテルシース11aの内面との摩擦や引っ掛かりを抑制するために半球状に形成されている。ハウジング12d内には、超音波を血管内に送信すると共に血管内からの反射波を受信する超音波送受信部12a(以下ではIVUSセンサ12aという)と、近赤外光を血管内に送信すると共に血管内からの反射光を受信する光送受信部12b(以下ではOCTセンサ12bという)とが配置されている。
図2に示す例では、プローブ11の先端側にIVUSセンサ12aが設けられており、基端側にOCTセンサ12bが設けられており、シャフト13の中心軸上(
図2中の二点鎖線上)において軸方向に沿って距離xだけ離れて配置されている。画像診断用カテーテル1において、IVUSセンサ12a及びOCTセンサ12bは、シャフト13の軸方向に対して略90度となる方向(シャフト13の径方向)を超音波又は近赤外光の送受信方向として取り付けられている。なお、IVUSセンサ12a及びOCTセンサ12bは、カテーテルシース11aの内面での反射波又は反射光を受信しないように、径方向よりややずらして取り付けられることが望ましい。本実施の形態では、例えば
図2中の矢符で示すように、IVUSセンサ12aは径方向に対して基端側に傾斜した方向を超音波の照射方向とし、OCTセンサ12bは径方向に対して先端側に傾斜した方向を近赤外光の照射方向として取り付けられている。
【0026】
シャフト13には、IVUSセンサ12aに接続された電気信号ケーブル(図示せず)と、OCTセンサ12bに接続された光ファイバケーブル(図示せず)とが内挿されている。プローブ11は、先端側から血管内に挿入される。センサ部12及びシャフト13は、カテーテルシース11aの内部で進退可能であり、また、周方向に回転することができる。センサ部12及びシャフト13は、シャフト13の中心軸を回転軸として回転する。画像診断装置100では、センサ部12及びシャフト13によって構成されるイメージングコアを用いることにより、血管の内側から撮影された超音波断層画像(IVUS画像)、又は、血管の内側から撮影された光干渉断層画像(OCT画像)によって血管内部の状態を測定する。
【0027】
MDU2は、コネクタ部15によってプローブ11(画像診断用カテーテル1)が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入された画像診断用カテーテル1の動作を制御する。例えばMDU2は、プローブ11に内挿されたセンサ部12及びシャフト13を一定の速度でMDU2側に向けて引っ張りながら周方向に回転させるプルバック操作を行う。センサ部12は、プルバック操作によって先端側から基端側に移動しながら回転しつつ、所定の時間間隔で連続的に血管内を走査することにより、プローブ11に略垂直な複数枚の横断層像を所定の間隔で連続的に撮影する。MDU2は、IVUSセンサ12aが受信した超音波の反射波データと、OCTセンサ12bが受信した反射光データとを画像処理装置3へ出力する。
【0028】
画像処理装置3は、MDU2を介してIVUSセンサ12aが受信した超音波の反射波データである信号データセットと、OCTセンサ12bが受信した反射光データである信号データセットとを取得する。画像処理装置3は、超音波の信号データセットから超音波ラインデータを生成し、生成した超音波ラインデータに基づいて血管の横断層を撮像した超音波断層画像(IVUS画像)を構築する。また、画像処理装置3は、反射光の信号データセットから光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光干渉断層画像(OCT画像)を構築する。ここで、IVUSセンサ12a及びOCTセンサ12bが取得する信号データセットと、信号データセットから構築される断層画像とについて説明する。
【0029】
図3はセンサ部12を挿通させた血管の断面を示す説明図であり、
図4は断層画像を説明する説明図である。まず、
図3を用いて、血管内におけるIVUSセンサ12a及びOCTセンサ12bの動作と、IVUSセンサ12a及びOCTセンサ12bによって取得される信号データセット(超音波ラインデータ及び光ラインデータ)について説明する。イメージングコアが血管内に挿通された状態で断層画像の撮像が開始されると、イメージングコアが矢符で示す方向に、シャフト13の中心軸を回転中心として回転する。このとき、IVUSセンサ12aは、各回転角度において超音波の送信及び受信を行う。ライン1,2,…512は各回転角度における超音波の送受信方向を示している。本実施の形態では、IVUSセンサ12aは、血管内において360度回動(1回転)する間に512回の超音波の送信及び受信を断続的に行う。IVUSセンサ12aは、1回の超音波の送受信により、送受信方向の1ラインのデータを取得するので、1回転の間に、回転中心から放射線状に延びる512本の超音波ラインデータを得ることができる。512本の超音波ラインデータは、回転中心の近傍では密であるが、回転中心から離れるにつれて互いに疎になっていく。そこで、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、
図4Aに示すような2次元の超音波断層画像(IVUS画像)を生成することができる。
【0030】
同様に、OCTセンサ12bも、各回転角度において測定光の送信及び受信を行う。OCTセンサ12bも血管内において360度回動する間に512回の測定光の送信及び受信を行うので、1回転の間に、回転中心から放射線状に延びる512本の光ラインデータを得ることができる。光ラインデータについても、画像処理装置3は、各ラインの空いた空間における画素を周知の補間処理によって生成することにより、
図4Aに示すIVUS画像と同様の2次元の光干渉断層画像(OCT画像)を生成することができる。すなわち、画像処理装置3は、反射光と、例えば画像処理装置3内の光源からの光を分離することで得られた参照光とを干渉させることで生成される干渉光に基づいて光ラインデータを生成し、生成した光ラインデータに基づいて血管の横断層を撮像した光干渉断層画像(OCT画像)を構築する。
【0031】
このように512本のラインデータから生成される2次元の断層画像を1フレームのIVUS画像又はOCT画像という。なお、センサ部12は血管内を移動しながら走査するため、移動範囲内において1回転した各位置で1フレームのIVUS画像又はOCT画像が取得される。即ち、移動範囲においてプローブ11の先端側から基端側への各位置で1フレームのIVUS画像又はOCT画像が取得されるので、
図4Bに示すように、移動範囲内で複数フレームのIVUS画像又はOCT画像が取得される。
【0032】
画像診断用カテーテル1は、IVUSセンサ12aによって得られるIVUS画像又はOCTセンサ12bによって得られるOCT画像と、血管造影装置102によって得られるアンギオ画像との位置関係を確認するために、X線を透過しないマーカを有する。
図2に示す例では、カテーテルシース11aの先端部、例えばガイドワイヤ挿通部14にマーカ14aが設けられており、センサ部12のシャフト13側にマーカ12cが設けられている。このように構成された画像診断用カテーテル1をX線で撮像すると、マーカ14a,12cが可視化されたアンギオ画像が得られる。マーカ14a,12cを設ける位置は一例であり、マーカ12cはセンサ部12ではなくシャフト13に設けてもよく、マーカ14aはカテーテルシース11aの先端部以外の箇所に設けてもよい。
【0033】
図5は画像処理装置3の構成例を示すブロック図である。画像処理装置3はコンピュータ(情報処理装置)であり、制御部31、主記憶部32、入出力部33、通信部34、補助記憶部35、読取部36を備える。画像処理装置3は、単一のコンピュータに限らず、複数のコンピュータにより構成されるマルチコンピュータであってよい。また、画像処理装置3は、サーバクライアントシステムや、クラウドサーバ、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。以下の説明では、画像処理装置3が単一のコンピュータであるものとして説明する。
【0034】
制御部31は、一又は複数のCPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General purpose computing on graphics processing units)、TPU(Tensor Processing Unit)等の演算処理装置を用いて構成されている。制御部31は、バスを介して画像処理装置3を構成するハードウェア各部と接続されている。
【0035】
主記憶部32は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部31が演算処理を実行するために必要なデータを一時的に記憶する。
【0036】
入出力部33は、血管内検査装置101、血管造影装置102、表示装置4、入力装置5等の外部装置を接続するインタフェースを備える。制御部31は、入出力部33を介して、血管内検査装置101からIVUS画像及びOCT画像を取得し、血管造影装置102からアンギオ画像を取得する。また、制御部31は、入出力部33を介して、IVUS画像、OCT画像、又はアンギオ画像の医用画像信号を表示装置4へ出力することによって、表示装置4に医用画像を表示する。更に、制御部31は、入出力部33を介して、入力装置5に入力された情報を受け付ける。
【0037】
通信部34は、例えば、4G、5G、WiFi等の通信規格に準拠した通信インタフェースを備える。画像処理装置3は、通信部34を介して、インターネット等の外部ネットワークに接続されるクラウドサーバ等の外部サーバと通信を行う。制御部31は、通信部34を介して、外部サーバにアクセスし、当該外部サーバのストレージに記憶されている各種のデータを参照するものであってもよい。また、制御部31は、当該外部サーバと例えばプロセス間通信を行うことにより、本実施の形態における処理を協働して行うものであってもよい。
【0038】
補助記憶部35は、ハードディスク、SSD(Solid State Drive)等の記憶装置である。補助記憶部35には、制御部31が実行するコンピュータプログラムや制御部31の処理に必要な各種データが記憶される。なお、補助記憶部35は画像処理装置3に接続された外部記憶装置であってもよい。制御部31が実行するコンピュータプログラムは、画像処理装置3の製造段階において補助記憶部35に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置3が通信にて取得して補助記憶部35に記憶させてもよい。コンピュータプログラムは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体RMに読み出し可能に記録された態様であってもよく、読取部36が記録媒体RMから読み出して補助記憶部35に記憶させてもよい。補助記憶部35に記憶されるコンピュータプログラムの一例は、血管の病変候補について虚血性心疾患の発症リスクを予測する処理をコンピュータに実行させるための発症リスク予測プログラムPGである。
【0039】
また、補助記憶部35には、各種の学習モデルが記憶されてもよい。学習モデルはその定義情報によって記述される。学習モデルの定義情報は、学習モデルを構成する層の情報、各層を構成するノードの情報、ノード間の重み係数及びバイアスなどの内部パラメータを含む。内部パラメータは、所定の学習アルゴリズムによって学習される。補助記憶部35には、学習済みの内部パラメータを含む学習モデルの定義情報が記憶される。補助記憶部35に記憶される学習モデルの一例は、病変候補の形態情報を入力した場合、虚血性心疾患の発症リスクに係る情報を出力するよう学習される学習モデルMD1である。学習モデルMD1の構成については後に詳述する。
【0040】
図6は画像処理装置3が実行する処理の概要を説明する説明図である。画像処理装置3の制御部31は、血管における病変候補を特定する。血管(冠動脈)の壁内に、プラークと呼ばれる脂質に富んだ構造物が沈着すると、狭心症や心筋梗塞といった虚血性心疾患が発症する虞がある。血管の断面積に対するプラーク面積の比率(プラークバーデンという)は、血管における病変候補を特定するための指標の1つとなる。制御部31は、血管内検査装置101からIVUS画像を取得した際、プラークバーデンを算出することによって病変候補を特定することができる。具体的には、制御部31は、IVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えた場合、そのプラークは病変候補であると特定すればよい。
図6の例は、画像診断用カテーテル1のセンサ部12をプルバック操作によって先端側(近位側)から基端側(遠位側)に移動させながらIVUS画像を取得した結果、近位側及び遠位側の合計2箇所で病変候補が特定された様子を示している。
【0041】
病変候補の特定手法は、プラークバーデンを算出する手法に限定されない。例えば、制御部31は、IVUS画像からプラーク領域、石灰化領域、血栓領域等の領域を識別するよう学習される学習モデルを用いて、病変候補を特定してもよい。学習モデルとして、CNN(Convolutional neural network)、U-net、SegNet、ViT(Vision Transformer)、SSD(Single Shot Detector)、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木等により構成される物体検出用の学習モデルやセグメンテーション用の学習モデルを用いることができる。また、制御部31は、IVUS画像に代えて、OCT画像又はアンギオ画像から病変候補を特定してもよい。
【0042】
制御部31は、特定した病変候補について形態情報を抽出する。形態情報は、病変の進行度合いに応じて変化し得る体積、面積、長さ、厚み等の形態的な情報を表す。IVUS画像は、得られる画像の解像度という点ではOCT画像よりは低いものの、OCT画像より深い血管組織の像が得られる。制御部31は、IVUS画像から、プラーク(脂質コア)の体積や面積、新生血管の長さや太さなどの形態に係る特徴量(第1特徴量)を形態情報として抽出する。一方、OCT画像では、血管内腔面から比較的浅い組織までの像しか得られないが、血管の内腔面に対して高い解像度の画像が得られる。制御部31は、OCT画像から、線維性被膜の厚み、マクロファージが浸潤している面積などの形態に係る特徴量(第2特徴量)を形態情報として抽出することができる。
【0043】
制御部31は、抽出した形態情報を学習モデルMD1に入力し、学習モデルMD1による演算を実行することによって、虚血性心疾患の発症リスクを推定する。なお、病変候補の特定において、複数の病変候補が特定された場合、形態情報を抽出する処理と、学習モデルMD1を用いて虚血性心疾患の発症リスクを推定する処理とをそれぞれの病変候補について行えばよい。
【0044】
図7は実施の形態1における学習モデルMD1の構成例を示す模式図である。学習モデルMD1は、例えば、入力層LY11、中間層LY12a,12b、及び出力層LY13を備える。
図7の例では、入力層LY11を1つとしているが、2つ以上の入力層を備える構成であってもよい。また、
図7の例では、2つの中間層LY12a,12bを記載しているが、中間層の数は2つに限定されず、3つ以上であってもよい。学習モデルMD1の一例は、DNN(Deep Neural Network)である。代替的に、ViT、SVM、XGBoost(eXtreme Gradient Boosting)、LightGBM(Light Gradient Boosting Machine)、などが用いられてもよい。
【0045】
学習モデルMD1を構成する各層は、1つ又は複数のノードを備える。各層のノードは、前後の層に設けられたノードと一方向に所望の重みおよびバイアスで結合されている。入力層LY11のノードの数と同数の成分を有するベクトルデータが学習モデルMD1の入力データとして与えられる。実施の形態1における入力データは、IVUS画像及びOCT画像から抽出した形態情報である。
【0046】
入力層LY11の各ノードに与えられたデータは、最初の中間層LY12aに与えられる。その中間層LY12aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY12bに与えられ、以下同様にして出力層LY13の出力が求められるまで次々と後の層に伝達される。
【0047】
出力層LY13は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY13による出力形態は任意である。例えば、出力層LY13にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD1の出力層LY13から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0048】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD1を構築し、出力層LY13から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD1を構築し、出力層LY13から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY13に設けられるノードは1つであってもよい。
【0049】
学習モデルMD1は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補から抽出した形態情報と、その病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報とを含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD1の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD1が補助記憶部35に記憶される。
【0050】
なお、本実施の形態では、学習モデルMD1から虚血性心疾患(IHD : Ischemic Heart Disease)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS : Acute coronary syndrome)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI : Acute Myocardial Infarction)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0051】
また、本実施の形態では、学習モデルMD1が補助記憶部35に記憶されており、画像処理装置3の制御部31にて学習モデルMD1による演算を実行する構成としたが、学習モデルMD1を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD1による演算を外部サーバに実行させる構成としてもよい。この場合、画像処理装置3の制御部31は、IVUS画像及びOCT画像から抽出した形態情報を通信部34より外部サーバへ送信し、学習モデルMD1による演算結果を通信により取得して、虚血性心疾患の発症リスクを推定すればよい。
【0052】
また、本実施の形態では、あるタイミングで撮像されたIVUS画像及びOCT画像から抽出した形態情報を基に、そのタイミングにおける発症リスクを推定する構成としたが、複数のタイミングで撮像されたIVUS画像及びOCT画像から、各タイミングでの形態情報を抽出し、それらを学習モデルMD1に入力することによって、発症リスクの時系列推移を導出してもよい。時系列推移を導出する学習モデルとして、seq2seq(sequence to sequence)などのリカレントニューラルネットワーク、XGBoost、LightGBM等を利用することができる。時系列推移を導出する学習モデルは、複数のタイミングで撮像されたIVUS画像及びOCT画像と、それらのIVUS画像及びOCT画像において虚血性心疾患が発症しているか否かを示す正解情報とを含むデータセットを訓練データに用いて学習することにより生成される。
【0053】
以下、画像処理装置3の動作について説明する。
図8は実施の形態1における画像処理装置3が実行する処理の手順を説明するフローチャートである。画像処理装置3の制御部31は、学習モデルMD1の学習を終えた後の運用フェーズにおいて、補助記憶部35に記憶された発症リスク予測プログラムPGを実行することにより、以下の処理を行う。制御部31は、入出力部33を通じて、血管内検査装置101により撮像されるIVUS画像及びOCT画像を取得する(ステップS101)。本実施の形態では、プローブ11(画像診断用カテーテル1)をプルバック操作によって先端側(近位側)から基端側(遠位側)に移動させながら、所定の時間間隔で連続的に血管内を撮像してIVUS画像及びOCT画像を生成する。制御部31は、フレーム順次にIVUS画像及びOCT画像を取得してもよく、複数のフレームからなるIVUS画像及びOCT画像が血管内検査装置101で生成された後、生成されたIVUS画像及びOCT画像を取得してもよい。
【0054】
また、制御部31は、虚血性心疾患の発症リスクを推定するために、発症前の患者について撮像されたIVUS画像及びOCT画像を取得してもよく、虚血性心疾患の再発症リスクを推定するために、PCI(経皮的冠動脈インターベンション)などの処置後、経過観察のために撮像されたIVUS画像及びOCT画像を取得してもよい。また、発症リスクの時系列推移を導出するために、複数のタイミングで撮像されたIVUS画像及びOCT画像を取得してもよい。更に、制御部31は、IVUS画像及びOCT画像に加え、血管造影装置102からアンギオ画像を取得してもよい。
【0055】
制御部31は、患者の血管について病変候補を特定する(ステップS102)。制御部31は、例えば、IVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えたか否かを判断することによって病変候補を特定する。代替的に、制御部31は、IVUS画像、OCT画像、又はアンギオ画像から、石灰化領域、血栓領域等の領域を識別するよう学習された学習モデルを用いて、病変候補を特定してもよい。ステップS102では、1又は複数の病変候補を特定すればよい。
【0056】
制御部31は、特定した病変候補について形態情報を抽出する(ステップS103)。制御部31は、IVUS画像から、減衰性プラーク(脂質コア)、リモデリング・インデックス、石灰化プラーク、新生血管、プラークボリュームなどの病変候補の形態に係る特徴量(第1特徴量)を抽出する。ここで、リモデリング・インデックスは、病変部の血管断面積/((近位対象部位の血管断面積+遠位対象部位の血管断面積)/2)により算出される指標である。この指標は、プラークボリュームの増加に伴い、血管外径も膨らんでいる病変はリスクが高いことに着目した指標である。なお、近位対象部位は病変部より近位側の比較的正常な部位を表し、遠位対象部位は病変部より遠位側の比較的正常な部位を表す。また、制御部31は、OCT画像から、線維性被膜の厚み、新生血管、石灰化プラーク、脂質性プラーク、マクロファージの浸潤などの病変候補の形態に係る特徴量(第2特徴量)を抽出する。
【0057】
制御部31は、抽出した形態情報を学習モデルMD1に入力し、学習モデルMD1による演算を実行する(ステップS104)。制御部31は、学習モデルMD1の入力層LY11に設けられたノードに第1特徴量及び第2特徴量を与え、学習済みの内部パラメータ(重み係数及びバイアス)に従って中間層LY12における演算を順次実行する。学習モデルMD1による演算結果は出力層LY13の各ノードから出力される。
【0058】
制御部31は、学習モデルMD1の出力層LY13から出力される情報を参照し、虚血性心疾患の発症リスクを推定する(ステップS105)。出力層LY13の各ノードからは、例えば発症リスクの確率に関する情報が出力されるので、制御部31は、確率が最も高いノードを選択することによって、発症リスクを推定することができる。制御部31は、複数のタイミングで撮像されたIVUS画像及びOCT画像から形態情報を抽出し、各タイミングの形態情報を学習モデルMD1に入力して演算を行うことにより、発症リスクの時系列推移を導出してもよい。
【0059】
制御部31は、特定した病変候補が他に存在するか否かを判断する(ステップS106)。特定した病変候補が他に存在すると判断した場合(S106:YES)、制御部31は、処理をステップS103へ戻す。
【0060】
特定した病変候補が他に存在しないと判断した場合(S106:NO)、制御部31は、ステップS105で推定した発症リスクの情報を出力する(ステップS107)。
【0061】
なお、
図8のフローチャートでは、病変候補毎にステップS103~S105の処理を実行し、発症リスクを推定する手順としたが、ステップS102で複数の病変候補を特定した場合、全ての病変候補に対してまとめてステップS103~S105の処理を実行してもよい。この場合、病変候補毎に処理を循環させる必要がなくなるので、処理速度の向上が見込まれる。
【0062】
図9及び
図10は発症リスクの出力例を示す模式図である。制御部31は、
図9に示すように、病変候補毎の発症リスクの高低を示すグラフを生成し、生成したグラフを表示装置4に表示させる。また、制御部31は、
図10に示すように、病変候補毎の発症リスクの時系列推移を示すグラフを生成し、生成したグラフを表示装置4に表示させてもよい。また、
図9及び
図10では、「病変候補1」~「病変候補3」のそれぞれについて発症リスクの高低をグラフにより示しているが、各病変候補が血管のどの部位に該当するのかを明示するために、血管の縦断層画像若しくはアンギオ画像にマーカを付してグラフと共に表示してもよい。制御部31は、表示装置4にグラフを表示する構成に代えて、通信部34を通じて、発症リスクの情報(数値情報若しくはグラフ)を外部端末や外部サーバに通知してもよい。
【0063】
以上のように、実施の形態1では、IVUS画像及びOCT画像の双方から形態情報を抽出し、抽出した形態情報を基に虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0064】
特に、心筋梗塞は、責任病変に起因して再発症する可能性よりも、非責任病変に起因して再発症する可能性の方が高いことが知られている。責任病変は、虚血性心疾患の発症に起因した病変であり、必要に応じてPCIなどの処置が施される。一方、非責任病変は、虚血性心疾患の発症に起因しない病変であり、PCIなどの処置が施されることは少ない。上記の手順により、PCIなどの処置後に取得したIVUS画像及びOCT画像から、虚血性心疾患の発症リスクが高いと推定した場合(すなわち、再発症するリスクが高いと推定した場合)、該当する病変候補に対してPCIなどの処置を施すことにより、再発症のリスクを低減させることができる。
【0065】
(実施の形態2)
実施の形態2では、IVUS画像及びOCT画像から直接的に虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0066】
図11は実施の形態2における学習モデルMD2の構成例を示す模式図である。学習モデルMD2は、例えば、入力層LY21、中間層LY22、及び出力層LY23を備える。学習モデルMD2の一例は、CNNによる学習モデルである。代替的に、学習モデルMD2は、R-CNN(Region-based CNN)、YOLO(You Only Look Once)、SSD、SVM、決定木等に基づく学習モデルであってもよい。
【0067】
入力層LY21には、IVUS画像及びOCT画像が入力される。入力層LY21に入力されたIVUS画像及びOCT画像のデータは中間層LY22に与えられる。
【0068】
中間層LY22は、畳み込み層、プーリング層、及び全結合層等により構成される。畳み込み層とプーリング層とは交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって、入力層LY21より入力されるIVUS画像及びOCT画像の特徴を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを1つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。
【0069】
出力層LY23は、1つ又は複数のノードを備える。出力層LY23による出力形態は任意である。例えば、出力層LY23は、中間層LY22の全結合層から入力される特徴変数に基づき、虚血性心疾患の発症リスク毎に確率を計算し、各ノードから出力する。この場合、出力層LY23にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD2の出力層LY23から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0070】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD2を構築し、出力層LY23から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD2を構築し、出力層LY23から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY23に設けられるノードは1つであってもよい。
【0071】
実施の形態2では、画像処理装置3の制御部31は、血管内検査装置101により撮像されるIVUS画像及びOCT画像を取得した場合、取得したIVUS画像及びOCT画像を学習モデルMD2に入力し、学習モデルMD2による演算を実行する。制御部31は、学習モデルMD2の出力層LY23から出力される情報を参照することによって、虚血性心疾患の発症リスクを推定する。
【0072】
以上のように、実施の形態2では、IVUS画像及びOCT画像の双方を学習モデルMD2に入力して、虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0073】
図11の構成例では、IVUS画像及びOCT画像を入力層LY21に入力し、中間層LY22にて特徴変数を導出する構成としたが、学習モデルMD2は、IVUS画像が入力される第1の入力層、第1の入力層に入力されたIVUS画像から特徴変数を導出する第1の中間層、並びに、OCT画像が入力される第2の入力層、第2の入力層に入力されたOCT画像から特徴変数を導出する第2の中間層を備える構成であってもよい。この場合、出力層において、第1の中間層から出力される特徴変数と、第2の中間層から出力される特徴変数とに基づき、最終的な確率を算出すればよい。
【0074】
(実施の形態3)
実施の形態3では、病変候補に加わる応力の値を算出し、算出した応力の値に基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0075】
図12は実施の形態3における処理の概要を説明する説明図である。画像処理装置3の制御部31は、血管における病変候補を特定する。病変候補の特定手法は実施の形態1と同様であり、制御部31は、例えばIVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えた場合、そのプラークは病変候補であると特定すればよい。また、制御部31は、物体検出用の学習モデルやセグメンテーション用の学習モデルを用いて病変候補を特定してもよく、OCT画像又はアンギオ画像から病変候補を特定してもよい。
【0076】
制御部31は、特定した病変候補に加わる応力の値を算出する。例えば、血管の3次元形状モデルを利用したシミュレーションにより、病変候補に加わる剪断応力や垂直応力を算出することができる。3次元形状モデルは、断層CT画像やMRI画像を再構成したボクセルデータに基づき生成することが可能である。血管の壁面に加わる剪断応力は、例えば数1を用いて算出される。
【0077】
【0078】
ここで、τw は病変候補(血管の壁面)に加わる剪断応力、rは血管の半径、dp/dxは血管の長さ方向における圧力勾配を表す。数1は、血管の摩擦損失によって生じる圧力損失の作用力と剪断応力による摩擦力とがつり合うことに基づき導かれる式である。制御部31は、例えば数1を用いて病変候補に加わる剪断応力の最大値を算出してもよく、平均値を算出してもよい。
【0079】
剪断応力は、血管の構造(形状)及び血流の状態に応じて変化し得る。そこで、制御部31は、血管の3次元形状モデルを用いて血流をシミュレートし、血管の損失係数を導出することによって、病変候補に加わる剪断応力を算出する。同様に、制御部31は、血管の3次元形状モデルを用いて血流をシミュレートすることにより、病変候補に加わる垂直応力を算出することができる。血管の壁面に加わる垂直応力は、例えば数2を用いて算出される。
【0080】
【0081】
ここで、σは病変候補(血管の壁面)に加わる垂直応力、pは圧力、μは粘性係数、vは血流の速度、xは流体要素の変位を表す。制御部31は、例えば数2を用いて病変候補に加わる垂直応力の最大値を算出してもよく、平均値を算出してもよい。
【0082】
なお、病変候補に加わる剪断応力及び垂直応力に算出した手法は、上述したものに限定されない。例えば、「Intravascular Ultrasound-Derived Virtual Fractional Flow Reserve for the Assessment of Myocardial Ischemia, Fumiyasu Seike et. al, Circ J 2018; 82: 815-823」や「Intracoronary Optical Coherence Tomography-Derived Virtual Fractional Flow Reserve for the Assessment of Coronary Artery Disease, Fumiyasu Seike el. al, Am J Cardiol. 2017 Nov 15; 120(10): 1772-1779」等の論文に開示された手法を用いてもよい。また、血管の3次元形状モデルを用いずに、IVUS画像、OCT画像、アンギオ画像から、血管の形状及び血流を算出し、算出した形状及び血流を用いて、応力の値(疑似的な値)を算出してもよい。
【0083】
制御部31は、算出した応力値を学習モデルMD3に入力し、学習モデルMD3による演算を実行することによって、虚血性心疾患の発症リスクを推定する。なお、病変候補の特定において、複数の病変候補が特定された場合、応力値を算出する処理と、学習モデルMD3を用いて虚血性心疾患の発症リスクを推定する処理とをそれぞれの病変候補について行えばよい。
【0084】
図13は実施の形態3における学習モデルMD3の構成例を示す模式図である。学習モデルMD3の構成は、実施の形態1と同様であり、入力層LY31、中間層LY32a,32b、及び出力層LY33を備える。学習モデルMD3の一例は、DNNである。代替的に、SVM、XGBoost、LightGBMなどが用いられる。
【0085】
実施の形態3における入力データは、病変候補に加わる応力の値である。剪断応力及び垂直応力の双方を入力層LY31に入力してもよく、何れか一方の値のみを入力層LY31に入力してもよい。
【0086】
入力層LY31の各ノードに与えられたデータは、最初の中間層LY32aに与えられる。その中間層LY32aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY32bに与えられ、以下同様にして出力層LY33の出力が求められるまで次々と後の層に伝達される。
【0087】
出力層LY33は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY33による出力形態は任意である。例えば、出力層LY33にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD3の出力層LY33から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0088】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD3を構築し、出力層LY33から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD3を構築し、出力層LY33から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY33に設けられるノードは1つであってもよい。
【0089】
学習モデルMD3は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補について算出した応力の値と、その病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報とを含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD3の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD3が補助記憶部35に記憶される。
【0090】
なお、本実施の形態では、学習モデルMD3から虚血性心疾患(IHD)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0091】
また、学習モデルMD3を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD3による演算を外部サーバに実行させる構成としてもよい。
【0092】
更に、制御部31は、複数のタイミングで算出した応力の値を学習モデルMD3に入力することによって、発症リスクの時系列推移を導出してもよい。
【0093】
図14は実施の形態3における画像処理装置3が実行する処理の手順を説明するフローチャートである。画像処理装置3の制御部31は、補助記憶部35に記憶された発症リスク予測プログラムPGを実行することにより、以下の処理を行う。制御部31は、入出力部33を通じて、血管内検査装置101により撮像されるIVUS画像及びOCT画像を取得する(ステップS301)。
【0094】
制御部31は、患者の血管について病変候補を特定する(ステップS302)。制御部31は、例えば、IVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えたか否かを判断することによって病変候補を特定する。代替的に、制御部31は、IVUS画像、OCT画像、又はアンギオ画像から、石灰化領域、血栓領域等の領域を識別するよう学習された学習モデルを用いて、病変候補を特定してもよい。ステップS302では、1又は複数の病変候補を特定すればよい。
【0095】
制御部31は、特定した病変候補に加わる応力の値を算出する(ステップS303)。制御部31は、血管の3次元形状モデルを用いて、シミュレーションを行うことにより、病変候補に加わる応力の値を算出することができる。具体的には、制御部31は、数1により剪断応力を算出し、数2により垂直応力を算出すればよい。
【0096】
制御部31は、算出した応力の値を学習モデルMD3に入力し、学習モデルMD3による演算を実行する(ステップS304)。制御部31は、学習モデルMD3の入力層LY31に設けられたノードに剪断応力及び垂直応力の値を与え、学習済みの内部パラメータ(重み係数及びバイアス)に従って中間層LY32における演算を順次実行する。学習モデルMD3による演算結果は出力層LY33の各ノードから出力される。
【0097】
制御部31は、学習モデルMD3の出力層LY33から出力される情報を参照し、虚血性心疾患の発症リスクを推定する(ステップS305)。出力層LY33の各ノードからは、例えば発症リスクの確率に関する情報が出力されるので、制御部31は、確率が最も高いノードを選択することによって、発症リスクを推定することができる。制御部31は、複数のタイミングで算出した応力の値を学習モデルMD3に入力して演算を行うことにより、発症リスクの時系列推移を導出してもよい。
【0098】
制御部31は、特定した病変候補が他に存在するか否かを判断する(ステップS306)。特定した病変候補が他に存在すると判断した場合(S306:YES)、制御部31は、処理をステップS303へ戻す。
【0099】
特定した病変候補が他に存在しないと判断した場合(S306:NO)、制御部31は、ステップS305で推定した発症リスクの情報を出力する(ステップS307)。出力手法は実施の形態1と同様であり、例えば
図9に示すようは、病変候補毎の発症リスクの高低を示すグラフを生成し表示装置4に表示させてもよく、
図10に示すような病変候補毎の発症リスクの時系列推移を示すグラフを生成し表示装置4に表示させてもよい。代替的に、制御部31は、通信部34を通じて、発症リスクの情報を外部端末や外部サーバに通知してもよい。
【0100】
以上のように、実施の形態3では、病変候補に加わる応力の値を算出し、算出したした応力の値を基に虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0101】
(実施の形態4)
実施の形態4では、病変候補から抽出した形態情報と、病変候補について算出した応力の値とに基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0102】
図15は実施の形態4における学習モデルMD4の構成例を示す模式図である。学習モデルMD4の構成は、実施の形態1と同様であり、入力層LY41、中間層LY42a,42b、及び出力層LY43を備える。学習モデルMD4の一例は、DNNである。代替的に、SVM、XGBoost、LightGBMなどが用いられる。
【0103】
実施の形態4における入力データは、病変候補から抽出した形態情報、及び病変候補に加わる応力の値である。形態情報の抽出手法は実施の形態1と同様であり、制御部31は、IVUS画像から、減衰性プラーク(脂質コア)、リモデリング・インデックス、石灰化プラーク、新生血管、プラークボリュームなどの形態に係る特徴量(第1特徴量)を抽出し、OCT画像から、線維性被膜の厚み、新生血管、石灰化プラーク、脂質性プラーク、マクロファージの浸潤などの形態に係る特徴量(第2特徴量)を抽出することができる。応力の算出手法は実施の形態1と同様であり、例えば3次元形状モデルを用いたシミュレーションによって、病変候補における応力の値を算出することができる。本実施の形態では、IVUS画像及びOCT画像から抽出した形態情報、及び病変候補について算出した応力の値(剪断応力及び垂直応力の少なくとも一方)を学習モデルMD4の入力層LY41に入力する。
【0104】
入力層LY41の各ノードに与えられたデータは、最初の中間層LY42aに与えられる。その中間層LY42aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY42bに与えられ、以下同様にして出力層LY43の出力が求められるまで次々と後の層に伝達される。
【0105】
出力層LY43は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY43による出力形態は任意である。例えば、出力層LY43にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD4の出力層LY43から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0106】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD4を構築し、出力層LY43から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD4を構築し、出力層LY43から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY43に設けられるノードは1つであってもよい。
【0107】
学習モデルMD4は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補から抽出した形態情報、病変候補について算出した応力の値、その病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報を含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD4の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD4が補助記憶部35に記憶される。
【0108】
画像処理装置3の制御部31は、IVUS画像及びOCT画像を取得した場合、それらの画像から病変候補の形態情報を抽出する。また、制御部31は、血管の3次元形状モデルを用いて、病変候補における応力の値を算出する。制御部31は、形態情報及び応力の値を学習モデルMD4に入力して、学習モデルMD4による演算を実行することによって、虚血性心疾患の発症リスクを推定する。
【0109】
なお、本実施の形態では、学習モデルMD4から虚血性心疾患(IHD)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0110】
また、学習モデルMD4を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD4による演算を外部サーバに実行させる構成としてもよい。
【0111】
更に、制御部31は、複数のタイミングで抽出した形態情報や応力の値を学習モデルMD4に入力することによって、発症リスクの時系列推移を導出してもよい。
【0112】
(実施の形態5)
実施の形態5では、病変候補について算出した応力の値と、血管の断層画像とに基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0113】
図16は実施の形態5における学習モデルMD5の構成例を示す模式図である。学習モデルMD5は、例えば、入力層LY51、中間層LY52、及び出力層LY53を備える。学習モデルMD5の一例は、CNNによる学習モデルである。代替的に、学習モデルMD5は、R-CNN、YOLO、SSD、SVM、決定木等に基づく学習モデルであってもよい。
【0114】
入力層LY51には、病変候補について算出した応力の値と、血管の断層画像とが入力される。応力の算出手法は実施の形態1と同様であり、例えば3次元形状モデルを用いたシミュレーションによって、病変候補における応力の値を算出することができる。断層画像は、IVUS画像及びOCT画像である。入力層LY51に入力された応力値及び断層画像のデータは中間層LY52に与えられる。
【0115】
中間層LY52は、畳み込み層、プーリング層、及び全結合層等により構成される。畳み込み層とプーリング層とは交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって、入力層LY51より入力される応力値及び断層画像の特徴を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを1つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。中間層LY52は、応力値から特徴変数を算出するための1又は複数の隠れ層を別途備える構成であってもよい。この場合、応力値から算出した特徴変数と、断層画像から算出した特徴変数とを全結合層にて結合して最終の特徴変数を導出すればよい。
【0116】
出力層LY53は、1つ又は複数のノードを備える。出力層LY53による出力形態は任意である。例えば、出力層LY53は、中間層LY52の全結合層から入力される特徴変数に基づき、虚血性心疾患の発症リスク毎に確率を計算し、各ノードから出力する。例えば、出力層LY53にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD5の出力層LY53から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0117】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD5を構築し、出力層LY53から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD5を構築し、出力層LY53から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY53に設けられるノードは1つであってもよい。
【0118】
実施の形態5では、画像処理装置3の制御部31は、血管内検査装置101により撮像される断層画像を取得した場合、断層画像等から特定される病変候補について応力値を算出し、応力値及び断層画像を学習モデルMD5に入力し、学習モデルMD5による演算を実行する。制御部31は、学習モデルMD5の出力層LY53から出力される情報を参照することによって、虚血性心疾患の発症リスクを推定する。
【0119】
以上のように、実施の形態5では、病変候補の応力値及び断層画像を学習モデルMD5に入力して、虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0120】
(実施の形態6)
実施の形態6では、病変候補について算出した応力の値と、血管の3次元形状モデルとに基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0121】
図17は実施の形態6における学習モデルMD6の構成例を示す模式図である。学習モデルMD6は、例えば、入力層LY61、中間層LY62、及び出力層LY63を備える。学習モデルMD5の一例は、CNNによる学習モデルである。代替的に、学習モデルMD6は、R-CNN、YOLO、SSD、SVM、決定木等に基づく学習モデルであってもよい。
【0122】
入力層LY61には、病変候補について算出した応力の値と、血管の3次元形状モデルとが入力される。応力の算出手法は実施の形態1と同様であり、例えば3次元形状モデルを用いたシミュレーションによって、病変候補における応力の値を算出することができる。3次元形状モデルは、断層CT画像やMRI画像を再構成したボクセルデータに基づき生成されるモデルである。入力層LY61に入力された応力値及び3次元形状モデルのデータは中間層LY62に与えられる。
【0123】
中間層LY62は、畳み込み層、プーリング層、及び全結合層等により構成される。畳み込み層とプーリング層とは交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって、入力層LY61より入力される応力値及び断層画像の特徴を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを1つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。中間層LY62は、応力値から特徴変数を算出するための1又は複数の隠れ層を別途備える構成であってもよい。この場合、応力値から算出した特徴変数と、断層画像から算出した特徴変数とを全結合層にて結合して最終の特徴変数を導出すればよい。
【0124】
出力層LY63は、1つ又は複数のノードを備える。出力層LY63による出力形態は任意である。例えば、出力層LY63は、中間層LY62の全結合層から入力される特徴変数に基づき、虚血性心疾患の発症リスク毎に確率を計算し、各ノードから出力する。この場合、出力層LY63にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD2の出力層LY23から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0125】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD6を構築し、出力層LY63から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD6を構築し、出力層LY63から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY63に設けられるノードは1つであってもよい。
【0126】
実施の形態6では、画像処理装置3の制御部31は、血管の病変候補について応力値を算出し、応力値及び血管の3次元形状モデルを学習モデルMD6に入力し、学習モデルMD6による演算を実行する。制御部31は、学習モデルMD6の出力層LY63から出力される情報を参照することによって、虚血性心疾患の発症リスクを推定する。
【0127】
以上のように、実施の形態6では、病変候補の応力値及び3次元形状モデルを学習モデルMD6に入力して、虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0128】
(実施の形態7)
実施の形態7では、病変候補の形態情報と血液の検査情報とに基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0129】
図18は実施の形態7における処理の概要を説明する説明図である。画像処理装置3の制御部31は、血管における病変候補を特定する。病変候補の特定手法は実施の形態1と同様であり、制御部31は、例えばIVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えた場合、そのプラークは病変候補であると特定すればよい。また、制御部31は、物体検出用の学習モデルやセグメンテーション用の学習モデルを用いて病変候補を特定してもよく、OCT画像又はアンギオ画像から病変候補を特定してもよい。
【0130】
制御部31は、特定した病変候補について形態情報を抽出する。形態情報の抽出手法は実施の形態1と同様であり、制御部31は、IVUS画像から、減衰性プラーク(脂質コア)、リモデリング・インデックス、石灰化プラーク、新生血管、プラークボリュームなどの形態に係る特徴量(第1特徴量)を抽出し、OCT画像から、線維性被膜の厚み、新生血管、石灰化プラーク、脂質性プラーク、マクロファージの浸潤などの形態に係る特徴量(第2特徴量)を抽出する。
【0131】
実施の形態7では、更に、血液の検査情報を使用する。検査情報の一例は、CRP(C-reactive protein)の値である。CRPは、体内で炎症が起きたり組織細胞に障害が起こると増加するタンパク質である。代替的に、HDLコレステロール、LDLコレステロール、中性脂肪、Non-HDLコレステロール等の値を用いてもよい。検査情報は別途測定され、通信部34又は入力装置5を用いて画像処理装置3に入力される。
【0132】
制御部31は、抽出した形態情報と、取得した検査情報とを学習モデルMD7に入力し、学習モデルMD7による演算を実行することによって、虚血性心疾患の発症リスクを推定する。なお、病変候補の特定において、複数の病変候補が特定された場合、形態情報を抽出する処理と、学習モデルMD7を用いて虚血性心疾患の発症リスクを推定する処理とをそれぞれの病変候補について行えばよい。
【0133】
図19は実施の形態7における学習モデルMD7の構成例を示す模式図である。学習モデルMD7の構成は、実施の形態1と同様であり、入力層LY71、中間層LY72a,72b、及び出力層LY73を備える。学習モデルMD7の一例は、DNNである。代替的に、SVM、XGBoost、LightGBMなどが用いられる。
【0134】
実施の形態7における入力データは、病変候補の形態情報及び血液の検査情報である。入力層LY71の各ノードに与えられたデータは、最初の中間層LY72aに与えられる。その中間層LY72aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY72bに与えられ、以下同様にして出力層LY73の出力が求められるまで次々と後の層に伝達される。
【0135】
出力層LY73は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY73による出力形態は任意である。例えば、出力層LY73にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD7の出力層LY73から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0136】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD7を構築し、出力層LY73から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD7を構築し、出力層LY73から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY73に設けられるノードは1つであってもよい。
【0137】
学習モデルMD7は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補について抽出した形態情報、血液の検査情報、病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報とを含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD7の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD7が補助記憶部35に記憶される。
【0138】
なお、本実施の形態では、学習モデルMD7から虚血性心疾患(IHD)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0139】
また、学習モデルMD7を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD7による演算を外部サーバに実行させる構成としてもよい。
【0140】
更に、制御部31は、複数のタイミングで算出した応力の値を学習モデルMD7に入力することによって、発症リスクの時系列推移を導出してもよい。
【0141】
図20は実施の形態7における画像処理装置3が実行する処理の手順を説明するフローチャートである。画像処理装置3の制御部31は、補助記憶部35に記憶された発症リスク予測プログラムPGを実行することにより、以下の処理を行う。制御部31は、事前に計測された血液の検査情報を取得する(ステップS700)。通信部34を介した通信により外部機器より検査情報を取得してもよく、入力装置5を利用した手入力であってもよい。
【0142】
制御部31は、入出力部33を通じて、血管内検査装置101により撮像されるIVUS画像及びOCT画像を取得する(ステップS701)。
【0143】
制御部31は、患者の血管について病変候補を特定する(ステップS702)。制御部31は、例えば、IVUS画像からプラークバーデンを算出し、算出したプラークバーデンが予め設定した閾値(例えば50%)を超えたか否かを判断することによって病変候補を特定する。代替的に、制御部31は、IVUS画像、OCT画像、又はアンギオ画像から、石灰化領域、血栓領域等の領域を識別するよう学習された学習モデルを用いて、病変候補を特定してもよい。ステップS702では、1又は複数の病変候補を特定すればよい。
【0144】
制御部31は、特定した病変候補における形態情報を抽出する(ステップS703)。形態情報の抽出手法は、実施の形態1と同様であり、IVUS画像からは、減衰性プラーク(脂質コア)、リモデリング・インデックス、石灰化プラーク、新生血管、プラークボリュームなどの形態に係る特徴量(第1特徴量)が抽出され、OCT画像からは、線維性被膜の厚み、新生血管、石灰化プラーク、脂質性プラーク、マクロファージの浸潤などの形態に係る特徴量(第2特徴量)が抽出される。
【0145】
制御部31は、抽出した形態情報と取得した血液の検査情報とを学習モデルMD7に入力し、学習モデルMD7による演算を実行する(ステップS704)。制御部31は、学習モデルMD7の入力層LY71に設けられたノードに形態情報及び検査情報を与え、学習済みの内部パラメータ(重み係数及びバイアス)に従って中間層LY72における演算を順次実行する。学習モデルMD7による演算結果は出力層LY73の各ノードから出力される。
【0146】
制御部31は、学習モデルMD7の出力層LY73から出力される情報を参照し、虚血性心疾患の発症リスクを推定する(ステップS705)。出力層LY73の各ノードからは、例えば発症リスクの確率に関する情報が出力されるので、制御部31は、確率が最も高いノードを選択することによって、発症リスクを推定することができる。制御部31は、複数のタイミングで抽出した形態情報と、事前に取得した検査情報とを学習モデルMD7に入力して演算を行うことにより、発症リスクの時系列推移を導出してもよい。
【0147】
制御部31は、特定した病変候補が他に存在するか否かを判断する(ステップS706)。特定した病変候補が他に存在すると判断した場合(S706:YES)、制御部31は、処理をステップS703へ戻す。
【0148】
特定した病変候補が他に存在しないと判断した場合(S706:NO)、制御部31は、ステップS705で推定した発症リスクの情報を出力する(ステップS707)。出力手法は実施の形態1と同様であり、例えば
図9に示すようは、病変候補毎の発症リスクの高低を示すグラフを生成し表示装置4に表示させてもよく、
図10に示すような病変候補毎の発症リスクの時系列推移を示すグラフを生成し表示装置4に表示させてもよい。代替的に、制御部31は、通信部34を通じて、発症リスクの情報を外部端末や外部サーバに通知してもよい。
【0149】
以上のように、実施の形態7では、病変候補より抽出される形態情報と、血液の検査情報とに基づき、虚血性心疾患の発症リスクを推定するので、従来困難であるとされた虚血性心疾患の発症リスクを精度良く推定することができる。
【0150】
(実施の形態8)
実施の形態8では、病変候補の形態情報、血液の検査情報、及び患者の属性情報に基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0151】
図21は実施の形態8における学習モデルMD8の構成例を示す模式図である。学習モデルMD8の構成は、実施の形態1と同様であり、入力層LY81、中間層LY82a,82b、及び出力層LY83を備える。学習モデルMD8の一例は、DNNである。代替的に、SVM、XGBoost、LightGBMなどが用いられる。
【0152】
実施の形態8における入力データは、病変候補の形態情報、血液の検査情報、及び患者の属性情報である。病変候補の形態情報及び血液の検査情報は、実施の形態7等と同様である。患者の属性情報には、患者の年齢、性別、体重、併存症など、一般的にPCI患者の背景因子として確認されている情報が用いられる。患者の属性情報は、通信部34又は入力装置5を通じて画像処理装置3に入力される。
【0153】
入力層LY81の各ノードに与えられたデータは、最初の中間層LY82aに与えられる。その中間層LY82aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY82bに与えられ、以下同様にして出力層LY83の出力が求められるまで次々と後の層に伝達される。
【0154】
出力層LY83は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY83による出力形態は任意である。例えば、出力層LY83にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD8の出力層LY83から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0155】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD8を構築し、出力層LY83から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD8を構築し、出力層LY83から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY83に設けられるノードは1つであってもよい。
【0156】
学習モデルMD8は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補について抽出した形態情報、血液の検査情報、患者の属性情報、病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報とを含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD8の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD8が補助記憶部35に記憶される。
【0157】
学習を終えた後の運用フェーズにおいて、画像処理装置3の制御部31は、病変候補について抽出した形態情報、血液の検査情報、患者の属性情報を学習モデルMD8に入力し、学習モデルMD8による演算を実行する。制御部31は、学習モデルMD8の出力層LY83から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定する。
【0158】
なお、本実施の形態では、学習モデルMD8から虚血性心疾患(IHD)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0159】
また、学習モデルMD8を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD8による演算を外部サーバに実行させる構成としてもよい。
【0160】
更に、制御部31は、複数のタイミングで算出した応力の値を学習モデルMD8に入力することによって、発症リスクの時系列推移を導出してもよい。
【0161】
(実施の形態9)
実施の形態9では、病変候補の形態情報、血液の検査情報、及び病変候補に加わる応力の値に基づき、虚血性心疾患の発症リスクを推定する構成について説明する。
画像診断装置100の全体構成、画像処理装置3の内部構成等については、実施の形態1と同様であるため、その説明を省略することとする。
【0162】
図22は実施の形態9における学習モデルMD9の構成例を示す模式図である。学習モデルMD9の構成は、実施の形態1と同様であり、入力層LY91、中間層LY92a,92b、及び出力層LY93を備える。学習モデルMD9の一例は、DNNである。代替的に、SVM、XGBoost、LightGBMなどが用いられる。
【0163】
実施の形態9における入力データは、病変候補の形態情報、血液の検査情報、及び病変候補に加わる応力の値である。病変候補の形態情報及び血液の検査情報は、実施の形態7等と同様であり、病変候補に加わる応力の値は、実施の形態3と同様の手法で算出される。
【0164】
入力層LY91の各ノードに与えられたデータは、最初の中間層LY92aに与えられる。その中間層LY92aにおいて重み係数及びバイアスを含む活性化関数を用いて出力が算出され、算出された値が次の中間層LY92bに与えられ、以下同様にして出力層LY93の出力が求められるまで次々と後の層に伝達される。
【0165】
出力層LY93は、虚血性心疾患の発症リスクに係る情報を出力する。出力層LY93による出力形態は任意である。例えば、出力層LY93にn個(nは1以上の整数)を設け、1個目のノードから発症リスクがR1%である確率(=P1)、2個目のノードから発症リスクがR2%である確率(=P2)、…、n個目のノードから発症リスクがRn%である確率(=Pn)を出力してもよい。画像処理装置3の制御部31は、学習モデルMD9の出力層LY93から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定することができる。
【0166】
また、所定年数以内(例えば3年以内)の発症の有無を予測するように学習モデルMD9を構築し、出力層LY93から0(=発症しない)又は1(=発症する)の情報を出力する構成としてもよい。更に、所定年数以内(例えば3年以内)に発症する確率を計算するように学習モデルMD9を構築し、出力層LY93から確率(0~1の実数値)を出力する構成としてもよい。これらの場合、出力層LY93に設けられるノードは1つであってもよい。
【0167】
学習モデルMD9は、所定の学習アルゴリズムに従って学習され、内部パラメータ(重み係数、バイアス等)が決定される。具体的には、病変候補について抽出した形態情報、血液の検査情報、病変部に加わる応力の値、病変候補を責任病変として後に虚血性心疾患が発症したか否かを示す正解情報とを含む多数のデータセットを訓練データに用いて、誤差逆伝搬法などのアルゴリズムを用いて学習することにより、ノード間の重み係数及びバイアスを含む学習モデルMD9の内部パラメータを決定することができる。本実施の形態では、学習済みの学習モデルMD9が補助記憶部35に記憶される。
【0168】
学習を終えた後の運用フェーズにおいて、画像処理装置3の制御部31は、病変候補について抽出した形態情報、血液の検査情報、患者の属性情報を学習モデルMD9に入力し、学習モデルMD9による演算を実行する。制御部31は、学習モデルMD9の出力層LY93から出力される情報を参照し、確率が最も高いものを虚血性心疾患の発症リスクとして推定する。
【0169】
なお、本実施の形態では、学習モデルMD9から虚血性心疾患(IHD)に係る発症リスクに係る情報を出力する構成としたが、急性冠症候群(ACS)に限定して、その発症リスクに係る情報を出力する構成としてもよく、急性心筋梗塞(AMI)に限定して、その発症リスクに係る情報を出力する構成としてもよい。
【0170】
また、学習モデルMD9を外部サーバにインストールし、通信部34を介して外部サーバにアクセスすることにより、学習モデルMD9による演算を外部サーバに実行させる構成としてもよい。
【0171】
更に、制御部31は、複数のタイミングで算出した応力の値を学習モデルMD9に入力することによって、発症リスクの時系列推移を導出してもよい。
【0172】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができる。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0173】
1 画像診断用カテーテル
2 MDU
3 画像処理装置
4 表示装置
5 入力装置
31 制御部
32 主記憶部
33 入出力部
34 通信部
35 補助記憶部
36 読取部
100 画像診断装置
101 血管内検査装置
102 血管造影装置
PG 発症リスク予測プログラム
MD1~MD9 学習モデル