特許 7574279 コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-18

(45)【発行日】2024-10-28

(54)【発明の名称】コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法

(51)【国際特許分類】

   A61B 8/12 20060101AFI20241021BHJP

【ＦＩ】

A61B8/12

【請求項の数】 11

(21)【出願番号】P 2022511734

(86)(22)【出願日】2021-03-09

(86)【国際出願番号】 JP2021009343

(87)【国際公開番号】W WO2021199968

(87)【国際公開日】2021-10-07

【審査請求日】2023-10-13

(31)【優先権主張番号】P 2020061513

(32)【優先日】2020-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】坂口 雄紀

(72)【発明者】

【氏名】関 悠介

(72)【発明者】

【氏名】井口 陽

【審査官】井海田 隆

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２４７４１４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２６２７３３（ＵＳ，Ａ１）

【文献】国際公開第２０１５／１３６８５３（ＷＯ，Ａ１）

【文献】特開２０１２－０７５７０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ ー ８／１５

(57)【特許請求の範囲】

【請求項1】

本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得し、
本幹断面、側枝断面及び分岐部断面を認識する学習モデルに、取得した医用画像を入力することによって、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する
処理をコンピュータに実行させるためのコンピュータプログラム。

【請求項2】

前記学習モデルに、取得した第１の医用画像を入力することによって、少なくとも本幹断面又は側枝断面を認識し、
前記学習モデルに、取得した第２の医用画像を入力することによって、前記分岐部断面を認識し、
第１の医用画像に基づく認識結果に基づいて、前記分岐部断面を構成する本幹部分及び側枝部分を判別する
処理をコンピュータに実行させるための請求項１に記載のコンピュータプログラム。

【請求項3】

複数の第１の医用画像に基づく認識結果に基づいて、本幹と側枝の分岐構造を特定し、
特定された分岐構造に基づいて、前記分岐部断面に含まれる本幹部分及び側枝部分を特定する
処理をコンピュータに実行させるための請求項２に記載のコンピュータプログラム。

【請求項4】

前記学習モデルは、前記分岐部に形成されたプラークを認識するようにしてあり、
前記学習モデルに、取得した第２の医用画像を入力することによって、前記分岐部断面及びプラークを認識し、
前記分岐構造に基づいて、前記分岐部断面に含まれるプラーク部分を特定する
処理をコンピュータに実行させるための請求項３に記載のコンピュータプログラム。

【請求項5】

複数の第１の医用画像に基づく認識結果に基づいて、本幹と側枝の分岐構造を特定して、側枝の断面径、断面積又は単位長あたりの体積を算出する
処理をコンピュータに実行させるための請求項２から請求項４のいずれか１項に記載のコンピュータプログラム。

【請求項6】

複数の第１の医用画像に基づく認識結果に基づいて、本幹及び側枝の分岐構造を特定して、本幹及び側枝のモデル画像を生成する
請求項２から請求項５のいずれか１項に記載のコンピュータプログラム。

【請求項7】

分岐部断面を含む医用画像に、本幹部分又は側枝部分を示す画像を重畳させる
処理をコンピュータに実行させるための請求項１から請求項６のいずれか１項に記載のコンピュータプログラム。

【請求項8】

管腔器官は血管であり、前記カテーテルにて検出した信号に基づき生成された血管の医用画像を取得する
処理をコンピュータに実行させるための請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。

【請求項9】

コンピュータが、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得し、
本幹断面、側枝断面及び分岐部断面を認識する学習モデルに、取得した医用画像を入力することによって、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する
処理を実行する情報処理方法。

【請求項10】

本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得する取得部と、
取得した医用画像が入力された場合、本幹断面、側枝断面及び分岐部断面を認識し、前記本幹断面、前記側枝断面及び前記分岐部断面を示す情報を出力する学習モデルと
を備える情報処理装置。

【請求項11】

コンピュータが、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された、本幹断面を含む複数の医用画像と、本幹断面及び側枝断面を含む複数の医用画像と、分岐部断面を含む複数の医用画像とを収集し、
収集した本幹断面を含む複数の医用画像と、本幹断面及び側枝断面を含む複数の医用画像と、分岐部断面を含む複数の医用画像とに対して、管腔断面であることを示すデータが付された訓練データを生成し、
生成した前記訓練データに基づいて、医用画像を入力した場合に、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する学習モデルを生成する
処理を実行するモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

カテーテルを用いた血管内超音波（IVUS:Intra Vascular Ultra Sound）法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査を行うことが行われている。血管内超音波法においては、血管内診断用カテーテルは血管の遠位から近位まで超音波センサを移動させ、血管、及びその周辺組織をスキャンする。

【0003】

一方で、医師の診断の補助を目的に、医用画像に画像処理や機械学習により情報を付加する技術の開発が行われている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１６５９７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、１枚の断層像において血管の分岐部の内腔境界を画像認識し、血管の本幹及び側枝を判別することが難しく、医用画像に有用な情報付加を行えないという問題があった。

【0006】

本開示の目的は、管腔器官をスキャンして得た医用画像を解析し、血管の本幹及び側枝を認識することができるコンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法を提供することにある。

【課題を解決するための手段】

【0007】

本開示に係るコンピュータプログラムは、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得し、本幹断面、側枝断面及び分岐部断面を認識する学習モデルに、取得した医用画像を入力することによって、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する処理をコンピュータに実行させる。

【0008】

本開示に係る情報処理方法は、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得し、本幹断面、側枝断面及び分岐部断面を認識する学習モデルに、取得した医用画像を入力することによって、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する処理をコンピュータが実行する。

【0009】

本開示に係る情報処理装置は、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された複数の医用画像を取得する取得部と、取得した医用画像が入力された場合、本幹断面、側枝断面及び分岐部断面を認識し、前記本幹断面、前記側枝断面及び前記分岐部断面を示す情報を出力する学習モデルとを備える。

【0010】

本開示に係るモデル生成方法は、本幹と、該本幹から枝分かれした側枝と、本幹及び側枝の分岐部とを有する管腔器官に挿入されたカテーテルにて、センサを管腔器官の長手方向に沿って移動させながら検出した信号に基づき生成された、本幹断面を含む複数の医用画像と、本幹断面及び側枝断面を含む複数の医用画像と、分岐部断面を含む複数の医用画像とに対して、管腔断面であることを示すデータが付された訓練データを生成し、生成した前記訓練データに基づいて、医用画像を入力した場合に、前記本幹断面、前記側枝断面及び前記分岐部断面を認識する学習モデルを生成する処理をコンピュータに実行させる。

【発明の効果】

【0011】

本開示によれば、管腔器官をスキャンして得た医用画像を解析し、血管の本幹及び側枝を認識することができる。

【図面の簡単な説明】

【0012】

【図1】画像診断装置の構成例を示す説明図である。

【図2】画像処理装置の構成例を示すブロック図である。

【図3】学習モデルを用いた画像認識方法を示す説明図である。

【図4】枝分かれした血管を示す説明図である。

【図5】枝分かれした血管をスキャンして得られる血管の断層像を示す説明図である。

【図6】実施形態１に係る情報処理方法の手順を示すフローチャートである。

【図7】血管の分岐構造の特定方法を示す血管の側面図である。

【図8】血管の分岐構造の特定方法を示す血管の断面図である。

【図9】ガイド画像の表示例を示す説明図である。

【図10】実施形態２に係る情報処理方法の手順を示すフローチャートである。

【図11A】本幹及び側枝のモデル画像を示す説明図である。

【図11B】本幹及び側枝のモデル画像を示す説明図である。

【図11C】本幹及び側枝のモデル画像を示す説明図である。

【図12】画像診断システムの構成例を示す説明図である。

【図13】情報処理装置の構成例を示すブロック図である。

【図14】学習モデルの生成方法を示すフローチャートである。

【発明を実施するための形態】

【0013】

本発明の実施形態に係るコンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法の具体例を、以下に図面を参照しつつ説明する。

【0014】

（実施形態１）
図１は、画像診断装置１００の構成例を示す説明図である。画像診断装置１００は、血管内超音波（IVUS:Intra Vascular Ultra Sound）法によって血管（管腔器官）の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断を行うための装置である。特に、実施形態１に係る画像診断装置１００は、血管の分岐構造を分析することによって、枝分かれした本幹Ａ及び側枝Ｂを判別し、分岐構造を示すガイド画像Ｇ１，Ｇ２（図９参照）を医用画像に重畳表示するものである。

【0015】

画像診断装置１００は、カテーテル１、ＭＤＵ（Motor Drive Unit）２、画像処理装置（情報処理装置）３、表示装置４及び入力装置５を備える。画像診断装置１００は、カテーテル１を用いたＩＶＵＳ法によって血管の超音波断層像を含む医用画像を生成し、血管内の超音波検査を行う。

【0016】

カテーテル１は、ＩＶＵＳ法によって血管の超音波断層像を得るための画像診断用カテーテルである。カテーテル１は、血管の超音波断層像を得るための超音波プローブを先端部に有する。超音波プローブは、血管内において超音波を発する超音波振動子と、血管の生体組織又は医用機器で反射された反射波（超音波エコー）を受信する超音波センサとを有する。超音波プローブは、血管の周方向に回転しながら、血管の長手方向に進退可能に構成されている。

【0017】

ＭＤＵ２は、カテーテル１が着脱可能に取り付けられる駆動装置であり、医療従事者の操作に応じて内蔵モータを駆動することにより、血管内に挿入されたカテーテル１の動作を制御する。ＭＤＵ２は、カテーテル１の超音波プローブを先端（遠位）側から基端（近位）側へ移動させながら周方向に回転させる（図３参照）。超音波プローブは、所定の時間間隔で連続的に血管内を走査し、検出された超音波の反射波データを画像処理装置３へ出力する。

【0018】

画像処理装置３は、カテーテル１の超音波プローブから出力された反射波データに基づいて、血管の断層像を含む時系列順の複数の医用画像を生成する（図３参照）。超音波プローブは、血管内を先端（遠位）側から基端（近位）側へ移動しながら血管内を走査するため、時系列順の複数の医用画像は、遠位から近位にわたる複数箇所で観測された血管の断層画像ということになる。

【0019】

表示装置４は、液晶表示パネル、有機ＥＬ表示パネル等であり、画像処理装置３によって生成された医用画像を表示する。

【0020】

入力装置５は、検査を行う際の各種設定値の入力、画像処理装置３の操作等を受け付けるキーボード、マウス等の入力インターフェースである。入力装置５は、表示装置４に設けられたタッチパネル、ソフトキー、ハードキー等であっても良い。

【0021】

図２は、画像処理装置３の構成例を示すブロック図である。画像処理装置３はコンピュータであり、制御部３１、主記憶部３２、入出力Ｉ／Ｆ３３、及び補助記憶部３４を備える。

【0022】

制御部３１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）等の演算処理装置を用いて構成されている。

【0023】

主記憶部３２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部３１が演算処理を実行するために必要なデータを一時的に記憶する。

【0024】

入出力Ｉ／Ｆ３３は、カテーテル１、表示装置４及び入力装置５が接続されるインターフェースである。制御部３１は、入出力Ｉ／Ｆ３３を介して、超音波プローブから出力された反射波データを取得する。また、制御部３１は、入出力Ｉ／Ｆ３３を介して、医用画像信号を表示装置４へ出力する。更に、制御部３１は、入出力Ｉ／Ｆ３３を介して、入力装置５に入力された情報を受け付ける。

【0025】

補助記憶部３４は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリ等の記憶装置である。補助記憶部３４は、制御部３１が実行するコンピュータプログラムＰ、制御部３１の処理に必要な各種のデータを記憶する。また、補助記憶部３４は、学習モデル３４１を記憶する。

【0026】

学習モデル３４１は、医用画像に含まれる所定のオブジェクトを認識するモデルである。学習モデル３４１は、例えば、セマンティックセグメンテーション(Semantic Segmentation)を用いた画像認識技術を利用することにより、オブジェクトを画素単位でクラス分けすることができ、医用画像に含まれる血管の内腔境界を認識することができる。

【0027】

なお、補助記憶部３４は画像処理装置３に接続された外部記憶装置であってもよい。コンピュータプログラムＰは、画像処理装置３の製造段階において補助記憶部３４に書き込まれてもよいし、遠隔のサーバ装置が配信するものを画像処理装置３が通信にて取得して補助記憶部３４に記憶させても。コンピュータプログラムＰは、磁気ディスク、光ディスク、半導体メモリ等の記録媒体３ａに読み出し可能に記録された態様であってもよい。

【0028】

制御部３１は、補助記憶部３４に記憶されたコンピュータプログラムＰを読み出して実行することにより、画像診断装置１００で生成された医用画像を取得し、医用画像に含まれる血管の内腔境界を検出する処理を実行する。具体的には、制御部３１は、学習モデル３４１を用いて医用画像における内腔境界の画像領域を検出する。特に、実施形態１の制御部３１は、血管の分岐部における本幹Ａ及び側枝Ｂを判別する機能を有する。そして、画像処理装置３は、内腔境界の認識結果を画像診断装置１００に出力し、医療従事者が結果の本幹Ａ及び側枝Ｂの内腔境界を認識し易いように、本幹Ａ及び側枝Ｂの位置及び領域を示すガイド画像Ｇ１，Ｇ２（図９参照）を表示させる。

【0029】

図３は、学習モデル３４１を用いた画像認識方法を示す説明図である。学習モデル３４１は、医用画像における血管の内腔境界の領域を画素単位で認識できるように学習されている。

【0030】

学習モデル３４１は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（CNN：Convolutional neural network）である。学習モデル３４１は、いわゆるセマンティックセグメンテーション(Semantic Segmentation)を用いた画像認識技術により、オブジェクトを画素単位で認識する。
学習モデル３４１は、医用画像が入力される入力層３４１ａと、画像の特徴量を抽出し復元する中間層３４１ｂと、医用画像に含まれるオブジェクトを画素単位で示すラベル画像を出力する出力層３４１ｃとを有する。学習モデル３４１は、例えばＵ－Ｎｅｔである。

【0031】

学習モデル３４１の入力層３４１ａは、医用画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層３４１ｂに受け渡す。中間層３４１ｂは、畳み込み層（ＣＯＮＶ層）と、逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、画像データを次元圧縮する層である。次元圧縮により、オブジェクトの特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、画像内の各画素がオブジェクトであるか否かを示す二値化されたラベル画像が生成される。出力層３４１ｃは、ラベル画像を出力する一又は複数のニューロンを有する。ラベル画像は、例えば、血管の内腔境界に対応する画素がクラス「１」、その他の画像に対応する画素がクラス「０」の画像である。

【0032】

学習モデル３４１は、本幹Ａを含む医用画像と、当該医用画像における本幹Ａの内腔境界の画素及び中心位置を示すラベル画像と、完全に離隔した本幹Ａ及び側枝Ｂを含む医用画像と、当該医用画像における本幹Ａ及び側枝Ｂの内腔境界の画素及び中心位置を示すラベル画像と、本幹Ａ及び側枝Ｂの分岐部を含む医用画像と、当該医用画像における分岐部の内腔境界の画素を示すラベル画像とを有する訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。分岐部を含む医用画像においては、本幹断面及び側枝断面が結合している。

【0033】

このように学習された学習モデル３４１によれば、図３に示すように本幹Ａを含む医用画像を学習モデル３４１に入力することによって、本幹Ａの内腔境界の領域を画素単位で示すラベル画像が得られる。また、学習モデル３４１に、本幹Ａ及び側枝Ｂの双方を含む医用画像を学習モデル３４１に入力することによって、本幹Ａ及び側枝Ｂの領域を画素単位示すラベル画像が得られる。更に、学習モデル３４１に、本幹Ａ及び側枝Ｂの分岐部を含む医用画像を学習モデル３４１に入力することによって、分岐部の領域を画素単位で示すラベル画像が得られる。ここで得られるラベル画像においては、本幹Ａ及び側枝Ｂは判別されずに出力される。

【0034】

図４は、枝分かれした血管を示す説明図、図５は、枝分かれした血管をスキャンして得られる血管の断層像を示す説明図である。
図４中、符号ａ～ｆで示す面における断層像は、図５のようになる。本幹Ａと、当該本幹Ａから枝分かれした側枝Ｂとが完全に離隔している場合（符号ｆで示す断面）、医用画像における本幹Ａ及び側枝Ｂを容易に理解することができる。しかし、血管の分岐部分においては（符号ｃ、符号ｄ、符号ｅで示す断面など）、本幹Ａ及び側枝Ｂの構造を容易に理解することができない。

【0035】

本実施形態１に係る画像処理装置３は、このような分岐部の本幹Ａ及び側枝Ｂの構造を認識し、医療従事者による分岐構造の認識を支援するガイド画像Ｇ１，Ｇ２を表示する処理を実行する。

【0036】

図６は、情報処理方法の手順を示すフローチャート、図７は、血管の分岐構造の特定方法を示す血管の側面図、図８は、血管の分岐構造の特定方法を示す血管の断面図である。

【0037】

制御部３１は、時系列順の複数の医用画像を画像診断装置１００から取得する（ステップＳ１１）。ここで取得した時系列順の複数の医用画像は、例えば血管の遠位から近位にわたって観測された断層像の画像である。

【0038】

制御部３１は、遠位部における複数の医用画像を選択する（ステップＳ１２）。制御部３１は、少なくとも、完全に離隔した本幹Ａ及び側枝Ｂを含む２枚の医用画像を選択すればよい。例えば、制御部３１は、図７に示すように切断面ｆにおける医用画像と、切断面ｇにおける医用画像を選択すればよい。

【0039】

そして、制御部３１は、ステップＳ１２で選択した医用画像を学習モデル３４１に入力することによって、医用画像に含まれる本幹Ａ及び側枝Ｂの内腔境界及び中心位置を検出する（ステップＳ１３）。

【0040】

次いで、制御部３１は、図８に示すようにステップＳ１３の検出結果に基づいて、血管の分岐構造を特定する（ステップＳ１４）。ステップＳ１２で選択した２枚の画像の撮像時の時間差は、本幹Ａの長手方向の長さに対応している。具体的には、血管走査時の超音波プローブの移動速度と当該時間差との積は、２枚の医用画像が撮像された箇所の長さに対応する。図８中、２つの医用画像に含まれる本幹Ａの中心を通る直線（破線）は、本幹Ａの中心線を示す。また、２つの医用画像に含まれる側枝Ｂの中心を通る直線（破線）は、側枝Ｂの中心線を示す。

【0041】

スキャン時点ｔ１で撮像された本幹Ａの中心座標が（ｘ１，ｙ１）、スキャン時点ｔ２＝ｔ＋Δｔで撮像された本幹Ａの中心座標が（ｘ２，ｙ２）である場合、スキャン時点ｔＮ＝ｔ＋ＮΔｔで撮像される分岐部における本幹Ａの中心座標（ｘＮ，ｙＮ）は下記式（１），（２）で表される。
ｘＮ＝ｘ１＋（ｘ２－ｘ１）×Ｎ…（１）
ｙＮ＝ｙ１＋（ｙ２－ｙ１）×Ｎ…（２）

【0042】

スキャン時点ｔ１で撮像された本幹Ａの径ｒ１、スキャン時点ｔ２＝ｔ＋Δｔで撮像された本幹Ａの径ｒ２である場合、スキャン時点ｔＮ＝ｔ＋ＮΔｔで撮像される分岐部における本幹Ａの中心座標ｒＮは下記式（３）で表される。
ｒＮ＝ｒ１＋（ｒ２－ｒ１）×Ｎ…（３）

【0043】

上記式（３）は一つの径を説明するものであるが、本幹Ａの長径及び短径についても、同様にして算出することができる。

【0044】

また上記式（１）～（３）は、２つの医用画像から得られる本件の中心位置及び径に基づく線形補間により、分岐部における血管の中心位置及び径を推測する例を説明したが、３つ以上の医用画像における血管の中心位置に基づく多項式補間により、他の医用画像における血管の中心位置及び径を算出してもよい。

【0045】

同様にして、本幹Ａの内腔境界の径を推定するとよい。また、側枝Ｂについても同様の方法で、医用画像における中心位置及び径を算出することができる。

【0046】

制御部３１は、本幹Ａの内腔境界を示す直線と、側枝Ｂの内腔境界を示す直線が交わる領域を分岐部として特定する。

【0047】

ステップＳ１４の処理を終えた制御部３１は、分岐部における医用画像を選択し（ステップＳ１５）、医用画像に含まれる本幹Ａ及び側枝Ｂの内腔境界を検出する（ステップＳ１６）。分岐部における本幹Ａの内腔境界の領域と、側枝Ｂの内腔境界の領域とは、部分的に結合したような領域として認識される。

【0048】

そして、制御部３１は、ステップＳ１４で特定した分岐部の構造を示す情報に基づいて、ステップＳ１６で検出された内腔境界の領域における、本幹Ａ部分と側枝Ｂ部分とを特定する（ステップＳ１７）。ステップＳ１４で特定した分岐部の構造の情報により、分岐部の医用画像における本幹Ａの中心位置及び径を求めることができる。つまり、制御部３１は、医用画像における本幹Ａを示す楕円線を求めることができる。制御部３１は、ステップＳ１６で検出される内腔境界のうち、分岐部の構造の情報から得られる本幹Ａの楕円線近傍にある領域を本幹Ａの内腔境界として認識することができる。
同様にして、制御部３１は、ステップＳ１６で検出される内腔境界のうち、分岐部の構造の情報から得られる側枝Ｂの楕円線近傍にある領域を本幹Ａの内腔境界として認識することができる。

【0049】

次いで、制御部３１は、分岐部よりも近位部における医用画像を選択する（ステップＳ１８）。分岐が一つであるとすれば、ステップＳ１８で選択される医用画像には本幹Ａのみが含まれることになる。制御部３１は、近位部における医用画像に含まれる本幹Ａの内腔境界及び中心位置を検出する（ステップＳ１９）。

【0050】

そして、制御部３１は、医用画像における本幹Ａ部分及び側枝Ｂ部分を示すガイド画像Ｇ１，Ｇ２を医用画像に重畳して表示する（ステップＳ２０）。

【0051】

図９は、ガイド画像Ｇ１，Ｇ２の表示例を示す説明図である。分岐部の医用画像においては、図９に示すように本幹Ａ及び側枝Ｂの断面が部分的に結合しており、本幹Ａ部分の内腔境界と、側枝Ｂ部分の内腔境界とを明瞭に判別することは難しい。そこで、制御部３１は、医用画像における本幹Ａの内腔境界の領域に対応するガイド画像Ｇ１を医用画像に重畳させて表示させる。ガイド画像Ｇ１は、本幹Ａの内腔境界の領域と略同形の画像である。
また、制御部３１は、医用画像における側枝Ｂの内腔境界の領域に対応するガイド画像Ｇ２を医用画像に重畳させて表示させる。ガイド画像Ｇ２は、側枝Ｂの内腔境界の領域と略同形の画像である。

【0052】

なお、制御部３１は、ガイド画像Ｇ１と、ガイド画像Ｇ２とを異なる態様でガイド画像Ｇ１，Ｇ２を表示してもよい。例えば、線種、色が異なるガイド画像Ｇ１，Ｇ２を表示するとよい。また、医用画像にガイド画像Ｇ１，Ｇ２を重畳させた画像と共に、ガイド画像Ｇ１，Ｇ２が重畳されていない元の画像を並べて表示するように構成してもよい。更に、ガイド画像Ｇ１，Ｇ２が重畳された画像と、ガイド画像Ｇ１，Ｇ２が重畳されていない元の画像とを選択的に切り換えて表示するように構成してもよい。

【0053】

また、制御部３１は、医用画像に表れていない本幹Ａ又は側枝Ｂの内腔境界を補完するようにガイド画像Ｇ１，Ｇ２を表示してもよい。例えば、図９に示す例では、環状であるはずの内腔境界の一部が欠けているが、この欠けている部分を推定して本幹Ａの内腔境界、側枝Ｂの内腔境界を表示してもよい。

【0054】

このように構成されたコンピュータプログラムＰ、画像処理装置３及び情報処理方法によれば、血管をスキャンして得た医用画像を解析し、血管の本幹Ａ及び側枝Ｂを認識することができる。

【0055】

また、血管の本幹Ａ及び側枝Ｂの内腔境界を示すガイド画像Ｇ１，Ｇ２を表示し、医療従事者による本幹Ａ及び側枝Ｂの内腔境界の認識を支援することができる。

【0056】

なお、本実施形態１で説明した画像処理装置３、コンピュータプログラムＰ、情報処理方法は一例であり、実施形態１の構成に限定されるものではない。

【0057】

例えば、本実施形態１では、観察ないし診断対象として血管を例示したが、血管以外の腸等の管腔器官を観察する場合にも本発明を適用することができる。

【0058】

また、医用画像の一例として超音波画像を説明したが、医用画像は超音波画像に限定されない。医用画像は、例えばＯＣＴ（Optical Coherence Tomography）画像などであってもよい。

【0059】

（実施形態２）
実施形態２に係る画像処理装置は、血管の内腔境界及びプラークを認識する点、本幹Ａ及び側枝Ｂの径、断面積、体積等を算出して表示することができる点、分岐構造を再現したモデル画像を生成して表示することができる点が実施形態１と異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

【0060】

実施形態２に係る学習モデル３４１は、例えば医用画像に含まれ血管の内腔境界及びプラークを認識するモデルである。

【0061】

図１０は、実施形態２に係る情報処理方法の手順を示すフローチャートである。実施形態２に係る制御部３１は、実施形態１のステップＳ１１～ステップＳ２０と同様の処理を実行するが、ステップＳ３３，ステップＳ３６及びステップＳ３９において、血管の内腔境界及びプラークを検出する。

【0062】

次いで、制御部３１は、医用画像にプラークを示すガイド画像を重畳して表示する（ステップＳ４０）。なお、医療従事者は、入力装置５を用いて、プラーク示すガイド画像の要否を選択することができる。制御部３１は、ガイド画像が不要である旨を受け付けた場合、ガイド画像を表示せず、ガイド画像が必要である旨を受け付けた場合、ガイド画像を表示する。

【0063】

次いで、制御部３１は、本幹Ａの内腔の断面径、断面積又は単位長当たりの体積を算出し、算出した本幹Ａの内腔の断面径、断面積及び体積を表示装置４に重畳表示する（ステップＳ４１）。
同様に、制御部３１は、ステップＳ３４にて特定された分岐構造に基づいて、側枝Ｂの内腔の断面径、断面積又は単位長当たりの体積を算出し、算出した側枝Ｂの内腔の断面径、断面積及び体積を表示装置４に表示する（ステップＳ４２）。ただし、本幹Ａに挿通するカテーテル１で走査された側枝Ｂの断層像は、図８に示すように、側枝Ｂを斜めに切ったような断層像（以下、斜断層像と呼ぶ）である。このため、制御部３１は、側枝Ｂを略垂直に切った断層像、すなわち側枝Ｂの中心線に対して略垂直な面で切った断層像（以下、アキシャル断層像と呼ぶ）における内腔の断面径、断面積又は体積に換算する。例えば、本幹Ａの中心線と、側枝Ｂの中心線との交わる角度θを算出し、角度θを用いて斜断層像をアキシャル像に変換し、側枝Ｂの内腔の断面径、断面積又は単位長当たりの体積を算出すればよい。

【0064】

次いで、制御部３１は、ステップＳ３４で算出した分岐構造と、医用画像に基づいて検出された内腔境界及びプラークの認識結果とに基づいて、血管の分岐構造を表したモデル画像を再生し、表示装置４に表示する（ステップＳ４３）。

【0065】

図１１Ａ～図１１Ｃは、本幹Ａ及び側枝Ｂのモデル画像を示す説明図である。制御部３１は、例えば、図１１Ａ～図１１Ｃ上図に示すように、血管の横断面をモデル画像として生成するとよい。当該モデル画像は血管の血管壁部、内腔境界及びプラーク部分を示している。
また、制御部３１は、図１１Ａ～図１１Ｃ下図に示すように、本幹Ａ及び側枝Ｂの断面画像をモデル画像として生成するとよい。当該モデル画像も血管の血管壁部、内腔境界及びプラーク部分を示している。更に、制御部３１は、側枝Ｂの断面画像を生成する際、アキシャル像に変換したモデル画像を生成するとよい。

【0066】

このように構成されたコンピュータプログラムＰ、画像処理装置３及び情報処理方法によれば、血管壁に形成されたプラークを示すガイド画像を表示し、医療従事者によるプラーク部分の認識を支援することができる。

【0067】

また、本幹Ａ及び側枝Ｂの内腔の断面径、面積及び体積を算出して表示することができる。

【0068】

更に、分岐構造を表すモデル画像を生成して表示することができ、医療従事者による血管の分岐部分の認識を支援することができる。特に本幹Ａ及び側枝Ｂの内腔境界及びプラークを表示する横断面のモデル画像を表示することによって、血管に形成されたプラークをより認識し易くすることができる。

【0069】

更にまた、本幹Ａ及び側枝Ｂのアキシャル断面を表示することによって、結果に形成されたプラークをより認識し易くすることができる。

【0070】

（実施形態３）
図１２は、画像診断システムの構成例を示す説明図である。実施形態３に係る画像診断システムは、医用画像の解析処理をサーバである情報処理装置６が実行する点が異なるため、以下では主に上記相違点を説明する。その他の構成及び作用効果は実施形態１又は２と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。

【0071】

実施形態３に係る画像診断システムは、情報処理装置６、画像診断装置２００を備える。情報処理装置６及び画像診断装置２００は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。情報処理装置６及び画像診断装置２００は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮを介して通信接続されている。

【0072】

図１３は、情報処理装置６の構成例を示すブロック図である。情報処理装置６はコンピュータであり、制御部６１、主記憶部６２、通信部６３、及び補助記憶部６４を備える。通信部６３は、ネットワークＮを介して画像処理装置３との間でデータを送受信するための通信回路である。制御部６１、主記憶部６２、通信部６３及び補助記憶部６４のハードウェア構成は、実施形態１で説明した画像処理装置３と同様である。補助記憶部６４が記憶するコンピュータプログラムＰ，学習モデル６４１、記録媒体６ａも、実施形態１又は２の各種プログラム及びモデル等と同様である。
なお、情報処理装置６は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。情報処理装置６は画像診断装置２００と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して画像診断装置２００に通信接続されたクラウドサーバであってもよい。

【0073】

図１４は、学習モデル６４１の生成方法を示すフローチャートである。制御部６１は、本幹断面を含む複数の医用画像を収集する（ステップＳ５１）。例えば、制御部６１は、画像診断装置２００から医用画像を収集する。

【0074】

次いで、制御部６１は、本幹断面及び側枝断面を含む複数の医用画像を収集する（ステップＳ５２）。同様に、制御部６１は、分岐部断面を含む複数の医用画像を収集する（ステップＳ５３）。

【0075】

また、制御部６１は、プラークが形成された本幹断面を含む複数の医用画像を収集する（ステップＳ５４）。また、制御部６１は、プラークが形成された本幹断面及び側枝断面を含む複数の医用画像を収集する（ステップＳ５５）。同様に、制御部６１は、プラークが形成された分岐部断面を含む複数の医用画像を収集する（ステップＳ５６）。

【0076】

次いで、制御部６１は、ステップＳ５１～ステップＳ５６で収集した医用画像にラベル画像を対応付けた訓練データを生成する（ステップＳ５７）。本幹断面を含む医用画像のラベル画像は、本幹Ａの内腔境界及びプラークの画素を示す画像である。本幹断面及び側枝断面を含む医用画像のラベル画像は、本幹Ａ及び側枝Ｂの内腔境界及びプラークの画素を示す画像である。分岐部断面を含む医用画像のラベル画像は、本幹Ａ及び側枝Ｂの分岐部の内腔境界及びプラークの画素を示す画像である。プラークが形成された本幹断面を含む医用画像のラベル画像は、本幹Ａの内腔境界及びプラークの画素並びにプラークの画素を示す画像である。プラークが形成された本幹断面及び側枝断面を含む医用画像のラベル画像は、本幹Ａ及び側枝Ｂの内腔境界及びプラークの画素並びにプラークの画素を示す画像である。プラークが形成された分岐部断面を含む医用画像のラベル画像は、本幹Ａ及び側枝Ｂの分岐部の内腔境界及びプラークの画素並びにプラークの画素を示す画像である。

【0077】

そして、制御部６１は、生成した訓練データを用いて未学習のニューラルネットワークを機械学習させることにより、学習モデル６４１を生成する（ステップＳ５８）。

【0078】

このように学習された学習モデル６４１によれば、本幹Ａを含む医用画像を学習モデル６４１に入力することによって、本幹Ａの内腔境界の領域及びプラーク部分の領域を画素単位で示すラベル画像が得られる。また、学習モデル６４１に、本幹Ａ及び側枝Ｂの双方を含む医用画像を学習モデル６４１に入力することによって、本幹Ａ及び側枝Ｂの領域並びにプラーク部分の領域を画素単位で示すラベル画像が得られる。本幹Ａ及び側枝Ｂの分岐部を含む医用画像を学習モデル６４１に入力することによって、分岐部の内腔境界の領域並びにプラーク部分の領域を画素単位で示すラベル画像が得られる。

【0079】

このように構成された情報処理装置６は、ネットワークＮを介して画像処理装置３から医用画像を取得し、取得した医用画像に基づいて、実施形態１の画像処理装置３と同様の処理を実行し、オブジェクトの認識結果を画像装置へ送信する。画像処理装置３は、情報処理装置６から送信されたオブジェクトの認識結果を取得し、図９に示すように血管の本幹Ａ及び側枝Ｂの領域を示すガイド画像Ｇ１，Ｇ２を医用画像に重畳させて表示装置４に表示させる。

【0080】

実施形態３に係る情報処理装置６、コンピュータプログラムＰ及び情報処理方法においても実施形態１同様、血管をスキャンして得た医用画像を解析し、血管の本幹Ａ及び側枝Ｂを認識することができる。

【0081】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0082】

１ カテーテル
２ ＭＤＵ
３ 画像処理装置
３ａ 記録媒体
４ 表示装置
５ 入出力装置
６ 情報処理装置
６ａ 記録媒体
３１ 制御部
３２ 主記憶部
３３ 入出力Ｉ／Ｆ
３４ 補助記憶部
６１ 制御部
６２ 主記憶部
６３ 通信部
６４ 補助記憶部
３４１ 学習モデル
Ｐ コンピュータプログラム
Ａ 本幹
Ｂ 側枝

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12】

【図13】

【図14】