特許 7536862 プログラム、情報処理方法、情報処理装置及びモデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】プログラム、情報処理方法、情報処理装置及びモデル生成方法

(51)【国際特許分類】

   A61B 8/12 20060101AFI20240813BHJP

   A61B 1/00 20060101ALI20240813BHJP

   A61B 1/045 20060101ALI20240813BHJP

   A61B 1/01 20060101ALI20240813BHJP

   A61B 5/055 20060101ALI20240813BHJP

   G06T 1/00 20060101ALI20240813BHJP

   G06T 7/00 20170101ALI20240813BHJP

   A61B 34/10 20160101ALI20240813BHJP

   A61B 1/313 20060101ALN20240813BHJP

【ＦＩ】

A61B8/12

A61B1/00 526

A61B1/00 530

A61B1/045 614

A61B1/01 513

A61B5/055 390

G06T1/00 290C

G06T1/00 290D

G06T7/00 612

A61B34/10

A61B1/313 510

【請求項の数】 13

(21)【出願番号】P 2022509538

(86)(22)【出願日】2021-03-09

(86)【国際出願番号】 JP2021009314

(87)【国際公開番号】W WO2021193024

(87)【国際公開日】2021-09-30

【審査請求日】2023-10-13

(31)【優先権主張番号】P 2020058999

(32)【優先日】2020-03-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】関 悠介

(72)【発明者】

【氏名】坂口 雄紀

(72)【発明者】

【氏名】井口 陽

【審査官】井海田 隆

(56)【参考文献】

【文献】特表２０２０－５０３９０９（ＪＰ，Ａ）

【文献】特開２０１１－０３６４１７（ＪＰ，Ａ）

【文献】特開２０１７－０８６４１３（ＪＰ，Ａ）

【文献】特開２００３－０７９７３８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０６８８４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／１２

Ａ６１Ｂ １／００

Ａ６１Ｂ １／０４５

Ａ６１Ｂ １／０１

Ａ６１Ｂ ６／００

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ １／３１３

(57)【特許請求の範囲】

【請求項1】

患者の血管をイメージングした医用画像を取得し、
前記医用画像を入力した場合に、前記血管内の病変部を検出するよう学習済みの第１モデルに、取得した前記医用画像を入力して前記病変部を検出し、
検出した前記病変部に対応する画像領域を識別可能に加工した第２医用画像を生成し、
前記第２医用画像を入力した場合に、前記患者の血管内治療に使用するバルーンに関連するバルーン情報を出力するよう学習済みの第２モデルに、生成した前記第２医用画像を入力して前記バルーン情報を出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

血管内治療に使用すべき前記バルーンの形状又は種類を示す前記バルーン情報を出力する
請求項１に記載のプログラム。

【請求項3】

前記バルーンで拡張すべき前記血管内の目標位置又は拡張条件を示す前記バルーン情報を出力する
請求項１又は２に記載のプログラム。

【請求項4】

前記第２医用画像を入力した場合に、前記バルーンで拡張すべき目標領域を検出するよう学習済みの第３モデルに、生成した前記第２医用画像を入力して前記目標領域を検出し、
検出した前記目標領域を示す第３医用画像を出力する
請求項３に記載のプログラム。

【請求項5】

現時点の前記医用画像から、前記血管に挿入されたバルーンを検出し、
検出されたバルーンと、前記目標領域とを示す前記第３医用画像を出力する
請求項４に記載のプログラム。

【請求項6】

検出された前記バルーンの現在位置又は現在の拡張径と、前記目標領域が示す前記バルーンの目標位置又は目標拡張径との差分値を算出し、
算出した差分値を出力する
請求項５に記載のプログラム。

【請求項7】

前記現在位置と前記目標位置との差分値に基づき、前記バルーンが前記目標位置に到達したか否かを判定し、
前記目標位置に到達したと判定した場合、前記現在の拡張径を前記目標拡張径で除算した拡張率を算出して出力する
請求項６に記載のプログラム。

【請求項8】

前記バルーンの拡張後に確保すべき減衰時間を示す前記バルーン情報を出力する
請求項１～７のいずれか１項に記載のプログラム。

【請求項9】

前記バルーンを拡張後の合併症の発症リスクを予測した経過情報を前記バルーン情報として出力する
請求項１～８のいずれか１項に記載のプログラム。

【請求項10】

前記医用画像は、前記血管の超音波断層像、光干渉断層像、透視画像、磁気共鳴画像の少なくともいずれか一つを含む
請求項１～９のいずれか１項に記載のプログラム。

【請求項11】

患者の血管をイメージングした医用画像を取得し、
前記医用画像を入力した場合に、前記血管内の病変部を検出するよう学習済みの第１モデルに、取得した前記医用画像を入力して前記病変部を検出し、
検出した前記病変部に対応する画像領域を識別可能に加工した第２医用画像を生成し、
前記第２医用画像を入力した場合に、前記患者の血管内治療に使用するバルーンに関連するバルーン情報を出力するよう学習済みの第２モデルに、生成した前記第２医用画像を入力して前記バルーン情報を出力する
処理をコンピュータが実行する情報処理方法。

【請求項12】

患者の血管をイメージングした医用画像を取得する取得部と、
前記医用画像を入力した場合に、前記血管内の病変部を検出するよう学習済みの第１モデルに、取得した前記医用画像を入力して前記病変部を検出する検出部と、
検出した前記病変部に対応する画像領域を識別可能に加工した第２医用画像を生成する生成部と、
前記第２医用画像を入力した場合に、前記患者の血管内治療に使用するバルーンに関連するバルーン情報を出力するよう学習済みの第２モデルに、生成した前記第２医用画像を入力して前記バルーン情報を出力する出力部と
を備える情報処理装置。

【請求項13】

患者の血管をイメージングした医用画像と、該医用画像における病変部に対応する画像領域を示すラベルデータと、前記患者の血管内治療に使用したバルーンに関連するバルーン情報とを含む訓練データを取得し、
前記医用画像及びラベルデータに基づき、前記医用画像を入力した場合に前記病変部を検出する第１モデルを生成し、
前記ラベルデータに基づき前記病変部に対応する画像領域を識別可能に加工した第２医用画像と、前記バルーン情報とに基づき、前記第２医用画像を入力した場合に前記バルーン情報を出力する第２モデルを生成する
処理をコンピュータが実行するモデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。

【背景技術】

【0002】

超音波画像、光干渉（ＯＣＴ：Optical Coherence Tomography）画像、Ｘ線画像など、人体内部を可視化した医用画像に基づく治療を支援する種々の手法が提案されている。例えば特許文献１では、血管内画像における疾患部位の範囲の指定を操作者から受け付け、指定された範囲の疾患部位に適した治療用デバイスの形状を設定し、設定した形状を有する治療用デバイスの情報をデータベースから検索して表示する治療用デバイス選択支援システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－７５１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、医用画像から疾患部位等の情報を読み取って治療に反映させることは簡単ではなく、豊富な知識及び臨床経験を要する。特許文献１に係る発明は、操作者によって指定された範囲の疾患部位に適した治療用デバイスをデータベースから検索するのみで、医用画像に基づく治療を好適に支援するに至っていない。

【0005】

一つの側面では、医用画像に基づく治療を好適に支援することができるプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、患者の血管をイメージングした医用画像を取得し、前記医用画像を入力した場合に、前記血管内の病変部を検出するよう学習済みの第１モデルに、取得した前記医用画像を入力して前記病変部を検出し、検出した前記病変部に対応する画像領域を識別可能に加工した第２医用画像を生成し、前記第２医用画像を入力した場合に、前記患者の血管内治療に使用するバルーンに関連するバルーン情報を出力するよう学習済みの第２モデルに、生成した前記第２医用画像を入力して前記バルーン情報を出力する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、医用画像に基づく治療を好適に支援することができる。

【図面の簡単な説明】

【0008】

【図1】治療支援システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】診療ＤＢのレコードレイアウトの一例を示す説明図である。

【図4】学習モデルの概要を示す説明図である。

【図5】学習モデルの詳細を示す説明図である。

【図6】表示装置の表示画面例を示す説明図である。

【図7】学習モデルの生成処理の手順を示すフローチャートである。

【図8】治療情報の出力処理の手順を示すフローチャートである。

【図9】変形例１に係る治療情報の出力処理の手順を示すフローチャートである。

【図10】変形例２に係る学習モデルに関する説明図である。

【図11】実施の形態２に係る学習モデルの説明図である。

【図12A】実施の形態２に係る第２医用画像の表示例を示す説明図である。

【図12B】実施の形態２に係る第２医用画像の表示例を示す説明図である。

【図13A】実施の形態２に係る第２医用画像の表示例を示す説明図である。

【図13B】実施の形態２に係る第２医用画像の表示例を示す説明図である。

【図14】実施の形態２に係る学習モデルの生成処理の手順を示すフローチャートである。

【図15】実施の形態２に係る治療情報の出力処理の手順を示すフローチャートである。

【図16】変形例３に係る治療情報の出力処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、治療支援システムの構成例を示す説明図である。本実施の形態では、血管内治療を実施する患者に関する患者情報と、当該患者の血管をイメージングした医用画像とに基づき、患者の治療を支援するための治療情報をユーザ（医療従事者）に提示する治療支援システムについて説明する。治療支援システムは、情報処理装置１、画像診断システム２を有する。情報処理装置１及び画像診断システム２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮに通信接続されている。

【0010】

なお、本実施の形態では血管内治療を一例に説明するが、対象とする管腔器官は血管に限定されず、例えば胆管、膵管、気管支、腸などのその他の管腔器官であってもよい。

【0011】

画像診断システム２は、血管内画像診断装置２１、透視画像撮影装置２２、表示装置２３を有する。血管内画像診断装置２１は、患者の血管内断層像をイメージングするための装置であり、例えばカテーテル２１１を用いた超音波検査を行うＩＶＵＳ（Intravascular Ultrasound）装置である。カテーテル２１１は患者の血管内に挿入される医用器具であり、超音波を送信すると共に血管内からの反射波を受信する圧電素子を備える。血管内画像診断装置２１は、カテーテル２１１で受信した反射波の信号に基づいて超音波断層像を生成し、表示装置２３に表示させる。

【0012】

なお、本実施の形態では血管内画像診断装置２１が超音波断層像を生成するものとするが、例えば光干渉断層像（ＯＣＴ画像）を生成してもよい。

【0013】

透視画像撮影装置２２は、患者体内を透視した透視画像を撮影するための装置ユニットであり、例えば血管造影検査を行うアンギオグラフィ装置である。透視画像撮影装置２２は、Ｘ線源２２１、Ｘ線センサ２２２を備え、Ｘ線源２２１から照射されたＸ線をＸ線センサ２２２が受信することにより、患者のＸ線透視画像をイメージングする。例えばカテーテル２１１の先端にはＸ線不透過マーカが装着されており、透視画像においてカテーテル２１１の位置が可視化される。透視画像撮影装置２２は、カテーテル２１１の位置を可視化した透視画像を表示装置２３に表示させ、血管内断層像と共に提示する。

【0014】

なお、上記では医用画像の一例として超音波断層像、光干渉断層像、アンギオグラフィ画像を挙げたが、医用画像はコンピュータ断層撮影（ＣＴ；Computed Tomography）画像、磁気共鳴（ＭＲＩ；Magnetic Resonance Imaging）画像などであってもよい。

【0015】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。なお、サーバ１は画像診断システム２と同じ施設（病院等）に設置されたローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。サーバ１は、治療を実施する患者に関する患者情報と、当該患者の医用画像（断層像及び透視画像）とに基づき、当該患者の血管内治療を支援するための治療情報を出力する治療支援装置として機能する。具体的には後述のように、サーバ１は、所定の訓練データを学習する機械学習を行い、患者情報及び医用画像を入力として、治療情報を出力する学習モデル５０（図４参照）を予め用意してある。サーバ１は、治療対象の患者の患者情報及び医用画像を学習モデル５０に入力し、治療情報を学習モデル５０から取得する。サーバ１は、治療情報を画像診断システム２に出力し、表示装置２３に表示させる。

【0016】

治療情報は、患者の治療を支援するための情報であり、患者を治療するユーザ（医療従事者）を補助するための情報である。本実施の形態では血管内治療を一例にして、カテーテル２１１を用いたＰＣＩ（Percutaneous Coronary Intervention；経皮的冠動脈形成術）を支援するための情報を治療情報として出力する。例えば治療情報は、プラーク等の病変部の位置や性状、使用すべきステントやバルーン等の治療用デバイス、透視画像撮影時に推奨される造影剤の投与量や撮影時間、治療後の経過情報（例えば合併症のリスク）などを含む。サーバ１は、学習モデル５０を用いてこれらの情報を推定し、表示装置２３に表示させる。また、サーバ１は、病変部や治療用デバイス等のオブジェクトを医用画像内から検出し、検出したオブジェクトを識別可能に加工した第２医用画像を生成して表示装置２３に表示させる。

【0017】

なお、本実施の形態ではサーバ１において学習モデル５０を用いた治療情報の生成処理を行うものとするが、サーバ１が構築した学習モデル５０を画像診断システム２にインストールし、ローカルで治療情報の生成処理を実行してもよい。

【0018】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＩチップ（ＡＩ用半導体）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0019】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、学習モデル５０、診療ＤＢ１４１を記憶している。学習モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、患者情報及び医用画像を入力として、患者の治療を支援するための治療情報を出力するモデルである。学習モデル５０は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。診療ＤＢ１４１は、患者の診療データを格納するデータベースである。

【0020】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0021】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、外付けハードディスク等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰを読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰを読み込んでも良い。

【0022】

図３は、診療ＤＢ１４１のレコードレイアウトの一例を示す説明図である。診療ＤＢ１４１は、診療ＩＤ列、患者情報列、治療情報列、画像情報列を含む。診療ＩＤ列は、各診療データを識別するための診療ＩＤを記憶している。患者情報列、治療情報列、及び画像情報列はそれぞれ、診療ＩＤと対応付けて、診療対象の患者に関する患者情報、当該患者に実施した治療に関する治療情報、及び当該患者を検査して得た医用画像を記憶している。

【0023】

患者情報は、治療を実施した患者に関する情報であり、患者の診療記録である。治療情報は、例えば患者の年齢、性別、診断名、危険因子（生活習慣病の有無等）、既往歴などのほかに、治療歴、併用薬、血液検査結果、血管の罹患枝数、左室駆出率、心血管に関連する急変事態（心筋梗塞等）の発生歴などを含む。

【0024】

治療情報は、患者に実施した血管内治療に関する情報であり、例えばＰＣＩの記録である。治療情報は、例えばＰＣＩの実施日、治療した病変部の位置（以下、「病変部位」と呼ぶ）、病変部の性状、カテーテル２１１の穿刺部位、使用した造影剤の総量のほかに、透視画像の撮影時間、ステント留置前の追加手技の有無及び内容、ステント留置後の追加手技の有無及び内容、留置したステントの種類（例えば製品名）、直径、長さ、総数、バルーンの種類、長さ、最大拡張径、最大拡張圧、拡張時間、減衰時間、分岐部病変の治療法、治療後の経過情報（例えば合併症発症の有無）を含む。なお、本実施の形態ではステント及びバルーンの径を直径で表現するが、半径であってもよいことは勿論である。

【0025】

医用画像は、患者の血管をイメージングした画像であり、上述の如く、血管内部の断層像（超音波断層像、光干渉断層像など）、Ｘ線によって患者体内を可視化した透視画像（アンギオグラフィ画像、コンピュータ断層撮影画像など）、磁気共鳴画像などである。また、画像情報には、ＦＦＲ（Fractional Flow Reserve：冠血流予備量比）などの生理機能的評価結果も含まれる。本実施の形態では一例として、超音波断層像及びアンギオグラフィ画像を医用画像として学習モデル５０の入力に用いる。

【0026】

図４は、学習モデル５０の概要を示す説明図である。学習モデル５０は、患者情報及び医用画像を入力として、患者の治療を支援するための治療情報を出力する機械学習モデルである。サーバ１は、所定の訓練データを学習する機械学習を行って学習モデル５０を事前に生成しておく。そしてサーバ１は、画像診断システム２から取得した患者の医用画像と、当該患者に関する患者情報とを学習モデル５０に入力し、治療情報を生成する。

【0027】

具体的には図４に示すように、学習モデル５０は、診療ＤＢ１４１に格納される患者情報、血管内画像診断装置２１でイメージングされた断層像、及び透視画像撮影装置２２でイメージングされた透視画像を入力とする。そして学習モデル５０は、図４右上に示す各項目について推定した推定結果を治療情報として出力する。

【0028】

例えば治療情報は、血管内の病変部に関する情報を含む。具体的には、病変部に関する情報は、病変部位（例えば病変部が存在する血管の種類）、病変部の性状を含む。なお、病変部に関する情報は位置及び性状だけでなく、血管長手方向における病変部の長さ、血管断面における病変部の大きさ（面積）などを含んでもよい。

【0029】

また、治療情報は、血管に挿入する治療用デバイスに関する情報を含む。治療用デバイスは、例えば血管を拡張するためのステント、バルーン等である。なお、治療用デバイスはステント等に限定されず、例えば病変部切除のためのロータブレータ等を含んでもよい。学習モデル５０は、使用すべきステントの種類（例えば製品名）、形状（直径及び長さ）、総ステント本数、ステント留置前の追加手技の有無及び内容、ステント留置後の追加手技の有無及び内容など、ステントに関連するステント情報を出力する。また、学習モデル５０は、使用すべきバルーンの種類（例えば製品名）、形状（長さ）、拡張条件（最大拡張径、最大拡張圧、拡張時間、拡張後のバルーン収縮に要する減衰時間）など、バルーンに関連するバルーン情報を出力する。

【0030】

なお、治療用デバイスに関する情報として、各治療用デバイスの使用順序を含めてもよい。これにより、ユーザが各治療用デバイスを選択して治療を実施する際に、治療用デバイスの選択を好適に補助することができる。

【0031】

また、治療情報は、透視画像の撮影条件に関する情報を含む。撮影条件に関する情報は、例えば造影剤の投与量、透視画像の撮影時間（図４では「透視時間」）などを含む。サーバ１は、患者に治療を実施した際の造影剤の投与量、撮影時間等を学習モデル５０に学習させ、推奨される造影剤の投与量、撮影時間等を出力可能とする。

【0032】

また、治療情報は、治療後の患者の経過を推定した経過情報を含む。経過情報は、例えば合併症のリスクを推定した推定結果である。サーバ１は、治療を実施済みの患者について、実施後に発症した合併症を学習モデル５０に学習させ、治療後に発症する確率が高い合併症を経過情報として出力可能とする。なお、後述のように、治療後に発症し得る複数の合併症毎に、各合併症の発症度合いを評価した確率値を出力すると好適である（図６参照）。

【0033】

図４では一例として、患者の血管内にプラークが生じている場合の断層像と、当該断層像を生成時のカテーテル２１１の位置を示す透視画像とが、患者情報と共に学習モデル５０に入力される場合を図示している。この場合、学習モデル５０はプラークに相当する病変部の位置や性状、使用すべきステントやその拡張径、拡張圧、治療後の経過情報などを出力する。

【0034】

学習モデル５０は、上記の各種情報を治療情報として出力するほか、入力された医用画像に対し、画像内の所定のオブジェクトを識別可能に加工した第２医用画像を生成し、治療情報の一つとして出力する。第２医用画像は、上述のように病変部などのオブジェクトに対応する画像領域を加工した画像であり、当該オブジェクトの画像領域を、その他の画像領域と異なる表示態様で表示する画像である。例えば学習モデル５０は、白黒で表現される断層像において、オブジェクトに対応する画像領域を白黒以外の色で表現した第２医用画像を生成する。サーバ１は、病変部位等の情報と共に第２医用画像を表示装置２３に出力し、表示させる。

【0035】

なお、学習モデル５０において対象とするオブジェクトは病変部に限定されず、例えば患者の血管に挿入される治療用デバイス（例えば患者の血管内に既に留置されているステント）などであってもよい。学習モデル５０は、血管に存在する特定のオブジェクトを識別可能とした第２医用画像を生成可能であればよい。

【0036】

なお、以下の説明では簡潔のため、医用画像内のオブジェクトに対応する画像領域を「オブジェクト領域」と呼ぶ。

【0037】

図５は、学習モデル５０の詳細を示す説明図である。図５では学習モデル５０として、第１モデル５１及び第２モデル５２から成るモデルを一例として図示してある。図５に基づき、学習モデル５０の詳細を説明する。

【0038】

第１モデル５１は、医用画像（断層像及び透視画像）を入力として、画像内のオブジェクトを検出した検出結果を出力する機械学習モデルである。例えば第１モデル５１は、深層学習によって生成されるニューラルネットワークモデルであり、多数の畳み込み層で入力画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）である。第１モデル５１は、入力画像の画素情報を畳み込む畳み込み層と、畳み込んだ画素情報をマッピングするプーリング層とが交互に連結された中間層（隠れ層）を備え、入力画像の特徴量（特徴量マップ）を抽出する。

【0039】

なお、本実施の形態では第１モデル５１がＣＮＮであるものとして説明するが、例えばＧＡＮ（Generative Adversarial Network）、ＲＮＮ（Recurrent Neural Network）、ＳＶＭ（Support Vector Machine）、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。

【0040】

本実施の形態でサーバ１は、入力される医用画像内の各画素がオブジェクト領域に対応する画素であるか否か、画素単位で識別する第１モデル５１を生成する。例えばサーバ１は、第１モデル５１として、セマンティックセグメンテーションモデル（Ｕ－ｎｅｔ等）、あるいはＭＡＳＫ Ｒ－ＣＮＮ（Region CNN）などを生成する。

【0041】

セマンティックセグメンテーションモデルはＣＮＮの一種であり、入力データから出力データを生成するＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルの一種である。セマンティックセグメンテーションモデルは、入力画像のデータを圧縮する畳み込み層以外に、圧縮して得た特徴量を元の画像サイズにマッピング（拡大）する逆畳み込み層（Deconvolution Layer）を備える。逆畳み込み層では、畳み込み層で抽出した特徴量に基づいて画像内にどの物体がどの位置に存在するかを画素単位で識別し、各画素がどの物体に対応するかを二値化したラベル画像を生成する。

【0042】

ＭＡＳＫ Ｒ－ＣＮＮは、主に物体検出に用いられるＦａｓｔｅｒ Ｒ－ＣＮＮの変形であり、Ｆａｓｔｅｒ Ｒ－ＣＮＮに逆畳み込み層を連結したモデルである。ＭＡＳＫ Ｒ－ＣＮＮでは、ＣＮＮで抽出した画像の特徴量と、ＲＰＮ（Region Proposal Network）で抽出した対象物体の座標範囲とを逆畳み込み層に入力し、最終的に入力画像内の物体の画像領域をマスクするマスク画像を生成する。

【0043】

サーバ１は、これらのモデルを第１モデル５１として生成し、オブジェクトの検出に用いる。なお、上記のモデルはいずれも例示であって、第１モデル５１は、医用画像内のオブジェクトの位置や形状を識別可能であればよい。本実施の形態では一例として、第１モデル５１がセマンティックセグメンテーションモデルであるものとして説明する。

【0044】

図４右側に、血管内断層像及び透視画像におけるオブジェクト領域をハッチングで概念的に図示している。第１モデル５１で検出するオブジェクトは、例えばプラーク等の病変部、あるいは留置済みのステント等の治療用デバイスなどである。サーバ１は、第１モデル５１に医用画像を入力し、各種オブジェクトを検出する。

【0045】

なお、プラークは病変部の一例であり、例えば血管の狭窄部、石灰化した組織、血管壁の解離（フラップ）、新生内膜（Neointima）、その他の部分を検出してもよい。また、ステントは治療用デバイスの一例であり、その他のデバイスを検出してもよい。また、病変部位、治療用デバイスはオブジェクトの一例であり、その他のオブジェクトを検出してもよい。

【0046】

図５に戻って説明を続ける。サーバ１は、訓練用の医用画像に対し、図４で例示したオブジェクト領域を示すデータがラベリングされた訓練データを用いて学習を行う。具体的には、訓練データでは、訓練用の医用画像に対し、オブジェクト領域に対応する座標範囲と、オブジェクトの種類とを表すラベル（メタデータ）が付与されている。

【0047】

サーバ１は、訓練用の医用画像を第１モデル５１に入力して、オブジェクトを検出した検出結果を出力として取得する。具体的には、オブジェクト領域の各画素に対し、オブジェクトの種類を示す値がラベリングされたラベル画像を出力として取得する。

【0048】

サーバ１は、第１モデル５１から出力された検出結果を、訓練データが示す正解のオブジェクト領域の座標範囲、及びオブジェクトの種類と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これにより、サーバ１は第１モデル５１を生成する。

【0049】

なお、本実施の形態では断層像及び透視画像の２種類の画像を処理するが、例えばサーバ１は、各画像に対応する２つの第１モデル５１を用意してもよく、又は第１モデル５１を、断層像及び透視画像をそれぞれ処理するための２つのネットワークを有するマルチモーダルモデルとして構成してもよい。これにより、各画像からオブジェクトを検出することができる。

【0050】

本実施の形態では、第１モデル５１は、時系列で連続する複数フレームの医用画像（動画）を入力として受け付け、各フレームの医用画像からオブジェクトを検出する。具体的には、第１モデル５１は、カテーテル２１１の走査に従い、血管の長手方向に沿って連続する複数フレームの医用画像（例えば断層像）を入力として受け付ける。第１モデル５１は、時間軸に沿って連続する各フレームの医用画像からオブジェクトを検出する。

【0051】

なお、以下の説明では便宜上、連続する各フレームの医用画像を単に「フレーム画像」と呼ぶ。

【0052】

サーバ１は、複数のフレーム画像を第１モデル５１に一枚ずつ入力し、各フレーム画像から個別にオブジェクトを検出してもよいが、連続する複数のフレーム画像を同時に入力して、複数のフレーム画像からオブジェクト領域を同時に検出できるようにすると好適である。例えばサーバ１は、第１モデル５１を、３次元の入力データを取り扱う３Ｄ－ＣＮＮ（例えば３Ｄ Ｕ－ｎｅｔ）とする。そしてサーバ１は、２次元のフレーム画像の座標を２軸とし、各フレーム画像を取得した時刻（フレーム画像の生成時点）を１軸とする３次元データとして取り扱う。サーバ１は、所定の単位時間分の複数フレーム画像（例えば１６フレーム）を一セットとして第１モデル５１に入力し、複数のフレーム画像それぞれに対してオブジェクト領域をラベリングしたラベル画像を同時に出力する。これにより、時系列で連続する前後のフレーム画像も考慮してオブジェクトを検出することができ、検出精度を向上させることができる。

【0053】

なお、上記では時間軸も含めた３次元データとすることで時系列のフレーム画像を処理可能としたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、第１モデル５１を、ＣＮＮとＲＮＮとを組み合わせたモデルとすることで、連続する複数のフレーム画像からオブジェクトを検出可能としてもよい。この場合、例えばＣＮＮに係る中間層の後ろにＬＳＴＭ（Long-Short Term Memory）層を挿入し、前後のフレーム画像から抽出した特徴量を参照してオブジェクトの検出を行う。この場合でも上記と同様に、前後のフレーム画像を考慮して処理を行うことができ、検出精度を向上させることができる。

【0054】

次に、第２モデル５２について説明する。第２モデル５２は、患者情報及び医用画像を入力として、患者の血管内治療を支援するための治療情報を出力する機械学習モデルである。例えば第２モデル５２はＣＮＮであり、畳み込み層及びプーリング層が交互に連結された中間層を備え、入力データの特徴量を抽出する。

【0055】

なお、本実施の形態では第２モデル５２がＣＮＮであるものとして説明するが、ＧＡＮ、ＲＮＮ、ＳＶＭ、決定木等、その他の学習アルゴリズムに基づくモデルであってもよい。

【0056】

サーバ１は、訓練用の患者情報及び医用画像に対し、正解の治療情報が付与された訓練データを用いて学習を行う。訓練用の患者情報及び医用画像は、治療を実施済みの患者の患者情報及び医用画像であり、当該患者の診療記録、及び治療時に得た断層像、透視画像などの医用画像である。正解の治療情報は、当該患者に対して行った治療（ＰＣＩ）の記録である。サーバ１は、診療ＤＢ１４１に記憶されている患者情報及び医用画像と、治療情報とを訓練データとして第２モデル５２に与え、学習を行う。

【0057】

具体的には、サーバ１は、患者情報に含まれる患者の年齢、性別、診断名等のデータを、医用画像の属性を示すカテゴリ変数として第２モデル５２に入力する。サーバ１は、患者情報をカテゴリ変数として断層像及び透視画像と共に第２モデル５２に入力し、図４右上に例示した各項目の治療情報を出力として取得する。

【0058】

なお、図４右上に示したように、第２モデル５２の出力項目は「病変部位」、「病変性状」のように分類結果で示される項目もあれば、「総造影時間」、「透視時間」のように連続値で表現される項目もある。このように第２モデル５２は、いわゆる分類問題と回帰問題とを同時に扱うが、例えば全ての項目を回帰問題と見なして連続値を出力し、分類結果として示すべき項目を連続値から二値に変換すればよい。あるいは、各項目に対応する出力層を別々に設け、中間層で抽出された特徴量を各出力層に入力して、各項目の推定を別々に行うようにしてもよい。あるいは、第２モデル５２自体を項目別に用意し、別々に推定を行ってもよい。

【0059】

サーバ１は、患者の血管をイメージングした医用画像をそのまま第２モデル５２の入力に用いてもよいが、本実施の形態では、第１モデル５１で検出されたオブジェクト領域を識別可能に加工した第２医用画像を生成し、第２モデル５２に入力する。第２医用画像は、オブジェクト領域を、オブジェクトの種類に応じて異なる表示態様で表示する画像であり、例えば第１モデル５１から出力されたラベル画像を元の医用画像に重畳した画像である。

【0060】

例えばサーバ１は、第１モデル５１から出力されたラベル画像を半透明マスクに加工し、元の医用画像に重畳する。この場合にサーバ１は、マスクの表示色をオブジェクトの種類に応じて変更するなど、各オブジェクト領域の表示態様をオブジェクトの種類に応じて異ならせる。これによりサーバ１は、オブジェクト領域をその他の領域と異なる表示態様で表示する医用画像を生成し、第２モデル５２に入力する。

【0061】

サーバ１は、訓練用の患者情報と、オブジェクト領域を加工した医用画像とを第２モデル５２に入力し、治療情報を出力として取得する。サーバ１は、出力された治療情報を正解の治療情報と比較し、両者が近似するように、ニューロン間の重み等のパラメータを最適化する。これによりサーバ１は、第２モデル５２を生成する。

【0062】

なお、本実施の形態では、オブジェクト検出用の第１モデル５１と、治療情報生成用の第２モデル５２との２種類のモデルを組み合わせるものとするが、オブジェクトの検出はルールベースで行ってもよい。すなわち、学習モデル５０が第１モデル５１を備える構成は必須ではなく、学習モデル５０への入力の前処理としてルールベースでオブジェクトを検出し、検出結果を学習モデル５０に入力するようにしてもよい。

【0063】

新たに治療を実施する患者について治療情報を生成する場合、サーバ１は、当該患者の医用画像を画像診断システム２から取得して学習モデル５０に入力し、第２医用画像を含む治療情報を生成する。なお、当該処理は画像取得時のリアルタイムで行ってもよく、あるいは録画された医用画像（動画）をまとめて取得し、事後的に処理してもよい。

【0064】

サーバ１は、生成した治療情報を表示装置２３に出力し、表示させる。なお、本実施の形態では治療情報の出力先が画像診断システム２であるものとして説明するが、画像診断システム２以外の装置（例えばパーソナルコンピュータ）に出力し、治療情報を表示させてもよいことは勿論である。

【0065】

図６は、表示装置２３の表示画面例を示す説明図である。表示装置２３は、サーバ１から出力された各治療情報を表示し、ユーザに提示する。例えば表示装置２３は、一覧表７１、経過情報欄７２、断層像７３、透視画像７４を表示する。

【0066】

一覧表７１は、第２モデル５２から出力された各項目の推定結果を一覧で示す表である。一覧表７１は、例えば病変部に関する情報、治療用デバイスに関する情報、透視画像の撮影条件に関する情報、その他の情報を含む。表示装置２３は一覧表７１でこれらの治療情報をユーザに提示し、血管内治療を支援する。

【0067】

経過情報欄７２は、治療後のユーザの経過を推定した推定結果を示す表示欄であり、上述の如く、合併症発症に関する推定結果である。サーバ１は学習モデル５０を用いて、複数の合併症毎に発症する確率値を算出し、合併症名と関連付けて確率値を経過情報欄７２に一覧表示させる。

【0068】

また、表示装置２３は、血管内画像診断装置２１で生成された断層像７３と、透視画像撮影装置２２で撮影した透視画像７４とを表示する。この場合に表示装置２３は、元の医用画像のオブジェクト領域を加工した第２医用画像を断層像７３及び透視画像７４として表示する。

【0069】

図７は、学習モデル５０の生成処理の手順を示すフローチャートである。図７に基づき、訓練データを学習して学習モデル５０を生成する際の処理内容について説明する。
サーバ１の制御部１１は、訓練用の患者情報及び医用画像に対し、正解の治療情報が付与された訓練データを取得する（ステップＳ１１）。訓練用の患者情報及び医用画像は、治療を実施済みの患者の患者情報及び医用画像である。治療情報は、当該患者に実施した治療に関する情報であり、診療ＤＢ１４１に記憶された治療記録のほか、オブジェクト領域を示すラベルデータを含む。

【0070】

制御部１１は訓練データに基づき、医用画像を入力した場合にオブジェクトを検出する第１モデル５１を生成する（ステップＳ１２）。例えば制御部１１は、上述の如く、セマンティックセグメンテーションに係るＣＮＮを第１モデル５１として生成する。制御部１１は、訓練用の医用画像を第１モデルに入力し、オブジェクト領域を検出した検出結果を出力として取得する。制御部１１は、検出したオブジェクト領域を正解のラベルデータと比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して第１モデル５１を生成する。

【0071】

また、制御部１１は訓練データに基づき、患者情報及び医用画像を入力した場合に、患者の治療を支援するための治療情報を出力する第２モデル５２を生成する（ステップＳ１３）。具体的には、制御部１１は、患者情報と、第１モデル５１での検出結果に基づきオブジェクト領域を加工した第２医用画像とを入力として治療情報を出力する第２モデル５２を生成する。制御部１１は、訓練用の患者情報と、正解のラベルデータに基づいてオブジェクト領域を加工した第２医用画像とを第２モデルに入力し、治療情報を出力として取得する。制御部１１は、出力された治療情報を正解の治療情報と比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して第２モデル５２を生成する。制御部１１は一連の処理を終了する。

【0072】

図８は、治療情報の出力処理の手順を示すフローチャートである。図８に基づき、学習モデル５０を用いて治療対象の患者の治療情報を出力する際の処理内容を説明する。
制御部１１は、治療を実施する患者に関する患者情報と、当該患者の血管をイメージングした医用画像とを取得する（ステップＳ３１）。制御部１１は、取得した医用画像を第１モデル５１に入力して、オブジェクトを検出する（ステップＳ３２）。具体的には、制御部１１は、血管内画像診断装置２１及び透視画像撮影装置２２でイメージングした断層像及び透視画像を第１モデル５１に入力して、断層像及び透視画像内のオブジェクトを検出する。

【0073】

制御部１１は、ステップＳ３２での検出結果に基づいてオブジェクト領域を加工した第２医用画像と、患者情報とを第２モデル５２に入力して、治療情報を生成する（ステップＳ３３）。制御部１１は、生成した治療情報を表示装置２３に出力し、表示させる（ステップＳ３４）。具体的には、制御部１１は、血管内の病変部、使用すべき治療用デバイス、透視画像の撮影条件等の情報のほか、オブジェクト領域を加工した第２医用画像を治療情報として出力し、表示装置２３に表示させる。制御部１１は一連の処理を終了する。

【0074】

以上より、本実施の形態１によれば、訓練データを学習済みの学習モデル５０を用いることで、医用画像に基づく治療を好適に支援することができる。

【0075】

また、本実施の形態１によれば、血管（管腔器官）内の病変部の位置、性状等を推定し、ユーザに提示することができる。

【0076】

また、本実施の形態１によれば、使用すべき治療用デバイスの種類、形状、使用数、使用順序などを推定し、ユーザに提示することができる。

【0077】

また、本実施の形態１によれば、透視画像の好適な撮影条件を推定して提示することができる。

【0078】

また、本実施の形態１によれば、合併症の発症など、治療後の経過情報を推定してユーザに提示することができる。

【0079】

また、本実施の形態１によれば、医用画像からオブジェクトの検出を行う第１モデル５１と、第１モデル５１による検出結果に基づいて治療情報を生成する第２モデル５２とを組み合わせることで、オブジェクトの正しい位置、形状等を第２モデル５２に与えることができ、治療情報の推定精度を向上させることができる。

【0080】

また、本実施の形態１によれば、オブジェクト領域を加工した第２医用画像を生成することで、病変部等の確認を好適に補助することができる。

【0081】

また、本実施の形態１によれば、時系列で生成された複数のフレーム画像を学習モデル５０に入力することで、治療情報の推定精度を向上させることができる。

【0082】

また、本実施の形態１によれば、医用画像として血管（管腔器官）内の断層像だけでなく透視画像を用いることで、局所的な画像だけでなく血管全体の画像を学習モデル５０に与え、推定精度を向上させることができる。

【0083】

（変形例１）
実施の形態１では、学習モデル５０を用いて治療情報を出力する形態について説明した。本変形例では、出力した治療情報を修正する修正入力をユーザから受け付け、修正後の治療情報に基づく再学習を行う形態について説明する。

【0084】

図９は、変形例１に係る治療情報の出力処理の手順を示すフローチャートである。治療情報を出力した後（ステップＳ３４）、サーバ１は以下の処理を実行する。
サーバ１の制御部１１は、表示装置２３に出力した治療情報の修正入力をユーザから受け付ける（ステップＳ３５）。例えば制御部１１は、図６で例示した表示画面において、一覧表７１で表示した各項目の情報を修正する修正入力を受け付ける。また、サーバ１は、断層像７３として表示した第２医用画像について、オブジェクト領域の座標範囲、オブジェクトの種類などが実際と異なる場合は、正しい座標範囲、種類などの入力を受け付ける。

【0085】

治療情報の修正入力を受け付けた場合、制御部１１は、学習モデル５０に入力した患者情報及び医用画像と、修正後の治療情報とを訓練データとする再学習を行い、学習モデル５０を更新する（ステップＳ３６）。すなわち制御部１１は、学習モデル５０から出力される治療情報が修正後の治療情報に近似するようニューロン間の重み等のパラメータを最適化し、学習モデル５０を再生成する。制御部１１は一連の処理を終了する。

【0086】

以上より、本変形例１によれば、本システムの運用を通じて学習モデル５０を最適化することができる。

【0087】

（変形例２）
実施の形態１では、第１モデル５１によりオブジェクトを検出し、オブジェクト領域を加工した第２医用画像を第２モデル５２に入力する形態について説明した。本変形例では、オブジェクトの検出結果からその種類、寸法等を特定し、特定されたオブジェクトの種類、寸法等を示すオブジェクト情報を第２モデル５２の入力として用いる形態について説明する。

【0088】

図１０は、変形例２に係る学習モデル５０に関する説明図である。本変形例に係る学習モデル５０も実施の形態１と同様に、第１モデル５１及び第２モデル５２を備える。本変形例においてサーバ１は、第１モデル５１により検出されたオブジェクト領域の画像解析を行い、オブジェクトの種類、寸法等を特定する。

【0089】

例えばサーバ１は、患者の血管内に既に留置されているステントの種類、寸法等を特定する。なお、本変形例では特定対象とするオブジェクトがステントであるものとするが、病変部などのその他のオブジェクトであってもよい。サーバ１は、ステントとして検出されたオブジェクト領域の画像解析を行い、留置されているステントの名称を特定すると共に、ステントの直径、長さ等を特定する。サーバ１は、特定したステントの種類、寸法等のデータをオブジェクト情報として第２モデル５２に入力し、治療情報を生成する。

【0090】

なお、この場合にサーバ１は、オブジェクト情報（テキストデータ）だけでなく、第１モデル５１に入力した元の医用画像も第２モデル５２に入力してもよい。あるいはサーバ１は、実施の形態１と同様に、オブジェクト領域を加工した第２医用画像も第２モデル５２に入力してもよい。

【0091】

上述の如く、本変形例では第２モデル５２の前処理として画像解析を行い、オブジェクト情報を特定して第２モデル５２に入力する。これにより、オブジェクトの種類や寸法などのデータを第２モデル５２に与え、推定精度を高めることができる。

【0092】

第２モデル５２の前処理として画像解析を行う点以外は実施の形態１と同様であるため、本変形例ではフローチャートその他の詳細な説明は省略する。

【0093】

（実施の形態２）
本実施の形態では血管内治療に関し、特にバルーン操作を支援するための形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。

【0094】

図１１は、実施の形態２に係る学習モデル５０の説明図である。本実施の形態に係る学習モデル５０も実施の形態１と同様に、第１モデル５１及び第２モデル５２を備え、オブジェクト領域を加工した第２医用画像と、その他の治療情報とを生成する。図１１右上に示すように、治療情報は、患者の血管を拡張するバルーンに関するバルーン情報を含み、使用すべきバルーンの種類、拡張条件（最大拡張径、最大拡張圧等）などが出力される。

【0095】

本実施の形態において学習モデル５０はさらに、第３モデル５３を備える。第３モデル５３は、治療前の医用画像を入力した場合に、バルーンにより拡張すべき血管内の目標位置、及び目標拡張径を推定する機械学習モデルである。具体的には、第３モデル５３は、医用画像を入力として、当該画像においてバルーンにより拡張すべき画像領域を検出する。サーバ１は、第２モデル５２により生成したバルーン情報のほか、バルーンで拡張すべき画像領域を第３モデル５３により検出し、検出した領域を示す第２医用画像を生成して、バルーン情報の一つとして表示装置２３に表示させる。

【0096】

なお、以下の説明では便宜上、バルーンにより拡張すべき領域を「目標領域」と呼ぶ。

【0097】

例えばサーバ１は、第３モデル５３としてＭａｓｋ Ｒ－ＣＮＮを用いる。上述の如く、Ｍａｓｋ Ｒ－ＣＮＮは、入力画像内から目標とする画像領域を検出するＣＮＮであり、目標とする画像領域を画素単位で識別可能なモデルである。例えばサーバ１は、治療を実施済みの患者の透視画像に対し、バルーンで拡張した画像内の座標範囲を示すラベルが付与されたデータを訓練データとして第３モデル５３を生成する。

【0098】

なお、第３モデル５３はＭａｓｋ Ｒ－ＣＮＮに限定されず、Ｕ－ｎｅｔ等の他のＣＮＮ、あるいはＧＡＮなどの他の機械学習モデルであってもよい。

【0099】

例えば第３モデル５３は、図１１に示すように、目標領域をサンドバッグ状のバウンディングボックスとして検出する。なお、対象とする医用画像は透視画像だけではなく断層像であってもよい。また、目標領域は、バルーンにより拡張すべき領域を正しく示すものであればよく、例えば目標領域の形状は矩形状であってもよい。

【0100】

サーバ１は、透視画像撮影装置２２から取得した透視画像をそのまま第３モデル５３への入力としてもよいが、図１１に示すように、第１モデル５１によって病変部等のオブジェクト領域を加工した第２医用画像を入力とすると好適である。これにより、第３モデル５３は、治療対象となる病変部の位置、形状等を考慮して目標領域を定めることができる。

【0101】

なお、変形例２と同様に、第２医用画像から病変部等のオブジェクトの種類や寸法を特定し、特定したオブジェクト情報を第３モデル５３に与えてもよい。

【0102】

例えばサーバ１は、病変部に対応するオブジェクト領域を加工した第２医用画像に、さらに第３モデル５３で検出した目標領域を示すバウンディングボックスを重畳することで、病変部と、バルーンにより拡張すべき範囲とを同時に示す第２医用画像を生成する。なお、サーバ１は、目標領域のみ囲んだ画像を第２医用画像として生成してもよい。サーバ１は、生成した第２医用画像を透視画像７４として表示装置２３に出力する。

【0103】

なお、本実施の形態では、病変部等のオブジェクトを検出する第１モデル５１と、バルーンで拡張すべき目標領域を検出する第３モデル５３とを別々に用意するものとするが、両者を同一のモデルとし、オブジェクトの検出と目標領域の検出とを同時に行ってもよい。

【0104】

図１２、図１３は、実施の形態２に係る第２医用画像の表示例を示す説明図である。本実施の形態において表示装置２３は、バルーンで拡張すべき目標領域を示す第２医用画像を表示すると共に、現在血管内に挿入されているバルーンを第２医用画像において識別可能に表示し、バルーン操作を支援する。図１２Ａ～図１３Ｂでは、バルーンが血管内に挿入され、目標位置に到達して拡張される様子を時系列で図示している。

【0105】

図１２Ａ、Ｂでは、バルーンが目標領域まで挿入される様子を図示している。表示装置２３は、透視画像７４において、カラー表示等の方法でオブジェクト領域７４１及び目標領域７４２を識別可能に表示する。上述の如く、オブジェクト領域７４１は病変部に対応し、目標領域７４２はバルーン７４３を配置すべき血管内の領域に対応する。

【0106】

さらに表示装置２３は、血管内に挿入されたバルーン７４３と、バルーン７４３の現在位置を表す矩形状のバルーン領域７４４とを表示する。サーバ１は、透視画像撮影装置２２から取得した透視画像から、少なくともバルーンの現在位置及び現在の拡張径（以下、「現在径」と呼ぶ）を検出し、カラー表示等の方法で識別可能に表示させる。

【0107】

なお、バルーン７４３の検出は第１モデル５１を用いて行ってもよく、あるいはパターンマッチングによる画像認識によって行ってもよい。

【0108】

さらにサーバ１は、検出したバルーン７４３の現在位置と、目標領域７４２が示すバルーン７４３の目標位置との差分値を算出し、透視画像７４の左上に表示させる。なお、バルーン７４３の現在位置とは、例えば細長のバルーン７４３の中点を現在位置としてもよく、又はバルーン７４３の先端を現在位置としてもよく、バルーン７４３の任意の点が現在位置として検出され得る。また、バルーン７４３の目標位置とは、例えばサンドバッグ状の目標領域７４２の重心を目標位置としてもよく、又はバルーン７４３とは反対側に位置する目標領域７４２の円弧中点を目標位置としてもよく、目標領域７４２内の任意の点が目標位置として設定され得る。サーバ１は、透視画像からバルーン７４３を逐次検出して現在位置と目標位置との差分値を算出して表示装置２３に表示させる。

【0109】

なお、サーバ１はバルーン７４３の位置以外に、バルーンの目標拡張径と現在径との差分値を算出して表示装置２３に表示させてもよい。

【0110】

サーバ１は、現在位置と目標位置との差分値に基づき、バルーン７４３が目標位置に到達したか否かを判定する。目標位置に到達したと判定した場合、サーバ１は、バルーン７４３の現在径と、目標領域７４２が示すバルーン７４３の目標拡張径とに基づき、現在径を目標拡張径で除算した拡張率を算出し、透視画像７４の左上に表示させる。なお、目標拡張径は、血管長手方向と直交する方向における目標領域７４２の幅であり、サンドバッグ状の目標領域７４２の両長辺の距離である。

【0111】

図１３Ａ、Ｂに、バルーン７４３が目標位置に到達してから拡張が完了するまでの様子を図示している。バルーン７４３が目標位置に到達した場合、表示装置２３は透視画像７４の左上の表示を拡張率に切り換える。サーバ１は、バルーン７４３の現在径を逐次検出して拡張率を算出し、表示装置２３に表示させる。

【0112】

上述の如く、バルーン７４３の現在位置や現在径に応じたガイダンス表示を行い、バルーン操作を支援する。なお、ガイダンス表示はバルーン７４３の位置や拡張径に応じたものに限定されず、その他の情報を表示してもよい。例えば表示装置２３は、バルーン７４３の拡張が完了して収縮を開始した場合に、第２モデル５２で推定した減衰時間に基づき、バルーン７４３の収縮に要する残り時間の表示を行う。これにより、バルーン操作をより好適に支援することができる。

【0113】

図１４は、実施の形態２に係る学習モデル５０の生成処理の手順を示すフローチャートである。
サーバ１の制御部１１は、学習モデル５０を生成するための訓練データを取得する（ステップＳ２０１）。本実施の形態に係る訓練データは、治療を実施済みの患者の医用画像と、病変部等のオブジェクト領域を示すラベルデータと、バルーンにより拡張される画像領域（目標領域）を示すラベルデータとを含む。制御部１１は処理をステップＳ１２に移行する。

【0114】

ステップＳ１３の処理を実行後、制御部１１は、医用画像を入力した場合に、バルーンで拡張すべき目標領域を検出する第３モデル５３を生成する（ステップＳ２０２）。具体的には上述の如く、制御部１１は、Ｍａｓｋ Ｒ－ＣＮＮを第３モデル５３として生成する。例えば制御部１１は、ラベルデータに従って訓練用の医用画像のオブジェクト領域を加工した第２医用画像を第３モデル５３に入力して、目標領域を検出した検出結果を出力として取得する。制御部１１は、取得した目標領域を正解のラベルデータと比較し、両者が近似するようにニューロン間の重み等のパラメータを最適化して第３モデル５３を生成する。制御部１１は一連の処理を終了する。

【0115】

図１５は、実施の形態２に係る治療情報の出力処理の手順を示すフローチャートである。第２モデル５２を用いて治療情報を生成した後（ステップＳ３３）、サーバ１は以下の処理を実行する。
制御部１１は、患者の治療前の医用画像を第３モデル５３に入力して、バルーンで拡張すべき目標領域を検出する（ステップＳ２２１）。具体的には上述の如く、制御部１１は、第１モデル５１を用いて生成した第２医用画像（透視画像）を第３モデル５３に入力して、バルーンの目標位置及び目標拡張径を示す目標領域を検出する。

【0116】

制御部１１は、医用画像から患者の血管内に挿入されたバルーンを検出する（ステップＳ２２２）。制御部１１は、検出したバルーンと、目標領域とを示す第２医用画像を生成し、ステップＳ３３で生成した治療情報と共に表示装置２３に出力する（ステップＳ２２３）。

【0117】

制御部１１は、バルーンの現在位置と、目標領域が示すバルーンの目標位置との差分値を算出し、表示装置２３に出力する（ステップＳ２２４）。制御部１１は、現在位置と目標位置との差分値に基づき、バルーンが目標位置に到達したか否かを判定する（ステップＳ２２６）。目標位置に到達していないと判定した場合（Ｓ２２５：ＮＯ）、制御部１１は処理をステップＳ２２４に戻す。目標位置に到達したと判定した場合（Ｓ２２５：ＹＥＳ）、制御部１１は、バルーンの現在径と目標拡張径とから拡張率を算出し、表示装置２３に出力する（ステップＳ２２６）。

【0118】

制御部１１は、目標拡張径まで拡張が完了したか否かを判定する（ステップＳ２２７）。拡張が完了していないと判定した場合（Ｓ２２７：ＮＯ）、制御部１１は処理をステップＳ２２６に戻す。拡張が完了したと判定した場合（Ｓ２２７：ＹＥＳ）、制御部１１は一連の処理を終了する。

【0119】

なお、上記では学習モデル５０において使用すべきバルーンの種類や形状などを自動的に予測し、そのバルーンの目標位置や拡張条件などを予測するものとしたが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、血管内治療に使用するバルーンの種類や形状を指定する指定入力をユーザから受け付け、指定されたバルーンの情報（第１バルーン情報）を学習モデル５０に入力して、当該バルーンの目標位置や拡張条件などの情報（第２バルーン情報）を予測してもよい。例えばサーバ１は、ユーザが指定した第１バルーン情報を医用画像と共に第３モデル５３に入力して、ユーザが指定したバルーンを利用した場合の目標領域を検出する。これにより、ユーザの要望に応じたバルーン操作の支援を行うことができる。

【0120】

以上より、本実施の形態２によれば、血管内治療の際のバルーン操作を好適に支援することができる。

【0121】

（変形例３）
変形例１では、治療情報を出力後に修正入力を受け付けて再学習を行う形態について説明した。実施の形態２も同様に、バルーン情報の出力後に修正入力を受け付けて再学習を行ってもよい。

【0122】

図１６は、変形例３に係る治療情報の出力処理の手順を示すフローチャートである。バルーン情報を含む治療情報を出力後（ステップＳ２２３）、サーバ１は以下の処理を実行する。
サーバ１の制御部１１は、出力したバルーン情報の修正入力を受け付ける（ステップＳ２４１）。例えば制御部１１は、バルーン情報として表示されたバルーンの種類、拡張条件等を修正する入力を受け付ける。また、制御部１１は、第２医用画像に対し、目標領域の座標範囲を修正する入力を受け付ける。制御部１１は処理をステップＳ２２４に移行する。

【0123】

バルーンの拡張が完了したと判定した場合（Ｓ２２７：ＹＥＳ）、制御部１１は、学習モデル５０に入力した元の医用画像と、修正後のバルーン情報とを訓練データとする再学習を行い、学習モデル５０を更新する（ステップＳ２４２）。すなわち制御部１１は、学習モデル５０から出力されるバルーン情報が修正後のバルーン情報に近似するようニューロン間の重み等のパラメータを最適化し、学習モデル５０を再生成する。制御部１１は一連の処理を終了する。

【0124】

以上より、本変形例３によれば、本システムの運用を通じて学習モデル５０を最適化することができる。

【0125】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0126】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１４１ 診療ＤＢ
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
２ 画像診断システム
２１ 血管内画像診断装置
２１１ カテーテル
２２１ Ｘ線源
２２２ Ｘ線センサ
２２ 透視画像撮影装置
２３ 表示装置
５０ 学習モデル
５１ 第１モデル
５２ 第２モデル
５３ 第３モデル
７１ 一覧表
７２ 経過情報欄
７３ 断層像
７４ 透視画像
７４１ オブジェクト領域
７４２ 目標領域
７４３ バルーン
７４４ バルーン領域
Ｎ ネットワーク
Ｐ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】

【図15】

【図16】