特許 7379473 診断支援装置及び診断支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】診断支援装置及び診断支援方法

(51)【国際特許分類】

   A61B 8/12 20060101AFI20231107BHJP

【ＦＩ】

A61B8/12

【請求項の数】 11

(21)【出願番号】P 2021515909

(86)(22)【出願日】2020-03-27

(86)【国際出願番号】 JP2020014319

(87)【国際公開番号】W WO2020217860

(87)【国際公開日】2020-10-29

【審査請求日】2023-02-03

(31)【優先権主張番号】P 2019086061

(32)【優先日】2019-04-26

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(73)【特許権者】

【識別番号】518110280

【氏名又は名称】株式会社ロッケン

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】坂本 泰一

(72)【発明者】

【氏名】清水 克彦

(72)【発明者】

【氏名】石原 弘之

(72)【発明者】

【氏名】大久保 到

(72)【発明者】

【氏名】佐賀 亮介

(72)【発明者】

【氏名】エン トマ

(72)【発明者】

【氏名】ジャケ クレモン

(72)【発明者】

【氏名】ヘラト ヌワン

(72)【発明者】

【氏名】エリックセン イセリン

【審査官】門田 宏

(56)【参考文献】

【文献】国際公開第２０１６／１４０１１６（ＷＯ，Ａ１）

【文献】特開２００５－１６０６１６（ＪＰ，Ａ）

【文献】特表２０１６－５１７７４６（ＪＰ，Ａ）

【文献】特開平１１－２２１２１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

血液が通る生体組織の内部を移動しながら超音波を送信する超音波振動子を用いて生成される２次元画像から、前記超音波振動子の移動範囲の３次元画像を生成する診断支援装置であって、
単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記２次元画像の横方向に対応する前記３次元画像の第１方向の画素数である第１画素数（Ｘｎ）と、前記２次元画像の縦方向に対応する前記３次元画像の第２方向の画素数である第２画素数（Ｙｎ）とに応じて、前記超音波振動子の移動方向に対応する前記３次元画像の第３方向の画素数である第３画素数（Ｚｎ）の上限（Ｚｍ）を決定する制御部を備える診断支援装置。

【請求項2】

前記制御部は、前記第１画素数（Ｘｎ）に対する、前記３次元画像の前記第１方向の寸法の比率、又は前記第２画素数（Ｙｎ）に対する、前記３次元画像の前記第２方向の寸法の比率である基準比率（Ｘｐ又はＹｐ）と、ある係数（α）との積を、前記第３画素数（Ｚｎ）に対する、前記３次元画像の前記第３方向の寸法の比率である設定比率（Ｚｐ）に決定する請求項１に記載の診断支援装置。

【請求項3】

前記３次元画像の前記第１方向の寸法は、前記２次元画像のデータが取得される範囲の横寸法（Ｘｄ）であり、前記３次元画像の前記第２方向の寸法は、前記２次元画像のデータが取得される範囲の縦寸法（Ｙｄ）である請求項２に記載の診断支援装置。

【請求項4】

前記超音波振動子は、スキャナユニットの移動に伴って移動し、
前記制御部は、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記係数（α）との積で割って得られる値を前記第３画素数（Ｚｎ）とする請求項２又は請求項３に記載の診断支援装置。

【請求項5】

前記制御部は、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記係数（α）との積で割った値が、決定した前記第３画素数（Ｚｎ）の上限（Ｚｍ）を超えるのであれば、ユーザに警告する請求項４に記載の診断支援装置。

【請求項6】

前記制御部は、前記基準比率（Ｘｐ又はＹｐ）と前記係数（α）との積を前記設定比率（Ｚｐ）に決定した後、前記係数（α）がユーザによって変更された場合に、前記基準比率（Ｘｐ又はＹｐ）と、変更後の係数（α’）との積を新たな設定比率（Ｚｐ’）に決定する請求項２又は請求項３に記載の診断支援装置。

【請求項7】

前記超音波振動子は、スキャナユニットの移動に伴って移動し、
前記制御部は、前記係数（α）が前記ユーザによって変更された場合に、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記変更後の係数（α’）との積で割った値が、決定した前記第３画素数（Ｚｎ）の上限（Ｚｍ）を超えるのであれば、前記ユーザに警告する請求項６に記載の診断支援装置。

【請求項8】

前記超音波振動子は、スキャナユニットの移動に伴って移動し、
前記制御部は、前記第３画素数（Ｚｎ）の上限（Ｚｍ）を決定した後、前記第１画素数（Ｘｎ）及び前記第２画素数（Ｙｎ）がユーザによって変更された場合に、前記スキャナユニットの移動距離の上限（Ｍｍ）を、変更後の第１画素数（Ｘｎ’）に対する、前記３次元画像の前記第１方向の寸法の比率、又は変更後の第２画素数（Ｙｎ’）に対する、前記３次元画像の前記第２方向の寸法の比率と、前記係数（α）との積で割った値が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記変更後の第１画素数（Ｘｎ’）と、前記変更後の第２画素数（Ｙｎ’）とに応じた前記第３画素数（Ｚｎ）の上限（Ｚｍ’）を超えるのであれば、前記ユーザに警告する請求項２に記載の診断支援装置。

【請求項9】

前記制御部は、単位時間当たりの前記超音波振動子の移動距離が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、決定した前記設定比率（Ｚｐ）との積よりも大きい場合に、生成される前記２次元画像の間の画像を補間する請求項２に記載の診断支援装置。

【請求項10】

前記超音波振動子は、スキャナユニットの移動に伴って移動し、
前記制御部は、前記２次元画像が生成される時間間隔ごとの前記スキャナユニットの移動距離を、決定した前記設定比率（Ｚｐ）で割って、補間画像数を決定する請求項９に記載の診断支援装置。

【請求項11】

超音波振動子が、血液が通る生体組織の内部を移動しながら超音波を送信し、
診断支援装置が、前記超音波振動子を用いて生成される２次元画像から、前記超音波振動子の移動範囲の３次元画像を生成し、
前記診断支援装置が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記２次元画像の横方向に対応する前記３次元画像の第１方向の画素数である第１画素数（Ｘｎ）と、前記２次元画像の縦方向に対応する前記３次元画像の第２方向の画素数である第２画素数（Ｙｎ）とに応じて、前記超音波振動子の移動方向に対応する前記３次元画像の第３方向の画素数である第３画素数（Ｚｎ）の上限（Ｚｍ）を決定する診断支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、診断支援装置及び診断支援方法に関する。

【背景技術】

【0002】

特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１０／０２１５２３８号明細書

【文献】米国特許第６３８５３３２号明細書

【文献】米国特許第６２５１０７２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。

【0005】

現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。

【0006】

しかし、術者が３次元画像を参照しながら施術を行えるようにするには、カテーテル操作に応じて次々に生成されるＩＶＵＳの２次元画像からリアルタイムに３次元画像を生成する必要がある。従来技術では、時間をかけて心腔内又は血管内の３次元画像を作ることしかできず、リアルタイムに３次元画像を作ることはできない。

【0007】

本開示の目的は、超音波の２次元画像を３次元化する際の３次元空間のサイズを、単位時間当たりに生成される２次元画像の数に応じたサイズに制限することである。

【課題を解決するための手段】

【0008】

本開示の一態様としての診断支援装置は、血液が通る生体組織の内部を移動しながら超音波を送信する超音波振動子を用いて生成される２次元画像から、前記超音波振動子の移動範囲の３次元画像を生成する診断支援装置であって、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記２次元画像の横方向に対応する前記３次元画像の第１方向の画素数である第１画素数（Ｘｎ）と、前記２次元画像の縦方向に対応する前記３次元画像の第２方向の画素数である第２画素数（Ｙｎ）とに応じて、前記超音波振動子の移動方向に対応する前記３次元画像の第３方向の画素数である第３画素数（Ｚｎ）の上限（Ｚｍ）を決定する制御部を備える。

【0009】

本開示の一実施形態として、前記制御部は、前記第１画素数（Ｘｎ）に対する、前記３次元画像の前記第１方向の寸法の比率、又は前記第２画素数（Ｙｎ）に対する、前記３次元画像の前記第２方向の寸法の比率である基準比率（Ｘｐ又はＹｐ）と、ある係数（α）との積を、前記第３画素数（Ｚｎ）に対する、前記３次元画像の前記第３方向の寸法の比率である設定比率（Ｚｐ）に決定する。

【0010】

本開示の一実施形態として、前記３次元画像の前記第１方向の寸法は、前記２次元画像のデータが取得される範囲の横寸法（Ｘｄ）であり、前記３次元画像の前記第２方向の寸法は、前記２次元画像のデータが取得される範囲の縦寸法（Ｙｄ）である。

【0011】

本開示の一実施形態として、前記超音波振動子は、スキャナユニットの移動に伴って移動し、前記制御部は、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記係数（α）との積で割って得られる値を前記第３画素数（Ｚｎ）とする。

【0012】

本開示の一実施形態として、前記制御部は、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記係数（α）との積で割った値が、決定した前記第３画素数（Ｚｎ）の上限（Ｚｍ）を超えるのであれば、ユーザに警告する。

【0013】

本開示の一実施形態として、前記制御部は、前記基準比率（Ｘｐ又はＹｐ）と前記係数（α）との積を前記設定比率（Ｚｐ）に決定した後、前記係数（α）がユーザによって変更された場合に、前記基準比率（Ｘｐ又はＹｐ）と、変更後の係数（α’）との積を新たな設定比率（Ｚｐ’）に決定する。

【0014】

本開示の一実施形態として、前記超音波振動子は、スキャナユニットの移動に伴って移動し、前記制御部は、前記係数（α）が前記ユーザによって変更された場合に、前記スキャナユニットの移動距離の上限（Ｍｍ）を、前記基準比率（Ｘｐ又はＹｐ）と、前記変更後の係数（α’）との積で割った値が、決定した前記第３画素数（Ｚｎ）の上限（Ｚｍ）を超えるのであれば、前記ユーザに警告する。

【0015】

本開示の一実施形態として、前記超音波振動子は、スキャナユニットの移動に伴って移動し、前記制御部は、前記第３画素数（Ｚｎ）の上限（Ｚｍ）を決定した後、前記第１画素数（Ｘｎ）及び前記第２画素数（Ｙｎ）がユーザによって変更された場合に、前記スキャナユニットの移動距離の上限（Ｍｍ）を、変更後の第１画素数（Ｘｎ’）に対する、前記３次元画像の前記第１方向の寸法の比率、又は変更後の第２画素数（Ｙｎ’）に対する、前記３次元画像の前記第２方向の寸法の比率と、前記係数（α）との積で割った値が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記変更後の第１画素数（Ｘｎ’）と、前記変更後の第２画素数（Ｙｎ’）とに応じた前記第３画素数（Ｚｎ）の上限（Ｚｍ’）を超えるのであれば、前記ユーザに警告する。

【0016】

本開示の一実施形態として、前記制御部は、前記２次元画像が生成される時間間隔ごとの前記超音波振動子の移動距離（Ｍｄ）が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、決定した前記設定比率（Ｚｐ）との積よりも大きい場合に、生成される前記２次元画像の間の画像を補間する。

【0017】

本開示の一実施形態として、前記超音波振動子は、スキャナユニットの移動に伴って移動し、前記制御部は、前記２次元画像が生成される時間間隔ごとの前記スキャナユニットの移動距離を、決定した前記設定比率（Ｚｐ）で割って、補間画像数を決定する。

【0018】

本開示の一態様としての診断支援方法では、超音波振動子が、血液が通る生体組織の内部を移動しながら超音波を送信し、診断支援装置が、前記超音波振動子を用いて生成される２次元画像から、前記超音波振動子の移動範囲の３次元画像を生成し、前記診断支援装置が、単位時間当たりに生成される前記２次元画像の数（ＦＰＳ）と、前記２次元画像の横方向に対応する前記３次元画像の第１方向の画素数である第１画素数（Ｘｎ）と、前記２次元画像の縦方向に対応する前記３次元画像の第２方向の画素数である第２画素数（Ｙｎ）とに応じて、前記超音波振動子の移動方向に対応する前記３次元画像の第３方向の画素数である第３画素数（Ｚｎ）の上限（Ｚｍ）を決定する。

【発明の効果】

【0019】

本開示の一実施形態によれば、超音波の２次元画像を３次元化する際の３次元空間のサイズを、単位時間当たりに生成される２次元画像の数に応じたサイズに制限することができる。

【図面の簡単な説明】

【0020】

【図1】本開示の一実施形態に係る診断支援システムの斜視図である。

【図2】本開示の一実施形態に係る２次元画像に含まれる複数の画素の分類例を示す図である。

【図3】本開示の一実施形態に係るプローブ及び駆動ユニットの斜視図である。

【図4】本開示の一実施形態に係る診断支援装置の構成を示すブロック図である。

【図5】本開示の一実施形態に係る診断支援システムの動作を示すフローチャートである。

【図6】本開示の一実施形態に係る診断支援装置のデータフローを示す図である。

【図7】本開示の一実施形態に係る学習済みモデルの入出力例を示す図である。

【図8】本開示の一実施形態の変形例に係る診断支援装置のデータフローを示す図である。

【図9】本開示の一実施形態に係る診断支援装置の動作を示すフローチャートである。

【図10】本開示の一実施形態に係る３次元空間を示す図である。

【図11】本開示の一実施形態に係る診断支援装置の動作を示すフローチャートである。

【図12】本開示の一実施形態に係る診断支援装置の動作を示すフローチャートである。

【図13】本開示の一実施形態の変形例に係る診断支援システムの動作を示すフローチャートである。

【図14】本開示の一実施形態に係る超音波の超音波最大到達範囲及びデータ取得範囲の例を示す図である。

【発明を実施するための形態】

【0021】

以下、本開示の一実施形態について、図を参照して説明する。

【0022】

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0023】

図１及び図２を参照して、本実施形態の概要を説明する。

【0024】

本実施形態では、診断支援装置１１が、血液が通る生体組織の内部で送信された超音波の反射波の信号が処理されることにより生成される、生体組織を含む２次元画像に含まれる複数の画素を、生体組織クラスを含む２つ以上のクラスに対応付ける。２次元画像に含まれる複数の画素を「クラスに対応付ける」とは、２次元画像の各画素に表示された生体組織などの対象物の種類を識別するために、各画素に生体組織ラベルなどのラベルを付与すること、又は各画素を生体組織クラスなどのクラスに分類することと同義である。本実施形態では、診断支援装置１１が、生体組織クラスに対応付けた画素群から生体組織の３次元画像を生成する。すなわち、診断支援装置１１が、生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。そして、ディスプレイ１６が、診断支援装置１１により生成された生体組織の３次元画像を表示する。図２の例では、５１２ピクセル＊５１２ピクセルの２次元画像に含まれる複数の画素、すなわち、２６２，１４４個の画素が生体組織クラスと、血球クラスなどの別のクラスとを含む２つ以上のクラスに分類される。図２で拡大表示した４ピクセル＊４ピクセルの領域では、全１６個の画素のうち半分の８個の画素が、生体組織クラスに分類された画素群であり、残りの８個の画素が、生体組織クラスとは別のクラスに分類された画素群である。図２では、５１２ピクセル＊５１２ピクセルの２次元画像に含まれる複数の画素の一部である４ピクセル＊４ピクセルの画素群を拡大表示し、説明の便宜上、生体組織クラスに分類された画素群にハッチングを付している。

【0025】

本実施形態によれば、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性が向上する。

【0026】

本実施形態では、超音波振動子２５が、血液が通る生体組織の内部を移動しながら超音波を送信する。診断支援装置１１が、超音波振動子２５を用いて生成される２次元画像から、超音波振動子２５の移動範囲の３次元画像を生成する。診断支援装置１１が、単位時間当たりに生成される２次元画像の数ＦＰＳと、２次元画像の横方向に対応する３次元画像の第１方向の画素数である第１画素数Ｘｎと、２次元画像の縦方向に対応する３次元画像の第２方向の画素数である第２画素数Ｙｎとに応じて、超音波振動子２５の移動方向に対応する３次元画像の第３方向の画素数である第３画素数Ｚｎの上限Ｚｍを決定する。単位時間当たりに生成される２次元画像の数ＦＰＳは、例えば、フレームレート、すなわち、１秒当たりに生成される２次元画像の数で表すことができる。

【0027】

本実施形態によれば、超音波の２次元画像を３次元化する際の３次元空間のサイズを、単位時間当たりに生成される２次元画像の数に応じたサイズに制限することができる。

【0028】

本実施形態では、診断支援装置１１は、超音波の２次元画像として、ＩＶＵＳの２次元画像を使用する。

【0029】

ＩＶＵＳは、例えば、インターベンションの最中に使用される。その理由としては、例えば、以下の理由が挙げられる。
・心腔内などの生体組織性状を判定するため。
・ステントなどの留置物を配置する位置、又は留置物が配置されている位置を確認するため。
・ＩＶＵＳカテーテル以外のカテーテル、及びガイドワイヤなどの位置を、リアルタイムに２次元画像を利用しながら確認するため。

【0030】

上述の「ＩＶＵＳカテーテル以外のカテーテル」としては、例えば、ステント留置用のカテーテル、又はアブレーションカテーテルがある。

【0031】

本実施形態によれば、術者は頭の中でＩＶＵＳの２次元画像を積層して立体構造を再構築しながら施術を行う必要がなくなる。特に若年層の医師、又は経験の浅い医師にとって障壁がなくなる。

【0032】

本実施形態では、診断支援装置１１は、術中に３次元画像でＩＶＵＳカテーテル以外のカテーテル、若しくは留置物などの位置関係、又は生体組織性状を判定できるように構成される。

【0033】

本実施形態では、診断支援装置１１は、特にＩＶＵＳカテーテルをガイドするために、リアルタイムに３次元画像を更新することができるように構成される。

【0034】

アブレーションなどの手技においては、血管又は心筋領域の厚みを考慮してアブレーションのエネルギーを決定したいという要求がある。また石灰又はプラークを削るアテレクトミーデバイスなどを使用する際は、生体組織の厚みを考慮して手技を行いたいという要望もある。本実施形態では、診断支援装置１１は、厚みを表示することができるように構成される。

【0035】

本実施形態では、診断支援装置１１は、常時更新されるＩＶＵＳ連続画像を用いて、３次元画像を更新し続けることによって、径血管的に観察可能な部位の３次元構造を提供し続けることができるように構成される。

【0036】

ＩＶＵＳの２次元画像から心腔構造を表現するためには、血球領域、心筋領域、及び心腔内にあるＩＶＵＳカテーテル以外のカテーテルなどを区別しなければならない。本実施形態では、それが可能であり、心筋領域のみを表示することができる。

【0037】

ＩＶＵＳは６ＭＨｚから６０ＭＨｚ程度の高周波数帯を使用するため、血球ノイズが強く反映されるが、本実施形態では、生体組織領域と血球領域との差異をつけることが可能である。

【0038】

１５ｆｐｓ以上９０ｆｐｓ以下の速さで更新されるＩＶＵＳの２次元画像から心腔構造を表現する処理をリアルタイムで実行するためには、１枚の画像を処理するための時間が１１ｍｓｅｃ以上６６ｍｓｅｃ以下に限られる。本実施形態では、診断支援装置１１は、そのような制限に対応することができるように構成される。

【0039】

本実施形態では、診断支援装置１１は、生体組織性状の特定、血球領域の除去、又はＩＶＵＳカテーテル以外のカテーテル位置の特定などを行った画像を３次元空間に落とし込み、３次元画像を描画するまでの処理を次のフレーム画像が来るまでの間に、すなわち、リアルタイム性が成立する時間内に計算することができるように構成される。

【0040】

本実施形態では、診断支援装置１１は、構造のみならず、石灰又はプラークの情報など、医師の要求に合った追加情報を提供することができるように構成される。

【0041】

図１を参照して、本実施形態に係る診断支援システム１０の構成を説明する。

【0042】

診断支援システム１０は、診断支援装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。

【0043】

診断支援装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。

【0044】

ケーブル１２は、診断支援装置１１と駆動ユニット１３とを接続するために用いられる。

【0045】

駆動ユニット１３は、図３に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。

【0046】

キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で診断支援装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。

【0047】

診断支援システム１０は、オプションとして、接続端子１７及びカートユニット１８をさらに備える。

【0048】

接続端子１７は、診断支援装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器としては、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体を使用できる。

【0049】

カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、診断支援装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。

【0050】

図３を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。

【0051】

プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。

【0052】

駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。

【0053】

ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。

【0054】

駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。

【0055】

スキャナユニット３１は、ケーブル１２を介して診断支援装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。

【0056】

プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と診断支援装置１１との間で信号が送受信される。診断支援装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。

【0057】

スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。

【0058】

プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。

【0059】

スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。

【0060】

スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。

【0061】

フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。

【0062】

スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者は、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。

【0063】

ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。

【0064】

図４を参照して、本実施形態に係る診断支援装置１１の構成を説明する。

【0065】

診断支援装置１１は、制御部４１、記憶部４２、通信部４３、入力部４４、及び出力部４５などの構成要素を備える。

【0066】

制御部４１は、１つ以上のプロセッサである。プロセッサとしては、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサを使用できる。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。制御部４１には、１つ以上の専用回路が含まれてもよいし、又は制御部４１において、１つ以上のプロセッサを１つ以上の専用回路に置き換えてもよい。専用回路としては、例えば、ＦＰＧＡ又はＡＳＩＣを使用できる。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、診断支援装置１１を含む診断支援システム１０の各部を制御しながら、診断支援装置１１の動作に関わる情報処理を実行する。

【0067】

記憶部４２は、１つ以上のメモリである。メモリとしては、例えば、半導体メモリ、磁気メモリ、又は光メモリを使用できる。半導体メモリとしては、例えば、ＲＡＭ又はＲＯＭを使用できる。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭとしては、例えば、ＳＲＡＭ又はＤＲＡＭを使用できる。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭとしては、例えば、ＥＥＰＲＯＭを使用できる。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。メモリは、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、診断支援装置１１の動作に用いられる情報と、診断支援装置１１の動作によって得られた情報とが記憶される。

【0068】

通信部４３は、１つ以上の通信用インタフェースである。通信用インタフェースとしては、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースを使用できる。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、診断支援装置１１の動作に用いられる情報を受信し、また診断支援装置１１の動作によって得られる情報を送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。

【0069】

入力部４４は、１つ以上の入力用インタフェースである。入力用インタフェースとしては、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースを使用できる。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、診断支援装置１１の動作に用いられる情報を入力する操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェースにキーボード１４及びマウス１５が接続されるが、通信部４３に含まれる無線ＬＡＮインタフェースにキーボード１４及びマウス１５が接続されてもよい。

【0070】

出力部４５は、１つ以上の出力用インタフェースである。出力用インタフェースとしては、例えば、ＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースを使用できる。出力部４５は、診断支援装置１１の動作によって得られる情報を出力する。本実施形態では、出力部４５に含まれるＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。

【0071】

診断支援装置１１の機能は、本実施形態に係る診断支援プログラムを、制御部４１に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置１１の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置１１の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置１１として機能させるためのプログラムである。

【0072】

プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリを使用できる。プログラムの流通は、例えば、プログラムを記録したＤＶＤ又はＣＤ－ＲＯＭなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

【0073】

コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、メモリに格納する。そして、コンピュータは、メモリに格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【0074】

診断支援装置１１の一部又は全ての機能が、制御部４１に含まれる専用回路により実現されてもよい。すなわち、診断支援装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0075】

図５を参照して、本実施形態に係る診断支援システム１０の動作を説明する。診断支援システム１０の動作は、本実施形態に係る診断支援方法に相当する。

【0076】

図５のフローの開始前に、術者によって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が心腔又は血管など、血液が通る生体組織内の目的部位まで挿入される。

【0077】

ステップＳ１において、スイッチ群３９に含まれるスキャンスイッチが押され、さらにスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。

【0078】

ステップＳ２において、プローブ２０は、ステップＳ１で送信した超音波の反射波の信号を診断支援装置１１の制御部４１に入力する。

【0079】

具体的には、プローブ２０は、生体組織の内部で反射した超音波の信号を、駆動ユニット１３及びケーブル１２を介して診断支援装置１１に送信する。診断支援装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。

【0080】

ステップＳ３において、診断支援装置１１の制御部４１は、ステップＳ２で入力された信号を処理して超音波の２次元画像を生成する。

【0081】

具体的には、図６に示すように、制御部４１は、少なくとも画像処理Ｐ１、画像処理Ｐ２、及び画像処理Ｐ３を管理するタスク管理処理ＰＭを実行する。タスク管理処理ＰＭの機能は、例えば、ＯＳの一機能として実装される。「ＯＳ」は、operating systemの略語である。制御部４１は、ステップＳ２で通信部４３によりＡ／Ｄ変換された信号を信号データ５１として取得する。制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ１を起動し、信号データ５１を処理してＩＶＵＳの２次元画像を生成する。制御部４１は、画像処理Ｐ１の結果であるＩＶＵＳの２次元画像を２次元画像データ５２として取得する。

【0082】

ステップＳ４において、診断支援装置１１の制御部４１は、ステップＳ３で生成した２次元画像に含まれる複数の画素を、生体組織を表示した画素に対応する生体組織クラスを含む２つ以上のクラスに分類する。本実施形態では、これら２つ以上のクラスには、血液に含まれる血球を表示した画素に対応する血球クラスがさらに含まれる。これら２つ以上のクラスには、ＩＶＵＳカテーテル以外のカテーテル、又はガイドワイヤなどの医療器具を表示した画素に対応する医療器具クラスがさらに含まれる。これら２つ以上のクラスには、ステントなどの留置物を表示した画素に対応する留置物クラスがさらに含まれてもよい。これら２つ以上のクラスには、石灰又はプラークなどの病変を表示した画素に対応する病変クラスがさらに含まれてもよい。各クラスは、細分化されてもよい。例えば、医療器具クラスは、カテーテルクラス、ガイドワイヤクラス、及びその他の医療器具クラスに分かれていてもよい。

【0083】

具体的には、図６及び図７に示すように、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ２を起動し、学習済みモデル６１を用いて、ステップＳ３で取得した２次元画像データ５２に含まれる複数の画素を分類する。制御部４１は、画像処理Ｐ２の結果である、２次元画像データ５２の各画素に生体組織クラス、血球クラス、及び医療器具クラスのいずれかの分類を付与した２次元画像を分類結果６２として取得する。

【0084】

ステップＳ５において、診断支援装置１１の制御部４１は、ステップＳ４で生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。本実施形態では、制御部４１は、ステップＳ３で生成した２次元画像に含まれる複数の画素からステップＳ４で血球クラスに分類した画素群を除外して生体組織の３次元画像を生成する。また、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素から医療器具の３次元画像を生成する。さらに、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素に、互いに異なる医療器具を表示した２つ以上の画素が含まれる場合、医療器具の３次元画像を医療器具ごとに生成する。

【0085】

具体的には、図６に示すように、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ２を実行し、ステップＳ４で取得した、２次元画像データ５２の各画素に分類を付与した２次元画像を積層して３次元化する。制御部４１は、画像処理Ｐ２の結果である、分類ごとの立体構造を表現するボリュームデータ５３を取得する。そして、制御部４１は、タスク管理処理ＰＭにより画像処理Ｐ３を起動し、取得したボリュームデータ５３を可視化する。制御部４１は、画像処理Ｐ３の結果である、分類ごとの立体構造を表現する３次元画像を３次元画像データ５４として取得する。

【0086】

本実施形態の一変形例として、制御部４１は、ステップＳ４で医療器具クラスに分類した１つ以上の画素の座標に基づいて、医療器具の３次元画像を生成してもよい。具体的には、制御部４１は、駆動ユニット１３のスキャナユニット３１の移動方向に沿って存在する複数の点の座標として、ステップＳ４で医療器具クラスに分類した１つ以上の画素の座標を示すデータを保持し、スキャナユニット３１の移動方向に沿って当該複数の点をつなぐ線状の３次元モデルを医療器具の３次元画像として生成してもよい。例えば、制御部４１は、カテーテルのように断面が小さい医療器具については、医療器具クラスに分類した１つ画素の中心、又は医療器具クラスに分類した画素群の中心の座標に、円断面の３次元モデルを医療器具の３次元画像として配置してもよい。すなわち、カテーテルなどの小さな物体の場合は、画素又は画素の集合としての領域ではなく、座標が分類結果６２として返されてもよい。

【0087】

ステップＳ６において、診断支援装置１１の制御部４１は、ステップＳ５で生成した生体組織の３次元画像を表示する制御を行う。本実施形態では、制御部４１は、ステップＳ５で生成した生体組織の３次元画像と医療器具の３次元画像とを互いに区別可能な形式で表示する制御を行う。制御部４１は、ステップＳ５で医療器具の３次元画像を医療器具ごとに生成していれば、生成した医療器具の３次元画像を医療器具ごとに区別可能な形式で表示する制御を行う。ディスプレイ１６は、制御部４１により制御されて生体組織の３次元画像と医療器具の３次元画像とを表示する。

【0088】

具体的には、図６に示すように、制御部４１は、３Ｄ表示処理Ｐ４を実行し、ステップＳ６で取得した３次元画像データ５４を、出力部４５を介してディスプレイ１６に表示させる。心腔又は血管などの生体組織の３次元画像と、カテーテルなどの医療器具の３次元画像とは、異なる色を付けるなどして区別可能に表示される。生体組織の３次元画像と医療器具の３次元画像とのうち、任意の画像がキーボード１４又はマウス１５により選択されてもよい。その場合、制御部４１は、入力部４４を介して、画像を選択する操作を受け付ける。制御部４１は、選択された画像を、出力部４５を介してディスプレイ１６に表示させ、選択されていない画像を非表示にする。また、任意の切断面がキーボード１４又はマウス１５により設定されてもよい。その場合、制御部４１は、入力部４４を介して、切断面を選択する操作を受け付ける。制御部４１は、選択された切断面で切断した３次元画像を、出力部４５を介してディスプレイ１６に表示させる。

【0089】

ステップＳ７において、スイッチ群３９に含まれるスキャンスイッチが再度押されていなければ、ステップＳ１に戻ってプルバック操作が継続される。その結果、ＩＶＵＳの２次元画像が、生体組織の内部で超音波の送信位置を変えながら順次生成される。一方、スキャンスイッチが再度押されていれば、プルバック操作が停止され、図５のフローが終了する。

【0090】

本実施形態では、画像処理Ｐ１及び３Ｄ表示処理Ｐ４がＣＰＵ上で実行され、画像処理Ｐ２及び画像処理Ｐ３がＧＰＵ上で実行される。ボリュームデータ５３は、ＣＰＵ内の記憶領域に保存されてもよいが、ＣＰＵ及びＧＰＵ間のデータ転送を省くために、ＧＰＵ内の記憶領域に保存される。

【0091】

特に、画像処理Ｐ２に含まれる分類、カテーテル検出、画像補間、及び３次元化の各処理は、本実施形態ではＧＰ－ＧＰＵにおいて実行されるが、ＦＰＧＡ又はＡＳＩＣなどの集積回路において実行されてもよい。「ＧＰ－ＧＰＵ」は、general purpose graphics processing unitの略語である。各処理は、直列に実行されてもよいし、並列に実行されてもよい。各処理はネットワーク経由で実行されてもよい。

【0092】

ステップＳ４では、診断支援装置１１の制御部４１が、従来のようなエッジ抽出の代わりに、領域認識によって生体組織領域を抽出している。その理由について説明する。

【0093】

ＩＶＵＳ画像において、血球領域の除去を目的に血球領域と生体組織領域との境界を示すエッジを抽出し、そのエッジを３次元空間に反映させることで３次元画像を作ることが考えられる。しかし、エッジ抽出は以下の点で非常に難易度が高い。
・血球領域と生体組織領域との境界の輝度勾配は一定ではなく、一様なアルゴリズムで全てを解決することが難しい。
・エッジで３次元画像を作る場合、血管壁のみでなく、心腔全体を対象にした場合など、複雑な構造を表現することができない。
・血球領域が生体組織内側だけでなく、左心房と右心房とが両方見える部分など、生体組織外側にも含まれるような画像ではエッジ抽出だけでは不十分である。
・エッジを抽出するだけではカテーテルを特定し得ない。特に生体組織壁とカテーテルとが接している場合には生体組織との境界を取ることは不可能である。
・薄い壁を挟むときにエッジだけではどちら側が本当に生体組織なのかがわかりにくい。
・厚みを計算しにくい。

【0094】

ステップＳ２からステップＳ６では、診断支援装置１１の制御部４１が、３次元化を行うにあたって、血球成分を除去し、臓器部分を抽出し、その情報を３次元空間に反映させ、３次元画像を描画する必要があるが、リアルタイムに３次元画像を更新し続けるために画像が送られてくる時間Ｔｘ以内にそれらの処理を終えることができる。時間Ｔｘは、１／ＦＰＳである。３次元画像を提供する従来技術では、リアルタイム処理を実現し得ない。従来の手法ではフレームごとに処理を行い、次のフレームが来るまでの間に３次元イメージを更新し続けることはできない。

【0095】

このように、本実施形態では、制御部４１は、新たに２次元画像を生成する度に、次に２次元画像を生成する前に、新たに生成した２次元画像に対応する生体組織の３次元画像を生成する。

【0096】

具体的には、制御部４１は、毎秒１５回以上９０回以下の速さでＩＶＵＳの２次元画像を生成し、毎秒１５回以上９０回以下の速さで３次元画像を更新する。

【0097】

ステップＳ４では、診断支援装置１１の制御部４１が、従来のようなエッジ抽出ではなく、領域認識によって生体組織以外の物の領域も抽出することで、カテーテルなど特に小さい物を特定することができるため、以下の課題に対処できる。
・カテーテルが壁に接していると１枚の画像だけでは、人間でも生体組織と判定してしまう。
・カテーテルを血栓又はバブルと間違えることで、１枚の画像だけではカテーテルの判定が難しい。

【0098】

平素人間が、過去の連続画像を参考情報として、カテーテル位置を推定しているように、制御部４１がカテーテル位置を特定するために過去情報を使用してもよい。

【0099】

ステップＳ４では、診断支援装置１１の制御部４１が、２次元画像中心のプローブ２０本体と壁面とが接している場合も、従来のようなエッジ抽出ではなく、領域認識によって生体組織以外の物の領域も抽出することで、それらを区別することができる。すなわち、制御部４１は、ＩＶＵＳカテーテルそれ自体と、生体組織領域とを区分することができる。

【0100】

ステップＳ４では、診断支援装置１１の制御部４１が、複雑な構造を表現し、生体組織性状を判定し、カテーテルなど小さな物を探すために、エッジ抽出ではなく、生体組織領域及びカテーテル領域を抽出する。そのために、本実施形態では、機械学習のアプローチが採用されている。制御部４１は、学習済みモデル６１を用いて、画像のそれぞれの画素に対して、その部分がどのような性質を持った部分であるかを直接評価し、分類を付与された画像を定められた条件下で設定された３次元空間に反映させる。制御部４１は、３次元空間にその情報を積層し、３次元に配置されたメモリ空間に保存された情報をベースとして３次元化を行い、３次元画像を表示させる。また、それらの処理がリアルタイムに更新され、２次元画像が対応する位置の３次元情報が更新される。順次又は並行して計算が行われる。特に並行して処理が行われることにより、時間的な効率化が図られる。

【0101】

機械学習とは、アルゴリズムを使用して入力データを解析し、その解析結果から有用な規則又は判断基準などを抽出し、アルゴリズムを発展させることを指す。機械学習のアルゴリズムは、一般的に、教師あり学習、教師なし学習、及び強化学習などに分類される。教師あり学習のアルゴリズムでは、サンプルとなる生体音の音声データ及び超音波画像という入力と、それらに対応した疾患のデータという結果とのデータセットが与えられ、それに基づき機械学習が行われる。教師なし学習のアルゴリズムでは、入力データのみが大量に与えられて機械学習が行われる。強化学習のアルゴリズムは、アルゴリズムが出力した解に基づいて環境を変化させ、出力した解がどの程度正しいのかの報酬に基づいて、修正が加えられていく。こうして得られた機械学習済みのモデルが学習済みモデル６１として用いられる。

【0102】

学習済みモデル６１は、事前に機械学習を行うことによって、サンプルとなる２次元画像から、クラスを特定できるように調教されている。サンプルとなる超音波画像及びその画像に対して予め人がラベル付けした分類が施された画像は、例えば多くの患者が集まる大学病院などの医療機関で収集される。

【0103】

ＩＶＵＳ画像には血球領域のような高ノイズが載っており、さらにシステムノイズも載っている。そのため、ステップＳ４では、診断支援装置１１の制御部４１が、学習済みモデル６１に挿入する前に画像に前処理を施す。前処理としては、例えば、simple blur、median blur、Gaussian blur、bilateral filter、median filter、若しくはblock averagingなどの様々なフィルタを用いたsmoothing、又はdilation and erosion、opening and closing、morphological gradient、若しくはtop hat and black hatなどのimage morphology、又はflood fill、resize、image pyramids、threshold、low path filter、high path filter、若しくはdiscrete wavelet transformが行われる。ただし、このような処理を通常のＣＰＵ上で行った場合、その処理のみでも６６ｍｓｅｃ以内で終わらない可能性がある。そのためこの処理をＧＰＵ上で行う。特にディープラーニングと呼ばれる複数のレイヤで構築される機械学習でのアプローチにおいて、そのレイヤとしてアルゴリズムを構築することで、リアルタイム性を持たせた前処理を行うことが可能となることを検証済みである。この検証では、５１２ピクセル＊５１２ピクセル以上の画像を用いて分類精度９７％以上、４２ｆｐｓを達成している。

【0104】

前処理の有無で比較した場合、生体組織領域の抽出においては前処理のレイヤを加えることが望ましいが、２次元画像内のカテーテルのような小さな物を判定する際は、前処理のレイヤがない方が良い。そのため、本実施形態の一変形例として、クラスごとに異なる画像処理Ｐ２が準備されてもよい。例えば、図８に示すように、生体組織クラス用の、前処理のレイヤを含む画像処理Ｐ２ａと、カテーテルクラス用又はカテーテル位置特定用の、前処理のレイヤを含まない画像処理Ｐ２ｂとを用意してもよい。

【0105】

この変形例において、診断支援装置１１の制御部４１は、２次元画像を平滑化する。平滑化とは、画素群の濃淡変動を滑らかにする処理のことである。平滑化には、上述のsmoothingが含まれる。制御部４１は、平滑化する前の２次元画像に含まれる複数の画素を医療器具クラス及び他の１つ以上のクラスに分類する第１分類処理を実行する。制御部４１は、第１分類処理で医療器具クラスに分類した１つ以上の画素を除く、平滑化した２次元画像に含まれる画素群を、生体組織クラスを含む１つ以上のクラスに分類する第２分類処理を実行する。制御部４１は、第１分類処理で分類した１つ以上の画素と、第２分類処理で分類した画素群とを重畳することで、医療器具を精度よく３次元画像に表示することができる。この変形例のさらなる変形例として、制御部４１は、平滑化する前の２次元画像に含まれる複数の画素を医療器具クラス及び他の１つ以上のクラスに分類する第１分類処理と、第１分類処理で医療器具クラスに分類した１つ以上の画素を除いた２次元画像を平滑化し、平滑化した２次元画像に含まれる画素群を、生体組織クラスを含む１つ以上のクラスに分類する第２分類処理とを実行してもよい。

【0106】

ステップＳ５では、診断支援装置１１の制御部４１が、画像処理Ｐ２による分類の結果、取得された生体組織領域の情報を用いて、生体組織の厚みを計測する。また、制御部４１が、その計測結果を３次元情報に反映させることにより、厚みを表現する。ステップＳ６では、制御部４１が、グラデーションなどを用いて立体構造の色を分けるなどの処理を加えることで、厚みを表示する。制御部４１は、さらに生体組織性状の違いなど、３次元における生体組織構造をクラスごとに色を変えるなどの表示方法で追加情報を与えてもよい。

【0107】

このように、本実施形態では、制御部４１は、ステップＳ４で生体組織クラスに分類した画素群を分析して生体組織の厚みを算出する。制御部４１は、算出した生体組織の厚みを表示する制御を行う。ディスプレイ１６は、制御部４１により制御されて生体組織の厚みを表示する。本実施形態の一変形例として、制御部４１は、生成した、生体組織の３次元画像を分析して生体組織の厚みを算出してもよい。

【0108】

本実施形態における３次元空間の定義について説明する。

【0109】

３次元化の手法としては、surface rendering又はvolume renderingなどのレンダリング手法、及びそれに付随したtexture mapping、bump mapping、又はenvironment mappingなど種々の操作が用いられる。

【0110】

本実施形態で利用される３次元空間は、リアルタイム処理を行い得るサイズに限定される。そのサイズはシステムにおいて定められた超音波画像を取得するＦＰＳに準ずるものであることが求められる。

【0111】

本実施形態ではその位置を逐一取得することができる駆動ユニット１３が使用される。駆動ユニット１３のスキャナユニット３１は一軸上を移動することができるが、その軸をｚ軸、ある瞬間のスキャナユニット３１の位置をｚとする。またｚ軸は予め規定された３次元空間のある一軸に紐付いており、その軸をＺ軸とする。Ｚ軸とｚ軸とは紐付いているため、Ｚ軸上の点ＺはＺ＝ｆ（ｚ）となるように予め定められている。

【0112】

Ｚ軸上には画像処理Ｐ２によって得られた分類結果６２の情報が反映される。ここで定義した３次元空間のＸＹ軸平面には、画像処理Ｐ２で分類可能なクラス情報を全て保存することができることが求められる。さらには、元の超音波画像における輝度情報が同時に内包されることが望ましい。画像処理Ｐ２によって得られた分類結果６２の情報は、その全てのクラス情報が、現在のスキャナユニット３１の位置に相当する３次元上Ｚ軸位置におけるＸＹ平面へと反映される。

【0113】

また３次元空間は、Ｔｘ（＝１／ＦＰＳ）ごとにvolume renderingなどを用いて３次元化されることが望ましいが、処理時間が限定されているため無限に大きくしていくことはできない。すなわち、３次元空間は、Ｔｘ（＝１／ＦＰＳ）以内に計算し得るサイズであることが求められる。

【0114】

駆動ユニット１３上の長い範囲を３次元に変換したい場合は、計算し得るサイズに収まらない可能性が考えられる。そのため、駆動ユニット１３で表示する範囲を上述の範囲内に抑えるためにＺ＝ｆ（ｚ）が適切な変換として規定される。これは、Ｚ軸上での駆動ユニット１３のスキャナユニット３１の移動範囲と、ｚ軸上でボリュームデータ５３を保存可能な範囲との両方の制限内でＺ軸上の位置をｚ軸上の位置に変換する関数を設定する必要があるということである。

【0115】

上述のように、本実施形態では、診断支援装置１１の制御部４１は、血液が通る生体組織の内部で送信された超音波の反射波の信号が処理されることにより生成される２次元画像に含まれる複数の画素を、生体組織を表示した画素に対応する生体組織クラスを含む２つ以上のクラスに分類する。制御部４１は、生体組織クラスに分類した画素群から生体組織の３次元画像を生成する。制御部４１は、生成した生体組織の３次元画像を表示する制御を行う。したがって、本実施形態によれば、超音波の２次元画像から生成される、生体組織の構造を表現する３次元画像の正確性が向上する。

【0116】

本実施形態によれば、リアルタイムに３次元画像が表示され、術者が頭の中で２次元画像を３次元空間へ変換することなく手技を行うことができるようになり、術者の疲労軽減、及び手技時間の短縮が見込まれる。

【0117】

本実施形態によれば、カテーテルなどの挿入物、又はステントなどの留置物の位置関係が明確となり、手技の失敗が減少する。

【0118】

本実施形態によれば、生体組織の性状を３次元的に捉えることが可能となり、正確な手技を行うことができる。

【0119】

本実施形態によれば、前処理のレイヤを画像処理Ｐ２の内部に入れ込むことで、精度が向上する。

【0120】

本実施形態によれば、分類された生体組織領域の情報を用いて、生体組織厚みを計測することができ、その情報を３次元情報に反映させることができる。

【0121】

本実施形態では、入力画像を超音波画像とし、アウトプットを１ピクセルごと、又は複数の画素を集合と見立てた領域に、カテーテル本体の領域、血球領域、石灰化領域、線維化領域、カテーテル領域、ステント領域、心筋壊死領域、脂肪生体組織、又は臓器間の生体組織などの２クラス以上の分類を持たせて分類を行うことで、１枚の画像内からどの部分がどの部分であるかを判定することができる。

【0122】

本実施形態では、少なくとも心臓及び血管領域に対応する生体組織クラスという分類が予め定められる。既に１ピクセルごと、又は複数の画素を集合と見立てた領域に、この生体組織クラスを含む２クラス以上の分類を持たせて分類された教師ありデータを機械学習の材料とすることで、学習効率を向上させることができる。

【0123】

本実施形態において、学習済みモデル６１は、ＣＮＮ、ＲＮＮ、及びＬＳＴＭをはじめとした任意のディープラーニング用のニューラルネットワークとして構築される。「ＣＮＮ」は、convolutional neural networkの略語である。「ＲＮＮ」は、recurrent neural networkの略語である。「ＬＳＴＭ」は、long short-term memoryの略語である。

【0124】

本実施形態の一変形例として、診断支援装置１１がステップＳ３の処理を行う代わりに、他の装置がステップＳ３の処理を行い、診断支援装置１１はステップＳ３の処理の結果として生成された２次元画像を取得してステップＳ４以降の処理を行ってもよい。すなわち、診断支援装置１１の制御部４１が、ＩＶＵＳの信号を処理して２次元画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して２次元画像を生成し、生成した２次元画像を制御部４１に入力してもよい。

【0125】

図９を参照して、診断支援装置１１が術者のカテーテル操作に応じて次々に生成されるＩＶＵＳの２次元画像からリアルタイムに３次元画像を生成するために、３次元空間のサイズを設定する動作を説明する。この動作は、図５の動作の前に行われる。

【0126】

ステップＳ１０１において、制御部４１は、入力部４４を介して、血液が通る生体組織の内部を移動しながら超音波を送信する超音波振動子２５からの超音波の反射波の信号が処理されることにより単位時間当たりに生成される２次元画像の数ＦＰＳを入力する操作を受け付ける。

【0127】

具体的には、制御部４１は、単位時間当たりに生成されるＩＶＵＳの２次元画像の数ＦＰＳを選択するか、又は具体的に指定する画面を、出力部４５を介してディスプレイ１６に表示させる。単位時間当たりに生成されるＩＶＵＳの２次元画像の数ＦＰＳを選択する画面では、例えば、３０ｆｐｓ、６０ｆｐｓ、及び９０ｆｐｓなどの選択肢が表示される。制御部４１は、入力部４４を介して、術者などのユーザがキーボード１４又はマウス１５により選択又は指定した、単位時間当たりに生成されるＩＶＵＳの２次元画像の数ＦＰＳの数値を取得する。制御部４１は、取得した、単位時間当たりに生成されるＩＶＵＳの２次元画像の数ＦＰＳの数値を記憶部４２に記憶する。

【0128】

本実施形態の一変形例として、単位時間当たりに生成されるＩＶＵＳの２次元画像の数ＦＰＳの数値が記憶部４２に予め記憶されていてもよい。

【0129】

ステップＳ１０２において、制御部４１は、ステップＳ１０１で入力された、単位時間当たりに生成される２次元画像の数ＦＰＳに応じて、３次元空間の最大ボリュームサイズＭＶＳを決定する。３次元空間の最大ボリュームサイズＭＶＳは、診断支援装置１１であるコンピュータのスペックに依存して、単位時間当たりに生成される２次元画像の数ＦＰＳの候補の数値又は数値範囲ごとに予め決定されているか、又は算出されるものとする。図１０に示すように、３次元空間のサイズは、２次元画像の横方向に対応する３次元画像の第１方向の画素数である第１画素数Ｘｎと、２次元画像の縦方向に対応する３次元画像の第２方向の画素数である第２画素数Ｙｎと、超音波振動子２５の移動方向に対応する３次元画像の第３方向の画素数である第３画素数Ｚｎとの積である。この時点では、第１画素数Ｘｎ、第２画素数Ｙｎ、及び第３画素数Ｚｎのいずれも未定である。本実施形態では、２次元画像の横方向がＸ方向、２次元画像の縦方向がＹ方向であるが、逆でもよい。本実施形態では、３次元画像の第１方向がＸ方向、３次元画像の第２方向がＹ方向、３次元画像の第３方向がＺ方向であるが、Ｘ方向及びＹ方向は逆でもよい。

【0130】

具体的には、制御部４１は、記憶部４２に予め記憶された換算表、又は予め定められた計算式を用いて、ステップＳ１０１で記憶部４２に記憶した、単位時間当たりに生成される２次元画像の数ＦＰＳの数値に対応する３次元空間の最大ボリュームサイズＭＶＳを計算する。制御部４１は、計算した最大ボリュームサイズＭＶＳの数値を記憶部４２に記憶する。

【0131】

ここで、転送速度に基づいたＶｏｘｅｌ値理論値算出法について説明する。

【0132】

ＣＰＵからＧＰＵへのデータ転送はＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）を通して行われる。その速度は、例えば、１ＧＢ／ｓを標準とし、その倍数で転送速度が決まる。多くの場合に設置されているＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）では、ＧＰＵにはｘ１６が多くの場合使われる。ここでは、ｘ１６、すなわち、１秒あたり、１６ＧＢ転送できるものと定める。

【0133】

システムの仕様上、１５ｆｐｓ以上３０ｆｐｓ以下での画面更新とするならば、ＣＰＵとＧＰＵとの間の１回当たりの転送は、１／３０［ｆｐｓ］＝０．０３３［ｆｐｓ］で行わなければならない。これから考えると、理論的に転送可能なＶｏｘｅｌデータの量は、 １６ＧＢ／ｓ＊０．０３３＝０．５３３ＧＢ＝５３３ＭＢ
となり、これが転送サイズとしての上限になる。また、Ｖｏｘｅｌ単位をどのように表現するかでもデータサイズが変わってくる。ここで、各Ｖｏｘｅｌを８ビットで表現する、つまり０～２５５としたならば、およそ５１２＊５１２＊２０００のサイズを取り扱うことができる。

【0134】

しかし、実際にはこのサイズでは処理できない。具体的には、データを更新するまでに必要な計算時間を考えたとき、以下の式が成立したとき、Ｘｆｐｓが保証されると考えられる。
１／Ｘ［ｆｐｓ］＞＝Ｔｆ（Ｓ）＋Ｔｐ（Ｖ）＋Ｆ（Ｖ）

【0135】

この式は転送前の処理及び転送後の処理時間の類型である。ここでＴｆ（Ｓ）は、サイズＳ（＝Ｘ＊Ｙ）のピクセルを処理するためにかかるフィルタの時間、Ｔｐ（Ｖ）はＶｏｘｅｌ作成及び転送準備のために必要な処理時間、Ｆ（Ｖ）はサイズＶ（＝Ｘ＊Ｙ＊Ｚ）のＶｏｘｅｌの転送時間及び描画時間である。なお、Ｔｐ（Ｖ）は無視してもよいほど小さい。また、フィルタの処理速度をｆ［ｆｐｓ］（ただし、Ｘ＜＝ｆ）とするならば、次の計算式により理論的に転送可能な上限値が計算できる。
Ｖｏｘｅｌサイズ＜＝１６ＧＢ＊（１／Ｘ－１／ｆ－Ｆ（Ｖ））

【0136】

例えば、Ｘ＝１５、Ｆ＝３０とするならば、０．０３３秒分をボリュームレンダリング及び転送時間など、他の処理に費やすことが可能になり、転送のみに時間を割くことができるならば、５１２＊５１２＊８１３８を上限、すなわち、最大ボリュームサイズＭＶＳとしたＶｏｘｅｌの転送が理論的には可能になる。

【0137】

ステップＳ１０３において、制御部４１は、入力部４４を介して、第１画素数Ｘｎ及び第２画素数Ｙｎを入力する操作を受け付ける。第１画素数Ｘｎ及び第２画素数Ｙｎは、異なる数でもよいが、本実施形態では同じ数である。

【0138】

具体的には、制御部４１は、第１画素数Ｘｎ及び第２画素数Ｙｎを選択するか、又は具体的に指定する画面を、出力部４５を介してディスプレイ１６に表示させる。第１画素数Ｘｎ及び第２画素数Ｙｎを選択する画面では、例えば、５１２＊５１２、及び１０２４＊１０２４などの選択肢が表示される。制御部４１は、入力部４４を介して、ユーザがキーボード１４又はマウス１５により選択又は指定した第１画素数Ｘｎ及び第２画素数Ｙｎの数値を取得する。制御部４１は、取得した第１画素数Ｘｎ及び第２画素数Ｙｎの数値を記憶部４２に記憶する。

【0139】

本実施形態の一変形例として、第１画素数Ｘｎ及び第２画素数Ｙｎの数値が記憶部４２に予め記憶されていてもよい。

【0140】

ステップＳ１０４において、制御部４１は、ステップＳ１０３で入力された第１画素数Ｘｎに対する、３次元画像の第１方向の寸法の比率である基準比率Ｘｐを計算する。あるいは、制御部４１は、ステップＳ１０３で入力された第２画素数Ｙｎに対する、３次元画像の第２方向の寸法の比率である基準比率Ｙｐを計算する。なお、３次元画像の第１方向の寸法は、２次元画像のデータが取得される範囲の横寸法Ｘｄである。３次元画像の第２方向の寸法は、２次元画像のデータが取得される範囲の縦寸法Ｙｄである。横寸法Ｘｄ及び縦寸法Ｙｄは、いずれも実空間上の生体組織での物理的な距離である。実空間上の生体組織の物理的な距離は、超音波の速さと時間から計算される。すなわち、３次元画像の第１方向の寸法は、生体内の、３次元画像で表現される範囲の横方向の実寸法である。３次元画像の第２方向の寸法は、生体内の、３次元画像で表現される範囲の縦方向の実寸法である。生体内の、３次元画像で表現される範囲には、生体組織だけでなく、生体組織の周辺部分が含まれてもよい。２次元画像のデータが取得される範囲の横寸法Ｘｄ、及び２次元画像のデータが取得される範囲の縦寸法Ｙｄは、ユーザが生体組織の物理的距離を推測して入力することもできる。

【0141】

具体的には、制御部４１は、記憶部４２に予め記憶された、ＩＶＵＳのデータ取得範囲の横寸法Ｘｄの数値を取得する。制御部４１は、取得した横寸法Ｘｄの数値を、ステップＳ１０３で記憶部４２に記憶した第１画素数Ｘｎの数値で割って、基準比率Ｘｐを求める。すなわち、制御部４１は、Ｘｐ＝Ｘｄ／Ｘｎを計算する。制御部４１は、求めた基準比率Ｘｐを記憶部４２に記憶する。あるいは、制御部４１は、記憶部４２に予め記憶された、ＩＶＵＳのデータ取得範囲の縦寸法Ｙｄの数値を取得する。制御部４１は、取得した縦寸法Ｙｄの数値を、ステップＳ１０３で記憶部４２に記憶した第２画素数Ｙｎの数値で割って、基準比率Ｙｐを求める。すなわち、制御部４１は、Ｙｐ＝Ｙｄ／Ｙｎを計算する。制御部４１は、求めた基準比率Ｙｐを記憶部４２に記憶する。なお、図１４に示すように、ＩＶＵＳの超音波最大到達範囲は、超音波が生体組織に反射した反射波から２次元画像を生成可能な最大の範囲である。本実施形態では、リアルタイムに３次元画像を表示するので、超音波最大到達範囲は、１／「予め決定されたＦＰＳ」に、超音波の速さを掛けた距離を半径とする円である。ＩＶＵＳのデータ取得範囲は、２次元画像のデータとして取得される範囲である。データ取得範囲は、超音波最大到達範囲の全体又は一部分として任意に設定可能である。データ取得範囲の横寸法Ｘｄ及び縦寸法Ｙｄは、いずれも超音波最大到達範囲の直径以下となる。例えば、超音波最大到達範囲の半径が８０ｍｍであるとすると、データ取得範囲の横寸法Ｘｄ及び縦寸法Ｙｄは、それぞれ０ｍｍよりも大きく、かつ超音波最大到達範囲の直径１６０ｍｍ以下の任意の値に設定される。データ取得範囲の横寸法Ｘｄ及び縦寸法Ｙｄは、実空間上の生体組織での物理的な距離のため、値が決められており、３次元画像を拡大又は縮小しても、基準比率Ｘｐ及び基準比率Ｙｐは変わらない。

【0142】

ステップＳ１０５において、制御部４１は、入力部４４を介して、スキャナユニット３１の移動距離の上限Ｍｍを入力する操作を受け付ける。超音波振動子２５は、スキャナユニット３１の移動に伴って移動し、その移動距離は、スキャナユニット３１の移動距離に一致する。スキャナユニット３１の移動距離は、本実施形態では、プルバック操作でスキャナユニット３１が後退する距離である。

【0143】

具体的には、制御部４１は、スキャナユニット３１の移動距離の上限Ｍｍを選択するか、又は具体的に指定する画面を、出力部４５を介してディスプレイ１６に表示させる。上限Ｍｍを選択する画面では、例えば、１５ｃｍ、３０ｃｍ、４５ｃｍ、及び６０ｃｍなどの選択肢が表示される。制御部４１は、入力部４４を介して、ユーザがキーボード１４又はマウス１５により選択又は指定した、スキャナユニット３１の移動距離の上限Ｍｍを取得する。制御部４１は、取得した上限Ｍｍを記憶部４２に記憶する。

【0144】

本実施形態の一変形例として、スキャナユニット３１の移動距離の上限Ｍｍが記憶部４２に予め記憶されていてもよい。

【0145】

ステップＳ１０６において、制御部４１は、ステップＳ１０４で計算された基準比率Ｘｐ又は基準比率Ｙｐと、ある係数αとの積を、第３画素数Ｚｎに対する、３次元画像の第３方向の寸法の比率である設定比率Ｚｐに決定する。係数αは、例えば１．０である。なお、３次元画像の第３方向の寸法は、超音波振動子２５が移動した範囲の移動方向の寸法である。すなわち、３次元画像の第３方向の寸法は、生体内の、３次元画像で表現される範囲の奥行き方向の実寸法である。移動方向の寸法は、実空間上の生体組織での物理的な距離である。よって、３次元画像を拡大又は縮小しても、設定比率Ｚｐは変わらない。

【0146】

具体的には、制御部４１は、ステップＳ１０４で記憶部４２に記憶した基準比率Ｘｐ又は基準比率Ｙｐと、記憶部４２に予め記憶された係数αとを掛けて、設定比率Ｚｐを求める。すなわち、制御部４１は、Ｚｐ＝α＊Ｘｐ又はＺｐ＝α＊Ｙｐを計算する。制御部４１は、求めた設定比率Ｚｐを記憶部４２に記憶する。

【0147】

ステップＳ１０７において、制御部４１は、ステップＳ１０５で入力された、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１０６で決定された設定比率Ｚｐで割って得られる値を第３画素数Ｚｎに決定する。これは、スキャナユニット３１の移動距離の上限Ｍｍと、３次元画像の第３方向の全画素に対する実寸とを合わせるためである。

【0148】

具体的には、制御部４１は、ステップＳ１０５で記憶部４２に記憶した、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１０６で記憶部４２に記憶した設定比率Ｚｐで割って、第３画素数Ｚｎを求める。すなわち、制御部４１は、Ｚｎ＝Ｍｍ／Ｚｐを計算する。制御部４１は、求めた第３画素数Ｚｎの数値を記憶部４２に記憶する。

【0149】

ステップＳ１０８において、制御部４１は、ステップＳ１０２で決定された、３次元空間の最大ボリュームサイズＭＶＳを、ステップＳ１０３で入力された第１画素数Ｘｎ及び第２画素数Ｙｎの積で割って得られる値を第３画素数Ｚｎの上限Ｚｍに決定する。

【0150】

具体的には、制御部４１は、ステップＳ１０２で記憶部４２に記憶した最大ボリュームサイズＭＶＳの数値を、ステップＳ１０３で記憶部４２に記憶した第１画素数Ｘｎ及び第２画素数Ｙｎの数値の積で割って、第３画素数Ｚｎの上限Ｚｍを求める。すなわち、制御部４１は、Ｚｍ＝ＭＶＳ／（Ｘｎ＊Ｙｎ）を計算する。制御部４１は、求めた上限Ｚｍを記憶部４２に記憶する。

【0151】

ステップＳ１０９において、制御部４１は、ステップＳ１０７で決定した第３画素数Ｚｎと、ステップＳ１０８で決定した第３画素数Ｚｎの上限Ｚｍとを比較する。

【0152】

具体的には、制御部４１は、ステップＳ１０７で記憶部４２に記憶した第３画素数Ｚｎの数値がステップＳ１０８で記憶部４２に記憶した上限Ｚｍを超えているかどうかを判定する。

【0153】

第３画素数Ｚｎが上限Ｚｍを超えていれば、ステップＳ１０１に戻って再設定が行われる。この再設定では、制御部４１は、リアルタイム処理を実現するために、ステップＳ１０１で入力された、単位時間当たりに生成される２次元画像の数ＦＰＳと、ステップＳ１０３で入力された第１画素数Ｘｎ及び第２画素数Ｙｎと、ステップＳ１０５で入力された、スキャナユニット３１の移動距離の上限Ｍｍとのうち少なくともいずれかを変更する必要があることを、出力部４５を介してユーザに通知する。すなわち、制御部４１は、ユーザに警告する。

【0154】

第３画素数Ｚｎが上限Ｚｍ以下であれば、ステップＳ１１０に進んでメモリが確保される。このメモリは、本実施形態では、３次元空間の実体であるボリュームデータ５３の記憶領域であり、具体的には、ＧＰＵ内の記憶領域である。

【0155】

上述のように、本実施形態では、診断支援装置１１は、血液が通る生体組織の内部を移動しながら超音波を送信する超音波振動子２５を用いて生成される２次元画像から、超音波振動子２５の移動範囲の３次元画像を生成する。診断支援装置１１の制御部４１は、単位時間当たりに生成される２次元画像の数ＦＰＳと、２次元画像の横方向に対応する３次元画像の第１方向の画素数である第１画素数Ｘｎと、２次元画像の縦方向に対応する３次元画像の第２方向の画素数である第２画素数Ｙｎとに応じて、超音波振動子２５の移動方向に対応する３次元画像の第３方向の画素数である第３画素数Ｚｎの上限Ｚｍを決定する。したがって、本実施形態によれば、超音波の２次元画像を３次元化する際の３次元空間のサイズを、単位時間当たりに生成される２次元画像の数に応じたサイズに制限することができる。

【0156】

本実施形態によれば、３次元空間のサイズを、カテーテル操作に応じて次々に生成されるＩＶＵＳの２次元画像からリアルタイムに３次元画像を生成可能なサイズ以下に制限することができる。その結果、術者が３次元画像を参照しながら施術を行えるようになる。

【0157】

ＩＶＵＳの２次元画像の１画素の実際のスケールは、予め定められた固定値である。この固定値を「深度」という。１／ＦＰＳ以内に計算し得るサイズで３次元化を行わなければならないため、具体的にはＦＰＳによって、最大のボリューム画素数は定まっている。そのため３次元空間内のＸ軸、Ｙ軸、及びＺ軸の画素数をそれぞれＸｎ、Ｙｎ、及びＺｎとすると、Ｘｎ＊Ｙｎ＊Ｚｎ＝＜ＭＶＳという関係が成り立つ。また、Ｘ軸、Ｙ軸、及びＺ軸それぞれの１画素当たりの実際のスケールをＸｐ、Ｙｐ、及びＺｐとすると、Ｘｐ＝Ｙｐ＝深度／（Ｘｎ又はＹｎ）、Ｚｐ＝α＊Ｘｐ＝α＊Ｙｐとなる。αは基本的には１であるが、実際３次元画像を構築した場合においては、術者のイメージにそぐわない３次元画像が完成するケースがある。そのような場合は、αを調整することにより臨床上の心腔又は血管イメージと近い３次元画像を構築することが可能である。

【0158】

３次元化する実際のスケールが、Ｘｎ、Ｙｎ、深度、及びＦＰＳの関係から、自動的に決まる場合はよいが、術者がプルバックする距離を自ら設定しようとした際は、その距離に相当するＺｎがＺｍを上回る可能性がある。その場合は再度、Ｘｎ、Ｙｎ、Ｚｎ、Ｘｐ、Ｙｐ、及びＺｐを改める必要がある。

【0159】

このようにＸ軸、Ｙ軸、及びＺ軸のそれぞれの画素が持つ意味を現実と相関性を持たせることにより、よりリアリティーのある３次元画像を構築することが可能である。また、α値を別途設けることにより、医師がイメージする実際の心腔内のイメージを構築することが可能である。本実施形態によれば、リアルタイムに更新しながら、実際のスケールを模した３次元画像を構築することが可能となる。

【0160】

以下のように、本実施形態では、ユーザが係数αを調整することができる。

【0161】

図１１を参照して、ステップＳ１０６で診断支援装置１１が基準比率Ｘｐと係数αとの積を設定比率Ｚｐに決定した後、係数αがユーザによって変更された場合の診断支援装置１１の動作を説明する。この動作は、図５の動作の前に行われてもよいし、図５の動作の途中又は後に行われてもよい。

【0162】

ステップＳ１１１において、制御部４１は、入力部４４を介して、変更後の係数α’を入力する操作を受け付ける。

【0163】

具体的には、制御部４１は、係数αの現在値を示しつつ、変更後の係数α’の値を選択するか、又は具体的に指定する画面を、出力部４５を介してディスプレイ１６に表示させる。制御部４１は、入力部４４を介して、術者などのユーザがキーボード１４又はマウス１５により選択又は指定した変更後の係数α’を取得する。制御部４１は、取得した係数α’を記憶部４２に記憶する。

【0164】

ステップＳ１１２において、制御部４１は、ステップＳ１０４で計算された基準比率Ｘｐ又は基準比率Ｙｐと、ステップＳ１１１で入力された変更後の係数α’との積を新たな設定比率Ｚｐ’に決定する。

【0165】

具体的には、制御部４１は、ステップＳ１０４で記憶部４２に記憶した基準比率Ｘｐ又は基準比率Ｙｐと、ステップＳ１１１で記憶部４２に記憶した係数α’とを掛けて、設定比率Ｚｐ’を求める。すなわち、制御部４１は、Ｚｐ’＝α’＊Ｘｐ又はＺｐ’＝α’＊Ｙｐを計算する。制御部４１は、求めた設定比率Ｚｐ’を記憶部４２に記憶する。

【0166】

ステップＳ１１３において、制御部４１は、ステップＳ１０５で入力された、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１１２で決定された設定比率Ｚｐ’で割って得られる値を第３画素数Ｚｎ’に決定する。

【0167】

具体的には、制御部４１は、ステップＳ１０５で記憶部４２に記憶した、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１１２で記憶部４２に記憶した設定比率Ｚｐ’で割って、第３画素数Ｚｎ’を求める。すなわち、制御部４１は、Ｚｎ’＝Ｍｍ／Ｚｐ’を計算する。制御部４１は、求めた第３画素数Ｚｎ’の数値を記憶部４２に記憶する。

【0168】

ステップＳ１１４において、制御部４１は、ステップＳ１１３で決定した第３画素数Ｚｎ’と、ステップＳ１０８で決定した第３画素数Ｚｎの上限Ｚｍとを比較する。

【0169】

具体的には、制御部４１は、ステップＳ１１３で記憶部４２に記憶した第３画素数Ｚｎ’の数値がステップＳ１０８で記憶部４２に記憶した上限Ｚｍを超えているかどうかを判定する。

【0170】

第３画素数Ｚｎ’が上限Ｚｍを超えていれば、ステップＳ１１１に戻って再設定が行われる。この再設定では、制御部４１は、リアルタイム処理を実現するために、ステップＳ１１１での係数αの変更をキャンセルするか、又はステップＳ１１１で係数αを係数α’とは別の値に変更する必要があることを、出力部４５を介してユーザに通知する。すなわち、制御部４１は、ユーザに警告する。一変形例として、制御部４１は、変更後の係数α’を採用しつつ、単位時間当たりに生成される２次元画像の数ＦＰＳと、第１画素数Ｘｎ及び第２画素数Ｙｎと、スキャナユニット３１の移動距離の上限Ｍｍとのうち少なくともいずれかを変更する必要があることをユーザに通知してもよい。

【0171】

第３画素数Ｚｎ’が上限Ｚｍ以下であれば、ステップＳ１１５に進んでメモリが上書きされる。

【0172】

本実施形態によれば、実際に３次元画像を構築した後に、係数αを改め、３次元画像を術者である医師が実際のイメージに近づけるために３次元のスケールを修正することができる。実験では、α＝１．０の場合にユーザが違和感を持つことがあり、係数αを調整することで、よりイメージに近い３次元画像を構築できることがわかっている。

【0173】

以下のように、本実施形態では、ユーザが第１画素数Ｘｎ及び第２画素数Ｙｎを調整することができる。

【0174】

図１２を参照して、ステップＳ１０７で診断支援装置１１が第３画素数Ｚｎの上限Ｚｍを決定した後、第１画素数Ｘｎ及び第２画素数Ｙｎがユーザによって変更された場合の診断支援装置１１の動作を説明する。この動作は、図５の動作の前に行われてもよいし、図５の動作の途中又は後に行われてもよい。

【0175】

ステップＳ１２１において、制御部４１は、入力部４４を介して、変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’を入力する操作を受け付ける。変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’は、異なる数でもよいが、本実施形態では同じ数である。

【0176】

具体的には、制御部４１は、第１画素数Ｘｎ及び第２画素数Ｙｎの現在値を示しつつ、変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’を選択するか、又は具体的に指定する画面を、出力部４５を介してディスプレイ１６に表示させる。制御部４１は、入力部４４を介して、ユーザがキーボード１４又はマウス１５により選択又は指定した変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’の数値を取得する。制御部４１は、取得した第１画素数Ｘｎ’及び第２画素数Ｙｎ’の数値を記憶部４２に記憶する。

【0177】

ステップＳ１２２において、制御部４１は、ステップＳ１２１で入力された変更後の第１画素数Ｘｎ’に対する、３次元画像の第１方向の寸法の比率である基準比率Ｘｐ’を計算する。あるいは、制御部４１は、ステップＳ１２１で入力された変更後の第２画素数Ｙｎ’に対する、３次元画像の第２方向の寸法の比率である基準比率Ｙｐ’を計算する。

【0178】

具体的には、制御部４１は、記憶部４２に予め記憶された、ＩＶＵＳのデータ取得範囲の横寸法Ｘｄの数値を取得する。制御部４１は、取得した横寸法Ｘｄの数値を、ステップＳ１２１で記憶部４２に記憶した第１画素数Ｘｎ’の数値で割って、基準比率Ｘｐ’を求める。すなわち、制御部４１は、Ｘｐ’＝Ｘｄ／Ｘｎ’を計算する。制御部４１は、求めた基準比率Ｘｐ’を記憶部４２に記憶する。あるいは、制御部４１は、記憶部４２に予め記憶された、ＩＶＵＳのデータ取得範囲の縦寸法Ｙｄの数値を取得する。制御部４１は、取得した縦寸法Ｙｄの数値を、ステップＳ１０３で記憶部４２に記憶した第２画素数Ｙｎ’の数値で割って、基準比率Ｙｐ’を求める。すなわち、制御部４１は、Ｙｐ’＝Ｙｄ／Ｙｎ’を計算する。制御部４１は、求めた基準比率Ｙｐ’を記憶部４２に記憶する。

【0179】

ステップＳ１２３において、制御部４１は、ステップＳ１２２で計算された基準比率Ｘｐ’又は基準比率Ｙｐ’と、係数αとの積を新たな設定比率Ｚｐ’に決定する。

【0180】

具体的には、制御部４１は、ステップＳ１２２で記憶部４２に記憶した基準比率Ｘｐ’又は基準比率Ｙｐ’と、記憶部４２に予め記憶された係数αとを掛けて、設定比率Ｚｐ’を求める。すなわち、制御部４１は、Ｚｐ’＝α＊Ｘｐ’又はＺｐ’＝α＊Ｙｐ’を計算する。制御部４１は、求めた設定比率Ｚｐ’を記憶部４２に記憶する。

【0181】

ステップＳ１２４において、制御部４１は、ステップＳ１０５で入力された、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１２３で決定された設定比率Ｚｐ’で割って得られる値を第３画素数Ｚｎ’に決定する。

【0182】

具体的には、制御部４１は、ステップＳ１０５で記憶部４２に記憶した、スキャナユニット３１の移動距離の上限Ｍｍを、ステップＳ１２３で記憶部４２に記憶した設定比率Ｚｐ’で割って、第３画素数Ｚｎ’を求める。すなわち、制御部４１は、Ｚｎ’＝Ｍｍ／Ｚｐ’を計算する。制御部４１は、求めた第３画素数Ｚｎ’の数値を記憶部４２に記憶する。

【0183】

ステップＳ１２５において、制御部４１は、ステップＳ１０２で決定された、３次元空間の最大ボリュームサイズＭＶＳを、ステップＳ１２１で入力された変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’の積で割って得られる値を第３画素数Ｚｎ’の上限Ｚｍ’に決定する。

【0184】

具体的には、制御部４１は、ステップＳ１０２で記憶部４２に記憶した最大ボリュームサイズＭＶＳの数値を、ステップＳ１２１で記憶部４２に記憶した第１画素数Ｘｎ’及び第２画素数Ｙｎ’の数値の積で割って、第３画素数Ｚｎ’の上限Ｚｍ’を求める。すなわち、制御部４１は、Ｚｍ’＝ＭＶＳ／（Ｘｎ’＊Ｙｎ’）を計算する。制御部４１は、求めた上限Ｚｍ’を記憶部４２に記憶する。

【0185】

ステップＳ１２６において、制御部４１は、ステップＳ１２４で決定した第３画素数Ｚｎ’と、ステップＳ１２５で決定した第３画素数Ｚｎ’の上限Ｚｍ’とを比較する。

【0186】

具体的には、制御部４１は、ステップＳ１２４で記憶部４２に記憶した第３画素数Ｚｎ’の数値がステップＳ１２５で記憶部４２に記憶した上限Ｚｍ’を超えているかどうかを判定する。

【0187】

第３画素数Ｚｎ’が上限Ｚｍ’を超えていれば、ステップＳ１２１に戻って再設定が行われる。この再設定では、制御部４１は、リアルタイム処理を実現するために、ステップＳ１２１での第１画素数Ｘｎ及び第２画素数Ｙｎの変更をキャンセルするか、又はステップＳ１２１で第１画素数Ｘｎ及び第２画素数Ｙｎを第１画素数Ｘｎ’及び第２画素数Ｙｎ’とは別の値に変更する必要があることを、出力部４５を介してユーザに通知する。すなわち、制御部４１は、ユーザに警告する。一変形例として、制御部４１は、変更後の第１画素数Ｘｎ’及び第２画素数Ｙｎ’を採用しつつ、単位時間当たりに生成される２次元画像の数ＦＰＳと、係数αと、スキャナユニット３１の移動距離の上限Ｍｍとのうち少なくともいずれかを変更する必要があることをユーザに通知してもよい。

【0188】

第３画素数Ｚｎ’が上限Ｚｍ’以下であれば、ステップＳ１２７に進んでメモリが上書きされる。

【0189】

ＩＶＵＳの２次元画像の１画素の実際のスケールは、予め定められた固定値である。この固定値を「深度」という。１／ＦＰＳ以内に計算し得るサイズで３次元化を行わなければならないため、具体的にはＦＰＳによって、最大のボリューム画素数は定まっている。そのため３次元空間内のＸ軸、Ｙ軸、及びＺ軸の画素数をそれぞれＸｎ、Ｙｎ、及びＺｎとすると、Ｘｎ＊Ｙｎ＊Ｚｎ＝＜ＭＶＳという関係が成り立つ。また、Ｘ軸、Ｙ軸、及びＺ軸それぞれの１画素当たりの実際のスケールをＸｐ、Ｙｐ、及びＺｐとすると、Ｘｐ＝Ｙｐ＝深度／（Ｘｎ又はＹｎ）、Ｚｐ＝α＊Ｘｐ＝α＊Ｙｐとなる。αは基本的には１であるが、実際３次元画像を構築した場合においては、術者のイメージにそぐわない３次元画像が完成するケースがある。そのような場合は、αを調整することにより臨床上の心腔又は血管イメージと近い３次元画像を構築することが可能である。

【0190】

３次元化する実際のスケールが、Ｘｎ、Ｙｎ、深度、及びＦＰＳの関係から、自動的に決まる場合はよいが、術者がプルバックする距離を自ら設定しようとした際は、その距離に相当するＺｎがＺｍを上回る可能性がある。その場合は再度、Ｘｎ、Ｙｎ、Ｚｎ、Ｘｐ、Ｙｐ、及びＺｐを改める必要がある。

【0191】

このようにＸ軸、Ｙ軸、及びＺ軸のそれぞれの画素が持つ意味を現実と相関性を持たせることにより、よりリアリティーのある３次元画像を構築することが可能である。また、α値を別途設けることにより、医師がイメージする実際の心腔内のイメージを構築することが可能である。本実施形態によれば、リアルタイムに更新しながら、実際のスケールを模した３次元画像を構築することが可能となる。

【0192】

以下のように、本実施形態の一変形例として、制御部４１は、２次元画像が生成される時間間隔Ｔｘ（＝１／ＦＰＳ）ごとの超音波振動子２５の移動距離Ｍｄが、決定した設定比率Ｚｐよりも大きい場合に、生成される２次元画像の間の画像を補間してもよい。つまり、制御部４１は、単位時間当たりの超音波振動子２５の移動距離が、単位時間当たりに生成される２次元画像の数ＦＰＳと、決定した設定比率Ｚｐとの積よりも大きい場合に、生成される２次元画像の間の画像を補間してもよい。すなわち、スキャナユニット３１が高速で動いた場合は、画像補間を行ってもよい。

【0193】

スキャナユニット３１が移動し得る範囲の直線状の縮尺と、３次元空間上のＺ軸における縮尺の関係はＺ＝ｆ（ｚ）で定められている。時間間隔Ｔｘにおける移動距離がＺ＝ｆ（ｚ）で定められている３次元空間上のＺ軸の１画素の意味する範囲よりも大きい場合、情報のない領域が生まれてしまう。すなわち、ＩＶＵＳカテーテルが画像を取得することができる速度は定まっており、スキャナユニット３１を高速で動かした場合、生成された画像間の距離が著しく広くなってしまう可能性がある。このような場合は画像間における欠損領域に対して、補間処理を行う必要がある。またその補間数は、超音波振動子２５の各時間間隔Ｔｘの移動距離、及びＺ＝ｆ（ｚ）の関係に従って変更する必要がある。

【0194】

補間処理は機械学習アプローチで行われることが望ましく、２次元画像ごとの分類及びカテーテル抽出の処理とまとめて実行することで、高速処理が可能となる。各処理は分離可能であり、各処理を結合させることも可能である。また各処理は並列又は順列に実行され、並列になれば時間的な節約を図ることができる。

【0195】

３次元画像を更新する範囲が広い場合、リアルタイム性を高めるためより高速に超音波振動子２５を往復運動させる必要があり、画像補間しなければならない範囲は大きくなる。すなわちプルバック速度は、３次元化範囲により可変である可能性があり、その場合補間範囲もその速度により可変である必要がある。またＩＶＵＳではマニュアルプルバック方式で人が自在に撮影範囲を動かす可能性があるが、その場合常に補間する領域を変更しつつ補間作業を行う必要がある。

【0196】

図１３を参照して、この変形例に係る診断支援システム１０の動作を説明する。

【0197】

ステップＳ２０１において、診断支援装置１１の制御部４１は、プルバック操作におけるスキャナユニット３１の位置に対応付けて３次元空間の位置を定義する。

【0198】

ステップＳ２０２からステップＳ２０６の処理については、図５のステップＳ１からステップＳ５の処理と同じであるため、説明を省略する。

【0199】

ステップＳ２０７において、診断支援装置１１の制御部４１は、ステップＳ２０２のプルバック操作におけるスキャナユニット３１の位置情報を取得する。

【0200】

ステップＳ２０８において、診断支援装置１１の制御部４１は、ステップＳ２０７で取得した位置情報で示される位置に、ステップＳ２０１で対応付けた３次元空間の位置を特定する。制御部４１は、特定した位置と、前回のステップＳ２０８で特定した位置との間の距離を計算する。制御部４１は、ステップＳ２０８の処理を初めて実行する場合は、位置の特定だけを行い、距離の計算は行わず、またステップＳ２０９からステップＳ２１２の処理をスキップする。

【0201】

ステップＳ２０９において、診断支援装置１１の制御部４１は、ステップＳ２０８で計算した距離を、ステップＳ１０６で決定した設定比率Ｚｐで割って、補間画像数を決定する。すなわち、制御部４１は、２次元画像が生成される時間間隔Ｔｘごとのスキャナユニット３１の移動距離を、決定した設定比率Ｚｐで割って、補間画像数を決定する。制御部４１は、決定した補間画像数が０である場合は、ステップＳ２１０からステップＳ２１２の処理をスキップする。

【0202】

ステップＳ２１０において、診断支援装置１１の制御部４１は、ステップＳ２０４で生成した２次元画像、及び必要に応じて前回以前のステップＳ２０４で生成した２次元画像を用いて、ステップＳ２０９で決定した数の補間画像を生成する。補間画像を生成する方法としては、一般的な画像補間方法を用いてもよいし、又は専用の画像補間方法を用いてもよい。機械学習のアプローチを用いてもよい。

【0203】

ステップＳ２１１において、診断支援装置１１の制御部４１は、ステップＳ２０８で特定した位置から逆算して、又は前回のステップＳ２０８で特定した位置から計算して、ステップＳ２０６で生成した３次元画像における、ステップＳ２１０で生成した補間画像を適用する位置を設定する。例えば、制御部４１は、ステップＳ２０９で決定した補間画像数が１であれば、ステップＳ２０８で特定した位置から、ステップＳ１０６で決定した設定比率Ｚｐに相当する距離を差し引いた位置を、ステップＳ２１０で生成した補間画像を適用する位置に設定する。制御部４１は、ステップＳ２０９で決定した補間画像数が２であれば、さらに、ステップＳ２０８で特定した位置から、ステップＳ１０６で決定した設定比率Ｚｐの２倍に相当する距離を差し引いた位置も、ステップＳ２１０で生成した補間画像を適用する位置に設定する。

【0204】

ステップＳ２１２において、診断支援装置１１の制御部４１は、ステップＳ２０５の処理と同様に、ステップＳ２１０で生成した補間画像に含まれる複数の画素を分類する。そして、制御部４１は、ステップＳ２０６の処理では、ステップＳ２０８で特定した位置に、ステップＳ２０４で生成した２次元画像が適用されるだけであったのに対し、さらにステップＳ２１１で設定した位置に、ステップＳ２１０で生成した補間画像が適用されるように、ステップＳ２０６の処理と同様の処理を行って、分類した画素群から３次元画像を生成する。

【0205】

ステップＳ２１３及びステップＳ２１４の処理については、ステップＳ２１３において、ステップＳ２０６で生成された３次元画像の代わりに、ステップＳ２１２で生成された３次元画像が表示される点を除き、図５のステップＳ６及びステップＳ７の処理と同じであるため、説明を省略する。

【0206】

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

【0207】

例えば、図６に示した画像処理Ｐ１、画像処理Ｐ２、及び画像処理Ｐ３は並列に実行されてもよい。

【符号の説明】

【0208】

１０ 診断支援システム
１１ 診断支援装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 信号データ
５２ ２次元画像データ
５３ ボリュームデータ
５４ ３次元画像データ
６１ 学習済みモデル
６２ 分類結果
６３ 血管
６４ 第１カテーテル
６５ 第２カテーテル
６６ ノイズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】