特開 2024-51351 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051351

(43)【公開日】2024-04-11

(54)【発明の名称】画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 8/12 20060101AFI20240404BHJP

【ＦＩ】

A61B8/12

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022157478

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(71)【出願人】

【識別番号】518110280

【氏名又は名称】株式会社ロッケン

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186015

【弁理士】

【氏名又は名称】小松 靖之

(74)【代理人】

【識別番号】100176728

【弁理士】

【氏名又は名称】北村 慎吾

(72)【発明者】

【氏名】坂本 泰一

(72)【発明者】

【氏名】吉澤 俊祐

(72)【発明者】

【氏名】ジャケ クレモン

(72)【発明者】

【氏名】チェン ステフェン

(72)【発明者】

【氏名】ピト ヘクトル

(72)【発明者】

【氏名】ボシェ エドガル

(72)【発明者】

【氏名】エン トマ

(72)【発明者】

【氏名】佐賀 亮介

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601BB14

4C601BB24

4C601DD14

4C601DD15

4C601EE09

4C601FE04

4C601JC08

4C601JC15

4C601KK21

(57)【要約】

【課題】生体組織を表す３次元画像の生成時における拍動の影響を低減させる。
【解決手段】画像処理装置は、生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得し、取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出し、算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択し、前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する制御部を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得し、取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出し、算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択し、前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【請求項2】

前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が最大の断面画像を選択する請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が最小の断面画像を選択する請求項１に記載の画像処理装置。

【請求項4】

前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が中央値の断面画像を選択する請求項１に記載の画像処理装置。

【請求項5】

前記制御部は、前記センサの移動方向における各位置を第１位置、１つ以上の別の位置を第２位置としたとき、前記第１位置について取得した複数の断面画像における前記内腔の断面積を、前記第２位置について得られた選択画像における前記内腔の断面積と比較し、得られた比較結果に応じて、当該複数の断面画像の中から１つの断面画像を選択する請求項１に記載の画像処理装置。

【請求項6】

前記制御部は、前記第１位置について取得した複数の断面画像のうち、前記内腔の断面積と前記第２位置について得られた選択画像における前記内腔の断面積との差が最小の断面画像を選択する請求項５に記載の画像処理装置。

【請求項7】

前記第２位置は、前記センサの移動方向における前記第１位置の前後それぞれの少なくとも１つの位置を含む請求項５に記載の画像処理装置。

【請求項8】

請求項１から請求項７のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【請求項9】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得し、
取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出し、
算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択し、
前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成し、
生成した３次元画像をディスプレイに表示する画像表示方法。

【請求項10】

生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得する処理と、
取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出する処理と、
算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択する処理と、
前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する処理と
をコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０１０／０２１５２３８号明細書

【特許文献2】米国特許第６３８５３３２号明細書

【特許文献3】米国特許第６２５１０７２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる画像診断が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。

【0005】

現状として、術者はＩＶＵＳの２次元画像を順次観察しながら、頭の中で立体構造を想像して施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。

【0006】

心腔又は血管などの生体組織は、心臓の拍動の影響によって、大きさ及び形状が経時的に変化する。３次元画像の生成に用いられるＩＶＵＳの２次元画像は、全てが拍動の周期における同じタイミングで取得されるわけではないから、結果として凹凸のある３次元画像が描画されることになってしまう。術者にとって、そのような３次元画像から生体組織の構造を正確に把握することは難しい。

【0007】

本開示の目的は、生体組織を表す３次元画像の生成時における拍動の影響を低減させることである。

【課題を解決するための手段】

【0008】

本開示の幾つかの態様を以下に示す。

【0009】

［１］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得し、取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出し、算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択し、前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する制御部を備える画像処理装置。

【0010】

［２］
前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が最大の断面画像を選択する［１］に記載の画像処理装置。

【0011】

［３］
前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が最小の断面画像を選択する［１］に記載の画像処理装置。

【0012】

［４］
前記制御部は、前記センサの移動方向における位置ごとに、取得した複数の断面画像のうち前記内腔の断面積が中央値の断面画像を選択する［１］に記載の画像処理装置。

【0013】

［５］
前記制御部は、前記センサの移動方向における各位置を第１位置、１つ以上の別の位置を第２位置としたとき、前記第１位置について取得した複数の断面画像における前記内腔の断面積を、前記第２位置について得られた選択画像における前記内腔の断面積と比較し、得られた比較結果に応じて、当該複数の断面画像の中から１つの断面画像を選択する［１］に記載の画像処理装置。

【0014】

［６］
前記制御部は、前記第１位置について取得した複数の断面画像のうち、前記内腔の断面積と前記第２位置について得られた選択画像における前記内腔の断面積との差が最小の断面画像を選択する［５］に記載の画像処理装置。

【0015】

［７］
前記第２位置は、前記センサの移動方向における前記第１位置の前後それぞれの少なくとも１つの位置を含む［５］又は［６］に記載の画像処理装置。

【0016】

［８］
［１］から［７］のいずれか１項に記載の画像処理装置と、
前記３次元画像を表示するディスプレイと
を備える画像表示システム。

【0017】

［９］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得し、
取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出し、
算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択し、
前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成し、
生成した３次元画像をディスプレイに表示する画像表示方法。

【0018】

［１０］
生体組織の内腔を移動するセンサの移動方向における位置ごとに、前記センサを用いて互いに異なる時刻に得られた複数の断面画像を取得する処理と、
取得した複数の断面画像を解析して、当該複数の断面画像における前記内腔の断面積を算出する処理と、
算出した断面積に応じて、当該複数の断面画像の中から１つの断面画像を選択する処理と、
前記センサの移動方向における複数の位置について得られた選択画像群から、前記生体組織を表す３次元画像を生成する処理と
をコンピュータに実行させる画像処理プログラム。

【発明の効果】

【0019】

本開示によれば、生体組織を表す３次元画像の生成時における拍動の影響を低減させることができる。

【図面の簡単な説明】

【0020】

【図1】本開示の実施形態に係る画像表示システムの斜視図である。

【図2】本開示の実施形態に係るプローブ及び駆動ユニットの斜視図である。

【図3】本開示の実施形態に係る複数の断面画像と、選択画像との例を示す図である。

【図4】本開示の実施形態に係るセンサを用いて得られた断面画像と、学習済みモデルによる分類後の断面画像との例を示す図である。

【図5】本開示の実施形態に係る画像処理装置の構成を示すブロック図である。

【図6】本開示の実施形態に係る画像表示システムの動作を示すフローチャートである。

【図7】本開示の実施形態に係る画像表示システムの動作の具体例を示すフローチャートである。

【図8】本開示の実施形態に係る画像表示システムの動作の変形例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本開示の一実施形態について、図を参照して説明する。

【0022】

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0023】

図１を参照して、本実施形態に係る画像表示システム１０の構成を説明する。

【0024】

画像表示システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。

【0025】

画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。

【0026】

ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。

【0027】

駆動ユニット１３は、図２に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。

【0028】

キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescentの略語である。「ＨＭＤ」は、head-mounted displayの略語である。

【0029】

画像表示システム１０は、オプションとして、接続端子１７及びカートユニット１８を更に備える。

【0030】

接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。

【0031】

カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。

【0032】

図２を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。

【0033】

プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。

【0034】

駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。

【0035】

ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示す方向と反対に、シース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示す方向に、シース２３の内部を基端側へ移動する。

【0036】

駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。

【0037】

スキャナユニット３１は、プルバックユニットとも呼ばれる。スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。

【0038】

プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。

【0039】

スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。

【0040】

プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。

【0041】

スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。

【0042】

スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。

【0043】

フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。

【0044】

スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１の前進と後退とが繰り返される。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向先端側への移動と軸方向基端側への移動とを繰り返すようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。

【0045】

ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。

【0046】

図３から図５を参照して、本実施形態の概要を説明する。

【0047】

画像処理装置１１は、生体組織６０の内腔６１を移動するセンサ７１の移動方向における位置ごとに、センサ７１を用いて互いに異なる時刻に得られた複数の断面画像５４を取得する。画像処理装置１１は、センサ７１の移動方向における位置ごとに、取得した複数の断面画像５４を解析して、当該複数の断面画像５４における内腔６１の断面積を算出する。画像処理装置１１は、センサ７１の移動方向における位置ごとに、算出した断面積に応じて、当該複数の断面画像５４の中から１つの断面画像５５を選択する。断面画像５５を選択する方法として、本実施形態では、複数の断面画像５４のうち内腔６１の断面積が最大の断面画像５４を選択する方法が用いられるが、複数の断面画像５４のうち内腔６１の断面積が最小又は中央値の断面画像５４を選択する方法が用いられてもよい。画像処理装置１１は、センサ７１の移動方向における複数の位置について得られた選択画像群から、生体組織６０を表す３次元画像５３を生成する。ディスプレイ１６は、画像処理装置１１により生成された３次元画像５３を表示する。

【0048】

本実施形態によれば、３次元画像５３の生成に用いる２次元画像群を、各２次元画像における内腔６１の断面積に応じて選択することで、拍動の周期における同じタイミングで取得された２次元画像群を選択しやすくなる。結果として、３次元画像５３の生成時における拍動の影響を低減させることができる。すなわち、３次元画像５３として、拍動の影響による凹凸のほとんどない画像を生成することが可能になる。したがって、術者が３次元画像５３から生体組織６０の構造を正確に把握しやすくなる。

【0049】

生体組織６０は、例えば、血管、又は心臓などの臓器を含む。生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。

【0050】

本実施形態では、画像処理装置１１は、センサ７１を用いて得られた断面画像５４のデータセットである断層データ５１を参照して、生体組織６０を表す３次元データ５２を生成及び更新する。画像処理装置１１は、３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。すなわち、画像処理装置１１は、断層データ５１を参照して、３次元画像５３をディスプレイ１６に表示させる。

【0051】

画像処理装置１１は、３次元画像５３において生体組織６０の内腔６１を露出させる開口を３次元データ５２に形成してもよい。画像処理装置１１は、開口の位置に応じて、３次元画像５３を画面に表示する際の視点を調整してもよい。視点とは、３次元空間に配置される仮想のカメラの位置のことである。

【0052】

センサ７１は、カテーテル７０に備えられている。カテーテル７０は、本実施形態ではプローブ２０、すなわち、ＩＶＵＳカテーテルであるが、ＯＦＤＩカテーテル又はＯＣＴカテーテルでもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。すなわち、センサ７１は、本実施形態では超音波振動子２５であり、生体組織６０の内腔６１で超音波を送信して断層データ５１を取得するが、生体組織６０の内腔６１で光を放射して断層データ５１を取得してもよい。

【0053】

図３において、Ｚ方向は、センサ７１の移動方向に相当するが、便宜上、Ｚ方向は、生体組織６０の内腔６１の長手方向に相当するとみなしてもよい。Ｚ方向に直交するＸ方向、並びにＺ方向及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔６１の短手方向に相当するとみなしてもよい。

【0054】

本実施形態では、画像処理装置１１は、断面画像５４としてのＩＶＵＳの２次元画像が得られる度に、得られた２次元画像を、センサ７１の移動方向における位置に応じたバケットＢ［ｉ］内に保存する。センサ７１の移動方向における位置は、例えば、プルバックユニットのリニアスケーラーの位置によって識別され、各画像に位置情報として付与される。位置情報は、所定の幅の範囲を含むように区画されたものであってもよい。各バケットの容量は、任意に設定されてよいが、例えば、画像４枚分である。画像がバケットＢ［ｉ］に追加される際にバケットＢ［ｉ］の容量に空きがなければ、最も古い画像が削除されてよい。画像処理装置１１は、バケットＢ［ｉ］に保存された画像に含まれる、内腔６１を表す画素の数を内腔６１の断面積として算出する。内腔６１を表す画素は、例えば、図４に示すように、学習済みモデル５６を用いて識別される。画像処理装置１１は、各バケットに保存された画像のうち断面積が最大となる画像を選択する。あるいは、各バケットに保存された画像のうち断面積が最小又は中央値となる画像を選択してもよい。画像処理装置１１は、複数のバケットについて選択した画像群を用いて、３次元画像５３を描画する。

【0055】

本実施形態では、画像処理装置１１は、学習済みモデル５６を用いて、各断面画像５４に含まれる複数の画素を２つ以上のクラスに分類する。これら２つ以上のクラスには、生体組織６０を表す画素に対応する生体組織クラス８０、内腔６１を流れる血液に含まれる血球を表す画素に対応する血球クラス８１、及びカテーテル７０以外のカテーテル、又はガイドワイヤなどの、内腔６１に挿入される医療器具６２を表す画素に対応する医療器具クラス８２が含まれる。ステントなどの留置物を表す画素に対応する留置物クラスが更に含まれてもよい。石灰又はプラークなどの病変を表す画素に対応する病変クラスが更に含まれてもよい。各クラスは、細分化されてもよい。例えば、医療器具クラス８２は、カテーテルクラス、ガイドワイヤクラス、及びその他の医療器具クラスに分かれていてもよい。

【0056】

学習済みモデル５６は、事前に機械学習を行うことによって、サンプルとなる２次元画像から、各クラスに該当する領域を検出できるように調教されている。学習済みモデル５６は、断面画像５４が入力されると、入力された断面画像５４の各画素に生体組織クラス８０、血球クラス８１、及び医療器具クラス８２のいずれかの分類を付与した断面画像５７を分類結果として出力する。本実施形態では、血球クラス８１に分類された画素が内腔６１を表す画素として扱われるが、医療器具クラス８２に分類された画素など、生体組織クラス８０を除く他のクラスに分類された画素が更に内腔６１を表す画素として扱われてもよい。各バケットには、分類前の断面画像５４が蓄積されてもよいし、又は分類後の断面画像５７が蓄積されてもよい。

【0057】

本実施形態では、画像処理装置１１は、複数のバケットについて選択した画像群に含まれる、生体組織クラス８０に分類した画素群を積層して３次元化することで、３次元画像５３を生成する。画像処理装置１１は、複数のバケットについて選択した画像群に含まれる、医療器具クラス８２に分類した画素群を積層して３次元化することで、医療器具６２の３次元画像を更に生成してもよい。あるいは、画像処理装置１１は、複数のバケットについて選択した画像群に含まれる、医療器具クラス８２に分類した画素群の座標をつなぐ線状の３次元モデルを医療器具６２の３次元画像として更に生成してもよい。

【0058】

図５を参照して、画像処理装置１１の構成を説明する。

【0059】

画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

【0060】

制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像表示システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。

【0061】

記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。記憶部４２には、図３に示した各バケットに相当する記憶領域が設定される。

【0062】

通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、Ethernet（登録商標）などの通信規格に対応した有線ＬＡＮインタフェース、ＩＥＥＥ８０２．１１などの通信規格に対応した無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「ＩＥＥＥ」は、Institute of Electrical and Electronics Engineersの略称である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。

【0063】

入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。

【0064】

出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。

【0065】

画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の動作をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の動作を実行することにより画像処理装置１１として機能する。

【0066】

プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

【0067】

コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

【0068】

画像処理装置１１の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。

【0069】

図６を参照して、本実施形態に係る画像表示システム１０の動作を説明する。画像表示システム１０の動作は、本実施形態に係る画像表示方法に相当する。

【0070】

図６のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。

【0071】

ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、更にスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像５４を順次生成することで、複数の断面画像５４を含む断層データ５１を取得する。

【0072】

具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、かつ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像５４として順次生成することで、断面画像５４のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。

【0073】

本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像５４は、断層データ５１の加工データに相当する。

【0074】

本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像５４のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。

【0075】

本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、複数の超音波振動子を周方向に並べた所謂アレイ型を用いることで、回転することなく複数方向に超音波を送信するようにしてもよい。

【0076】

本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像５４のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像５４を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像５４を生成し、生成した断面画像５４を画像処理装置１１に入力してもよい。

【0077】

ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。すなわち、制御部４１は、センサ７１によって取得された断層データ５１に基づいて３次元データ５２を生成する。ここで、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。

【0078】

具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像５４を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。

【0079】

画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる断面画像５４の画素群を２つ以上のクラスに分類する。これら２つ以上のクラスには、生体組織クラス８０と、血球クラス８１と、医療器具クラス８２とが含まれ、留置物クラス、又は病変クラスが更に含まれてもよい。分類方法としては、任意の方法を用いてよいが、本実施形態では、図４に示したように、学習済みモデル５６によって断面画像５４の画素群を分類する方法が用いられる。

【0080】

ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。

【0081】

具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。３次元画像５３は、３次元空間において生体組織６０を表す組織オブジェクト、及び当該３次元空間において医療器具６２を表す医療器具オブジェクトなどの３次元オブジェクト群を含む。すなわち、制御部４１は、記憶部４２に記憶された生体組織６０のデータから生体組織６０の３次元オブジェクトを生成し、記憶部４２に記憶された医療器具６２のデータから医療器具６２の３次元オブジェクトを生成する。制御部４１は、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。

【0082】

ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が実行される。ユーザの変更操作がなければ、ステップＳ１０６の処理が実行される。

【0083】

ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。

【0084】

具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。

【0085】

ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が実行される。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。

【0086】

ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像５４を新たに生成することで、少なくとも１つの新たな断面画像５４を含む断層データ５１を取得する。

【0087】

ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。すなわち、制御部４１は、センサ７１によって取得された断層データ５１に基づいて３次元データ５２を更新する。ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３において、３次元画像５３のリアルタイム性を向上させることができる。

【0088】

具体的には、画像処理装置１１の制御部４１は、センサ７１としての超音波振動子２５の移動方向における位置ごとに、記憶部４２に記憶された断層データ５１に含まれる、互いに異なる時刻に得られた複数の断面画像５４を解析して、当該複数の断面画像５４における内腔６１の断面積を算出する。当該複数の断面画像５４は、ステップＳ１０１で取得された断面画像５４、前回までのステップＳ１０７で取得された断面画像５４、又はこれらの両方を含み得る。ステップＳ１０２で既に断面積を算出済みの断面画像５４については、算出処理を省略してもよい。制御部４１は、超音波振動子２５の移動方向における位置ごとに、算出した断面積に応じて、当該複数の断面画像５４の中から１つの断面画像５５を選択する。より具体的には、制御部４１は、超音波振動子２５の移動方向における位置ごとに、当該複数の断面画像５４のうち内腔６１の断面積が最大の断面画像５４を断面画像５５として選択する。あるいは、制御部４１は、超音波振動子２５の移動方向における位置ごとに、当該複数の断面画像５４のうち内腔６１の断面積が最小の断面画像５４を断面画像５５として選択してもよい。あるいは、制御部４１は、超音波振動子２５の移動方向における位置ごとに、当該複数の断面画像５４のうち内腔６１の断面積が中央値の断面画像５４を断面画像５５として選択してもよい。制御部４１は、超音波振動子２５の移動方向における複数の位置について得られた選択画像群から、生体組織６０の３次元データ５２を更新する。より具体的には、制御部４１は、超音波振動子２５の移動方向における位置ごとに選択した断面画像５５を含む選択画像群を積層して３次元化することで、生体組織６０の３次元データ５２を更新する。３次元化の手法としては、ステップＳ１０２と同様の手法が用いられる。制御部４１は、更新した３次元データ５２を記憶部４２に記憶させる。

【0089】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の具体例を図７に示す。この図に示したステップＳ２０１において、画像処理装置１１の制御部４１は、最新の断面画像５４を、最新の断面画像５４が得られたときの超音波振動子２５の移動方向における位置に対応するバケットＢ［ｉ］に追加する。図３に示したように、バケットＢ［ｉ］には、最新の断面画像５４が得られたときよりも前に、超音波振動子２５が同じ位置にあるときに得られた１つ以上の他の断面画像５４が既に格納されている。ステップＳ２０２において、制御部４１は、バケットＢ［ｉ］内の、最新の断面画像５４を含む複数の断面画像５４における内腔６１の断面積を算出する。ステップＳ２０３において、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４のうち内腔６１の断面積が最大の断面画像５４を断面画像５５として選択する。あるいは、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４のうち内腔６１の断面積が最小の断面画像５４を断面画像５５として選択してもよい。あるいは、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４のうち内腔６１の断面積が中央値の断面画像５４を断面画像５５として選択してもよい。

【0090】

画像処理装置１１の制御部４１は、ステップＳ１０２と同様に、最新の断面画像５４の画素群を２つ以上のクラスに分類する。そのため、ステップＳ２０２において、制御部４１は、バケットＢ［ｉ］内の断面画像５４ごとに、血球クラス８１に分類された画素の数など、内腔６１を表す画素の数を内腔６１の断面積として算出する。

【0091】

ステップＳ１０８の後、再びステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。

【0092】

最新の断面画像５４が取得されたときに断面画像５５が選択される動作の変形例を図８に示す。この図に示したステップＳ２１１及びステップＳ２１２の処理については、図７に示したステップＳ２０１及びステップＳ２０２の処理と同様であるため、説明を省略する。ステップＳ２１３において、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４における内腔６１の断面積を、図３に示したような前後のバケットＢ［ｉ－４］，・・・，Ｂ［ｉ－１］及びＢ［ｉ＋１］，・・・，Ｂ［ｉ＋４］内で選択した断面画像５５における内腔６１の断面積と比較する。ステップＳ２１４において、制御部４１は、バケットＢ［ｉ］内の複数の断面画像５４のうち、バケットＢ［ｉ－４］，・・・，Ｂ［ｉ－１］及びＢ［ｉ＋１］，・・・，Ｂ［ｉ＋４］内で選択した断面画像５５との内腔６１の断面積の差が最小の断面画像５４を断面画像５５として選択する。あるいは、制御部４１は、バケットＢ［ｉ－４］，・・・，Ｂ［ｉ－１］及びＢ［ｉ＋１］，・・・，Ｂ［ｉ＋４］内で選択した断面画像５５に対して、移動方向における位置差に応じた重み付けをした上で、バケットＢ［ｉ］内の複数の断面画像５４のうち、バケットＢ［ｉ－４］，・・・，Ｂ［ｉ－１］及びＢ［ｉ＋１］，・・・，Ｂ［ｉ＋４］内で選択した断面画像５５との内腔６１の断面積の差の合計が最も小さくなる断面画像５４を断面画像５５として選択してもよい。移動方向における位置差をｊとしたとき、１／ｊ^２を重み付けの係数として用いることが考えられる。図８に示した例では、前後４つずつのバケット内で選択した断面画像５５を比較対象としているが、任意の数のバケット内で選択した断面画像５５を比較対象としてもよいし、又は前後いずれか片方の１つ以上のバケット内で選択した断面画像５５を比較対象としてもよい。

【0093】

上述したように、画像処理装置１１の制御部４１は、センサ７１の移動方向における各位置を第１位置、１つ以上の別の位置を第２位置としたとき、第１位置について取得した複数の断面画像５４における内腔６１の断面積を、第２位置について得られた選択画像における内腔６１の断面積と比較してもよい。制御部４１は、得られた比較結果に応じて、当該複数の断面画像５４の中から１つの断面画像５５を選択してもよい。具体的には、制御部４１は、第１位置について取得した複数の断面画像５４のうち、第２位置について得られた選択画像との内腔６１の断面積の差が最小の断面画像５４を断面画像５５として選択してもよい。第２位置は、センサ７１の移動方向における第１位置の前後それぞれの少なくとも１つの位置を含んでよい。

【0094】

この変形例によれば、第１位置について取得された複数の断面画像５４の中に、非常に大きな領域が血球クラス８１に該当する領域として誤検出されてしまうような断面画像５４が含まれていても、その断面画像５４が選択されるのを避けることができる。同様に、第１位置について取得された複数の断面画像５４の中に、非常に小さな領域が血球クラス８１に該当する領域として誤検出されてしまうような断面画像５４が含まれていても、その断面画像５４が選択されるのを避けることができる。そのため、３次元画像５３として、よりノイズの少ない画像を生成することが可能になる。したがって、術者が３次元画像５３から生体組織６０の構造をより正確に把握しやすくなる。

【0095】

本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

【符号の説明】

【0096】

１０ 画像表示システム
１１ 画像処理装置
１２ ケーブル
１３ 駆動ユニット
１４ キーボード
１５ マウス
１６ ディスプレイ
１７ 接続端子
１８ カートユニット
２０ プローブ
２１ 駆動シャフト
２２ ハブ
２３ シース
２４ 外管
２５ 超音波振動子
２６ 中継コネクタ
３１ スキャナユニット
３２ スライドユニット
３３ ボトムカバー
３４ プローブ接続部
３５ スキャナモータ
３６ 差込口
３７ プローブクランプ部
３８ スライドモータ
３９ スイッチ群
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 入力部
４５ 出力部
５１ 断層データ
５２ ３次元データ
５３ ３次元画像
５４ 断面画像
５５ 断面画像
５６ 学習済みモデル
５７ 断面画像
６０ 生体組織
６１ 内腔
６２ 医療器具
７０ カテーテル
７１ センサ
８０ 生体組織クラス
８１ 血球クラス
８２ 医療器具クラス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】