(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-09
(45)【発行日】2024-08-20
(54)【発明の名称】診断支援装置、診断支援システム、及び診断支援方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20240813BHJP
【FI】
A61B8/12
(21)【出願番号】P 2021551341
(86)(22)【出願日】2020-09-29
(86)【国際出願番号】 JP2020037036
(87)【国際公開番号】W WO2021065963
(87)【国際公開日】2021-04-08
【審査請求日】2023-07-31
(31)【優先権主張番号】P 2019178972
(32)【優先日】2019-09-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(73)【特許権者】
【識別番号】518110280
【氏名又は名称】株式会社ロッケン
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186015
【氏名又は名称】小松 靖之
(74)【代理人】
【識別番号】100176728
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】坂本 泰一
(72)【発明者】
【氏名】清水 克彦
(72)【発明者】
【氏名】石原 弘之
(72)【発明者】
【氏名】ジャケ クレモン
(72)【発明者】
【氏名】エン トマ
(72)【発明者】
【氏名】ヘラト ヌワン
(72)【発明者】
【氏名】エリックセン イセリン
(72)【発明者】
【氏名】佐賀 亮介
【審査官】井海田 隆
(56)【参考文献】
【文献】特開2003-010186(JP,A)
【文献】特開2018-157938(JP,A)
【文献】特開2012-196437(JP,A)
【文献】特開2000-316864(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 ー 8/15
(57)【特許請求の範囲】
【請求項1】
生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援装置であって、
前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる開口を前記3次元データに形成するとともに、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する制御部を備える診断支援装置。
【請求項2】
前記制御部は、前記生体組織の内壁面から前記開口を通って前記生体組織の外部に延びる直線の上に前記視点を配置する請求項1に記載の診断支援装置。
【請求項3】
前記制御部は、前記生体組織の断面において、前記生体組織の内壁面から前記開口の第1端縁を通って前記生体組織の外部に延びる第1直線と、前記生体組織の内壁面から前記開口の第2端縁を通って前記生体組織の外部に延びる第2直線とで挟まれる領域の中に前記視点を配置する請求項2に記載の診断支援装置。
【請求項4】
前記第1直線が前記生体組織の内壁面と交わる点は、前記第2直線が前記生体組織の内壁面と交わる点と同一である請求項3に記載の診断支援装置。
【請求項5】
前記第1直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点と同一である請求項4に記載の診断支援装置。
【請求項6】
前記第1直線が前記生体組織の内壁面と交わる点、及び前記第2直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点か
ら等距離にある請求項3に記載の診断支援装置。
【請求項7】
ユーザの操作を受け付ける入力部をさらに備え、
前記制御部は、前記開口の位置と、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置とを設定する操作を、前記入力部を介して受け付ける請求項3から請求項6のいずれか1項に記載の診断支援装置。
【請求項8】
ユーザの操作を受け付ける入力部をさらに備え、
前記制御部は、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置を設定する操作を、前記入力部を介して受け付け、受け付けた操作によって設定された位置に応じて、前記開口の位置を決定する請求項3から請求項6のいずれか1項に記載の診断支援装置。
【請求項9】
前記制御部は、前記開口の第1端縁と前記開口の第2端縁とを結んだ直線の中点から当該直線に対して垂直に引いた直線の延長線上に前記視点を配置する請求項1から請求項8のいずれか1項に記載の診断支援装置。
【請求項10】
前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点を前記第1位置に応じた第3位置から前記第2位置に応じた第4位置に移動させる請求項1から請求項9のいずれか1項に記載の診断支援装置。
【請求項11】
前記制御部は、前記視点の前記第3位置から前記第4位置への移動に合わせて、前記3次元画像を前記ディスプレイに表示する際の仮想の光源を移動させる請求項10に記載の診断支援装置。
【請求項12】
前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点が前記第3位置から前記第4位置へ徐々に移動する動画像を前記3次元画像として前記ディスプレイに表示する請求項10又は請求項11に記載の診断支援装置。
【請求項13】
前記制御部は、前記3次元画像として、第1画像及び第2画像を並べて前記ディスプレイに表示し、前記第1画像について、前記開口である第1開口を形成し、前記視点である第1視点を調整するとともに、前記第2画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる第2開口を、前記第1開口の位置を周方向に回転させた位置に形成し、前記第2開口の位置に応じて、前記第2画像を前記ディスプレイに表示する際の第2視点を調整する請求項1から請求項12のいずれか1項に記載の診断支援装置。
【請求項14】
前記第2開口の位置は、前記第1開口の位置を周方向に90度回転させた位置である請求項13に記載の診断支援装置。
【請求項15】
前記制御部は、前記3次元データにおいて前記生体組織の一部を切り落とすことで前記開口を形成し、切り落とした部分に相当する領域を前記生体組織の断面画像上で表す2次元画像を前記ディスプレイに表示する請求項1から請求項14のいずれか1項に記載の診断支援装置。
【請求項16】
請求項1から請求項15のいずれか1項に記載の診断支援装置と、
前記生体組織の中を移動しながら前記断層データを取得するセンサと
を備える診断支援システム。
【請求項17】
前記ディスプレイをさらに備える請求項16に記載の診断支援システム。
【請求項18】
生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援方法であって、
前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に対して露出させる開口を前記3次元データに形成し、
形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、診断支援装置、診断支援システム、及び診断支援方法に関する。
【背景技術】
【0002】
特許文献1から特許文献3には、US画像システムを用いて心腔又は血管の3次元画像を生成する技術が記載されている。「US」は、ultrasoundの略語である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2010/0215238号明細書
【文献】米国特許第6385332号明細書
【文献】米国特許第6251072号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
心腔内、心臓血管、及び下肢動脈領域などに対してIVUSを用いる治療が広く行われている。「IVUS」は、intravascular ultrasoundの略語である。IVUSとはカテーテル長軸に対して垂直平面の2次元画像を提供するデバイス又は方法のことである。
【0005】
現状として、術者は頭の中でIVUSの2次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、IVUSの2次元画像から心腔又は血管などの生体組織の構造を表現する3次元画像を自動生成し、生成した3次元画像を術者に向けて表示することが考えられる。
【0006】
しかし、術者が3次元画像で生体組織の外壁しか見えないのであれば、生体組織の内部に対する施術を行えない。
【0007】
本開示の目的は、ユーザが3次元画像で生体組織の内部を見ることができるようにすることである。
【課題を解決するための手段】
【0008】
本開示の一態様としての診断支援装置は、生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援装置であって、前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる開口を前記3次元データに形成するとともに、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整する制御部を備える。
【0009】
一実施形態として、前記制御部は、前記生体組織の内壁面から前記開口を通って前記生体組織の外部に延びる直線の上に前記視点を配置する。
【0010】
一実施形態として、前記制御部は、前記生体組織の断面において、前記生体組織の内壁面から前記開口の第1端縁を通って前記生体組織の外部に延びる第1直線と、前記生体組織の内壁面から前記開口の第2端縁を通って前記生体組織の外部に延びる第2直線とで挟まれる領域の中に前記視点を配置する。
【0011】
一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点は、前記第2直線が前記生体組織の内壁面と交わる点と同一である。
【0012】
一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点と同一である。
【0013】
一実施形態として、前記第1直線が前記生体組織の内壁面と交わる点、及び前記第2直線が前記生体組織の内壁面と交わる点は、前記開口の第1端縁と前記開口の第2端縁とを結んだ第3直線の中点から前記第3直線に対して垂直に引いた第4直線が前記生体組織の内壁面と交わる点から略等距離にある。
【0014】
一実施形態として、前記診断支援装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記開口の位置と、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置とを設定する操作を、前記入力部を介して受け付ける。
【0015】
一実施形態として、前記診断支援装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記第1直線及び前記第2直線が前記生体組織の内壁面と交わる点の位置を設定する操作を、前記入力部を介して受け付け、受け付けた操作によって設定された位置に応じて、前記開口の位置を決定する。
【0016】
一実施形態として、前記制御部は、前記開口の第1端縁と前記開口の第2端縁とを結んだ直線の中点から当該直線に対して垂直に引いた直線の延長線上に前記視点を配置する。
【0017】
一実施形態として、前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点を前記第1位置に応じた第3位置から前記第2位置に応じた第4位置に移動させる。
【0018】
一実施形態として、前記制御部は、前記視点の前記第3位置から前記第4位置への移動に合わせて、前記3次元画像を前記ディスプレイに表示する際の仮想の光源を移動させる。
【0019】
一実施形態として、前記制御部は、前記開口の位置を第1位置から第2位置に変更する場合に、前記視点が前記第3位置から前記第4位置へ徐々に移動する動画像を前記3次元画像として前記ディスプレイに表示する。
【0020】
一実施形態として、前記制御部は、前記3次元画像として、第1画像及び第2画像を並べて前記ディスプレイに表示し、前記第1画像について、前記開口である第1開口を形成し、前記視点である第1視点を調整するとともに、前記第2画像において前記生体組織の内壁面を前記生体組織の外部に向けて露出させる第2開口を、前記第1開口の位置を周方向に回転させた位置に形成し、前記第2開口の位置に応じて、前記第2画像を前記ディスプレイに表示する際の第2視点を調整する。
【0021】
一実施形態として、前記第2開口の位置は、前記第1開口の位置を周方向に90度回転させた位置である。
【0022】
一実施形態として、前記制御部は、前記3次元データにおいて前記生体組織の一部を切り落とすことで前記開口を形成し、切り落とした部分に相当する領域を前記生体組織の断面画像上で表す2次元画像を前記ディスプレイに表示する。
【0023】
本開示の一態様としての診断支援システムは、前記診断支援装置と、前記生体組織の中を移動しながら前記断層データを取得するセンサとを備える。
【0024】
一実施形態として、前記診断支援システムは、前記ディスプレイをさらに備える。
【0025】
本開示の一態様としての診断支援方法は、生体組織の断層データに基づいて前記生体組織の3次元データを生成し、生成した3次元データを3次元画像としてディスプレイに表示する診断支援方法であって、前記3次元画像において前記生体組織の内壁面を前記生体組織の外部に対して露出させる開口を前記3次元データに形成し、形成した開口の位置に応じて、前記3次元画像を前記ディスプレイに表示する際の視点を調整するものである。
【発明の効果】
【0026】
本開示によれば、ユーザが3次元画像で生体組織の内部を見ることができるようになる。
【図面の簡単な説明】
【0027】
【
図1】一実施形態に係る診断支援システムの斜視図である。
【
図2】一実施形態に係るプローブ及び駆動ユニットの斜視図である。
【
図3】一実施形態に係る診断支援装置の構成を示すブロック図である。
【
図4】一実施形態に係る診断支援システムの動作を示すフローチャートである。
【
図5】一実施形態に係る生体組織の断面、開口、及び視点の位置関係を示す図である。
【
図6】一実施形態に係るディスプレイの画面に対する3次元画像のサイズの比率を示す図である。
【
図7】一実施形態に係る開口、視点、及び仮想の光源の変更前の位置を示す図である。
【
図8】一実施形態に係る開口、視点、及び仮想の光源の変更後の位置を示す図である。
【
図9】一変形例に係る生体組織の断面、開口、及び視点の位置関係を示す図である。
【
図10】一変形例に係る3次元画像の例を示す図である。
【
図11】一変形例に係る生体組織の断面、開口、切り落とされた部分に相当する領域、及び視点の位置関係を示す図である。
【
図12】一変形例に係る2次元画像の例を示す図である。
【発明を実施するための形態】
【0028】
以下、一実施形態について、図を参照して説明する。
【0029】
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
【0030】
図1、
図3、及び
図5を参照して、本実施形態の概要を説明する。
【0031】
本実施形態に係る診断支援装置11は、生体組織60の断層データ51に基づいて生体組織60の3次元データ52を生成する。診断支援装置11は、生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。診断支援装置11は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。診断支援装置11は、形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。「視点」とは、3次元空間に配置される仮想のカメラ71の位置のことである。
【0032】
本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
【0033】
生体組織60は、例えば、血管、又は心臓などの臓器である。
【0034】
図1を参照して、本実施形態に係る診断支援システム10の構成を説明する。
【0035】
診断支援システム10は、診断支援装置11、ケーブル12、駆動ユニット13、キーボード14、マウス15、及びディスプレイ16を備える。
【0036】
診断支援装置11は、本実施形態では画像診断に特化した専用のコンピュータであるが、PCなどの汎用のコンピュータでもよい。「PC」は、personal computerの略語である。
【0037】
ケーブル12は、診断支援装置11と駆動ユニット13とを接続するために用いられる。
【0038】
駆動ユニット13は、
図2に示すプローブ20に接続して用いられ、プローブ20を駆動する装置である。駆動ユニット13は、MDUとも呼ばれる。「MDU」は、motor drive unitの略語である。プローブ20は、IVUSに適用される。プローブ20は、IVUSカテーテル又は画像診断用カテーテルとも呼ばれる。
【0039】
キーボード14、マウス15、及びディスプレイ16は、任意のケーブルを介して、又は無線で診断支援装置11と接続される。ディスプレイ16は、例えば、LCD、有機ELディスプレイ、又はHMDである。「LCD」は、liquid crystal displayの略語である。「EL」は、electro luminescenceの略語である。「HMD」は、head-mounted displayの略語である。
【0040】
診断支援システム10は、オプションとして、接続端子17及びカートユニット18をさらに備える。
【0041】
接続端子17は、診断支援装置11と外部機器とを接続するために用いられる。接続端子17は、例えば、USB端子である。「USB」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
【0042】
カートユニット18は、移動用のキャスタ付きのカートである。カートユニット18のカート本体には、診断支援装置11、ケーブル12、及び駆動ユニット13が設置される。カートユニット18の最上部のテーブルには、キーボード14、マウス15、及びディスプレイ16が設置される。
【0043】
図2を参照して、本実施形態に係るプローブ20及び駆動ユニット13の構成を説明する。
【0044】
プローブ20は、駆動シャフト21、ハブ22、シース23、外管24、超音波振動子25、及び中継コネクタ26を備える。
【0045】
駆動シャフト21は、生体の体腔内に挿入されるシース23と、シース23の基端に接続した外管24とを通り、プローブ20の基端に設けられたハブ22の内部まで延びている。駆動シャフト21は、信号を送受信する超音波振動子25を先端に有してシース23及び外管24内に回転可能に設けられる。中継コネクタ26は、シース23及び外管24を接続する。
【0046】
ハブ22、駆動シャフト21、及び超音波振動子25は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ22が先端側に向けて押される操作がなされると、駆動シャフト21及び超音波振動子25がシース23の内部を先端側へ移動する。例えば、ハブ22が基端側に引かれる操作がなされると、駆動シャフト21及び超音波振動子25は、矢印で示すように、シース23の内部を基端側へ移動する。
【0047】
駆動ユニット13は、スキャナユニット31、スライドユニット32、及びボトムカバー33を備える。
【0048】
スキャナユニット31は、ケーブル12を介して診断支援装置11と接続する。スキャナユニット31は、プローブ20と接続するプローブ接続部34と、駆動シャフト21を回転させる駆動源であるスキャナモータ35とを備える。
【0049】
プローブ接続部34は、プローブ20の基端に設けられたハブ22の差込口36を介して、プローブ20と着脱自在に接続する。ハブ22の内部では、駆動シャフト21の基端が回転自在に支持されており、スキャナモータ35の回転力が駆動シャフト21に伝えられる。また、ケーブル12を介して駆動シャフト21と診断支援装置11との間で信号が送受信される。診断支援装置11では、駆動シャフト21から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
【0050】
スライドユニット32は、スキャナユニット31を進退自在に載せており、スキャナユニット31と機械的且つ電気的に接続している。スライドユニット32は、プローブクランプ部37、スライドモータ38、及びスイッチ群39を備える。
【0051】
プローブクランプ部37は、プローブ接続部34よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部34に接続されるプローブ20を支持する。
【0052】
スライドモータ38は、軸方向の駆動力を生じさせる駆動源である。スライドモータ38の駆動によってスキャナユニット31が進退動し、それに伴って駆動シャフト21が軸方向に進退動する。スライドモータ38は、例えば、サーボモータである。
【0053】
スイッチ群39には、例えば、スキャナユニット31の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群39に含まれる。
【0054】
フォワードスイッチが押されると、スライドモータ38が正回転し、スキャナユニット31が前進する。一方、プルバックスイッチが押されると、スライドモータ38が逆回転し、スキャナユニット31が後退する。
【0055】
スキャンスイッチが押されると画像描写が開始され、スキャナモータ35が駆動するとともに、スライドモータ38が駆動してスキャナユニット31を後退させていく。術者などのユーザは、事前にプローブ20をスキャナユニット31に接続しておき、画像描写開始とともに駆動シャフト21が回転しつつ軸方向基端側に移動するようにする。スキャナモータ35及びスライドモータ38は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
【0056】
ボトムカバー33は、スライドユニット32の底面及び底面側の側面全周を覆っており、スライドユニット32の底面に対して近接離間自在である。
【0057】
図3を参照して、本実施形態に係る診断支援装置11の構成を説明する。
【0058】
診断支援装置11は、制御部41、記憶部42、通信部43、入力部44、及び出力部45を備える。
【0059】
制御部41には、少なくとも1つのプロセッサ、少なくとも1つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、CPU若しくはGPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「CPU」は、central processing unitの略語である。「GPU」は、graphics processing unitの略語である。専用回路は、例えば、FPGA又はASICである。「FPGA」は、field-programmable gate arrayの略語である。「ASIC」は、application specific integrated circuitの略語である。制御部41は、診断支援装置11を含む診断支援システム10の各部を制御しながら、診断支援装置11の動作に関わる処理を実行する。
【0060】
記憶部42には、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ、又はこれらのうち少なくとも2種類の組み合わせが含まれる。半導体メモリは、例えば、RAM又はROMである。「RAM」は、random access memoryの略語である。「ROM」は、read only memoryの略語である。RAMは、例えば、SRAM又はDRAMである。「SRAM」は、static random access memoryの略語である。「DRAM」は、dynamic random access memoryの略語である。ROMは、例えば、EEPROMである。「EEPROM」は、electrically erasable programmable read only memoryの略語である。記憶部42は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部42には、断層データ51など、診断支援装置11の動作に用いられるデータと、3次元データ52及び3次元画像53など、診断支援装置11の動作によって得られたデータとが記憶される。
【0061】
通信部43には、少なくとも1つの通信用インタフェースが含まれる。通信用インタフェースは、有線LANインタフェース、無線LANインタフェース、又はIVUSの信号を受信及びA/D変換する画像診断用インタフェースである。「LAN」は、local area networkの略語である。「A/D」は、analog to digitalの略語である。通信部43は、診断支援装置11の動作に用いられるデータを受信し、また診断支援装置11の動作によって得られるデータを送信する。本実施形態では、通信部43に含まれる画像診断用インタフェースに駆動ユニット13が接続される。
【0062】
入力部44には、少なくとも1つの入力用インタフェースが含まれる。入力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。「HDMI」は、High-Definition Multimedia Interfaceの略語である。入力部44は、診断支援装置11の動作に用いられるデータを入力する操作を受け付ける。本実施形態では、入力部44に含まれるUSBインタフェース、又は近距離無線通信に対応したインタフェースにキーボード14及びマウス15が接続される。タッチスクリーンがディスプレイ16と一体的に設けられている場合、入力部44に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続されてもよい。
【0063】
出力部45には、少なくとも1つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。出力部45は、診断支援装置11の動作によって得られるデータを出力する。本実施形態では、出力部45に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続される。
【0064】
診断支援装置11の機能は、本実施形態に係る診断支援プログラムを、制御部41に含まれるプロセッサで実行することにより実現される。すなわち、診断支援装置11の機能は、ソフトウェアにより実現される。診断支援プログラムは、診断支援装置11の動作に含まれるステップの処理をコンピュータに実行させることで、当該ステップの処理に対応する機能をコンピュータに実現させるためのプログラムである。すなわち、診断支援プログラムは、コンピュータを診断支援装置11として機能させるためのプログラムである。
【0065】
プログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したDVD又はCD-ROMなどの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。「DVD」は、digital versatile discの略語である。「CD-ROM」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
【0066】
コンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP型のサービスによって処理を実行してもよい。「ASP」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
【0067】
診断支援装置11の一部又は全ての機能が、制御部41に含まれる専用回路により実現されてもよい。すなわち、診断支援装置11の一部又は全ての機能が、ハードウェアにより実現されてもよい。
【0068】
図4を参照して、本実施形態に係る診断支援システム10の動作を説明する。診断支援システム10の動作は、本実施形態に係る診断支援方法に相当する。
【0069】
図4のフローの開始前に、ユーザによって、プローブ20がプライミングされる。その後、プローブ20が駆動ユニット13のプローブ接続部34及びプローブクランプ部37に嵌め込まれ、駆動ユニット13に接続及び固定される。そして、プローブ20が血管又は心臓などの生体組織60内の目的部位まで挿入される。
【0070】
ステップS1において、スイッチ群39に含まれるスキャンスイッチが押され、さらにスイッチ群39に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ20は、生体組織60の内部で、プルバック操作によって軸方向に後退する超音波振動子25により超音波を送信する。超音波振動子25は、生体組織60の内部を移動しながら放射線状に超音波を送信する。超音波振動子25は、送信した超音波の反射波を受信する。プローブ20は、超音波振動子25により受信した反射波の信号を診断支援装置11に入力する。診断支援装置11の制御部41は、入力された信号を処理して生体組織60の断面画像を順次生成することで、複数の断面画像を含む断層データ51を取得する。
【0071】
具体的には、プローブ20は、生体組織60の内部で超音波振動子25を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子25により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ20は、生体組織60の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子25により受信する。プローブ20は、受信した反射波の信号を、駆動ユニット13及びケーブル12を介して診断支援装置11に送信する。診断支援装置11の通信部43は、プローブ20から送信された信号を受信する。通信部43は、受信した信号をA/D変換する。通信部43は、A/D変換した信号を制御部41に入力する。制御部41は、入力された信号を処理して、超音波振動子25の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部41は、算出した強度値分布に相当する輝度値分布を持つ2次元画像を生体組織60の断面画像として順次生成することで、断面画像のデータセットである断層データ51を取得する。制御部41は、取得した断層データ51を記憶部42に記憶する。
【0072】
本実施形態において、超音波振動子25が受信する反射波の信号は、断層データ51の生データに相当し、診断支援装置11が反射波の信号を処理して生成する断面画像は、断層データ51の加工データに相当する。
【0073】
本実施形態の一変形例として、診断支援装置11の制御部41は、プローブ20から入力された信号をそのまま断層データ51として記憶部42に記憶してもよい。あるいは、制御部41は、プローブ20から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ51として記憶部42に記憶してもよい。すなわち、断層データ51は、生体組織60の断面画像のデータセットに限られず、超音波振動子25の各移動位置における生体組織60の断面を何らかの形式で表すデータであればよい。
【0074】
本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子25の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
【0075】
本実施形態の一変形例として、断層データ51は、IVUSを用いて取得される代わりに、OFDI又はOCTを用いて取得されてもよい。「OFDI」は、optical frequency domain imagingの略語である。「OCT」は、optical coherence tomographyの略語である。OFDI又はOCTが用いられる場合、生体組織60の中を移動しながら断層データ51を取得するセンサとして、生体組織60の中で超音波を送信して断層データ51を取得する超音波振動子25の代わりに、生体組織60の中で光を放射して断層データ51を取得するセンサが用いられる。
【0076】
本実施形態の一変形例として、診断支援装置11が生体組織60の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、診断支援装置11はそのデータセットを当該他の装置から取得してもよい。すなわち、診断支援装置11の制御部41が、IVUSの信号を処理して生体組織60の断面画像を生成する代わりに、他の装置が、IVUSの信号を処理して生体組織60の断面画像を生成し、生成した断面画像を診断支援装置11に入力してもよい。
【0077】
ステップS2において、診断支援装置11の制御部41は、ステップS1で取得した断層データ51に基づいて生体組織60の3次元データ52を生成する。
【0078】
具体的には、診断支援装置11の制御部41は、記憶部42に記憶した断層データ51に含まれる生体組織60の断面画像を積層して3次元化することで、生体組織60の3次元データ52を生成する。3次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部41は、生成した3次元データ52を記憶部42に記憶する。
【0079】
ステップS3において、診断支援装置11の制御部41は、ステップS2で生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。この時点では、制御部41は、3次元画像53をディスプレイ16に表示する際の視点を任意の位置に配置してよい。
【0080】
具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52から3次元画像53を生成する。制御部41は、生成した3次元画像53を、出力部45を介してディスプレイ16に表示する。
【0081】
ステップS4において、ユーザの操作があれば、ステップS5からステップS8の処理が行われる。ユーザの操作がなければ、ステップS5からステップS8の処理はスキップされる。
【0082】
ステップS5において、診断支援装置11の制御部41は、
図5に示すような開口62の位置を設定する操作を、入力部44を介して受け付ける。開口62の位置は、ステップS3で表示された3次元画像53において、開口62を通じて生体組織60の内壁面61が生体組織60の外部に露出するような位置に設定される。
【0083】
具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて生体組織60の一部を切り落とす操作を、入力部44を介して受け付ける。
図5の例では、制御部41は、生体組織60の断面において、生体組織60の内壁面61が開いた形状になるように生体組織60の一部を切り落とす操作を受け付ける。「生体組織60の断面」は、例えば、開口62の互いに対向する2つの端縁と開口62に対向する生体組織60の内壁面61とを有する断層断面であるが、この断層断面に限らず、生体組織60の横断面でもよいし、生体組織60の縦断面でもよいし、又は生体組織60の他の断面でもよい。「生体組織60の横断面」とは、生体組織60の中で超音波振動子25が移動する方向に対して垂直に生体組織60を切断した切断面のことである。「生体組織60の縦断面」とは、生体組織60の中で超音波振動子25が移動する方向に沿って生体組織60を切断した切断面のことである。「生体組織60の他の断面」とは、生体組織60の中で超音波振動子25が移動する方向に対して斜めに生体組織60を切断した切断面のことである。「開いた形状」は、例えば、略C字状、略U字状、略3字状、又はこれらのいずれかが血管の分岐部、若しくは肺静脈口など、生体組織60に元々空いている孔の存在によって部分的に欠けた形状である。
図5の例では、生体組織60の内壁面61の形状が略C字状になっている。
【0084】
ステップS6において、診断支援装置11の制御部41は、ステップS5で受け付けた操作によって設定された位置を開口62の位置に決定する。
【0085】
具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52において、生体組織60の、ユーザの操作によって切り落とされた部分の境界の3次元座標を開口62の縁の3次元座標として特定する。制御部41は、特定した3次元座標を記憶部42に記憶する。
【0086】
ステップS7において、診断支援装置11の制御部41は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。
【0087】
具体的には、診断支援装置11の制御部41は、記憶部42に記憶した3次元データ52において、記憶部42に記憶した3次元座標で特定される部分を、3次元画像53をディスプレイ16に表示する際に非表示又は透明になるように設定する。
【0088】
ステップS8において、診断支援装置11の制御部41は、ステップS7で形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。本実施形態では、制御部41は、生体組織60の内壁面61から開口62を通って生体組織60の外部に延びる直線の上に視点を配置する。よって、ユーザが開口62から生体組織60の内部を覗き込んで生体組織60の内壁面61を仮想的に観察することができる。
【0089】
具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、非表示又は透明になるように設定した部分を通じて生体組織60の内壁面61が見える位置に、仮想のカメラ71を配置する。
図5の例では、制御部41は、生体組織60の断面において、生体組織60の内壁面61から開口62の第1端縁E1を通って生体組織60の外部に延びる第1直線L1と、生体組織60の内壁面61から開口62の第2端縁E2を通って生体組織60の外部に延びる第2直線L2とで挟まれる領域AFの中に仮想のカメラ71を配置する。第1直線L1が生体組織60の内壁面61と交わる点は、第2直線L2が生体組織60の内壁面61と交わる点と同一の点Ptである。よって、領域AFのどの位置に仮想のカメラ71を配置しても、ユーザが生体組織60の内壁面61の点Ptを観察することができる。
【0090】
図5の例では、点Ptは、開口62の第1端縁E1と開口62の第2端縁E2とを結んだ第3直線L3の中点Pcから第3直線L3に対して垂直に引いた第4直線L4が生体組織60の内壁面61と交わる点と同一である。よって、ユーザが開口62を通じて生体組織60の内壁面61の点Ptを観察しやすい。特に、第4直線L4の延長線上に仮想のカメラ71を配置すると、ユーザが生体組織60の内壁面61の点Ptを観察しやすくなる。
【0091】
仮想のカメラ71の位置は、開口62を介して生体組織60の内壁面61を観察可能な任意の位置でよいが、本実施形態では開口62に対向する範囲内である。仮想のカメラ71の位置は、開口62の中央部に対向する中間位置に設定されることが好ましい。
【0092】
図6の例では、ディスプレイ16の画面80の中心から一端までの距離Umに対する、画面80と3次元画像53との中心が重なるように画面80に表示された3次元画像53の中心から一端までの距離Unの比率Sについて、最小値Sminと、最大値Smaxとが設定される。例えば、Smin=1/3、Smax=1のように設定される。
図5の例において、点Ptからカメラ71の位置までの最小距離Lminを、最小値Sminに応じて設定し、点Ptから仮想のカメラ71の位置までの最大距離Lmaxを、最大値Smaxに応じて設定してもよい。あるいは、点Ptからカメラ71の位置までの最小距離Lminを、最小値Sminに関係なく、カメラ71が開口62よりも点Ptに近づかないような距離に設定してもよい。点Ptから仮想のカメラ71の位置までの最大距離Lmaxを、最大値Smaxに関係なく、ユーザが生体組織60の内壁面61を観察できなくなるほどカメラ71が点Ptから遠ざからないような距離に設定してもよい。
【0093】
ステップS9において、断層データ51の更新があれば、ステップS1以降の処理が再度行われる。断層データ51の更新がなければ、ステップS4において、ユーザの操作の有無が再度確認される。
【0094】
2回目以降のステップS5からステップS8において、診断支援装置11の制御部41は、
図7及び
図8に示すように、開口62の位置を第1位置から第2位置に変更する場合に、視点を第1位置に応じた第3位置から第2位置に応じた第4位置に移動させる。制御部41は、視点の第3位置から第4位置への移動に合わせて、3次元画像53をディスプレイ16に表示する際の仮想の光源72を移動させる。
【0095】
制御部41は、
図7及び
図8に示すように、生体組織60の断面において、開口62の周方向位置を変更する場合に、仮想のカメラ71の移動に使用する回転行列R(θ)を用いて、仮想の光源72を移動させる。光源72の数及び相対位置は、図示したものに限らず、適宜変更することができる。
【0096】
制御部41は、開口62の位置を第1位置から第2位置に変更する場合に、視点を第3位置から第4位置に瞬時に切り替えてもよいが、本実施形態では、視点が第3位置から第4位置へ徐々に移動する動画像を3次元画像53としてディスプレイ16に表示する。そのため、視点が移動したことがユーザに伝わりやすい。
【0097】
本実施形態の一変形例として、ステップS5において、診断支援装置11の制御部41は、開口62の位置を設定する操作とともに、ユーザが見たい目標点の位置を設定する操作を、入力部44を介して受け付けてもよい。
【0098】
具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部44を介して受け付けてもよい。
図5の例では、制御部41は、第1直線L1及び第2直線L2が生体組織60の内壁面61と交わる点の位置として、点Ptの位置を設定する操作を、入力部44を介して受け付けてもよい。
【0099】
本実施形態の一変形例として、ステップS5において、診断支援装置11の制御部41は、開口62の位置を設定する操作の代わりに、ユーザが見たい目標点の位置を設定する操作を、入力部44を介して受け付けてもよい。そして、ステップS6において、制御部41は、ステップS5で受け付けた操作によって設定された位置に応じて、開口62の位置を決定してもよい。
【0100】
具体的には、診断支援装置11の制御部41は、ディスプレイ16に表示している3次元画像53において、ユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて目標点の位置を指定する操作を、入力部44を介して受け付けてもよい。そして、制御部41は、その目標点の位置に応じて、開口62の位置を決定してもよい。
図5の例では、制御部41は、第1直線L1及び第2直線L2が生体組織60の内壁面61と交わる点の位置として、点Ptの位置を設定する操作を、入力部44を介して受け付けてもよい。制御部41は、生体組織60の断面において、点Ptを中心、中心角を予め設定されるか、又はユーザによって指定される角度αとする扇形の領域を領域AFに決定してもよい。制御部41は、生体組織60の、領域AFと重なる位置を開口62の位置に決定してもよい。制御部41は、生体組織60の内壁面61の、点Ptを通る接線に垂直な法線を第4直線L4に決定してもよい。
【0101】
領域AFは、開口62の幅よりも狭く設定されてもよい。すなわち、領域AFは、開口62の第1端縁E1と開口62の第2端縁E2とのうち少なくともいずれかを含まないように設定されてもよい。
【0102】
図9に示すように、第1直線L1が生体組織60の内壁面61と交わる点は、第2直線L2が生体組織60の内壁面61と交わる点と同一でなくてもよい。
図9の例では、第1直線L1が生体組織60の内壁面61と交わる点である点P1、及び第2直線L2が生体組織60の内壁面61と交わる点である点P2は、点Ptを中心とする半径rの円周上にある。すなわち、点P1及び点P2は、点Ptから略等距離にある。
【0103】
図9の例では、
図5の例と同じように、点Ptは、開口62の第1端縁E1と開口62の第2端縁E2とを結んだ第3直線L3の中点Pcから第3直線L3に対して垂直に引いた第4直線L4が生体組織60の内壁面61と交わる点と同一である。よって、ユーザが開口62を通じて生体組織60の内壁面61の点Pt及びその周囲を観察しやすい。特に、第4直線L4の延長線上に仮想のカメラ71を配置すると、ユーザが生体組織60の内壁面61の点Pt及びその周囲を観察しやすくなる。
【0104】
観察の目標点として点Pt、観察の目標範囲として半径rが手動で設定されてもよい。例えば、点Ptが3次元画像53をクリックすることで設定され、半径rがメニューで設定されてもよい。点Pt及び半径rの設定によってユーザが観察可能なゾーンを含む球が定義される。さらに、角度αと、点Ptから
図9の手前方向への単位ベクトル、すなわち、生体組織60の断面と直交する方向の単位ベクトルupと、点Ptから中点Pcに向かう方向の単位ベクトルdirとが手動で設定されてもよい。その結果、ユーザが観察可能なゾーンの両端点である点P1及び点P2、並びにユーザが観察可能なゾーンを含む球が内接する円錐の頂点である点Pfが以下のように自動で設定される。
P1=Pt+r*normalize(cross(up,dir))
P2=Pt-r*normalize(cross(up,dir))
Pf=Pt-dir*(r/tan(α/2))
ここで、cross()は外積計算、normalize()は単位ベクトル計算である。
【0105】
本実施形態の一変形例として、ステップS3において、診断支援装置11の制御部41は、3次元画像53として、複数の画像を並べてディスプレイ16に表示してもよい。具体的には、制御部41は、
図10に示すように、3次元画像53として、第1画像53a及び第2画像53bを並べてディスプレイ16に表示してもよい。この変形例において、制御部41は、第1画像53aについて、開口62である第1開口を形成し、視点である第1視点を調整する。制御部41は、第2画像53bにおいて生体組織60の内壁面61を生体組織60の外部に向けて露出させる第2開口を、第1開口の位置を周方向に回転させた位置に形成する。そして、制御部41は、第2開口の位置に応じて、第2画像53bをディスプレイ16に表示する際の第2視点を調整する。第2開口の位置は、例えば、第1開口の位置を周方向に90度回転させた位置である。
【0106】
図10の例では、生体組織60は、心臓である。この例では、第1開口の位置、及び第1視点が設定されたときに、第1開口の位置を周方向に90度回転させた第2開口、及び第2視点が自動的に設定される。そして、第1視点から第1開口を通じて内壁面61が見える第1画像53aと、第2視点から第2開口を通じて内壁面61が見える第2画像53bとが並べて表示される。
【0107】
この例によれば、卵円窩63を正面に捉えた第1視点からの画像とともに、卵円窩63を真横から捉えた第2視点からの画像が表示されるため、術者が、左心房から右心房に向かって卵円窩63を穿刺する際に、卵円窩63から右心房壁までの距離を視覚的に把握でき、誤って右心房壁を穿刺することを防止できる。
【0108】
本実施形態の一変形例として、ステップS7及びステップS8において、診断支援装置11の制御部41は、3次元データ52において生体組織60の一部を切り落とすことで開口62を形成し、更に視点を調整したときに、カメラ71の位置、及びカットラインをディスプレイ16に表示してもよい。具体的には、制御部41は、
図11に示すように、生体組織60がカットされていない状態で、生体組織60の断面におけるカメラ71の位置と、カットラインに相当する第1直線L1及び第2直線L2とを表示してもよい。
図11の例では、断面のどの部分がカットされているかを明示するために、切り落とされた部分に相当する領域64の色が変えられている。
【0109】
切り落とされた部分に相当する領域64は、元の断面画像上で表示されてもよい。例えば、診断支援装置11の制御部41は、
図12に示すように、切り落とした部分に相当する領域64を生体組織60の断面画像上で表す2次元画像54をディスプレイ16に表示してもよい。
図12の例では、カメラ71の位置も2次元画像54で表されている。断面画像としては、センサの現在位置に対応する画像が用いられることが考えられるが、センサの現在位置以外の位置に対応する画像が用いられてもよい。
【0110】
上述のように、本実施形態では、診断支援装置11の制御部41は、生体組織60の断層データ51に基づいて生体組織60の3次元データ52を生成する。制御部41は、生成した3次元データ52を3次元画像53としてディスプレイ16に表示する。制御部41は、3次元画像53において生体組織60の内壁面61を生体組織60の外部に向けて露出させる開口62を3次元データ52に形成する。制御部41は、形成した開口62の位置に応じて、3次元画像53をディスプレイ16に表示する際の視点を調整する。
【0111】
本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
【0112】
本実施形態では、開口62の位置が決まると、開口62から生体組織60の内部を覗き込むことができるように、カメラ71及び光源72の位置が移動する。そのため、開口62の位置を別の位置に変更した際に、生体組織60の外壁面しか見えなくなり、興味の対象を確認できなくなるという事態を回避できる。
【0113】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は1つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【符号の説明】
【0114】
10 診断支援システム
11 診断支援装置
12 ケーブル
13 駆動ユニット
14 キーボード
15 マウス
16 ディスプレイ
17 接続端子
18 カートユニット
20 プローブ
21 駆動シャフト
22 ハブ
23 シース
24 外管
25 超音波振動子
26 中継コネクタ
31 スキャナユニット
32 スライドユニット
33 ボトムカバー
34 プローブ接続部
35 スキャナモータ
36 差込口
37 プローブクランプ部
38 スライドモータ
39 スイッチ群
41 制御部
42 記憶部
43 通信部
44 入力部
45 出力部
51 断層データ
52 3次元データ
53 3次元画像
53a 第1画像
53b 第2画像
54 2次元画像
60 生体組織
61 内壁面
62 開口
63 卵円窩
64 領域
71 カメラ
72 光源
80 画面