(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-22
(45)【発行日】2023-05-30
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
A61B 8/12 20060101AFI20230523BHJP
【FI】
A61B8/12
(21)【出願番号】P 2020509285
(86)(22)【出願日】2019-03-27
(86)【国際出願番号】 JP2019013473
(87)【国際公開番号】W WO2019189518
(87)【国際公開日】2019-10-03
【審査請求日】2022-03-08
(31)【優先権主張番号】P 2018066170
(32)【優先日】2018-03-29
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(73)【特許権者】
【識別番号】518110280
【氏名又は名称】株式会社ロッケン
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186015
【氏名又は名称】小松 靖之
(72)【発明者】
【氏名】清水 克彦
(72)【発明者】
【氏名】坂本 泰一
(72)【発明者】
【氏名】佐賀 亮介
【審査官】下村 一石
(56)【参考文献】
【文献】特開平05-095949(JP,A)
【文献】特表2008-512171(JP,A)
【文献】特表2008-526387(JP,A)
【文献】特開2009-090120(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00-8/15
(57)【特許請求の範囲】
【請求項1】
筒状部材の内部に位置する超音波
素子又は撮像素子
である周囲情報取得デバイスに連結された駆動部と、
前記
周囲情報取得デバイスが
臓器又は血管の内部で前記筒状部材の周囲に向けて超音波又は光を出射して取得した反射波又は
反射光の情報
である周囲情報に基づいて、
前記臓器、
前記血管又は
前記臓器若しくは前記血管の内部に位置する医療器具の2次元画像を順次生成し、
生成した2次元画像に基づいて、
前記臓器、
前記血管又は
前記医療器具の3次元画像を生成する画像処理部と、を備え、
前記駆動部は、
前記駆動部自体が移動することで前記
周囲情報取得デバイスを前記筒状部材の延在方向に沿って移動させ、
前記画像処理部は、
前記駆動部の位置に対応する前記3次元画像内の所定の座標軸に沿う位置を示す位置対応情
報を記憶する記憶部と、
前記周囲情報取得デバイスが現在位置で取得した周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の2次元画像を新たに生成すると、前記位置対応情
報に基づいて、前記
駆動部の現在位置に対応する前記3次元画像内の
前記所定の座標軸に沿う位置を
、前記周囲情報取得デバイスの現在位置に対応する前記3次元画像内の前記所定の座標軸に沿う位置として特定し、
特定し
た位置を
示す位置情報が前記3次元画像
とともに表示
される3次元画像表示領域と、新たに生成した2次元画像が前記位置情報によって示された位置の、前記所定の座標軸に直交する断面を示す断面画像として表示される2次元画像表示領域と、を含む表示情報をリアルタイムに生成
し、生成した表示情報を表示部に表示させるか、又は過去に生成した表示情報が既に前記表示部に表示されている場合は、表示されている表示情報を、生成した表示情報に更新する制御部と、を備える画像処理装置。
【請求項2】
前記駆動部は等速度で移動し、
前記制御部は
、前記臓器
、前記血管
又は前記医療器具の2次元画像を所定時間間隔で順次生成し、
生成した2次元画像に対応付けた採番情報を昇順で生成し、
前記位置対応情報は、前記駆動部の移動速度の情報及び前記所定時間間隔の情報を含む、請求項
1に記載の画像処理装置。
【請求項3】
前記記憶部は、前記駆動部の位置に基づいて設定される、前記筒状部材の延在方向での前記周囲情報取得デバイスの往復範囲の情報を更に記憶し、
前記駆動部は、前記往復範囲の情報に基づいて、前記周囲情報取得デバイスを往復移動させ、
前記制御部は、前記周囲情報取得デバイスが前記駆動部によって往復移動しながら経時的に取得する周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の2次元画像を順次生成し、生成した2次元画像を前記表示情報に順次追加する、請求項1又は2に記載の画像処理装置。
【請求項4】
前記画像処理部は、始点設定指示の入力を受付可能な入力部を更に備え、
前記制御部は、前記始点設定指示が入力された時点での前記駆動部の位置に基づいて、前記往復範囲の始点の位置を前記記憶部に記憶する、請求項3に記載の画像処理装置。
【請求項5】
前記入力部は、終点設定指示の入力を受付可能であり、
前記制御部は、前記終点設定指示が入力された時点での前記駆動部の位置に基づいて、前記往復範囲の終点の位置を前記記憶部に記憶する、請求項4に記載の画像処理装置。
【請求項6】
前記制御部は、前記周囲情報取得デバイスが現在位置で取得した周囲情報に基づいて、前記臓器、前記血管又は前記医療器具の2次元画像を新たに生成すると、過去に生成した表示情報が既に前記表示部に表示されている場合は、新たに生成した2次元画像に基づいて、前記3次元画像表示領域に表示されている前記3次元画像を更新する、請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記画像処理部は、前記表示部を更に備える、請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
筒状部材の内部に位置する超音波素子又は撮像素子
である周囲情報取得デバイスに連結された駆動部と、
前記
周囲情報取得デバイスが
臓器又は血管の内部で前記筒状部材の周囲に向けて超音波又は光を出射して取得した反射波又は
反射光の情報
である周囲情報に基づいて、
前記臓器
若しくは前記血管
の2次元画像又は
前記臓器若しくは前記血管と前記臓器若しくは前記血管の内部に位置する医療器具
との2次元画像を順次生成し、
生成した2次元画像に基づいて、
前記臓器
若しくは前記血管
と前記医療器具
との3次元画像を生成する画像処理部と、を備え、
前記駆動部は、前記
周囲情報取得デバイスを前記筒状部材の延在方向に沿って移動させ、
前記画像処理部は、
前記3次元画像内の所定の座標軸に沿う位置を指定する位置指定情報の入力を受付可能な入力部と、
前記3次元画像と、前記
位置指定情報によって指定された位置を示す断面位置情報と、
を表示可能な3次元画像表示領域と、前記周囲情報取得デバイスが前記断面位置情報に対応する
指定位置で
取得した周囲情報に基づいて前記画像処理部が生成した2次元画像
を表示可能な2次元画像表示領域と、を
有する表示部
と、を備え、
前記表示部は、
前記位置指定情報が複数回入力されることで、前記3次元画像内の前記所定の座標軸に沿う複数の位置が指定された場合は、前記断面位置情報
として、指定された複数の位置を示す情報を、前記3次元画像とともに前記3次元画像表示領域に表示するのと同時に、前記周囲情報取得デバイスが前記断面位置情報に対応する、前記筒状部材の延在方向に沿う複数の指定位置で取得した周囲情報に基づいて前記画像処理部が生成した複数の2次元画像を
前記2次元画像表示領域に表示
し、
前記画像処理部は、前記周囲情報取得デバイスが前記複数の指定位置のうちいずれかの指定位置で取得した周囲情報に基づいて前記画像処理部が過去に生成した2次元画像が既に前記2次元画像表示領域に表示されている場合は、表示されている2次元画像を、前記周囲情報取得デバイスが当該指定位置で取得した周囲情報に基づいて前記画像処理部が新たに生成した2次元画像に更新する、画像
処理装置。
【請求項9】
前記表示部は、前記
周囲情報取得デバイスの現在位置を前記3次元画像上に表示する、請求項
8に記載の画像
処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置及び画像表示方法に関する。
【背景技術】
【0002】
従来より、医療器具を心臓等の臓器又は血管(以下、適宜「臓器等」と記載する。)内に挿入し、臓器等を治療することが行われている。例えば特許文献1には、臓器等の3次元画像を生成する技術が開示されている。このように生成した臓器等の3次元画像を利用することで、臓器等の様子を把握することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、臓器等に適切な治療を施すためには、臓器等の内部における医療器具の経時的な位置を把握することが重要である。しかしながら、臓器等の内部に挿入された超音波振動子等の周囲情報取得デバイスでは観測可能な領域が限られ、臓器等の内部を移動する医療器具の経時的な位置を表示することが困難であった。
【0005】
本開示の目的は、上記問題に鑑み、臓器等の内部における医療器具の経時的な位置を表示することができる画像処理装置及び画像表示方法を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様としての画像処理装置は、筒状部材の内部に位置する周囲情報取得デバイスとしての超音波振動子又は撮像素子に連結された駆動部と、前記超音波振動子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の2次元画像を順次生成し、前記2次元画像に基づいて、臓器、血管又は医療器具の3次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って移動させ、前記画像処理部は、前記駆動部の位置に対応する前記3次元画像内の所定の座標軸に沿う位置を示す位置対応情報、及び/又は、前記3次元画像内の所定の座標軸に沿う位置と、複数の2次元画像と、を対応付ける画像対応情報を記憶する記憶部と、前記位置対応情報又は前記画像対応情報に基づいて、前記超音波素子又は前記撮像素子の現在位置に対応する前記3次元画像内の位置を決定し、決定した3次元画像内の位置を前記3次元画像内で識別表示する表示情報をリアルタイムに生成する制御部と、を備える。
【0007】
本発明の一実施形態としての画像処理装置において、前記記憶部は、前記位置対応情報と、前記駆動部の位置に対する前記超音波素子又は前記撮像素子の位置を示す相関位置対応情報と、を記憶し、前記制御部は、前記位置対応情報及び前記相関位置対応情報に基づいて、前記駆動部の現在位置によって特定される、前記超音波素子又は前記撮像素子の現在位置に対応する前記3次元画像内の前記所定の座標軸に沿う位置を決定する。
【0008】
本発明の一実施形態としての画像処理装置において、前記駆動部は等速度で移動し、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の2次元画像を所定時間間隔で順次生成し、当該現在の2次元画像に対応付けた採番情報を昇順で生成し、前記位置対応情報は、前記駆動部の移動速度の情報及び前記所定時間間隔の情報を含む。
【0009】
本発明の一実施形態としての画像処理装置において、前記記憶部は、前記画像対応情報を記憶し、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の2次元画像を生成し、当該現在の2次元画像が類似する2次元画像を、前記画像対応情報に含まれる複数の2次元画像から抽出し、抽出された2次元画像が対応する前記3次元画像内の前記所定の座標軸に沿う位置を、前記超音波素子又は前記撮像素子の現在位置に対応する前記3次元画像内の位置として決定する。
【0010】
本発明の一実施形態としての画像処理装置において、前記制御部は、前記超音波素子又は前記撮像素子が現在位置で取得した前記情報に基づいて、前記臓器又は血管の内部の現在の2次元画像を生成し、当該2次元画像を前記表示情報に追加する。
【0011】
本発明の一態様としての画像処理装置は、筒状部材の内部に位置する超音波素子又は撮像素子に連結された駆動部と、前記超音波素子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の2次元画像を順次生成し、前記2次元画像に基づいて、臓器、血管又は医療器具の3次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って往復移動させ、前記画像処理部は、前記超音波素子又は前記撮像素子が前記駆動部によって往復移動しながら経時的に取得する前記情報に基づいて、前記2次元画像を順次生成する。
【0012】
本発明の一実施形態としての画像処理装置において、前記画像処理部は、前記2次元画像及び前記3次元画像を記憶する記憶部を備える。
【0013】
本発明の一実施形態としての画像処理装置において、前記画像処理部は、前記筒状部材の延在方向での前記駆動部の位置に基づいて、前記筒状部材の延在方向での前記超音波素子又は前記撮像素子の位置を特定する。
【0014】
本発明の一実施形態としての画像処理装置において、前記駆動部は、更に、前記超音波素子又は前記撮像素子を前記筒状部材の周方向に沿って回転させる。
【0015】
本発明の一実施形態としての画像処理装置において、前記記憶部は、前記超音波素子又は前記撮像素子の往復範囲の情報を更に記憶し、前記駆動部は、前記往復範囲の情報に基づいて、前記超音波素子又は前記撮像素子を往復移動させる。
【0016】
本発明の一実施形態としての画像処理装置において、前記画像処理部は、始点位置情報及び終点位置情報の入力を受付可能な入力部を更に備え、前記記憶部は、入力された始点位置情報及び終点位置情報を、前記往復範囲の情報として記憶する。
【0017】
本発明の一実施形態としての画像処理装置において、前記超音波素子又は前記撮像素子は、前記延在方向に直交する平面に沿う、前記筒状部材の周囲の周囲情報、を取得可能であり、前記記憶部は、前記延在方向における所定の位置を指定する位置指定情報を更に記憶し、前記画像処理部は、前記超音波素子又は前記撮像素子が前記位置指定情報に対応する位置で取得した前記周囲情報に基づいて、前記2次元画像を生成する制御部を備える。
【0018】
本発明の一態様としての画像表示方法は、筒状部材の内部に位置する超音波素子又は撮像素子、に連結された駆動部と、前記超音波素子又は前記撮像素子が取得する臓器、血管又は医療器具の情報に基づいて、臓器、血管又は医療器具の2次元画像を順次生成し、前記2次元画像に基づいて、臓器、血管又は医療器具の3次元画像を生成する画像処理部と、を備え、前記駆動部は、前記超音波素子又は前記撮像素子を前記筒状部材の延在方向に沿って移動させ、前記画像処理部は、前記3次元画像と、前記3次元画像の断面位置情報と、前記断面位置情報に対応する位置での2次元画像と、を表示可能な表示部を備え、前記表示部は、前記3次元画像、前記断面位置情報、前記2次元画像を同時に表示する。
【0019】
本発明の一実施形態としての画像表示方法において、前記表示部は、前記断面位置情報としての、前記3次元画像の所定の座標軸に沿って異なる位置での複数の断面位置情報と、前記2次元画像としての、前記複数の断面位置情報それぞれに対応する、複数の2次元画像と、を表示する。
【0020】
本発明の一実施形態としての画像表示方法において、前記表示部は、前記超音波素子又は前記撮像素子の現在位置を前記3次元画像上に表示する。
【発明の効果】
【0021】
本開示の画像処理装置及び画像表示方法によると、臓器等の3次元画像内における医療器具の経時的な位置を表示することができる。
【図面の簡単な説明】
【0022】
【
図1】本発明の一実施形態としての画像処理装置の概略構成を示すブロック図である。
【
図3】超音波振動子が挿入された医療デバイスの斜視図である。
【
図5】
図3に示す医療デバイスを遠位側から見た正面図である。
【
図6】超音波振動子を用いた臓器等情報取得方法を示すフローチャートである。
【
図7】カテーテルを右心房で固定した状態を示す図である。
【
図8】
図7に示す状態で得られる臓器等の3次元画像を示す図である。
【
図9】カテーテルを左心房で固定した状態を示す図である。
【
図10】
図9に示す状態で得られる臓器等の3次元画像を示す図である。
【
図11】画像処理装置が実行する第1の表示処理を示すフローチャートである。
【
図12】画像処理装置が実行する第1の往復範囲設定処理を示すフローチャートである。
【
図13】画像処理装置が実行する第2の往復範囲設定処理を示すフローチャートである。
【
図14】画像処理装置が実行する第2の表示処理を示すフローチャートである。
【
図15】第2の表示処理に伴う表示情報の一例を示す模式図である。
【
図16】3次元画像内の所定の座標軸に沿う位置の一例を示す図である。
【
図20】画像処理装置が実行する第3の表示処理を示すフローチャートである。
【
図21】第3の表示処理に伴う表示情報の一例を示す模式図である。
【
図22】第3の表示処理に伴う表示情報の一例を示す模式図である。
【発明を実施するための形態】
【0023】
以下、本開示の一実施形態について、図面を参照して説明する。各図において共通の構成部には、同一の符号を付している。また、本明細書では、医療デバイス2の臓器等の内部に挿入する側を「遠位側」又は「先端側」、操作する手元側を「近位側」又は「基端側」と称することとする。
【0024】
[画像処理装置1]
図1は、本開示の一実施形態としての画像処理装置1の概略構成を示すブロック図である。
図2は、画像処理装置1の概略図である。
図1及び
図2に示すように、画像処理装置1は、駆動部50と、台座59と、画像処理部60と、を備える。画像処理部60は、表示部51と、入力部52と、記憶部53と、制御部54と、情報入力部55と、を備える。詳細は後述するが、画像処理部60は、後述する超音波振動子21等の周囲情報取得デバイスが取得する臓器、血管又は医療器具の情報に基づいて、3次元画像を生成する。
【0025】
図1に示すように、情報入力部55は、外部の超音波検査器20の超音波振動子21と電気的に接続されている。超音波検査器20は、超音波振動子21と、シャフト22と、チューブ23と、を備える。
【0026】
周囲情報取得デバイスとしての超音波振動子21は、心臓等の臓器又は血管(以下、適宜「臓器等」と記載する。)、又は、臓器等の内部に位置する医療器具の情報を取得する。具体的に、超音波振動子21は、臓器等、又は臓器等の内部に位置する医療器具に向けて超音波を出射し、当該臓器等又は当該医療器具から反射した超音波を情報として受信する。画像処理装置1は、情報入力部55を介して、当該超音波振動子が受信した情報としての超音波に基づいて、臓器等又は医療器具の2次元画像を順次生成する。さらに、画像処理装置1は、順次生成した複数の2次元画像に基づいて、臓器等又は医療器具の3次元画像を生成及び表示する。
【0027】
図1に示すように、駆動部50は、モータを内蔵し、シャフト22を介して超音波振動子21に連結され、当該超音波振動子21を後述するカテーテル40の延在方向に沿って往復移動させる。具体的に、駆動部50は、
図2に示すように、超音波検査器20を固定し、台座59に載置される。駆動部50は、台座59に対して超音波検査器20の延在方向(すなわち、後述するカテーテル40の延在方向)に沿って往復移動可能である。よって、駆動部50は、駆動部50自体が超音波検査器20の延在方向に沿って往復移動することで、超音波振動子21をカテーテル40の延在方向に沿って往復移動させることができる。さらに、駆動部50は、超音波振動子21を往復移動させつつ、カテーテル40の周方向に沿って回転させてもよい。この場合、駆動部50は、超音波振動子21を一方の向きに連続的に回転させてもよいし、回転の向きを繰り返し入れ替えながら揺動させてもよい。
【0028】
表示部51は、制御部54により生成された表示情報を表示出力する。表示部51は、例えば液晶ディスプレイ又は有機ELディスプレイなどの表示デバイスを含む。
【0029】
入力部52は、操作者による情報又は指示の入力を受け付けて、受け付けた入力情報又は入力指示を制御部54に出力する。入力部52は、例えばキーボード、マウス、又はタッチパネルなどの入力デバイスを含む。入力部52がタッチパネルを含む場合、タッチパネルは表示部51と一体に設けられていてもよい。
【0030】
記憶部53は、制御部54に特定の機能を実行させるための種々の情報及びプログラムを記憶する。また、記憶部53は、制御部54により生成された被検者の臓器等の3次元画像を記憶する。記憶部53は、例えばRAM又はROMなどの記憶装置を含む。
【0031】
制御部54は、画像処理装置1を構成する各構成部の動作を制御する。制御部54は、特定のプログラムを読み込むことにより特定の機能を実行する。制御部54は、例えばプロセッサを含む。
【0032】
情報入力部55は、周囲情報取得デバイスとしての超音波振動子21が取得する臓器等、又は臓器等の内部に位置する医療器具等の周囲情報の入力を受け付ける。具体的に、情報入力部55は、シャフト22内に延在する信号線を介して超音波振動子21と電気的に接続されており、超音波振動子21が取得する周囲情報に関する信号を取得し、当該信号を制御部54に送信する。制御部54は、入力された情報に基づいて2次元画像を生成し、当該2次元画像に基づいて臓器等又は医療器具の位置又は領域の情報を生成する。
【0033】
超音波振動子21は、例えば超音波検査器20の遠位端に位置し、超音波を送受信する。超音波振動子21は、超音波を対象物に照射し、当該対象物から反射する超音波に基づいて当該対象物までの距離等の情報を取得可能である。シャフト22は、先端部で超音波振動子21を固定し、基端部で駆動部50と連結した可撓性を有する線状部材である。チューブ23は、シャフト22の周方向を覆う可撓性を有する筒状の部材である。超音波振動子21は、例えば、後述する医療デバイス2のカテーテル40に挿入されて使用される。超音波検査器20、及び、後述する医療デバイス2は、合わせて1つの超音波カテーテルを構成してもよい。
【0034】
[医療デバイス2]
図3は、超音波振動子21が挿入された医療デバイス2の斜視図である。
図4は、医療デバイス2の断面図であり、
図5は、医療デバイス2を遠位側から見た正面図である。
【0035】
図3~
図5に示すように、医療デバイス2は、ガイドワイヤ10と、電極30a~30jと、筒状部材としてのカテーテル40とを備えている。カテーテル40は、超音波検査器20を内挿可能な第1ルーメン41と、ガイドワイヤ10を内挿可能な第2ルーメン42とを内部に区画している。
図3~
図5では、超音波検査器20が第1ルーメン41に内挿され、ガイドワイヤ10が第2ルーメン42に内挿された状態を示す。以下、特に断らない限り、超音波検査器20及びガイドワイヤ10が、それぞれ第1ルーメン41及び第2ルーメン42に内挿された状態であるとして説明する。
【0036】
ガイドワイヤ10は、近位側から遠位側に延在する。ガイドワイヤ10は、直線状部11と、直線状部11と連結する遠位側の端部に設けられた環状拡張部12とを有する。環状拡張部12は、例えば形状記憶合金などの金属で構成されており、一定以下の外力が作用する環境では、環状に拡張するように形状記憶されている。
【0037】
図3及び
図5に示す状態では、環状拡張部12は第2ルーメン42の遠位端(後述する遠位側連通孔44)よりも遠位側に位置し、環状に拡張している。環状拡張部12は、ガイドワイヤ10の直線状部11の径方向A外側に向かって拡張し、ガイドワイヤ10の直線状部11の周方向Bに沿って延在している。環状拡張部12は、環状に拡張した状態では、カテーテル40の外径よりも大きい。また、
図3に示すように、ガイドワイヤ10の先端側から見た場合に、カテーテル40の外径よりも大きい環状に拡張した環状拡張部12の環状内部に、ガイドワイヤ10の直線状部11とカテーテル40とが位置している。以下、環状拡張部12が環状に拡張した状態であっても、ガイドワイヤ10の直線状部11の径方向を単に「径方向A」と記載し、ガイドワイヤ10の直線状部11の周方向を単に「周方向B」と記載する。また、以下、特に断らない限り、環状拡張部12は環状に拡張した状態であるとして説明する。
【0038】
電極30a~30jは、環状拡張部12に固定され、環状拡張部12の延在方向、すなわち、ガイドワイヤ10の周方向Bに沿って、それぞれ異なる位置に固定されている。以下、電極30a~30jを区別しない場合には、まとめて電極30と記載する。
【0039】
電極30は、臓器等の内壁に接触させることで、その臓器等の内壁の電気的特性を検出可能である。電気的特性としては、例えば、電極30と、臓器等の他の部位に接触した他の電極との間の電位差等を用いることができる。電極30は、環状拡張部12の遠位端13から露出するように配置されており、環状拡張部12の遠位端13を臓器等の内壁に押し当てることで、臓器等の内壁に接触させることができる。
【0040】
図3及び
図4に示すように、超音波検査器20の中心軸Oは、カテーテル40の延在方向に沿って延在している。超音波振動子21は、中心軸Oの周りを回転し、超音波を送受信することで、中心軸Oに直交する平面における周囲情報を取得する。さらに、超音波振動子21により取得された周囲情報が、情報入力部55を介して、制御部54に送信され、制御部54は、中心軸Oに直交する平面の2次元画像を生成する。制御部54は、得られた2次元画像に基づいて、例えば臓器等の内壁面の位置および領域の情報(以下、「臓器等位置情報」と記載する。)など、臓器等の内壁面の位置および領域の情報を生成可能である。制御部54は、カテーテル40の外側で、かつ、臓器等の内部に位置する医療器具の位置および領域の情報(以下、「器具位置情報」と記載する。)を生成可能である。ここで、超音波振動子21は、超音波を径方向から所定角度、例えば3°~18°、傾けて発信してもよい。このように超音波を径方向から所定角度傾けて発信することで、第1ルーメン41の内周面から反射される超音波が検出されること(リングダウン)を抑制することができる。
【0041】
超音波振動子21は、ガイドワイヤ10の直線状部11から反射される超音波を受信することで、中心軸Oを中心とした周方向でのガイドワイヤ10の器具に相当する超音波情報を取得することができる。超音波振動子21が取得した周囲情報は、情報入力部55を介して制御部54に送信される。制御部54は、入力された周囲情報に基づいて、2次元画像を生成した後、当該2次元画像に基づいて、ガイドワイヤ10の位置および領域を推定することができる。
【0042】
図4に示すように、シャフト22は、中心軸Oに沿う遠位端で超音波振動子21を固定している。シャフト22は、中心軸Oを中心としてカテーテル40の周方向に沿って回転可能である。超音波振動子21は、シャフト22の回転に連動して中心軸Oの周りを回転することで、中心軸Oの周りの周囲情報を取得可能である。また、シャフト22は、中心軸Oすなわちカテーテル40の延在方向に沿って移動可能である。超音波振動子21は、シャフト22の中心軸Oに沿った移動に連動して中心軸Oに沿って移動することで、中心軸Oに沿って周囲情報を取得可能である。ここで得られた周囲情報は、制御部54に順次送信される。制御部54は、中心軸Oに直交する平面の2次元画像を生成する。シャフト22が中心軸Oに沿って移動するとき、チューブ23もシャフト22の移動に連動して移動する。シャフト22の外径は、超音波振動子21の外径よりも小さい。
【0043】
図4に示すように、チューブ23は、シャフト22の周方向を覆う可撓性を有する筒状部材である。チューブ23は、シャフト22と密着しているため、シャフト22の回転及び移動を阻害することなく、カテーテル40に対して延在方向にスライド可能である。また、超音波検査器20の基端側の手元の押し込み力を超音波検査器20の先端側に伝えやすくするために、チューブ23の基端部はチューブ23の先端部よりも硬い。
【0044】
図3及び
図4に示すように、カテーテル40は、遠位側の端部である先端部45と、近位側の端部である図示しない基端部とを有し、第2ルーメン42が先端部45にのみ区画された、ラピッドエクスチェンジ(RX)タイプのカテーテルである。カテーテル40の第1ルーメン41は、カテーテル40の先端部45から図示しない基端部まで連通する。換言すると、第1ルーメン41は、基端部に設けられた図示しない開口から外部と連通し、プライミング可能にするために先端部45に設けられた開口46から外部と連通している。開口46の内径は、超音波振動子21の外径よりも小さいことが好ましい。これにより、第1ルーメン41に内挿された超音波振動子21が開口46を通じて外部に排出されることが抑制されるので、超音波振動子21の位置がガイドワイヤ10の環状拡張部12よりも基端側に規制される。超音波振動子21は、ガイドワイヤ10に対してガイドワイヤ10の延在方向に移動可能である。また、第1ルーメン41は、ガイドワイヤ10の環状拡張部12よりもガイドワイヤ10の径方向A内側に区画されているので、超音波振動子21は、環状拡張部12よりもガイドワイヤ10の径方向A内側に配置される。カテーテル40は、RXタイプのカテーテルには限定されず、他の形状のカテーテル、例えば、オーバーザワイヤー(OTW)タイプでのカテーテルであってもよい。ただし、上述のように構成しやすい点で、RXタイプのカテーテルが好ましい。
【0045】
図4に示すように、カテーテル40の第2ルーメン42は、先端部45で第1ルーメン41の延在方向に直交する方向に位置する。また、第2ルーメン42は、第1ルーメン41の延在方向に沿って延在している。本例では、第2ルーメン42は、カテーテル40の側面に形成された近位側連通孔43からカテーテル40の遠位端に形成された遠位側連通孔44まで延在している。第1ルーメン41と第2ルーメン42とを上述の位置関係とすることにより、超音波振動子21を、ガイドワイヤ10の環状拡張部12よりも基端側の直線状部11の延在方向に沿って配置させることができる。また、ガイドワイヤ10は、第2ルーメン42を貫通した状態で内挿され、カテーテル40に対して延在方向に自由に動くことができる。このとき、ガイドワイヤ10の直線状部11は、超音波振動子21の軸方向に直交する方向に位置する。第2ルーメン42の内径は、第1ルーメン41の内径よりも小さい。
【0046】
[臓器等情報取得方法]
図6は、カテーテル40の内部の第1ルーメン41に位置した超音波振動子21を用いた臓器等情報取得方法を示すフローチャートである。
図6に示すように、臓器等情報取得方法は、時系列順に、挿入工程(ステップS10)と、固定工程(ステップS20)と、情報取得工程(ステップS30)と、を含む。
【0047】
まず、臓器等としての心臓の内腔としての右心房内で臓器等情報を取得する方法について説明する。
図7は、カテーテル40を右心房RAで固定した状態を示す図である。
図7に示すように、ステップS10の挿入工程では、医療従事者等の操作者は、カテーテル40を先端側から被検者の右心房RAよりも径の小さい第1の血管としての下大静脈IVCを経て右心房RA内に第1シース83を通じて挿入する。このとき、操作者は、医療器具としてのブロッケンブロー針80を、下大静脈IVCを経て右心房RA内に第2シース84を通じて挿入する。ブロッケンブロー針80は、右心房RAと左心房LAとを隔離する卵円窩Hを貫通して右心房RAから左心房LAを開通させるために用いられる。
【0048】
図7に示すように、ステップS20の固定工程では、操作者は、カテーテル40の先端部45を、右心房RAから連通する右心房RAよりも径の小さい第2の血管としての上大静脈SVCに挿入する。具体的に、まずガイドワイヤ10を上大静脈SVCに挿入し、次にガイドワイヤ10に沿ってカテーテル40の先端部45を上大静脈SVCに挿入することができる。これにより、カテーテル40の先端部45の振動が抑制される。更に、カテーテル40の基端側は右心房RAよりも径の小さい下大静脈IVCに入っているため、カテーテル40は、右心房RAよりも径の小さい上大静脈SVCと下大静脈IVCとに亘って延在することとなり、カテーテル40の右心房RA内に位置する部分の振動及び移動が抑制される。また、カテーテル40の右心房RA内に位置する部分を湾曲させることで、超音波振動子21が通る第1ルーメン41を湾曲させることができる。このように第1ルーメン41を湾曲させることで、超音波振動子21がカテーテル40の延在方向に沿って移動する際に通過する位置を変化させることができるので、例えば臓器等の内壁面の特に観察したい部位(例えば心臓の卵円窩H)に近づけることができる。また、カテーテル40の先端部45よりも径の大きいガイドワイヤ10の先端に位置する環状拡張部12を上大静脈SVC内に挿入することで、カテーテル40の先端部45の位置をより固定することができる。
【0049】
図7に示すように、ステップS30の情報取得工程では、超音波振動子21は、カテーテル40の右心房RA内に位置する部分の振動及び移動が抑制された状態で、カテーテル40の第1ルーメン41内で動かされながら、右心房RAの内壁面の臓器等の周囲情報を取得する。そして、制御部54は、超音波振動子21が取得する周囲情報に基づいて、2次元画像を順次生成し、当該2次元画像に基づいて、右心房RAの内壁面の臓器等位置情報を生成する。このように、カテーテル40の右心房RA内に位置する部分の振動及び移動が抑制された状態で、超音波振動子21をカテーテル40内で動かすので、超音波振動子21をカテーテル40の周方向に沿って回転させても安定して回転し、超音波振動子21をカテーテル40の延在方向に沿って移動させても安定して移動する。従って、右心房RAの内壁面の臓器等位置情報を安定的に取得することができる。ステップS30の情報取得工程では、超音波振動子21は、医療器具としてのブロッケンブロー針80の器具の情報も取得する。このとき、記憶部53は、超音波振動子21がカテーテル40の延在方向に沿って移動する際に制御部54が生成する2次元画像と、その際の超音波振動子21の位置を、随時記憶している。
【0050】
制御部54は、記憶部53に記憶された情報を用いて、ステップS30の位置取得工程で取得される右心房RAの内壁面の臓器等位置情報、及びその臓器等位置情報が取得された際の超音波振動子21の位置および領域から、臓器等(ここでは、心臓の右心房RA)の3次元画像を生成する。
図8は、
図7に示す状態で得られる臓器等としての心臓の3次元画像を示す図である。
図8に示すように、右心房RAの内壁面のうち、ブロッケンブロー針80により貫通させる目標部位である卵円窩Hを含む3次元画像が得られる。臓器等の3次元画像の生成方法の詳細については、後述する。
【0051】
臓器等情報取得方法は、調整工程を更に含んでもよい。
図7に示すように、調整工程では、操作者は、カテーテル40の先端部45が第2の血管としての上大静脈SVCに挿入された状態を維持しつつ、カテーテル40を変形させて、超音波振動子21の移動経路を変化させる。例えば、操作者がカテーテル40を押し込むと、カテーテル40が変形することで、カテーテル40の第1ルーメン41の経路の形状が変化する。超音波振動子21は第1ルーメン41内を移動するため、第1ルーメン41の経路の形状が変化すると、超音波振動子21が移動する経路も変化する。これにより、超音波振動子21によって取得される右心房RAの内壁面の周囲情報が変化するため、当該周囲情報に基づいて生成される臓器等(ここでは、心臓の右心房RA)の3次元画像も変化する。したがって、例えば、医療器具としてのブロッケンブロー針80が、3次元画像上で第2シース84等に隠れて表示されない場合であっても、操作者がカテーテル40を更に押し込むことで、ブロッケンブロー針80を3次元画像に表示させることができる。
【0052】
次に、臓器等としての心臓の内腔としての左心房内で臓器等位置情報を取得する方法について説明する。
図9は、カテーテル40を左心房LAで固定した状態を示す図である。
図9に示すように、ステップS10の挿入工程では、操作者は、カテーテル40を先端側から下大静脈IVC(
図7参照)、右心房RA(
図7参照)、及びブロッケンブロー針80により貫通した左心房LAよりも径の小さい卵円窩Hを経て、左心房LA内に第1シース83を通じて挿入する。このとき、操作者は、医療器具としてのアブレーションカテーテル81を、右心房RA及び卵円窩Hを経て左心房LA内に第2シース84を通じて挿入する。アブレーションカテーテル81は、肺静脈PVの開口周囲を焼灼してアブレーション治療を行うために用いられる。
【0053】
図9に示すように、ステップS20の固定工程では、操作者は、カテーテル40の先端部45を、左心房LAから連通する左心房LAよりも径の小さい第2の血管としての肺静脈PVに挿入する。具体的に、まずガイドワイヤ10を肺静脈PVに挿入し、次にガイドワイヤ10に沿ってカテーテル40の先端部45を肺静脈PVに挿入することができる。これにより、カテーテル40の先端部45の振動が抑制される。更に、カテーテル40の基端側は左心房LAよりも径の小さい卵円窩Hに入っているため、カテーテル40は左心房LAよりも径の小さい肺静脈PVと卵円窩Hとに亘って延在することとなり、カテーテル40の左心房LA内に位置する部分の振動及び移動が抑制される。
【0054】
図9に示すように、ステップS30の情報取得工程では、超音波振動子21は、カテーテル40の左心房LA内に位置する部分の振動及び移動が抑制された状態で、カテーテル40の第1ルーメン41内で動かされながら左心房LAの内壁面の周囲情報を取得する。そして、制御部54は、当該周囲情報に基づいて、2次元画像を順次生成し、当該2次元画像に基づいて、左心房LAの内壁面の臓器等位置情報を生成する。このように、カテーテル40の左心房LA内に位置する部分の振動及び移動が抑制された状態で、超音波振動子21をカテーテル40内で動かすので、超音波振動子21をカテーテル40の周方向に沿って回転させても安定して回転し、超音波振動子21をカテーテル40の延在方向に沿って移動させても安定して移動する。従って、左心房LAの内壁面の臓器等位置情報を安定的に取得することができる。ステップS30の情報取得工程では、超音波振動子21は、医療器具としてのアブレーションカテーテル81の周囲情報も取得する。このとき、記憶部53は、超音波振動子21がカテーテル40の延在方向に沿って移動する際に制御部54が生成する2次元画像と、その際の超音波振動子21の位置を、随時記憶している。
【0055】
制御部54は、記憶部53に記憶された情報を用いて、ステップS30の情報取得工程で取得される左心房LAの内壁面の臓器等位置情報、及びその臓器等位置情報が取得された際の超音波振動子21の位置および領域から、左心房LAの3次元画像を生成する。
図10は、
図9に示す状態で得られる左心房LAの3次元画像を示す図である。
図10に示すように、左心房LAの内壁面のうち、アブレーションカテーテル81により焼灼される目標部位である肺静脈PVの開口周囲を含む3次元画像が得られる。
【0056】
ところで、臓器等情報取得方法は、再固定工程を更に含んでもよい。
図7及び
図9に示すように、再固定工程では、操作者は、カテーテル40が第1の血管としての下大静脈IVCを経て心臓内腔としての右心房RA内に挿入された状態を維持しつつ、先端部45を、第2の血管としての上大静脈SVCから抜去して、右心房RAから卵円窩Hを経て連通する第3の血管としての肺静脈PVに挿入する。再固定工程により、右心房RA(
図7参照)内で臓器等位置情報を取得した後に、左心房LA(
図9参照)内で臓器等位置情報を取得する場合、右心房RA内で臓器等位置情報を取得する操作から、左心房LA内で臓器等位置情報を取得する操作へと、スムーズに移行することができる。
【0057】
超音波振動子21が超音波発信部を中心軸O(
図3及び
図4参照)に沿う方向に複数有する場合、超音波振動子21をカテーテル40の周方向に沿って回転させれば、カテーテル40の延在方向に沿って移動させなくても、
図8及び
図10に示した3次元画像を得ることができる。一方、超音波振動子21が超音波発信部を中心軸Oに沿う方向に1つ有する場合、超音波振動子21をカテーテル40の周方向に沿って回転させながら、カテーテル40の延在方向に沿って移動させることで、
図8及び
図10に示した3次元画像を得ることができる。
【0058】
[第1の表示処理]
図11は、画像処理装置1が実行する第1の表示処理を示すフローチャートである。第1の表示処理は、
図6に示したステップS30の情報取得工程における処理として実行される。また、画像処理装置1は、第1の表示処理を実行する前に、被検者の臓器等の3次元画像を記憶部53に記憶している。
【0059】
図11に示すように、画像処理装置1は、例えば入力部52(
図1等参照)が開始指示の入力を受け付けると、超音波振動子21(
図3等参照)の往復移動を開始する(ステップS41)。詳細には、超音波振動子21は、駆動部50(
図2等参照)の駆動によって、カテーテル40(
図3等参照)の延在方向に沿って往復移動を開始する。以降、後述するステップS45の処理で入力部52が終了指示を受け付けるまで、超音波振動子21は往復移動し続ける。画像処理装置1は、後述する第1の往復範囲設定処理(
図12参照)又は第2の往復範囲設定処理(
図13参照)によって、予め往復範囲の情報が記憶部53に記憶されている場合、駆動部50を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子21を往復移動させる。
【0060】
画像処理装置1は、超音波振動子21によって取得される周囲情報に基づいて、制御部54を用いて、医療器具の器具位置情報を取得する(ステップS42)。ここで、医療器具は、カテーテル40の外側で、かつ、臓器等の内部の所定範囲に位置する。超音波振動子21は、カテーテル40の延在方向に沿って往復移動しながら、カテーテル40の延在方向に直交する平面に沿う、周囲情報を取得する。制御部54は、当該周囲情報に基づいて、医療器具の器具位置情報を取得する。
【0061】
その後、画像処理装置1は、取得した医療器具の器具位置情報を臓器等の3次元画像に、重畳表示等によって識別表示した表示情報を、リアルタイムに、すなわち、実時間処理で生成して記憶する(ステップS43)。詳細には、超音波振動子21は、カテーテル40の延在方向に沿って往復移動しながら、周囲情報を取得し、制御部54は当該周囲情報に基づいて、器具位置情報と共に、臓器等位置情報も取得する。画像処理装置1は、制御部54(
図1等参照)を用いて臓器等の3次元画像を記憶部53(
図1等参照)から読み出し、経時的に取得した臓器等位置情報に対応する3次元画像内の位置をそれぞれ特定する。そして、画像処理装置1は、ステップS42の処理で取得した医療器具の器具位置情報を、3次元画像の特定した位置に重畳表示した表示情報を生成する。その後、画像処理装置1は、生成した表示情報を、記憶部53に記憶する。このとき、記憶部53に既に表示情報が記憶されている場合、画像処理装置1は、既に記憶された表示情報に代えて、新たに生成した表示情報を記憶する。例えば、
図7に示したように、カテーテル40を右心房RAで固定した状態で、
図11に示す第1の表示処理が実行される場合、
図8に示すように、右心房RAの3次元画像に、医療器具としてのブロッケンブロー針80の器具位置情報が重畳された表示情報が生成される。また、例えば、
図9に示したように、カテーテル40を左心房LAで固定した状態で、
図11に示す第1の表示処理が実行される場合、
図10に示すように、左心房LAの3次元画像に、医療器具としてのアブレーションカテーテル81の器具位置情報が重畳された表示情報が生成される。
【0062】
画像処理装置1は、生成した表示情報をリアルタイムに、すなわち、実時間処理で表示する(ステップS44)。詳細には、画像処理装置1は、制御部54を用いて、記憶部53に記憶された表示情報を読み出し、表示部51(
図1等参照)に表示させる。このとき、既に表示部51に表示情報が表示されている場合、画像処理装置1は、新たに生成した表示情報の表示に更新する。
【0063】
画像処理装置1は、入力部52が終了指示を受け付けたか否かを判定する(ステップS45)。画像処理装置1は、入力部52が終了指示を受け付ける場合(ステップS45のYes)、第1の表示処理を終了する。一方、画像処理装置1は、入力部52が終了指示を受け付けない場合(ステップS45のNo)、ステップS42の処理に戻って、医療器具の器具位置情報を再度取得する。
【0064】
上記のように、超音波振動子21は、駆動部50によってカテーテル40の延在方向に沿って往復移動することで、経時的な周囲情報を取得する。さらに制御部54は、当該周囲情報に基づいて、医療器具の経時的な器具位置情報を取得する。そして、制御部54は、医療器具の経時的な器具位置情報を、臓器等の3次元画像内で識別表示した表示情報を生成する。これにより、治療中に、臓器等の3次元画像内における医療器具の経時的な位置を表示することができるので、臓器等の適切な治療に寄与し得る。
【0065】
図12は、画像処理装置1が実行する第1の往復範囲設定処理を示すフローチャートである。第1の往復範囲設定処理は、
図11に示した第1の表示処理を実行する前に実行される。
【0066】
図12に示すように、画像処理装置1は、臓器等の3次元画像を表示する(ステップS51)。詳細には、画像処理装置1は、制御部54(
図1等参照)を用いて、記憶部53(
図1等参照)から臓器等の3次元画像を読み出し、読み出した3次元画像を表示部51(
図1等参照)に表示させる。
【0067】
画像処理装置1は、入力部52(
図1等参照)を用いて、始点位置情報の入力を受け付ける(ステップS52)。始点位置情報は、表示部51に表示された臓器等の3次元画像の任意の位置を、超音波振動子21(
図3等参照)の往復範囲の始点として指定する情報である。
【0068】
画像処理装置1は、入力部52を用いて、終点位置情報の入力を受け付ける(ステップS53)。詳細には、終点位置情報は、表示部51に表示された臓器等の3次元画像の任意の位置を、超音波振動子21の往復範囲の終点として指定する情報である。始点位置情報及び終点位置情報の入力は、例えば、入力部52としての表示部51と一体に設けられたタッチパネル、又は、入力部52としてのマウスを用いて、表示部51に表示された臓器等の3次元画像の任意の2点を指定することで行われる。ステップS53の処理は、ステップS52の処理の前に実行されてもよいし、ステップS52の処理と同時に実行されてもよい。
【0069】
画像処理装置1は、制御部54を用いて、入力部52が決定指示を受け付けたか否かを判定する(ステップS54)。画像処理装置1は、入力部52が決定指示を受け付けた場合(ステップS54のYes)、ステップS55の処理に進む。一方、画像処理装置1は、入力部52が決定指示を受け付けてない場合(ステップS54のNo)、ステップS52の処理に戻って、始点位置情報の入力を再度受け付ける。
【0070】
画像処理装置1は、入力部52が決定指示を受け付けた場合(ステップS54のYes)、入力された始点位置情報及び終点位置情報を、超音波振動子21の往復範囲の情報として記憶部53に記憶して(ステップS55)、第1の往復範囲設定処理を終了する。その後、画像処理装置1は、
図11に示した第1の表示処理のステップS41の処理において、記憶部53に記憶された往復範囲の情報を読み出し、駆動部50を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子21を往復移動させる。
【0071】
上記のように、画像処理装置1は、
図11に示す第1の表示処理における超音波振動子21の往復範囲を、3次元画像を参照しながら、簡易な操作で視覚的に設定することができる。
【0072】
図13は、画像処理装置1が実行する第2の往復範囲設定処理を示すフローチャートである。第2の往復範囲設定処理は、
図11に示した第1の表示処理を実行する前に実行される。
【0073】
図13に示すように、画像処理装置1は、入力部52(
図1等参照)を用いて、始点設定指示の入力を受け付ける(ステップS61)。
【0074】
画像処理装置1は、始点設定指示が入力された時点での駆動部50(
図2等参照)の位置に基づいて、往復範囲の始点の位置を記憶する(ステップS62)。ここで、始点設定指示が入力された時点での駆動部50の位置から、駆動部50と超音波振動子21(
図3等参照)を連結するシャフト22(
図4参照)の往復移動の方向に沿う位置が特定されるため、始点設定指示が入力された時点での超音波振動子21の位置が特定可能である。したがって、当該駆動部50の位置に基づいて、その時点での超音波振動子21の位置を特定し、当該超音波振動子21の位置を往復範囲の始点の位置とすることができる。
【0075】
画像処理装置1は、入力部52を用いて、終点設定指示の入力を受け付ける(ステップS63)。
【0076】
画像処理装置1は、制御部54を用いて、終点設定指示が入力された時点での駆動部50の位置に基づいて、往復範囲の終点の位置を記憶する(ステップS64)。ここで、終点設定指示が入力された時点での駆動部50の位置から、駆動部50と超音波振動子21を連結するシャフト22の往復移動の方向に沿う位置が特定されるため、終点設定指示が入力された時点での超音波振動子21の位置が特定可能である。したがって、当該駆動部50の位置に基づいて、その時点での超音波振動子21の位置を特定し、当該超音波振動子21の位置を往復範囲の終点の位置とすることができる。
【0077】
画像処理装置1は、制御部54を用いて、入力部52が決定指示を受け付けたか否かを判定する(ステップS65)。画像処理装置1は、入力部52が決定指示を受け付けた場合(ステップS65のYes)、第2の往復範囲設定処理を終了し、往復範囲の情報を記憶部53に記憶する。一方、画像処理装置1は、入力部52が決定指示を受け付けてない場合(ステップS65のNo)、ステップS61の処理に戻って、始点設定指示の入力を再度受け付ける。画像処理装置1は、ステップS61の処理に戻る場合、新たにステップS61~S64の処理で設定された往復範囲の情報を、既に記憶されている往復範囲の情報に代えて、記憶部53に記憶する。第2の往復範囲設定処理の終了後、画像処理装置1は、
図11に示した第1の表示処理のステップS41の処理において、記憶部53に記憶された往復範囲の情報を読み出し、駆動部50を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子21を往復移動させる。
【0078】
上記のように、画像処理装置1は、
図11に示す第1の表示処理における超音波振動子21の往復範囲を、駆動部50の位置に基づいて、実際に超音波振動子21が移動する距離を確認しながら、簡易な操作で設定することができる。
【0079】
[第2の表示処理]
図14は、画像処理装置1が実行する第1の表示処理(
図11参照)の変形例としての第2の表示処理を示すフローチャートである。第2の表示処理は、
図6に示したステップS30の位置取得工程における処理として実行される。第2の表示処理は、
図11に示す第1の表示処理での表示情報に加えて、被検者の臓器等の3次元画像上の任意の位置の断面である2次元画像を表示情報とする処理である。また、画像処理装置1は、第2の表示処理を実行する前に、被検者の臓器等の3次元画像を記憶部53(
図1等参照)に記憶している。
【0080】
図14に示すように、画像処理装置1は、臓器等の3次元画像を表示する(ステップS301)。詳細には、画像処理装置1は、制御部54(
図1等参照)を用いて、記憶部53から臓器等の3次元画像を読み出し、読み出した3次元画像を表示部51(
図1等参照)に表示させる。
【0081】
画像処理装置1は、入力部52(
図1等参照)を用いて、位置指定情報の入力を受け付ける(ステップS302)。位置指定情報は、表示部51に表示された臓器等の3次元画像の任意の位置を、断面である2次元画像を表示させる位置の対象として指定する情報である。
【0082】
画像処理装置1は、制御部54を用いて、入力された位置指定情報を、記憶部53に記憶する(ステップS303)。
【0083】
画像処理装置1は、制御部54を用いて、入力部52が入力終了指示を受け付けたか否かを判定する(ステップS304)。画像処理装置1は、入力部52が入力終了指示を受け付けた場合(ステップS304のYes)、ステップS305の処理に進む。一方、画像処理装置1は、入力部52が入力終了指示を受け付けてない場合(ステップS304のNo)、ステップS302の処理に戻って、位置指定情報の入力を再度受け付ける。画像処理装置1は、ステップS302の処理に戻る場合、新たにステップS302及びS303の処理で設定された位置指定情報を、既に記憶されている位置指定情報と共に、記憶部53に記憶する。換言すれば、画像処理装置1は、複数の位置指定情報を、記憶部53に記憶することができる。
【0084】
画像処理装置1は、ステップS305の処理において、超音波振動子21(
図3等参照)の往復移動を開始する(ステップS305)。詳細には、超音波振動子21は、駆動部50(
図2等参照)の駆動によって、カテーテル40(
図3等参照)の延在方向に沿って往復移動を開始する。以降、後述するステップS311の処理で入力部52が終了指示を受け付けるまで、超音波振動子21は往復移動し続ける。同様に、ステップS311の処理で入力部52が終了指示を受け付けるまで、画像処理装置1は、後述するステップS306~310の処理に加えて、第1の表示処理(
図11参照)のステップS42~S44の処理も並行して実行する。換言すれば、画像処理装置1は、第2の表示処理による2次元画像の表示・更新に加えて、第1の表示処理による3次元画像の表示・更新も実行する。また、画像処理装置1は、上記した第1の往復範囲設定処理(
図12参照)又は第2の往復範囲設定処理(
図13参照)によって、予め往復範囲の情報が記憶部53に記憶されている場合、駆動部50を用いて、当該往復範囲の情報に基づく往復範囲で、超音波振動子21を往復移動させる。
【0085】
画像処理装置1は、ステップS306の処理において、位置指定情報に対応する位置で取得された周囲位置情報に基づいて、2次元画像を生成する。詳細には、まず、画像処理装置1は、超音波振動子21を用いて、カテーテル40の延在方向に直交する平面に沿う周囲情報を経時的に取得する。画像処理装置1は、制御部54を用いて、超音波振動子21が位置指定情報に対応する位置で取得した周囲情報に基づいて、2次元画像を生成する。ここで、生成される2次元画像は、カテーテル40の延在方向に直交する平面に沿った、臓器等の3次元画像に対する断面画像である。
【0086】
画像処理装置1は、制御部54を用いて、記憶部53に記憶されている表示情報に、位置指定情報に対応する2次元画像が既に含まれているか否かを判定する(ステップS307)。画像処理装置1は、第1の表示処理のステップS43の処理により、表示情報を記憶部53に記憶している。画像処理装置1は、記憶部53に記憶されている表示情報に、位置指定情報に対応する2次元画像が含まれていない場合(ステップS307のNo)、今回生成した二次元画像を、記憶部53に記憶されている表示情報に追加して、記憶部53に記憶する(ステップS309)。一方、画像処理装置1は、記憶部53に記憶されている表示情報に、位置指定情報に対応する2次元画像が既に含まれている場合(ステップS307のYes)、記憶部53に記憶されている表示情報に含まれる2次元画像を、今回生成した2次元画像で更新して記憶部53に記憶する(ステップS308)。
【0087】
画像処理装置1は、制御部54を用いて、記憶部53に記憶された表示情報を、表示部51に表示させる(ステップS310)。
【0088】
画像処理装置1は、制御部54を用いて、入力部52が終了指示を受け付けたか否かを判定する(ステップS311)。画像処理装置1は、終了指示を受け付けていない場合(ステップS311のNo)、ステップS306の処理に戻る。一方、画像処理装置1は、終了指示を受け付けた場合(ステップS311のYes)、第1の表示処理の変形例における処理を終了する。
【0089】
上記のように、画像処理装置1は、医療器具の経時的な器具位置情報を取得して臓器等の3次元画像に重畳表示させつつ、臓器等の3次元画像中で任意に指定された位置の断面である2次元画像も経時的に表示させることができる。したがって、治療中に、臓器等の内部に位置する医療器具の経時的な位置を、3次元画像と2次元画像で表示することができるので、臓器等の適切な治療に更に寄与し得る。
【0090】
図15は、第2の表示処理に伴う表示情報の一例を示す模式図である。
図15では、臓器等の3次元画像111を、模式的に単純な円柱で表している。
図15に示すように、表示情報100は、3次元画像表示領域110と、2次元画像表示領域120と、を含む。3次元画像表示領域110には、臓器等の3次元画像111と、臓器等の内部に位置する医療器具の器具位置情報112と、が示されている。また、3次元画像表示領域110には、位置指定情報によって指定された位置を示す情報である、断面位置情報113a~113cが示されている。2次元画像表示領域120には、断面位置情報113a~113cに対応する位置で取得された周囲位置情報に基づいて生成された2次元画像が、それぞれ2次元画像表示領域120a~120cに示されている。具体的には、2次元画像表示領域120aには、臓器等の2次元画像121のみが示されている。2次元画像表示領域120b及び120cには、臓器等の2次元画像121と、臓器等の内部に位置する医療器具の2次元画像122と、が示されている。このように、臓器等の3次元画像中で任意に指定された位置の断面である2次元画像が経時的に表示されるので、医療器具がどの2次元画像に表示されているかを判別すれば、カテーテル40の延在方向に沿う位置における、医療器具の位置を容易に特定することができる。
【0091】
[第3の表示処理]
以下、画像処理装置1が実行する第3の表示処理について説明する。画像処理装置1は、第3の表示処理を実行する前に、被検者の臓器等の3次元画像を記憶部53(
図1等参照)に予め記憶している。また、画像処理装置1は、第3の表示処理を実行する前に、カテーテル40(
図3等参照)の延在方向に沿う超音波振動子21(
図3等参照)の位置に基づいて臓器等の3次元画像内の所定の座標軸に沿う位置を特定可能な対応情報(以下、適宜「対応情報」と記載する。)を、記憶部53に予め記憶している。
【0092】
対応情報は、例えば、後述する第1の対応情報、又は第2の対応情報である。第1の対応情報は、位置対応情報と、相関位置対応情報と、を含む。位置対応情報は、臓器等の3次元画像内の所定の座標軸に沿う位置に対応する、駆動部50(
図2等参照)の位置を示す情報である。換言すれば、位置対応情報は、駆動部50の位置に対応する3次元画像内の所定の座標軸に沿う位置を示す情報である。位置対応情報は、例えば、臓器等の3次元像内の所定の座標軸に沿う位置と、駆動部50の位置と、の組み合わせの情報であってもよい。相関位置対応情報は、駆動部50の位置に対する、カテーテル40の延在方向に沿う超音波振動子21の位置を示す情報である。すなわち、第1の対応情報は、カテーテル40の延在方向に沿う超音波振動子21の位置と、臓器等の3次元画像内の所定の座標軸に沿う位置と、を対応付けた情報である。
【0093】
駆動部50(
図2等参照)は、例えば、第2の往復範囲設定処理(
図13参照)で用いた駆動部50の位置に基づいて、カテーテル40の延在方向に沿う超音波振動子21の位置を特定可能である。また、臓器等の3次元画像は、駆動部50によって、超音波振動子21がカテーテル40の延在方向に沿って移動しながら取得した周囲情報に基づいて生成される。したがって、画像処理装置1は、駆動部50が超音波振動子21を移動させて3次元画像を生成する際に、カテーテル40の延在方向における超音波振動子21の位置と、3次元画像内の所定の座標軸、すなわちカテーテル40の延在方向に対応する座標軸に沿う位置と、の対応情報を、第1の対応情報として生成することができる。
【0094】
図16は、臓器等の3次元画像211内の所定の座標軸としてのZ軸に沿う位置の一例を示す図である。
図16では、臓器等の3次元画像211を、模式的に単純な円柱で表している。
図17は、駆動部50の位置の一例を示す図である。
図17に示すように、駆動部50は、所定の座標軸としてのA軸に沿って、台座59の上を移動可能である。
図17に示す例では、駆動部50の中心位置が、所定の座標軸としてのA軸に沿って、A=1となる位置に位置している。
【0095】
図18は、位置対応情報の一例を示す図である。
図18に示すように、位置対応情報は、
図16に示した臓器等の3次元画像211内の所定の座標軸としてのZ軸に沿う位置と、
図17に示した駆動部50の所定の座標軸としてのA軸に沿う位置と、を対応付けた組み合わせの情報であってもよい。ただし、位置対応情報は、
図18に示すような組み合わせの情報には限定されない。
【0096】
上述した位置対応情報は、臓器等の3次元画像内の所定の座標軸に沿う位置と、駆動部50の位置と、の組み合わせの情報には限定されない。例えば、位置対応情報は、例えば、駆動部50の移動速度の情報、及び、フレームレートとしての所定時間間隔の情報を含んでもよい。この場合、駆動部50は、位置対応情報に含まれる移動速度(等速度)で移動する。そして、制御部54は、超音波振動子21が現在位置で受信した超音波に基づいて、臓器等の内部の現在の2次元画像を、位置対応情報に含まれる所定時間間隔で順次生成し、当該現在の2次元画像に対応付けたフレーム番号としての採番情報を昇順で生成する。その後、制御部54は、位置対応情報と、採番情報と、に基づいて、臓器等の3次元画像内での駆動部50の位置を決定することができる。なお、位置対応情報は、駆動部50の初期位置の情報も含んでいてもよい。
【0097】
第2の対応情報は、複数の2次元画像と、臓器等の3次元画像内の所定の座標軸に沿う位置と、を対応付ける画像対応情報を含む。詳細には、第2の対応情報に含まれる複数の2次元画像は、超音波振動子21によって取得された、カテーテル40の延在方向に沿った周囲情報に基づいて生成される。そして、生成された複数の2次元画像に基づいて、臓器等の3次元画像が生成される。したがって、各2次元画像は、3次元画像の所定の座標軸に沿って配置された、当該所定の座標軸に直交する断面を構成する断面画像である。画像処理装置1は、カテーテル40の延在方向に沿って超音波振動子21を移動させながら、複数の2次元画像と、各2次元画像が対応する臓器等の3次元画像内の所定の座標軸、すなわちカテーテル40の延在方向に対応する座標軸に沿う位置の情報と、を含む第2の対応情報を生成することができる。
【0098】
図19は、画像対応情報の一例を示す図である。
図19に示すように、画像対応情報は、
図16に示した臓器等の3次元画像211内の所定の座標軸としてのZ軸に沿う位置と、各位置の超音波振動子によって取得され、制御部54によって生成された断面画像と、を対応付けた組み合わせの情報であってもよい。
【0099】
図20は、画像処理装置1が実行する第3の表示処理を示すフローチャートである。第3の表示処理は、
図6に示したステップS30の情報取得工程における処理として実行される。
【0100】
図20に示すように、画像処理装置1は、制御部54(
図1等参照)を用いて、超音波振動子21の現在位置に対応する3次元画像内の位置を、記憶部53に記憶された対応情報に基づいて決定する(ステップS71)。詳細には、記憶部53に記憶された対応情報が第1の対応情報である場合、画像処理装置1は、制御部54を用いて、駆動部50によって特定されるカテーテル40の延在方向に沿う超音波振動子21の現在位置に対応する、3次元画像内の所定の座標軸に沿う位置を、第1の対応情報に基づいて決定する。
【0101】
また、記憶部53に記憶された対応情報が第2の対応情報である場合、画像処理装置1は、制御部54を用いて、超音波振動子21によって現在位置で取得された周囲情報に基づく、臓器等の現在の2次元画像を生成する。画像処理装置1は、生成した現在の2次元画像が類似する2次元画像を、第2の対応情報に含まれる複数の2次元画像から抽出する。類似する2次元画像の抽出は、例えば、パターン認識によって行うことができる。そして、画像処理装置1は、抽出された2次元画像が対応する3次元画像内の位置を、第2の対応情報から読み出し、読み出された位置を超音波振動子21の現在位置に対応する3次元画像内の位置として決定する。
【0102】
画像処理装置1は、制御部54を用いて、決定した位置を3次元画像内で識別表示した表示情報を生成する(ステップS72)。
【0103】
画像処理装置1は、制御部54を用いて、超音波振動子21が現在位置で取得する周囲情報に基づいて、臓器等の現在の2次元画像を生成する(ステップS73)。ここで、生成される2次元画像は、カテーテル40の延在方向に直交する平面に沿った、臓器等の3次元画像に対する断面画像である。
【0104】
画像処理装置1は、制御部54を用いて、生成した2次元画像を表示情報に追加する(ステップS74)。このとき、画像処理装置1は、既に表示情報に追加された2次元画像があった場合、今回生成した2次元画像を、以前に生成された2次元画像に代えて、表示情報に追加する。
【0105】
画像処理装置1は、制御部54を用いて、記憶部53に記憶された表示情報を、表示部51(
図1等参照)に表示させる(ステップS75)。このとき、既に表示部51に表示情報が表示されている場合、画像処理装置1は、新たに生成した表示情報の表示に更新する。
【0106】
画像処理装置1は、制御部54を用いて、入力部52(
図1等参照)が終了指示を受け付けたか否かを判定する(ステップS76)。画像処理装置1は、終了指示を受け付けていない場合(ステップS76のNo)、ステップS71の処理に戻る。一方、画像処理装置1は、終了指示を受け付けた場合(ステップS76のYes)、第3の表示処理を終了する。
【0107】
図21及び
図22は、それぞれ互いに異なる時刻における、第3の表示処理に伴う表示情報の一例を示す模式図である。
図21及び
図22では、臓器等の3次元画像211を、模式的に単純な円柱で表している。
図21及び
図22に示すように、表示情報200は、3次元画像表示領域210と、2次元画像表示領域220と、を含む。3次元画像表示領域210には、臓器等の3次元画像211が示されている。また、3次元画像表示領域210には、超音波振動子21の現在位置に対応する3次元画像211内の位置として決定された位置を示す、超音波振動子位置情報213が示されている。2次元画像表示領域220には、超音波振動子位置情報213に対応する超音波振動子21の現在位置で取得された周囲情報に基づいて生成された2次元画像が示されている。具体的には、
図21に示す2次元画像表示領域220aには、臓器等の2次元画像221のみが示されている。
図22に示す2次元画像表示領域220bには、臓器等の2次元画像221と、臓器等の内部に位置する医療器具の2次元画像222と、が示されている。
【0108】
上記のように、画像処理装置1は、超音波振動子21の現在位置に対応する臓器等の3次元画像内の位置を、3次元画像内で識別表示することができるので、超音波振動子21の臓器等の3次元画像内における位置を容易に把握することができる。また、画像処理装置1は、超音波振動子21の現在位置で取得する周囲情報に基づいて生成される2次元画像を表示することができるので、臓器等の内部に位置する医療器具が、事前に生成した臓器等の3次元画像には含まれない場合や、事前に生成した3次元画像からは視認が困難な場合であっても、カテーテル40の延在方向に沿う位置における、医療器具の位置を容易に特定することができる。
【0109】
本開示は、上述した各実施形態で特定された構成に限定されず、請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
【0110】
上記実施形態では、周囲情報取得デバイスとして、超音波検査器20の超音波振動子21を用いるとして説明したが、このような構成には限定されない。例えば、超音波検査器20に替えて、周囲情報取得デバイスとしての撮像素子を備える装置を用いてもよい。撮像素子を用いる装置としては、光干渉断層診断装置、光学周波数領域画像化診断装置、又は、内視鏡等が挙げられる。光干渉断層診断装置又は光学周波数領域画像化診断装置を用いる場合、撮像素子としては、周囲に向けて光を出射し、その反射光を検出するイメージングコアユニットを用いることができる。内視鏡を用いる場合、撮像素子としては、被写体からの光を受光して、当該光の強度に応じた電気信号に変換する、CCDセンサやCMOSセンサ等の受光素子を用いることができる。
【0111】
以上のように、本開示に係る画像処理装置の一実施形態としての画像処理装置1は、駆動部50と、画像処理部60と、を備える(
図1参照)。
駆動部50は、筒状部材としてのカテーテル40の内部に位置し、超音波又は光を送信し、臓器、血管または医療器具に反射した超音波又は光を受信する超音波振動子21又は撮像素子、に連結されている(
図2、
図3等参照)。
画像処理部60は、超音波振動子21又は撮像素子が受信した情報(以下、「受信情報」と記載する。)を電気信号に変換し、臓器、血管又は医療器具の2次元画像を順次生成し、生成した2次元画像を積層し、臓器、血管又は医療器具の3次元画像を生成することができる。
【0112】
更に、上述したように、駆動部50は、超音波振動子21又は撮像素子を、筒状部材としてのカテーテル40の延在方向に沿って移動させることができる。
【0113】
また、画像処理部60は、記憶部53及び制御部54を備える(
図1参照)。
【0114】
記憶部53は、駆動部50の位置と3次元画像内の所定の座標軸に沿う位置と、を対応付ける位置対応情報、及び/又は、3次元画像内の所定の座標軸に沿う位置と、この所定の座標軸に沿って積層されている2次元画像の位置と、を対応付ける画像対応情報、を記憶することができる。
【0115】
位置対応情報とは、上述したように、臓器等の3次元画像内の所定の座標軸に沿う位置に対応する、駆動部50の位置を示す情報である。駆動部50の位置と3次元画像内の所定の座標軸に沿う位置とを対応付ける情報は、上述の位置対応情報の一例である。
【0116】
画像対応情報とは、上述したように、複数の2次元画像と、臓器等の3次元画像内の所定の座標軸に沿う位置と、を対応付ける情報である。3次元画像内の所定の座標軸に沿う位置と、この所定の座標軸に沿って積層されている2次元画像の位置と、を対応付ける情報は、上述の画像対応情報の一例である。
【0117】
制御部54は、位置対応情報又は画像対応情報に基づいて、超音波振動子21又は撮像素子の現在位置に対応する3次元画像内の位置を決定することができる。また、制御部54は、決定した3次元画像内の位置を3次元画像内で識別表示する表示情報をリアルタイムに生成することができる。
【0118】
より具体的に、制御部54は、上述の画像対応情報に基づく決定方法の一例として、以下の手順を採用してもよい。
(I)超音波振動子21又は撮像素子が現在位置で取得した受信情報を電気信号に変換し、現在位置の2次元画像を生成する。
(II)生成された現在位置の2次元画像と、既に生成された3次元画像において積層されている複数の2次元画像と、を対比する。
(III)積層されている複数の2次元画像の中から、生成された現在位置の2次元画像と類似の2次元画像を抽出する。
(IV)抽出した2次元画像の、3次元画像の所定の座標軸に沿う位置を、生成された現在位置の2次元画像の、3次元画像の所定の座標軸に沿う位置として決定する。
【0119】
上記(I)~(IV)の手順により、制御部54は、超音波振動子21又は撮像素子の現在位置に対応する3次元画像内の位置を決定してもよい。
【0120】
ここで、上記(III)における「類似」とは、対比する2つの2次元画像の一致度が例えば90%以上である場合を意味する。
【0121】
更に、記憶部53は、上述の位置対応情報に加えて、相関位置対応情報を記憶してもよい。相関位置対応情報とは、上述したように、駆動部50の位置に対する、超音波振動子21又は撮像素子の位置を示す情報である。記憶部53は、相関位置対応情報の一例として、例えば、駆動部50の位置と、超音波振動子21又は撮像素子の位置と、を対応付ける情報を記憶することができる。このような相関位置対応情報の一例は、例えば、筒状部材としてのカテーテル40の延在方向での駆動部50の位置に基づいて、筒状部材としてのカテーテル40の延在方向での超音波素子21又は前記撮像素子の位置を特定することで取得可能である。
【0122】
制御部54は、上述したように、上述の位置対応情報及び相関位置対応情報に基づいて、超音波振動子21又は撮像素子の現在位置に対応する3次元画像内の位置を決定してもよい。
【0123】
最後に、本開示に係る画像処理装置の一実施形態としての画像処理装置1により実行される画像表示方法について説明する。
【0124】
上述したように、画像処理装置1の画像処理部60は、表示部51を備える(
図1、
図2参照)。
表示部51は、上述したように、3次元画像と、この3次元画像の断面位置情報と、この断面位置情報に対応する位置での2次元画像と、を表示可能である(
図15、
図21、
図22参照)。
表示部51は、3次元画像、断面位置情報及び2次元画像を同時に表示することができる(
図15、
図21、
図22参照)。
【0125】
より具体的には、
図15に示すように、表示部51は、3次元画像の断面位置情報としての、3次元画像の所定の座標軸に沿って異なる位置での複数の断面位置情報を表示してもよい。また、
図15に示すように、表示部51は、2次元画像としての、複数の断面位置情報それぞれに対応する、複数の2次元画像を表示してもよい。
【0126】
更に、
図21、
図22に示すように、表示部51は、超音波素子21又は前記撮像素子の現在位置を前記3次元画像上に表示してもよい(
図21、
図22の符号「213」参照)。
【産業上の利用可能性】
【0127】
本開示は、画像処理装置及び画像表示方法に関する。
【符号の説明】
【0128】
1:画像処理装置
2:医療デバイス
10:ガイドワイヤ
11:直線状部
12:環状拡張部
13:環状拡張部の遠位端
20:超音波検査器
21:超音波振動子(位置取得部)
22:シャフト
23:チューブ
30、30a~30j:電極
40:カテーテル(筒状部材)
41:第1ルーメン
42:第2ルーメン
43:近位側連通孔
44:遠位側連通孔
45:先端部
46:開口
50:駆動部
51:表示部
52:入力部
53:記憶部
54:制御部
55:情報入力部
59:台座
60:画像処理部
80:ブロッケンブロー針(医療器具)
81:アブレーションカテーテル(医療器具)
83:第1シース
84:第2シース
100:表示情報
110:3次元表示領域
111:臓器等の3次元画像
112:器具位置情報
113a、113b、113c:断面位置情報
120、120a、120b、120c:2次元表示領域
121:臓器等の2次元画像
122:医療器具の2次元画像
200:表示情報
210:3次元画像表示領域
211:臓器等の3次元画像
213:超音波振動子位置情報
220、220a、220b:2次元画像表示領域
221:臓器等の2次元画像
222:医療器具の2次元画像
A:ガイドワイヤの径方向
B:ガイドワイヤの周方向
O:超音波検査器の中心軸
H:卵円窩
IVC:下大静脈
SVC:上大静脈
PV:肺静脈
LA:左心房
RA:右心房