(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
(51)【国際特許分類】
A61B 8/12 20060101AFI20241111BHJP
A61B 1/313 20060101ALI20241111BHJP
【FI】
A61B8/12
A61B1/313 510
(21)【出願番号】P 2022511933
(86)(22)【出願日】2021-03-19
(86)【国際出願番号】 JP2021011533
(87)【国際公開番号】W WO2021200294
(87)【国際公開日】2021-10-07
【審査請求日】2024-03-12
(31)【優先権主張番号】P 2020061493
(32)【優先日】2020-03-30
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(73)【特許権者】
【識別番号】518110280
【氏名又は名称】株式会社ロッケン
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186015
【氏名又は名称】小松 靖之
(74)【代理人】
【識別番号】100176728
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】坂本 泰一
(72)【発明者】
【氏名】清水 克彦
(72)【発明者】
【氏名】石原 弘之
(72)【発明者】
【氏名】エン トマ
(72)【発明者】
【氏名】ジャケ クレモン
(72)【発明者】
【氏名】チェン ステフェン
(72)【発明者】
【氏名】佐賀 亮介
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開2003-010186(JP,A)
【文献】特開2009-072400(JP,A)
【文献】特表2018-522703(JP,A)
【文献】特開2014-210084(JP,A)
【文献】国際公開第2014/136137(WO,A1)
【文献】特開2006-018606(JP,A)
【文献】特開2004-113630(JP,A)
【文献】特開平11-299787(JP,A)
【文献】特開2012-170536(JP,A)
【文献】特開平11-318884(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
A61B 1/00 - 1/32
A61B 6/00 - 6/58
G06T 1/00 , 7/00
(57)【特許請求の範囲】
【請求項1】
長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示させる画像処理装置であって、
前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、算出した重心位置を通
る1対
の切断面
を設定し、前記3次元画像において前記生体組織の前記内腔を前記
1対の切断面に挟まれた領域から露出させる開口を前記3次元データに形成する制御部を備える画像処理装置。
【請求項2】
前記制御部は、前記生体組織の前記内腔の少なくとも一部が長手方向において屈曲している場合に、前記開口として、前記3次元画像において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を前記3次元データに形成する請求項1に記載の画像処理装置。
【請求項3】
前記制御部は、前記重心位置の算出結果に対してスムージングを実行した上で前記
1対の切断面を設定する請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果を分割し、分割した算出結果ごとに前記スムージングを実行する請求項3に記載の画像処理装置。
【請求項5】
前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果に対して実行する前記スムージングの度合いを調整する請求項3に記載の画像処理装置。
【請求項6】
ユーザの操作を受け付ける入力部をさらに備え、
前記制御部は、前記
1対の切断面の間の角度を設定する操作を、前記入力部を介して受け付ける請求項1から請求項5のいずれか1項に記載の画像処理装置。
【請求項7】
ユーザの操作を受け付ける入力部をさらに備え、
前記制御部は、前記3次元画像を表示させる角度を設定する操作を、前記入力部を介して受け付け、設定された角度に応じて前記
1対の切断面の位置を調整する請求項1から請求項5のいずれか1項に記載の画像処理装置。
【請求項8】
前記生体組織は、血管を含む請求項1から請求項7のいずれか1項に記載の画像処理装置。
【請求項9】
前記生体組織の前記内腔を移動しながら前記生体組織の断層データを取得するセンサと、
前記センサにより取得された断層データに基づいて前記3次元データを生成する請求項1から請求項8のいずれか1項に記載の画像処理装置と
を備える画像処理システム。
【請求項10】
前記ディスプレイをさらに備える請求項9に記載の画像処理システム。
【請求項11】
長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示する画像表示方法であって、
コンピュータが、前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、
前記コンピュータが、算出した重心位置を通
る1対
の切断面
を設定し、
前記コンピュータが、前記3次元画像において前記
1対の切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記3次元データに形成する画像表示方法。
【請求項12】
長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示させるコンピュータに、
前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出する処理と、
算出した重心位置を通
る1対
の切断面
を設定する処理と、
前記3次元画像において前記
1対の切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記3次元データに形成する処理と
を実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
特許文献1から特許文献3には、US画像システムを用いて心腔又は血管の3次元画像を生成する技術が記載されている。「US」は、ultrasoundの略語である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2010/0215238号明細書
【文献】米国特許第6385332号明細書
【文献】米国特許第6251072号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
心腔内、心臓血管、及び下肢動脈領域などに対してIVUSを用いる治療が広く行われている。「IVUS」は、intravascular ultrasoundの略語である。IVUSとはカテーテル長軸に対して垂直平面の2次元画像を提供するデバイス又は方法のことである。
【0005】
現状として、術者は頭の中でIVUSの2次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、IVUSの2次元画像から心腔又は血管などの生体組織の構造を表現する3次元画像を自動生成し、生成した3次元画像を術者に向けて表示することが考えられる。
【0006】
しかし、術者が3次元画像で生体組織の外壁しか見えないのであれば、生体組織の内部に対する施術を行えない。
【0007】
本開示の目的は、ユーザが3次元画像で生体組織の内部を見ることができるようにすることである。
【課題を解決するための手段】
【0008】
本開示の一態様としての画像処理装置は、長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示させる画像処理装置であって、前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、算出した重心位置を通る1本の線で交わる1対の面を切断面として設定し、前記3次元画像において前記生体組織の前記内腔を前記切断面に挟まれた領域から露出させる開口を前記3次元データに形成する制御部を備える。
【0009】
一実施形態として、前記制御部は、前記生体組織の前記内腔の少なくとも一部が長手方向において屈曲している場合に、前記開口として、前記3次元画像において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を前記3次元データに形成する。
【0010】
一実施形態として、前記制御部は、前記重心位置の算出結果に対してスムージングを実行した上で前記切断面を設定する。
【0011】
一実施形態として、前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果を分割し、分割した算出結果ごとに前記スムージングを実行する。
【0012】
一実施形態として、前記制御部は、前記生体組織の前記内腔の長手方向における前記複数断面の位置に応じて前記重心位置の算出結果に対して実行する前記スムージングの度合いを調整する。
【0013】
一実施形態として、前記画像処理装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記切断面の間の角度を設定する操作を、前記入力部を介して受け付ける。
【0014】
一実施形態として、前記画像処理装置は、ユーザの操作を受け付ける入力部をさらに備え、前記制御部は、前記3次元画像を表示させる角度を設定する操作を、前記入力部を介して受け付け、設定された角度に応じて前記切断面の位置を調整する。
【0015】
一実施形態として、前記生体組織は、血管を含む。
【0016】
本開示の一態様としての画像処理システムは、前記生体組織の前記内腔を移動しながら前記生体組織の断層データを取得するセンサと、前記センサにより取得された断層データに基づいて前記3次元データを生成する前記画像処理装置とを備える。
【0017】
一実施形態として、前記画像処理システムは、前記ディスプレイをさらに備える。
【0018】
本開示の一態様としての画像表示方法は、長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示する画像表示方法であって、コンピュータが、前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出し、前記コンピュータが、算出した重心位置を通る1本の線で交わる1対の面を切断面として設定し、前記コンピュータが、前記3次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記3次元データに形成する、というものである。
【0019】
本開示の一態様としての画像処理プログラムは、長手状の内腔を有する生体組織を表す3次元データを3次元画像としてディスプレイに表示させるコンピュータに、前記3次元データを用いて前記生体組織の前記内腔の短手方向の複数断面の重心位置を算出する処理と、算出した重心位置を通る1本の線で交わる1対の面を切断面として設定する処理と、前記3次元画像において前記切断面に挟まれた領域から前記生体組織の前記内腔を露出させる開口を前記3次元データに形成する処理とを実行させる。
【発明の効果】
【0020】
本開示によれば、ユーザが3次元画像で生体組織の内部を見ることができるようになる。
【図面の簡単な説明】
【0021】
【
図1】本開示の一態様としての画像処理システムの斜視図である。
【
図2】本開示の一態様としての画像処理システムのプローブ及び駆動ユニットの斜視図である。
【
図3】本開示の一態様としての画像処理装置の構成を示すブロック図である。
【
図4】本開示の一態様において設定される1対の切断面を示す図である。
【
図5】比較例において設定される1つの切断面を示す図である。
【
図6】本開示の一態様としての画像処理システムの動作を示すフローチャートである。
【
図7】本開示の一態様としての画像処理システムの動作を示すフローチャートである。
【
図8】本開示の一態様において生体組織の断面画像を2値化した結果を示す図である。
【
図9】本開示の一態様において生体組織の内表面の点群を抽出した結果を示す図である。
【
図10】本開示の一態様において生体組織の断面の重心位置を算出した結果を示す図である。
【
図11】本開示の一態様において生体組織の複数断面の重心位置を算出した結果を示す図である。
【
図12】
図11の結果に対してスムージングを実行した結果を示す図である。
【発明を実施するための形態】
【0022】
以下、本開示の一態様の具体例としての一実施形態について、図を参照して説明する。
【0023】
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
【0024】
図1、
図3、及び
図4を参照して、本実施形態の概要を説明する。
【0025】
本実施形態に係る画像処理装置11は、長手状の内腔を有する生体組織60を表す3次元データ52を3次元画像53としてディスプレイ16に表示させるコンピュータである。画像処理装置11は、3次元データ52を用いて生体組織60の内腔の短手方向の複数断面の重心位置を算出する。画像処理装置11は、算出した重心位置を通る1本の線で交わる1対の面を切断面として設定する。画像処理装置11は、3次元画像53において当該切断面に挟まれた領域から生体組織60の内腔を露出させる開口を3次元データ52に形成する。なお、ここでいう長手状の内腔を有する生体組織60は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで長手状の内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。
【0026】
本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
【0027】
生体組織60は、例えば、血管、又は心臓などの臓器を含む。
図4の例では、生体組織60は、血管である。
【0028】
図4において、X方向、及びX方向に直交するY方向は、それぞれ生体組織60の内腔の短手方向に相当する。X方向及びY方向に直交するZ方向は、生体組織60の内腔の長手方向に相当する。
【0029】
図4の例では、画像処理装置11は、3次元データ52を用いて生体組織60の断面C1,C2,C3,C4それぞれの重心B1,B2,B3,B4の位置を算出する。画像処理装置11は、重心B1,B2,B3,B4の位置を通る1本の線L1で交わる1対の面を切断面P1,P2として設定する。画像処理装置11は、3次元画像53において切断面P1,P2に挟まれた領域から生体組織60の内腔を露出させる開口を3次元データ52に形成する。
【0030】
図4のように屈曲した血管の3次元モデルの場合、1つの平面をもって3次元モデルを切断して内腔を表示すると、
図5のように切断面P0が正しく血管内を表示させ得ないケースがある。本実施形態では、
図4のように、血管の重心を捕捉し続けることにより、確実に血管の中を表示させ得るように3次元モデルを切断することが可能となる。
【0031】
図4では、便宜上、生体組織60の内腔の短手方向の複数断面として、4つの断面C1,C2,C3,C4を示しているが、重心位置の算出対象となる断面の数は4つに限らず、好適にはIVUSで取得される断面画像の数と同数である。
【0032】
図1を参照して、本実施形態に係る画像処理システム10の構成を説明する。
【0033】
画像処理システム10は、画像処理装置11、ケーブル12、駆動ユニット13、キーボード14、マウス15、及びディスプレイ16を備える。
【0034】
画像処理装置11は、本実施形態では画像診断に特化した専用のコンピュータであるが、PCなどの汎用のコンピュータでもよい。「PC」は、personal computerの略語である。
【0035】
ケーブル12は、画像処理装置11と駆動ユニット13とを接続するために用いられる。
【0036】
駆動ユニット13は、
図2に示すプローブ20に接続して用いられ、プローブ20を駆動する装置である。駆動ユニット13は、MDUとも呼ばれる。「MDU」は、motor drive unitの略語である。プローブ20は、IVUSに適用される。プローブ20は、IVUSカテーテル又は画像診断用カテーテルとも呼ばれる。
【0037】
キーボード14、マウス15、及びディスプレイ16は、任意のケーブルを介して、又は無線で画像処理装置11と接続される。ディスプレイ16は、例えば、LCD、有機ELディスプレイ、又はHMDである。「LCD」は、liquid crystal displayの略語である。「EL」は、electro luminescenceの略語である。「HMD」は、head-mounted displayの略語である。
【0038】
画像処理システム10は、オプションとして、接続端子17及びカートユニット18をさらに備える。
【0039】
接続端子17は、画像処理装置11と外部機器とを接続するために用いられる。接続端子17は、例えば、USB端子である。「USB」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。
【0040】
カートユニット18は、移動用のキャスタ付きのカートである。カートユニット18のカート本体には、画像処理装置11、ケーブル12、及び駆動ユニット13が設置される。カートユニット18の最上部のテーブルには、キーボード14、マウス15、及びディスプレイ16が設置される。
【0041】
図2を参照して、本実施形態に係るプローブ20及び駆動ユニット13の構成を説明する。
【0042】
プローブ20は、駆動シャフト21、ハブ22、シース23、外管24、超音波振動子25、及び中継コネクタ26を備える。
【0043】
駆動シャフト21は、生体の体腔内に挿入されるシース23と、シース23の基端に接続した外管24とを通り、プローブ20の基端に設けられたハブ22の内部まで延びている。駆動シャフト21は、信号を送受信する超音波振動子25を先端に有してシース23及び外管24内に回転可能に設けられる。中継コネクタ26は、シース23及び外管24を接続する。
【0044】
ハブ22、駆動シャフト21、及び超音波振動子25は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ22が先端側に向けて押される操作がなされると、駆動シャフト21及び超音波振動子25がシース23の内部を先端側へ移動する。例えば、ハブ22が基端側に引かれる操作がなされると、駆動シャフト21及び超音波振動子25は、矢印で示すように、シース23の内部を基端側へ移動する。
【0045】
駆動ユニット13は、スキャナユニット31、スライドユニット32、及びボトムカバー33を備える。
【0046】
スキャナユニット31は、ケーブル12を介して画像処理装置11と接続する。スキャナユニット31は、プローブ20と接続するプローブ接続部34と、駆動シャフト21を回転させる駆動源であるスキャナモータ35とを備える。
【0047】
プローブ接続部34は、プローブ20の基端に設けられたハブ22の差込口36を介して、プローブ20と着脱自在に接続する。ハブ22の内部では、駆動シャフト21の基端が回転自在に支持されており、スキャナモータ35の回転力が駆動シャフト21に伝えられる。また、ケーブル12を介して駆動シャフト21と画像処理装置11との間で信号が送受信される。画像処理装置11では、駆動シャフト21から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。
【0048】
スライドユニット32は、スキャナユニット31を進退自在に載せており、スキャナユニット31と機械的且つ電気的に接続している。スライドユニット32は、プローブクランプ部37、スライドモータ38、及びスイッチ群39を備える。
【0049】
プローブクランプ部37は、プローブ接続部34よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部34に接続されるプローブ20を支持する。
【0050】
スライドモータ38は、軸方向の駆動力を生じさせる駆動源である。スライドモータ38の駆動によってスキャナユニット31が進退動し、それに伴って駆動シャフト21が軸方向に進退動する。スライドモータ38は、例えば、サーボモータである。
【0051】
スイッチ群39には、例えば、スキャナユニット31の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群39に含まれる。
【0052】
フォワードスイッチが押されると、スライドモータ38が正回転し、スキャナユニット31が前進する。一方、プルバックスイッチが押されると、スライドモータ38が逆回転し、スキャナユニット31が後退する。
【0053】
スキャンスイッチが押されると画像描写が開始され、スキャナモータ35が駆動するとともに、スライドモータ38が駆動してスキャナユニット31を後退させていく。術者などのユーザは、事前にプローブ20をスキャナユニット31に接続しておき、画像描写開始とともに駆動シャフト21が回転しつつ軸方向基端側に移動するようにする。スキャナモータ35及びスライドモータ38は、スキャンスイッチが再度押されると停止し、画像描写が終了する。
【0054】
ボトムカバー33は、スライドユニット32の底面及び底面側の側面全周を覆っており、スライドユニット32の底面に対して近接離間自在である。
【0055】
図3を参照して、画像処理装置11の構成を説明する。
【0056】
画像処理装置11は、制御部41と、記憶部42と、通信部43と、入力部44と、出力部45とを備える。
【0057】
制御部41は、少なくとも1つのプロセッサ、少なくとも1つの専用回路、又はこれらの組合せを含む。プロセッサは、CPU若しくはGPUなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「CPU」は、central processing unitの略語である。「GPU」は、graphics processing unitの略語である。専用回路は、例えば、FPGA又はASICである。「FPGA」は、field-programmable gate arrayの略語である。「ASIC」は、application specific integrated circuitの略語である。制御部41は、画像処理装置11を含む画像処理システム10の各部を制御しながら、画像処理装置11の動作に関わる処理を実行する。
【0058】
記憶部42は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ、又はこれらのうち少なくとも2種類の組合せを含む。半導体メモリは、例えば、RAM又はROMである。「RAM」は、random access memoryの略語である。「ROM」は、read only memoryの略語である。RAMは、例えば、SRAM又はDRAMである。「SRAM」は、static random access memoryの略語である。「DRAM」は、dynamic random access memoryの略語である。ROMは、例えば、EEPROMである。「EEPROM」は、electrically erasable programmable read only memoryの略語である。記憶部42は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部42には、断層データ51など、画像処理装置11の動作に用いられるデータと、3次元データ52及び3次元画像53など、画像処理装置11の動作によって得られたデータとが記憶される。
【0059】
通信部43は、少なくとも1つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線LANインタフェース、無線LANインタフェース、又はIVUSの信号を受信及びA/D変換する画像診断用インタフェースである。「LAN」は、local area networkの略語である。「A/D」は、analog to digitalの略語である。通信部43は、画像処理装置11の動作に用いられるデータを受信し、また画像処理装置11の動作によって得られるデータを送信する。本実施形態では、通信部43に含まれる画像診断用インタフェースに駆動ユニット13が接続される。
【0060】
入力部44は、少なくとも1つの入力用インタフェースを含む。入力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。「HDMI(登録商標)」は、High-Definition Multimedia Interfaceの略語である。入力部44は、画像処理装置11の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部44に含まれるUSBインタフェース、又は近距離無線通信に対応したインタフェースにキーボード14及びマウス15が接続される。タッチスクリーンがディスプレイ16と一体的に設けられている場合、入力部44に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続されてもよい。
【0061】
出力部45は、少なくとも1つの出力用インタフェースを含む。出力用インタフェースは、例えば、USBインタフェース、HDMI(登録商標)インタフェース、又はBluetooth(登録商標)などの近距離無線通信に対応したインタフェースである。出力部45は、画像処理装置11の動作によって得られるデータを出力する。本実施形態では、出力部45に含まれるUSBインタフェース又はHDMI(登録商標)インタフェースにディスプレイ16が接続される。
【0062】
画像処理装置11の機能は、本実施形態に係る画像処理プログラムを、制御部41に相当するプロセッサで実行することにより実現される。すなわち、画像処理装置11の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置11の各処理をコンピュータに実行させることで、コンピュータを画像処理装置11として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置11の各処理を実行することにより画像処理装置11として機能する。
【0063】
プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はROMである。プログラムの流通は、例えば、プログラムを記憶したSDカード、DVD、又はCD-ROMなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「SD」は、Secure Digitalの略語である。「DVD」は、digital versatile discの略語である。「CD-ROM」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
【0064】
コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるASP型のサービスによって処理を実行してもよい。「ASP」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
【0065】
画像処理装置11の一部又は全ての機能が、制御部41に相当する専用回路により実現されてもよい。すなわち、画像処理装置11の一部又は全ての機能が、ハードウェアにより実現されてもよい。
【0066】
図6及び
図7を参照して、本実施形態に係る画像処理システム10の動作を説明する。画像処理システム10の動作は、本実施形態に係る画像表示方法に相当する。
【0067】
図6のフローの開始前に、ユーザによって、プローブ20がプライミングされる。その後、プローブ20が駆動ユニット13のプローブ接続部34及びプローブクランプ部37に嵌め込まれ、駆動ユニット13に接続及び固定される。そして、プローブ20が血管又は心臓などの生体組織60内の目的部位まで挿入される。
【0068】
ステップS101において、スイッチ群39に含まれるスキャンスイッチが押され、さらにスイッチ群39に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ20は、生体組織60の内部で、プルバック操作によって軸方向に後退する超音波振動子25により超音波を送信する。超音波振動子25は、生体組織60の内部を移動しながら放射線状に超音波を送信する。超音波振動子25は、送信した超音波の反射波を受信する。プローブ20は、超音波振動子25により受信した反射波の信号を画像処理装置11に入力する。画像処理装置11の制御部41は、入力された信号を処理して生体組織60の断面画像を順次生成することで、複数の断面画像を含む断層データ51を取得する。
【0069】
具体的には、プローブ20は、生体組織60の内部で超音波振動子25を周方向に回転させながら、且つ軸方向に移動させながら、超音波振動子25により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ20は、生体組織60の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子25により受信する。プローブ20は、受信した反射波の信号を、駆動ユニット13及びケーブル12を介して画像処理装置11に送信する。画像処理装置11の通信部43は、プローブ20から送信された信号を受信する。通信部43は、受信した信号をA/D変換する。通信部43は、A/D変換した信号を制御部41に入力する。制御部41は、入力された信号を処理して、超音波振動子25の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部41は、算出した強度値分布に相当する輝度値分布を持つ2次元画像を生体組織60の断面画像として順次生成することで、断面画像のデータセットである断層データ51を取得する。制御部41は、取得した断層データ51を記憶部42に記憶させる。
【0070】
本実施形態において、超音波振動子25が受信する反射波の信号は、断層データ51の生データに相当し、画像処理装置11が反射波の信号を処理して生成する断面画像は、断層データ51の加工データに相当する。
【0071】
本実施形態の一変形例として、画像処理装置11の制御部41は、プローブ20から入力された信号をそのまま断層データ51として記憶部42に記憶させてもよい。あるいは、制御部41は、プローブ20から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ51として記憶部42に記憶させてもよい。すなわち、断層データ51は、生体組織60の断面画像のデータセットに限られず、超音波振動子25の各移動位置における生体組織60の断面を何らかの形式で表すデータであればよい。
【0072】
本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子25の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。
【0073】
本実施形態の一変形例として、断層データ51は、IVUSを用いて取得される代わりに、OFDI又はOCTを用いて取得されてもよい。「OFDI」は、optical frequency domain imagingの略語である。「OCT」は、optical coherence tomographyの略語である。OFDI又はOCTが用いられる場合、生体組織60の内腔を移動しながら断層データ51を取得するセンサとして、生体組織60の内腔で超音波を送信して断層データ51を取得する超音波振動子25の代わりに、生体組織60の内腔で光を放射して断層データ51を取得するセンサが用いられる。
【0074】
本実施形態の一変形例として、画像処理装置11が生体組織60の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置11はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置11の制御部41が、IVUSの信号を処理して生体組織60の断面画像を生成する代わりに、他の装置が、IVUSの信号を処理して生体組織60の断面画像を生成し、生成した断面画像を画像処理装置11に入力してもよい。
【0075】
ステップS102において、画像処理装置11の制御部41は、ステップS101で取得した断層データ51に基づいて生体組織60の3次元データ52を生成する。なお、このとき、既に生成済みの3次元データ52が存在する場合、全ての3次元データ52を一から生成し直すのではなく、更新された断層データ51が対応する箇所のデータのみを更新することが好ましい。これにより、3次元データ52を生成する際のデータ処理量を削減し、後のステップS103における3次元画像53のリアルタイム性を向上させることができる。
【0076】
具体的には、画像処理装置11の制御部41は、記憶部42に記憶された断層データ51に含まれる生体組織60の断面画像を積層して3次元化することで、生体組織60の3次元データ52を生成する。3次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部41は、生成した3次元データ52を記憶部42に記憶させる。
【0077】
ステップS103において、画像処理装置11の制御部41は、ステップS102で生成した3次元データ52を3次元画像53としてディスプレイ16に表示させる。この時点では、制御部41は、3次元画像53を表示させる角度を任意の角度に設定してよい。
【0078】
具体的には、画像処理装置11の制御部41は、記憶部42に記憶された3次元データ52から3次元画像53を生成する。制御部41は、生成した3次元画像53を、出力部45を介してディスプレイ16に表示させる。
【0079】
ステップS104において、ユーザの変更操作として、3次元画像53を表示させる角度を設定する操作があれば、ステップS105の処理が行われる。ユーザの変更操作がなければ、ステップS106の処理が行われる。
【0080】
ステップS105において、画像処理装置11の制御部41は、3次元画像53を表示させる角度を設定する操作を、入力部44を介して受け付ける。制御部41は、3次元画像53を表示させる角度を、設定された角度に調整する。そして、ステップS103において、制御部41は、ステップS105で設定された角度で3次元画像53をディスプレイ16に表示させる。
【0081】
具体的には、画像処理装置11の制御部41は、ディスプレイ16に表示されている3次元画像53をユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部44を介して受け付ける。制御部41は、3次元画像53をディスプレイ16に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部41は、3次元画像53を表示させる角度の数値をユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部44を介して受け付ける。制御部41は、3次元画像53をディスプレイ16に表示させる角度を、入力された数値に合わせて調整する。
【0082】
ステップS106において、断層データ51の更新があれば、ステップS107及びステップS108の処理が行われる。断層データ51の更新がなければ、ステップS104において、ユーザの変更操作の有無が再度確認される。
【0083】
ステップS107において、画像処理装置11の制御部41は、ステップS101の処理と同様に、プローブ20から入力された信号を処理して生体組織60の断面画像を新たに生成することで、少なくとも1つの新たな断面画像を含む断層データ51を取得する。
【0084】
ステップS108において、画像処理装置11の制御部41は、ステップS107で取得した断層データ51に基づいて生体組織60の3次元データ52を更新する。そして、ステップS103において、制御部41は、ステップS108で更新した3次元データ52を3次元画像53としてディスプレイ16に表示させる。なお、ステップS108においては、更新された断層データ51が対応する箇所のデータのみを更新することが好ましい。これにより、3次元データ52を生成する際のデータ処理量を削減し、ステップS108において、3次元画像53のリアルタイム性を向上させることができる。
【0085】
ステップS111において、ユーザの設定操作として、
図4に示したような切断面P1,P2の間の角度を設定する操作があれば、ステップS112の処理が行われる。
【0086】
ステップS112において、画像処理装置11の制御部41は、切断面P1,P2の間の角度を設定する操作を、入力部44を介して受け付ける。
【0087】
具体的には、画像処理装置11の制御部41は、切断面P1,P2の間の角度の数値をユーザがキーボード14、マウス15、又はディスプレイ16と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部44を介して受け付ける。
【0088】
ステップS113において、画像処理装置11の制御部41は、記憶部42に記憶された最新の3次元データ52を用いて生体組織60の内腔の短手方向の複数断面の重心位置を算出する。最新の3次元データ52とは、ステップS108の処理が行われていなければ、ステップS102で生成された3次元データ52のことであり、ステップS108の処理が行われていれば、ステップS108で更新された3次元データ52のことである。なお、このとき、既に生成済みの3次元データ52が存在する場合、3次元データ52を一から全て生成し直すのではなく、更新された断層データ51が対応する箇所のデータのみを更新することが好ましい。これにより、3次元データ52を生成する際のデータ処理量を削減し、後のステップS117における3次元画像53のリアルタイム性を向上させることができる。
【0089】
具体的には、画像処理装置11の制御部41は、
図8に示すように、ステップS101で生成した複数の断面画像のそれぞれを、ステップS107で対応する新たな断面画像を生成していれば、その新たな断面画像に置き換えた上で2値化する。制御部41は、
図9に示すように、2値化した断面画像から生体組織60の内表面の点群を抽出する。例えば、制御部41は、r軸を横軸、θ軸を縦軸とする断面画像の縦方向に沿って主血管の内表面に該当する点を1つずつ抽出することで、血管の内表面の点群を抽出する。制御部41は、単に、抽出した内表面の点群の重心を求めてもよいが、その場合、点群が内表面に亘って均一にサンプリングされないため、重心位置にズレが生じる。そこで、本実施形態では、制御部41は、抽出した内表面の点群の凸包を算出し、以下のように多角形の重心を求める式を用いて重心位置C
n=(C
x,C
y)を算出する。ただし、以下の式においては、
図9に示すような内表面の点群としてn個の頂点(x
0,y
0),(x
1,y
1),・・・,(x
n-1,y
n-1)が反時計回りに凸包上に存在するものとし、(x
n,y
n)は(x
0,y
0)とみなす。
【数1】
【0090】
結果として得られる重心位置を
図10に示す。
図10において、点Cnは、断面画像の中心である。点Bpは、内表面の点群の重心である。点Bvは、多角形の頂点の重心である。点Bxは、凸包としての多角形の重心である。
【0091】
血管の重心位置を算出する手法として、凸包としての多角形の重心位置を算出する手法とは別の手法が用いられてもよい。例えば、2値化されていない元の断面画像において、主血管に収まる最大円の中心位置を重心位置として算出する手法が用いられてもよい。あるいは、r軸を横軸、θ軸を縦軸とする2値化された断面画像において、主血管領域のピクセルの平均位置を重心位置として算出する手法が用いられてもよい。生体組織60が血管でない場合についても、これらと同様の手法を用いることができる。
【0092】
ステップS114において、画像処理装置11の制御部41は、ステップS113の重心位置の算出結果に対してスムージングを実行する。
【0093】
図11に示すように、重心位置の算出結果を時間関数として見た場合、拍動の影響が大きく生じることがわかる。そこで、本実施形態では、画像処理装置11の制御部41は、
図12に破線で示すように、移動平均を用いることで重心位置の算出結果に対してスムージングを実行する。
【0094】
スムージングの手法として、移動平均とは別の手法が用いられてもよい。例えば、指数平滑法、カーネル法、局所回帰、Ramer-Douglas-Peuckerアルゴリズム、サビツキーゴーレイ法、平滑化スプライン、又はSGMが用いられてもよい。あるいは、高速フーリエ変換を実行してから高周波成分を除去する手法が用いられてもよい。あるいは、カルマンフィルタ、又はバターワースフィルタ、チェビシェフフィルタ、デジタルフィルタ、楕円フィルタ、若しくはKZフィルタなどのローパスフィルタが用いられてもよい。「SGM」は、stretched grid methodの略語である。「KZ」は、Kolmogorov-Zurbenkoの略語である。
【0095】
単にスムージングを実行すると、重心位置が組織の中に入ってしまう場合がある。その場合、制御部41は、生体組織60の内腔の長手方向における、生体組織60の内腔の短手方向の複数断面の位置に応じて重心位置の算出結果を分割し、分割した算出結果ごとにスムージングを実行してもよい。すなわち、制御部41は、
図12に破線で示すような重心位置の曲線が組織領域に重なった場合、重心位置の曲線を複数の区間に分割し、区間ごとに個別のスムージングを実行してもよい。あるいは、制御部41は、生体組織60の内腔の長手方向における、生体組織60の内腔の短手方向の複数断面の位置に応じて重心位置の算出結果に対して実行するスムージングの度合いを調整してもよい。すなわち、制御部41は、
図12に破線で示すような重心位置の曲線が組織領域に重なった場合、重なった点を含む一部の区間に対して実行するスムージングの度合いを減少させてもよい。
【0096】
ステップS115において、画像処理装置11の制御部41は、ステップS113で算出した重心位置を通る1本の線L1で交わる1対の面を切断面P1,P2として設定する。本実施形態では、制御部41は、ステップS114で重心位置の算出結果に対してスムージングを実行した上で切断面P1,P2を設定するが、ステップS114の処理は省略してもよい。
【0097】
具体的には、画像処理装置11の制御部41は、ステップS114のスムージングの結果として得られた重心位置の曲線を線L1として設定する。制御部41は、設定した線L1で交わり、且つステップS112で設定された角度をなす1対の面を切断面P1,P2として設定する。制御部41は、記憶部42に記憶された最新の3次元データ52において、生体組織60の切断面P1,P2と交差する3次元座標を、3次元画像53において生体組織60の内腔を露出させる開口の縁の3次元座標として特定する。制御部41は、特定した3次元座標を記憶部42に記憶させる。切断面P1,P2の位置は、任意の位置に設定されてよいが、本実施形態では、開口がディスプレイ16の画面上で正面に位置するように設定される。
【0098】
ステップS116において、画像処理装置11の制御部41は、3次元画像53において生体組織60の内腔を切断面P1,P2に挟まれた領域から露出させる開口を3次元データ52に形成する。
【0099】
具体的には、画像処理装置11の制御部41は、記憶部42に記憶された最新の3次元データ52において、記憶部42に記憶された3次元座標で特定される部分を、3次元画像53をディスプレイ16に表示させる際に非表示又は透明になるように設定する。
【0100】
ステップS117において、画像処理装置11の制御部41は、ステップS116で開口を形成した3次元データ52を3次元画像53としてディスプレイ16に表示させる。
【0101】
具体的には、画像処理装置11の制御部41は、記憶部42に記憶された3次元座標で特定される部分が非表示又は透明になっている3次元画像53を生成する。制御部41は、生成した3次元画像53を、出力部45を介してディスプレイ16に表示させる。よって、ユーザが開口から生体組織60の内部を覗き込んで生体組織60の内壁面を仮想的に観察することができる。
【0102】
ステップS118において、ユーザの変更操作として、切断面P1,P2の間の角度を設定する操作、又は3次元画像53を表示させる角度を設定する操作があれば、ステップS119の処理が行われる。ユーザの変更操作がなければ、ステップS120の処理が行われる。
【0103】
ステップS119において、画像処理装置11の制御部41は、ステップS112の処理と同様に、切断面P1,P2の間の角度を設定する操作を、入力部44を介して受け付ける。その場合、ステップS115以降の処理が行われる。あるいは、制御部41は、ステップS105の処理と同様に、3次元画像53を表示させる角度を設定する操作を、入力部44を介して受け付ける。制御部41は、3次元画像53を表示させる角度を、設定された角度に調整する。その場合も、ステップS115以降の処理が行われる。ステップS115では、制御部41は、設定された、3次元画像53を表示させる角度に応じて切断面P1,P2の位置を調整する。すなわち、切断面P1,P2の位置は、開口がディスプレイ16の画面上で正面に位置するように再度調整される。
【0104】
ステップS120において、断層データ51の更新があれば、ステップS121及びステップS122の処理が行われる。断層データ51の更新がなければ、ステップS118において、ユーザの変更操作の有無が再度確認される。
【0105】
ステップS121において、画像処理装置11の制御部41は、ステップS101又はステップS107の処理と同様に、プローブ20から入力された信号を処理して生体組織60の断面画像を新たに生成することで、少なくとも1つの新たな断面画像を含む断層データ51を取得する。
【0106】
ステップS122において、画像処理装置11の制御部41は、ステップS121で取得した断層データ51に基づいて生体組織60の3次元データ52を更新する。その後、ステップS113以降の処理が行われる。なお、ステップS122においては、更新された断層データ51が対応する箇所のデータのみを更新することが好ましい。これにより、3次元データ52を生成する際のデータ処理量を削減し、ステップS113以降のデータ処理のリアルタイム性を向上させることができる。
【0107】
上述のように、本実施形態では、画像処理装置11の制御部41は、長手状の内腔を有する生体組織60を表す3次元データ52を3次元画像53としてディスプレイ16に表示させる。制御部41は、3次元データ52を用いて生体組織60の内腔の短手方向の複数断面の重心位置を算出する。制御部41は、算出した重心位置を通る1本の線で交わる1対の面を切断面として設定する。制御部41は、3次元画像53において生体組織60の内腔を切断面に挟まれた領域から露出させる開口を3次元データ52に形成する。
【0108】
本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を見ることができるようになる。例えば、ユーザが術者であれば、生体組織60の内部に対する施術を行いやすくなる。
【0109】
本実施形態では、画像処理装置11の制御部41は、生体組織60の内腔の少なくとも一部が長手方向において屈曲している場合に、上記開口として、3次元画像53において当該屈曲している部分の内腔を長手方向全体に亘って露出させる開口を3次元データ52に形成する。
【0110】
本実施形態によれば、ユーザが3次元画像53で生体組織60の内部を、生体組織60の外壁で遮られることなく、見ることができるようになる。
【0111】
本実施形態では、画像処理装置11の制御部41は、重心位置の算出結果に対してスムージングを実行した上で切断面を設定する。
【0112】
本実施形態によれば、重心位置の算出結果に対する拍動の影響を抑えることができる。
【0113】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックを統合してもよいし、又は1つのブロックを分割してもよい。フローチャートに記載の複数のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【符号の説明】
【0114】
10 画像処理システム
11 画像処理装置
12 ケーブル
13 駆動ユニット
14 キーボード
15 マウス
16 ディスプレイ
17 接続端子
18 カートユニット
20 プローブ
21 駆動シャフト
22 ハブ
23 シース
24 外管
25 超音波振動子
26 中継コネクタ
31 スキャナユニット
32 スライドユニット
33 ボトムカバー
34 プローブ接続部
35 スキャナモータ
36 差込口
37 プローブクランプ部
38 スライドモータ
39 スイッチ群
41 制御部
42 記憶部
43 通信部
44 入力部
45 出力部
51 断層データ
52 3次元データ
53 3次元画像
60 生体組織