(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】ロボット手術支援装置、処理方法、及びプログラム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240109BHJP
A61B 34/35 20160101ALN20240109BHJP
【FI】
A61B34/10
A61B34/35
(21)【出願番号】P 2020055964
(22)【出願日】2020-03-26
【審査請求日】2022-12-15
(73)【特許権者】
【識別番号】514063179
【氏名又は名称】株式会社メディカロイド
(73)【特許権者】
【識別番号】500109320
【氏名又は名称】ザイオソフト株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】井田 城太
(72)【発明者】
【氏名】平塚 充一
(72)【発明者】
【氏名】茅野 秀介
(72)【発明者】
【氏名】長田 剛
(72)【発明者】
【氏名】唐沢 隆
(72)【発明者】
【氏名】瀬尾 信一郎
【審査官】石川 薫
(56)【参考文献】
【文献】特表2016-520345(JP,A)
【文献】特開2009-195687(JP,A)
【文献】特表2018-526112(JP,A)
【文献】米国特許出願公開第2013/0066335(US,A1)
【文献】米国特許出願公開第2013/0324800(US,A1)
【文献】特開2012-005857(JP,A)
【文献】米国特許出願公開第2018/0214681(US,A1)
【文献】米国特許出願公開第2018/0221639(US,A1)
【文献】特表2015-518401(JP,A)
【文献】特許第6506490(JP,B1)
【文献】国際公開第2018/198095(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 13/00-18/18
A61B 34/30-34/37
(57)【特許請求の範囲】
【請求項1】
手術支援ロボットによる鏡視下手術を支援するロボット手術支援装置であって、
処理部を備え、
前記処理部は、手術対象の被検体に設置され少なくとも2つの手術器具を挿入
するための少なくとも2つの孔部が設けられたアクセスプラットフォーム
における少なくとも2つの前記手術器具毎の回転中心に対応する位置と、前記手術支援ロボット
の位置と、の位置関係を導出する機能を有
し、
前記処理部は、前記アクセスプラットフォームにおける少なくとも2つの前記位置の動きを検出し、前記アクセスプラットフォームの変形を検出する、
ロボット手術支援装置。
【請求項2】
前記処理部は、
前記被検体の3Dデータを取得し、
前記被検体の3Dデータと、前記アクセスプラットフォームと前記手術支援ロボットとの位置関係と、に基づいて、前記被検体と前記アクセスプラットフォームとの位置関係を導出する、
請求項
1に記載のロボット手術支援装置。
【請求項3】
前記アクセスプラットフォームは、前記被検体の肛門に設置され、
前記処理部は、前記アクセスプラットフォームと前記被検体との位置関係に基づいて、前記被検体の臓器の変形を算出する、
請求項
2に記載のロボット手術支援装置。
【請求項4】
前記処理部は、前記手術器具を
前記アクセスプラットフォームに挿入した挿入距離の情報を取得する、
請求項1~
3のいずれか1項に記載のロボット手術支援装置。
【請求項5】
前記処理部は、前記挿入距離の情報に基づいて、前記アクセスプラットフォームと前記手術支援ロボットとの位置関係を導出する、
請求項
4に記載のロボット手術支援装置。
【請求項6】
前記処理部は、
前記手術支援ロボットのキネマティクスの情報を取得し、
前記手術支援ロボットのキネマティクスの情報と、前記アクセスプラットフォームと前記手術支援ロボットとの位置関係と、に基づいて、前記手術器具の先端位置を算出する、
請求項1~
5のいずれか1項に記載のロボット手術支援装置。
【請求項7】
手術支援ロボットによる鏡視下手術を支援するロボット手術支援
装置の処理部が実行する処理方法であって、
前記処理部が、手術対象の被検体に設置され少なくとも2つの手術器具を挿入
するための少なくとも2つの孔部が設けられたアクセスプラットフォーム
における少なくとも2つの前記手術器具毎の回転中心に対応する位置と、前記手術支援ロボット
の位置と、の位置関係を導出するステップ
と、
前記処理部が、
前記アクセスプラットフォームにおける少なくとも2つの前記位置の動きを検出し、前記アクセスプラットフォームの変形を検出するステップと、を有する、
処理方法。
【請求項8】
請求項
7に記載の
処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボット手術支援装置、ロボット手術支援方法、及びプログラムに関する。
【背景技術】
【0002】
従来、術式の1つとして、経肛門的低侵襲手術(TAMIS:Transanal Minimally Inbasive Surgery)が知られている。TAMISにおいて、手術器具を患者に挿入するために、患者の肛門にプラットフォーム(TAP:Transanal Access Platform)を設置することが知られている(非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0003】
【文献】GelPOINT Path, Transanal Access Platform, Applied Medical,[令和1年12月26日検索]インターネット<URL:https://www.appliedmedical.com/Products/Gelpoint/Path>
【発明の概要】
【発明が解決しようとする課題】
【0004】
TAMISにおいて用いられるプラットフォームは、患者の骨等に取り付けられるものではないので、術中に患者に対して移動し易い。また、例えば手術対象となる直腸は、プラットフォームの移動に追従して移動し易い。そのため、例えば、患者の体内における手術器具の動作範囲が制限され得る。また、手術器具が移動するプラットフォームから押圧力を受け得る。そのため、プラットフォームの移動によって手術器具を用いた手術の操作性及び安全性が低下し得る。
【0005】
本開示は、上記事情に鑑みてされたものであって、被検体に設置されるプラットフォームを用いた手術において、操作性及び安全性を向上できるロボット手術支援装置、ロボット手術支援方法、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様は、手術支援ロボットによる鏡視下手術を支援するロボット手術支援装置であって、処理部を備え、前記処理部は、手術対象の被検体に設置され少なくとも2つの手術器具を挿入するための少なくとも2つの孔部が設けられたアクセスプラットフォームにおける少なくとも2つの前記手術器具毎の回転中心に対応する位置と、前記手術支援ロボットの位置と、の位置関係を導出する機能を有し、前記処理部は、前記アクセスプラットフォームにおける少なくとも2つの前記位置の動きを検出し、前記アクセスプラットフォームの変形を検出する、ロボット手術支援装置である。
【発明の効果】
【0007】
本開示によれば、被検体に設置されるプラットフォームを用いた手術において、操作性及び安全性を向上できる。
【図面の簡単な説明】
【0008】
【
図1】第1の実施形態におけるロボット手術支援システムの構成例を示すブロック図
【
図1B】ロボット手術支援装置のハードウェア構成例を示すブロック図
【
図2A】ロボット手術支援装置の機能構成例を示すブロック図
【
図3A】手術支援ロボットとプラットフォームとの位置関係の第1導出例を説明するための図
【
図3B】手術支援ロボットとプラットフォームとの位置関係の第2導出例を説明するための図
【
図3C】被検体の体位がジャックナイフ位であることを示す図
【
図4】プラットフォーム、手術器具、及び被検体の内部の様子の一例を示す図
【
図5】プラットフォームを中心とした手術器具の回転例を示す図
【
図6】プラットフォームを挿通する手術器具が湾曲した様子の一例を示す図
【
図7】プラットフォームの移動に連動した臓器の移動例を示す図
【
図8】ロボット手術支援装置の動作例を示すフローチャート
【
図9】ロボット手術支援装置の動作例を示すフローチャート(
図8の続き)
【
図10】プラットフォームの設置シミュレーションの手順の一例を示すフローチャート
【発明を実施するための形態】
【0009】
以下、本開示の実施形態について、図面を用いて説明する。
【0010】
(第1の実施形態)
図1Aは、第1の実施形態におけるロボット手術支援システム1の構成例を示すブロック図である。ロボット手術支援システム1は、ロボット手術支援装置100と、CT装置200と、手術支援ロボット300と、俯瞰カメラ400と、を備える。ロボット手術支援装置100と、CT装置200と、手術支援ロボット300と、俯瞰カメラ400とは、ネットワークを介して接続されてもよい。また、ロボット手術支援装置100は、CT装置200、手術支援ロボット300、及び俯瞰カメラ400の各装置と、1対1で接続されてもよい。
図1Aでは、ロボット手術支援装置100が、CT装置200、手術支援ロボット300及び俯瞰カメラ400のそれぞれと接続されていることを例示している。
【0011】
ロボット手術支援装置100は、CT装置200、手術支援ロボット300、及び俯瞰カメラ400から各種データを取得する。ロボット手術支援装置100は、取得されたデータに基づいて画像処理し、手術支援ロボット300によるロボット手術を支援する。ロボット手術支援装置100は、PCとPCに搭載されたソフトウェアにより構成されてもよい。ロボット手術支援装置100は、手術ナビゲーションを行う。手術ナビゲーションは、例えば、手術前の計画(術前計画)を行うための術前シミュレーションや手術中のサポートを行うための術中ナビゲーションを含む。
【0012】
CT装置200は、被検体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体は、生体、人体、動物、等を含んでよい。CT装置200は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。CT装置200は、CT画像としてのボリュームデータをロボット手術支援装置100へ、有線回線又は無線回線を介して送信する。CT画像の撮像には、CT撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。
【0013】
手術支援ロボット300は、ロボット操作端末310、ロボット本体320、及び画像表示端末330を備える。
【0014】
ロボット操作端末310は、術者により操作されるハンドコントローラやフットスイッチを備える。ロボット操作端末310は、術者によるハンドコントローラやフットスイッチの操作に応じて、ロボット本体320に設けられた複数のロボットアームARを動作させる。また、ロボット操作端末310は、ビューワを備える。ビューワは、ステレオビューワでよく、内視鏡ES(内視鏡カメラ)により取込まれた画像を融合させて3次元画像を表示してよい。なお、ロボット操作端末310が複数存在し、複数のロボット操作端末310を複数の術者が操作するによりロボット手術が行われてもよい。
【0015】
ロボット本体320は、ロボット手術を行うための複数のロボットアームAR、ロボットアームARに装着されるエンドエフェクタEF(鉗子類、インストゥルメント)、及びロボットアームARに装着される内視鏡ESを備える。エンドエフェクタEF及び内視鏡ESは、鏡視下手術に用いられるものであるので、本実施形態では手術器具30とも称する。手術器具30は、1つ以上のエンドエフェクタEF及び内視鏡ESのうち少なくとも1つを含む。
【0016】
ロボット本体320は、例えば4つのロボットアームARを備えており、内視鏡ESが装着されるカメラアームと、ロボット操作端末310の右手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第1エンドエフェクタアームと、ロボット操作端末310の左手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第2エンドエフェクタアームと、交換用のエンドエフェクタEFが装着される第3エンドエフェクタアームと、を含む。各ロボットアームARは、複数の関節を有しており、各関節に対応してモータとエンコーダを備えていてよい。エンコーダは、角度検出器の一例としてのロータリーエンコーダを含んでよい。各ロボットアームARは、少なくとも6自由度、好ましくは7又は8自由度を有しており、3次元空間内において動作し、3次元空間内の各方向に可動自在でよい。エンドエフェクタEFには、ロボット手術において被検体PS内の処置対象に実際に接する器具であり、様々な処置(例えば、把持、切除、剥離、縫合)を可能とする。
【0017】
エンドエフェクタEFは、例えば、把持鉗子、剥離鉗子、電気メス、等を含んでよい。エンドエフェクタEFは、役割毎に異なる別個のエンドエフェクタEFが複数用意されてよい。例えば、ロボット手術では、2つのエンドエフェクタEFによって組織を抑えたり引っ張ったりして、1つのエンドエフェクタEFで組織を切る処置が行われてよい。ロボットアームAR及び手術器具30は、ロボット操作端末310からの指示を基に、動作してよい。ロボット手術において、エンドエフェクタEFは少なくとも2つ使用される。
【0018】
画像表示端末330は、モニタ、内視鏡ESによって撮像された画像を処理し、ビューワやモニタに表示させるためのコントローラ、等を有する。モニタは、例えばロボット手術の助手や看護師により確認される。
【0019】
手術支援ロボット300は、術者によるロボット操作端末310のハンドコントローラやフットスイッチの操作を受け、ロボット本体320のロボットアームARやエンドエフェクタEFや内視鏡ESの動作を制御し、被検体PSに対して各種処置を行うロボット手術を行う。ロボット手術では、被検体PS内で鏡視下手術が行われてよい。
【0020】
本実施形態では、手術支援ロボット300を用いて経肛門的低侵襲手術(TAMIS)が行われることを主に想定する。TAMISでは、手術器具30を被検体PSに挿入するために、被検体PSの肛門にプラットフォーム40(TAP)が設置される。TAMISでは、被検体PSが有する孔である肛門にプラットフォーム40が設置されるので、トロッカーの設置のように被検体PSの体表にポートを穿孔することが不要である。TAMISでは、プラットフォーム40を介してガスが注入されて被検体PSの肛門の周辺に存在する組織や臓器を膨らませられてよい。被検体PSの肛門の周辺に存在する組織や臓器は、例えば直腸、大腸、前立腺、などが含まれてよい。プラットフォーム40は、弁を有し、被検体PS内を気密に維持する。また、気密状態を維持するために、被検体PS内に空気(例えば二酸化炭素)が継続的に導入されてよい。
【0021】
プラットフォーム40には、エンドエフェクタEFが挿通される。エンドエフェクタEFの挿通時にプラットフォーム40の弁が開き、エンドエフェクタEFの脱離時にはプラットフォーム40の弁が閉じる。プラットフォーム40を経由してエンドエフェクタEFが挿入され、術式に応じて様々な処置が行われる。ロボット手術は、肛門周辺の臓器を手術対象とする以外に、その他の部位の鏡視下手術(例えば口蓋顎手術、縦隔手術)に適用されてもよい。
【0022】
図1Bは、ロボット手術支援装置100の構成例を示すブロック図である。ロボット手術支援装置100は、送受部110、UI120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。
【0023】
送受部110は、通信ポート、外部装置接続ポート、組み込みデバイスへの接続ポート、等を含む。送受部110は、CT装置200、手術支援ロボット300、及び俯瞰カメラ400からの各種データを取得する。取得された各種データは、直ぐにプロセッサ140(処理部160)に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、各種データは、記録媒体や記録メディアを介して取得されてもよい。
【0024】
送受部110は、CT装置200、手術支援ロボット300、及び俯瞰カメラ400へ各種データを送信する。送信される各種データは、プロセッサ140(処理部160)から直接送信されてもよいし、メモリ150において保管された後、必要時に各装置へ送信されてもよい。また、各種データは、記録媒体や記録メディアを介して送られてもよい。
【0025】
送受部110は、CT装置200からのボリュームデータを取得してよい。また、ボリュームデータは、中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは、ロボット手術支援装置100に取り付けられたセンサデバイスからの情報から取得されてもよい。
【0026】
送受部110は、手術支援ロボット300からの情報を取得する。手術支援ロボット300からの情報は、手術支援ロボット300のキネマティクスの情報を含んでよい。キネマティクスの情報は、例えば、手術支援ロボット300が備えるロボット手術を行うための器具(例えばロボットアームAR、エンドエフェクタEF、内視鏡ES)の形状に関する形状情報や動作に関する動作情報を含んでよい。キネマティクスの情報は、外部サーバから受信されてもよい。
【0027】
この形状情報は、ロボットアームARやエンドエフェクタEFや内視鏡ESの各部位の長さ、重さ、基準方向(例えば水平面)に対するロボットアームARの角度、ロボットアームARに対するエンドエフェクタEFの取付角度、等の少なくとも一部の情報を含んでよい。
【0028】
この動作情報は、ロボットアームARやエンドエフェクタEFや内視鏡ESの3次元空間における可動範囲を含んでよい。この動作情報は、ロボットアームARが動作する際のロボットアームARの位置、速度、加速度、向き、等の情報を含んでよい。この動作情報は、エンドエフェクタEFが動作する際のロボットアームARに対するエンドエフェクタEFの位置、速度、加速度、向き、等の情報を含んでよい。この動作情報は、内視鏡ESが動作する際のロボットアームARに対する内視鏡ESの位置、速度、加速度、向き、等の情報を含んでよい。
【0029】
ロボットアームARやエンドエフェクタEFや内視鏡ESには、角度センサが取り付けられてよい。この角度センサは、ロボットアームARやエンドエフェクタEFや内視鏡ESの3次元空間での向きに相当する角度を検出するロータリーエンコーダを含んでよい。送受部110は、手術支援ロボット300に取り付けられた各種センサが検出した検出情報を取得してよい。
【0030】
送受部110は、ロボット操作端末310に対する操作に関する操作情報を取得してよい。この操作情報は、操作の対象(例えばロボットアームAR、エンドエフェクタEF、内視鏡ES)、操作の種類(例えば移動、回転)、操作位置、操作速度、等の情報を含んでよい。
【0031】
送受部110は、手術器具30に関する手術器具情報を取得してよい。手術器具情報は、手術器具30の被検体PSへの挿入距離を含んでよい。この挿入距離は、例えば、手術器具30が挿入されるプラットフォーム40とこの手術器具30の先端位置との間の距離に相当する。例えば、手術器具30に、手術器具30の挿入距離を示す目盛りが付されていてよい。送受部110は、この目盛りを電子的に読み取り、手術器具30の挿入距離を取得してよい。この場合、例えばリニアエンコーダ(読取装置)がプラットフォーム40に取り付けられ、手術器具30にはエンコード用のマーカが付されてよい。また、送受部110は、この目盛りを術者が読んでUI120を介して挿入距離を入力することで、手術器具30の挿入距離を取得してもよい。
【0032】
また、手術支援ロボット300からの情報には、内視鏡ESによる撮像に関連する情報(内視鏡情報)が含まれてよい。内視鏡情報は、内視鏡ESにより撮像された画像(実内視鏡画像)、実内視鏡画像に関する付加情報(撮像位置、撮像向き、撮像画角、撮像範囲、撮像時刻、等)が含まれてよい。
【0033】
送受部110は、俯瞰カメラ400からの情報を取得してよい。俯瞰カメラ400からの情報は、俯瞰カメラ400により撮像された撮像画像、撮像画像に関する付加情報を含んでよい。この付加情報は、撮像位置、撮像向き、撮像画角、撮像範囲、撮像時刻、等の撮像に関連する撮像関連情報を含んでよい。
【0034】
UI120は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、ロボット手術支援装置100の術者から、任意の入力操作を受け付ける。術者は、医師、看護師、放射線技師、学生、等を含んでよい。
【0035】
UI120は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における、関心領域(ROI)の指定や輝度条件(例えばWW(Window Width)やWL(Window Level))の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、臓器、器官、骨、脳)の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。
【0036】
ディスプレイ130は、例えばLCDを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、CPR画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像、MIP画像、MinIP画像、平均値画像、レイキャスト画像、等を含んでもよい。2次元画像は、アキシャル画像、サジタル画像、コロナル画像、MPR画像、等を含んでよい。
【0037】
メモリ150は、各種ROMやRAMの一次記憶装置を含む。メモリ150は、HDDやSSDの二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードや光ディスクの三次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、送受部110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、各種プログラムを含んでもよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
【0038】
プロセッサ140は、CPU、DSP、又はGPUを含んでよい。プロセッサ140は、メモリ150に記憶されたプログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
【0039】
図2Aは、処理部160の機能構成例を示すブロック図である。処理部160は、領域処理部161、変形処理部162、モデル設定部163、位置処理部164、シミュレーション処理部165、画像生成部166、及び表示制御部167を備える。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
【0040】
領域処理部161は、例えば送受部110を介して、被検体のボリュームデータを取得する。領域処理部161は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部161は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部161は、例えばUI120を介して、手動で関心領域を指定し、関心領域を抽出してよい。関心領域は、臓器、骨、血管、患部(例えば病変組織や腫瘍組織)、等の領域を含んでよい。臓器は、直腸、大腸、前立腺、等を含んでよい。
【0041】
また、関心領域は、単一の組織だけでなく、その組織の周囲の組織を含んでセグメンテーション(区分)されて抽出されてもよい。例えば、関心領域としての臓器が直腸の場合、直腸本体だけでなく、直腸に接続する又は直腸内若しくは直腸周辺を走行する血管、直腸周辺の骨(例えば背骨、骨盤)や筋肉を含んでもよい。また、上記の直腸本体と直腸内又は直腸周辺の血管と直腸周辺の骨や筋肉とは、別々の組織としてセグメンテーションされて得られてもよい。
【0042】
モデル設定部163は、組織のモデルを設定する。モデルは関心領域とボリュームデータに基づいて設定されてよい。モデルは、ボリュームデータが表現する組織を、ボリュームデータよりも簡素化して表現するものである。したがって、モデルのデータ量は、モデルに対応するボリュームデータのデータ量よりも小さい。モデルは、例えば手術における各種処置を模した変形処理や変形操作の対象となる。モデルは、例えば簡易なボーン変形モデルでよい。この場合、モデルは簡易な有限要素において骨組みを仮定して、有限要素の頂点を移動させることで、ボーンが変形する。組織の変形は、ボーンの変形を追従することによって表現できる。モデルは、臓器(例えば直腸)を模した臓器モデルを含んでよい。モデルは、単純な形状の多角形(例えば三角形)に類似する形状を有してもよいし、その他の形状を有してもよい。モデルは、例えば、臓器を示すボリュームデータの輪郭線であってもよい。モデルは、3次元モデルであっても2次元モデルであってもよい。なお、骨についてはモデルの変形ではなく、ボリュームデータの変形で表現されてもよい。骨は変形の自由度が小さいため、ボリュームデータのアフィン変換で表現できるためである。
【0043】
モデル設定部163は、ボリュームデータに基づいて、モデルを生成することで、モデルを取得してよい。また、モデルのテンプレートが複数予め決まっており、メモリ150や外部サーバに保持されていてもよい。モデル設定部163は、ボリュームデータに合わせて、予め用意された複数のモデルのテンプレートから1つのモデルのテンプレートをメモリ150や外部サーバから取得することで、モデルを取得してもよい。
【0044】
モデル設定部163は、ボリュームデータに含まれる被検体PSの組織(例えば臓器)におけるターゲットTGの位置を設定してよい。または、モデル設定部163は、組織を模したモデルにおけるターゲットTGの位置を設定してよい。ターゲットTGは、任意の組織内に設定される。モデル設定部163は、UI120を介してターゲットTGの位置を指定してよい。また、過去に被検体PSに対して処置されたターゲットTG(例えば患部)の位置がメモリ150に保持されていてもよい。モデル設定部163は、メモリ150からターゲットTGの位置を取得して設定してもよい。モデル設定部163は、術式に応じてターゲットTGの位置を設定してもよい。術式は、被検体PSに対する外科手術の方式を示す。ターゲット位置は、ある程度の広さを有するターゲットTGの領域の位置であってもよい。
【0045】
変形処理部162は、手術対象の被検体PSにおける変形に関する処理を行う。例えば、被検体PS内の臓器等の組織は、手術における術者の各種処置を模して術者によって各種の変形操作がされ得る。変形操作は、臓器を持ち上げる操作、ひっくり返す操作、切る操作、等を含んでよい。これに対応して、変形処理部162は、被検体PS内の臓器等の組織に対応するモデルを変形させる。例えば、臓器がエンドエフェクタEFにより引っ張られたり押されたり、切断されたりし得るが、この様子をモデルの変形によりシミュレートしてよい。モデルが変形すると、モデルにおけるターゲットも変形し得る。
【0046】
変形操作による変形は、モデルに対して行われよく、有限要素法を用いた大変形シミュレーションでよい。例えば、体位変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。モデルに対する変形処理は、ボリュームデータに対する変形処理と比較すると、演算量が低減される。変形シミュレーションにおける要素数が低減されるためである。なお、モデルに対しての変形処理が行われず、ボリュームデータに対して直接、変形処理が行われてもよい。
【0047】
また、変形処理部162は、例えば、変形に関する処理として、仮想的に被検体PSに対して肛門からガスを注入するガス注入シミュレーションを行ってよい。ガス注入シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された気腹シミュレーションの方法を、肛門を介してガスを注入するガス注入シミュレーションに適用してよい。つまり、変形処理部162は、非ガス注入状態のモデル又はボリュームデータを基に、ガス注入シミュレーションを行い、仮想ガス注入状態のモデル又はボリュームデータを生成してよい。また、実際にガス注入を行った上で撮影されたボリュームデータ又はこのボリュームデータに基づくモデルを用いてもよい。また、実際にガス注入を行った上で撮影されたボリュームデータ又はこのボリュームデータに基づくモデルを基にガス注入量を変化させたガス注入シミュレーションを行ってもよい。ガス注入シミュレーションにより、術者は、被検体PSに対して実際にガス注入しなくても、被検体PSがガス注入された状態を仮定し、仮想的にガス注入された状態を観察できる。なお、ガス注入状態のうち、ガス注入シミュレーションにより推定されるガス注入の状態を仮想ガス注入状態と称し、実際のガス注入された状態を実ガス注入状態と称してよい。
【0048】
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention), 2004, P559-P567
【0049】
ガス注入シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部162は、領域処理部161を介して、被検体PSの皮下脂肪を含む体表と、被検体PSの肛門付近の内臓と、をセグメンテーションしてよい。そして、変形処理部162は、モデル設定部163を介して、体表を皮膚と体脂肪との2層の有限要素にモデル化し、肛門付近の内臓を有限要素にモデル化してよい。変形処理部162は、任意に、例えば直腸と骨とをセグメンテーションし、モデルに追加してよい。また、体表と肛門付近の内臓との間にガス領域を設け、仮想的なガス注入に応じてガス注入領域が拡張(膨張)してよい。なお、ガス注入シミュレーションが行われなくてもよい。
【0050】
位置処理部164は、手術支援ロボット300とプラットフォーム40との位置関係を導出する。手術支援ロボット300とプラットフォーム40との位置関係は、例えば、手術支援ロボット300に対するプラットフォーム40の相対的な位置であってよい。位置処理部164は、手術支援ロボット300の位置に対するプラットフォーム40の位置を取得することで、位置関係を導出してもよい。また、位置処理部164は、プラットフォーム40に対する手術支援ロボット300の位置を取得することで、位置関係を導出してもよい。例えば、位置処理部164は、手術支援ロボット300の位置とプラットフォーム40の位置との双方を取得し、位置関係を算出してよい。また、位置処理部164は、手術支援ロボット300とプラットフォーム40との位置関係と、手術支援ロボット300の位置と、に基づいて、プラットフォーム40の位置を算出してよい。
【0051】
位置処理部164は、手術器具30の被検体PSへの挿入距離に基づいて、プラットフォーム40と手術支援ロボット300との位置関係を導出してよい。例えば、手術支援ロボット300のキネマティクスに含まれる手術器具30の長さから挿入距離を減算することで、プラットフォーム40と手術支援ロボット300との距離を算出し、位置関係を導出してよい。さらに、位置処理部164は、ロボットアームARの角度に基づいて、ロボットアームARに対するプラットフォーム40の向きを判別してもよい。この場合、手術支援ロボット300とプラットフォーム40との位置と向きを加味した位置関係を導出できる。
【0052】
位置処理部164は、手術支援ロボット300とプラットフォーム40との位置関係に基づいて、術中に手術器具30を操作する際の回転中心rcを算出する。この回転中心rcは、手術器具30の位置や向きの変化に関わらず、手術器具30が通過する位置である。この回転中心rcの位置は、例えば実際のプラットフォーム40の位置でもよいし、プラットフォーム40の理想的な配置位置でもよい。プラットフォーム40の理想的な配置位置は、ロボットアームARの角度及び手術器具30のキネマティクスに基づくプラットフォーム40の推定位置でよい。術者は、ロボット操作端末310を介して、手術器具30の動きが回転中心rcを通るように調整することで、プラットフォーム40に対する不要な押圧力が抑制され、術中の被検体PSの負担が軽減可能である。また、術者らは、直接プラットフォーム40に触れることによって手術器具30の動きが回転中心rcを通るようにプラットフォーム40を調整することで、プラットフォーム40に対する不要な押圧力が抑制され、術中の被検体PSの負担が軽減可能である。
【0053】
位置処理部164は、手術器具30毎に回転中心rcを算出してよい。この場合、プラットフォーム40において各手術器具30が通過する位置を、個別に算出してよい。これにより、術者により複数の手術器具30のそれぞれの動きが、それぞれの回転中心rcを通るように調整されることで、プラットフォーム40に対する不要な押圧力が抑制され、術中の被検体PSの負担が軽減可能である。
【0054】
位置処理部164は、手術器具30のキネマティクスの情報及びロボットアームARの角度に基づいて、ロボットアームARに取り付けられた手術器具30が通過する位置を推定してよい。この場合、ロボットアームARの角度とともに、ロボットアームARに対するエンドエフェクタEFの角度が加味されてもよい。エンドエフェクタEFの推定位置は、エンドエフェクタEFの実際の位置とは異なり得る。エンドエフェクタEFの回転中心rcの位置は、このエンドエフェクタEFの推定位置であってもよい。これにより、エンドエフェクタEFの湾曲等が無い場合の理想的なエンドエフェクタEFの回転中心rcの位置が把握できる。
【0055】
位置処理部164は、手術器具30の先端位置と先端向きとを推定する。例えば、位置処理部164は、少なくともロボットアームARの角度(手術器具30の向き)と手術器具30の挿入距離とに基づいて、手術器具30の先端位置を推定してよい。例えば手術器具30が直線的に延びる形状である場合、手術器具30の挿入距離とロボットアームARの角度とに基づいて、手術器具30の先端位置を推定してよい。例えば手術器具30が非直線的な形状(例えば折れ曲がる形状、湾曲した形状)を有する場合、ロボットアームARの角度と手術器具30の挿入距離と手術器具30の形状とに基づいて、手術器具30の先端位置を推定してよい。例えば手術器具30が直線的に延びる形状である場合、ロボットアームARの角度に基づく手術器具30全体の向きを、手術器具30の先端向きとして算出してよい。例えば手術器具30が非直線的な形状である場合、手術器具30全体の向きと手術器具30の形状とに基づいて、手術器具30の先端向きを算出してよい。なお、手術器具30が押圧力を受けた場合、上記で推定された手術器具30の先端位置及び先端向きと実際の手術器具30の先端位置及び先端向きとに差分が生じ得る。
【0056】
シミュレーション処理部165は、プラットフォーム40の設置シミュレーションを行う。プラットフォーム40の設置シミュレーションは、術者がロボット操作端末310を操作することで、被検体PSにおける所望の手術が可能か否かを判定するためのシミュレーションである。このシミュレーションでは、UI120を用いてロボット操作端末310の操作を模してよい。プラットフォーム40の設置シミュレーションでは、術者が手術を想定しながら、仮想空間において、肛門に設置されたプラットフォーム40に挿通されたエンドエフェクタEFを動作させ、エンドエフェクタEFが手術対象となるターゲットTGへアクセス可能か否かを判定してよい。つまり、プラットフォーム40の設置シミュレーションでは、エンドエフェクタEFを操作しながら、エンドエフェクタEFがターゲットTGへ問題なくアクセス可能か否かが判定されてよい。アクセス可能な場合には、手術支援ロボット300を用いたTAMISが可能であると判定可能である。アクセス不可能な場合には、手術支援ロボット300を用いたTAMISが不可能であると判定可能であり、この場合には開腹手術に切り替えるための判断材料となる。また、シミュレーション処理部165は、プラットフォーム40の設置シミュレーションでは、内視鏡ESを操作しながら、内視鏡ESの撮像範囲にターゲットTGが含まれるか否かも判定してよい。
【0057】
具体的には、シミュレーション処理部165は、被検体PSのボリュームデータ又はモデル、手術器具30のキネマティクスと、ターゲットTGの位置と、プラットフォーム40の位置と、を取得する。シミュレーション処理部165は、手術器具のキネマティクスと、ターゲットの位置と、プラットフォーム40の位置と、に基づいて、プラットフォーム40を介してエンドエフェクタEFがターゲットTGに到達可能か否かを判定し、手術支援ロボット300を用いたTAMISが可能であるか否かを判定してよい。さらに、被検体PSへの肛門からのガス注入状態、被検体PSに施される手術の術式、等が加味されてもよい。
【0058】
なお、キネマティクスでは、自ロボットアームによる可動範囲とともに他ロボットアームの可動範囲が規定される。したがって、手術支援ロボット300は、手術支援ロボット300の各ロボットアームARがキネマティクスに基づいて動作することで、術中に複数のロボットアームARが干渉することを回避できる。
【0059】
術式は、UI120を介して指定されてよい。術式により、ロボット手術における各処置が定まってよい。処置に応じて、処置に必要なエンドエフェクタEFが定まってよい。よって、術式に応じて、ロボットアームARに装着されるエンドエフェクタEFが定まってよく、どのロボットアームARにどの種類のエンドエフェクタEFが装着されるかが定まってよい。
【0060】
画像生成部166は、各種画像を生成する。画像生成部166は、取得されたボリュームデータの少なくとも一部(例えばボリュームデータにおいて抽出された領域)に基づいて、3次元画像や2次元画像を生成する。画像生成部166は、変形処理部162により変形されたボリュームデータに基づいて、3次元画像や2次元画像を生成してよい。例えば、ボリュームレンダリング画像や、内視鏡ESの位置から内視鏡ESの向きを見た状態を表現する仮想内視鏡画像を生成してよい。
【0061】
表示制御部167は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部167は、画像生成部166で生成された画像(例えばレンダリング画像)を表示させる。また、表示制御部167は、この画像とともに各種情報を重畳して表示させる。重畳表示される情報は、例えば手術器具30を示す情報を含んでよい。また、表示制御部167は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅(WW:Window Width)及びウインドウレベル(WL:Window Level)の少なくとも一方の調整を含んでよい。
【0062】
図2Bは、プラットフォーム40の構造例を示す図である。プラットフォーム40は、ベース41と、ベース41に接続される複数の突起420と、を有する。ベース41は、例えば略半球状や略円筒状の形状を有し、その他の形状を有してもよい。複数の突起420は、それぞれ手術器具30が挿通される孔部を有する。孔部は、突起420及びベース41を貫通して設けられる。各手術器具30は、ロボットアームARの動きに連動して移動し、プラットフォーム40の突起420及びベース41を介して、被検体PSへの挿入量(挿入距離)及び挿入向きを柔軟に調整可能である。
【0063】
被検体PSへの挿入距離は、プラットフォーム40に挿通される複数の手術器具30の挿入距離がまとめて1つ取得されてよい。この場合、リニアエンコーダが例えばベース41に設置されてよい。また、複数の手術器具30のそれぞれについて挿入距離が取得されてもよい。この場合、リニアエンコーダが各突起420に設置されてよい。
【0064】
プラットフォーム40は、肛門に設置されるが、単孔式腹腔鏡下手術(SILS:Single Incisional Laparoscopic Surgery)用のアクセスプラットフォームをそのまま又は多少の加工により使用可能である。また、プラットフォーム40は、肛門専用のプラットフォームであってもよい。また、手術支援ロボットについても、腹腔鏡手術用の手術支援ロボットを本実施形態の肛門用の手術支援ロボット300として使用可能である。
【0065】
次に、手術支援ロボット300とプラットフォーム40との位置関係の導出について説明する。ここでは、光学的マーカMKを用いて手術支援ロボット300とプラットフォーム40との位置関係の導出することを主に例示する。ロボット本体320、ロボットアームAR、手術器具30の少なくとも1つには、光学的マーカMKが付されてよい。プラットフォーム40のベース41又は突起420の少なくとも1つには、光学的マーカMKが付されてよい。
【0066】
図3Aは、手術支援ロボット300とプラットフォーム40との位置関係の第1導出例を説明するための図である。
【0067】
図3Aでは、被検体PSを基準とした被検体座標系(患者座標系)のx方向、y方向、及びz方向が示されている。被検体座標系は、直交座標系である。x方向は、被検体PSを基準とした左右方向に沿ってよい。y方向は、被検体PSを基準とした前後方向(被検体PSの厚み方向)でよい。z方向は、被検体PSを基準とした上下方向(被検体PSの体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。この座標系は、
図3、
図3C、及び
図4でも同様である。
【0068】
図3Aでは、手術支援ロボット300に光学的マーカMK及びプラットフォーム40に、光学的マーカMKが付されている。具体的には、手術支援ロボット300における所定の位置に、光学的マーカMK1が付されてよい。この所定の位置は、例えばロボット本体320における被検体PSが配置される場所に対向する側面や、ロボットアームARの根本の表面でよい。また、プラットフォーム40における所定の位置に、光学的マーカMK2が付されてよい。この所定の位置は、例えばベース41又は突起42におけるいずれかの表面の位置でよい。
【0069】
図3Aでは、ロボット手術が行われる手術環境における所定の位置に、俯瞰カメラ400が配置される。所定の位置は、手術室の壁面や天井、天井から吊り下げられた位置、手術支援ロボット300の側面、ロボット手術で使用される各種カートの側面、等が考えられる。俯瞰カメラ400は、手術支援ロボット300及びプラットフォーム40に付された光学的マーカMKを撮像範囲に含むように、俯瞰カメラ400が設置される位置、向き、画角、等が定められる。光学的マーカMKは、俯瞰カメラ400等から赤外光の照射を受けると、発光する。この結果、俯瞰カメラ400の撮像画像に光学的マーカMKが写り込む。
【0070】
ロボット手術支援装置100の位置処理部164は、送受部110を介して俯瞰カメラ400の撮像画像及び撮像画像の付加情報を取得する。位置処理部164は、撮像画像に写り込んだ光学的マーカMK1,MK2の位置を基に、撮像画像における手術支援ロボット300の位置(画像位置)と、撮像画像におけるプラットフォーム40の位置(画像位置)と、を認識する。位置処理部164は、撮像画像における手術支援ロボット300の画像位置とプラットフォーム40の画像位置に基づいて、実空間における手術支援ロボット300の位置とプラットフォーム40の位置とを認識できる。この位置の認識は、手術支援ロボット300の位置とプラットフォーム40の位置との計測(実測)に相当する。よって、位置処理部164は、手術支援ロボット300とプラットフォーム40の位置関係を導出できる。
【0071】
このように、手術支援ロボット300における光学的マーカMK2の付された位置が、手術支援ロボット300の位置として認識され、プラットフォーム40における光学的マーカMK1の付された位置が、プラットフォーム40の位置として認識される。
【0072】
図3Bは、手術支援ロボット300とプラットフォーム40との位置関係の第2導出例を説明するための図である。
図3Bにおいて、
図3Aと同様の事項については、その説明を省略又は簡略化する。
【0073】
図3Bでは、手術支援ロボット300に光学的マーカMKが付されず、プラットフォーム40に光学的マーカMKが付されている。プラットフォーム40に付される光学的マーカMKの位置は、
図3Aの場合と同じでよい。
【0074】
図3Bでは、手術支援ロボット300における所定の位置に、俯瞰カメラ400が配置される。この所定の位置は、例えばロボット本体320における被検体PSが配置される場所に対向する側面でよい。俯瞰カメラ400は、プラットフォーム40に付された光学的マーカMKを撮像範囲に含むように、俯瞰カメラ400が設置される位置、向き、画角、等が定められる。
【0075】
ロボット手術支援装置100の位置処理部164は、送受部110を介して俯瞰カメラ400の撮像画像及び撮像画像の付加情報を取得する。また、俯瞰カメラ400は手術支援ロボット300に設置されるので、撮像画像の画像範囲は、手術支援ロボット300の位置に基づく。位置処理部164は、撮像画像に写り込んだ光学的マーカMKの位置を基に、撮像画像におけるプラットフォーム40の位置(画像位置)を判別する。よって、位置処理部164は、撮像画像におけるプラットフォーム40の画像位置に基づいて、実空間における手術支援ロボット300に対するプラットフォーム40の位置を推定できる。よって、位置処理部164は、手術支援ロボット300とプラットフォーム40の位置関係を導出できる。
【0076】
なお、
図3A、
図3Bでは、被検体PSが切石位の体位で手術ベッド500に固定されている。切石位では、手術ベッド500に仰向けに載置され、手術ベッド500において、被検体PSの胴体部が載置されるテーブル520よりも、被検体PSの脚部が固定される脚保持部550が高い位置に配置される。脚保持部550に、被検体PSの脚が上げられた状態で固定される。脚保持部550は、脚載置部551と脚固定部552とを有する。
【0077】
なお、本実施形態では、被検体PSの体位は切石位に限られない。例えば、ジャックナイフ位(
図3C参照)やその他の体位であってもよい。ジャックナイフ位では、手術ベッド500にうつ伏せに載置され、手術ベッド500において、テーブル520よりも脚保持部550が低い位置に配置される。脚保持部550に、被検体PSの脚が下ろされた状態で固定する。なお、
図3Cでは、
図3Aに示した位置関係の導出例が適用されてもよいし、
図3Bに示した位置関係の導出例が適用されてもよい。
【0078】
図4は、プラットフォーム40、手術器具30、及び被検体PSの内部の様子の一例を示す図である。ロボット本体320のロボットアームARに取り付けられたエンドエフェクタEFは、プラットフォーム40を挿通して被検体PSの内部に挿入される。
図4では、プラットフォーム40は肛門に設置されており、肛門に接続する直腸の一部に病変が存在し、処置が行われるターゲットTGとなっている。ターゲットTG付近の様子は、ロボットアームARに取り付けられた内視鏡ESにより撮像される。内視鏡ESもエンドエフェクタEFと同様に、プラットフォーム40を挿通して被検体PSの内部に挿入される。実内視鏡画像には、ターゲットTGに各種処置を行うためのエンドエフェクタEFが映り込み得る。
【0079】
図5は、プラットフォーム40を回転中心とした手術器具30の回転例を示す図である。
【0080】
ロボット手術支援装置100の位置処理部164は、手術支援ロボット300とプラットフォーム40との位置関係を導出する。位置処理部164は、送受部110を介して、手術支援ロボット300とプラットフォーム40との位置関係の情報を手術支援ロボット300に送信してよい。これにより、手術支援ロボット300は、手術支援ロボット300とプラットフォーム40との位置関係を把握でき、ロボット手術に活用できる。
【0081】
また、位置処理部164は、送受部110を介して、手術器具30の回転中心rcの位置の情報を手術支援ロボット300に送信してよい。手術支援ロボット300は、ロボット手術支援装置100から回転中心rcの位置の情報を取得し、この回転中心rcの位置(例えばプラットフォーム40の位置)を通るように、ロボットアームARの可動範囲やロボットアームARに対する手術器具30の可動範囲を制限してよい。これにより、ロボット操作端末310が術者から受け付けた操作に従って、ロボットアームARを介して手術器具30を動かす場合、手術支援ロボット300は、プラットフォーム40の位置が手術器具30の回転中心rcとなるよう制御できる。
【0082】
図5では、ロボット操作端末310の操作に応じて、手術器具30Aの位置から手術器具30Bの位置に移動している。この場合でも、手術器具30A,EFBの双方は、回転中心rcの位置を通っている。つまり、手術器具30A,30Bは、回転中心rcを中心に回転可能である。
【0083】
また、表示制御部167は、ディスプレイ130を介して、手術支援ロボット300とプラットフォーム40との位置関係の情報や手術器具30の回転中心rcの位置の情報を表示してよい。つまり、ロボット手術支援装置100は、手術支援ロボット300のロボットアームARの動きを制限するのではなく、ディスプレイ130又は画像表示端末330に上記の位置関係や回転中心rcの位置の情報を表示し、術者が認識できるようにしてよい。回転中心rcの位置の情報は、例えばレンダリング画像において回転中心rcの位置に相当する位置を示す情報として表示されてよい。術者は、ディスプレイ130又は画像表示端末330に位置関係や回転中心rcの位置の情報を確認し、ロボット操作端末310を介した手術器具30の操作を自主的に制限し、手術器具30が回転中心rcを通るようにしてもよい。これにより、手術支援ロボット300は、プラットフォーム40に対して余分な押圧力が作用したり、プラットフォーム40が意図しない方向に移動したりすることを抑制できる。
【0084】
なお、プラットフォーム40の位置は、手術器具30毎に複数存在してもよい。例えば、プラットフォーム40の各突起42に光学的マーカMKが付され、俯瞰カメラ400により撮像されてもよい。この場合、位置処理部164は、俯瞰カメラ400により撮像された撮像画像を基に、手術支援ロボット300がプラットフォーム40の各突起42の位置を認識してよい。位置処理部164は、各突起42の位置を各手術器具30の回転中心rcとしてよい。手術支援ロボット300は、各突起42の位置を各手術器具30のEFの回転中心rcとして導出することで、各突起42の位置を回転中心rcとして、被検体PSに対する手術器具30の位置や向きを調整できる。
【0085】
図6は、プラットフォーム40を挿通する手術器具30が湾曲した様子の一例を示す図である。
【0086】
手術器具30は、主要部分が直線形状である場合でも、手術器具30に作用する押圧力が過大である場合には、湾曲し得る。また、手術器具30は、主要部分が非直線形40状である場合でも、手術器具30に作用する押圧力が過大である場合には、原形から変形して湾曲し得る。この場合、手術器具30が挿入された被検体PSに対して負荷がかかるので、手術器具30に作用する押圧力が小さくなることが望ましい。
【0087】
ロボット手術支援装置100の位置処理部164は、送受部110を介して取得されたロボットアームARの角度に基づいて、被検体PSの肛門付近において手術器具30が通過する位置を推定する。この手術器具30の推定位置に、プラットフォーム40が位置していることが望ましい。つまり手術器具30の肛門付近の推定位置と、プラットフォーム40に挿通された実際の手術器具30の位置と、が一致していることが望ましい。
【0088】
手術器具30が湾曲していると、被検体PSにおける肛門付近での手術器具30の推定位置p11と実際の位置p12との差分よりも、被検体PSの肛門付近よりも奥側での手術器具30の先端の推定位置p21と先端の実際の位置p22との差分が大きくなる。肛門付近における手術器具30の実際の位置p12は、プラットフォーム40の実測位置に相当する。例えば、肛門付近において1~2mmずれている場合、手術器具30の先端付近では、2~4mmずれていることが想定される。
図6では、湾曲していない手術器具30を、手術器具30Cとして示しており、湾曲している手術器具30を、手術器具30Dとして示している。
【0089】
位置処理部164は、プラットフォーム40の位置を手術器具30が通過しない場合、ロボットアームAR又は手術器具30が湾曲しているとして、手術器具30の先端の推定位置p21を補正してよい。この場合、位置処理部164は、肛門付近における手術器具30の推定位置p11とプラットフォーム40の実測位置p12との差分を基に、手術器具30の湾曲度を算出してよい。そして、位置処理部164は、算出された湾曲度と、手術器具30の先端の推定位置p21に基づいて、手術器具30の先端の位置p22を算出してよい。位置処理部164は、ロボットアームARの角度に基づく手術器具30の先端の推定位置p21を、湾曲度に基づく手術器具30の先端の算出位置p22に補正してよい。なお、位置処理部164は、手術器具30の先端の推定位置p21を算出位置p22に至るまで移動するよう補正しなくてもよい。例えば、位置処理部164は、先端の推定位置p21から算出位置p22の方向に任意の補正量で補正し、先端の推定位置p21と算出位置p22との間の位置になるよう補正してもよい。
【0090】
これにより、ロボットアームARの角度に基づく手術器具30の推定位置p11,p13を、実空間における手術器具30の実際の状態に即して補正できる。手術器具30の先端位置の補正の結果は、手術支援ロボット300に通知されて認識されることで、手術支援ロボット300によるロボット手術の精度が向上する。また、この補正の結果は、被検体PSのレンダリング画像において重畳して示されることで、術者の操作に応じたロボット手術の精度が向上する。
【0091】
なお、手術器具30の先端位置の補正は、上記とは逆であってもよい。つまり、位置処理部164は、手術器具30の先端の算出位置p22から、手術器具30の先端の推定位置p21の方向に、補正してもよい。これにより、手術器具30の実際の位置p12及び先端の算出位置p22を、手術支援ロボット300が自ら推定可能な手術器具30の推定位置p11及び先端の推定位置p21に補正できる。よって、ロボット手術支援装置100は、この補正の結果を、手術支援ロボット300に認識させたり表示等を介して術者に提示したりすることで、湾曲せずに押圧力が低減される理想的なプラットフォーム40の位置を回転中心rcとするように、手術器具30を導きやすくできる。
【0092】
図7は、プラットフォーム40の移動に連動した臓器50の移動例を示す図である。
【0093】
プラットフォーム40に接触している臓器50は、プラットフォーム40の移動に連動して移動する。プラットフォーム40に接触する臓器50は、例えば肛門周辺の筋肉や直腸を含んでよい。位置処理部164は、被検体PSとプラットフォーム40との位置関係を導出する。位置処理部164は、被検体PSの肛門の位置と肛門に設置されたプラットフォーム40の位置とが一致することから、被検体PSとプラットフォーム40との位置関係を把握できる。ボリュームデータは、ボリュームデータの各ボクセルに対応する位置情報を有するので、位置処理部164は、ボリュームデータにおける被検体PSの肛門の位置を認識可能である。
【0094】
変形処理部162は、被検体PSとプラットフォーム40との位置関係と、プラットフォーム40の移動と、に基づいて、被検体PSのプラットフォーム40に連動する臓器50の変形を算出する。ここでの変形は、移動や回転を含んでよい。また、臓器50内にターゲットTGが含まれるので、変形処理部162は、プラットフォーム40の移動に基づいて、ターゲットTGの変形を算出してもよい。
【0095】
また、術者や手術支援ロボット300が、プラットフォーム40に力を加えてプラットフォーム40を移動させることで、プラットフォーム40に接触する臓器50や臓器50内のターゲットTGを移動させてもよい。例えば、プラットフォーム40を移動させることで、ターゲットTGの位置を、ターゲットTGを処置し易い位置に移動させてよい。なお、被検体PSにおける骨盤は、ボリュームデータやモデルにおいて、被検体PSに対して位置を変更可能なものとして扱ってもよいし、被検体PSに対して位置が固定であるものとして扱ってもよい。
【0096】
また、変形処理部162は、被検体PSにおける骨盤の動きの情報を取得してもよい。例えば、被検体PSとプラットフォーム40との位置関係と、プラットフォーム40の移動と、被検体PSにおける骨盤の位置と、に基づいて、骨盤の動きを算出してよい。骨盤の動きの情報を取得することで、例えば肛門付近の筋肉剥離がし易くなる。なお、テーブル520上での体位変換よりも脚の上げ下げによる体位変換の方が、骨盤の動きが大きくなる。
【0097】
このような臓器50、ターゲットTG、骨盤、等の変形や動きは、モデル又はボリュームデータを用いて、有限要素法を用いた大変形シミュレーションにより導出されてよい。例えば、変形処理部162は、プラットフォーム40の移動に応じてプラットフォーム40に作用する押圧力を算出し、プラットフォーム40に連動して移動する臓器50の各点に作用する押圧力を基に、臓器50を変形させてよい。
【0098】
また、変形処理部162は、被検体PSが体位変換する前後におけるプラットフォーム40の位置を取得し、これらのプラットフォーム40の位置を基に体位変換時のプラットフォーム40の動きを算出してよい。変形処理部162は、プラットフォーム40の動きを基に、被検体PSの臓器や骨盤の動きを推定してよい。これにより、ロボット手術支援装置100は、術中に手術器具30を被検体PSの体内に挿入した状態(ドッキングした状態)で体位変換しても、外部から視認できない臓器50や被検体PSの動きを推定して、ロボット手術を継続させることができる。
【0099】
図8及び
図9は、ロボット手術支援装置100の動作例を示すフローチャートである。なお、
図8のS11~S14は、例えば術前に実施され、
図9のS21~S28は、例えば術中に実施される。ここでの各処理は、処理部160の各部によって実施される。
【0100】
まず、術前には、被検体PS(例えば患者)のボリュームデータを取得する(S11)。臓器、骨、及び血管の領域を抽出するセグメンテーションを実行する(S12)。ボリュームデータに基づいて、モデル(例えば直腸の臓器モデル)を生成する(S13)。被検体PSの肛門へのプラットフォーム40の設置シミュレーションを行う(S14)。
【0101】
ロボット手術が開始される際には、手術支援ロボット300や被検体PSが載置された手術ベッド500が所定の位置に配置される。術中には、手術器具30が、肛門に設置されたプラットフォーム40を介して被検体PSの内部に挿入される。
【0102】
続いて、俯瞰カメラ400が光学的マーカMKを撮像範囲に含んで撮像した撮像画像を取得する。撮像画像を基に、プラットフォーム40の位置(実測位置)を導出する(S21)。プラットフォーム40の位置を基に、モデルを変形する(S22)。プラットフォーム40の位置を基に、各手術器具30の回転中心rcを算出する(S23)。手術器具30の回転中心rcの位置が、肛門付近での手術器具30の推定位置と一致するか否かを判定する(S24)。手術器具30の回転中心rcの位置が、手術器具30の推定位置と一致しない場合、手術器具30の先端の推定位置p21を、プラットフォーム40の実測位置に基づく手術器具30の先端の算出位置p22に近づくよう補正する(S25)。
【0103】
モデルの変形に対応して、ボリュームデータを変形する。例えば、プラットフォーム40に連動した臓器の変形がボリュームデータに反映される。変形されたボリュームデータをレンダリングして仮想内視鏡画像を生成する(S26)。仮想内視鏡画像に仮想手術器具30Vの先端を示す情報(例えば先端位置、先端向きの情報)を重畳して、第1の表示画像を生成する(S26)。仮想内視鏡画像では、映り込む仮想手術器具30Vは仮想エンドエフェクタである。生成された第1の表示画像をディスプレイ130又は画像表示端末330に表示させる(S26)。また、送受部110を介して、実内視鏡画像を内視鏡ESから取得して、第2の表示画像としてディスプレイ130又は画像表示端末330表示させる(S27)。実内視鏡画像には、手術器具30が映り込んでいる。
【0104】
これにより、術者は、第1の表示画像及び第2の表示画像の少なくとも一方を確認することで、被検体PSの内部の状況を把握できる。例えば、プラットフォーム40に連動した臓器の変形の様子を確認できる。また、プラットフォーム40に応じて屈曲し得る仮想手術器具30Vの向きや先端位置を確認できる。
【0105】
ロボット操作端末310は、術者による手術器具30の操作を受け付ける。送受部110は、この操作情報をロボット操作端末310から取得する(S28)。送受部110は、手術器具30の回転中心rcを中心に回転するように手術器具30が接続されたロボットアームARを動かすように、手術支援ロボット300に指示を送る(S28)。
【0106】
手術支援ロボット300は、この指示を受けると、指示に従ってロボットアームARを動かす(S28)。この際、例えば、術者が、回転中心rcを中心にロボットアームARを動かすように、ロボット操作端末310を操作してよい。
【0107】
なお、術中には、S21~S28の処理が反復されてよい。また、術中にコーンビームCTなどによって患者の撮影を行うことなどによって、S11~S14の処理の少なくとも一部が反復されてよい。
【0108】
図10は、第1の表示画像G1の一例を示す図である。第1の表示画像G1は、仮想内視鏡画像G11を含む。仮想内視鏡画像G11では、管状組織である臓器50(例えば直腸)付近の様子が示されている。また、第1の表示画像G1は、仮想内視鏡画像G11とともに、臓器50の背後に存在する骨15を示す情報と、仮想手術器具30Vを示す情報と、が示されている。第1の表示画像G1では、仮想手術器具30Vは、実空間における手術器具30の位置に相当する仮想内視鏡画像G11における画像位置に示されている。
【0109】
このように、ロボット手術支援装置100は、TAMISで用いられるプラットフォーム40が術中に動きやすくても、手術支援ロボット300とプラットフォーム40との位置関係を導出できる。ロボット手術支援装置100は、手術支援ロボット300とプラットフォーム40との位置関係を逐次導出してよく、ロボットアームARがプラットフォーム40の動きに追従できる。そのため、術者は、手術支援ロボット300に対するプラットフォーム40の位置を気にすること無く、ロボット手術を行うことができ、手術精度を向上できる。特に、TAMISでは、他の腹腔鏡手術における体位変換と比較すると、被検体PS内の臓器の動きが大きく、変形が大きい。これに対し、ロボット手術支援装置100は、上記の位置関係を導出することで、その影響を抑制できる。
【0110】
また、手術器具30の回転中心rcを術者又は手術支援ロボット300に認識させることができる。そのため、動作範囲が術者の認識しないところで不意に制限されることを抑制できる。よって、術者が、回転中心rcを気にすること無く、プラットフォーム40に対して不要な押圧力が作用することを抑制でき、プラットフォーム40を介して手術器具30が押圧力を受けることを抑制できる。
【0111】
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0112】
プラットフォーム40は、光学的マーカMKが付されるのではなく、位置センサを有してよい。この位置センサは、3次元位置センサでよい。また、ロボット本体320は、光学的マーカMKが付されるのではなく、位置センサを有してよい。この位置センサは、3次元位置センサでよい。また、これらの位置センサは、光学的に位置を検出しても磁気的に位置を検出してもよい。また、プラットフォーム40とロボット本体320とを直接接続し、ロボット本体320に対するプラットフォーム40の位置を検出してもよい。具体的には、手術支援ロボット300のロボットアームARや手術器具30に、位置センサが取り付けられてよい。この位置センサは、3次元空間でのロボットアームARや手術器具30の位置を検出する3次元位置センサを含んでよい。
【0113】
また、送受部110は、プラットフォーム40からの情報を取得してよい。プラットフォーム40には、位置センサや角度センサが取り付けられてよい。この位置センサは、3次元空間でのプラットフォーム40の位置を検出する3次元位置センサを含んでよい。この角度センサは、プラットフォーム40の地面に対する向きや被検体PSに対する向きを検出する角度センサでもよいし、3軸角度センサでもよい。送受部110は、プラットフォーム40に取り付けられた各種センサが検出した検出情報を取得してよい。また、プラットフォーム40からの情報には、プラットフォーム40の形状に関する形状情報が含まれてよい。
【0114】
また、プラットフォーム40には、任意の複数の位置に光学的マーカMKが付されてよい。俯瞰カメラ400による撮像画像を基に、異なる複数の時点で、各光学的マーカMKの付された各位置が検出されてよい。変形処理部162は、異なる複数の時点に検出された各光学的マーカMKの付された各位置を基に、複数の光学的マーカMKの位置に対応するプラットフォーム40における複数の位置の動きを検出し、つまりプラットフォーム40の変形を検出してよい。ロボット手術支援装置100は、プラットフォーム40の変形を検出することで、プラットフォーム40に押圧力が作用する位置や向きや押圧力の大きさを推定でき、ロボット手術における被検体PSに対する負荷の軽減を期待できる。
【0115】
また、俯瞰カメラ400はロボット本体320に設けられてもよい。この場合は、俯瞰カメラ400は、ロボット本体320との位置関係は取得する必要がなくなるので、光学的マーカMKは不要となる。また、ロボット本体320に俯瞰カメラアームがあり、俯瞰カメラアームに俯瞰カメラ400を設けてもよい。この場合は、ロボット手術支援装置100が俯瞰カメラ400とロボット本体320との位置関係を取得する必要がなくなるので、光学的マーカMKは不要となる。また、ロボットアームARは俯瞰カメラアームに設けられてもよい。
【0116】
上記実施形態は、TAMISに適用可能であるが、その他の術式に適用されてもよく、例えば、経肛門的全直腸間膜切除術(TaTME:Transanal Total Mesorectal Excision)に適用されてもよい。また、単孔式腹腔鏡下手術に適用されてもよい。
【0117】
また、術者の操作に基づくロボット手術だけでなく、ARS(Autonomous robotic Surgery)やSemi-ARSに用いることができる。ARSは、AI搭載の手術支援ロボットによりロボット手術を全自動で行うものである。Semi-ARSは、AI搭載の手術支援ロボットにより基本的にロボット手術を自動で行い、一部を術者による操作で行うものである。
【0118】
また、ロボット手術による鏡視下手術を例示したが、術者が手術器具30を直接操作して行う手術であってもよい。この場合、ロボット本体320は被検体PSでよく、ロボットアームARは術者の腕でよく、手術器具30は術者が把持して処置に用いる鉗子類及び内視鏡であってよい。
【0119】
また、術前シミュレーションと術中ナビゲーションは、別個のロボット手術支援装置で構成されてもよい。例えば、術前シミュレーションはシミュレータで行われてよく、術中ナビゲーションはナビゲータで行われてよい。
【0120】
また、ロボット手術支援装置100は、少なくともプロセッサ140及びメモリ150を備えていればよい。送受部110、UI120、及びディスプレイ130は、ロボット手術支援装置100に対して外付けであってもよい。
【0121】
また、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ(例えば画像データサーバ(PACS)(不図示))等へ送信され、保管されてもよい。この場合、必要時にロボット手術支援装置100の送受部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
【0122】
また、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送受部110を経由して送信されることを例示した。これは、実質的にCT装置200とロボット手術支援装置100とを併せて一製品として成立している場合も含まれるものとする。また、ロボット手術支援装置100がCT装置200のコンソールとして扱われている場合も含む。また、ロボット手術支援装置100が、手術支援ロボット300に設けられてもよい。
【0123】
また、CT装置200により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
【0124】
また、ロボット手術支援装置100における動作が規定されたロボット手術支援方法として表現可能である。また、コンピュータにロボット手術支援方法の各ステップを実行させるためのプログラムとして表現可能である。
【0125】
(上記実施形態の概要)
上記実施形態の一態様は、ロボット手術支援装置100は、手術支援ロボット300による鏡視下手術を支援し、処理部160を備える。処理部160は、手術対象の被検体PSに設置され少なくとも2つの手術器具30を挿入可能なプラットフォーム40(アクセスプラットフォームの一例)と、手術支援ロボット300と、の位置関係を導出する機能を有する。
【0126】
これにより、ロボット手術支援装置100は、プラットフォーム40が術中に動きやすくても、手術支援ロボット300とプラットフォーム40との位置関係を導出でき、手術支援ロボット300やロボットアームARに対するプラットフォーム40を追従できる。そのため、術者は、手術支援ロボット300に対するプラットフォーム40の位置を気にすること無く、ロボット手術を行うことができ、手術精度を向上できる。よって、ロボット手術支援装置100は、プラットフォーム40を用いた手術の操作性及び安全性を向上できる。
【0127】
また、処理部160は、プラットフォーム40と手術支援ロボット300との位置関係に基づいて、手術器具30の回転中心rcを算出してよい。この回転中心rcは、仮想的な回転中心rcであり、例えば、実際のプラットフォーム40の位置に対応してもよいし、プラットフォーム40が配置されるべき理想的な位置に対応してもよい。手術支援ロボット300は、回転中心rcを手術器具30が通るようにロボットアームARの可動範囲(位置や向き)を調整することで、実際のプラットフォーム40に不要な押圧力が作用することを抑制できる。また、理想的な回転中心rcを基準とすることで、現状のプラットフォーム40の位置において作用している不要な押圧力を低減できることが期待できる。よって、ロボット手術支援装置100は、手術器具30の動き及び手術器具30の内部を通るワイヤーの動きを滑らかにし、手術器具30の位置精度、手術器具30の把持力などの精度を向上させることが出来る。よって、術中における被検体PSへの負担を低減できる。
【0128】
また、処理部160は、プラットフォーム40と手術支援ロボット300との位置関係に基づいて、手術器具30毎に異なる回転中心rcを算出してよい。プラットフォーム40において手術器具30が挿通される位置(例えば突起42の位置)が異なる。よって、ロボット手術支援装置100は、手術器具30の挿通位置を加味して回転中心rcを導出することで、手術器具30毎により適切な位置を回転中心rcとすることができ、プラットフォーム40に作用する押圧力を一層低減できる。
【0129】
また、処理部160は、被検体PSの3Dデータと、プラットフォーム40と手術支援ロボット300との位置関係と、に基づいて、被検体PSとプラットフォーム40との位置関係を導出してよい。なお、被検体PSの3Dデータは、被検体PSのボリュームデータ又はモデルを含んでよい。このボリュームデータ又はモデルは、非ガス注入状態でもガス注入状態でもよい。また、3Dデータは、ボリュームデータから生成されたサーフィスデータであってもよい。
【0130】
これにより、ロボット手術支援装置100は、3Dデータにおけるプラットフォーム40の設置位置に相当する位置を認識でき、プラットフォーム40が3Dデータにおいてどのように動くかを認識できる。
【0131】
また、プラットフォーム40は、被検体PSの肛門に設置されてよい。処理部160は、プラットフォーム40と被検体PSの位置関係に基づいて、被検体PSの臓器50の変形を算出してよい。これにより、ロボット手術支援装置100は、プラットフォーム40と被検体PSの位置関係に応じた被検体PS内の臓器50の状態を認識できる。例えば、被検体PSが体位変換することで、被検体PSにおけるプラットフォーム40の位置が移動しても、この移動に追従して動く臓器50の状態を認識できる。よって、ロボット手術支援装置100は、臓器50の状態を加味したロボット手術を実施することを支援できる。
【0132】
また、処理部160は、手術器具30をプラットフォーム40に挿入した挿入距離の情報を取得してよい。これにより、ロボット手術支援装置100は、プラットフォーム40と被検体PS内の手術器具30の先端位置との距離を認識でき、術者が被検体PS内での手術器具30の様子(例えば手術器具30とターゲットTGとの距離)を推測することを支援できる。
【0133】
また、処理部160は、挿入距離の情報に基づいて、プラットフォーム40と手術支援ロボット300との位置関係を導出してよい。これにより、ロボット手術支援装置100は、3次元位置センサを用いずに、手術支援ロボット300に対するプラットフォーム40の位置を導出できる。
【0134】
また、処理部160は、手術支援ロボット300のキネマティクスの情報を取得し、手術支援ロボット300のキネマティクスの情報と、プラットフォーム40と手術支援ロボット300との位置関係と、に基づいて、手術器具30の先端位置を算出してよい。ロボット手術支援装置100は、例えばロボットアームARの角度と手術器具30の形状情報とに基づいて、手術器具30の位置を推定でき、手術器具30の先端位置を推定可能である。一方、実際には、プラットフォーム40の位置を手術器具30の推定位置が通過しないことがある。この場合でも、ロボット手術支援装置100は、実際のプラットフォーム40と手術支援ロボット300との位置関係を考慮することで、手術器具30の先端の推定位置を実際に手術器具30の先端があると推測される位置を算出できる。よって、ロボット手術支援装置100は、手術器具30の先端位置を高精度に導出でき、ロボット手術の手術精度を向上できる。
【0135】
上記実施形態の一態様は、手術支援ロボット300による鏡視下手術を支援するロボット手術支援方法であって、手術対象の被検体PSに設置され少なくとも2つの手術器具30を挿入可能なプラットフォーム40(アクセスプラットフォームの一例)と、手術支援ロボット300と、の位置関係を導出するステップを有する、ロボット手術支援方法である。
【0136】
本実施形態の一態様は、上記のロボット手術支援方法をコンピュータに実行させるためのプログラムである。
【産業上の利用可能性】
【0137】
本開示は、被検体に設置されるプラットフォームを用いた手術において、操作性及び安全性を向上できるロボット手術支援装置、ロボット手術支援方法、及びプログラム等に有用である。
【符号の説明】
【0138】
1 ロボット手術支援システム
15 骨
30,30A,30B,30C,30D 手術器具
30V 仮想手術器具
40 プラットフォーム
41 ベース
42 突起
50 臓器
100 ロボット手術支援装置
110 送受部
120 UI
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域処理部
162 変形処理部
163 モデル設定部
164 位置処理部
165 シミュレーション処理部
166 画像生成部
167 表示制御部
200 CT装置
300 手術支援ロボット
310 ロボット操作端末
320 ロボット本体
330 画像表示端末
400 俯瞰カメラ
500 手術ベッド
520 テーブル
550 脚保持部
551 脚載置部
552 脚固定部
EF エンドエフェクタ
ES 内視鏡
TG ターゲット