特許 6643362 ロボット手術中に更新された患者画像を供給するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6643362

(24)【登録日】2020年1月8日

(45)【発行日】2020年2月12日

(54)【発明の名称】ロボット手術中に更新された患者画像を供給するための方法および装置

(51)【国際特許分類】

   A61B 34/10 20160101AFI20200130BHJP

   A61B 1/045 20060101ALI20200130BHJP

   A61B 1/00 20060101ALI20200130BHJP

【ＦＩ】

   A61B34/10

   A61B1/045 620

   A61B1/00 620

   A61B1/045 623

   A61B1/00 550

   A61B1/045 610

【請求項の数】13

【全頁数】9

(21)【出願番号】特願2017-559816(P2017-559816)

(86)(22)【出願日】2015年9月10日

(65)【公表番号】特表2018-517473(P2018-517473A)

(43)【公表日】2018年7月5日

(86)【国際出願番号】IB2015056938

(87)【国際公開番号】WO2016185259

(87)【国際公開日】20161124

【審査請求日】2018年3月13日

(31)【優先権主張番号】14/716,963

(32)【優先日】2015年5月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】516308401

【氏名又は名称】シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(72)【発明者】

【氏名】アジジアン、マフディ

(72)【発明者】

【氏名】ブローム、ルッツ

(72)【発明者】

【氏名】クンツェ、ホルガー

(72)【発明者】

【氏名】ニープラー、クリスティーヌ

(72)【発明者】

【氏名】ゾルガー、ジョナサン

【審査官】 小宮 寛之

(56)【参考文献】

【文献】 国際公開第２０１４／１３９０２４（ＷＯ，Ａ１）

【文献】 特開２０１１−２５４９７５（ＪＰ，Ａ）

【文献】 特開２０１２−２３５９８３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１６８９１８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ １／００

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

処理装置が手術部位の画像を供給する方法であって、
医療用撮像装置が、患者用テーブル上に配置された手術ロボットによる処置の対象となる生体構造を含む患者のボリュームを表わす３Ｄデータを取得するステップと、
前記３Ｄデータを供給された前記処理装置が、前記３Ｄデータから前記ボリュームの３Ｄ画像を再構成するステップと、
前記処理装置が、前記ボリュームの前記３Ｄ画像から前記生体構造の３Ｄボリューム画像をセグメント化するステップと、
前記処理装置が、前記生体構造の少なくとも１つの材料特性を決定するステップと、
前記処理装置が、前記医療用撮像装置の座標系に対して前記手術ロボットの座標系を重ね合わせするステップと、
前記処理装置が力覚センサで検出される少なくとも１つの力を表わす電子信号を取得し、前記力は、前記手術ロボットによって、前記生体構造の幾何学的変化を生じさせるように前記生体構造に対して加えられる力であり、前記処理装置が、前記生体構造に対する前記力および前記少なくとも１つの材料特性に基づいて前記生体構造の前記セグメント化されたボリューム画像を更新し、前記生体構造の前記幾何学的な変化を視覚的に示す前記生体構造の更新後セグメント化ボリューム画像を生成するステップと、
前記処理装置が、表示画面に対して、前記生体構造の前記更新後セグメント化ボリューム画像を表示するステップと、
を含む方法。

【請求項2】

異なる解剖学的対象物に対してそれぞれ少なくとも１つの材料特性を電子データベースに格納されており、
前記処理装置が、前記セグメント化ボリューム画像における前記生体構造に対して前記少なくとも１つの材料特性を前記データベースから取得するステップを含む請求項１に記載の方法。

【請求項3】

前記処理装置が、前記患者の前記３Ｄデータを取得する前に、前記患者の前記３Ｄデータに含まれる前記患者のボリュームも含む手術前データセットを取得するステップと、
前記手術前データセットを取得した前記処理装置が、前記手術前データセットを前記３Ｄデータから再構成された前記画像と重ね合わせ、前記手術前データセットを前記３Ｄデータから再構成された前記画像と結合するステップと、
前記処理装置が、前記結合画像から前記生体構造をセグメント化して、前記生体構造の前記セグメント化されたボリューム画像を取得するステップと、
を含む請求項２に記載の方法。

【請求項4】

前記処理装置が、前記生体構造の前記更新後セグメント化ボリューム画像の操作を受け付け、内視鏡画像に対して前記生体構造のビューを表示するステップを含む請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記処理装置が、前記３Ｄデータから再構成された前記ボリュームの前記画像から前記生体構造のセグメント化を実行する指示を受け付けるステップを含む請求項１から４のいずれか１項に記載の方法。

【請求項6】

パターン認識を有するセグメント化アルゴリズムを実行することによって、前記処理装置が、前記３Ｄデータから再構成された前記ボリュームの前記画像から前記生体構造をセグメント化するステップを含む請求項１から５のいずれか１項に記載の方法。

【請求項7】

手術部位の画像を供給するための装置であって、
患者用テーブルと、医療用撮像装置と、患者の生体構造に対して少なくとも１つの器具によって加えられる力を検出する力覚センサと、を含む手術ロボットを含む手術設備と、
前記患者用テーブル上に配置された前記手術ロボットによる処置の対象となる生体構造を含む患者のボリュームを表わす３Ｄデータを取得する処理装置と、
前記処理装置と通信する表示画面と、
を含み、
前記処理装置が、
前記３Ｄデータから前記ボリュームの３Ｄ画像を再構成し、
前記ボリュームの前記３Ｄ画像から前記生体構造の３Ｄボリューム画像をセグメント化し、
前記生体構造の少なくとも１つの材料特性を決定し、
前記医療用撮像装置の座標系に対して前記手術ロボットの座標系を重ね合わせ、
前記手術ロボットから前記処理装置に対して前記力覚センサで検出される前記力を表す電子信号を取得し、
前記生体構造の前記力および前記少なくとも１つの材料特性に基づいて前記生体構造の前記セグメント化されたボリューム画像を更新し、前記生体構造の幾何学的な変化を視覚的に示す前記生体構造の更新後セグメント化ボリューム画像を生成し、
前記表示画面に前記生体構造の前記更新後セグメント化ボリューム画像を表示する
ことを特徴とする装置。

【請求項8】

異なる解剖学的対象物に対してそれぞれ少なくとも１つの材料特性が格納される電子データベースをさらに含み、
前記処理装置が、前記電子データベースにアクセスして、前記セグメント化ボリューム画像における前記生体構造に対して前記少なくとも１つの材料特性を前記データベースから取得する
ことを特徴とする請求項７に記載の装置。

【請求項9】

前記処理装置が、前記患者から前記３Ｄデータを取得する前に、前記患者の前記３Ｄデータに含まれる前記患者のボリュームも含む手術前データセットを受信し、前記手術前データセットを前記３Ｄデータから再構成された前記画像と重ね合わせ、前記手術前データセットを前記３Ｄデータから再構成された前記画像と結合し、
前記処理装置が、前記結合画像から前記生体構造をセグメント化して、前記生体構造の前記セグメント化されたボリューム画像を取得する
ことを特徴とする請求項８に記載の装置。

【請求項10】

前記手術ロボットは、前記生体構造の内視鏡画像を取得する内視鏡カメラを含み、
前記処理装置が、前記生体構造の前記更新後セグメント化ボリューム画像の操作を受け付け、前記内視鏡画像に対して前記生体構造のビューを表示する請求項７から９のいずれか１項に記載の装置。

【請求項11】

ユーザインタフェースを含み、前記ユーザインタフェースは、前記３Ｄデータから再構成された前記ボリュームの前記画像から前記生体構造のセグメント化を実行する指示を受け付ける請求項７から１０のいずれか１項に記載の装置。

【請求項12】

前記処理装置が、パターン認識を有するセグメント化アルゴリズムを実行することによって、前記３Ｄデータから再構成された前記ボリュームの前記画像に基づいて前記生体構造をセグメント化する請求項７から１１のいずれか１項に記載の装置。

【請求項13】

プログラムを格納したコンピュータ可読データ格納媒体であって、
前記プログラムは、前記格納媒体は患者用テーブルと、医療用撮像装置と、患者の生体構造に対して少なくとも１つの器具によって加えられる力を検出する力覚センサと、を含む手術ロボットを含む手術設備を有する装置の処理装置にロードされるものであって、前記プログラムは、前記処理装置に、
患者用テーブル上に配置された手術ロボットによる処置の対象となる生体構造を含む患者のボリュームを表わす３Ｄデータを取得し、
前記３Ｄデータから前記ボリュームの３Ｄ画像を再構成し、
前記ボリュームの前記３Ｄ画像から前記生体構造の３Ｄボリューム画像をセグメント化し、
前記生体構造の少なくとも１つの材料特性を決定し、
前記医療用撮像装置の座標系に対して前記手術ロボットの座標系を重ね合わせ、
前記生体構造に対して加えられ前記力覚センサで検出された少なくとも１つの力を表わす電子信号を受信し、前記生体構造の前記力および前記少なくとも１つの材料特性に基づいて前記生体構造の前記セグメント化されたボリューム画像を更新して、前記生体構造の前記幾何学的な変化を視覚的に示す前記生体構造の更新後セグメント化ボリューム画像を生成し、
表示画面に対して、前記生体構造の前記更新後セグメント化ボリューム画像を出力する
処理を実行させることを特徴とする格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットマニピュレータによって実行された外科手術の進行中に画像を供給するために使用される撮像システムおよび手術に関する。

【背景技術】

【0002】

一般にロボット手術と呼ばれる、ロボット制御で実行される医学的手術は、患者の多くの異なる器官に関連する様々な医学的介入手術に対しての使用が広まっている。特に膵臓または肝臓などに関連する腹部手術の場合、関心器官は、手術の進行中にロボットマニピュレータによって物理的に移動もしくは処置が行われる。以下において、そのような変化は、部位または生体構造に対する幾何学的変化とされる。関心器官または部位における同様の変化は、その患者体内の他の部位でも発生する。

【0003】

周知のように、市販のロボットマニピュレータは、把持、切断、押下、牽引など、手術中に１つ以上の器官と数多くの物理的相互作用を実行するために医師（外科医）によって操作される。処置されている器官を露出するために手術部位が切除される場合が多いが、器具または内視鏡を入れるための小切開のみで実行可能な種類の手術もある。

【0004】

通常、手術部位のコンピュータ断層撮影または磁気共鳴画像は、手術計画の一部として取得される。実際の手術中において内視鏡画像が通常取得されるため、そのような内視鏡画像のコンテンツは、その内視鏡画像を取得する際に使用されるカメラの視野によって制限される。この内視鏡画像は、カメラの直接の視線内にあるコンテンツのみを含み得るため、カメラに対向する器官の側部と周辺組織のみが画像内に含みうる。

【0005】

計画画像内の関心器官は表示画面においてセグメント化後に回転、並進など既知の方法で変化させることが可能であるが、計画画像は外科手術の開始前に取得されたものであるため、外科手術の進行中に発生した切断などの器官における変化を示さず、さらに手術中に発生し得る器官の位置的変化も示さない場合がある。

【0006】

外科手術において使用される既知のロボットマニピュレータは、外科医の元にある制御卓から操作される。制御卓は、医師が実際の手術部位で器具を使用するのと同じようにして医師が操作する手動動作または操作する要素を数多く含む。そのため、たとえば、医師がロボットマニピュレータを介して切断手術を器官に対して実行したい場合、はさみ状の制御要素が制御卓に供給される場合がある。ロボットマニピュレータの該当する切断器には適切な力覚センサが設けられており、その力覚センサによってロボットマニピュレータが器官に加えられた力を検出し、器官が発生させたロボットマニピュレータに対する力を検出する。これらの力の組み合わせによって制御卓を操作する外科医に対して視覚フィードバックが供給されるため、はさみ状制御要素を操作している外科医は同様の切断力およびその切断力に対する器官の抵抗を経験することが可能となり、外科医は、手術部位において切断要素を手動で直接操作しているように感じることができる。

【0007】

これは、外科医が選択した方法で器官の全部または一部をずらすことができるように器官を把持する器具など、ロボットマニピュレータによって実行される他の種類の器具においても同様である。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、ロボット制御で実行される外科手術の進行中に１つ以上の表示画像を外科医に対して供給して、処置の対象である生体構造または器官のその時点の状態を示すだけでなく、外科医が表示画像を操作することによって従来の内視鏡画像では見ることができなかった生体構造の一部を確認できるようにすることである。

【課題を解決するための手段】

【0009】

この目的は、本発明による、ロボット制御によって実行された外科手術の対象となる選択器官などの生体構造を含む、患者のボリュームの３Ｄデータが取得される方法および装置によって達成される。その後、関心生体構造または器官は、３Ｄデータから再構成された上述のボリュームの画像からセグメント化される。このセグメント化は、手動またはコンピュータ化されたパターン認識セグメント化アルゴリズムのいずれかで実行可能である。ロボット制御で実行される外科的処置の実行中において、外科医は生体構造または器官に１つ以上の力が加えられることによって生体構造または器官を変化または変位させる（幾何学的変化）。それらの力は、市販のロボットマニピュレータに従来存在する力覚センサによって検出されることが知られている。それらの力は、手術中に外科医または助手が閲覧する表示画面でのセグメント化生体構造または器官の表示を制御する処理装置に対して供給される。処理装置は、加えられた力の結果として、および生体構造または器官の物理的特性の結果として発生する生体構造または器官の変化量または変位量を計算する。その後、処理装置は手術中にリアルタイムで表示画面上に表示されたセグメント化生体構造または器官の外観および／または位置を自動的に修正することによって、外科医は、常に、手術の進行に伴った生体構造または器官の現時点の状態を見ることができる。さらに、器官または生体構造がセグメント化されているため、表示されているセグメント化生体構造に対して実行される回転や並進などのすべての従来動作が手術中に外科医によって実行可能となる。例えば、生体構造または器官の前方図が表示されている場合、医師が器官を回転させれば、そのような手術中に使用される従来の内視鏡画像では通常見ることができない後方図を得ることができる。

【0010】

外科的処置の対象である生体構造または器官の物理的特性を表わすデータは、生体構造もしくは器官の結果的な変化または変位を計算的に決定するためにロボットマニピュレータによって加えられた力と組み合わせて使用され、解剖学アトラスから得ることできる。そのようなアトラスは、一般的な患者母集団のそれぞれの生体構造または器官に対して編集可能であり、あるいは、手術を受ける患者と類似した患者母集団との一致度が特に高いものでよい。例えば、関連生体構造または器官などの病的状態が同一の患者と類似した年齢または医療履歴の患者に対してアトラスが編集可能である。

【0011】

本発明は、さらに、格納媒体がロードされた１つ以上の処理装置またはロードされた格納媒体に対するアクセスを有する１つ以上の処理装置によって実行されると、本発明による方法の上述の実施形態のいずれかまたは全部を実行するプログラミング命令で符号化される非一時的なコンピュータ可読データ格納媒体も含む。本格納媒体は、ロボット制御で実行される表面手術の進行中に実行される全機能を制御する中央作業ステーションの処理装置にロードされてもよく、プログラミング命令は、完全機能スイートのサブセットを制御する役割を個々に担う処理装置間において適切に分散されてもよい。

【図面の簡単な説明】

【0012】

【図1】本発明による方法の基本工程を示すフローチャートであり、任意の工程を点線で示す。

【図2】本発明により構築され動作する装置の基本構成要素を示すブロック図である。

【発明を実施するための形態】

【0013】

図１のフローチャートに示すように、本発明による方法は、ステップ１で手術室の台上に患者を配置することによって開始する。患者は、手術室において台上でロボット制御によって実行される外科手術を受ける。

【0014】

患者が台上に配置されると、ステップ２において、ロボット制御で操作される外科的処置の対象となる生体構造または器官を含む患者のボリュームから３Ｄデータが取得される。

【0015】

ステップ３において、取得した３Ｄデータを処理装置に対して供給し、処置装置は３Ｄ再構成アルゴリズムを実行して、取得した３Ｄデータによって表わされる患者のボリュームの３Ｄ画像を作成する。

【0016】

ステップ４において、処置の対象である特定の生体構造または器官がボリュームの３Ｄ画像全体からセグメント化される。これは、外科医が光学ペンまたはカーソルを用いてセグメント化される器官または生体構造の輪郭をなぞることによって、外科医が画面上の表示画像と相互作用するなどして手動で実行可能である。もしくは、このセグメント化は、既知のパターン認識ベースのセグメント化アルゴリズムを使用して完全に自動で実行可能である。

【0017】

本発明によれば、任意で、ステップ１２において、患者の事前検査で取得された患者の１つ以上の医療画像を表わすデータセットなど、患者の手術前データを供給してもよい。そのような手術前３Ｄデータセットは、色分け、造影剤強調、脳手術が実行される場合のｆＭＲＩ画像、拡散強調画像など、選択された生体構造または病的状態を強調するために使用される既知の技術のいずれかを含んでもよい。

【0018】

ステップ１２においてそのような手術前データセットが任意で供給された場合、その後ステップ１３において手術前データセットは台上の患者の上述した３Ｄ再構成画像と重ね合わせた後、セグメント化が実行されて、再構成ボリューム画像と組み合わされた重ね合わせ手術前データセットから生体構造または器官をセグメント化できる。

【0019】

セグメント化後、ステップ５において、処理装置によって材料特性がセグメント化された部位に対して割り当てられる。この材料特性とは、解剖学アトラスに対してアクセス可能な処理装置によってなど、処理装置に対して供給されるセグメント化生体構造の既知または推定される特性である。この解剖学アトラスは、数多くの異なる解剖学的部位または器官の関連材料特性の一覧を提供可能であるため、処理装置はセグメント化部位に対応するアトラスから適切な特性群を選択する。上述したように、アトラスは一般の患者母集団に対して編集可能であり、または外科手術が実行される患者に類似した患者に対してより詳細に関係し得る。例えば、当該患者と同一年齢グループの患者、当該患者と同じセグメント化生体構造の病的状態を示す患者、当該患者と同様の医療履歴を有する患者などからアトラスを編集可能である。

【0020】

本発明による上述のステップと平行して、またはそれと交互に、ステップ６において、手術で使用される動作装置（ロボットマニピュレータ）の座標系を、台上の患者の上述の３Ｄ画像を取得した走査装置の座標系と重ね合わせる。この座標系の重ね合わせは、検査台に動作装置を物理的に設置することによって結果的に生じる座標系の物理的関係の認識、または検査台上の患者の取得３Ｄデータにおいて可視である動作装置上の適切な場所に付けられるマーカによってなど、既知の方法のいずれで実行してもよい。ただし、マーカを使用する場合は、動作装置は走査装置の視野内に存在する必要がある。また、動作装置および走査装置のそれぞれの座標系を識別して、それらの座標系を互いに重ね合わせる適切なナビゲーションシステムも知られている。

【0021】

その後、再構成ボリューム内の生体構造または器官を選択的に操作するために、動作装置を使用して介入手術が開始される（ステップ７）。ロボットマニピュレータなどの市販の動作装置は、装置を操作している外科医に対して視覚フィードバックを供給し、その目的のため、手術の進行中に動作装置によって生体構造または器官に対して加えられた力を検出する力覚センサを含む。したがって、触覚フィードバックを供給する動作装置によって使用される処理装置は、手術中に生体構造または器官に対して加えられた力の正確な推定をすでに供給可能であり、この処理装置の出力は、手術室に配置された表示画面でのセグメント化部位の表示を制御する処理装置によって供給可能であり、セグメント化部位の表示を手術の進行中に外科医によって確認可能である。

【0022】

もしくは、力覚センサの出力が処理装置に対して直接供給可能であり、処理装置はセグメント化ボリュームに対して加えられた力の推定を実行可能である。

【0023】

ステップ８において、いずれかの種類の推定が実行される。

【0024】

手術中の所与の時間においてセグメント化ボリュームに対して加えられた力の推定に基づいて、さらにセグメント化部位の材料特性に基づいて、ステップ９において、処理装置は器官または生体構造に生じた変化または変位を自動的に決定し、そのような変化または変位を取り入れるために、ステップ１０においてセグメント化ボリュームの表示を更新する。その後、この更新後のセグメント化ボリュームは、ステップ１１において表示において可視化され、セグメント化ボリュームの回転または並進などの通常の方法で外科医によって選択的に操作可能である。

【0025】

それによって外科医は手術の進行中の変化に伴ってセグメント化生体構造または器官状態を確認するだけでなく、内視鏡カメラに対向する生体構造または器官の側部のみを検知できる、従来の内視鏡画像から利用可能でなかったビューを取得するために、更新後（現在）のセグメント化ボリュームを操作可能である。

【0026】

図２は、本発明による装置の基本構成要素を図示するブロック図である。本装置は、ロボットに搭載されたＣアームＸ線撮像システムなどの撮像装置またはシステム１４を含む。本システムは、例えば、ＳｉｅｍｅｎｓＨｅａｌｔｈｃａｒｅ社から市販されているＡｒｔｉｓＶＤ１１アンギオシステムでもよい。本システムは、手術環境において使用される、従来利用可能な種類の適切な衝突監視構成要素とその他の制御モジュールを含んでもよい。撮像システム１４は、手術中に患者が横たわる患者テーブルを含み、そこに手術ロボット１７が設置される。手術ロボットは、手術の進行中に外科医によって操作されるあらゆる数の制御要素を含む操作部１８から操作される。操作部において外科医によってなされた操作は、ハサミ、グラバーなどの手術ロボットが有する用具または器具の動作を含む、手術ロボットの動きに変換される。操作部は、上述の動作を実行させるロボットに対して適切な制御コマンドを供給する。ロボットは、手術部位を含む視野を有する内視鏡カメラを有することができるため、手術部位の内視鏡画像が操作部で外科医に対して供給される。

【0027】

撮像システムを作業ステーション（制御卓）１５でコンピュータによって操作して、患者テーブル上の患者のＣＴ画像などの上述の３Ｄ画像を取得する。取得した３Ｄデータは、取得部位の画像を示すために再構成され、それによって作業ステーション１５で関心生体構造または器官がセグメント化される。上述の内視鏡画像は作業ステーション１５に対して供給可能であり、それによって手術ロボット１７に存在する力覚センサによって力が検出される。この加えられた力の情報と、送信元１６から作業ステーション１５の処理装置に対して知らされたセグメント化部位の上述の材料特性から、上述したようにセグメント化部位の更新が作業ステーション１５で実行されるため、更新後のセグメント化画像は、処置の進行中に発生したセグメント化生体構造または器官の変化および変位を取り入れる。更新後のセグメント化部位は、作業ステーション１５の表示画面に表示可能であり、それによって操作部から外科医が見ることが可能であり、または内視鏡画像とともに操作部１８の表示画面で表示するために供給可能である。更新後のセグメント化部位は、操作部で直接利用可能となっている制御または作業ステーションで利用可能な制御のいずれかで外科医によって操作可能である。同時に、外科医は作業ステーション１５を操作可能であり、または外科医の指示の通りに更新後のセグメント化画像を操作するように作業ステーション１５にいる助手に対して口頭で指示を与えることができる。

【0028】

当業者が修正および変更を提案する場合があるが、ここで是認する本特許内において、当業界に対する寄与の範囲内で合理的かつ適切な変更および修正のすべてを実施することは発明者の意図である。

【符号の説明】

【0029】

１４ 撮像装置
１５ 作業ステーション
１６ 送信元
１７ 手術ロボット
１８ 操作部

【図1】

【図2】