(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008966
(43)【公開日】2024-01-19
(54)【発明の名称】ロボット操作手術器具の位置を追跡システムおよび方法
(51)【国際特許分類】
A61B 34/20 20160101AFI20240112BHJP
【FI】
A61B34/20
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023184066
(22)【出願日】2023-10-26
(62)【分割の表示】P 2021505259の分割
【原出願日】2019-07-27
(31)【優先権主張番号】62/712,368
(32)【優先日】2018-07-31
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ, インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】セン,シダルス
(72)【発明者】
【氏名】ホフマン,ブライアン ディー.
(72)【発明者】
【氏名】リッチモンド,ゲオフェリー エー.
(57)【要約】
【課題】従来技術の問題を解決する。
【解決手段】例示的な手術器具トラッキングシステムは、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定し、確率論的フレームワークおよび外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付け、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定する、少なくとも1つの物理的なコンピューティングデバイスを含む。
【選択図】
図11
【特許請求の範囲】
【請求項1】
命令を格納するメモリと、
該メモリに通信的に連結されるプロセッサとを含み、
該プロセッサは、前記命令を実行して、
外科領域の像に基づいて、該像に描かれる関心物体についての観察を決定し、
ロボット操作手術器具の運動学に基づいて、前記外科領域に位置する前記ロボット操作手術器具への前記観察の関連付けの確率を決定し、
該確率に基づいて、前記関心物体についての前記観察を前記ロボット操作手術器具に関連付け、
前記ロボット操作手術器具の前記運動学および前記ロボット操作手術器具と関連付けられる前記観察に基づいて、前記外科領域における前記ロボット操作手術器具の物理的位置を決定する、
ように構成される、
手術器具トラッキングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の参照)
本出願は、2018年7月31日に出願された「Systems and Methods for Tacking a Position of a Robotically-Manipulated Surgical Instrument」という名称の米国仮特許出願第62/712,368号に対する優先権を主張し、その全文を参照として本明細書に援用する。
【背景技術】
【0002】
ロボット手術システムは、外科医がロボット操作手術器具(ロボット操作される手術器具)を制御して、患者に対して外科処置を行うことを可能にする。例えば、最小侵襲手術について、ロボット操作手術器具は、1つ以上のカニューレを通じて患者に挿入される。手術器具は、典型的には、外科領域の画像を取り込む内視鏡と、外科処置を行うためにロボット手術システムによってロボット操作される1つ以上の手術ツールとを含む。外科医は、外科領域の内視鏡画像を視認し、ロボット手術システムのマスタ制御装置を使用して、外科処置を行うためにロボット操作手術器具の動きを制御する。
【0003】
外科領域内のロボット操作手術器具の位置トラッキング(追跡)は、ロボット手術システムの重要なコンポーネント(構成要素)である。しかしながら、ロボット手術システムによる手術器具位置のそのようなトラッキングは、特に特定のレベルの精度、正確性、効率、および/または信頼性が望まれるときに、技術的に困難である。
【発明の概要】
【0004】
添付の図面は、様々な実施形態を図示しており、本明細書の一部である。図示の実施形態は、単なる例であり、本開示の範囲を限定しない。図面を通じて、同一または類似の参照番号は、同一または類似の要素を指し示している。
【図面の簡単な説明】
【0005】
【
図1】本明細書に記載する原理に従った例示的なロボット手術システムを図示している。
【0006】
【
図2】本明細書に記載する原理に従った
図1のロボット手術システム内に含まれる例示的な患者側システムを図示している。
【0007】
【
図3】本明細書に記載する原理に従った
図2の患者側システム内に含まれる例示的なロボットアームを図示している。
【0008】
【
図4】本明細書に記載する原理に従った
図1のロボット手術システム内に含まれる例示的な外科医コンソールを図示している。
【0009】
【
図5】本明細書に記載する原理に従った患者と関連付けられる例示的な外科領域に配置された例示的な立体視内視鏡を図示している。
【0010】
【
図6】本明細書に記載する原理に従った例示的な手術器具トラッキングシステムを図示している。
【0011】
【
図7】本明細書に記載する原理に従った外科領域内の手術器具の眺望を図示している。
【0012】
【
図8】本明細書に記載する原理に従った外科領域の例示的な内視鏡画像を図示している。
【0013】
【
図9】本明細書に記載する原理に従った例示的な確率論的フレームワークを図示している。
【
図10】本明細書に記載する原理に従った例示的な確率論的フレームワークを図示している。
【0014】
【
図11】本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。
【
図12】本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。
【
図13】本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。
【
図14】本明細書に記載する原理に従った手術器具トラッキングシステムの例示的な実装を図示している。
【0015】
【
図15】本明細書に記載する原理に従った位置インジケータがその上にオーバーレイされた外科領域の内視鏡画像を図示している。
【0016】
【
図16】本明細書に記載する原理に従った手術器具をトラッキングする例示的な方法を図示している。
【
図17】本明細書に記載する原理に従った手術器具をトラッキングする例示的な方法を図示している。
【0017】
【
図18】本明細書に記載する原理に従った例示的なコンピューティングシステムを図示している。
【発明を実施するための形態】
【0018】
ロボット操作手術器具(ロボット操作される手術器具)の位置をトラッキング(追跡)するシステムおよび方法を本明細書に記載する。以下により詳細に記載するように、特定の実施形態では、例示的な手術器具トラッキングシステム(追跡システム)が、外科領域の内視鏡像(endoscopic imagery)に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体(関心対象)(object of interest)についての観察を決定し、外科領域に配置されるロボット操作手術器具の確率論的フレームワークおよび運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付けし、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定する、ように構成されてよい。
【0019】
また、本明細書に更に詳細に記載するように、特定の実装では、例示的な手術器具トラッキングシステムが、外科領域の内視鏡画像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定し、外科領域に配置されたロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具または偽陽性指定(false positive designation)に関連付ける、ように構成されてもよい。関心物体についての観察がロボット操作手術器具と関連付けられるとき、手術器具トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定することがある。関心物体についての観察が偽陽性指定と関連付けられるとき、手術器具トラッキングシステムは、観察を用いて外科領域におけるロボット操作手術器具の物理的位置を決定することを控えることがある。
【0020】
本明細書で使用するとき、器具の位置は、エンドエフェクタ(例えば、ジョー、剪断機など)、遠位ツール先端、リスト、シャフト、および/または器具の別の構造コンポーネントのような、器具の所望の部分の三次元(「3D」)場所および/または向きを指し得る。例えば、器具の位置は、3D座標系によって定義される3D空間のような、3D空間内の器具のコンポーネントの3D場所および/または向きを指し得る。
【0021】
本明細書に記載するようなロボット操作手術器具の物理的位置を決定することによって、例示的な手術器具トラッキングシステムおよび方法は、ロボット手術システムの1つ以上の特徴(features)、利益(benefits)、および/または利点(advantages)を促進するレベルでの精度、正確性、効率、および/または信頼性を伴って、手術器具位置をトラッキング(追跡)することがある。特定の実装において、そのような精度(precision)、正確性(accuracy)、効率(efficiency)、および/または信頼性(reliability)は、手術器具の「マーカレス(marker-less)」トラッキングと称することがある、手術器具上の専用コンピュータ観察マーカ(例えば、手術器具上に統合される或いは手術器具に他の方法で取り付けられるバーコード、色、パターンなど)を使用することなく、例示的な手術器具トラッキングシステムによって提供されることがある。特定の実装において、そのような精度、正確性、効率、および/または信頼性は、有限の計算資源を使用して、リアルタイムまたは略リアルタイムに、例示的な手術器具トラッキングシステムによって提供されることがある。
【0022】
次に、図面を参照して、様々な実施形態をより詳細に記載する。本明細書に記載するシステムおよび方法は、上述の利益および/または本明細書で明らかにされる様々な追加のおよび/または代替の利益のうちの1つ以上を提供することがある。
【0023】
本明細書に記載する手術器具トラッキングシステムおよび方法は、ロボット手術システムの一部としてまたはロボット手術システムと共に作動することがある。よって、本明細書に記載する手術器具トラッキングシステムおよび方法の理解を促進するために、例示的なロボット手術システムをここで記載する。記載する例示的なロボット手術システムは、例示的であり、限定的でない。本明細書に記載する手術器具トラッキングシステムおよび方法は、他の適切なロボット手術システムの一部としてまたは他の適切なロボット手術システムと共に作動することがある。
【0024】
図1は、例示的なロボット手術システム100を図示している。図示のように、ロボット手術システム100は、(患者側カートと称することがある)患者側システム102と、外科医コンソール104と、互いに通信的に連結されたビジョンカート106(vision cart)とを含むことがある。ロボット手術システム100は、患者108に対してロボット的に可能にされる外科処置を行うよう、外科チームによって利用されてよい。図示のように、外科チームは、外科医110-1と、助手110-2と、看護師110-3と、麻酔科医110-4とを含むことがあり、それらの全員を集合的に「外科チーム構成員10」と称することがある。特定の実装に役立つことがあるような追加のまたは代替の外科チーム構成員が外科セッション中に存在してよい。
図1は、進行中の最小侵襲的外科処置を図示しているが、ロボット手術システム100は、ロボット手術システム100から同様に利益を得ることがある観血外科処置または他のタイプの外科処置を行うために同様に使用されてよいことが理解されるであろう。加えて、ロボット手術システム100が利用されることがある外科セッションは、
図1に図示するような外科処置の手術段階を含むことがあるのみならず、外科処置の術前、術後、および/または他の適切な段階を含むこともあることが理解されるであろう。
【0025】
図示のように、患者側システム102は、複数のロボットアーム112(例えば、ロボットアーム112-1~112-4)を含んでよく、複数のロボット操作手術器具114(例えば、手術器具114-1~114-4)が、複数のロボットアームに連結されてよい。各手術器具114は、(例えば、少なくとも部分的に患者108に挿入され、患者108に対するロボット的に可能にされた外科処置を行うよう操作されることによる)患者108に対するロボット的に可能にされた外科処置のために使用されることがある、任意の適切な手術ツール、医療ツール、モニタリング器具(例えば、内視鏡)、診断器具、または同等物を含んでよい。患者側システム102は、例示的な目的のために複数のロボットアーム112を備えるカートとして本明細書に描写され且つ説明されるが、様々な他の実施形態において、患者側システム102は、1つ以上のカートを含むことができ、各カートは、1つ以上のロボットアーム112を備え、1つ以上のロボットアームは、手術台または天井、および/または任意の他の(複数の)支持構造のような、手術室内の別個の構造に取り付けられることに留意のこと。患者側システム102を以下により詳細に記載する。
【0026】
手術器具114は、それぞれ、患者と関連付けられる外科領域に配置されてよい。本明細書で使用するとき、患者と関連付けられる「外科領域(surgical area」は、特定の例において、患者内に完全に位置することがあり、外科処置がその付近で行われるように計画されている、行われている、あるいは行われた、患者内の領域を含むことがある。例えば、患者の内部にある組織に対して行われる最小侵襲的外科処置について、外科領域は、例えば、外科処置を行うために使用される手術器具が配置される、組織ならびに組織の周囲の空間を含むことがある。他の例において、外科領域は、少なくとも部分的に患者の外部に位置することがある。例えば、ロボット手術システム100は、外科領域の一部(例えば、手術される組織)が患者の内部にある一方で、外科領域の別の部分(例えば、1つ以上の手術器具が配置されることがある組織の周囲の空間)が患者の外部にあるように、観血外科処置を行うために使用されることがある。手術器具の少なくとも一部分(例えば、手術器具の遠位端)が外科領域内に配置されるときに、手術器具(例えば、手術器具114のいずれか)が外科領域に配置されている(あるいは外科領域「内に配置されている」)と称することがある。
【0027】
外科医コンソール104は、ロボットアーム112および手術器具114の外科医110-1による制御を容易にするように構成されてよい。例えば、外科医コンソール104は、内視鏡によって取り込まれるような患者108と関連付けられた外科領域の像(例えば、高解像度3D像)を外科医110-1に提供することがある。外科医110-1は、像を利用して、手術器具114を用いて1つ以上の処置を行うことがある。
【0028】
手術器具114の制御を容易にするために、外科医コンソール104は、(接写
図118で示す)マスタ制御装置116のセットを含むことがある。マスタ制御装置116は、手術器具114の動きを制御するために外科医110-1によって操作されてよい。マスタ制御装置116は、外科医110-1による多種多様の手、手首、および指の動きを検出するように構成されてよい。このようにして、外科医110-1は、手術器具114のうちの1つ以上を用いて処置を直感的に行うことがある。例えば、接写
図120に示すように、ロボットアーム112-1および112-4にそれぞれ連結された手術器具114-1および114-4の機能的先端は、1つ以上の外科処置(例えば、切開処置、縫合処置など)を行うために、複数の動きの自由度に亘る外科医110-1の手、手首、および指の器用さを模倣することがある。外科医コンソール104は、例示的な目的のために単一のユニットとして本明細書に描写され且つ記載されるが、様々な他の実施形態において、外科医コンソール104は、有線または無線マスタ制御装置116、別個の(複数の)ディスプレイ要素(例えば、プロジェクタまたはヘッドマウントディスプレイ)、別個のデータ/通信処理ハードウェア/ソフトウェア、および/または外科医コンソール104の任意の他の構造的または機能的要素のような、様々な別個のコンポーネントを含むことができる。外科医コンソール104を以下により詳細に記載する。
【0029】
ビジョンカート106は、外科医コンソール104にいる外科医110-1に提供される画像に対するアクセスを有さないことがある外科チーム構成員110に視覚コンテンツを提示するように構成されることがある。この目的を達成するために、ビジョンカート106は、外科領域の画像(例えば、2D画像)、患者108および/または外科処置と関連付けられる情報、および/または特定の実装に役立つことがあるような任意の他の視覚コンテンツのような、1つ以上のユーザインタフェースを表示するように構成される、ディスプレイモニタ122を含んでよい。例えば、ディスプレイモニタ122は、画像の上にオーバーレイされる、あるいはさもなければ画像と同時に表示される、追加のコンテンツ(例えば、グラフィカルコンテンツ、コンテキスト情報など)と共に、外科領域の画像を表示してよい。幾つかの実施形態において、ディスプレイモニタ122は、外科チーム構成員110が(例えば、接触ジェスチャによって)対話(相互作用)してロボット手術システム100にユーザ入力を提供することがある、タッチスクリーンディスプレイによって実装される。
【0030】
患者側システム102、外科医コンソール104、およびビジョンカート106は、任意の適切な方法で互いに通信的に連結されてよい。例えば、
図1に示すように、患者側システム102、外科医コンソール104、およびビジョンカート106は、制御ライン124を介して通信的に連結されてよく、制御ライン124は、特定の実装に役立つことがある任意の有線または無線通信リンクを表すことがある。この目的を達成するために、患者側システム102、外科医コンソール104、およびビジョンカート106は、それぞれ、1つ以上のローカルエリアネットワークインタフェース、Wi-Fiネットワークインタフェース、セルラインタフェースなどのような、1つ以上の有線または無線通信インタフェースを含んでよい。
【0031】
患者側システム102、外科医コンソール104、およびビジョンカート106は、それぞれ、ロボット手術システム100の動作を制御、指示、および/または促進するように構成された、少なくとも1つのコンピューティングデバイスを含んでよい。例えば、外科医コンソール104は、マスタ制御装置116の外科医110-1による操作に従ってロボットアーム112および/または手術器具114の動きを制御するために、制御ライン124のうちの1つ以上によって命令を患者側システム102に送信するように構成された、コンピューティングデバイスを含んでよい。幾つかの例において、ビジョンカート106は、ロボット手術システム100の一次処理動作を行うように構成された1つ以上のコンピューティングデバイスを含んでよい。そのような構成において、ビジョンカート106に含まれる1つ以上のコンピューティングデバイスは、ロボット手術システム100の様々な他のコンポーネント(例えば、患者側システム102および/または外科医コンソール104)によって実行される動作を制御および/または調整することがある。例えば、外科医コンソール104に含まれるコンピューティングデバイスは、ビジョンカート106に含まれる1つ以上のコンピューティングデバイスを介して患者側システム102に命令を送信してよい。
【0032】
図2は、患者側システム102の斜視図を図示している。図示のように、患者側システム102は、ベース204によって支持されたカートコラム202を含む。幾つかの例において、カートコラム202は、カートコラム202内に配置される制動サブシステムおよびカウンタバランスサブシステムのコンポーネントを汚染物から保護する保護カバー206を含むことがある。
【0033】
カートコラム202は、その上に取り付けられた複数のセットアップアーム208(例えば、セットアップアーム208-1~208-4)を支持してよい。各セットアップアーム208は、セットアップアーム208の手動位置決めを可能にする複数のリンクおよびジョイントを含んでよく、それぞれロボットアーム112の1つに接続されてよい。
図2の例において、患者側システム102は、4つのセットアップアーム208と、4つのロボットアーム112とを含む。しかしながら、患者側システム102は、特定の実装に役立つような品位の他の数のセットアップアーム208およびロボットアーム112を含んでよいことが認識されるであろう。
【0034】
セットアップアーム208は、非ロボット的に制御可能であってよく、各ロボットアーム112を、患者側システム102をセットアップする或いは再構成する人が所望するそれぞれの位置に静止的に保持するように構成されてよい。セットアップアーム208は、キャリッジハウジング210に連結されてよく、外科セッションの術前、術中、または術後段階の間に手動で移動させられ、位置決めされてよい。例えば、セットアップアーム208は、ロボット手術システム100が準備されているときのおよび/または実行されるべき外科処置のために標的化されているときの術前段階の間に移動され、位置決めされてよい。対照的に、ロボットアーム112は、(例えば、上述のように、マスタ制御装置116の操作に応答して)ロボット的に制御されてよい。
【0035】
図示のように、各ロボットアーム112は、それに連結された手術器具114を有してよい。特定の例において、4つのロボットアーム112のうちの3つは、外科領域内の患者組織および/または他の物体(例えば、縫合材料、パッチング材料など)を操作するために使用される手術ツールの形態の手術器具114を移動および/または位置決めするように構成されてよい。具体的には、図示のように、ロボットアーム112-1、112-3、および112-4はあ、それぞれ、手術器具114-1、114-3、および114-4を移動および/または位置決めするために使用されてよい。第4のロボットアーム112(例えば、
図2の例におけるロボットアーム112-2)が、以下により詳細に記載するように、モニタリング器具(例えば、立体視内視鏡)を移動および/または位置決めするために使用されてよい。
【0036】
ロボットアーム112は、それぞれ、手術器具114の制御およびトラッキングを補助するために、生の(すなわち、補正されていない)運動情報を生成するために使用される、1つ以上の変位変換器、配向センサ、および/または位置センサ(例えば、センサ212)を含んでよい。例えば、ロボットアーム112のための運動学に基づく位置または他の運動学的情報のような、患者側システム102内の変換器およびセンサによって生成される運動学的情報は、ロボット手術システム100の手術器具トラッキングシステム(例えば、ビジョンカート106に含まれるコンピューティングデバイス)に送信されてよい。各手術器具114は、特定の実施形態において変位変換器、位置センサ、および/または配向センサ(例えば、センサ214)を同様に含んでよく、それらの各々は、手術器具114のための運動学に基づく位置または他の運動学的情報のような追加の運動学的情報をトラッキングシステムに提供してよい。トラッキングシステムは、ロボットアーム112および/または手術器具114に含まれるセンサから受け取る運動学的情報を処理して、本明細書に記載するようなロボットアーム112および/または手術器具114の物理的位置を決定することのような様々な操作を行ってよい。
【0037】
図3は、例示的なロボットアーム112(例えば、ロボットアーム112-1~112-4のいずれか1つ)の斜視図を図示している。図示のように、手術器具114が、ロボットアーム112に取り外し可能に連結されてよい。
図3の例において、手術器具114は、内視鏡デバイス(例えば、立体視腹腔鏡、関節鏡、子宮鏡、または他のタイプの立体視もしくは平面視内視鏡)である。代替的に、手術器具114は、異なるタイプの撮像デバイス(例えば、超音波デバイス、蛍光透視デバイス、MRIデバイスなど)、把持器具(例えば、鉗子)、針ドライバ(例えば、縫合のために使用されるデバイス)、エネルギ器具(例えば、焼灼器具、レーザ器具など)、開創器、クリップアプライヤ、プローブ把持器、心臓安定器、または任意の他の適切な器具またはツールであってよい。
【0038】
幾つかの例では、ロボットアーム112およびロボットアーム112に連結される手術器具114が、中心点302の移動を制限するように、単一の固定的な中心点302の周りを動くことが望ましい。例えば、中心点302は、患者108への手術器具114の挿入点またはその付近に配置されてよい。特定の外科セッション(例えば、腹腔鏡外科処置と関連付けられる外科セッション)において、例えば、中心点302は、腹壁にあるトロカールまたはカニューレによって、内部手術部位への切開点と整列させられてよい。図示のように、中心点302は、手術器具114と関連付けられる挿入軸304上に配置されてよい。
【0039】
ロボットアーム112は、複数のリンク306(例えば、リンク306-1~306-5)を含んでよく、複数のリンク306は、リンク306のそれぞれの端付近の複数のジョイント308(例えば、ジョイント308-1~308-4)で直列に枢動的に連結される。例えば、図示のように、リンク306-1は、リンク306-1の第1の端付近のジョイント308-1で駆動マウント310に枢動的に連結される一方で、リンク306-1の第2の端付近のジョイント308-2でリンク306-2に旋回的に連結される。リンク306-3は、リンク306-3の第1の端付近でリンク306-2に枢動的に連結される一方で、リンク306-3の第2の端付近のジョイント308-4でリンク306-4に枢動的に連結される。一般的に、リンク306-4は、図示のように、手術器具114の挿入軸304に対して実質的に平行であってよい。リンク306-5は、図示のように、手術器具114がリンク306-5に取り付けられ、リンク306-5に沿ってスライドすることを可能にするよう、リンク306-4にスライド可能に連結される。
【0040】
ロボットアーム112は、上述のように、セットアップアーム208によって指示されて所定の場所に保持されるように、駆動マウント310を介してセットアップアーム208(またはセットアップアーム208に接続されたジョイント)に取り付けられるように構成されてよい。駆動マウント310は、リンク306-1に枢動的に連結されてよく、中心点302のヨー軸の周りでロボットアーム112を偏揺れさせる(yaw)ように構成された(明示的に図示されていない)第1の内部モータを含んでよい。同様に、リンク306-2は、中心点302のピッチ軸の周りでロボットアーム112のリンケージ(リンク装置)を駆動および縦揺させる(pitch)ように構成された(明示的に図示されていない)第2の内部モータを収容してよい。同様に、リンク306-4は、挿入軸304に沿ってリンク306-5および手術器具114をスライドさせるように構成された(明示的に図示されていない)第3の内部モータを含んでよい。ロボットアーム112は、特定の実装に役立つことがあるような任意の方法でジョイント308の周りのリンク306の枢動を制御するために、これらのモータのうちの1つ以上によって駆動されるドライブトレインシステムを含んでよい。よって、手術器具114が機械的に移動されるべきであるならば、ドライブトレインに連結されたモータのうちの1つ以上を通電させてロボットアーム112のリンク306を移動させることができる。
【0041】
図4は、外科医コンソール104の斜視図を図示している。図示のように、外科医コンソール104は、立体ビューア402(stereo viewer)と、アーム支持体404(arm support)と、(
図4には図示されていない)マスタ制御装置116が配置されるコントローラワークスペース406(controller workspace)と、フットペダル408(foot pedals)と、ヘッドセンサ410(head sensor)とを含んでよい。
【0042】
幾つかの例において、立体ビューア402は、オペレータ(例えば、外科医110-1)が手術セッション中に患者108と関連付けられ且つ立体視内視鏡によって生成される外科領域の立体視画像を視認することがある、2つのディスプレイを有する。外科医コンソール104を使用するとき、オペレータは、自分の頭を立体ビューア402と整列するように移動させて、外科領域の立体視画像を視認することがある。患者側システム102の手術器具114を制御するときに、オペレータが外科領域を視認していることを保証するために、外科医コンソール104は、立体ビューア402に隣接して配置されるヘッドセンサ410を使用することがある。具体的には、オペレータが、外科領域の立体視画像を視認するために、自分の眼を立体ビューア402の両眼用接眼レンズと整列させるときに、オペレータの頭はヘッドセンサ410を起動させる(アクティブ化させる)ことがあり、それはマスタ制御装置116を介した手術器具114の制御を可能にする。オペレータの頭が立体ビューア402の領域から取り外されるときに、ヘッドセンサ410は自動的に起動解除される(非アクティブ化される)ことがあり、それはマスタ制御装置116を介した手術器具114の制御を妨げることがある。このようにして、ロボット手術システム100が、オペレータが手術器具114の制御を試みることに積極的に関与していないことを検出するとき、手術器具114の位置は、静止的なままであることがある。
【0043】
アーム支持体404は、オペレータがロボットアーム112および/または手術器具114を制御するためにマスタ制御装置116を操作する間に、オペレータの肘および/または前腕を支持するために使用されてよい。加えて、オペレータは、自分の足を使用して、フットペダル408を制御することがある。フットペダル408は、手術器具114を制御するために使用される追加の制御信号を生成して、1つの手術器具114から別の手術器具への切り替え制御を容易にするか、あるいは任意の他の適切な操作を行うために、ロボット手術システム100の構成または動作モードを変更するように構成されてよい。
【0044】
図5は、ロボット手術システム100に含められ、患者と関連付けられる例示的な外科領域に配置された、例示的な立体視内視鏡500を図示している。立体視内視鏡500は、上述の手術器具114のいずれか1つであってよい。
【0045】
図示のように、立体視内視鏡500は、患者に挿入されるように構成された遠位先端を有するチューブ502と、患者の外部に配置されるように構成されたカメラヘッド504とを含んでよい。チューブ502は、近位端でカメラヘッド504に連結されてよく、特定の実装に役立つことがあるように(
図5に示すように)剛的であってよく、連結されてよく、且つ/或いはフレキシブル(可撓)であってよい。
【0046】
チューブ502は、患者の内部の外科領域とカメラヘッド504との間に光を伝導するように構成された複数のチャネル506(例えば、右側撮像チャネル506-R、左側撮像チャネル506-L、および照明チャネル506-I)を含んでよい。カメラヘッド504内で生成される光が、チューブ502の遠位端で出力されるように照明チャネル506-Iによって運ばれ、外科領域内の患者の解剖学的構造および/または他の物体から反射した後に、撮像チャネル506-Rおよび506-Lによってチューブ502の遠位端からカメラヘッド504に運ばれて戻るように、各チャネル506は、チューブ502に沿って光を運ぶように構成された1つ以上の光ファイバを含んでよい。
図5のチャネル506内に示す矢印は、光が各チャネル内を移動することがある方向を示すように描写されている。加えて、チューブ502は、特定の実装に役立つことがあるようにチャネル506によって運ばれる光を集束、拡散、または他の方法で処理するための(明示的に示されていない)1つ以上のレンズまたは他の適切な光学系と関連付けられてよい(例えば、それらを含んでよい)ことが理解されるであろう。様々な他の実施形態では、追加の撮像および/または照明チャネルが存在してよい。更に他の実施形態では、1つ以上の画像センサおよび/または照明装置をチューブ502の遠位端により近接して配置することができ、それによって、チューブ502を通じる撮像および/または照明チャネルの必要性を最小限にすることができ、或いは排除することさえできる。
【0047】
幾つかの例において、立体視内視鏡500は、ロボット手術システムのロボットアーム(例えば、ロボット手術システム100のロボットアーム112のうちの1つ)に連結されてよく、チューブ502の遠位先端が患者の外科領域に配置されるように位置決めされてよい。この構成において、立体視内視鏡500は、立体視内視鏡500の一部(例えば、カメラヘッド504およびチューブ502の近位部分)が外科領域の外側に位置することがあるとしても、外科領域に位置している或いは外科領域内に位置していると称されてよい。立体視内視鏡500は、外科領域に配置されるが、立体視内視鏡500の視野内の外科領域から反射される光は、チューブ502の遠位先端によって取り込まれ、撮像チャネル506-Rおよび506-Lを介してカメラヘッド504に運ばれることがある。
【0048】
カメラヘッド504は、立体視内視鏡500の操作を容易にするように構成された様々なコンポーネントを含んでよい。例えば、図示のように、カメラヘッド504は、画像センサ508(例えば、右側撮像チャネル506-Rと関連付けられた画像センサ508-Rおよび左側撮像チャネル506-Lと関連付けられた画像センサ508-L)を含んでよい。画像センサ508は、電荷結合素子(「CCD」)画像センサ、相補型金属酸化物半導体(「CMOS」)画像センサ、または同等物のような、任意の適切な画像センサとして実装されてよい。加えて、1つ以上のレンズまたは他の光学系が、画像センサ508と関連付けられてよい(明示的に図示されていない)。カメラヘッド504は、外科領域を照らすように、撮像チャネル506-Iを介してカメラヘッド504から外科領域へ移動する光を生成するように構成された照明装置510(illuminator)を更に含んでよい。
【0049】
カメラヘッド504は、その中に配置されたカメラ制御ユニット512を更に含んでよい。具体的には、カメラ制御ユニット512-Rが、画像センサ508-Rに通信的に連結されてよく、カメラ制御ユニット512-Lが、画像センサ508-Lに通信的に連結されてよい。カメラ制御ユニット512は、通信リンク514を介して互いに同期的に連結されてよく、画像センサ508によって感知される光に基づいてそれぞれの画像516(すなわち、右側と関連付けられた画像516-Rおよび左側と関連付けられた画像516-L)を生成するように、画像センサ508を制御するように構成された、ソフトウェアおよび/またはハードウェアによって実装されてよい。よって、撮像チャネル506、撮像センサ508、カメラ制御ユニット512、および関連する光学系の各々のそれぞれの組み合わせを、集合的に、立体視内視鏡500内に含まれるカメラと称することがある。例えば、立体視内視鏡500は、2つのそのようなカメラを含んでよく、1つは左側用であり、1つは右側用である。そのようなカメラは、そのそれぞれの撮像チャネル506の遠位端での眺望の利く地点(vantage point)から画像516を取り込むと言われることがある。立体視内視鏡500によって生成された後に、画像516は、手術器具トラッキングシステムによってアクセスされてよく、且つ/或いは本明細書に記載する方法のいずれかにおいて使用されてよい。例えば、画像516は、本明細書に記載する方法のいずれかにおいて、外科領域に配置されるロボット操作手術器具の位置を決定するために、手術器具トラッキングシステムによって使用されてよい。
【0050】
図6は、外科領域に位置する手術器具をトラッキングするように構成された例示的な手術器具トラッキングシステム600(「トラッキングシステム600」または「システム600」)を示している。図示のように、システム600は、画像処理設備602(image processing facility)と、関連付け設備604(association facility)と、位置決定設備606(position determination facility)と、互いに選択的かつ通信的に連結された格納設備608(記憶設備)(storage facility)とを含むが、これらに限定されない。設備602~608は、
図6では別個の設備であるように示されているが、設備602~608は、特定の実装に役立つことがあるように、より少ない設備に、例えば、単一の設備に組み合わされるか、あるいは、より多くの設備に分割されてよいことが認識されるであろう。設備602~608の各々は、コンピューティングハードウェアおよび/またはソフトウェアの任意の適切な組み合わせによって実装されてよい。
【0051】
システム600は、任意の適切な方法においてロボット手術システム100のようなロボット手術システムと関連付けられてよい。例えば、システム600は、ロボット手術システムによって実装されてよく、あるいはロボット手術システムに含められてよい。例示するために、システム600は、ロボット手術システム100の患者側システム102、外科医コンソール104、および/またはビジョンカート106に含められる1つ以上のコンピューティングデバイスによって実装されてよい。幾つかの例において、システム600は、ロボット手術システム(例えば、ネットワークを介してロボット手術システム100に通信的に連結される1つ以上のサーバ)に通信的に連結されるが、それに含められていない、1つ以上のコンピューティングデバイスによって、少なくとも部分的に実装されてよい。
【0052】
画像処理設備602は、患者と関連付けられる外科領域に配置される内視鏡によって取り込まれる或いはそのような内視鏡によって取り込まれる画像から導出される1つ以上の画像のセットを含むことがある、(「内視鏡像」と呼ばれることがある)内視鏡像にアクセスするように構成されてよい。1つ以上の内視鏡画像のセットは、2D画像、3D画像、2D画像から導出される3D画像、一時的に整列させられた立体視画像の1つ以上のペア、ビデオのフレーム、画像のシーケンス、凝集または組み合わせ画像(例えば、複数の画像を一緒に結合することによって形成された画像)、または任意の他の適切な形態の画像を含んでよい。内視鏡画像は、任意の適切なデータフォーマットにおける画像データ(例えば、任意の適切な数の画像チャネルを有するRGB画像を表すデータ)として表現されてよく、それらの画像データは、画像処理設備602によってアクセスされてよい。
【0053】
特定の実装において、例えば、画像処理設備602は、外科領域に配置される立体視内視鏡(例えば、立体視内視鏡500)内に含まれる第1のカメラによって第1の眺望の利く地点から取り込まれる第1の画像(例えば、画像516-L)、および立体視内視鏡内に含まれる第2のカメラによって第1の眺望の利く地点に対して立体的に見える第2の眺望の利く地点から取り込まれる第2の画像(例えば、画像516-R)にアクセスしてよい。画像処理設備602は、任意の適切な方法で画像にアクセスしてよい。例えば、画像処理設備602は、内視鏡から画像を受信することによって或いは格納設備108または他のコンピュータメモリ(例えば、メモリバッファ)から画像にアクセスすることによって、画像にアクセスしてよい。
【0054】
内視鏡によって取り込まれる内視鏡像を参照して特定の例を本明細書に記載するが、他の例において、画像処理設備602は、外科領域の任意の適切な像を処理してよい。例えば、画像処理設備602は、1つ以上の非内視鏡カメラ、複数の内視鏡、または少なくとも1つの内視鏡と少なくとも1つの非内視鏡カメラとの組み合わせによって取り込まれる、外科領域像を処理してよい。
【0055】
画像処理設備602は、内視鏡像を処理して、内視鏡像内に描写される関心物体についての観察を決定してよい。内視鏡像の処理は、内視鏡像から関心物体を表す特徴(features)を抽出する画像処理設備602を含んでよい。本明細書で使用するとき、「関心物体」は、内視鏡像内に描かれる、並びに画像処理設備602に関心があると定義される、任意の対象(物体)または他の特徴を指す。特定の例において、関心物体は、手術器具と関連付けられることがある内視鏡像中に描かれる任意の特徴によって表されることがある。例えば、特徴は、内視鏡像中に描かれる手術器具、内視鏡像中に描かれる手術器具のコンポーネント、または手術器具もしくは手術器具のコンポーネントを表すために画像処理設備602によって正確に或いは誤って決定されることがある内視鏡像中に描かれる任意の物体の視覚的表現であってよい。
【0056】
特定の実施形態では、関心物体は、手術器具のマーカのないコンポーネントであってよい。手術器具のマーカのないコンポーネントは、専用コンピュータビジョンマーカ(例えば、バーコード、色など)を含まない手術器具の物理的コンポーネントであってよい。専用コンピュータビジョンマーカの代わりにマーカのない関心物体を抽出するよう内視鏡像を処理することによって、画像処理設備602は、マーカを製造するコスト、マーカの限定的な寿命、全ての手術器具上でマーカを使用し得ないこと、解剖学的構造組織、血液、破片、または他の器具によるカメラビューからのマーカの閉塞、およびマーカの従来的な検出と関連付けられる非効率性を計算することのような、専用コンピュータビジョンマーカの使用と関連付けられる1つ以上の問題を克服することがある。
【0057】
特定の実装において、関心物体は、手術器具の遠位クレビス(distal clevis)であってよい。手術器具の遠位クレビスは、手術器具の最遠位ジョイントの中心であってよく、遠位クレビスの位置は、手術器具の遠位先端の位置を決定するために使用されてよい。幾つかの実装では、内視鏡像からの手術器具の遠位クレビスの抽出が、内視鏡像からの手術器具の小さな遠位先端の抽出よりも、正確、容易、および/または確実であることがある。他の実装では、手術器具の追加的なまたは代替的なコンポーネント(例えば、手術器具のシャフト)が、関心物体であるように定義されてよい。
【0058】
ひとたび画像処理設備602が内視鏡像から関心物体を抽出すると、画像処理設備602は、関心物体についての観察を画定することがある。観察は、内視鏡像から導出された関心物体の位置を示すことがある。その位置は内視鏡像から導出されるので、その位置を「画像ベース位置」と称することがある。特定の例において、観察は、その位置を2D空間内の2D領域または3D空間内の3D領域として表すように定義されてよい。例えば、観察は、(例えば、内視鏡カメラの眺望の利く地点から投影された)投影D画像平面上の定義された画素領域区域(pixel area region)を示してよい。別の例として、観察は、ロボット手術システム100と関連付けられる世界3D座標系によって定義された3D空間内の3D領域のような定義された3D領域を示してよい。
【0059】
特定の例では、関心物体の位置を表すことに加えて、(例えば、ニューラルネットワークの出力のような)画像処理設備602によって定義される観察が、関心物体の1つ以上の他の属性を示すことがある。例えば、観察は、(ビデオフレームのシーケンスのような画像のシーケンスから導出されることがある)関心物体と関連付けられる動きの手がかり(例えば、速度、加速度など)、(例えば、関心物体が針ドライバ、グラスパ、または焼灼機タイプの手術ツールに取り付けられる)関心物体と関連付けられる手術器具のタイプ、関心物体と関連付けられる追加的な位置(例えば、関心物体の別のコンポーネントの位置)、関心物体の位置に対する別の関心物体の位置(例えば、手術器具の遠位クレビスに対する手術器具先端、シャフトなどの位置)、および/または関心物体と関連付けられる向き(例えば、遠位クレビスの向き)を示すことがある。
【0060】
画像処理設備602は、訓練されたニューラルネットワークを使用して、関心物体についての観察を決定するように構成されてよい。例えば、画像処理設備602は、畳み込みニューラルネットワーク(「CNN」)または別の深層のフィードフォワード人工ニューラルネットワークを使用して、関心物体を抽出し、関心物体についての観察を定義してよい。
【0061】
この目的を達成するために、ニューラルネットワークは、ニューラルネットワークが内視鏡像中に描かれる関心物体についての観察を決定するように構成されるように訓練されてよい。訓練は、例えば、ラベル付き(例えば、手作業でラベル付けされた)データを訓練セットとして使用することによって、任意の適切な方法において行われてよい。そのようなデータは、内視鏡像中に描かれる任意の関心物体の観察を用いてラベル付けされる内視鏡像を含んでよい。例えば、訓練像(training imagery)は、関心物体を描く画像と、関心物体と関連付けられる画像ベースの位置を示すラベルとを含んでよい。ラベルは、関心物体と位置的に関連付けられる矩形領域(例えば、画素領域)を画定するバウンディングボックス(境界ボックス)、または関心物体と位置的に関連付けられる画像の領域の任意の他の適切な定義のような、任意の適切な形態にあってよい。訓練像中の他の画像は、関心物体と関連付けられる位置を示すために同様にラベル付けされてよい。訓練像中の更に他の画像は、関心物体が画像中に描かれていないことを示すようにラベル付けされてよい(或いはラベル付けされなくてよい)。幾つかの例において、追加的なラベルは、手術器具のタイプおよび/または手術器具の追加的なコンポーネントを示すラベルのような、関心物体の他の特性を示すように、訓練像に加えられてよい。使用されることがある他のラベルの例は、手術器具上の鍵となる地点(例えば、器具先端、器具表面上のロゴまたは他の表示(indicia)のような器具表面上の特徴、器具シャフト、器具シャフト軸など)を示すラベルと、器具の画素毎セグメント(per-pixel segmentations)または器具のコンポーネント(例えば、器具本体または器具本体の一部)を示すラベルとを含むが、これらに限定されない。訓練像中の特定の画像は、手術器具が画像を取り込む内視鏡の視野内にあるべきことを対応する運動学が示すときに、手術器具を描かない画像のような、画像の内容と手術器具のための対応する運動学との間の矛盾に基づいて、ニューラルネットワークを訓練する際の使用のために選択されてよい。
【0062】
ニューラルネットワークが訓練された後に、画像処理設備602は、訓練されたニューラルネットワークを使用して、内視鏡像中に描かれた関心物体についての観察を決定してよい。特定の例において、画像処理設備602は、内視鏡像を訓練されたニューラルネットワークへの入力として提供することによってこれを行ってよく、訓練されたニューラルネットワークは、内視鏡像を処理し、像中に描かれ且つ訓練されたニューラルネットワークによって抽出される関心物体についての決定された観察を出力してよい。訓練されたニューラルネットワークは、履歴的および/または訓練内視鏡像のために以前に生成された(例えば、ニューラルネットワークの訓練中にラベル付けされた)観察から、処理されている内視鏡画像に最も良く適合するか或いは適合する可能性が最も高い観察を選択することによって、関心物体についての観察を決定してよい。他の例では、関心物体についての観察を出力する代わりに、訓練されたニューラルネットワークは、抽出された関心物体を示すデータを出力してよく、画像処理設備602は、訓練されたニューラルネットワークからのこの出力を使用して、例えば、関心物体を包含する領域を定義することおよび/または観察に別の特性を追加することによって、関心物体についての観察を定義または補足してよい。内視鏡像中に描かれる関心物体についての観察を決定する画像処理設備602の例を本明細書に記載する。
【0063】
関心物体について画像処理設備602によって決定される観察は、少なくとも、手術器具のための候補の画像ベースの位置を示すものと考えられてよい。何故ならば、画像処理設備602は、画像処理設備602によって決定されて出力される観察を外科領域の如何なる特定の手術器具とも関連付けていないからである。画像処理設備602は、関心物体が外科領域にある手術器具を表さないことを関連付け設備604が決定するときに、観察を関心物体によって表されるように関連付け設備604によって決定される適切な手術器具に或いは偽陽性指定に関連付けるために、関連付け設備604によるアクセスおよび使用のための観察を表すデータを提供してよい。
【0064】
関連付け設備604は、画像処理設備602から関心物体についての観察を表すデータにアクセスし、外科領域における1つ以上の手術器具の運動学に基づいて、関心物体についての観察を特定の手術器具または偽陽性指定に関連付けてよい。特定の実装において、関連付け設備604は、外科領域における1つ以上の手術器具の確率論的フレームワークおよび運動学に基づいて行われるべき関連付けを決定するように構成されてよい。一例として、関連付け設備604は、外科領域における1つ以上の手術器具の運動学に基づいて、外科領域における各手術器具への並びに偽陽性指定への関心物体についての観察の潜在的な関連付けの確率を決定してよい。次に、関連付け設備604は、最も高い確率の関連付けを選択し、観察を手術器具または最も高い確率を有する偽陽性指定に関連付けてよい。別の例として、関連付け設備604は、外科領域における1つ以上の手術器具の運動学に基づいて、観察と手術器具または偽陽性指定との間の1対1の関連付けの各々の可能なセットについての確率を決定してよい。次に、関連付け設備604は、1対1の関連付けの最も高い確率のセットを選択し、選択された関連付けのセットに従って、観察をそれぞれの手術器具または偽陽性指定に関連付けてよい。観察を手術器具または偽陽性指定に関連付けるために確率論的フレームワークおよび運動学を使用する関連付け設備604の例を本明細書に記載する。
【0065】
関連付け設備604は、観察および関連する手術器具を表すデータのような、関連付け設備604によって作られる関連付けを表すデータを出力してよい。幾つかの例において、関連付け設備604は、偽陽性指定と関連付けられる観察を表すデータの出力を控えることがある。
【0066】
位置決定設備606は、観察および関連する手術器具を表すデータのような、関連付け設備604によって出力されるデータにアクセスしてよい。位置決定設備606は、アクセスされるデータを使用して、手術器具の運動学および手術器具に関連する観察に基づいて、外科領域での手術器具の物理的位置を決定してよい。
【0067】
特定の例において、位置決定設備606は、手術器具の運動学および手術器具に関連する観察に基づいて、外科領域における手術器具の物理的位置を決定するために、無香カルマンフィルタまたは他のベイズフィルタのような非線形推定装置を実装および使用してよい。例えば、位置決定設備606は、観察および運動学を無香カルマンフィルタに入力してよく、無香カルマンフィルタは、観察および運動学を使用して、外科領域における手術器具の物理的位置を決定および出力してよい。外科領域における手術器具の物理的位置は、ロボット手術システム100と関連付けられる世界3D空間のような3D空間内の手術器具のコンポーネントの3D位置(例えば、手術器具の遠位クレビスまたは遠位先端の3D位置)を表す座標を含む、任意の適切な方法で表わされてよい。
【0068】
特定の実施形態において、位置決定設備606は、観察によって表される関心物体の画像ベースの位置に基づいて、運動学によって表される手術器具の運動学ベースの位置を補正することによって、手術器具の物理的位置を決定するように構成されてよい。例えば、無香カルマンフィルタは、観察によって示された関心物体の画像ベースの位置に基づいて、手術器具の運動学ベースの位置を調整するように構成されてよい。調整は、運動学ベースの位置に修正変換を適用することによるような、任意の適切な方法で行われてよい。特定の実装において、位置決定設備606は、補正変換を運動学ベースの位置に可能な限り速く適用するように構成されてよく、それは画像処理設備602が可能な限り速く内視鏡画像から関心物体を抽出し、関連する関心物体についての観察を決定することができることがある。観察された画像ベースの位置で運動学ベースの位置を補正することによって、トラッキングシステム600は、手術器具が内視鏡画像から抽出可能でないときのような、観察が利用できないときに(例えば、手術器具が組織の背後に隠されているとき、外科領域に多量の煙があるとき、手術器具が内視鏡の視野の外側にあるときなどに)運動学を使用することができる。手術器具を表す関心物体についての観察が利用可能であり、手術器具の運動学ベースの位置を補正するために使用されるとき、トラッキングシステム600は、観察なしで運動学が単独で使用されるときよりも、より良い精度および/または正確性で手術器具の物理的位置をトラッキングすることができる。これは、運動学のみに基づいてグローバル3D世界座標の絶対位置を決定するときに見出されることがある剛性誤差および/または(長い運動連鎖上に取り付けられることがある)手術器具の大きな動きによって導入される誤差のような、運動学ベースの位置の誤差(例えば、ロボットシステムの運動連鎖に沿うジョイントエンコーダの誤差の蓄積によって引き起こされる器具先端位置の誤差)を除去または低減するのに有用なことがある。
【0069】
位置決定設備606によって決定される手術器具の物理的位置は、手術セッション中に外科領域において手術器具をトラッキングするために使用されてよい。このような方法において手術器具をトラッキングすることによって、ロボット手術システム100は、手術器具のトラッキングされた物理的位置を利用する1つ以上の構成を提供することがある。そのような構成の例を本明細書に記載する。
【0070】
格納設備608は、特定の実装において設備602~606によって受信される、生成される、管理される、維持される、使用される、且つ/或いは送信される任意のデータを格納および維持してよい。例えば、格納設備608は、本明細書に記載する動作を実行するためのプログラム命令(例えば、コンピュータコード)、画像データ、観察データ、運動学的データ、位置データ、および/または特定の実施に役立つ任意の他のデータを格納してよい。
【0071】
次に、
図7~
図10を参照して、手術器具の物理的位置を決定することによって手術器具をトラッキングするシステム600の例を記載する。
図7は、外科領域内の手術器具の
図700を図示している。図示されるように、手術器具は、内視鏡702と、1つ以上の手術ツールの形態の1つ以上の他の手術器具704(例えば、手術器具704-1~704-3)とを含んでよい。
図7は、外科領域に配置された1つの内視鏡702および3つの手術ツールを示しているが、任意の数および/または組み合わせの内視鏡および手術ツールが外科セッション中に外科領域にあってよい。組織706は、外科領域における解剖学的組織を表している。
【0072】
内視鏡702は、外科領域における内視鏡像を取り込むことがある。内視鏡702の視野内にある手術器具704および/または組織706のいずれかは、内視鏡702によって取り込まれる内視鏡像中に描かれることがある。
【0073】
図8は、この例では立体視内視鏡である内視鏡702内に含まれるカメラによって立体視の眺望の利く地点から取り込まれるような外科領域の例示的な画像802(すなわち、画像802-Lおよび802-R)を図示している。画像802-Lおよび802-Rは、それぞれ、上述の画像516-Lおよび画像516-Rを実装することがある。図示のように、各画像802は、内視鏡702の視野内にある手術器具704-1および組織706の一部を描いている。
【0074】
図示のように、画像802は、互いに比較的類似している。しかしながら、各画像802が取り込まれる眺望の利く地点の立体的性質の故に僅かな差が画像802間にも存在することが理解されるであろう。よって、画像802は、画像802-Lがユーザ(例えば、外科医110-1)の左眼に提示される一方で、画像802-Rがユーザの右眼に提示されるときに、三次元であるように見えることがある。
【0075】
画像516と同様に、画像802の一方または両方は、任意の適切な方法で、および/または任意の適切なディスプレイスクリーン上に、システム600によって表示または提示されてよい。例えば、画像802の一方または両方は、ビジョンカート106のディスプレイモニタ122上に、外科医コンソール104上の立体ビューア402上に、内視鏡702によって提供される平面視ディスプレイ上に、および/またはロボット手術システム100もしくはトラッキングシステム600と関連付けられる他のディスプレイスクリーン上に表示されてよい。
【0076】
画像処理設備602は、画像802の一方または両方を処理して、画像802内に描かれる任意の関心物体についての観察を決定してよい。例えば、画像処理設備602は、画像802から画像802に描かれた任意の関心物体を抽出することがある、訓練されたニューラルネットワークへの入力として画像802を提供してよい。例えば、訓練されたニューラルネットワークを使用して、画像処理設備602は、画像802の各々において手術器具704-1の遠位クレビスを表す関心物体804を抽出してよい。次に、画像処理設備602は、画像802および抽出された関心物体804に基づいて、関心物体804についての観察を定義してよい。例えば、画像処理設備602は、各画像802内の遠位クレビスの画像ベースの位置を表す境界ボックス806(bounding box)を含む観察を定義してよい。
図8では、関心物体804についての観察によって示される画像ベースの位置を表すために、矩形の境界ボックス806が図示されているが、他の例では、任意の適切な幾何学的領域(例えば、楕円)、(複数の)座標点、または他の位置インジケータが、関心物体の観察によって示される画像ベースの位置を表すために使用されてよい。例えば、境界ボックスまたは他の位置インジケータが、任意の器具部分(例えば、器具先端、シャフト、しるし(indicia)など)を識別するために定義されてよい。特定の他の例では、観察が、器具「骨格」を形成するラインを定義してよく、或いは、観察は、器具の画素毎セグメントまたは器具の部分(例えば、器具部分を表す画素および器具部分を表さない画素が黒色値および白色値のような異なるバイナリ値として表される画像)を定義してよい。また、遠位クレビスは、画像802の各々において関心物体804によって表される一方で、手術器具の追加的または代替的なコンポーネントのような任意の適切な関心物体は、訓練されたニューラルネットワークによって抽出可能な関心物体であるように定義されてよい。
【0077】
特定の例において、画像処理設備602は、訓練されたニューラルネットワークを使用して、関心物体が手術器具を実際に表していないとしても、関心物体が手術器具を表すことがあることを示す構成に基づいて関心物体を抽出してよい。例えば、訓練されたニューラルネットワークを使用して、画像処理設備602は、実際には、関心物体808が手術器具を表すことがあることを示す構成を有する組織706の部分である、対象物体808を抽出してよい。次に、画像処理設備602は、画像802および抽出される関心物体808に基づいて、関心物体808についての観察を定義してよい。
図8に示すように、例えば、画像処理設備602は、画像802の各々の中の関心物体808の画像ベースの位置を表す境界ボックス810を含む観察を定義してよい。
【0078】
画像処理設備602は、同様に、画像802中に描かれる任意の他の関心物体(例えば、他の手術器具が内視鏡702の視野内にあるならば、他の手術器具を表す関心物体)を抽出し、その関心物体についての観察を画定義してよい。
【0079】
関心物体について画像処理設備602によって決定される観察は、任意の適切な方法で関心物体の画像ベースの位置を表すことがある。例えば、観察は、画像内の2D領域(例えば、内視鏡702の視点のような視点から投影された投影面上の画素領域または他の2D領域)を表してよい。別の例として、観察は、世界3D座標系によって表される3D空間内の3D領域を表してよく、その3D領域は、内視鏡像内の特定された2D領域から(例えば、立体視内視鏡画像内の2D領域から)導出されてよい。別の例として、観察は、単一の座標場所または2D領域もしくは3D空間内の1つ以上の座標場所のセットであってよい。そのような観察の例を本明細書においてより詳細に記載する。
【0080】
特定の例において、画像処理設備602は、手術器具704または手術器具704の運動学の情報を有さないことがあり、専ら内視鏡像に基づいて、訓練されたニューラルネットワークを使用して(例えば、観察を出力する訓練されたニューラルネットワークに内視鏡像を入力することによって)観察を決定することがある。よって、画像処理設備602は、観察が手術器具または偽陽性指定を表すかどうか、或いはどの特定の手術器具が観察によって表されるかを決定しないことがある。
【0081】
関連付け設備604は、各々の決定された観察を、外科領域における手術器具のうちの1つ以上の手術器具の運動学(例えば、内視鏡702および/または手術器具704のうちの1つ以上の手術器具の運動学)または確率論的フレームワークに基づいて、手術器具704のうちの特定の1つの手術器具または偽陽性指定に関連付けることがある。特定の実装において、これは、関連付け設備604が、画像処理設備602によって決定される観察について、各々の潜在的な関連の確率を決定すること、および最も高い確率を有する潜在的な関連を選択することを含んでよい。
【0082】
一例として、関連付け設備604は、外科領域における1つ以上の手術器具の運動学(例えば、運動学によって示される3D運動学ベースの位置)を考慮する1つ以上の適切な確率アルゴリズムに基づいて、境界ボックス806が手術器具704-1を表す確率、境界ボックス806が手術器具704-2を表す確率、境界ボックス806が手術器具704-3を表す確率、および境界ボックス806が偽陽性を表す確率を決定してよい。次に、関連付け設備604は、最も高い決定された確率を選択し、境界ボックス806を最も高い確率を有する手術器具704または偽陽性指定に関連付けてよい。
図8に図示するシナリオについて、関連付け設備604は、(例えば、境界ボックス806によって表される観察の画像ベースの位置と手術器具704-2および704-3の運動学ベースの位置との間のより遠隔な関係と比較した)、境界ボックス806によって表される観察の画像ベースの位置と(運動学によって示されるような)手術器具704-1の運動学ベースの位置との間の近接した距離関係に少なくとも部分的に基づいて、手術器具704-1との境界ボックス806の関連付けが最も高い確率を有すると決定してよい。
【0083】
図9は、上述の例において、境界ボックス806を手術器具704-1と関連付けるために関連付け設備604によって使用されることがある例示的な確率論的フレームワーク900を図示している。図示された確率論的フレームワーク900において、関連付け設備604は、手術器具704-1との境界ボックス806の潜在的な関連付け902-1についての確率P1、手術器具704-2との境界ボックス806の潜在的な関連付け902-2についての確率P2、手術器具704-3との境界ボックス806の潜在的な関連付け902-3についての確率P3、および偽位置指定904との境界ボックス806の潜在的な関連付け902-1についての確率P4を決定する。
図9において、ボックス906は、それぞれの潜在的な関連についての決定された確率P1、P2、P3、およびP4を含む。関連付け設備604は、P1、P2、P3、およびP4から最も高い確率値を選択し、最も高い確率を有する潜在的な関連付けに従って、特定の手術器具704または偽陽性指定904への境界ボックス806の関連付けを定義してよい。
【0084】
そのような確率論的フレームワークを使用する別の例として、関連付け設備604は、外科領域における1つ以上の手術器具の運動学を考慮する1つ以上の適切な確率アルゴリズムに基づいて、境界ボックス810が手術器具704-1を表す確率、境界ボックス810が手術器具704-2を表す確率、境界ボックス810が手術器具704-3を表す確率、および境界ボックス810が偽陽性を表す確率を決定してよい。次に、関連付け設備604は、最も高い決定された確率を選択し、境界ボックス810を最も高い確率を有する手術器具704または偽陽性に関連付けてよい。
図8に図示するシナリオについて、関連付け設備604は、境界ボックス810によって表される観察の画像ベースの位置と手術器具704の運動学ベースの位置との間の近接した距離関係の欠如に少なくとも部分的に基づいて、偽陽性指定との境界ボックス810の関連付けが最も高い確率を有すると決定してよい。
【0085】
特定の実装において、関連付け設備604は、上述の例におけるように、画像処理設備602によって決定される各観察について個々に、最高確率ベースの関連付けを決定および作製してよい。観察についてのそのような関連付けを行う際に、関連付け設備604は、内視鏡像から決定される他の観察に関係なく、観察の潜在的な関連付けの確率を決定してよい。よって、手術器具または偽陽性指定への観察の関連付けは、内視鏡像から決定される如何なる他の観察の関連付けとも無関係に行われてよい。例えば、境界ボックス806によって表される観察は、境界ボックス810によって表される観察とは無関係に並びに/或いは手術器具または偽陽性指定への境界ボックス810によって表される観察の関連付けとは無関係に、手術器具704または偽陽性指定と関連付けられてよい。
【0086】
他の実装では、観測の最高確率ベースの関連付けを決定するときに、関連付け設備604は、1つ以上の他の観測および/または観察の関連付けを説明する(account for)ことがある。そのような他の観察は、同じ内視鏡像から(例えば、同じ内視鏡画像から)決定される観察、立体視画像のような別の内視鏡画像から決定される観察、および/または以前のビデオフレームのような古い内視鏡像から決定される観察を含んでよい。
【0087】
特定の実装において、関連付け設備604は、内視鏡像から画像処理設備602によって決定される全ての観察を集合的に考慮することによって、最高確率ベースの関連付けを決定および作製するように構成されてよい。例えば、内視鏡像から画像処理設備602によって決定される観察の潜在的な関連付けの確率を決定することの一部として、関連付け装置604は、内視鏡画像から画像処理設備602によって決定される1つ以上の他の観察の潜在的な関連付けの確率を決定および考慮してよい。関連付け設備604は、確率を集合的に考慮して、観測の最も高い確率の関連付けを決定してよい。
【0088】
特定の例において、関連付け設備604は、観察と手術器具または偽陽性との間の関連付けの各々の潜在的なセットについての確率を決定することによって、潜在的な関連付けの確率を集合的に決定してよい。例えば、
図8に図示するシナリオについて、関連付け設備604は、手術器具704または偽陽性への境界ボックス806および810の関連付けの各々の潜在的なセットについての確率を決定し、最も高い確率を有する関連付けのセットを選択してよい。例えば、関連付け設備604は、境界ボックス806が手術器具704-1と関連付けられ且つ境界ボックス810が偽陽性指定と関連付けられる関連付けのセットが、他の関連付けの潜在的なセットよりも(セットとして)高い確率を有することを決定してよい。
【0089】
図10は、上述の例において、境界ボックス806を手術器具704-1と関連付け、境界ボックス810を偽陽性指定と関連付けるために使用されることがある、例示的な確率論的フレームワーク1000を図示している。図示の確率論的フレームワーク1000に基づいて、関連付け設備604は、潜在的な関連付けの第1のセット1002-1についての確率PR1および潜在的な関連付けの第2のセット1002-2についての確率PR2を決定してよい。図示のように、潜在的な関連付けの第1のセット1002-1は、手術器具704-1への境界ボックス806の潜在的な関連付け1004-1および手術器具704-2への境界ボックス810の潜在的な関連付け1004-2を含む。潜在的な関連付けの第1のセット1002-1は、手術器具704-3または偽陽性指定への潜在的な関連を含まない。同様に図示のように、潜在的な関連付けの第2のセット1002-2は、手術器具704-1への境界ボックス806の潜在的な関連付け1006-1および偽陽性指定1008への境界ボックス810の潜在的な関連付け1006-2を含む。潜在的な関連付けの第2のセット1002-2は、手術器具704-2および704-3への潜在的な関連付けを含まない。潜在的な関連付けの第1のセット1002-1および第2のセット1002-2は、境界ボックス806および810と手術器具704-1、704-2および704-3または偽陽性指定との間の潜在的な1対1の関連付けの2つの可能なセットを表す。関連付け設備604は、潜在的な関連付けの第1のセット1002-1および第2のセット1002-2についての確率を含む、潜在的な関連付けの各々の可能なセットについての確率を決定してよい。
【0090】
図10では、例示的な目的のために、ボックス1010は、潜在的な関連付けのそれぞれのセット1002-1および1002-2についての決定された確率PR1およびPR2のみを含む。関連付け設備604は、PR1およびPR2から最も高い確率値(および潜在的な関連付けの任意の他の(複数の)セットについての確率)を選択し、最も高い確率を有する潜在的な関連付けのセットに従って、それぞれの手術器具704または偽陽性指定への境界ボックス806および境界ボックス810の関連付け1008を定義してよい。例えば、関連付け設備604は、1つ以上の手術器具704-1、704-2および704-3の確率論的フレームワークおよび運動学に基づいて最も高い確率を有するものとして潜在的な関連付けの第2のセット1002-2を選択してよく、潜在的な関連付けの第2のセット1002-2に従って境界ボックス806を手術器具704-1に関連付け、境界ボックス810を偽陽性指定1008に関連付けてよい。
【0091】
確率論的フレームワークの上述の例は、例示に過ぎない。関連付け設備604は、任意の適切な確率アルゴリズムおよび/または確率論的フレームワークを実装して、潜在的な関連付けおよび/または潜在的な関連付けのセットの確率を決定してよい。確率アルゴリズムは、確率決定における1つ以上の手術器具の運動学ベースの位置を説明するように構成されてよい。特定の実装において、各々の潜在的な関連付けまたは潜在的な関連付けの各セットの確率は、潜在的な関連付けまたは潜在的な関連付けの各セットが与えられるならば、条件的に独立であることがあり、そのような条件的な独立性のための適切な確率アルゴリズムは、関連付け設備604によって確率論的フレームワークとして使用されてよい。
【0092】
関連付け設備604は、任意の適切な運動学的情報を使用して、手術器具または偽陽性への観察の潜在的な関連付けの確率を決定してよい。特定の実施形態では、例えば、関連付け設備604は、内視鏡702の運動学および/または他の特性(例えば、向き、視野、レンズ特性など)を使用して、潜在的な関連付けの確率を決定してよい。例えば、関連付け設備604は、内視鏡702の運動学ベースの位置および向きならびに手術器具704の運動学ベースの位置および/または向き(例えば、器具シャフト、先端、クレビスなどのような、特定の器具部分の位置および/または向き)を使用して、手術器具704が内視鏡702の視野内にある確率を決定してよく、この確率は、境界ボックス806が手術器具704または偽陽性に対応する確率および/または境界ボックス810が手術器具704または偽陽性に対応する確率を決定するために、関連付け設備604によって使用されてよい。
【0093】
関連付け設備604は、手術器具または偽陽性への観察の潜在的な関連付けの確率を決定するために、手術器具に関する任意の適切な情報を使用するように構成されてよい。例えば、関連付け設備604は、運動学的情報によって示される手術器具のタイプに関する情報、観察によって示される手術器具の観察されたタイプに関する情報、および/または運動学的情報および/または観察によって示される手術器具部品(例えば、手術器具のシャフト、先端、クレビスなど)の位置および/または向きに関する情報を使用してよい。
【0094】
関連付け設備604によって使用される確率論的フレームワークは、ロボット手術システムの現在の状態に基づいて(例えば、手術器具の運動学および/またはロボット手術システムについての任意の他の状態情報に基づいて)、観察が手術器具または偽陽性を表す確率を決定するために、関連付け設備604によって使用される条件付き確率関数を定義する観察モデルを含んでよい。
【0095】
特定の代替的な実装において、関連付け設備604は、確率論的フレームワークを使用せずに、外科領域における手術器具の運動学に基づいて、観察を、手術器具または偽陽性指定に関連付けるように構成されてよい。例えば、関連付け設備604は、観察を、所定の距離閾値内にある最も近位の手術器具に関連付け、或いは手術器具が所定の距離閾値内にないときに偽陽性指定に関連付ける、ように構成されてよい。
【0096】
関連付け設備604は、観察を表すデータを、任意の適切な方法で、例えば、対応する手術器具または偽陽性指定を表すデータに関連付けることによって、関連付けを定義してよく、或いは他の方法で確立してよい。関連付け設備604は、観察と手術器具との間の決定された関連付けを表すデータを出力してよい。幾つかの例において、関連付け設備604は、位置決定設備606が、関連付け設備604が外科領域に配置された手術器具と関連付けられた観察のみにアクセスし、且つそれらのみを使用するように、観察と偽陽性指定との間の決定された関連付けを表すデータを出力することを控えてよい。
【0097】
位置決定設備606は、関連する手術器具の観察および運動学に基づいて、外科領域における手術器具の物理的位置を決定するために、観察および関連する手術器具を表すデータにアクセスし且つそのようなデータを使用するように構成されてよい。例えば、位置決定設備606は、境界ボックス806および手術器具704-1についての運動学に基づいて、外科領域における手術器具704-1の物理的位置を決定してよい。関連付け設備604は、観察と手術器具との間の関連付けを定義しているので、位置決定設備606は、観察との組み合わせにおいて、観察のための適切な対応する手術器具についての運動学を選択および使用して、手術器具の物理的位置を決定してよい。
【0098】
特定の例において、位置決定設備606は、手術器具の運動学および手術器具に関連する1つ以上の観察に基づいて手術器具の物理的位置を決定するために、無香カルマンフィルタ、粒子フィルタ、または他のベイズフィルタのような、非線形推定器を実装してよい。位置決定設備606は、非線形推定器への入力として、手術器具についての運動学および1つ以上の観察を提供することによって、これを行ってよく、非線形推定器は、入力を処理し、手術器具の決定された物理的位置を生成および出力してよい。
【0099】
位置決定設備606によって決定されるような手術器具の物理的位置は、手術器具の任意の適切な部分(例えば、手術器具の遠位クレビスまたは器具先端)を表すことがある。特定の例において、位置決定設備606によって決定されるような手術器具の物理的位置は、ロボット手術システム100のようなロボット手術システムについての世界3D空間内の3D位置を示すことがある。物理的位置は、任意の適切な方法で且つ/或いは任意の適切なデータフォーマットを使用して表されてよい。
【0100】
図11~
図14は、訓練されたニューラルネットワーク、確率論的フレームワーク、およびフィルタを含む、トラッキングシステム600の例示的な実装を図示している。そのような実装において、画像処理設備602は、訓練されたニューラルネットワークを実装してよく、関連付け設備604は、確率論的フレームワークを実装してよく、位置決定設備606は、無香カルマンフィルタまたは他のベイズフィルタであってよいフィルタを実装してよい。
図11~
図14に示す実装は、手術器具の物理的位置を決定するために、様々な形態の内視鏡像および観察を使用するように構成されてよい。従って、
図11~
図14は、トラッキングシステム600(追跡システム)の例示的な実装に関連するデータフローを図示している。
【0101】
図11は、訓練されたニューラルネットワーク1102、確率論的フレームワーク1104、およびフィルタ1106を含む、例示的な実装1100を図示している。図示のように、外科領域の内視鏡像1108は、ニューラルネットワーク1102に入力されてよく、ニューラルネットワーク1102は、内視鏡像1108に基づいて、本明細書に記載する方法のいずれかにおいて観察1110を決定してよい。次に、1つ以上の手術器具の観察1110および運動学1112は、確率論的フレームワーク1104に入力されてよく、確率論的フレームワークは、運動学に基づいて観察1110を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。例えば、関連付け設備604は、運動学1112に基づいて、確率論的フレームワーク1104を使用して、観察1110についての潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択してよい。
【0102】
観察1110が、確率論的フレームワーク1104を使用する特定の手術器具と関連付けられるとき、観察1110および関連する手術器具を表すデータ1114は、フィルタ1106への入力として使用するために出力されてよい。フィルタ1106は、外科領域における手術器具の物理的位置1118を決定して出力するために、関連する手術器具についての運動学1116および手術器具と関連する観察1110を表すデータ1114を受信して使用してよい。
【0103】
図12は、訓練されたニューラルネットワーク1202、確率論的フレームワーク1204、およびフィルタ1206を含む、例示的な実装1200を図示している。図示の例では、内視鏡像が、ニューラルネットワーク1202に入力されることがある(互いに立体視の一対の2D画像であってよい)内視鏡像1208、例えば、左側内視鏡画像1208-Lおよび右側内視鏡画像1208-Rを含んでよい。ニューラルネットワーク1202は、内視鏡画像1208に基づいて、本明細書に記載する任意の方法で観察1210を決定してよい。図示のように、観察1210は、(「観察1212」と総称する)左側観察1212-Lおよび右側観察1212-Rを含んでよい。ニューラルネットワーク1202は、左側内視鏡画像1208-Lに基づいて左側観察1212-Lを決定し、右側内視鏡画像1208-Rに基づいて右側観察1212-Rを決定してよい。ニューラルネットワーク1202は、左側内視鏡画像1208-Lおよび右側内視鏡画像1208-Rを個別に、一度に1つずつ、或いは、並列に処理して、左側観察1212-Lおよび右側観察1212-Rを決定するように構成されてよい。
【0104】
1つ以上の手術器具の観察1212および運動学1214は、確率論的フレームワーク1204に入力されてよく、それは運動学1214に基づいて観察1212の各々を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。例えば、関連付け設備604は、運動学に基づいて、確率論的フレームワーク1204を使用して、観察1212の各々についての潜在的な関連付けの確率を決定し、観測1212の各々について、最も高い確率との潜在的な関連付けを選択してよい。
【0105】
観察1212が、それぞれ、確率論的フレームワーク1204を使用して特定の手術器具に関連付けられるとき、観察1212および関連する手術器具を表すデータ1216が、フィルタ1206への入力としての使用のために出力されてよい。例えば、データ1216は、左側観察および関連する手術器具と、右側観察および関連する手術器具とを表してよく、データ1216は、フィルタ1206への入力としての使用のために出力されてよい。
【0106】
フィルタ1206は、外科領域における手術器具の物理的位置1220を決定して出力するために、関連する手術器具についての運動学および手術器具と関連する観察1212を表すデータを受信して使用してよい。フィルタ1206は、一対の観察1212-Lおよび1212-Rをフィルタ1206への別個の独立した入力モデルとして使用することによることを含む、任意の適切な方法で、関連する手術器具についての観察1212および運動学1218に基づいて、手術器具の物理的位置1220を決定して、関連する手術器具の運動学1218(例えば、運動学ベースの位置)を補正してよい。これは、観察1212-Lおよび1212-Rを立体視画像として使用することと、観察1212-Lおよび1212-Rに対して1つ以上の立体マッチング操作(stereo matching operations)を実行して、観察1212-Lおよび1212-Rに描かれる表面の深さを決定し、観察1212-Lおよび1212-Rによって表されるような手術器具の3D画像ベースの位置(例えば、3D座標または3Dボックス、球体、楕円体などのボリューム)を生成することとを含んでよい。フィルタ1206は、生成された画像ベースの3D画像ベースの位置を使用して、運動学1218によって示される手術器具の運動学ベースの3D位置を補正して、世界3D空間内の物理的位置1220を決定してよい。
【0107】
図示の例において、左側内視鏡画像1208-Lは、左側観察1212-Lを決定するために、ニューラルネットワーク1202によって右側内視鏡画像1208-Rとは独立して処理されてよく、左側観察1212-Rは、手術器具を左側観察1212-Lと関連付けるために、右側観察1212-Rとは独立して処理されよい。同様に、右側内視鏡画像1208-Rは、右側観察1212-Rを決定するために、左側内視鏡画像1208-Rから独立して処理されてよく、右側観察1212-Rは、手術器具を右側観察1212-Rと関連付けるために、左側観察1212-Lから独立して処理されてよい。左側観察1212-Lおよび右側観察1212-Rは、(独立した観測として)フィルタ1206に入力されて、観察1212および運動学1218に基づいて物理的位置1220を決定するためにフィルタ1206によって使用されてよい。
【0108】
2D内視鏡画像のそのような独立した処理は、トラッキングシステム600の特定の動作が、3Dデータの代わりに2Dデータを用いて実行されることを可能にすることによって計算資源を節約して、手術器具の推定される3D物理的位置1220を決定してよい。その上、フィルタ1206は、2つの観察1212のうちの1つが利用可能でないか或いは手術器具を描かないときでさえも、物理的位置1220を決定することができる。例えば、手術器具が左側内視鏡画像1208-L内に表されているが、(例えば、手術器具が組織によって右側カメラビューからブロックされていることの故に)右側内視鏡画像1208-R内に表されていないならば、左右両方の内視鏡画像1208-Lおよび1208-Rは、手術器具または偽陽性と関連付けられて、フィルタ1206に入力される、観察1212-Lおよび1212-Rを決定するために、ニューラルネットワーク1202によって処理されてよい。フィルタ1206は、右側観察1212-Rが手術器具と関連付けられていないとしても、観察1212-Lおよび1212-Rの両方を、手術器具の物理的位置1220を生成するための入力として処理してよい。代替的に、フィルタ1206は、(例えば、手術器具が左側カメラビューの視野内にあるが、組織によって右側カメラビューから遮断されていることの故に)、右側観察1212-Rが関連付け設備604によって手術器具と関連付けられていないときに、左側観察1212-Lのみを入力として使用し、右側観察1212-Rを入力として使用しないでよい。手術器具のフィルタ1206によって決定される物理的位置1220の正確性は、手術器具が内視鏡画像1208の1つのみに一時的に描かれているとしても、少なくとも幾らかの時間に亘って維持されることがある。
【0109】
図12は、1対の立体視画像1208-Lおよび1208-Rがニューラルネットワーク1202に入力され、ニューラルネットワーク1202がそれぞれの立体視画像1208-Lおよび1208-Rに基づいて1対の独立した観察1212-Lおよび1212-Rを決定する、実装1200を図示している。他の実装では、トラッキングシステム600が、他の形態の内視鏡像を処理し、且つ/或いは、他のフォーマットの他の観察を決定し、他のフォーマットの他の観察を使用して、手術器具の物理的位置を決定する、ように構成されてよい。例えば、システム600の他の実装は、組み合わせ内視鏡画像を処理するように構成されてよく、組み合わせ内視鏡画像は、組み合わせ画像にスタックされた(積み重ねられた)一対の立体視内視鏡画像、または組み合わせ画像にスタックされた複数の内視鏡画像のシーケンス(例えば、2つ、3つ、またはそれよりも多くのビデオフレームのシーケンス)のような、集合体内視鏡画像に組み合わされた(例えば、スタックされた)複数の内視鏡画像を含んでよい。追加的または代替的に、システム600の他の実装は、内視鏡像内に描かれる関心物体の3D画像ベースの位置を示す観察を決定するように構成されてよい。
【0110】
図13は、訓練されたニューラルネットワーク1302、確率論的フレームワーク1304、およびフィルタ1306を含む、例示的な実装1300を図示している。図示の例では、内視鏡像が、互いに立体的である左側2D内視鏡画像1308-Lおよび右側2D内視鏡画像1308-Rを含んでよい。画像処理設備602が、内視鏡画像1308-Lおよび1308-Rを組み合わせて、組み合わせ内視鏡画像1308-Cを形成してよい。これは、画像処理設備602が内視鏡画像1308-Lおよび1308-Rをスタックさせて組み合わせ内視鏡画像1308-Cを形成することによるような、任意の適切な方法で実行されてよい。内視鏡画像1308-Lおよび1308-Rが、それぞれ、3チャネルのRGB画像を含むならば、例えば、画像処理設備602は、3チャネルのRGB画像をスタックさせて、6チャネルの組み合わせ画像を形成してよい。
【0111】
画像処理設備602は、組み合わせ内視鏡画像1308-Cをニューラルネットワーク1302に入力してよく、ニューラルネットワーク1302は、組み合わせ内視鏡画像1308-Cに基づいて、本明細書に記載する方法のいずれかで観察1310を決定するように適切に構成されてよい。特定の例において、ニューラルネットワーク1302は、観察1310が、3D空間において、(例えば、関心物体を描く組み合わせ立体視画像を表す組み合わせ内視鏡画像1308-Cから関心物体の表面の深さ値を決定するために立体マッチング操作を実行することによって)組み合わせ内視鏡画像1308-Cで描かれる関心物体の3D画像ベースの位置を示すように、観察1310を決定するように構成されてよい。
【0112】
代替的な実装において、画像処理設備602は、組み合わせ内視鏡画像1308-Cの代わりに内視鏡画像1308-Lおよび1308-Rを受信し、内視鏡画像1308-Lおよび1308-Rに対して立体マッチング操作を実行して、内視鏡画像1308-Lおよび1308-Rから関心物体の表面についての深さ値を決定してよい。決定される深さ値を使用して、ニューラルネットワーク1302は、観察1310が、3D空間において、関心物体の3D画像ベースの位置を示すように、観察1310を決定してよい。
【0113】
次に、1つ以上の手術器具の観察1310および運動学1312は、次に、確率論的フレームワーク1304に入力されてよく、確率論的フレームワーク1304は、運動学に基づいて、例えば、関連付け設備604が、運動学1312に基づいて、確率論的フレームワーク1304を使用して、観察1310についての潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択することによって、観察1310を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。観察1310は、3D空間内の関心物体の3D画像ベースの位置を示すので、関連付け設備604は、3D空間データを使用して特定の操作を実行することがある。例えば、関連付け設備604は、3D空間内の1つ以上の手術器具の1つ以上の3D運動学ベースの位置に対する3D空間内の関心物体の3D画像ベースの位置を分析してよく、3D運動学ベースの位置は、運動学1312によって示される。関連付け設備604は、分析の結果(例えば、決定された距離)を使用して、観察1310についての潜在的な関連付けの確率を決定してよい。
【0114】
観察1310が、確率論的フレームワーク1304を使用して特定の手術器具に関連付けられるときに、観察1310および関連する手術器具を表すデータ1314が、フィルタ1306への入力としての使用のために出力されてよい。フィルタ1306は、関連する手術器具についての運動学1316および手術器具と関連付けられる観察1310を表すデータ1314にアクセスして使用して、外科領域における手術器具の物理的位置1318を決定して出力してよい。観察1310は、3D空間における関心物体の3D画像ベースの位置を示すので、フィルタ1306は、3D空間データを使用して特定の操作を実行してよい。例えば、フィルタ1306は、観察1310によって示されるような関心物体の3D画像ベースの位置で運動学1316によって示されるような手術器具の3D運動学ベースの位置を調整することによって手術器具の物理的位置1318を決定して、ロボット手術システムと関連付けられるグローバル3D空間のような3D空間における手術器具の3D物理的位置を決定してよい。
【0115】
三次元空間内で特定の操作を実行することによって、実装1300は、特に手術器具の深さに関して、手術器具の非常に正確な物理的位置1318を決定することがある。追加的または代替的に、観察1310によって示される3D画像ベースの位置を使用することによって、実装1300は、手術器具の物理的位置1318を決定するために実行される2Dから3D空間への多数の並進を最小限に抑えることがある。
【0116】
図14は、訓練されたニューラルネットワーク1402、確率論的フレームワーク1404、およびフィルタ1406を含む、例示的な実装1400を図示している。図示の例では、内視鏡像が、内視鏡画像1408-T1、1408-T2、および1408-T3のような、経時的に取り込まれる内視鏡画像のシーケンス(例えば、ビデオフレームのシーケンス)を含んでよい。画像処理設備602は、内視鏡画像1408-T1、1408-T2、および1408-T3を組み合わせて、組み合わせ内視鏡画像1408-Cを形成してよい。これは、内視鏡画像1408-T1、1408-T2、および1408-T3をスタックさせて、組み合わせ内視鏡画像1408-Cを形成することによるような、任意の適切な方法で実行されてよい。内視鏡画像1408-T1、1408-T2、および1408-T3が、それぞれ、3チャネルのRGB画像を含むならば、例えば、画像処理設備602は、3チャネルのRGB画像をスタックさせて、9チャネルの組み合わせ画像を形成することがある。
【0117】
画像処理設備602は、組み合わせ内視鏡画像1408-Cをニューラルネットワーク1402に入力してよく、ニューラルネットワーク1402は、組み合わせ内視鏡画像1408-Cに基づいて、本明細書に記載する方法のいずれかで観察1410を決定するように適切に構成されてよい。特定の例において、ニューラルネットワーク1402は、観察1410が組み合わせ内視鏡画像1408-Cに描かれる関心物体の画像ベースの位置を示すように、観察1410を決定するように構成されてよい。ニューラルネットワーク1402は、異なる時間に取り込まれる内視鏡画像のシーケンスを表す組み合わせ内視鏡画像1408-Cから、関心物体の動き(例えば、速度、加速度など)を識別し、識別された動きを使用して関心物体の画像ベースの位置を決定する、ように構成されてよい。幾つかの例において、これは、認識された動きを使用して、関心物体の表面についての深さ点を決定し、関心物体の3D画像ベースの位置を決定することを含んでよく、それは(例えば、手術器具が1つだけのカメラの視野内にあるときに)同じ眺望の利く地点から取り込まれる2D画像のシーケンスから深さを推定するために特に有用なことがある。動きベースの手がかりの使用は、関心物体の画像ベースの位置の正確性に寄与することがある。関心物体の画像ベースの位置は、本明細書に記載するような、2Dまたは3D画像ベースの位置を含んでよい。
【0118】
次に、1つ以上の手術器具の観察1410および運動学1412は、確率論的フレームワーク1404に入力されてよく、
確率論的フレームワーク1404は、運動学に基づいて、例えば、関連付け設備604が、運動学に基づいて、確率論的フレームワーク1404を使用して、観察1410のための潜在的な関連付けの確率を決定し、最も高い確率を有する関連付けを選択することによって、観察1410を特定の手術器具または偽陽性指定に関連付けるために使用されてよい。
【0119】
観察1410が、確率論的フレームワーク1404を使用して特定の手術器具に関連付けられるとき、観察1410および関連する手術器具を表すデータ1414は、フィルタ1406への入力としての使用のために出力されてよい。フィルタ1406は、関連する手術器具についての運動学および手術器具と関連付けられる観察1410を表すデータ1414にアクセスして使用して、外科領域における手術器具の物理的位置1418を決定して出力してよい。
【0120】
図11~
図14は、様々な形態の内視鏡画像を処理し且つ/或いは様々な観察を決定するように構成されるトラッキングシステム600の例示的な実装を図示しているが、例は、例示的である。他の実装は、他の形態の像(例えば、他の形態の内視鏡像および/または非内視鏡像)を処理し且つ/或いは他の適切な観察を決定するように構成されてよい。この目的を達成するために、ニューラルネットワークは、特定の実装に適合するように適切に構成されてよい。
【0121】
本明細書に記載するような手術器具をトラッキングするために手術器具の画像ベースの観察および動力学の組み合わせを使用することによって、特定の技術的な利益が、トラッキングシステム600によって提供されることがある。例えば、手術器具がトラッキングされる精度、正確性、効率、および/または信頼性は、画像ベースのトラッキングのみまたは動力学ベースのトラッキングのみを使用することと比較して改良されることがある。例えば、手術器具の動力学によって示される動力学ベースの位置は、特定のレベルの正確性まで(例えば、約1センチメートル内まで)手術器具の物理的位置を決定するために使用されてよい。本明細書に記載するような観察によって示される画像ベースの位置で手術器具の動力学ベースの位置を補正することによって、手術器具の物理的位置が決定されることがあり、(例えば、約1ミリメートル内まで)改良されたレベルの正確性を有することがある。
【0122】
図15は、手術器具の決定された物理的位置のそのように改良されたレベルの正確性の例を図示している。
図15は、外科領域の内視鏡画像1500を示している。内視鏡画像1500は、外科領域に配置された手術器具1502を描いている。運動学のみに基づいて決定される手術器具1502の物理的位置に関連する正確性のレベルを図示するために、インジケータ1504(例えば、楕円体を図示する楕円)が、内視鏡画像1500上にオーバーレイされ、インジケータ1504によって覆われる大きさ(サイズ)および/または領域(面積)によって、手術器具1502の運動学ベースの位置についての正確性のレベルを示している。運動学および1つ以上の画像ベースの観察の両方に基づいて決定される手術器具1502の物理的位置と関連付けられる改良されたレベルの正確性を図示するために、インジケータ1506(例えば、球体を表す円)が、内視鏡画像1500上にオーバーレイされ、インジケータ1506によって覆われる大きさ(サイズ)および/または領域(面積)によって、本明細書に記載するような運動学および1つ以上の画像ベースの観察の両方に基づいて決定される手術器具1502の物理的位置についての正確性のレベルを示している。
【0123】
特定の実施形態において、トラッキングシステム600は、内視鏡像を選択的に取り込んで使用して、手術器具をトラッキングするように構成されてよい。例えば、トラッキングシステム600は、手術器具についての運動学を使用して、内視鏡像をいつ取り込んで使用して手術器具をトラッキングするかを選択するように構成されてよい。例示のために、トラッキングシステム600は、内視鏡像を選択的に使用して、手術器具についての運動学によって示されるような手術器具の動きに応答して、および/または内視鏡の運動学によって示されるような内視鏡の向き、角度、位置、または他の特性の変化に応答して、手術器具をトラッキングしてよい。従って、トラッキングシステム600は、画像ベースの観察を伴わない運動学のみを使用する手術器具のトラッキングと、本明細書に記載するような運動学および画像ベースの観察を使用する手術器具のトラッキングとの間で切り替わるように構成されてよい。そのような実装は、トラッキングシステム600および/またはロボット手術システムの資源(例えば、計算資源、エネルギなど)を節約することがある。
【0124】
本明細書に記載するような手術器具のトラッキングは、ロボット手術システムの1つ以上の利益を提供することがある。例えば、本明細書に記載するような手術器具のトラッキングは、ロボット手術システムの1つ以上の構成を容易にすることがある。特定の実装では、本明細書に記載されるように決定される手術器具の物理的位置の正確性のレベルが、高レベルの正確性を必要とするロボット手術システムの特定の構成を容易にすることがある。
【0125】
一例として、本明細書に記載するような手術器具のトラッキングは、
手術器具の物理的位置に対する或いは手術器具によって触れられた特定の組織の物理的位置に対して特定のユーザインタフェースコンテンツ(例えば、グラフィックス、アイコン、インジケータなど)をディスプレイスクリーン上に配置するために、ロボット手術システムによって使用されてよい。例示のために、ロボット手術システムは、外科医または他の外科チーム構成員の眺望(ビュー)から手術器具を不明瞭にすることなく、手術器具の先端に近接してユーザインタフェースコンテンツを位置付ける方法において、ディスプレイスクリーン上で、ユーザインタフェースコンテンツを手術器具の視覚的表現と並置することがある。例えば、インジケータは、外科医が手術器具のすぐ近傍から目を離すことを要求することなく、インジケータを外科医に容易に見えるようにする方法で、外科医に手術モード(例えば、焼灼術のための高エネルギモード)を示すように配置されてよく、或いは、インジケータは、どの組織がプローブによって既に分析されたかを外科医が見るのを助けるために、プローブによって既に触れられた特定の組織を示すように配置されてよい。外科チームに、よって、患者に利益を提供することがある、ユーザインタフェースコンテンツのそのような厳密な配置は、本明細書に記載するような手術器具の物理的位置の正確な決定によって容易にされることがある。
【0126】
他の例として、本明細書に記載するような手術器具のトラッキングは、手術器具および/またはロボットアームの衝突を警告または防止し、(例えば、組織の表面点に体系的に触れるように癌プローブのようなプローブの動きを自動化すること、手術ツールの動きに基づいて内視鏡の動きを自動化することなどによって)ロボット手術システムが手術器具の特定の動きを制御することがあるように、手術器具の動きを自動化し、(例えば、外科処置の規定されたセグメントが実行されているときを認識することによって)手術セッション中に実行されている特定のタスクを認識し、長い運動連鎖および/または手術器具の可撓性シャフト(例えば、シングルポートエントリシステムで使用される可撓性シャフト)の撓みによって導入される不正確性のような、手術器具の運動学の不正確性を補正し、且つ(例えば、手術器具を内視鏡の視野内に移動させること、およびシーンの1つ以上の画像から抽出される情報を用いて手術器具を較正することによって)手術器具および/またはロボットアームを較正するために、ロボット手術システムによって使用されてよく、それは従来的な較正技術と比較して較正のためのワークフローが改良することがある。これらの例は、例示に過ぎない。本明細書に記載するような手術器具のトラッキングは、任意の他の適切な方法でロボット手術システムによって使用されてよい。
【0127】
特定の例において、内視鏡像は、カメラ(例えば、内視鏡のカメラ)と別個の患者側システム(例えば、別個の患者側カート)に取り付けられるロボットアームとの間のカメラ-アーム位置合わせ(レジストレーション)のために(例えば、トラッキングシステム600によって)使用されてよい。内視鏡よび手術器具が同じ患者側カートのロボットアームに取り付けられる上述のような実装では、内視鏡と手術器具とを接続する運動連鎖が知られており、知られている運動連鎖に基づく内視鏡および手術器具の運動学は、本明細書に記載するように器具の位置をトラッキングするためにトラッキングシステム600によってアクセスされて使用されてよい。しかしながら、内視鏡および手術器具が別個の接続されていない患者側カートのロボットアームに取り付けられる他の実装では、内視鏡と手術器具とを接続する完全な運動連鎖は知られていない。何故ならば、患者側カート間の運動連鎖のリンクが知られていないからである。すなわち、患者側カート間の物理的関係は知られておらず、従って、トラッキングシステム600によってアクセス可能でない。別個の患者側カートを有するそのような実装において、トラッキングシステム600は、内視鏡によって取り込まれる内視鏡像を使用して、1つの患者側カートに取り付けられる手術器具を別の患者側カートに取り付けられる内視鏡と位置合わせする(レジストレーションする)位置合わせプロセス(レジストレーションプロセス)を実行するように構成されてよい。トラッキングシステム600は、位置合わせプロセスを(例えば、較正、セットアップ手順、または他の初期位置合わせの一部として)一度および/または(例えば、様々な運動学的誤差を有することがある物理的位置の変化を考慮するために)初期位置合わせを精緻化するために且つ/或いは患者側カート位置の物理的調整(例えば、患者側カートの術中調整)を考慮するために初期位置合わせ後に定期的または継続的に実行するように構成されてよい。
【0128】
位置合わせプロセスを実行するために、トラッキングシステム600は、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、手術器具の場所(例えば、左右の内視鏡画像における手術器具シャフトの場所)を決定してよい。特定の例において、これは、訓練されたニューラルネットワークを使用して内視鏡像に描かれる関心物体の観察を決定すること、任意の適切な方法(例えば、物体認識)において関心物体についての観察を手術器具に関連付けること、および手術器具の場所(例えば、画像ベースの位置)を決定することを含むことがある。
【0129】
次に、トラッキングシステム600は、手術器具のモデル(例えば、手術器具のシャフトのモデル)を手術器具の決定された場所(例えば、左右の内視鏡画像中の手術器具シャフトの場所)に適合させるために、制約付き最適化(constrained optimization)を実行してよい。トラッキングシステム600は、患者側カートが配置される床の平面上の回転および並進である解決策のみを探索するための最適化を制約するように構成されてよい。この制約付き最適化は、全ての6自由度で実行される伝統的な最適化よりも速いおよび/または正確なの結果をもたらすことがある。
【0130】
トラッキングシステム600は、一度に1つの手術器具について、或いは複数の器具について同時に、位置合わせプロセスを実行してよい。単一の手術器具が単一の患者側カートに取り付けられ、且つ/或いは単独で装着または位置合わせされるならば、手術器具への観察の関連付けは、単純であることがある。2つ以上の手術器具が、それぞれ、別個の患者側カートに搭載され、且つ/或いは同時に装着または登録されるならば、トラッキングシステム600は、内視鏡像から決定される観察を、本明細書に記載するような確率論的フレームワークの使用することによることを含む任意の適切な方法で、手術器具に関連付けるように構成されてよい。
【0131】
位置合わせプロセスは、別個の患者側カートに取り付けられる内視鏡と手術器具とを接続する運動連鎖における欠落リンクを決定するために、トラッキングシステム600によって使用されてよい。トラッキングシステム600は、患者側カート間の推定される物理的関係を定義する変換として欠落リンクを表してよい。変換は、1つの患者側カートの基準フレームから別の患者側カートの基準フレームにデータ点を変換するよう(例えば、1つの患者側カートの座標系から別の患者側カートの座標系に座標点を変換するよう)適用されてよい回転および並進を定義してよい。
【0132】
トラッキングシステム600は、完全な運動連鎖が知られており、トラッキングシステム600にアクセス可能であるように、別個の患者側カートに取り付けられる手術器具と内視鏡とを接続する運動連鎖を完成するために、欠落リンクを使用してよい。次に、トラッキングシステム600は、内視鏡および/または手術器具の運動学を使用して、本明細書に記載するように手術器具の位置をトラッキングしてよい。例えば、トラッキングシステム600は、本明細書に記載するように内視鏡像を使用して、手術器具の運動学的位置を補正してよい。
【0133】
特定の例において、本明細書に記載するようなニューラルネットワークの使用は、従来的なコンピュータビジョン技術を超える1つ以上の利点を提供することがある。例えば、本明細書に記載するように、内視鏡像に描かれる関心物体についての観察を決定するためのニューラルネットワークの使用は、従来的なコンピュータビジョン技術(例えば、像から特定の特徴を抽出するアルゴリズムが手作業で工作される従来的な純粋なビジョンアプローチ)よりも有意に速いおよび/または正確であることがある。手術器具の遠位クレビスについての観察を決定するためのニューラルネットワークの特定の実装は、従来的なマーカベースのコンピュータビジョン技術の約10倍速い(例えば、1Hzと比較して10Hzの速さである)ことが見出されている。
【0134】
ニューラルネットワークは、本明細書で使用されるとき、入力層、任意の適切な数の隠れ層(hidden layers)、および出力層を含んでよい。ニューラルネットワーク内に複数の隠れ層が含まれる例示的な実装において、複数の隠れ層は、任意の適切な方法で層状にされてよい。複数の隠れ層を含むニューラルネットワークは、「深層ニューラルネットワーク(deep neural network」と呼ばれることがある。
【0135】
ニューラルネットワークを含むおよび/または使用する例示的な実装が本明細書に記載されるが、代替的な実装は、物体検出および/または分類のために内視鏡像から特定の特徴を抽出する方法を学習するように構成された他の適切な機械学習モデルを使用してよい。
【0136】
図16は、ロボット操作手術器具の位置をトラッキングする例示的な方法1600を図示している。
図16は、1つの実施形態に従った例示的な操作(動作)を図示しているが、他の実施形態は、
図16に示す操作のいずれかを省略、追加、順序変更、および/または修正してよい。
図16に示す操作(動作)の1つ以上は、システム600のようなトラッキングシステム、その中に含まれる任意のコンポーネント(構成要素)、および/またはそれらの任意の実装によって実行されてよい。
【0137】
操作1602では、トラッキングシステムが、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定してよい。操作1602は、本明細書に記載する任意の方法で実行されてよい。
【0138】
操作1604において、トラッキングシステムは、確率論的フレームワークおよび外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察をロボット操作手術器具に関連付けてよい。操作1604は、本明細書に記載する任意の方法で実行されてよい。
【0139】
操作1606において、トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定してよい。動作1606は、本明細書に記載する方法のうちのいずれかで実行されてよい。
【0140】
図17は、ロボット操作手術器具の位置をトラッキングする別の例示的な方法1700を図示している。
図17は、1つの実施形態に従った例示的な動作を図示するが、他の実施形態は、
図17に示す動作のうちのいずれかを省略、追加、順序変更、および/または修正してよい。
図17に示す動作のうちの1つ以上は、システム600のようなトラッキングシステム、その中に含まれる任意のコンポーネント、および/またはそれらの任意の実装によって実行されてよい。
【0141】
動作1702では、トラッキングシステムが、外科領域の内視鏡像に基づいて、訓練されたニューラルネットワークを使用して、内視鏡像に描かれる関心物体についての観察を決定してよい。動作1702は、本明細書に記載する方法のうちのいずれかにおいて実行されてよい。
【0142】
操作1704において、トラッキングシステムは、外科領域に位置するロボット操作手術器具の運動学に基づいて、関心物体についての観察を、ロボット操作手術器具または偽陽性指定に関連付けてよい。操作1704は、本明細書に記載する方法のうちのいずれかで実行されてよい。
【0143】
操作1706では、関心物体についての観察が操作1704におけるロボット操作手術器具と関連付けられるときに、トラッキングシステムは、ロボット操作手術器具の運動学およびロボット操作手術器具と関連付けられる観察に基づいて、外科領域におけるロボット操作手術器具の物理的位置を決定してよい。操作1706は、本明細書に記載する方法のうちのいずれかで実行されてよい。
【0144】
操作1708では、関心物体についての観察が手術1704における偽陽性指定と関連付けられるときに、トラッキングシステムは、観察を使用して外科領域におけるロボット操作手術器具の物理的位置を決定することを控えてよい。操作1706は、本明細書に記載する方法のうちのいずれかで実行されてよい。
【0145】
特定の実施形態において、本明細書に記載するシステム、コンポーネント、および/またはプロセスのうちの1つ以上は、1つ以上の適切に構成されたコンピューティングデバイスによって実装および/または実行されてよい。この目的を達成するために、上述のシステムおよび/またはコンポーネントのうちの1つ以上は、本明細書に記載するプロセスのうちの1つ以上を実行するように構成された少なくとも1つの非一時的なコンピュータ可読媒体に具現された任意のコンピュータハードウェアおよび/またはコンピュータ実装命令(例えば、ソフトウェア)を含んでよく、或いはそれらによって実装されてよい。特に、システムコンポーネントは、1つの物理的コンピューティングデバイスに実装されてよく、或いは1つよりも多くの物理的コンピューティングデバイスに実装されてよい。従って、システムコンポーネントは、任意の数のコンピューティングデバイスを含んでよく、多数のコンピュータオペレーティングシステムのうちのいずれかを使用してよい。
【0146】
特定の実施形態において、本明細書に記載するプロセスのうちの1つ以上は、少なくとも部分的に、非一時的なコンピュータ可読媒体に具現され且つ1つ以上のコンピューティングデバイスによって実行可能な命令として実装されてよい。一般的に、プロセッサ(例えば、マイクロプロセッサ)は、非一時的なコンピュータ可読媒体(例えば、メモリなど)から命令を受信し、それらの命令を実行し、それによって、本明細書に記載するプロセスのうちの1つ以上を含む1つ以上のプロセスを実行する。そのような命令は、様々な既知のコンピュータ可読媒体のいずれかを用いて格納および/または送信されてよい。
【0147】
(プロセッサ可読媒体とも称される)コンピュータ可読媒体は、コンピュータによって(例えば、コンピュータのプロセッサによって)読み取られることがあるデータ(例えば、命令)を提供することに関与する任意の非一時的な媒体を含む。そのような媒体は、非限定的に、不揮発性媒体および/または揮発性媒体を含む、多くの形態を取ってよい。不揮発性媒体は、例えば、光学または磁気ディスクおよび他の持続性メモリを含んでよい。揮発性媒体は、例えば、典型的には、メインメモリを構成する、ダイナミックランダムアクセスメモリ(「DRAM」)を含んでよい。コンピュータ可読媒体の一般的な形態は、例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクトディスク読取専用メモリ(「CD-ROM」)、デジタルビデオディスク(「DVD」)、任意の他の光学媒体、ランダムアクセスメモリ(「RAM」)、プログラマブル読取専用メモリ(「PROM」)、電気的に消去可能なプログラマブル読取専用メモリ(「EPROM」)、FLASH-EEPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。
【0148】
図18は、本明細書に記載するプロセスのうちの1つ以上を実行するために特に構成されてよい例示的なコンピューティングデバイス1800を図示している。
図18に示すように、コンピューティングデバイス1800は、通信インタフェース1802と、プロセッサ1804と、格納デバイス1806と、通信インフラストラクチャ1810を介して通信的に接続される入出力(「I/O」)モジュール1808とを含んでよい。例示的なコンピューティングデバイス1800が
図18に示されているが、
図18に図示するコンポーネントは、限定的であることを意図しない。他の実施形態では、追加的なまたは代替的なコンポーネントが使用されてよい。次に、追加的な詳細において、
図18に示すコンピューティングデバイス1800のコンポーネントを記載する。
【0149】
通信インタフェース1802は、1つ以上のコンピューティングデバイスと通信するように構成されてよい。通信インタフェース1802の例は、(ネットワークインタフェースカードのような)有線ネットワークインタフェース、(無線ネットワークインタフェースカードのような)無線ネットワークインタフェース、モデム、オーディオ/ビデオ接続、および任意の他の適切なインタフェースを含むが、これらに限定されない。
【0150】
プロセッサ1804は、一般的に、データを処理することができる、或いは、本明細書に記載する命令、プロセス、および/または操作のうちの1つ以上の実行を解釈、実行、および/または指示することができる、任意のタイプまたは形態の処理ユニットを表す。プロセッサ1804は、1つ以上のアプリケーション1812または格納デバイス1806もしくは他のコンピュータ可読媒体に記格納されることがあるような他のコンピュータ実行可能命令に従って動作の実行を指示してよい。
【0151】
格納デバイス1806は、1つ以上のデータ記憶媒体、デバイス、または構成を含んでよく、任意のタイプ、形態および組み合わせのデータ格納媒体および/またはデバイスを利用してよい。例えば、格納デバイス1806は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、RAM、ダイナミックRAM、他の不揮発性および/または揮発性データ格納ユニット、またはそれらの組み合わせもしくはサブコンビネーションを含んでよいが、これらに限定されない。本明細書に記載するデータを含む電子データは、格納デバイス1806に一時的におよび/または持続的に格納されてよい。例えば、本明細書に記載する動作のうちのいずれかを実行するようにプロセッサ1804に指示するように構成される1つ以上の実行可能なアプリケーション1812を表すデータが、格納デバイス1806に格納されてよい。幾つかの例において、データは、格納デバイス1806内に存在する1つ以上のデータベースに配置されてよい。
【0152】
I/Oモジュール1808は、ユーザ入力を受信して、ユーザ出力を提供するように構成された、1つ以上のI/Oモジュールを含んでよい。1つ以上のI/Oモジュールは、単一の仮想現実体験のための入力を受信するために使用されてよい。I/Oモジュール1808は、入力能力および出力能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせを含んでよい。例えば、I/Oモジュール1808は、キーボードまたはキーパッド、タッチスクリーンコンポーネント(例えば、タッチスクリーンディスプレイ)、受信器(例えば、RFまたは赤外線受信器)、運動センサ、および/または1つ以上の入力ボタンを含むが、これらに限定されない、ユーザ入力を取り込むためのハードウェアおよび/またはソフトウェアを含んでよい。
【0153】
I/Oモジュール1808は、グラフィックスエンジン、ディスプレイ(例えば、ディスプレイスクリーン)、1つ以上の出力ドライバ(例えば、ディスプレイドライバ)、1つ以上のオーディオスピーカ、および1つ以上のオーディオドライバを含むが、これらに限定されない、出力をユーザに提示するための1つ以上のデバイスを含んでよい。特定の実施形態において、I/Oモジュール1808は、ユーザへの提示のために、ディスプレイにグラフィカルデータを提供するように構成される。グラフィカルデータは、1つ以上のグラフィカルユーザインタフェースおよび/または特定の実装に役立つことがあるような任意の他のグラフィカルコンテンツを表してよい。
【0154】
幾つかの例において、本明細書に記載する設備のうちのいずれかは、コンピューティングデバイス1800の1つ以上のコンポーネントによって或いはそれらの中で実装されてよい。例えば、格納デバイス1806内に存在する1つ以上のアプリケーション1812は、システム600の設備602乃至606と関連付けられる1つ以上のプロセスまたは機能を実行するようにプロセッサ1804に指示するように構成されてよい。同様に、システム600の格納デバイス608は、格納デバイス1806またはそのコンポーネントによって実装されてよい。
【0155】
先行する記述では、添付の図面を参照して様々な例示的な実施形態を記載した。しかしながら、後続の特許請求の範囲に示す本発明の範囲から逸脱することなく、様々な修正および変更がそれらに対して行われてよく、追加的な実施形態が実装されてよいことが明らかであろう。例えば、本明細書に記載する1つの実施形態の特定の構成は、本明細書に記載する別の実施形態の構成と組み合わされてよく、或いは置換されてよい。従って、本記述および図面は、限定的な意味ではなく例示的な意味で考えられるべきである。
【外国語明細書】