知財求人 - 知財ポータルサイト「IP Force」
特開2024-153875マッピング及びナビゲーションのための方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024153875
(43)【公開日】2024-10-29
(54)【発明の名称】マッピング及びナビゲーションのための方法及びシステム
(51)【国際特許分類】
A61B 34/20 20160101AFI20241022BHJP
【ＦＩ】
A61B34/20
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024127735
(22)【出願日】2024-08-02
(62)【分割の表示】P 2020545554の分割
【原出願日】2019-02-28
(31)【優先権主張番号】62/637,048
(32)【優先日】2018-03-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ス・ジェイソン・ジョセフ
(72)【発明者】
【氏名】スラメック・クリストファー・ケイ
(72)【発明者】
【氏名】シーヒー・アレクサンダー・ジェイムズ
(57)【要約】 （修正有）
【課題】ロボット制御可能な医療器具を用いた身体の内部領域のマッピング及び／又はナビゲーションのためのシステム及び技術を提供する。
【解決手段】器具は、器具が内部領域内をナビゲートするときに位置情報を提供する位置センサを含み得る。位置情報から導出された視覚的しるしは、内部領域の基準画像上に重ね合わされ得る。視覚的しるしは、器具の履歴位置を特徴付け得る。器具は、撮像デバイスを含み得る。撮像デバイスでキャプチャされた内部領域の画像は、画像がキャプチャされた内部領域内の位置にリンクされ得る。
【選択図】図１
【解決手段】器具は、器具が内部領域内をナビゲートするときに位置情報を提供する位置センサを含み得る。位置情報から導出された視覚的しるしは、内部領域の基準画像上に重ね合わされ得る。視覚的しるしは、器具の履歴位置を特徴付け得る。器具は、撮像デバイスを含み得る。撮像デバイスでキャプチャされた内部領域の画像は、画像がキャプチャされた内部領域内の位置にリンクされ得る。
【選択図】図１
【特許請求の範囲】
【請求項1】
命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は、複数の位置データセットを含み、それぞれの位置データセットは、前記器具の位置を示す、ことと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせる、非一時的コンピュータ可読記憶媒体。
器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は、複数の位置データセットを含み、それぞれの位置データセットは、前記器具の位置を示す、ことと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権）
本出願は、参照により本明細書に組み込まれる米国特許仮出願第６２／６３７，０４８号（２０１８年３月１日出願）の優先権を主張するものである。
本出願は、参照により本明細書に組み込まれる米国特許仮出願第６２／６３７，０４８号（２０１８年３月１日出願）の優先権を主張するものである。
【0002】
（発明の分野）
本開示は、概して、身体の内部領域のマッピング及び／又はナビゲーションに関し、より具体的には、ロボット制御可能な医療器具を用いた身体の内部領域のマッピング及び／又はナビゲーションのための方法及びシステムに関する。
本開示は、概して、身体の内部領域のマッピング及び／又はナビゲーションに関し、より具体的には、ロボット制御可能な医療器具を用いた身体の内部領域のマッピング及び／又はナビゲーションのための方法及びシステムに関する。
【背景技術】
【0003】
内視鏡検査（例えば、尿管鏡検査）などの医療処置は、診断及び／又は治療目的で患者の身体の内部領域（例えば、腎臓）にアクセスし、可視化することを伴う場合がある。
【0004】
尿管鏡検査は、腎石の治療に一般的に使用される医療処置である。処置中、尿管鏡として知られる薄い可撓性の管状ツール又は器具が、尿道に、膀胱及び尿管を介して、かつ腎臓内に挿入され得る。
【0005】
特定の処置では、ロボット制御可能な医療システムを使用して、器具の挿入及び／又は操作を制御することができる。ロボット制御可能な医療システムは、処置中の器具の位置決めを制御するために使用されるマニピュレータアセンブリを有する、ロボットアーム又は他の器具位置決めデバイスを含み得る。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示の実施形態は、ロボット制御可能な医療用器具を用いて身体の内部領域をマッピング及び／又はナビゲーションするためのシステム及び技術に関する。本システム及び技術は、器具が内部領域内をナビゲートされる際の器具の履歴（例えば、以前の）位置を示す視覚的しるしを生成するように構成され得る。視覚的しるしは、位置センサから受信した位置情報から導出され得る。視覚的しるしは、内部領域の基準画像上に重ね合わされ得る。視覚的しるしは、器具の以前の位置を表し得るマップを形成し得る。マップは、内部領域の解剖学的構造を視覚化するために使用され得、また医師により、内部領域をナビゲートするために使用され得る。いくつかの実施態様では、視覚的しるしは、内部領域をナビゲートするときの器具の経路を示す点又はトレースを含む。いくつかの実施態様では、視覚的しるしは、内部領域の解剖学的構造を表すメッシュ構造を含み得る。
【0007】
本方法及び技術はまた、器具上に位置付けられた画像センサから画像データを受信するように構成され得る。画像データは、静止画像又はビデオを含み得る。本方法及び技術は、特定の位置でキャプチャされた画像を再生し、ユーザに表示することができるように、画像データを位置データとリンクさせ得る。いくつかの実施態様では、画像は、ユーザが内部領域内の位置を選択するときに、又は器具が、リンクされた画像が存在する位置に位置付けられたときに再生され、表示される。更に、本方法及び技術は、医師が対象となる特定の特徴又は場所にタグ付けすることを可能にするように構成され得る。
【0008】
したがって、一態様は、身体の内部領域をマッピングするための方法に関する。本方法は、身体の内部領域の基準画像を表示することと、身体の内部領域内で器具を移動させることであって、器具は少なくとも１つの位置センサを含む、ことと、少なくとも１つの位置センサから位置情報を受信することであって、位置情報は複数の位置データセットを含み、それぞれの位置データセットは、器具の移動中に器具の位置を示す、ことと、位置データセットの少なくともサブセットから導出される視覚的しるしを基準画像上に重ね合わせて、身体の内部領域内での移動中に器具の履歴位置を特徴付けることと、を含む。
【0009】
いくつかの実施形態では、本方法は、以下の特徴のうちの１つ以上を任意の組み合わせで含み得る。（ａ）基準画像は、逆行性腎盂像処置中にキャプチャされた画像を含む、（ｂ）基準画像は、Ｘ線透視画像若しくは超音波画像を含む、（ｃ）基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、（ｄ）基準画像を手術中にキャプチャする、（ｅ）基準画像は手術前にキャプチャされる、（ｆ）器具上に位置付けられた撮像デバイスから器具画像データを受信し（器具画像データは、器具の移動中に撮像デバイスによってキャプチャされた複数の画像を含む）、複数の画像の少なくともサブセットについて、サブセットのそれぞれの画像を、画像がキャプチャされた位置を示す位置データセットとリンクさせる、（ｇ）将来の処置中に使用するために、リンクされた画像を記憶することを含む、（ｈ）位置選択のユーザ入力を受信し、ユーザ入力に対応する、リンクされた画像を表示する、（ｉ）位置センサを用いて、器具の現在の位置を決定し、決定された現在の位置に対応する、リンクされた画像を表示する、（ｊ）器具画像データは、自動的にキャプチャされる、（ｋ）器具画像データは、ユーザコマンドの受信時にキャプチャされる、（ｌ）内部領域内の対象の場所若しくは特徴にタグ付けする、（ｍ）タグ付けすることが、ユーザ入力を受信することを含む、（ｎ）タグ付けすることが、対象の場所若しくは特徴を自動的に検出することを含む、（ｏ）タグ付けされた対象の場所若しくは特徴を基準画像上に重ね合わせる、（ｐ）視覚的しるしを繋げて、器具の移動の履歴経路を特徴付ける、（ｑ）視覚的しるしはメッシュを含む、（ｒ）メッシュは、内部領域の解剖学的構造を示す、（ｓ）メッシュは、位置データセットのサブセット及び器具上の撮像デバイスから受信した画像データから導出される、（ｔ）位置データセットのサブセットは、持続時間的頻度で基準画像上に重ね合わされる、（ｕ）位置データセットのサブセットは、位置的頻度で基準画像上に重ね合わされる、（ｖ）視覚的しるしを手術中に表示する、（ｗ）将来の医療処置中に使用するために視覚的しるしを記憶する、（ｘ）身体の内部領域は腎臓を含み、方法は、器具を腎杯内に移動させることと、腎杯への入口、腎臓の極、腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に含む、並びに／又は（ｙ）生理的動態を考慮するために位置センサによって決定された位置を調整し、調整された位置を基準画像上に重ね合わせる。
【0010】
別の態様では、命令を記憶している非一時的コンピュータ可読記憶媒体が開示される。命令は、実行されると、デバイスのプロセッサに、少なくとも、身体の内部領域内で器具を移動させることと、器具の移動中に器具の少なくとも１つの位置センサから位置情報を受信することであって、位置情報は複数の位置データセットを含み、それぞれの位置データセットは器具の位置を示す、ことと、身体の内部領域の画像を表示することと、位置データセットの少なくともサブセットから導出された視覚的しるしを画像上に重ね合わせて、身体の内部領域内での器具の移動中の器具の履歴位置を特徴付けることと、を行わせ得る。
【0011】
いくつかの実施形態では、非一時的コンピュータ可読記憶媒体は、以下の特徴のうちの１つ以上を任意の組み合わせで含み得る。（ａ）基準画像は、逆行性腎盂像処置中にキャプチャされた画像を含む、（ｂ）基準画像は、Ｘ線透視画像若しくは超音波画像を含む、（ｃ）基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、（ｄ）命令は、実行されると、プロセッサに、基準画像を手術中にキャプチャすることを更に行わせる、（ｅ）基準画像は手術前にキャプチャされる、（ｆ）命令は、実行されると、プロセッサに、器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、器具画像データは、器具の移動中に撮像デバイスによってキャプチャされた複数の画像を含む、ことと、複数の画像の少なくともサブセットについて、サブセットのそれぞれの画像を、画像がキャプチャされた位置を示す位置データセットとリンクさせることと、を更に行わせる、（ｇ）命令は、実行されると、プロセッサに、将来の処置中に使用するために、リンクされた画像を記憶することを更に行わせる、（ｈ）命令は、実行されると、プロセッサに、位置選択のユーザ入力を受信することと、ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、（ｉ）命令は、実行されると、プロセッサに、位置センサを用いて器具の現在の位置を決定することと、決定された現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、（ｊ）器具画像データは、自動的にキャプチャされる、（ｋ）器具画像データは、ユーザコマンドの受信時にキャプチャされる、（ｌ）命令は、実行されると、プロセッサに、内部領域内の対象の場所若しくは特徴にタグ付けすることを更に行わせる、（ｍ）タグ付けすることが、ユーザ入力を受信することを含む、（ｎ）タグ付けすることが、対象の場所若しくは特徴を自動的に検出することを含む、（ｏ）命令は、実行されると、プロセッサに、タグ付けされた対象の場所若しくは特徴を基準画像上に重ね合わせることを更に行わせる、（ｐ）命令は、実行されると、プロセッサに、視覚的しるしを繋げて器具の移動の履歴経路を特徴付けることを更に行わせる、（ｑ）視覚的しるしはメッシュを含む、（ｒ）メッシュは、内部領域の解剖学的構造を示す、（ｓ）メッシュは、位置データセットのサブセット及び器具上の撮像デバイスから受信した画像データから導出される、（ｔ）位置データセットのサブセットは、持続時間的頻度で基準画像上に重ね合わされる、（ｕ）位置データセットのサブセットは、位置的頻度で基準画像上に重ね合わされる、（ｖ）命令は、実行されると、プロセッサに、視覚的しるしを手術中に表示することを更に行わせる、（ｗ）命令は、実行されると、プロセッサに、将来の医療処置中に使用するために視覚的しるしを記憶することを更に行わせる、（ｘ）身体の内部領域が腎臓を含み、命令は、実行されると、プロセッサに、器具を腎杯内に移動させることと、腎杯への入口、腎臓の極、腎臓内の結石、及び／若しくは移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、並びに／又は（ｙ）命令は、実行されると、プロセッサに、生理的動態を考慮するために位置センサによって決定された位置を調整させ、調整された位置を基準画像上に重ね合わせることを更に行わせる。
【0012】
別の態様では、ロボット外科用システムが開示される。ロボット外科用システムは、細長い本体と、細長い本体上に配置された少なくとも１つの位置センサと、を有する器具と、実行可能命令が記憶されている少なくとも１つのコンピュータ可読メモリと、少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサであって、命令を実行してシステムに、少なくとも、器具を身体の内部領域内で移動させることと、器具の移動中に少なくとも１つの位置センサから位置情報を受信することと、身体の内部領域の画像を表示することと、位置データセットの少なくともサブセットから導出された視覚的しるしを画像上に重ね合わせて、身体の内部領域内での器具の移動中の器具の履歴位置を特徴付けることと、を行わせるように構成されている、１つ以上のプロセッサと、を含み得る。
【0013】
いくつかの実施形態では、システムは、以下の特徴のうちの１つ以上を任意の組み合わせで含み得る。（ａ）位置センサは電磁石センサを含む、（ｂ）位置センサは形状検知ファイバを含む、（ｃ）位置センサは、細長い本体の遠位端上に位置付けられる、（ｄ）器具は内視鏡を含む、（ｅ）器具は尿管鏡を含む、（ｆ）細長い本体は、器具の姿勢を制御するように関節運動可能である、（ｇ）器具に接続された器具位置決めデバイスであって、器具位置決めデバイスは、器具を操作するように構成されている、（ｈ）器具位置決めデバイスはロボットアームを含む、（ｉ）基準画像は、逆行性腎盂像処置中にキャプチャされた画像を含む、（ｊ）基準画像は、Ｘ線透視画像又は超音波画像を含む、（ｋ）基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、（ｌ）命令は、実行されると、１つ以上のプロセッサに、基準画像を手術中にキャプチャすることを更に行わせる、（ｍ）基準画像は手術前にキャプチャされる、（ｎ）命令は、実行されると、１つ以上のプロセッサに、器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、器具画像データは、器具の移動中に撮像デバイスによってキャプチャされた複数の画像を含む、ことと、複数の画像の少なくともサブセットについて、サブセットのそれぞれの画像を、画像がキャプチャされた位置を示す位置データセットとリンクさせることと、を更に行わせる、（ｏ）命令は、実行されると、１つ以上のプロセッサに、将来の処置中に使用するために、リンクされた画像を記憶することを更に行わせる、（ｐ）命令は、実行されると、プロセッサに、位置選択のユーザ入力を受信することと、ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、（ｑ）命令は、実行されると、１つ以上のプロセッサに、位置センサを用いて、器具の現在の位置を決定することと、決定された現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、（ｒ）器具画像データは、自動的にキャプチャされる、（ｓ）器具画像データは、ユーザコマンドの受信時にキャプチャされる、（ｔ）命令は、実行されると、１つ以上のプロセッサに、内部領域内の対象の場所若しくは特徴にタグ付けすることを更に行わせる、（ｕ）タグ付けすることが、ユーザ入力を受信することを含む、（ｖ）タグ付けすることが、対象の場所若しくは特徴を自動的に検出することを含む、（ｗ）命令は、実行されると、１つ以上のプロセッサに、タグ付けされた対象の場所若しくは特徴を基準画像上に重ね合わせることを更に行わせる、（ｘ）命令は、実行されると、１つ以上のプロセッサに、視覚的しるしを繋げて、器具の移動の履歴経路を特徴付けることを更に行わせる、（ｙ）視覚的しるしはメッシュを含む、（ｚ）メッシュは、内部領域の解剖学的構造を示す、（ａａ）メッシュは、位置データセットのサブセット及び器具上の撮像デバイスから受信した画像データから導出される、（ｂｂ）位置データセットのサブセットは、持続時間的頻度で基準画像上に重ね合わされる、（ｃｃ）位置データセットのサブセットは、位置的頻度で基準画像上に重ね合わされる、（ｄｄ）命令は、実行されると、１つ以上のプロセッサに、視覚的しるしを手術中に表示することを更に行わせる、（ｅｅ）命令は、実行されると、１つ以上のプロセッサに、将来の医療処置中に使用するために視覚的しるしを記憶することを更に行わせる、（ｆｆ）身体の内部領域が腎臓を含み、命令は、実行されると、１つ以上のプロセッサに、器具を腎杯内に移動させることと、腎杯への入口、腎臓の極、腎臓内の結石、及び／若しくは移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、並びに／又は（ｇｇ）命令は、実行されると、１つ以上のプロセッサに、生理的動態を考慮するために位置センサによって決定された位置を調整することと、調整された位置を基準画像上に重ね合わせることと、を更に行わせる。
【0014】
別の態様では、命令を記憶している非一時的コンピュータ可読記憶媒体が記載される。命令は、実行されると、デバイスのプロセッサに、少なくとも、身体の内部領域内で器具を移動させることと、器具の移動中に器具の少なくとも１つの位置センサから位置情報を受信することであって、位置情報は複数の位置データセットを含み、それぞれの位置データセットは、器具の移動中の器具の位置を示す、ことと、器具の移動中に内部領域内の器具の撮像デバイスから画像データを受信することであって、画像データは、内部領域内の１つ以上の場所で撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、１つ以上の画像の少なくともサブセットを、位置センサによって決定される、それぞれの画像がキャプチャされた位置に基づいて、位置データセットの少なくともサブセットにリンクさせることと、位置選択を含むユーザ入力を決定することと、位置選択に対応する、リンクされた画像のうちの１つのリンクされた画像を表示することと、を行わせ得る。
【0015】
いくつかの実施形態では、非一時的コンピュータ可読記憶媒体は、以下の特徴のうちの１つ以上を任意の組み合わせで含み得る。（ａ）ユーザコマンドを決定することが、ユーザコマンドを受信することを含む、（ｂ）画像データは静止画像を含む、（ｃ）画像データはビデオを含む、（ｄ）位置データセットのサブセットは、持続時間周波数で選択される、（ｅ）位置データセットのサブセットは、位置的頻度で選択される、（ｆ）位置情報は、器具の向きを示す情報を含む、（ｇ）画像データは、自動的にキャプチャされる、（ｈ）画像データは、ユーザコマンドの受信時にキャプチャされる、（ｉ）命令は、実行されると、プロセッサに、現在の位置に関連付けられたユーザ入力を受信することと、ユーザ入力を現在の位置に対応する、リンクされた画像にリンクさせることと、を更に行わせる、及び／又は（ｊ）命令は、実行されると、プロセッサに、画像データの画像内で、対象の特徴を検出することを更に行わせる。
【0016】
別の態様では、身体の内部領域をナビゲートするためのロボット外科用システムが記載される。システムは、細長い本体と、細長い本体上に配置された少なくとも１つの位置センサと、細長い本体上に配置された撮像デバイスと、を含む器具と、実行可能命令が記憶されている少なくとも１つのコンピュータ可読メモリと、１つ以上のプロセッサであって、少なくとも１つのコンピュータ可読メモリと通信し、命令を実行して、システムに、少なくとも、器具を本体の内部領域内で移動させることと、器具の移動中に少なくとも１つの位置センサから位置情報を受信することであって、位置情報は複数の位置データセットを含み、それぞれの位置データセットは、器具の移動中の器具の位置を示す、ことと、撮像デバイスから画像データを受信することであって、画像データは、内部領域内の１つ以上の場所で撮像デバイスによって器具の移動中にキャプチャされた１つ以上の画像を含む、ことと、１つ以上の画像の少なくともサブセットを、位置センサによって決定される、それぞれの画像がキャプチャされる位置に基づいて、位置データセットの少なくともサブセットにリンクさせることと、を行わせるように構成されている、１つ以上のプロセッサと、を含み得る。
【0017】
いくつかの実施形態では、システムは、以下の特徴のうちの１つ以上を任意の組み合わせで含み得る。（ａ）位置センサはＥＭセンサを含む、（ｂ）位置センサは形状検知ファイバを含む、（ｃ）位置センサは、細長い本体の遠位端上に位置付けられる、（ｄ）器具は内視鏡を含む、（ｅ）器具は尿管鏡を含む、（ｆ）細長い本体は、器具の姿勢を制御するように関節運動可能である、（ｇ）器具に接続された器具位置決めデバイスであって、器具位置決めデバイスは、器具を操作するように構成されている、及び／又は（ｈ）器具位置決めデバイスはロボットアームを含む。
【0018】
別の態様では、身体の内部領域をナビゲートするための方法が開示される。この方法は、身体の内部領域内で器具を移動させることであって、器具は少なくとも１つの位置センサ及び少なくとも１つの撮像デバイスを含む、ことと、器具の少なくとも１つの位置センサから位置情報を受信することであって、位置情報は複数の位置データセットを含み、それぞれの位置データセットは、器具の移動中の器具の位置を示す、ことと、器具の撮像デバイスから画像データを受信することであって、画像データは、内部領域内の１つ以上の場所で撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、１つ以上の画像の少なくともサブセットを、位置センサによって決定される、それぞれの画像がキャプチャされた位置に基づいて、位置データセットの少なくともサブセットにリンクさせることと、少なくとも１つの位置センサを用いて、器具の現在の位置を決定することであって、現在の位置は、複数の位置データセットのうちの現在の位置データセットに対応する、ことと、ユーザディスプレイ上に、現在の位置データセットにリンクされた画像を表示することと、を含み得る。
【図面の簡単な説明】
【0019】
開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の指定は同様の要素を示す。
【図1】診断及び／又は治療用気管支鏡検査処置（複数可）のために配置されたカートベースのロボットシステムの実施形態を示す。
【図5】気管支鏡検査処置のために配置されたテーブルベースのロボットシステムの実施形態を示す。
【図7】ロボットアーム（複数可）を格納するように構成された例示的なシステムを示す。
【図8】尿管鏡検査処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。
【図9】腹腔鏡処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。
【図12】例示的な器具ドライバを示す。
【図13】ペア器具ドライバを備えた例示的な医療用器具を示す。
【図14】駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計を示す。
【図16A】腎臓内でナビゲートする器具を示す第１の例示的なＸ線透視画像である。
【図17】腎臓内でナビゲートする器具の位置センサから受信した位置データを示す視覚的しるしの例示的な表示を示す。
【図19】患者の内部領域内をナビゲートする医療器具の撮像デバイスでキャプチャされた画像が、画像がキャプチャされた医療用器具の位置とリンクされ得ることを示す。
【図20A】身体の内部領域のマッピングのための例示的な方法を示すフローチャートである。
【図20B】身体の内部領域のマッピングのための別の例示的な方法を示すフローチャートである。
【図21A】身体の内部領域のナビゲーションのための例示的な方法を示すフローチャートである。
【図21B】身体の内部領域のナビゲーションのための別の例示的な方法を示すフローチャートである。
【図22】身体の内部領域のマッピング及び／又はナビゲーションのためのシステムの一実施形態の特定の構成要素を示すブロック図である。
【発明を実施するための形態】
【0020】
１．概論
本開示の態様は、腹腔鏡検査などの低侵襲性、及び内視鏡検査などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボット制御可能な医療システムに統合され得る。内視鏡検査処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査など可能であり得る。
本開示の態様は、腹腔鏡検査などの低侵襲性、及び内視鏡検査などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボット制御可能な医療システムに統合され得る。内視鏡検査処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査など可能であり得る。
【0021】
幅広い処置を実行することに加えて、システムは、医師を支援するための強調された撮像及び誘導などの追加の利益を提供することができる。加えて、システムは、厄介なアーム運動及び位置を必要とせずに、人間工学的位置から処置を行う能力を医師に提供することができる。また更に、システムは、システムの器具のうちの１つ以上が単一のユーザによって制御され得るように、改善された使いやすさで処置を行う能力を医師に提供することができる。
【0022】
以下、説明を目的として、図面と併せて、様々な実施形態が説明される。開示された概念の多くの他の実施態様が可能であり、開示された実施態様で様々な利点が達成され得ると理解されたい。見出しが、参照のために本明細書に含まれ、様々なセクションの位置を特定する支援となる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図するものではない。そのような概念は、本明細書全体にわたって適用可能性を有し得る。
【0023】
Ａ．ロボットシステム－カート
ロボット制御可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。図１は、診断及び／又は治療用気管支鏡検査処置のために配置された、カートベースのロボット制御可能なシステム１０の実施形態を示す。気管支鏡検査の間、システム１０は、気管支鏡検査のための処置特有の気管支鏡であり得る操縦可能な内視鏡１３などの医療用器具を、診断及び／又は治療用具を送達するための自然オリフィスアクセスポイント（すなわち、本実施例ではテーブル上に位置付けられた患者の口）に送達するための１つ以上のロボットアーム１２を有するカート１１を含み得る。図示のように、カート１１は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム１２は、アクセスポイントに対して気管支鏡を位置付けるために作動され得る。図１の配置はまた、胃腸管（ＧＩ）処置を胃鏡、ＧＩ処置のための特殊な内視鏡を用いて実行するときに利用され得る。図２は、カートの例示的な実施形態をより詳細に描画する。
ロボット制御可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。図１は、診断及び／又は治療用気管支鏡検査処置のために配置された、カートベースのロボット制御可能なシステム１０の実施形態を示す。気管支鏡検査の間、システム１０は、気管支鏡検査のための処置特有の気管支鏡であり得る操縦可能な内視鏡１３などの医療用器具を、診断及び／又は治療用具を送達するための自然オリフィスアクセスポイント（すなわち、本実施例ではテーブル上に位置付けられた患者の口）に送達するための１つ以上のロボットアーム１２を有するカート１１を含み得る。図示のように、カート１１は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム１２は、アクセスポイントに対して気管支鏡を位置付けるために作動され得る。図１の配置はまた、胃腸管（ＧＩ）処置を胃鏡、ＧＩ処置のための特殊な内視鏡を用いて実行するときに利用され得る。図２は、カートの例示的な実施形態をより詳細に描画する。
【0024】
図１を引き続き参照すると、一旦カート１１が適切に位置付けられると、ロボットアーム１２は、操縦可能な内視鏡１３をロボットで、手動で、又はそれらの組み合わせで患者内に挿入することができる。図示のように、操縦可能な内視鏡１３は、内側リーダー部分及び外側シース部分などの少なくとも２つの入れ子式部品を含んでもよく、各部分は、器具ドライバのセット２８から別個の器具ドライバに結合され、各器具ドライバは、個々のロボットアームの遠位端に結合されている。リーダー部分をシース部分と同軸上に整列させるのを容易にする器具ドライバ２８のこの直線配置は、１つ以上のロボットアーム１２を異なる角度及び／又は位置に操作することによって空間内に再配置され得る「仮想レール」２９を作成する。本明細書に記載される仮想レールは、破線を使用して図に示されており、したがって破線は、システムの任意の物理的構造を示さない。仮想レール２９に沿った器具ドライバ２８の並進は、外側シース部分に対して内側リーダー部分を入れ子にするか、又は内視鏡１３を患者から前進又は後退させる。仮想レール２９の角度は、臨床用途又は医師の好みに基づいて調整、並進、及び枢動されてもよい。例えば、気管支鏡検査では、示されるような仮想レール２９の角度及び位置は、内視鏡１３を患者の口内に曲げ入れることによる摩擦を最小限に抑えながら内視鏡１３への医師のアクセスを提供する妥協を表す。
【0025】
内視鏡１３は、ターゲット目的地又は手術部位に到達するまで、ロボットシステムからの正確なコマンドを使用して挿入後に患者の気管及び肺の下方に指向されてもよい。患者の肺網を通したナビゲーションを高め、及び／又は所望のターゲットに到達するために、内視鏡１３を操作して、内側リーダー部分を外側シース部分から入れ子状に延在させて、高められた関節運動及びより大きな曲げ半径を得てもよい。別個の器具ドライバ２８の使用により、リーダー部分及びシース部分が互いに独立して駆動されることも可能にする。
【0026】
例えば、内視鏡１３は、例えば、患者の肺内の病変又は小結節などのターゲットに生検針を送達するように指向されてもよい。針は、内視鏡の長さにわたる作業チャネルの下方に展開されて、病理医によって分析される組織試料を得てもよい。病理の結果に応じて、追加の生検のために追加のツールが内視鏡の作業チャネルの下方に展開されてもよい。小結節を悪性と特定した後、内視鏡１３は、潜在的な癌組織を切除するために器具を内視鏡的に送達してもよい。場合によっては、診断及び治療的処置は、別個の処置で送達される必要があってもよい。これらの状況において、内視鏡１３はまた、ターゲット小結節の位置を「マーク」するために基準を送達するために使用されてもよい。他の例では、診断及び治療的処置は、同じ処置中に送達されてもよい。
【0027】
システム１０はまた、カート１１に支持ケーブルを介して接続されて、カート１１への制御、電子機器、流体工学、光学系、センサ、及び／又は電力のための支持を提供し得る移動可能なタワー３０を含んでもよい。タワー３０内にこのような機能を置くことにより、動作を行う医師及びそのスタッフにより容易に調整及び／又は再配置され得るより小さいフォームファクタのカート１１が可能となる。追加的に、カート／テーブルと支持タワー３０との間の機能の分割は、手術室の乱雑を低減し、臨床ワークフローの改善を促進する。カート１１は患者に近接して配置されてもよいが、タワー３０は、処置中に邪魔にならないように遠隔位置に収容されてもよい。
【0028】
上述のロボットシステムのサポートにおいて、タワー３０は、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内にコンピュータプログラム命令を記憶するコンピュータベースの制御システムの構成要素（複数可）を含んでもよい。これらの命令の実行は、実行がタワー３０内で行われるか、又はカート１１がそのシステム又はサブシステム（複数可）全体を制御してもよい。例えば、コンピュータシステムのプロセッサによって実行されるときに、命令は、ロボットシステムの構成要素に、関連するキャリッジ及びアームマウントを作動させ、ロボットアームを作動させ、医療用器具を制御させてもよい。例えば、制御信号を受信したことに応答して、ロボットアームの関節内のモータは、アームをある特定の姿勢に配置してもよい。
【0029】
タワー３０はまた、内視鏡１３を通して展開され得るシステムに制御された灌注及び吸引能力を提供するために、ポンプ、流量計、弁制御、及び／又は流体アクセスを含んでもよい。これらの構成要素はまた、タワー３０のコンピュータシステムを使用して制御されてもよい。いくつかの実施形態では、灌注及び吸引能力は、別個のケーブル（複数可）を通して内視鏡１３に直接送達されてもよい。
【0030】
タワー３０は、フィルタリングされ、保護された電力をカート１１に提供するように設計された電圧及びサージ保護具を含んでもよく、それによって、より小さくより移動可能なカート１１をもたらす、カート１１内の電力変圧器及び他の補助電力構成要素の配置を回避する。
【0031】
タワー３０はまた、ロボットシステム１０全体に配置されたセンサのための支持機器を含んでもよい。例えば、タワー３０は、ロボットシステム１０を通して光センサ又はカメラから受信したデータを検出、受信、及び処理するためのオプトエレクトロニクス機器を含んでもよい。制御システムと組み合わせて、このようなオプトエレクトロニクス機器は、タワー３０内を含むシステム全体に展開された任意の数のコンソール内に表示するためのリアルタイム画像を生成するために使用されてもよい。同様に、タワー３０はまた、展開された電磁（ＥＭ）センサから受信した信号を受信及び処理するための電子サブシステムを含んでもよい。タワー３０はまた、医療用器具内又は医療用器具上のＥＭセンサによる検出のためにＥＭ場発生器を収容し、配置するために使用されてもよい。
【0032】
タワー３０はまた、システムの残りの部分で利用可能な他のコンソール、例えば、カートの上部に装着されたコンソールに追加して、コンソール３１を含んでもよい。コンソール３１は、医師操作者のためのユーザインターフェース及びタッチスクリーンなどの表示画面を含んでもよい。システム１０内のコンソールは、一般に、ロボット制御、並びに内視鏡１３のナビゲーション情報及び位置特定情報などの処置の術前及びリアルタイム情報の両方を提供するように設計される。コンソール３１が医師に利用可能な唯一のコンソールではないときに、それは、看護師などの第２の操作者によって使用されて、患者の健康又は生命及びシステムの動作を監視し、並びにナビゲーション及び位置特定情報などの処置固有のデータを提供してもよい。
【0033】
タワー３０は、１つ以上のケーブル又は接続（図示せず）を介してカート１１及び内視鏡１３に結合されてもよい。いくつかの実施形態では、タワー３０からの支持機能は、単一ケーブルを通してカート１１に提供され、手術室を簡略化し、整理整頓し得る。他の実施形態では、特定の機能は、別個のケーブリング及び接続で結合されてもよい。例えば、単一の電力ケーブルを通してカートに電力が供給されてもよいが、制御、光学、流体工学、及び／又はナビゲーションのためのサポートは、別個のケーブルを通して提供されてもよい。
【0034】
図２は、図１に示されるカートベースのロボット制御可能なシステムからのカートの実施形態の詳細な図を提供する。カート１１は、概して、細長い支持構造１４（「カラム」と呼ばれることが多い）、カート基部１５、及びカラム１４の頂部にあるコンソール１６を含む。カラム１４は、１つ以上のロボットアーム１２（図２には３つ示されている）の展開を支持するためのキャリッジ１７（代替的に「アーム支持体」）などの１つ以上のキャリッジを含んでもよい。キャリッジ１７は、患者に対してより良好に配置するために、ロボットアーム１２の基部を調整するために、垂直軸に沿って回転する個別に構成可能なアームマウントを含んでもよい。キャリッジ１７はまた、キャリッジ１７がカラム１４に沿って垂直方向に並進することを可能にするキャリッジインターフェース１９を含む。
【0035】
キャリッジインターフェース１９は、キャリッジ１７の垂直方向の並進を案内するためにカラム１４の両側に配置されたスロット２０などのスロットを通してカラム１４に接続されている。スロット２０は、カート基部１５に対して様々な垂直方向の高さでキャリッジを配置及び保持するための垂直方向の並進インターフェースを含む。キャリッジ１７の垂直方向の並進により、カート１１が、様々なテーブルの高さ、患者のサイズ、及び医師の好みを満たすようにロボットアーム１２の到達を調整することを可能にする。同様に、キャリッジ１７上の個別に構成可能なアームマウントにより、ロボットアーム１２のロボットアーム基部２１が様々な構成で角度付けされることを可能にする。
【0036】
いくつかの実施形態では、スロット２０には、キャリッジ１７が垂直方向に並進する際に、カラム１４の内部チャンバ及び垂直方向の並進インターフェース内への汚れ及び流体の侵入を防止するためにスロット表面と同一平面及び平行であるスロットカバーが追加されてもよい。スロットカバーは、スロット２０の垂直方向の頂部及び底部付近に配置されたばねスプールの対を通じて展開されてもよい。カバーは、キャリッジ１７が垂直方向に上下に並進する際に、延在するように展開して、それらのコイル状から後退するまでスプール内でコイル巻きにされている。スプールのばね荷重は、キャリッジ１７がスプールに向かって並進するときにカバーをスプール内に後退させるための力を提供する一方で、キャリッジ１７がスプールから離れるように並進するときに密封も維持する。カバーは、キャリッジ１７が並進する際にカバーの適切な延在及び後退を確実にするために、例えば、キャリッジインターフェース１９内のブラケットを使用してキャリッジ１７に接続されてもよい。
【0037】
カラム１４は、例えば、コンソール１６からの入力などのユーザ入力に応答して生成された制御信号に応答してキャリッジ１７を機械的に並進させるために垂直方向に整列した主ねじを使用するように設計された歯車及びモータなどの機構を内部的に含んでもよい。
【0038】
ロボットアーム１２は、一般に一連の関節２４によって接続されている一連の連結部２３によって分離したロボットアーム基部２１及びエンドエフェクタ２２を含んでもよく、各関節は独立したアクチュエータを含み、各アクチュエータは、独立して制御可能なモータを含む。それぞれ独立して制御可能な関節は、ロボットアームに利用可能な独立した自由度を表す。アーム１２の各々は、７つの関節を有し、したがって、７つの自由度を提供する。多数の関節は、多数の自由度をもたらし、「冗長」自由度を可能にする。冗長自由度は、ロボットアーム１２が、異なる連結位置及び関節角度を使用して空間内の特定の位置、向き、及び軌道で、それらのそれぞれのエンドエフェクタ２２を配置することを可能にする。これにより、医師がアーム関節を患者から離れる臨床的に有利な位置へと移動させて、アーム衝突を回避しながら、より大きなアクセスを作成することを可能にしながら、システムが空間内の所望のポイントから医療用器具を配置及び指向させることを可能にする。
【0039】
カート基部１５は、床の上のカラム１４、キャリッジ１７及びアーム１２の重量の釣り合いをとる。したがって、カート基部１５は、電子機器、モータ、電源、及びカートの移動及び／又は固定化のいずれかを可能にする構成要素などの、より重い部品を収容する。例えば、カート基部１５は、処置前にカートが部屋の周りを容易に移動することを可能にする、転動可能なホイール形状のキャスター２５を含む。適切な位置に到達した後、キャスター２５は、処置中にカート１１を定位置に保持するために、ホイールロックを使用して固定化されてもよい。
【0040】
カラム１４の垂直方向の端部に配置された、コンソール１６は、ユーザ入力を受信するためのユーザインターフェース及び表示画面（又は、例えば、タッチスクリーン２６などの二重目的デバイス）の両方を可能にして、術前データ及び術中データの両方を医師のユーザに提供する。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（ＣＴ）スキャンから導出されたナビゲーション及びマッピングデータ、及び／又は術前患者インタビューからのメモを含んでもよい。ディスプレイ上の術中データは、ツールから提供される光学情報、センサからのセンサ及び座標情報、及び呼吸、心拍数、及び／又はパルスなどのバイタル患者統計を含んでもよい。コンソール１６は、医師が、キャリッジ１７の反対側でカラム１４の側からコンソールにアクセスすることを可能にするように配置及び傾斜されてもよい。この位置から、医師は、コンソール１６をカート１１の背後から操作しながらコンソール１６、ロボットアーム１２及び患者を見ることができる。図示のように、コンソール１６はまた、カート１１の操作及び安定化を支援するハンドル２７を含む。
【0041】
図３は、尿管鏡検査のために配されたロボット制御可能なシステム１０の実施形態を示す。尿管鏡検査処置では、カート１１は、患者の尿道及び尿管を横断するように設計された処置専用内視鏡である尿管鏡３２を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡３２が患者の尿道と直接整列して、領域内の敏感な解剖学的構造に対する摩擦及び力を低減することが望ましいことがある。図示のように、カート１１は、ロボットアーム１２が患者の尿道への直接的な線形アクセスのために、尿管鏡３２を配置することを可能にするためにテーブルの脚部に整列されてもよい。テーブルの脚部から、ロボットアーム１２は、尿道を通して患者の下腹部に直接、仮想レール３３に沿って尿管鏡３２を挿入してもよい。
【0042】
気管支鏡検査のような同様の制御技法を使用して、尿道への挿入後、尿管鏡３２は、診断及び／又は治療用途のために膀胱、尿管、及び／又は腎臓にナビゲートされてもよい。例えば、尿管鏡３２は、尿管及び腎臓に指向されて、尿管鏡３２の作業チャネルの下方に展開されたレーザー又は超音波砕石デバイスを使用して大きくなっている腎臓結石を破壊することができる。砕石術が完了した後、得られた結石片は、尿管鏡３２の下方に展開されたバスケットを使用して除去されてもよい。
【0043】
図４は、血管処置のために同様に配されたロボット制御可能なシステムの実施形態を示す。血管処置において、システム１０は、カート１１が、操縦可能なカテーテルなどの医療用器具３４を、患者の脚内の大腿動脈内のアクセスポイントに送達することができるように構成され得る。大腿動脈は、ナビゲーションのためのより大きな直径と、患者の心臓への比較的迂回性及び蛇行性でない経路との両方を呈し、これによりナビゲーションが単純化する。尿管鏡処置のように、カート１１は、患者の脚及び下腹部に向かって配置されて、ロボットアーム１２が患者の大腿／腰領域内の大腿動脈アクセスポイントへの直接的な線形アクセスで仮想レール３５を提供することを可能にしてもよい。動脈内への挿入後、医療用器具３４は、器具ドライバ２８を並進させることによって指向され、挿入されてもよい。代替的には、カートは、例えば、肩及び手首付近の頚動脈及び腕動脈などの代替的な血管アクセスポイントに到達するために、患者の上腹部の周囲に配置されてもよい。
【0044】
Ｂ．ロボットシステム－テーブル
ロボット制御可能な医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルの組み込みは、カートを除去することによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。図５は、気管支鏡検査処置のために配されたこのようなロボット制御可能なシステムの一実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」又は「ベッド」として図示）を支持するための支持構造体又はカラム３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、器具ドライバ４２の線形整列から形成された仮想レール４１を通して、又はそれに沿って、図５の気管支鏡４０などの細長い医療用器具を操作するように設計された器具ドライバ４２を含む。実際には、Ｘ線透視撮像を提供するためのＣアームは、放射器及び検出器をテーブル３８の周囲に置くことによって、患者の上部腹部領域の上方に配置されてもよい。
ロボット制御可能な医療システムの実施形態はまた、患者のテーブルを組み込んでもよい。テーブルの組み込みは、カートを除去することによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。図５は、気管支鏡検査処置のために配されたこのようなロボット制御可能なシステムの一実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」又は「ベッド」として図示）を支持するための支持構造体又はカラム３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、器具ドライバ４２の線形整列から形成された仮想レール４１を通して、又はそれに沿って、図５の気管支鏡４０などの細長い医療用器具を操作するように設計された器具ドライバ４２を含む。実際には、Ｘ線透視撮像を提供するためのＣアームは、放射器及び検出器をテーブル３８の周囲に置くことによって、患者の上部腹部領域の上方に配置されてもよい。
【0045】
図６は、説明を目的として患者及び医療用器具なしのシステム３６の代替図を提供する。図示のように、カラム３７は、１つ以上のロボットアーム３９がベースとなり得るシステム３６内でリング形状として図示される１つ以上のキャリッジ４３を含んでもよい。キャリッジ４３は、カラム３７の長さにわたる垂直方向のカラムインターフェース４４に沿って並進して、ロボットアーム３９が患者に到達するように配置され得る異なるバンテージポイントを提供してもよい。キャリッジ（複数可）４３は、カラム３７内に配置された機械的モータを使用してカラム３７の周りを回転して、ロボットアーム３９が、例えば患者の両側などのテーブル３８の複数の側面へのアクセスを有することを可能にしてもよい。複数のキャリッジを有する実施形態では、キャリッジはカラム上に個別に配置されてもよく、他のキャリッジとは独立して並進及び／又は回転してもよい。キャリッジ４３はカラム３７を取り囲む必要はなく、又は更には円形である必要はないが、図示されるようなリング形状は、構造的バランスを維持しながらカラム３７の周りでキャリッジ４３の回転を容易にする。キャリッジ４３の回転及び並進により、システムは、内視鏡及び腹腔鏡などの医療用器具を患者の異なるアクセスポイントに整列させることを可能にする。
【0046】
アーム３９は、ロボットアーム３９に追加の構成可能性を提供するために個別に回転及び／又は入れ子式に延在し得る一連の関節を含むアームマウント４５のセットを通じてキャリッジに装着されてもよい。加えて、アームマウント４５は、キャリッジ４３が適切に回転されるとき、アームマウント４５がテーブル３８の片側（図６に示すように）、テーブル３８の両側（図９に示すように）、又はテーブル３８の隣接する側部（図示せず）のいずれかに配置され得るように、キャリッジ４３に配置され得る。
【0047】
カラム３７は、テーブル３８の支持及びキャリッジの垂直方向の並進のための経路を構造的に提供する。内部的に、カラム３７には、キャリッジの垂直方向の並進を案内するための主ねじ、及び主ねじに基づくキャリッジの並進を機械化するためのモータが備えられ得る。カラム３７はまた、キャリッジ４３及びその上に装着されたロボットアーム３９に電力及び制御信号を伝達してもよい。
【0048】
テーブル基部４６は、図２に示すカート１１のカート基部１５と同様の機能を果たし、テーブル／ベッド３８、カラム３７、キャリッジ４３及びロボットアーム３９の釣り合いをとるためにより重い構成要素を収容する。テーブル基部４６はまた、処置中に安定性を提供するために剛性キャスターを組み込んでもよい。テーブル基部４６の底部から展開されるキャスターは、基部４６の両側で反対方向に延在し、システム３６を移動させる必要があるときに後退させてもよい。
【0049】
引き続き図６によれば、システム３６はまた、テーブルとタワーとの間のシステム３６の機能を分割して、テーブルのフォームファクタ及びバルクを低減するタワー（図示せず）を含んでもよい。先に開示された実施形態と同様に、タワーは、処理、計算、及び制御能力、電力、流体光学、及び／又は光学及びセンサ処理などの様々な支持機能をテーブルに提供してもよい。タワーはまた、医師のアクセスを改善し、手術室を整理整頓するために、患者から離れて配置されるように移動可能であってもよい。加えて、タワー内に構成要素を置くことにより、ロボットアームの潜在的な収納のために、テーブル基部内により多くの保管空間を可能にする。タワーはまた、キーボード及び／又はペンダントなどのユーザ入力のためのユーザインターフェース、及びリアルタイム撮像、ナビゲーション、及び追跡情報などの術前及び術中情報のための表示画面（又はタッチスクリーン）の両方を提供するコンソールを含んでもよい。
【0050】
いくつかの実施形態では、テーブル基部は、使用されていないときにロボットアームを収容して格納してもよい。図７は、テーブルベースのシステムの一実施形態におけるロボットアームを収容するシステム４７を示す。システム４７では、キャリッジ４８は、ロボットアーム５０、アームマウント５１及びキャリッジ４８を基部４９内に収容する基部４９に垂直方向に並進されてもよい。基部カバー５２は、キャリッジ４８、アームマウント５１及びアーム５０をカラム５３の周りに展開させるように開放し、使用されていないときにそれらを保護するために収容するように閉鎖されるように、並進及び後退してもよい。基部カバー５２は、閉鎖したときに汚れ及び流体の侵入を防止するために、その開口の縁部に沿ってメンブレン５４で封止されてもよい。
【0051】
図８は、尿管鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。尿管鏡検査では、テーブル３８は、患者をカラム３７及びテーブル基部４６からオフアングルに配置するためのスイベル部分５５を含んでもよい。スイベル部分５５は、スイベル部分５５の底部をカラム３７から離すように配置するために、旋回点（例えば、患者の頭部の下に位置）の周りで回転又は旋回してもよい。例えば、スイベル部分５５の旋回により、Ｃアーム（図示せず）が、テーブル３８の下のカラム（図示せず）との空間を競合することなく、患者の下部腹部の上方に配置されることを可能にする。カラム３７の周りにキャリッジ３５（図示せず）を回転させることにより、ロボットアーム３９は、尿道に到達するように、仮想レール５７に沿って、鼠径部領域に直接尿管鏡５６を挿入してもよい。尿管鏡検査では、あぶみ５８はまた、処置中に患者の脚の位置を支持し、患者の鼠径部領域への明確なアクセスを可能にするために、テーブル３８のスイベル部分５５に固定されてもよい。
【0052】
腹腔鏡処置では、患者の腹壁内の小さな切開部（複数可）を通して、低侵襲性器具（１つ以上の切開部のサイズに適応するように形状が細長い）を患者の解剖学的構造に挿入してもよい。患者の腹腔の膨張後、腹腔鏡と呼ばれることが多い器具は、把持、切断、アブレーション、縫合などの外科的タスクを行うように指向されてもよい。図９は、腹腔鏡処置のために構成されたロボット制御可能なテーブルベースのシステムの実施形態を示す。図９に示されるように、システム３６のキャリッジ４３は回転し、垂直方向に調整されて、腹腔鏡５９が患者の両側の最小切開部を通過して患者の腹腔に到達するようにアームマウント４５を使用し配置され得るように、ロボットアーム３９の対をテーブル３８の両側に配置してもよい。
【0053】
腹腔鏡処置に対応するために、ロボット制御可能なテーブルシステムはまた、プラットフォームを所望の角度に傾斜させてもよい。図１０は、ピッチ又は傾斜調整を有するロボット制御可能な医療システムの実施形態を示す。図１０に示すように、システム３６は、テーブル３８の傾斜に適応して、テーブルの一方側の部分を他方側の部分よりも床から長い距離に配置することができる。加えて、アームマウント４５は、アーム３９がテーブル３８と同じ平面関係を維持するように、傾斜に一致するように回転してもよい。急角度に適応するために、カラム３７はまた、テーブル３８が床に接触するか、又は基部４６と衝突するのを防ぐために、カラム３７の垂直方向の延在を可能にする入れ子部分６０を含んでもよい。
【0054】
図１１は、テーブル３８とカラム３７との間のインターフェースの詳細な図示を提供する。ピッチ回転機構６１は、複数の自由度において、カラム３７に対するテーブル３８のピッチ角を変更するように構成されてもよい。ピッチ回転機構６１は、カラム－テーブルインターフェースでの直交軸１、２の配置によって可能にされてもよく、各軸は、電気ピッチ角コマンドに応答して別個のモータ３、４によって作動される。一方のねじ５に沿った回転は、一方の軸１における傾斜調整を可能にし、他方のねじ６に沿った回転は、他方の軸２に沿った傾斜調整を可能にする。
【0055】
例えば、ピッチ調整は、トレンデレンブルグ位置にテーブルを配置、すなわち下腹部手術のために患者の下腹部よりも床からより高い位置に患者の下腹部を位置させようとするときに、特に有用である。トレンデレンブルグ位置は、患者の内臓を重力によって自分の上腹部に向かってスライドさせ、低侵襲性ツールのために腹腔を空にして腹腔鏡前立腺切除術などの下腹部外科処置に移行し、これを行う。
【0056】
Ｃ．器具ドライバ及びインターフェース
システムのロボットアームのエンドエフェクタは、（ｉ）医療用器具を作動させるための電気機械的手段を組み込む器具ドライバ（代替的には、「器具駆動機構」又は「器具デバイスマニピュレータ」と呼ばれる）と、（ｉｉ）モータなどの任意の電気機械的構成要素を欠いていてもよい除去可能な又は取り外し可能な医療用器具と、を含む。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び敏感な電子機器により、高価な資本設備を十分に滅菌することができないことにより駆動され得る。したがって、医療用器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ（したがってそのシステム）から取り外し、除去、及び交換されるように設計され得る。対照的に、器具ドライバは交換又は滅菌される必要がなく、保護のために掛け布がされ得る。
システムのロボットアームのエンドエフェクタは、（ｉ）医療用器具を作動させるための電気機械的手段を組み込む器具ドライバ（代替的には、「器具駆動機構」又は「器具デバイスマニピュレータ」と呼ばれる）と、（ｉｉ）モータなどの任意の電気機械的構成要素を欠いていてもよい除去可能な又は取り外し可能な医療用器具と、を含む。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び敏感な電子機器により、高価な資本設備を十分に滅菌することができないことにより駆動され得る。したがって、医療用器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ（したがってそのシステム）から取り外し、除去、及び交換されるように設計され得る。対照的に、器具ドライバは交換又は滅菌される必要がなく、保護のために掛け布がされ得る。
【0057】
図１２は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置される器具ドライバ６２は、駆動シャフト６４を介して医療用器具に制御トルクを提供するために平行軸を伴って配された１つ以上の駆動ユニット６３を含む。各駆動ユニット６３は、器具と相互作用するための個々の駆動シャフト６４と、モータシャフトの回転を所望のトルクに変換するためのギヤヘッド６５と、駆動トルクを生成するためのモータ６６と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するエンコーダ６７と、制御信号を受信し、駆動ユニットを作動させるための制御回路６８と、を含む。各駆動ユニット６３は独立して制御及び電動化され、器具ドライバ６２は、複数（図１２に示すように４つ）の独立した駆動出力を医療用器具に提供してもよい。動作中、制御回路６８は、制御信号を受信し、モータ６６にモータ信号を送信し、エンコーダ６７によって測定されたモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。
【0058】
無菌環境を必要とする処置のために、ロボットシステムは、器具ドライバと医療用器具との間に位置する無菌ドレープに接続された無菌アダプタなどの駆動インターフェースを組み込んでもよい。無菌アダプタの主な目的は、器具ドライバの駆動シャフトから器具の駆動入力に角度運動を伝達する一方で、物理的分離を維持し、したがって、駆動シャフトと駆動入力との間で無菌性を維持することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトと嵌合されることを意図した一連の回転入力部及び出力部と器具に対する駆動入力部で構成され得る。無菌アダプタに接続される無菌ドレープは、透明又は半透明プラスチックなどの薄い可撓性材料で構成され、器具ドライバ、ロボットアーム、及び（カートベースのシステムにおける）カート又は（テーブルベースのシステムにおける）テーブルなどの資本設備を覆うように設計される。ドレープの使用は、滅菌を必要としない領域（すなわち、非滅菌野）に依然として位置している間に、資本設備が患者に近接して配置することを可能にするであろう。滅菌ドレープの他方の側では、医療用器具は、滅菌（すなわち、滅菌野）を必要とする領域において患者とインターフェースしてもよい。
【0059】
Ｄ．医療用器具
図１３は、ペアにされた器具ドライバを備えた例示的な医療用器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療用器具７０は、細長いシャフト７１（又は細長い本体）及び器具基部７２を含む。医師による手動相互作用のために意図された設計により「器具ハンドル」とも呼ばれる器具基部７２は、概して、ロボットアーム７６の遠位端で器具ドライバ７５上の駆動インターフェースを通って延在する駆動出力部７４と嵌合するように設計された、回転可能な駆動入力部７３、例えば、レセプタクル、プーリ、又はスプールを含んでもよい。物理的に接続、ラッチ、かつ／又は結合されるときに、器具基部７２の嵌合された駆動入力部７３は、器具ドライバ７５における駆動出力部７４と回転軸線を共有してもよく、駆動出力部７４から駆動入力部７３へのトルクの伝達を可能する。いくつかの実施形態では、駆動出力部７４は、駆動入力部７３上のレセプタクルと嵌合するように設計されたスプラインを含んでもよい。
図１３は、ペアにされた器具ドライバを備えた例示的な医療用器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療用器具７０は、細長いシャフト７１（又は細長い本体）及び器具基部７２を含む。医師による手動相互作用のために意図された設計により「器具ハンドル」とも呼ばれる器具基部７２は、概して、ロボットアーム７６の遠位端で器具ドライバ７５上の駆動インターフェースを通って延在する駆動出力部７４と嵌合するように設計された、回転可能な駆動入力部７３、例えば、レセプタクル、プーリ、又はスプールを含んでもよい。物理的に接続、ラッチ、かつ／又は結合されるときに、器具基部７２の嵌合された駆動入力部７３は、器具ドライバ７５における駆動出力部７４と回転軸線を共有してもよく、駆動出力部７４から駆動入力部７３へのトルクの伝達を可能する。いくつかの実施形態では、駆動出力部７４は、駆動入力部７３上のレセプタクルと嵌合するように設計されたスプラインを含んでもよい。
【0060】
細長いシャフト７１は、例えば、内視鏡検査におけるような解剖学的開口部若しくは管腔、又は腹腔鏡検査におけるような低侵襲性切開部のいずれかを通して送達されるように設計されている。細長いシャフト６６は、可撓性（例えば、内視鏡と同様の特性を有する）若しくは剛性（例えば、腹腔鏡と同様の特性を有する）、又は可撓性部分及び剛性部分の両方のカスタマイズされた組み合わせを含むこと、のいずれかであってもよい。腹腔鏡検査のために設計されるとき、剛性の細長いシャフトの遠位端は、回転軸を有するクレビスから形成される接合された手首と、例えば、駆動入力部が器具ドライバ７５の駆動出力部７４から受け取ったトルクに応答して回転する際に、腱からの力に基づいて作動され得る把持具又ははさみである手術用ツールを含むエンドエフェクタに接続され得る。内視鏡検査のために設計されるときに、可撓性の細長いシャフトの遠位端は、器具ドライバ７５の駆動出力部７４から受信したトルクに基づいて関節運動及び屈曲され得る操縦可能又は制御可能な屈曲部を含んでもよい。
【0061】
器具ドライバ７５からのトルクは、シャフト７１内の腱を使用して細長いシャフト７１の下方に伝達される。プルワイヤなどのこれらの個々の腱は、器具ハンドル７２内の個々の駆動入力部７３に個別に固設されてもよい。ハンドル７２から、腱は、細長いシャフト７１内の１つ以上のプルルーメン（pull lumen）を下方に指向され、細長いシャフト７１の遠位部分に固設される。腹腔鏡検査では、これらの腱は、手首、把持具、又ははさみなどの遠位に装着されたエンドエフェクタに結合されてもよい。このような構成の下で、駆動入力部７３に及ぼされるトルクは、腱に張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、腱は、関節を軸周りに回転させることができ、それによってエンドエフェクタを一方向又は別の方向に移動させる。あるいは、腱は、細長いシャフト７１の遠位端で把持具の１つ以上のジョーに接続されてもよく、腱からの張力によって把持具が閉鎖される。
【0062】
内視鏡検査では、腱は、接着剤、制御リング、又は他の機械的固定を介して、細長いシャフト７１に沿って（例えば、遠位端に）配置された屈曲又は関節運動部に結合されてもよい。屈曲部の遠位端に固定的に取り付けられるときに、駆動入力部７３に及ぼされるトルクは、腱の下方に伝達され、より軟質の屈曲部に（関節運動可能部又は領域と呼ばれることがある）を屈曲又は関節運動させる。非屈曲部分に沿って、個々の腱を内視鏡シャフトの壁に沿って（又は内側に）指向する個々のプルルーメンを螺旋状又は渦巻状にして、プルワイヤにおける張力からもたらされる半径方向の力の釣り合いをとることが有利であり得る。これらの間の螺旋及び／又は間隔の角度は、特定の目的のために変更又は設計されてもよく、より狭い螺旋は負荷力下でより小さいシャフト圧縮を呈する一方で、より少ない量の螺旋は負荷力下でより大きなシャフト圧縮をもたらすが、屈曲制限も呈する。スペクトルのもう一方の端部では、プルルーメンは、細長いシャフト７１の長手方向軸に平行に指向されてもよく、所望の屈曲又は関節運動可能部における制御された関節運動を可能にする。
【0063】
内視鏡検査では、細長いシャフト７１は、ロボット処置を支援するある数の構成要素を収容する。シャフトは、シャフト７１の遠位端における手術領域への手術ツール、灌注、及び／又は吸引を展開するための作業チャネルを含んでもよい。シャフト７１はまた、光学カメラを含んでもよい遠位先端部で光学アセンブリに／そこから信号を伝達するために、ワイヤ及び／又は光ファイバを収容してもよい。シャフト７１はまた、発光ダイオードなどの近位に位置する光源からシャフトの遠位端に光を搬送するための光ファイバを収容してもよい。
【0064】
器具７０の遠位端では、遠位先端はまた、診断及び／又は治療、潅注、及び吸引のためのツールを手術部位に送達するための作業チャネルの開口を含んでもよい。遠位先端はまた、内部解剖学的空間の画像を捕捉するために、繊維スコープ又はデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端はまた、カメラを使用するときに解剖学的空間を照明するための光源のためのポートを含んでもよい。
【0065】
図１３の例では、駆動シャフト軸、したがって駆動入力軸は、細長いシャフトの軸に直交する。しかしながら、この配置は、細長いシャフト７１のロール能力を複雑にする。駆動入力部７３を静止させながら、細長いシャフト７１をその軸に沿ってロールさせることにより、駆動入力部７３から延出し、細長いシャフト７１内のプルルーメンに入る際に、腱の望ましくない絡まりをもたらす。そのような腱の得られたもつれは、内視鏡処置中の可撓性の細長いシャフトの移動を予測することを意図した任意の制御アルゴリズムを破壊することがある。
【0066】
図１４は、駆動ユニットの軸が器具の細長いシャフトの軸に平行である、器具ドライバ及び器具の代替的な設計を示す。図示のように、円形の器具ドライバ８０は、ロボットアーム８２の端部において平行に整列された駆動出力部８１を備えた４つの駆動ユニットを含む。駆動ユニット及びそれらのそれぞれの駆動出力部８１は、アセンブリ８３内の駆動ユニットのうちの１つによって駆動される器具ドライバ８０の回転アセンブリ８３内に収容される。回転駆動ユニットによって提供されるトルクに応答して、回転アセンブリ８３は、回転アセンブリ８３を器具ドライバの非回転部分８４に接続する円形ベアリングに沿って回転する。電力及び制御信号は、電気接点を通して器具ドライバ８０の非回転部分８４から回転アセンブリ８３に伝達されてもよく、ブラシ付きスリップリング接続（図示せず）による回転を通して維持されてもよい。他の実施形態では、回転アセンブリ８３は、非回転可能部分８４に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答してもよい。回転機構８３は、器具ドライバ８０が、器具ドライバ軸８５周りの単一ユニットとして、駆動ユニット及びそれらのそれぞれの駆動出力部８１を回転させることを可能にする。
【0067】
先に開示した実施形態と同様に、器具８６は、細長いシャフト８８と、器具ドライバ８０内の駆動出力部８１を受けるように構成された複数の駆動入力部８９（レセプタクル、プーリ、及びスプールなど）を含む器具基部８７（説明目的のために透明な外部スキンで示される）とを含んでもよい。以前に開示されている実施形態とは異なり、器具シャフト８８は、図１３の設計と直交するのではなく、駆動入力部８９の軸に実質的に平行な軸を有する器具基部８７の中心から延在する。
【0068】
器具ドライバ８０の回転アセンブリ８３に結合されるときに、器具基部８７及び器具シャフト８８を含む医療用器具８６は、器具ドライバ軸８５を中心に回転アセンブリ８３と組み合わせて回転する。器具シャフト８８は器具基部８７の中心に配置されているため、器具シャフト８８は、取り付けられたときに器具ドライバ軸８５と同軸である。したがって、回転アセンブリ８３の回転により、器具シャフト８８は、それ自体の長手方向軸を中心に回転する。更に、器具基部８７が器具シャフト８８と共に回転すると、器具基部８７内の駆動入力部８９に接続された任意の腱は、回転中に絡まらない。したがって、駆動出力部８１、駆動入力部８９及び器具シャフト８８の軸の平行性は、任意の制御腱を絡めることなくシャフト回転を可能にする。
【0069】
Ｅ．ナビゲーション及び制御
従来の内視鏡検査は、（例えば、Ｃアームを通して送達され得るような）蛍光透視法の使用、及び操作者の医師に腔内誘導を提供するための他の形態の放射線ベースの撮像モダリティの使用を伴うことがある。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するための非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、用語「位置特定」は、基準座標系内のオブジェクトの位置を判定及び／又は監視することを指すことがある。術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用されてもよい。放射線ベースの撮像モダリティが依然として使用される場合、術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用されてもよい。
従来の内視鏡検査は、（例えば、Ｃアームを通して送達され得るような）蛍光透視法の使用、及び操作者の医師に腔内誘導を提供するための他の形態の放射線ベースの撮像モダリティの使用を伴うことがある。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するための非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、用語「位置特定」は、基準座標系内のオブジェクトの位置を判定及び／又は監視することを指すことがある。術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用されてもよい。放射線ベースの撮像モダリティが依然として使用される場合、術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用されてもよい。
【0070】
図１５は、例示的な実施形態による、器具の位置などのロボットシステムの１つ以上の要素の位置を推定する位置特定システム９０を示すブロック図である。位置特定システム９０は、１つ以上の命令を実行するように構成されている１つ以上のコンピュータデバイスのセットであってもよい。コンピュータデバイスは、上述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～４に示されるカートであってもよく、図５～１０に示されるベッドなどであってもよい。
【0071】
図１５に示すように、位置特定システム９０は、入力データ９１～９４を処理して医療用器具の遠位先端のための位置データ９６を生成する位置特定モジュール９５を含んでもよい。位置データ９６は、基準系に対する器具の遠位端の位置及び／又は配向を表すデータ又は論理であってもよい。基準系は、患者の解剖学的構造、又はＥＭ場発生器（ＥＭ場発生器について以下の説明を参照）などの既知の物体に対する基準系とすることができる。
【0072】
ここで、様々な入力データ９１～９４についてより詳細に説明する。術前マッピングは、低用量ＣＴスキャンの収集を使用することを通して達成され得る。術前ＣＴスキャンは、例えば、患者の内部解剖学的構造の切欠き図の「スライス」として可視化される三次元画像に再構成される。まとめて分析されるときに、患者の肺網などの患者の解剖学的構造の解剖学的空腔、空間、及び構造のための画像ベースのモデルが生成され得る。中心線幾何学形状などの技法を判定し、ＣＴ画像から概算して、術前モデルデータ９１と呼ばれる患者の解剖学的構造の三次元ボリュームを生成することができる。中心線幾何学形状の使用は、米国特許出願第１４／５２３，７６０号において説明され、その内容はその全体が本明細書に組み込まれる。ネットワークトポロジックモデルはまた、ＣＴ画像から導出されてもよく、気管支鏡検査に特に適している。
【0073】
いくつかの実施形態では、器具はカメラを装備して、ビジョンデータ９２を提供してもよい。位置特定モジュール９５は、ビジョンデータを処理して、１つ以上のビジョンベースの位置追跡を可能にしてもよい。例えば、術前モデルデータは、医療用器具（例えば、内視鏡又は器具が内視鏡の作業チャネルを通って前進する）のコンピュータビジョンベースの追跡を可能にするために、ビジョンデータ９２と共に使用されてもよい。例えば、術前モデルデータ９１を使用して、ロボットシステムは、内視鏡の予想される移動経路に基づいてモデルから予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。操作可能には、このライブラリは、カメラ（例えば、内視鏡の遠位端でのカメラ）でキャプチャされたリアルタイム画像を画像ライブラリ内のものと比較して、位置特定を支援するために、ロボットシステムによって参照され得る。
【0074】
他のコンピュータビジョンベースの追跡技法は、カメラの動き、したがって内視鏡を判定するための特徴追跡を使用する。位置特定モジュール９５のいくつかの特徴は、解剖学的管腔に対応する術前モデルデータ９１内の円形幾何学形状を特定し、どの解剖学的管腔が選択されたかと、カメラの相対的な回転及び／又は並進運動とを判定するためにそれらの幾何学的形状の変化を追跡してもよい。トポロジカルマップの使用は、ビジョンベースのアルゴリズム又は技法を更に向上させることがある。
【0075】
光学フロー、別のコンピュータビジョンベースの技法は、カメラの動きを推測するために、ビジョンデータ９２内のビデオシーケンス内の画像ピクセルの変位及び並進を分析してもよい。光学フロー技術の例としては、動き検出、オブジェクト分割計算、輝度、動き補償符号化、立体視差測定などを挙げることができる。複数の反復にわたる複数のフレームを比較することにより、カメラ（したがって内視鏡）の移動及び位置を決定することができる。
【0076】
位置特定モジュール９５は、リアルタイムＥＭ追跡を使用して、術前モデルによって表される患者の解剖学的構造に位置合わせされ得るグローバル座標系内で内視鏡のリアルタイム位置を生成し得る。ＥＭ追跡では、医療用器具（例えば、内視鏡器具）内の１つ以上の場所及び配向に埋め込まれた１つ以上のセンサコイルを含むＥＭセンサ（又はトラッカー）は、既知の位置に配置された１つ以上の静的ＥＭ場発生器によって生成されるＥＭ場の変動を測定する。ＥＭセンサによって検出された位置情報は、ＥＭデータ９３として記憶される。ＥＭ場発生器（又は送信機）は、埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者に近接して置かれ得る。磁場はＥＭセンサのセンサコイル内に小さな電流を誘導し、ＥＭセンサとＥＭ場発生器との間の距離及び角度を判定するために分析され得る。これらの距離及び配向は、患者の解剖学的構造の術前モデル内の位置と座標系内の単一の位置を位置合わせする幾何学的変換を判定するために、患者の解剖学的構造（例えば、術前モデル）に術中「登録」され得る。一旦登録されると、医療用器具の１つ以上の位置（例えば、内視鏡の遠位先端）に埋め込まれたＥＭトラッカーは、患者の解剖学的構造を通じた医療用器具の進行のリアルタイム表示を提供し得る。
【0077】
ロボットコマンド及び運動学データ９４はまた、ロボットシステムのための位置特定データ９６を提供するために、位置特定モジュール９５によって使用されてもよい。関節運動コマンドから生じるデバイスピッチ及びヨーは、術前較正中に判定され得る。術中、これらの較正測定値は、既知の挿入深度情報と組み合わせて使用されて、器具の位置を推定し得る。あるいは、これらの計算は、ネットワーク内の医療用器具の位置を推定するために、ＥＭ、ビジョン、及び／又はトポロジカルモデリングと組み合わせて分析され得る。
【0078】
図１５が示すように、ある数の他の入力データが位置特定モジュール９５によって使用され得る。例えば、図１５には示されていないが、形状検知繊維を利用する器具は、位置特定モジュール９５が器具の位置及び形状を判定するために使用することができる形状データを提供することができる。
【0079】
位置特定モジュール９５は、組み合わせた入力データ９１～９４（複数可）を使用し得る。場合によっては、このような組み合わせは、位置特定モジュール９５が入力データ９１～９４の各々から判定された位置に信頼重みを割り当てる確率的アプローチを使用し得る。したがって、ＥＭデータが信頼できるとはいえないことがある場合（ＥＭ干渉が存在する場合など）、ＥＭデータ９３によって判定された位置の信頼性を低下させることができ、位置特定モジュール９５は、ビジョンデータ９２並びに／又はロボットコマンド及び運動学データ９４により重く依存してもよい。
【0080】
上述のように、本明細書で論じられるロボットシステムは、上記の技術のうちの１つ以上の組み合わせを組み込むように設計され得る。タワー、ベッド、及び／又はカートに基づいて、ロボットシステムのコンピュータベースの制御システムは、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に、コンピュータプログラム命令を記憶してもよく、コンピュータプログラム命令は、実行されると、システムに、センサデータ及びユーザコマンドを受信及び分析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーション及び位置特定データを表示させる。
【0081】
２．身体の内部領域のマッピング及びナビゲーション
本開示の実施形態は、ロボット制御可能な医療用器具を用いて身体の内部領域をマッピング及び／又はナビゲーションするためのシステム及び技術に関する。以下でより詳細に説明するように、本システム及び技術は、器具が内部領域内をナビゲートされる際に、器具の以前の位置を示す視覚的しるしを生成するように構成され得る。視覚的しるしは、内部領域の基準画像上に重ね合わされ、ユーザに表示され得る。視覚的しるしは、位置センサから受信した位置情報から導出され得る。位置センサは、器具上に位置付けられ得る。視覚的しるしは、器具の以前の位置を表すマップを形成し得る。マップは、内部領域の解剖学的構造を視覚化するために使用され得、また医師により、内部領域内で器具をナビゲートするために使用され得る。例えば、医師は、視覚的しるしによって作成されたマップを使用して、内部領域の以前に訪れた部分にナビゲートしたり、器具が内部領域の新たな（すなわち、以前に訪れていない）部分にナビゲートされているときを判断したりすることができる。
本開示の実施形態は、ロボット制御可能な医療用器具を用いて身体の内部領域をマッピング及び／又はナビゲーションするためのシステム及び技術に関する。以下でより詳細に説明するように、本システム及び技術は、器具が内部領域内をナビゲートされる際に、器具の以前の位置を示す視覚的しるしを生成するように構成され得る。視覚的しるしは、内部領域の基準画像上に重ね合わされ、ユーザに表示され得る。視覚的しるしは、位置センサから受信した位置情報から導出され得る。位置センサは、器具上に位置付けられ得る。視覚的しるしは、器具の以前の位置を表すマップを形成し得る。マップは、内部領域の解剖学的構造を視覚化するために使用され得、また医師により、内部領域内で器具をナビゲートするために使用され得る。例えば、医師は、視覚的しるしによって作成されたマップを使用して、内部領域の以前に訪れた部分にナビゲートしたり、器具が内部領域の新たな（すなわち、以前に訪れていない）部分にナビゲートされているときを判断したりすることができる。
【0082】
本方法及び技術はまた、器具上に位置付けられた画像センサから画像データを受信するように構成され得る。画像データは、静止画像又はビデオを含み得る。本方法及び技術は、特定の位置でキャプチャされた画像を再生し、ユーザに表示することができるように、画像データを位置データとリンクさせ得る。いくつかの実施態様では、画像は、ユーザが位置を選択するとき、又は器具が、リンクされた画像が存在する位置に位置付けられたときに、再生され、表示される。［０１１０］更に、本方法及び技術は、医師が特定の対象となる特徴又は場所にタグ付けすることを可能にするように構成され得る。
【0083】
ロボット制御可能な医療用器具を用いた身体の内部領域のマッピング及び／又はナビゲーションのためのシステム及び技術は、内視鏡又は腹腔鏡処置などの多くの医療処置中に用いられ得る。本システム及び技術は、以下に記載されるように従来技術に関連付けられた１つ以上の合併症又は課題を低減又は排除することによって、従来技術を改善し得る。いくつかの実施形態では、本明細書に記載される技術は、手動医療処置で使用され得る。
【0084】
本明細書に記載される例の多くでは、身体の内部領域のマッピング及び／又はナビゲーションのためのシステム及び技術が、腎臓から腎石を除去するための尿管鏡処置を参照して記載されている。しかしながら、本システム及び技術は、医療器具が、気管支鏡検査、胃鏡検査などの患者の身体の内部領域内でナビゲートされる他の医療処置に用いられ得ることが理解されよう。
【0085】
Ａ．導入
尿管鏡又は経皮的腎石除去処置の開始及び終了時に、医師はマッピング工程を行うことが多い。これは、尿管鏡又は膀胱鏡などの可撓性内視鏡を、第１の（頭側）杯にナビゲートすることと、内視鏡上の撮像デバイスを用いて結石断片を視覚的に観察することと、次いで、最下部の杯に達するまで次の杯へと順次移動することと、を伴い得る。医師は、腎臓形態の幅広い変異にもかかわらず、腎臓の全ての領域が観察されたことを確実にするために、この体系的アプローチを使用する。
尿管鏡又は経皮的腎石除去処置の開始及び終了時に、医師はマッピング工程を行うことが多い。これは、尿管鏡又は膀胱鏡などの可撓性内視鏡を、第１の（頭側）杯にナビゲートすることと、内視鏡上の撮像デバイスを用いて結石断片を視覚的に観察することと、次いで、最下部の杯に達するまで次の杯へと順次移動することと、を伴い得る。医師は、腎臓形態の幅広い変異にもかかわらず、腎臓の全ての領域が観察されたことを確実にするために、この体系的アプローチを使用する。
【0086】
このマッピング手順にはいくつかの課題が存在し得る。第１に、このようなマッピングは時間集約的であり得る。例えば、断片を見つけて処理するたびに、医師は、マッピングプロセスを繰り返し、第１の杯から再び開始する必要がある。第２に、このようなマッピングは、放射線集約的であり得る。例えば、内視鏡視野のみに基づいて内視鏡が腎臓の内側に配置される場合は、不明瞭であることが多い。したがって、医師は、腎臓内の内視鏡の位置を確認するために、全ての杯において、Ｘ線透視画像、場合によっては選択的な腎盂像をとることが多い。第３に、このようなマッピングでは、誤差が起こりがちであり得る。残留断片率は、医師が、このマッピング処置中に杯を見逃すことが多いことを示唆している。
【0087】
本明細書で論じられるいくつかの実施形態は、上述したマッピング技術を改善する、かつ／又は関連する課題のうちの１つ以上を低減若しくは排除することができる、ロボット制御可能な医療器具（例えば、内視鏡、尿管鏡、膀胱鏡など）を用いた身体の内部領域（例えば腎臓、その他）のマッピング及び／又はナビゲーションのためのシステム及び技術に関し得る。例えば、いくつかの実施態様では、本明細書で論じられるマッピング及び／又はナビゲーションのためのシステム及び技術は、放射線の量及びマッピングに必要な処置時間を低減しながら、器具を腎臓の全ての杯を通ってナビゲートしたという医師の自信を高めることができる。
【0088】
いくつかの実施態様では、マッピング及び／又はナビゲーションのためのシステム及び技術は、解剖学的構造のマップ様コンテキストによる器具の位置の連続的な追跡を医師に提供し得る。更に、いくつかの実施態様では、内視鏡上の撮像デバイスを用いて撮影された画像、及び対象の場所にタグ付けすることは、器具が解剖学的構造内に現在位置する場所を医師に通知する能力を更に強化する。
【0089】
例えば、その遠位先端（又はスコープ上の他の場所）に組み込まれたＥＭセンサ（又は他の位置センサ）を含む可撓性尿管鏡又は可撓性膀胱鏡は、腎臓をナビゲートするために使用される内視鏡の作業チャネルを通して挿入され得る。ＥＭセンサは、器具の位置（例えば、位置及び／又は向き）を示す位置データを提供し得る。以下でより詳細に説明するように、ＥＭセンサに加えて、又はＥＭセンサの代わりに、器具の位置（例えば、形状検知ファイバ、インピーダンス追跡、又は他の形態の位置特定）を決定するための他のセンサ及び方法が使用され得る。位置情報から導出された視覚的しるしは、医師に表示され得る。いくつかの実施態様では、視覚的しるしは、解剖学的構造の基準画像（例えば、手術前ＣＴ画像又は手術中若しくは手術前逆行性腎盂像）上に重ね合わされる。位置データは、位置データの座標系を基準画像の座標系とそろえるために、例えば、１点、２点、又は３点位置合わせを用いて位置合わせされ得る。
【0090】
位置データの座標系と基準画像の座標系との位置合わせは、様々な方法で達成され得る。一例として、スコープは、スコープの視点から（例えば、スコープ上の撮像デバイスでキャプチャされた画像内で）及び／又は基準画像内で、例えば、スコープの視点からと基準画像内との両方で認識され得る解剖学的構造内の１つ以上の特徴にナビゲートされ得る。認識された解剖学的特徴に位置付けられたときのスコープからの位置データは、位置データの座標系を基準画像の座標系とそろえるために使用され得る。いくつかの実施例では、腎臓の場合、スコープは、スコープ上の撮像デバイスを使用して腎臓内の漏斗部の１つ以上にナビゲートされ得る。漏斗部の位置に関するＥＭセンサからの位置データは、位置合わせを達成するために、基準画像内の漏斗部の位置とそろえられ得る。画像ベースの位置合わせのための他の方法（すなわち、スコープ上の撮像デバイスでキャプチャされた画像内で認識された位置を基準画像内の位置と相関させること）も可能である。別の位置合わせの例として、解剖学的構造の基準画像又は別の画像（例えば、ＣＴ画像）は、スコープ自体が画像内に見えるように、スコープが解剖学的構造内に位置付けられている間にキャプチャされ得る。位置データを介して（例えば、ＥＭデータから）決定されるようなスコープの位置、及び画像内のスコープの位置は、位置データ及び基準画像の両方の座標フレームをそろえるために使用され得る。他の位置合わせ方法も可能である。
【0091】
いくつかの実施態様では、位置合わせ後、器具が内部領域内で移動する際に、器具の位置が基準画像上に表示され得る。いくつかの実施形態では、視覚的しるしは、器具の履歴（例えば、以前の）位置を示す、パンくずリスト（例えば、データポイント、トレース、又は任意の他の好適な視覚的インジケータ）として表示される。表示された視覚的しるしは、腎臓の全ての杯が器具を用いてナビゲートされたことを確認する際の医師の助けとなり得る。いくつかの実施態様では、医師が器具を腎臓に通してナビゲートする際、表示される視覚的しるしは、腎臓の解剖学的構造を表すマップを形成する。医師は、このマップを使用して、腎臓内の以前に訪れた位置を再訪することができ、かつ／又は器具が現在新しい（すなわち、以前に訪れていない）杯内に位置付けられているかどうかを判断することができる。
【0092】
いくつかの実施態様では、視覚的しるしは、腎臓の解剖学的構造を表す三次元メッシュ構造を含み得る。このようにして、医師が器具を腎臓に通してナビゲートする際、視覚的しるしは、腎臓の以前に訪れた解剖学的構造の三次元モデルを構築し得る。いくつかの実施態様では、メッシュは、ＥＭセンサから受信した位置情報、並びに場合によっては、器具上の撮像デバイスから受信した画像データから導出される。
【0093】
本明細書に記載されるマッピング及び／又はナビゲーションのためのシステム及び技術は、器具を解剖学的構造に通してナビゲートする間に、対象の場所及び／又は特徴にタグ付けすることを可能にし得る。例えば、医師は、ナビゲートしながら、「杯１」、「上極」、「大石」など、対象の点を「タグ付けする」ことができる。いくつかの実施態様では、点がタグ付けされると、位置が撮影された位置と共に（例えば、ＥＭセンサによって決定され得るように）自動的に保存される。タグ付けされた点は基準画像上に表示され得、システムは、ユーザがラベル又は書面による説明などの補足データを追加することを可能にし得る。いくつかの実施態様では、後続のナビゲーション中（同じ処置中又は後続の処置中のいずれか）、本明細書に記載されるマッピング及び／又はナビゲーションのためのシステム及び技術は、器具が以前にタグ付けされた点付近に位置付けられたときを決定し、参照用に保存された画像を持ち出すか、又はユーザがユーザ選択に基づいてタグ付けされた点を再生することを可能にし得る。
【0094】
腎臓の三次元マップを作成することが可能であることに加えて、マッピング及び／又はナビゲーションのためのシステム及び技術は、記録された画像又はビデオ（例えば、器具上の撮像デバイスで撮影された）を、腎臓内でのそれらの解剖学的位置及び向きと相関させるために使用され得る。これにより、医師は、医師がどの杯を閲覧しているかを理解することができ、かつ／又は特定の位置からの画像を再生することができ得る。
【0095】
ＥＭセンサから受信した位置情報から導出された視覚的しるしを解剖学的構造の基準画像上に重ね合わせることにより、医師がデータをコンテキスト化することを可能にし得る。これは、医師が、解剖学的構造及び解剖学的構造内の器具の位置を視覚化することを可能にし得る。これは、医師が、見逃した可能性のある腎臓の任意の領域を識別することを更に可能にし得る。タグ付けは、視覚的しるしを理解する医師の能力を更に向上させることができ、タグ付けされた位置の画像を再生することにより、医師は、タグ付けされた位置が以前に観察されたものと同じであるという視覚的確認を行うことができ得る。これらのシステム及び技術は、処置時間、放射線曝露、及び／又は見逃した杯のエラー率を低減し得る。
【0096】
現在、従来の尿管鏡検査は、尿管鏡がそれぞれの杯に達していることを確認するのに、複数の蛍光透視画像に依存している。通常、腎臓は処置中にコントラストで満たされておらず、これは、適切な杯がアクセスされたことを確認するための解剖学的ランドマークが非常に少ないことを意味する。
【0097】
例えば、図１６Ａ～図１６Ｃは、尿管鏡検査処置中に撮影された３つの例示的なＸ線透視画像を示す。図１６Ａは、腎臓１０３内でナビゲートする器具を示す第１の例示的なＸ線透視画像１０１ａである。画像１０１ａに示されるように、腎臓１０３の輪郭は可視であるが、腎臓１０３の特定の内部構造はすぐには明らかにならない。腎臓１０３内をナビゲートする器具１０５は、第１の位置で可視である。第１の配置は、腎臓１０３の第１の杯であり得る。医師は、画像１０１ａを撮影して、器具１０５が第１の杯内に位置付けられていることを確認することができる。図１６Ｂは、腎臓１０３内の第２の位置にある器具１０５を示す第２の例示的なＸ線透視画像１０１ｂである。第２の位置は、腎臓１０３の第２の杯であり得る。医師は、画像１０１ｂを撮影して、器具１０５が第２の杯内に位置付けられていることを確認することができる。図１６Ｃは、腎臓１０３内の第３の位置にある器具１０５を示す第３の例示的なＸ線透視画像１０１ｃである。第３の位置は、第３の杯であり得る。医師は、画像１０１ｃを撮影して、器具１０５が第３の杯内に位置付けられていることを確認することができる。図１６Ａ～図１６Ｃに示されるように、従来の尿管鏡検査中、医師は、腎臓１０３内の器具の位置を決定するために、ナビゲーションの異なる段階で複数のＸ線透視画像を撮影しなければならない。上述したように、これは、放射線への多重露出を必要とし、時間がかかり、誤差が起こりがちであり得るため、不利になり得る。
【0098】
図１７は、腎臓内をナビゲートする器具の位置センサから受信した位置データを示す、表す、又はそこから導出される視覚的しるし１１０の例示的な表現を示す。図示した例では、位置データの視覚的しるし１１０は、トレースとして表示される。いくつかの実施形態では、トレースは、線によって接続された一連の点を含み得る。トレースは、腎臓内をナビゲートするときに器具が移動する経路を示し得る。図示のように、経路は、内部領域の解剖学的構造を表し得るマップを形成し得る。視覚的しるし１１０及び／又は位置データは、腎臓を通って移動するときの器具の先端の連続的又はほぼ連続的な位置追跡を表し得る。視覚的しるし１１０は、特に内部領域の基準画像上に重ね合わされたときに、有用な画像又はマップを作成し得る。
【0099】
図１８は、腎臓の基準画像１１５上に重ね合わされた図１７の視覚的しるし１１０の表現を示す。これに関連して、視覚的しるし１１０は、ナビゲーションを支援するために使用され得る解剖学的構造のマップを提供する。更に、医師は、対象とする特定の場所にタグ付けすることができる。タグ付けされた情報はまた、基準画像上に重ね合わせられ得る。例えば、図１８の例では、腎臓の７つの杯がタグ付けされる。
【0100】
いくつかの実施態様では、内部領域の解剖学的構造を表す視覚的しるし１１０が導出され得る。例えば、図１８に示すように、解剖学的構造の輪郭１１７は、位置データ及び／又は視覚的しるし１１０から導出され、基準画像上に重ね合わされ得る。図示された実施形態では、輪郭１１７は、解剖学的構造の二次元表現として示されているが、いくつかの実施態様では、輪郭１１７は、解剖学的構造を表す三次元メッシュを含み得る。したがって、輪郭１１７は、処置中に医師のナビゲーションを補助し得る内部領域のモデルを提供し得る。
【0101】
次に、身体の内部領域のマッピング及びナビゲーションのための方法及びシステムのこれら及び他の特徴及び利点を、いくつかの特定の例示的な方法及びシステムを参照しながらより詳細に説明する。説明される方法及びシステムは、単なる例として提供され、本開示の原理を例示することを意図している。本開示は、記載される例のみに限定されるべきではない。
【0102】
Ｂ．身体の内部領域のマッピング及びナビゲーションのための例示的な方法及びシステム
図２０Ａは、身体の内部領域をマッピングするための例示的な方法２００を示すフローチャートである。方法２００は、図１～図１５、図２２、及びその他に示されるロボットシステムなどの特定のロボットシステムに実装されてもよい。いくつかの実施態様では、１つ以上のコンピュータデバイスが方法２００を実行するように構成されてもよい。コンピュータデバイスは、上述又は後述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。コンピュータ可読メモリは、方法２００を実行するためにプロセッサ（複数可）によって実行され得る命令を記憶してもよい。命令は、１つ以上のソフトウェアモジュールを含んでもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～図４に示されるカートであってもよく、図５～図１０に示されるベッドなどであってもよい。
図２０Ａは、身体の内部領域をマッピングするための例示的な方法２００を示すフローチャートである。方法２００は、図１～図１５、図２２、及びその他に示されるロボットシステムなどの特定のロボットシステムに実装されてもよい。いくつかの実施態様では、１つ以上のコンピュータデバイスが方法２００を実行するように構成されてもよい。コンピュータデバイスは、上述又は後述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。コンピュータ可読メモリは、方法２００を実行するためにプロセッサ（複数可）によって実行され得る命令を記憶してもよい。命令は、１つ以上のソフトウェアモジュールを含んでもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～図４に示されるカートであってもよく、図５～図１０に示されるベッドなどであってもよい。
【0103】
方法２００は、例えば、医療器具が、例えば、多種多様な医療処置（例えば、内視鏡及び／又は腹腔鏡処置）中に身体の内部領域内でナビゲートされるときに実行されてもよい。内部領域は、例えば、臓器、管腔、管腔ネットワーク、及び／又は空洞などであり得る。いくつかの実施態様では、方法２００は、器具が内部領域に導入されるときに開始されてもよい。方法２００は、自動的に（例えば、初期化時又はイベントの検出時に）トリガされてもよく、又は手動で（例えば、ユーザ入力又はコマンドの受信時に）トリガされてもよい。
【0104】
方法２００は、身体の内部領域の基準画像が表示されるブロック２０１で開始する。基準画像は、身体の内部領域を表現又は図示し得る。いくつかの実施態様では、基準画像は、例えば、逆行性腎盂像処置中にキャプチャされた画像、Ｘ線透視画像、超音波画像、コンピュータ断層撮影（ＣＴ）処置中にキャプチャされた画像、及び磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされた画像、若しくは任意の他のタイプの医療画像のうちの１つ以上であり得る。
【0105】
いくつかの実施態様では、基準画像は手術中にキャプチャされ得る。例えば、基準画像は、方法２００が実装される医療処置中にキャプチャされ得る。そのような場合、方法２００は、基準画像をキャプチャする工程を含んでもよい。いくつかの実施態様では、基準画像は、手術前にキャプチャされ得る。例えば、処置前（例えば、以前の処置中又は医師への以前の訪問中）に撮影された内部領域の画像が基準画像として使用され得る。
【0106】
基準画像は、医療処置を行う医師に表示され得る。前述したように、基準画像は、内部領域の解剖学的構造のいくらかの指標を提供し得る。しかしながら、いくつかの実施態様では、基準画像のみでは、解剖学的構造を完全に理解するのに十分な詳細を医師に提供することができない。例えば、図１６Ａ～図１６Ｃの例示的なＸ線透視画像に示されるように、Ｘ線透視画像は、内部領域の概形のみを提供し得る。図１６Ａ～図１６Ｃでは、腎臓１０３の一般的な形状を見ることができるが、腎臓の特定の内部解剖学的構造及びレイアウト（例えば、極、杯など）は完全には見えない。
【0107】
以下でより詳細に論じられるように、基準画像は、器具上の位置センサから受信した位置情報から導出される視覚的しるしを重ね合わせることができるコンテキストを提供し得る。
【0108】
方法２００は、処置中の放射線曝露の量を低減するか、又は完全に排除し得る。例えば、いくつかの実施態様では、患者は、基準画像がキャプチャされたときに、処置中に１回のみ放射線に曝露される。対照的に、従来の尿管鏡検査中、医師は一般的に、上述の処置を通して複数のＸ線透視画像（患者を複数線量の放射線に曝露する）を行う。図１６Ａ～図１６Ｃは、例示的なＸ線透視画像を示し、これらの画像の全ては、単一の尿管鏡検査中にキャプチャされ得る。従来の尿管鏡検査では、医師は、それぞれの杯が訪問されたことを判断するのに、連続するＸ線透視画像に依存し得る。しかしながら、方法２００のいくつかの実施態様では、単一の基準画像のみがキャプチャされる必要があり、したがって、患者が曝露される放射線の量が制限される。更に、方法２００のいくつかの実施態様では、処置中の放射線照射は、例えば、以前の処置又は医師の訪問中に以前にキャプチャされた基準画像を使用することによって完全に排除され得る。
【0109】
ブロック２０３では、方法２００は、身体の内部領域内で器具を移動させる（例えば、ナビゲートする）ことを伴う。器具は、例えば、内視鏡１３（図１）、尿管鏡３２（図３）、器具３４（図４）、尿管鏡５６（図８）、腹腔鏡５９（図９）、器具７０（図１３）、若しくは上述した器具８６（図１４）、又は後述する器具４０１（図２２）などの本明細書に記載の任意の他の医療器具であり得る。いくつかの実施態様では、器具は、本開示全体を通して記載されるロボット制御可能な医療システムによって制御されるロボット制御可能な器具であり得る。いくつかの実施形態では、器具は、手動制御器具であり得る。
【0110】
器具は、少なくとも１つの位置センサを含み得る。位置センサは、器具の位置（例えば、位置及び／又は向き）に関する位置情報を提供するように構成され得る。位置センサは、例えば、上述のＥＭセンサであり得る。ＥＭセンサは、ＥＭ場発生器によって生成されたＥＭ場内のＥＭセンサの位置（例えば、位置及び／又は向き）に関する位置情報を提供するように構成され得る。いくつかの実施態様では、位置センサは、器具上に位置付けられたＥＭ場発生器であり得る。ＥＭ場発生器の位置は、患者の外部に位置付けられた複数のＥＭセンサに対して決定されて、器具の位置を決定し得る。いくつかの実施態様では、他のタイプの位置センサが使用され得る。例えば、位置センサは、形状検知ファイバ（例えば、光ファイバ形状センサ）、インピーダンス追跡装置、加速度計、ジャイロスコープ、超音波センサ、又は器具の位置を決定するための任意の他の種類のセンサであり得る。
【0111】
位置センサのうちの１つ以上は、器具上に位置付けられてもよい。例えば、位置センサのうちの１つ以上は、器具の遠位先端上に位置付けられてもよい。いくつかの実施態様では、位置センサのうちの１つ以上は、器具上に位置付けられていない。例えば、位置センサは、器具の近位端又は器具が取り付けられるロボットアームのモーターパック上のトルクセンサであり得る。位置センサの他の例としては、ロボット制御可能な医療システムによって命令される移動データを含んでもよく、移動データは、器具の推定される姿勢及び位置、並びに／又は撮像デバイスから受信したビジョンデータを画像上でモデル化するために使用され得、これを分析して、器具の移動及び位置が決定され得る。
【0112】
方法２００のいくつかの実施態様では、医師は、例えば、ロボット制御可能な医療システムにコマンドを提供することによって、内部領域内での器具の移動を制御する。医師は、器具の移動を制御して、内部領域内で器具をナビゲートすることができる。例えば、尿管腎石除去の処置中、医師は、除去すべき結石に器具をナビゲートすることができ、又は前述したように、医師は、腎臓のそれぞれの杯を通って器具をナビゲートして、結石及び結石片が除去されたことを確認するためにそれぞれの杯を目視検査することができる。別の例として、医師は、器具を対象の領域にナビゲートすることができる。例えば、医師は、その領域を監視、生検、治療、又は切除するために、移行上皮癌の領域に器具をナビゲートすることができる。後述するように、器具の移動又はナビゲーションは、基準画像上に重ね合わされた、位置センサから受信した位置情報から導出される視覚的しるしによって補助され得る。
【0113】
ブロック２０５では、方法２００は、少なくとも１つの位置センサから位置情報を受信することを伴う。上述したように、位置情報は、器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置情報は、器具の３自由度位置を含み得る。例えば、位置情報は、デカルト座標系内の器具の位置を表すｘ、ｙ、及びｚ座標を含み得る。他の座標系（例えば、極性）も使用されてもよい。いくつかの実施態様では、位置情報は、器具のより高い自由度位置を含み得る。例えば、位置情報は、例えば、器具の向きを示す、位置のｘ、ｙ、及びｚ座標並びに器具のピッチ及びヨー角の指標を含む、５自由度位置を含み得る。器具の６自由度位置はまた、器具のロール情報を含み得る。
【0114】
いくつかの実施態様では、位置情報は、複数の位置データセットを含む。それぞれの位置データセットは、器具の移動中の器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置データセットは、器具が内部領域を通って移動する際に連続的に生成される。それぞれの位置データセットは、特定の時点における器具の位置を示し得る。したがって、位置データセットは、器具の履歴位置のログを含み得る。
【0115】
ブロック２０７では、方法２００は、位置情報から導出された視覚的しるしを基準画像上に重ね合わせて、器具の履歴位置を特徴付けることを伴う。例えば、ブロック２０７は、位置データセットの少なくともサブセットから導出された視覚的しるしを基準画像上に重ね合わせて、身体の内部領域内で移動中の器具の履歴位置を特徴付けることを伴い得る。重ね合わされた視覚的しるしは、医師が内部領域をナビゲートするのを補助し得るマップを形成し得る。視覚的しるしは、器具が内部領域をナビゲートする際に移動する経路を表し得る。基準画像の上に重ね合わされた視覚的しるしは、ユーザディスプレイを介して医師に表示され得る。このように、基準画像は、表示された視覚的しるしを理解し視覚化するコンテキストを提供する。
【0116】
いくつかの実施態様では、視覚的しるしは、位置データセットの少なくともサブセットに対応する点（例えば、パンくずリスト）を含み得る。これらの点が基準画像上にプロットされて、器具の履歴位置を表示し得る。点は、多種多様な視覚的しるしによって表され得る。例えば、視覚的しるしは、ドット、ダッシュ、Ｘ、他の形状などの任意の好適な形状又はマーカーとして表され得る。
【0117】
様々な基準を使用して、基準画像上に視覚的しるしを重ね合わせるとき（すなわち、視覚的しるしが重ね合わされる頻度）が決定され得る。これらの基準としては、例えば、器具が移動した距離（例えば、以前の視覚的しるしから移動した距離）、移動方向、以前の重ね合わされた視覚的しるしから経過した時間などが挙げられ得る。当業者であれば、これらの基準は、視覚的しるしが生成され、基準画像上に重ね合わされる頻度、並びに連続する視覚的しるし間の距離を決定するために変更され得ることを理解するであろう。
【0118】
いくつかの実施態様では、位置データセットのサブセットは、持続時間的頻度で基準画像上に重ね合わされる。持続時間的頻度は、重ね合わせられた視覚的しるし間の時間を含み得る。例えば、視覚的しるしは、約０．０５秒毎に、すなわち、約０．０５秒の時間間隔で重ね合わせられ得る。他の例では、視覚的しるしは、約０．１、約０．２５秒、又は約０．５秒の時間間隔、並びに列挙された例より短いものとより長いものとの両方の他の持続時間で重ね合わされ得る。いくつかの実施形態では、持続時間的頻度は様々であってもよい。例えば、それぞれの重ね合わされた視覚的しるしの間に固定の持続時間が存在する必要はない。
【0119】
いくつかの実施態様では、位置データセットのサブセットは、位置的頻度で基準画像上に重ね合わされる。位置的頻度は、重ね合わされた視覚的しるし間の距離を含み得る。例えば、視覚的しるしは、約０．０５ｍｍ、約０．１ｍｍ、約０．２５ｍｍ、約０．５ｍｍ、約１．０ｍｍ、又は約２．０ｍｍの間隔、並びに列挙された例より短いものとより長いものとの両方の他の距離で重ね合わされ得る。いくつかの実施形態では、位置的頻度は様々であってもよい。例えば、それぞれの重ね合わされた視覚的しるしの間に固定の距離が存在する必要はない。
【0120】
いくつかの実施態様では、視覚的しるしは、器具の履歴位置を表す連続トレースを形成するように、基準画像上に実質的に連続して重ね合わされる（例えば、図１７及び図１８を参照されたい）。いくつかの実施態様では、器具の移動の履歴経路を表示するために、持続時間的頻度又は位置的頻度で（例えば、別個の点として）重ね合わされた視覚的しるしが繋げられ得る。例えば、いくつかの実施態様では、隣接する重ね合わされた視覚的しるしを繋げるために、線が使用されてもよい。別の実施例では、曲線が、重ね合わされた視覚的しるしに適合されてもよい。
【0121】
医師が器具を内部領域に通してナビゲートし、視覚的しるしが基準画像上に重ね合わされると、視覚的しるしはマップを形成し始め得る。マップは、器具の履歴位置を表し得る。マップはまた、内部領域の解剖学的構造を表し得る。例えば、医師がそれぞれの杯の内外にナビゲートする際に、視覚的しるしによって形成された経路は、それぞれの杯の構造を表し得る。医師は、器具が現在新たに（すなわち、以前に訪れていない杯に）ナビゲートされているか否かを決定するため、又は以前に訪れた杯に戻るために、このマップを使用することができる。
【0122】
いくつかの実施態様では、基準画像上に重ね合わされた視覚的しるしは、内部領域の解剖学的構造を表すメッシュを含み得る。例えば、場合によっては、管状構造体を位置データセットの周囲に適合させて、解剖学的構造を表す三次元メッシュ又はモデルを開発することができる。管状構造体の直径又は他の形状は、内部領域内の器具の移動に基づいて決定され得る。いくつかの実施態様では、管の直径又は他の形状は、器具上に位置付けられた撮像デバイスから受信した位置データセット及び画像に基づいて決定される。例えば、この方法は、その位置でキャプチャされた画像から所定の位置にある管の直径を推定することができる。これを元に、内部領域の解剖学的構造を表す三次元メッシュが開発され、基準画像上に重ね合わされた視覚的しるしとして表示され得る。
【0123】
場合によっては、視覚的しるしは経時的に変化してもよい。例えば、視覚的しるしは、より最近移動した部分が以前に移動した部分よりも暗くなるように、経時的に消えていってもよい。別の例として、内部領域の異なる領域からの視覚的しるしは、異なる色として表され得（例えば、図１７及び図１８を参照）、異なる色は異なるタイプの破線によって表される。例えば、それぞれの異なる杯を通る経路を示すために、異なる色が使用され得る。
【0124】
いくつかの実施態様では、データは視覚的しるしと関連付けられ得る。例えば、医師は、特定の視覚的しるしに関連付けられたデータを含む注記を作成することができる。ユーザは、コマンドコンソールを介してデータを入力することができ、データはディスプレイを介して閲覧され得る。
【0125】
基準画像上に重ね合わされた視覚的しるしは、手術中（処置中）、ユーザに表示され得る。基準画像上に重ね合わされた視覚的しるしは、将来の医療処置中に使用するために記憶又は保存され得る。
【0126】
【0127】
方法２００はまた、対象の場所又は特徴にタグ付けするように作用し得る。例えば、方法２００は、器具上に位置付けられた撮像デバイスから現在の画像を受信及び表示することを含み得る。画像を閲覧する医師は、画像が対象の場所又は特徴を含むものと判断することができる。例えば、医師は、画像が、杯への入口、腎臓の極、移行上皮癌の領域、腎石、結石断片などを含むものと判断することができる。医師は、この位置にタグ付けすることができる。医師は、タグ付けされた位置に関連するデータを入力することができる。タグ付けされた位置及び／又は入力データは、基準画像上に重ね合わされてもよい（例えば、タグ付けされた腎臓の７つの杯を示す図１８を参照されたい）。
【0128】
いくつかの実施態様では、方法２００は、対象の特徴を自動的に検出しタグ付けするように作用し得る。例えば、器具上の撮像デバイスから受信した画像が処理され、分析されて、器具の任意の位置又は特徴を含むか否かが決定され得る。例えば、自動化されたプロセスは、画像内の結石、結石断片、又は杯への入口を検出し、これらの位置を自動的にタグ付けし得る。前述のように、タグ付けされた位置及び／又は関連付けられたデータは、基準画像上に重ね合わされ得る。
【0129】
いくつかの実施態様では、方法２００は、生理的動態を考慮するために位置センサによって決定された位置を調整し、調整された位置を基準画像上に重ね合わせるように作用し得る。例えば、運動センサは、患者の上に位置付けられ得る。運動センサは、患者の運動（例えば、呼吸）を検出し、患者の運動を考慮するために位置センサによって決定された位置を調整し得る。
【0130】
図２０Ｂは、身体の内部領域をマッピングするための別の例示的な方法２２０を示すフローチャートである。方法２２０は、図１～図１５、図２２、及びその他に示されるロボットシステムなどの特定のロボットシステムに実装され得る。いくつかの実施態様では、１つ以上のコンピュータデバイスが方法２２０を実行するように構成されてもよい。コンピュータデバイスは、上述又は後述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。コンピュータ可読メモリは、方法２２０を実行するためにプロセッサ（複数可）によって実行され得る命令を記憶してもよい。命令は、１つ以上のソフトウェアモジュールを含んでもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～図４に示されるカートであってもよく、図５～図１０に示されるベッドなどであってもよい。
【0131】
方法２２０は、例えば、医療器具が、例えば、多種多様な医療処置（例えば、内視鏡及び／又は腹腔鏡処置）中に身体の内部領域内でナビゲートされるときに実行されてもよい。内部領域は、例えば、臓器、管腔、管腔ネットワーク、及び／又は空洞などであり得る。いくつかの実施態様では、方法２２０は、器具が内部領域に導入されたときに開始されてもよい。方法２２０は、自動的に（例えば、初期化時又はイベントの検出時に）トリガされてもよく、又は手動で（例えば、ユーザ入力又はコマンドの受信時に）トリガされてもよい。
【0132】
方法２２０は、器具が身体の内部領域内で移動されるブロック２２１で開始する。ブロック２２３では、方法２２０は、位置センサから器具の位置情報を受信することを伴う。ブロック２２１、２２３は、前述した方法２００のブロック２０３、２０５と同様であり得る。簡潔にするため、ここにはブロック２２１、２２３の特徴を再び記載しない。
【0133】
ブロック２２５では、方法２２０は、位置情報から導出された視覚的しるしを表示して、身体の内部領域の構造を特徴付けることを伴う。多くの点で、ブロック２２５は、方法２００のブロック２０７と同様である。しかしながら、方法２００のブロック２０７とは対照的に、ブロック２２５は、視覚的しるしを基準画像上に重ね合わせることを必ずしも伴わない。実際に、いくつかの実施態様では、方法２２０は、基準画像の使用を全く伴わなくてもよい。代わりに、ブロック２２５は、位置情報から導出された視覚的しるしをユーザに直接（すなわち、任意の基準画像を参照することなく）表示することを伴い得る。このような視覚的しるしの例は、視覚的しるし１１０として表される位置情報を示す図１７に示されている。図１７に示されるように、基準画像は示されていないが、場合によっては、視覚的しるし１１０のみが、身体の内部領域の構造を特徴付けるのに十分であり得る。例えば、図１７の視覚的しるし１１０のトレースをたどることによって、医師は、内部領域の以前にナビゲートされた領域の一般的な解剖学的構造を理解することができる。ブロック２２５で表示される視覚的しるし１１０は、別個の点で表示される視覚的しるし、線でつながれた又は線に適合された視覚的しるし、解剖学的構造を表すメッシュなどを含む、本明細書に記載される任意の種類の視覚的しるしであり得る。
【0134】
方法２２０は、器具が内部領域を通ってナビゲートする際に、身体の内部領域のモデル又はマップを有利に構築することができる。場合によっては、モデル又はマップは、以前に訪れた位置に戻るために、又は器具が内部領域の新たな部分にナビゲートされているときを判断するために、医師によって使用され得る。場合によっては、器具が内部領域内でナビゲートされるほど、マップ又はモデルがより明瞭になる。
【0135】
いくつかの実施態様では、方法２２０は、１つ以上の追加のブロックを含み得る。例えば、方法２２０は、以下に記載する方法３００（図２１Ａ）及び／又は方法３２０（図２１Ｂ）のブロックのうちの１つ以上を含み得る。
【0136】
図２１Ａは、身体の内部領域のナビゲーションのための例示的な方法３００を示すフローチャートである。方法３００は、図１～図１５、図２２、及びその他に示されるロボットシステムなどの特定のロボットシステムに実装され得る。いくつかの実施態様では、１つ以上のコンピュータデバイスは、方法３００を実行するように構成されてもよい。コンピュータデバイスは、上述又は後述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。コンピュータ可読メモリは、方法３００を実行するためにプロセッサ（複数可）によって実行され得る命令を記憶してもよい。命令は、１つ以上のソフトウェアモジュールを含んでもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～図４に示されるカートであってもよく、図５～図１０に示されるベッドなどであってもよい。
【0137】
方法３００は、例えば、医療器具が、例えば、多種多様な医療処置（例えば、内視鏡及び／又は腹腔鏡処置）中に身体の内部領域内でナビゲートされるときに実行されてもよい。内部領域は、例えば、臓器、管腔、管腔ネットワーク、及び／又は空洞などであり得る。いくつかの実施態様では、方法３００は、器具が内部領域に導入されたときに開始されてもよい。方法３００は、自動的に（例えば、初期化時又はイベントの検出時に）トリガされてもよく、又は手動で（例えば、ユーザ入力又はコマンドの受信時に）トリガされてもよい。
【0138】
方法３００は、器具が身体の内部領域内で移動されるブロック３０１で開始する。器具は、例えば、内視鏡１３（図１）、尿管鏡３２（図３）、器具３４（図４）、尿管鏡５６（図８）、腹腔鏡５９（図９）、器具７０（図１３）、若しくは上述した器具８６（図１４）、又は後述する器具４０１（図２２）などの本明細書に記載の任意の他の医療器具であり得る。いくつかの実施態様では、器具は、本開示全体を通して記載されるロボット制御可能な医療システムによって制御されるロボット制御可能な器具であり得る。
【0139】
器具は、ＥＭセンサ、ＥＭ場発生器、形状検知ファイバ（例えば、光ファイバ形状センサ）、インピーダンス追跡装置、加速度計、ジャイロスコープ、超音波センサ、又は器具の位置を決定するための任意の他の種類のセンサなどの位置センサを含み得る。
【0140】
方法３００のいくつかの実施態様では、医師は、例えば、前述のようにロボット制御可能な医療システムにコマンドを提供することによって、内部領域内での器具の移動を制御する。医師は、器具の移動を制御して、前述のように内部領域内の所望の場所に器具をナビゲートすることができる。
【0141】
ブロック３０３において、方法３００は、器具の移動中に器具の少なくとも１つの位置センサから位置情報を受信することを伴う。位置情報は、前述のように器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置情報は、器具の３自由度位置を含み得る。いくつかの実施態様では、位置情報は、５自由度位置又は６自由度位置など、器具のより高い自由度位置を含み得る。
【0142】
いくつかの実施態様では、位置情報は、複数の位置データセットを含む。それぞれの位置データセットは、器具の移動中の器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置データセットは、器具が内部領域を通って移動する際に連続的に生成される。それぞれの位置データセットは、特定の時点における器具の位置を示し得る。したがって、位置データセットは、器具の履歴位置のログを含み得る。
【0143】
ブロック３０５において、方法３００は、器具の移動中に内部領域内の器具の撮像デバイスから画像データを受信することを伴う。撮像デバイスは、受信した光を表すエネルギーを電気信号、例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサに変換するように構成された任意の感光性基板又は構造であってもよい。いくつかの例では、撮像デバイスは、１つ以上の光ファイバを含み得る。例えば、撮像デバイスは、器具の遠位端から画像センサに画像を表す光を送信するように構成された光ファイバの束であってもよい。撮像デバイスによってキャプチャされた画像は、個々のフレームとして、又は一連の連続するフレーム（例えば、ビデオ）として、記憶又は表示のためのコンピュータシステムに送信され得る。
【0144】
画像データは、内部領域内の１つ以上の場所で撮像デバイスによってキャプチャされた１つ以上の画像又はビデオを含み得る。いくつかの実施態様では、撮像デバイスは、画像データを自動的にキャプチャするように構成される。例えば、撮像デバイスは、持続時間的頻度で画像をキャプチャするように構成され得る。持続時間的頻度は、キャプチャされた画像間の時間を含み得る。例えば、画像は、約０．０５秒、約０．１秒、約０．２５秒、又は約０．５秒の間隔で、並びに列挙された例より短いものとより長いものとの両方の他の持続時間でキャプチャされ得る。いくつかの実施形態では、持続時間的頻度は様々であってもよい。例えば、それぞれのキャプチャされた画像間に固定の持続時間が存在する必要はない。撮像デバイスは、位置的頻度で画像をキャプチャするように構成され得る。例えば、位置的頻度は、キャプチャされた画像間に、器具によって移動される距離を含み得る。例えば、画像は、約０．０５ｍｍ、約０．１ｍｍ、約０．２５ｍｍ、約０．５ｍｍ、約１．０ｍｍ、又は約２．０ｍｍの間隔、並びに列挙された例より短いものとより長いものとの両方の他の距離でキャプチャされ得る。いくつかの実施形態では、位置的頻度は様々であってもよい。例えば、それぞれのキャプチャされた画像間に固定の距離が存在する必要はない。いくつかの実施形態では、画像は、実質的に連続してキャプチャされる。
【0145】
いくつかの実施態様では、画像は、ユーザコマンドの受信時にキャプチャされる。例えば、医師は、画像をキャプチャするときを選択することができる。
【0146】
ブロック３０７では、方法３００は、１つ以上の画像の少なくともサブセットを、位置センサによって決定される、それぞれの画像がキャプチャされた位置に基づいて、位置データセットの少なくともサブセットにリンクさせることを伴う。例えば、１つ以上の画像の少なくともサブセットに関して、画像が撮影された位置で受信された位置データは、画像にリンク（例えば、保存）され得る。画像は、３自由度位置（例えば、空間内の点）とリンクされ得る。画像はまた、例えば、前述した５又は６自由度位置など、より高次元の自由度位置で画像をリンクさせることによって、向き情報とリンクされ得る。ブロック３０７において、方法３００は、画像がキャプチャされた位置に関連付けられるか、又はリンクされる画像のデータベースを作成してもよい。後述するように、画像は、医師に表示するためのそれらの関連する位置又はリンクされた位置に基づいて、データベースから再生され得る。
【0147】
いくつかの実施態様では、全てのキャプチャされた画像は、それらの関連する位置データセットとリンクされる。いくつかの実施態様では、１つ以上の画像のサブセットのみが、それらの関連する位置データセットとリンクされる。サブセットは、持続時間的頻度（例えば、約０．１秒、約０．２５秒、約０．５秒、若しくは約１．０秒の持続時間的頻度）、又は位置的頻度（例えば、約０．１ｍｍ、約０．２５ｍｍ、約０．５ｍｍ、又は約１．０ｍｍの位置的頻度）で選択され得る。
【0148】
ブロック３０９では、方法３００は、位置選択を含むユーザ入力を決定することを伴う。いくつかの実施態様では、ユーザコマンドを決定することは、ユーザコマンドを受信することを含む。例えば、ユーザは、内部領域内の位置を選択することができる。いくつかの実施態様では、ユーザは、表示された視覚的しるしの中から位置を選択する。いくつかの実施態様では、ユーザは、基準画像に対する位置を選択する。
【0149】
ブロック３１１において、方法３００は、位置選択に対応する、リンクされた画像のうちの１つのリンクされた画像を表示することを伴う。例えば、選択された位置にリンクされた画像は、前述のデータベースから取得され得る。いくつかの実施態様では、方法３００は、選択された位置に対応する、リンクされた画像が存在しない場合、選択された位置に最も密接に対応する、リンクされた画像を取得し、表示する。
【0150】
したがって、方法３００は、ユーザが内部領域内の特定の場所に対応する画像を閲覧することを可能にし得る。これは、内部領域内のナビゲーションを容易にし得る。これは、医師が、対象となる特定の場所又は特徴を見つけて、そこに戻る際の助けとなり得る。特定の実施態様では、医師は、器具上の撮像デバイスで撮影された現在の画像を、内部領域内の位置にリンクされた１つ以上の以前に撮影された画像と比較することで、器具のナビゲーションを容易にし得る。
【0151】
図２１Ｂは、身体の内部領域のナビゲーションのための別の例示的な方法３２０を示すフローチャートである。方法３２０は、図１～図１５、図２２、及びその他に示されるロボットシステムなどの特定のロボットシステムに実装され得る。いくつかの実施態様では、１つ以上のコンピュータデバイスは、方法３２０を実行するように構成されてもよい。コンピュータデバイスは、上述又は後述の１つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。コンピュータ可読メモリは、方法３２０を実行するためにプロセッサ（複数可）によって実行され得る命令を記憶してもよい。命令は、１つ以上のソフトウェアモジュールを含んでもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０内にあってもよく、図１～図４に示されるカートであってもよく、図５～図１０に示されるベッドなどであってもよい。
【0152】
方法３２０は、例えば、医療器具が、例えば、多種多様な医療処置（例えば、内視鏡及び／又は腹腔鏡処置）中に身体の内部領域内でナビゲートされるときに実行されてもよい。内部領域は、例えば、臓器、管腔、管腔ネットワーク、及び／又は空洞などであり得る。いくつかの実施態様では、方法３２０は、器具が内部領域に導入されたときに開始されてもよい。方法３２０は、自動的に（例えば、初期化時又はイベントの検出時に）トリガされてもよく、又は手動で（例えば、ユーザ入力又はコマンドの受信時に）トリガされてもよい。
【0153】
方法３２０は、器具が身体の内部領域内で移動されるブロック３２１で開始する。器具は、例えば、内視鏡１３（図１）、尿管鏡３２（図３）、器具３４（図４）、尿管鏡５６（図８）、腹腔鏡５９（図９）、器具７０（図１３）、若しくは上述した器具８６（図１４）、又は後述する器具４０１（図２２）などの本明細書に記載の任意の他の医療器具であり得る。いくつかの実施態様では、器具は、本開示全体を通して記載されるロボット制御可能な医療システムによって制御されるロボット制御可能な器具であり得る。
【0154】
器具は、本開示を通して記載されるように、少なくとも１つの位置センサを含み得る。方法３００のいくつかの実施態様では、医師は、例えば、ロボット制御可能な医療システムにコマンドを提供することによって、内部領域内での器具の移動を制御する。医師は、器具の移動を制御して、内部領域内の所望の場所に器具をナビゲートすることができる。
【0155】
ブロック３２３において、方法３２０は、器具の移動中に器具の少なくとも１つの位置センサから位置情報を受信することを伴う。位置情報は、前述のように器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置情報は、器具の３自由度位置を含み得る。いくつかの実施態様では、位置情報は、５自由度位置又は６自由度位置など、器具のより高い自由度位置を含み得る。
【0156】
いくつかの実施態様では、位置情報は、複数の位置データセットを含む。それぞれの位置データセットは、器具の移動中の器具の位置（例えば、位置及び／又は向き）を示し得る。いくつかの実施態様では、位置データセットは、器具が内部領域を通って移動する際に連続的に生成される。それぞれの位置データセットは、特定の時点における器具の位置を示し得る。したがって、位置データセットは、器具の履歴位置のログを含み得る。
【0157】
ブロック３２５において、方法３２０は、器具の移動中に内部領域内の器具の撮像デバイスから画像データを受信することを伴う。画像データは、内部領域のビデオの１つ以上の静止画像を含み得る。ブロック３２５は、方法３００のブロック３０５と同様であり得る。簡潔にするために、ここではブロック３２５の特徴を再び記載しない。
【0158】
ブロック３２７では、方法３２０は、１つ以上の画像の少なくともサブセットを、位置センサによって決定される、それぞれの画像がキャプチャされた位置に基づいて、位置データセットの少なくともサブセットにリンクさせることを伴う。例えば、１つ以上の画像の少なくともサブセットに関して、画像が撮影された位置で受信された位置データは、画像にリンク（例えば、保存）され得る。ブロック３２７は、方法３００のブロック３０７と同様であり得る。簡潔にするために、ここではブロック３２７の特徴を再び記載しない。
【0159】
ブロック３２９において、方法３２０は、少なくとも１つの位置センサを用いて、器具の現在の位置を決定することを伴い、現在の位置は、複数の位置データセットのうちの現在の位置データセットに対応する。例えば、方法３２０は、ブロック３２９において、内部領域内の器具の現在の位置を決定し得る。
【0160】
ブロック３３１において、方法３２０は、決定された現在の位置に対応する、リンクされた画像のうちの１つのリンクされた画像を表示することを伴う。したがって、方法３２０は、任意のリンクされた画像が器具の現在決定されている位置に対して利用可能か否か、及びリンクされた画像を医師に表示することが可能であるか否かを判定することを伴う。これは、医師が、リンクされた画像を撮像デバイスで撮影された現在の画像と比較することによって、器具の位置を検証することを有利に可能にし得る。画像が一致する場合、医師は、器具が以前にナビゲートされた位置にあると結論付けることができる。
【0161】
方法３２０はまた、医師が経時的に撮影された画像を比較することを可能にし得る。例えば、医師は、器具をその後の処置中に器具の位置（例えば、移行上皮癌の領域）にナビゲートすることができる。方法３２０は、以前の処置中に撮影された対象の場所の画像を取得し、表示し得る。医師は、リンクされた画像と現在の画像とを比較して、対象の場所の変化を判定することができる。
【0162】
図１９は、リンクされた画像の表示の例を示す。図１９に示すように、ディスプレイ１２０は、解剖学的構造の表現を提供し得る。いくつかの実施形態では、ディスプレイ１２０は、解剖学的構造の画像（例えば、Ｘ線透視画像又は他の医療用画像）を示す。いくつかの実施形態では、ディスプレイ１２０は、コンピュータモデルなどの解剖学的構造の表現を示す。ユーザは、図２１Ａを参照して上述したように、位置１２１を選択することができる。別の実施形態では、位置１２１は、例えば、図２１Ｂを参照して上述したように、解剖学的構造内の器具の現在の位置を表し得る。選択された位置に関してリンクされた画像１２３が利用可能である場合、リンクされた画像１２３もユーザに表示され得る。図示した実施形態では、リンクされた画像１２３は腎石１２５を示す。
【0163】
図２２は、身体の内部領域のマッピング及び／又はナビゲーションのためのシステム４００の一実施形態の特定の構成要素を示すブロック図である。図示した実施形態では、システム４００は器具４０１を含む。器具４０１は、身体の内部領域のナビゲーションのために構成された細長い本体を含み得る。いくつかの実施形態では、細長い本体は、１つ以上のツールが挿入され得る作業チャネルを含み得る。細長い本体は、関節運動可能であり得る。すなわち、いくつかの実施形態では、細長い本体の形状又は姿勢は制御され得る。例えば、細長い本体は、細長い本体の形状又は姿勢を調整するように動作可能な１つ以上のプルワイヤ又は腱を含んでもよい。
【0164】
器具４０１はまた、位置センサ４０２を含む。位置センサは、器具４０１の位置（例えば、位置及び／又は向き）に関する位置情報を提供するように構成され得る。位置センサ４０２は、例えば、上述のＥＭセンサであり得る。ＥＭセンサは、ＥＭ場発生器によって生成されたＥＭ場内のＥＭセンサの位置（例えば、位置及び／又は向き）に関する位置情報を提供するように構成され得る。いくつかの実施態様では、位置センサは、器具上に位置付けられたＥＭ場発生器であり得る。ＥＭ場発生器の位置は、患者の外部に位置付けられた複数のＥＭセンサに対して決定されて、器具の位置を決定し得る。いくつかの実施態様では、他のタイプの位置センサが使用され得る。例えば、位置センサ４０２は、形状検知ファイバ（例えば、光ファイバ形状センサ）、インピーダンス追跡装置、加速度計、ジャイロスコープ、超音波センサ、又は器具４０１の位置を決定するための任意の他の種類のセンサであり得る。
【0165】
図示されるように、位置センサ４０２は、器具４０１上に位置付けられ得る。例えば、位置センサ４０２は、細長い本体の遠位先端上に位置付けられ得る。いくつかの実施形態では、位置センサ４０２は、器具４０１の近位端上のトルクセンサのように器具４０１上に、又は器具が取り付けられているロボットアームのモーターパック上には位置付けられない。位置センサの他の例としては、ロボット制御可能な医療システムによって命令される移動データを含んでもよく、移動データは、器具の推定される姿勢及び位置、並びに／又は撮像デバイスから受信したビジョンデータを画像上でモデル化するために使用され得、これを分析して、器具の移動及び位置が決定され得る。
【0166】
器具４０１はまた、撮像デバイス４０３を含む。撮像デバイス４０３は、受信した光を表すエネルギーを電気信号、例えば、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサに変換するように構成された任意の感光性基板又は構造であってもよい。いくつかの例では、撮像デバイス４０３は、１つ以上の光ファイバを含み得る。例えば、撮像デバイス４０３は、器具の遠位端から画像センサに画像を表す光を送信するように構成された光ファイバの束であってもよい。撮像デバイス４０３によってキャプチャされた画像は、静止画像及び／又はビデオを含み得る。
【0167】
システム４００の図示された実施形態では、器具４０１は、器具位置決めデバイス４０４に取り付けられる。器具位置決めデバイス４０４は、器具４０１を操作するように構成され得る。例えば、器具位置決めデバイス４０４は、器具４０１を身体の内部領域に挿入若しくは後退させるように、かつ／又は関節運動を制御する（すなわち、器具４０１の形状又は姿勢を調整する）ように構成され得る。例えば、いくつかの実施形態では、器具位置決めデバイス４０４は、器具４０１を移動させて前進又は後退させるように構成された１つ以上のロボットアームを含む。器具位置決めデバイス４０４はまた、上述の器具デバイスマニピュレータを含み得る。器具デバイスマニピュレータは、器具４０１のプルワイヤ又は腱を作動させて器具４０１の関節運動を制御するように構成され得る。
【0168】
システム４００は、プロセッサ４０５及びメモリ４０６を含む。メモリ４０６は、様々な方法又はプロセスを実行するようにプロセッサ４０５を構成した命令を含んでもよい。例えば、メモリ４０６は、プロセッサ４０５に、方法２００（図２０Ａ）、方法２２０（図２０Ｂ）、方法３００（図２１Ａ）、及び／又は３２０（図２２Ｂ）を実行させる命令を含んでもよい。
【0169】
図示のように、システム４００はまた、医療用撮像デバイス４０７を含む。医療用撮像デバイス４０７は、身体の内部領域の基準画像をキャプチャするように構成されてもよい。医療用撮像デバイス４０７は、例えば、Ｘ線装置、超音波、ＣＴスキャナ、又はＭＲＩ装置を含む任意の種類の医療用撮像素子であってもよい。医療用撮像デバイス４０７は、上述のように使用するための基準画像を提供するように、プロセッサ４０５及びメモリ４０６に接続されてもよい。
【0170】
システム４００はまた、データストア４０８を含む。該データストア４０８は、情報を記憶するためのハードディスクドライブ、ソリッドステートドライブ、フラッシュドライブなどのメモリであり得る。いくつかの実施態様では、データストア４０８は、位置センサ４０２から受信した位置情報及び撮像デバイス４０３から受信した画像データを記憶するように構成され得る。いくつかの実施態様では、データストア４０８は、それぞれの画像がキャプチャされた位置が画像にリンクされるように、位置データにリンクされる様式で画像データを記憶する。データストア４０８はまた、プロセッサ４０５が方法２００及び２２０を実行するときに生成される視覚的しるしを記憶するように構成され得る。
【0171】
システム４００はまた、ディスプレイ４０９を含む。ディスプレイ４０９は、例えば、電子モニタ（例えば、液晶表示（ＬＣＤ）ディスプレイ、ＬＥＤディスプレイ、又はタッチ感知ディスプレイ）、仮想現実閲覧デバイス（例えばゴーグル又は眼鏡）、及び／又は他の表示デバイスを含み得る。
【0172】
ディスプレイ４０９は、処置中に医師に様々な情報を表示するように構成され得る。例えば、ディスプレイ４０９は、基準画像、並びにその上に重ね合わされた視覚的しるしを表示し得る。別の例として、ディスプレイ４０９は、位置のユーザ選択に関連する１つ以上のタグ付き画像を表示するように構成され得る。
【0173】
３．システムの実施及び用語
本明細書に開示される実施態様は、ロボット制御可能な医療器具を用いて身体の内部領域をマッピング及び／又はナビゲーションするためのシステム、方法、及び装置を提供する。
本明細書に開示される実施態様は、ロボット制御可能な医療器具を用いて身体の内部領域をマッピング及び／又はナビゲーションするためのシステム、方法、及び装置を提供する。
【0174】
本明細書で使用するとき、用語「結合する」、「結合している」、「結合された」、又は単語結合の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続されるか、又は第２の構成要素に直接的に接続されてもよい。
【0175】
本明細書に記載のマッピング及びナビゲーション機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の１つ以上の命令として記憶されてもよい。用語「コンピュータ可読媒体」は、コンピュータ又はプロセッサによってアクセスすることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、このような媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、又は他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含んでもよい。コンピュータ可読媒体は、有形であり、非一時的であってもよいと留意されたい。本明細書で使用するとき、用語「コード」は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指してもよい。
【0176】
本明細書に開示される方法は、記載される方法を達成するための１つ以上の工程又は行為を含む。方法工程及び／又は行為は、特許請求の範囲から逸脱することなく互いに交換されてもよい。換言すれば、記載されている方法の適切な動作のために特定の順序の工程又は行為が必要とされない限り、請求項の範囲から逸脱することなく、特定の工程及び／又は行為の順序及び／又は使用を修正してもよい。
【0177】
本明細書で使用するとき、用語「複数」は、２つ又は３つ以上を示す。例えば、複数の構成要素は、２つ又は３つ以上の構成要素を示す。用語「判定する」は、多種多様な行為を包含し、したがって、「判定する」は、計算する、演算する、処理する、導出する、調査する、ルックアップする（例えば、テーブル、データベース又は別のデータ構造を見ること）、確認することなどを含むことができる。また、「判定する」は、（例えば、情報を受信すること）、アクセス（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。
【0178】
語句「基づく」は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、語句「基づく」は、「のみに基づく」及び「少なくとも基づく」の両方を記載する。
【0179】
開示される実施形態の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実施態様に対する種々の修正は、当業者には容易に明らかになり、かつ、本明細書で規定される一般的な原理は、本発明の範囲から逸脱することなく、他の実施態様に適用され得る。例えば、当業者であれば、締結、装着、結合、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を使用することができると理解されるであろう。したがって、本発明は、本明細書に示される実施形態に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。
【0180】
〔実施の態様〕
（１） 身体の内部領域をマッピングするための方法であって、前記方法は、
前記身体の前記内部領域の基準画像を表示することと、
前記身体の前記内部領域内で器具を移動させることであって、前記器具は少なくとも１つの位置センサを含む、ことと、
前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記基準画像上に重ね合わせて、前記身体の前記内部領域内での前記移動中の前記器具の履歴位置を特徴付けることと、を含む、方法。
（２） 前記基準画像が、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様１に記載の方法。
（３） 前記基準画像が、Ｘ線透視画像若しくは超音波画像を含む、実施態様１に記載の方法。
（４） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様１に記載の方法。
（５） 前記基準画像を手術中にキャプチャすることを更に含む、実施態様１に記載の方法。
（１） 身体の内部領域をマッピングするための方法であって、前記方法は、
前記身体の前記内部領域の基準画像を表示することと、
前記身体の前記内部領域内で器具を移動させることであって、前記器具は少なくとも１つの位置センサを含む、ことと、
前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記基準画像上に重ね合わせて、前記身体の前記内部領域内での前記移動中の前記器具の履歴位置を特徴付けることと、を含む、方法。
（２） 前記基準画像が、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様１に記載の方法。
（３） 前記基準画像が、Ｘ線透視画像若しくは超音波画像を含む、実施態様１に記載の方法。
（４） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様１に記載の方法。
（５） 前記基準画像を手術中にキャプチャすることを更に含む、実施態様１に記載の方法。
【0181】
（６） 前記基準画像は手術前にキャプチャされる、実施態様１に記載の方法。
（７） 前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に含む、実施態様１に記載の方法。
（８） 将来の処置中に使用するために、リンクされた前記画像を記憶することを更に含む、実施態様７に記載の方法。
（９） 位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に含む、実施態様７に記載の方法。
（１０） 前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に含む、実施態様７に記載の方法。
（７） 前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に含む、実施態様１に記載の方法。
（８） 将来の処置中に使用するために、リンクされた前記画像を記憶することを更に含む、実施態様７に記載の方法。
（９） 位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に含む、実施態様７に記載の方法。
（１０） 前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に含む、実施態様７に記載の方法。
【0182】
（１１） 前記器具画像データは、自動的にキャプチャされる、実施態様７に記載の方法。
（１２） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様７に記載の方法。
（１３） 前記内部領域内の対象の場所又は特徴にタグ付けすることを更に含む、実施態様１に記載の方法。
（１４） タグ付けすることが、ユーザ入力を受信することを含む、実施態様１３に記載の方法。
（１５） タグ付けすることが、前記対象の場所又は特徴を自動的に検出することを含む、実施態様１３に記載の方法。
（１２） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様７に記載の方法。
（１３） 前記内部領域内の対象の場所又は特徴にタグ付けすることを更に含む、実施態様１に記載の方法。
（１４） タグ付けすることが、ユーザ入力を受信することを含む、実施態様１３に記載の方法。
（１５） タグ付けすることが、前記対象の場所又は特徴を自動的に検出することを含む、実施態様１３に記載の方法。
【0183】
（１６） タグ付けされた前記対象の場所又は特徴を前記基準画像上に重ね合わせることを更に含む、実施態様１３に記載の方法。
（１７） 前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に含む、実施態様１に記載の方法。
（１８） 前記視覚的しるしがメッシュを含む、実施態様１に記載の方法。
（１９） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様１８に記載の方法。
（２０） 前記メッシュは、前記位置データセットの前記サブセット及び前記器具上の撮像デバイスから受信した画像データから導出される、実施態様１９に記載の方法。
（１７） 前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に含む、実施態様１に記載の方法。
（１８） 前記視覚的しるしがメッシュを含む、実施態様１に記載の方法。
（１９） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様１８に記載の方法。
（２０） 前記メッシュは、前記位置データセットの前記サブセット及び前記器具上の撮像デバイスから受信した画像データから導出される、実施態様１９に記載の方法。
【0184】
（２１） 前記位置データセットの前記サブセットは、持続時間的頻度（durational frequency）で前記基準画像上に重ね合わされる、実施態様１に記載の方法。
（２２） 前記位置データセットの前記サブセットは、位置的頻度（positional frequency）で前記基準画像上に重ね合わされる、実施態様１に記載の方法。
（２３） 前記視覚的しるしを手術中に表示することを更に含む、実施態様１に記載の方法。
（２４） 将来の医療処置中に使用するために前記視覚的しるしを記憶することを更に含む、実施態様１に記載の方法。
（２５） 前記身体の前記内部領域が腎臓を含み、前記方法は、
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に含む、実施態様１に記載の方法。
（２２） 前記位置データセットの前記サブセットは、位置的頻度（positional frequency）で前記基準画像上に重ね合わされる、実施態様１に記載の方法。
（２３） 前記視覚的しるしを手術中に表示することを更に含む、実施態様１に記載の方法。
（２４） 将来の医療処置中に使用するために前記視覚的しるしを記憶することを更に含む、実施態様１に記載の方法。
（２５） 前記身体の前記内部領域が腎臓を含み、前記方法は、
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に含む、実施態様１に記載の方法。
【0185】
（２６） 生理的動態を考慮するために前記位置センサによって決定された位置を調整することと、
調整された前記位置を前記基準画像上に重ね合わせることと、を更に含む、実施態様１に記載の方法。
（２７） 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は、複数の位置データセットを含み、それぞれの位置データセットは、前記器具の位置を示す、ことと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせる、非一時的コンピュータ可読記憶媒体。
（２８） 前記基準画像は、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（２９） 前記基準画像は、Ｘ線透視画像又は超音波画像を含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３０） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
調整された前記位置を前記基準画像上に重ね合わせることと、を更に含む、実施態様１に記載の方法。
（２７） 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は、複数の位置データセットを含み、それぞれの位置データセットは、前記器具の位置を示す、ことと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせる、非一時的コンピュータ可読記憶媒体。
（２８） 前記基準画像は、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（２９） 前記基準画像は、Ｘ線透視画像又は超音波画像を含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３０） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
【0186】
（３１） 前記命令は、実行されると、前記プロセッサに、前記基準画像を手術中にキャプチャすることを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３２） 前記基準画像は手術前にキャプチャされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３３） 前記命令は、実行されると、前記プロセッサに、
前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３４） 前記命令は、実行されると、前記プロセッサに、将来の処置中に使用するために、リンクされた前記画像を記憶することを更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３５） 前記命令は、実行されると、前記プロセッサに、
位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３２） 前記基準画像は手術前にキャプチャされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３３） 前記命令は、実行されると、前記プロセッサに、
前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（３４） 前記命令は、実行されると、前記プロセッサに、将来の処置中に使用するために、リンクされた前記画像を記憶することを更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３５） 前記命令は、実行されると、前記プロセッサに、
位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
【0187】
（３６） 前記命令は、実行されると、前記プロセッサに、
前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３７） 前記器具画像データは自動的にキャプチャされる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３８） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３９） 前記命令は、実行されると、前記プロセッサに、前記内部領域内の対象の場所又は特徴にタグ付けすることを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４０） タグ付けすることが、ユーザ入力を受信することを含む、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。
前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３７） 前記器具画像データは自動的にキャプチャされる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３８） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様３３に記載の非一時的コンピュータ可読記憶媒体。
（３９） 前記命令は、実行されると、前記プロセッサに、前記内部領域内の対象の場所又は特徴にタグ付けすることを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４０） タグ付けすることが、ユーザ入力を受信することを含む、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。
【0188】
（４１） タグ付けすることが、前記対象の場所又は特徴を自動的に検出することを含む、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。
（４２） 前記命令は、実行されると、前記プロセッサに、タグ付けされた前記対象の場所又は特徴を前記基準画像上に重ね合わせることを更に行わせる、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。
（４３） 前記命令は、実行されると、前記プロセッサに、前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４４） 前記視覚的しるしはメッシュを含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４５） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様４４に記載の非一時的コンピュータ可読記憶媒体。
（４２） 前記命令は、実行されると、前記プロセッサに、タグ付けされた前記対象の場所又は特徴を前記基準画像上に重ね合わせることを更に行わせる、実施態様３９に記載の非一時的コンピュータ可読記憶媒体。
（４３） 前記命令は、実行されると、前記プロセッサに、前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４４） 前記視覚的しるしはメッシュを含む、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４５） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様４４に記載の非一時的コンピュータ可読記憶媒体。
【0189】
（４６） 前記メッシュは、前記位置データセットの前記サブセット及び前記器具上の撮像デバイスから受信した画像データから導出される、実施態様４５に記載の非一時的コンピュータ可読記憶媒体。
（４７） 前記位置データセットの前記サブセットは、持続時間的頻度で前記基準画像上に重ね合わされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４８） 前記位置データセットの前記サブセットは、位置的頻度で前記基準画像上に重ね合わされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４９） 前記命令は、実行されると、前記プロセッサに、前記視覚的しるしを手術中に表示することを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５０） 前記命令は、実行されると、前記プロセッサに、将来の医療処置中に使用するために前記視覚的しるしを記憶することを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４７） 前記位置データセットの前記サブセットは、持続時間的頻度で前記基準画像上に重ね合わされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４８） 前記位置データセットの前記サブセットは、位置的頻度で前記基準画像上に重ね合わされる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（４９） 前記命令は、実行されると、前記プロセッサに、前記視覚的しるしを手術中に表示することを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５０） 前記命令は、実行されると、前記プロセッサに、将来の医療処置中に使用するために前記視覚的しるしを記憶することを更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
【0190】
（５１） 前記身体の前記内部領域が腎臓を含み、前記命令は、実行されると、前記プロセッサに、
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５２） 前記命令は、実行されると、前記プロセッサに、
生理的動態を考慮するために前記位置センサによって決定された位置を調整することと、
調整された前記位置を前記基準画像上に重ね合わせることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５３） ロボット外科用システムであって、
細長い本体と、前記細長い本体上に配置された少なくとも１つの位置センサと、を有する器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信している、１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
前記器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に、前記少なくとも１つの位置センサから位置情報を受信することと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせるように構成されている、１つ以上のプロセッサと、を備える、ロボット外科用システム。
（５４） 前記位置センサが電磁センサを含む、実施態様５３に記載のシステム。
（５５） 前記位置センサが形状検知ファイバを含む、実施態様５３に記載のシステム。
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５２） 前記命令は、実行されると、前記プロセッサに、
生理的動態を考慮するために前記位置センサによって決定された位置を調整することと、
調整された前記位置を前記基準画像上に重ね合わせることと、を更に行わせる、実施態様２７に記載の非一時的コンピュータ可読記憶媒体。
（５３） ロボット外科用システムであって、
細長い本体と、前記細長い本体上に配置された少なくとも１つの位置センサと、を有する器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信している、１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
前記器具を身体の内部領域内で移動させることと、
前記器具の前記移動中に、前記少なくとも１つの位置センサから位置情報を受信することと、
前記身体の前記内部領域の画像を表示することと、
前記位置データセットの少なくともサブセットから導出された視覚的しるしを前記画像上に重ね合わせて、前記身体の前記内部領域内での前記器具の前記移動中の前記器具の履歴位置を特徴付けることと、を行わせるように構成されている、１つ以上のプロセッサと、を備える、ロボット外科用システム。
（５４） 前記位置センサが電磁センサを含む、実施態様５３に記載のシステム。
（５５） 前記位置センサが形状検知ファイバを含む、実施態様５３に記載のシステム。
【0191】
（５６） 前記位置センサは、前記細長い本体の遠位端上に位置付けられている、実施態様５３に記載のシステム。
（５７） 前記器具が内視鏡を含む、実施態様５３に記載のシステム。
（５８） 前記器具が尿管鏡を含む、実施態様５３に記載のシステム。
（５９） 前記細長い本体が、前記器具の姿勢を制御するように関節運動可能である、実施態様５３に記載のシステム。
（６０） 前記器具に接続された器具位置決めデバイスを更に備え、前記器具位置決めデバイスは、前記器具を操作するように構成されている、実施態様５３に記載のシステム。
（５７） 前記器具が内視鏡を含む、実施態様５３に記載のシステム。
（５８） 前記器具が尿管鏡を含む、実施態様５３に記載のシステム。
（５９） 前記細長い本体が、前記器具の姿勢を制御するように関節運動可能である、実施態様５３に記載のシステム。
（６０） 前記器具に接続された器具位置決めデバイスを更に備え、前記器具位置決めデバイスは、前記器具を操作するように構成されている、実施態様５３に記載のシステム。
【0192】
（６１） 前記器具位置決めデバイスがロボットアームを含む、実施態様６０に記載のシステム。
（６２） 前記基準画像が、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様５３に記載のシステム。
（６３） 前記基準画像が、Ｘ線透視画像若しくは超音波画像を含む、実施態様５３に記載のシステム。
（６４） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様５３に記載のシステム。
（６５） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記基準画像を手術中にキャプチャすることを更に行わせる、実施態様５３に記載のシステム。
（６２） 前記基準画像が、逆行性腎盂像処置中にキャプチャされた画像を含む、実施態様５３に記載のシステム。
（６３） 前記基準画像が、Ｘ線透視画像若しくは超音波画像を含む、実施態様５３に記載のシステム。
（６４） 前記基準画像は、コンピュータ断層撮影（ＣＴ）若しくは磁気共鳴撮像（ＭＲＩ）処置中にキャプチャされる、実施態様５３に記載のシステム。
（６５） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記基準画像を手術中にキャプチャすることを更に行わせる、実施態様５３に記載のシステム。
【0193】
（６６） 前記基準画像は手術前にキャプチャされる、実施態様５３に記載のシステム。
（６７） 前記命令は、実行されると、前記１つ以上のプロセッサに、
前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に行わせる、実施態様５３に記載のシステム。
（６８） 前記命令は、実行されると、前記１つ以上のプロセッサに、将来の処置中に使用するために、リンクされた前記画像を記憶することを更に行わせる、実施態様６７に記載のシステム。
（６９） 前記命令は、実行されると、前記プロセッサに、
位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様６７に記載のシステム。
（７０） 前記命令は、実行されると、前記１つ以上のプロセッサに、
前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様６７に記載のシステム。
（６７） 前記命令は、実行されると、前記１つ以上のプロセッサに、
前記器具上に位置付けられた撮像デバイスから器具画像データを受信することであって、前記器具画像データは、前記器具の前記移動中に前記撮像デバイスによってキャプチャされた複数の画像を含む、ことと、
前記複数の画像の少なくともサブセットに関して、前記サブセットのそれぞれの画像を、前記画像がキャプチャされた位置を示す前記位置データセットとリンクさせることと、を更に行わせる、実施態様５３に記載のシステム。
（６８） 前記命令は、実行されると、前記１つ以上のプロセッサに、将来の処置中に使用するために、リンクされた前記画像を記憶することを更に行わせる、実施態様６７に記載のシステム。
（６９） 前記命令は、実行されると、前記プロセッサに、
位置選択のユーザ入力を受信することと、
前記ユーザ入力に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様６７に記載のシステム。
（７０） 前記命令は、実行されると、前記１つ以上のプロセッサに、
前記位置センサを用いて、前記器具の現在の位置を決定することと、
決定された前記現在の位置に対応する、リンクされた画像を表示することと、を更に行わせる、実施態様６７に記載のシステム。
【0194】
（７１） 前記器具画像データは自動的にキャプチャされる、実施態様５３に記載のシステム。
（７２） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様６７に記載のシステム。
（７３） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記内部領域内の対象の場所又は特徴にタグ付けすることを更に行わせる、実施態様５３に記載のシステム。
（７４） タグ付けすることが、ユーザ入力を受信することを含む、実施態様７３に記載のシステム。
（７５） タグ付けすることが、前記対象の場所又は特徴を自動的に検出することを含む、実施態様７３に記載のシステム。
（７２） 前記器具画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様６７に記載のシステム。
（７３） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記内部領域内の対象の場所又は特徴にタグ付けすることを更に行わせる、実施態様５３に記載のシステム。
（７４） タグ付けすることが、ユーザ入力を受信することを含む、実施態様７３に記載のシステム。
（７５） タグ付けすることが、前記対象の場所又は特徴を自動的に検出することを含む、実施態様７３に記載のシステム。
【0195】
（７６） 前記命令は、実行されると、前記１つ以上のプロセッサに、タグ付けされた前記対象の場所又は特徴を前記基準画像上に重ね合わせることを更に行わせる、実施態様７３に記載のシステム。
（７７） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に行わせる、実施態様５３に記載のシステム。
（７８） 前記視覚的しるしがメッシュを含む、実施態様５３に記載のシステム。
（７９） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様７８に記載のシステム。
（８０） 前記メッシュは、前記位置データセットの前記サブセット及び前記器具上の撮像デバイスから受信した画像データから導出される、実施態様７９に記載のシステム。
（７７） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記視覚的しるしを繋げて、前記器具の前記移動の前記履歴経路を特徴付けることを更に行わせる、実施態様５３に記載のシステム。
（７８） 前記視覚的しるしがメッシュを含む、実施態様５３に記載のシステム。
（７９） 前記メッシュは、前記内部領域の解剖学的構造を示す、実施態様７８に記載のシステム。
（８０） 前記メッシュは、前記位置データセットの前記サブセット及び前記器具上の撮像デバイスから受信した画像データから導出される、実施態様７９に記載のシステム。
【0196】
（８１） 前記位置データセットの前記サブセットは、持続時間的頻度で前記基準画像上に重ね合わされる、実施態様５３に記載のシステム。
（８２） 前記位置データセットの前記サブセットは、位置的頻度で前記基準画像上に重ね合わされる、実施態様５３に記載のシステム。
（８３） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記視覚的しるしを手術中に表示することを更に行わせる、実施態様５３に記載のシステム。
（８４） 前記命令は、実行されると、前記１つ以上のプロセッサに、将来の医療処置中に使用するために、前記視覚的しるしを記憶することを更に行わせる、実施態様５３に記載のシステム。
（８５） 前記身体の前記内部領域が腎臓を含み、前記命令は、実行されると、前記１つ以上のプロセッサに、
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、実施態様５３に記載のシステム。
（８２） 前記位置データセットの前記サブセットは、位置的頻度で前記基準画像上に重ね合わされる、実施態様５３に記載のシステム。
（８３） 前記命令は、実行されると、前記１つ以上のプロセッサに、前記視覚的しるしを手術中に表示することを更に行わせる、実施態様５３に記載のシステム。
（８４） 前記命令は、実行されると、前記１つ以上のプロセッサに、将来の医療処置中に使用するために、前記視覚的しるしを記憶することを更に行わせる、実施態様５３に記載のシステム。
（８５） 前記身体の前記内部領域が腎臓を含み、前記命令は、実行されると、前記１つ以上のプロセッサに、
前記器具を前記腎臓の杯内に移動させることと、
前記腎臓の前記杯への入口、前記腎臓の極、前記腎臓内の結石、及び移行上皮癌の領域のうちの少なくとも１つにタグ付けすることと、を更に行わせる、実施態様５３に記載のシステム。
【0197】
（８６） 前記命令は、実行されると、前記１つ以上のプロセッサに、
生理的動態を考慮するために前記位置センサによって決定された位置を調整することと、
調整された前記位置を前記基準画像上に重ね合わせることと、を更に行わせる、実施態様５３に記載のシステム。
（８７） 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具を身体の内部領域内で移動させることと、
前記器具の移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記器具の前記移動中に前記内部領域内の前記器具の撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットにリンクさせることと、
位置選択を含むユーザ入力を決定することと、
前記位置選択に対応する、リンクされた前記画像のうちの１つのリンクされた画像を表示することと、を行わせる、非一時的コンピュータ可読記憶媒体。
（８８） 前記ユーザコマンドを決定することが、前記ユーザコマンドを受信することを含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（８９） 前記画像データが静止画像を含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９０） 前記画像データがビデオを含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
生理的動態を考慮するために前記位置センサによって決定された位置を調整することと、
調整された前記位置を前記基準画像上に重ね合わせることと、を更に行わせる、実施態様５３に記載のシステム。
（８７） 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具を身体の内部領域内で移動させることと、
前記器具の移動中に前記器具の少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記器具の前記移動中に前記内部領域内の前記器具の撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットにリンクさせることと、
位置選択を含むユーザ入力を決定することと、
前記位置選択に対応する、リンクされた前記画像のうちの１つのリンクされた画像を表示することと、を行わせる、非一時的コンピュータ可読記憶媒体。
（８８） 前記ユーザコマンドを決定することが、前記ユーザコマンドを受信することを含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（８９） 前記画像データが静止画像を含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９０） 前記画像データがビデオを含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
【0198】
（９１） 前記位置データセットの前記サブセットは、持続時間的頻度で選択される、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９２） 前記位置データセットの前記サブセットは、位置的頻度で選択される、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９３） 前記位置情報が、前記器具の向きを示す情報を含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９４） 前記画像データは自動的にキャプチャされる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９５） 前記画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９２） 前記位置データセットの前記サブセットは、位置的頻度で選択される、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９３） 前記位置情報が、前記器具の向きを示す情報を含む、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９４） 前記画像データは自動的にキャプチャされる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９５） 前記画像データは、ユーザコマンドの受信時にキャプチャされる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
【0199】
（９６） 前記命令は、実行されると、前記プロセッサに、
現在の位置に関連付けられたユーザ入力を受信することと、
前記ユーザ入力を、前記現在の位置に対応する前記リンクされた画像とリンクさせることと、を更に行わせる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９７） 前記命令は、実行されると、前記プロセッサに、前記画像データの画像内で、対象の特徴を検出することを更に行わせる、実施態様９６に記載の非一時的コンピュータ可読記憶媒体。
（９８） 身体の内部領域をナビゲートするためのロボット外科用システムであって、前記システムは、
器具であって、
細長い本体と、
前記細長い本体上に配置された少なくとも１つの位置センサと、
前記細長い本体上に配置された撮像デバイスと、を含む、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
前記器具を身体の内部領域内で移動させることと、
前記器具の移動中に前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによって前記器具の前記移動中にキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットとリンクさせることと、を行わせるように構成されている、１つ以上のプロセッサと、を備える、ロボット外科用システム。
（９９） 前記位置センサがＥＭセンサを含む、実施態様９８に記載のシステム。
（１００） 前記位置センサが形状検知ファイバを含む、実施態様９８に記載のシステム。
現在の位置に関連付けられたユーザ入力を受信することと、
前記ユーザ入力を、前記現在の位置に対応する前記リンクされた画像とリンクさせることと、を更に行わせる、実施態様８７に記載の非一時的コンピュータ可読記憶媒体。
（９７） 前記命令は、実行されると、前記プロセッサに、前記画像データの画像内で、対象の特徴を検出することを更に行わせる、実施態様９６に記載の非一時的コンピュータ可読記憶媒体。
（９８） 身体の内部領域をナビゲートするためのロボット外科用システムであって、前記システムは、
器具であって、
細長い本体と、
前記細長い本体上に配置された少なくとも１つの位置センサと、
前記細長い本体上に配置された撮像デバイスと、を含む、器具と、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
前記器具を身体の内部領域内で移動させることと、
前記器具の移動中に前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによって前記器具の前記移動中にキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットとリンクさせることと、を行わせるように構成されている、１つ以上のプロセッサと、を備える、ロボット外科用システム。
（９９） 前記位置センサがＥＭセンサを含む、実施態様９８に記載のシステム。
（１００） 前記位置センサが形状検知ファイバを含む、実施態様９８に記載のシステム。
【0200】
（１０１） 前記位置センサが、前記細長い本体の遠位端上に位置付けられている、実施態様９８に記載のシステム。
（１０２） 前記器具が内視鏡を含む、実施態様９８に記載のシステム。
（１０３） 前記器具が尿管鏡を含む、実施態様９８に記載のシステム。
（１０４） 前記細長い本体が、前記器具の姿勢を制御するように関節運動可能である、実施態様９８に記載のシステム。
（１０５） 前記器具に接続された器具位置決めデバイスを更に備え、前記器具位置決めデバイスは、前記器具を操作するように構成されている、実施態様９８に記載のシステム。
（１０２） 前記器具が内視鏡を含む、実施態様９８に記載のシステム。
（１０３） 前記器具が尿管鏡を含む、実施態様９８に記載のシステム。
（１０４） 前記細長い本体が、前記器具の姿勢を制御するように関節運動可能である、実施態様９８に記載のシステム。
（１０５） 前記器具に接続された器具位置決めデバイスを更に備え、前記器具位置決めデバイスは、前記器具を操作するように構成されている、実施態様９８に記載のシステム。
【0201】
（１０６） 前記器具位置決めデバイスがロボットアームを含む、実施態様１０５に記載のシステム。
（１０７） 身体の内部領域をナビゲートするための方法であって、前記方法は、
前記身体の前記内部領域内で器具を移動させることであって、前記器具は、少なくとも１つの位置センサと、少なくとも１つの撮像デバイスと、を含む、ことと、
前記器具の前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記器具の前記撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットにリンクさせることと、
前記少なくとも１つの位置センサを用いて、前記器具の現在の位置を決定することであって、前記現在の位置は、前記複数の位置データセットのうちの現在の位置データセットに対応している、ことと、
前記現在の位置データセットにリンクされた画像をユーザディスプレイ上に表示することと、を含む、方法。
（１０７） 身体の内部領域をナビゲートするための方法であって、前記方法は、
前記身体の前記内部領域内で器具を移動させることであって、前記器具は、少なくとも１つの位置センサと、少なくとも１つの撮像デバイスと、を含む、ことと、
前記器具の前記少なくとも１つの位置センサから位置情報を受信することであって、前記位置情報は複数の位置データセットを含み、それぞれの位置データセットは、前記器具の前記移動中の前記器具の位置を示す、ことと、
前記器具の前記撮像デバイスから画像データを受信することであって、前記画像データは、前記内部領域内の１つ以上の場所で前記撮像デバイスによってキャプチャされた１つ以上の画像を含む、ことと、
前記１つ以上の画像の少なくともサブセットを、前記位置センサによって決定される、それぞれの画像がキャプチャされた前記位置に基づいて、前記位置データセットの少なくともサブセットにリンクさせることと、
前記少なくとも１つの位置センサを用いて、前記器具の現在の位置を決定することであって、前記現在の位置は、前記複数の位置データセットのうちの現在の位置データセットに対応している、ことと、
前記現在の位置データセットにリンクされた画像をユーザディスプレイ上に表示することと、を含む、方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図16C】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図21A】
【図21B】
【図22】
【外国語明細書】