知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-26
(54)【発明の名称】器具の回転のための視覚化調整
(51)【国際特許分類】
A61B 34/35 20160101AFI20231219BHJP
【ＦＩ】
A61B34/35
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023531010
(86)(22)【出願日】2021-11-24
(85)【翻訳文提出日】2023-06-23
(86)【国際出願番号】 IB2021060929
(87)【国際公開番号】W WO2022112969
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】63/117,658
(32)【優先日】2020-11-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ハーモニックドライブ
３．ケブラー
(71)【出願人】
【識別番号】518083032
【氏名又は名称】オーリス ヘルス インコーポレイテッド
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】グレッツェル・チョーンシー・エフ
(72)【発明者】
【氏名】チョク・レイチェル・リー
(72)【発明者】
【氏名】キングストン・クレア・エリザベス
(72)【発明者】
【氏名】プリュー・サラ
(72)【発明者】
【氏名】ス・ジェイソン・ジェイ
【テーマコード（参考）】
4C130
【Ｆターム（参考）】
4C130AA02
4C130AA04
4C130AA18
4C130AA22
4C130AA37
4C130AB01
4C130AD25
4C130AD30
4C130BA02
4C130BA04
4C130BA06
4C130BA08
4C130BA09
(57)【要約】
本技法は、医療器具に関連付けられた画像データ、インジケータ、及び／又は他のデータを適切な配向で提供して、ユーザが処置を行うのを支援することに関する。例えば、ユーザインターフェースは、スコープからの画像データを表す画像表現及び／又はスコープの作業チャネルの回転角度を示す作業チャネルインジケータを提示することができる。スコープが回転すると、回転調整を画像表現に適用して、画像表現をユーザインターフェース内で回転させることができる。更に、作業チャネルインジケータは、ユーザインターフェース内で回転することができる。
【特許請求の範囲】
【請求項1】
制御システムであって、医療器具を展開するための作業チャネルを含むスコープに関連付けられた撮像デバイスから画像データを受信するように構成された通信インターフェースと、
前記通信インターフェースに通信可能に結合された制御回路であって、
前記画像データの画像表現を生成し、
前記ユーザインターフェースに前記画像表現を表示し、
前記スコープが回転した量を判定し、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、制御回路と、を備える、制御システム。
【請求項2】
前記制御回路は、前記ユーザインターフェースに作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを、前記ユーザインターフェース内で、前記ユーザインターフェースに対する第１の配向から前記ユーザインターフェースに対する第２の配向に回転させることと、を行うように構成されている、請求項１に記載の制御システム。
【請求項3】
前記制御回路は、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることによって、前記作業チャネルインジケータを表示するように構成されている、請求項２に記載の制御システム。
【請求項4】
前記制御回路は、前記スコープが回転を完了したことを判定し、
前記スコープが回転を完了したことの判定を受けて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、請求項１に記載の制御システム。
【請求項5】
前記制御回路は、前記スコープが回転するにつれて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、請求項１に記載の制御システム。
【請求項6】
前記制御回路は、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープが回転した前記量を判定するように構成されている、請求項１に記載の制御システム。
【請求項7】
前記制御回路は、入力デバイスから、前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、請求項１に記載の制御システム。
【請求項8】
前記制御回路は、前記スコープを所定の量だけ回転するように制御することによって、前記スコープを回転するように制御するように構成されている、請求項７に記載の制御システム。
【請求項9】
方法であって、スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
制御回路によって、前記画像データの画像表現をユーザインターフェースに表示することと、
前記制御回路によって、作業チャネルインジケータを前記ユーザインターフェースに表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、
前記画像表現を前記ユーザインターフェース内で回転させることと、
前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む、方法。
【請求項10】
前記スコープが回転を完了したことを判定することを更に含み、前記画像表現を回転させること及び前記作業チャネルインジケータを回転させることは、前記スコープが回転を完了したことの判定を受けて行われる、請求項９に記載の方法。
【請求項11】
前記画像表現を回転させることは、前記画像表現を連続的に回転させることを含む、請求項９に記載の方法。
【請求項12】
前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成される位置データ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づく、請求項１１に記載の方法。
【請求項13】
前記画像表現を回転させることは、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、請求項１１に記載の方法。
【請求項14】
入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、請求項９に記載の方法。
【請求項15】
前記作業チャネルインジケータを表示することは、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることを含む、請求項９に記載の方法。
【請求項16】
システムであって、医療器具を取り外し可能に受容するための作業チャネルを含むスコープと、
前記スコープに結合するように構成された撮像デバイスと、
前記スコープ及び前記撮像デバイスに通信可能に結合された制御回路であって、
前記撮像デバイスから画像データを受信することと、
前記画像データの画像表現をユーザインターフェースに表示させることと、
作業チャネルインジケータを前記ユーザインターフェースに表示させることであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示させることと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記ユーザインターフェース内の前記画像表現に回転調整を適用することと、を行うように構成されている、制御回路と、を備える、システム。
【請求項17】
前記作業チャネルは、前記スコープの長手方向軸からオフセットされている、請求項１６に記載のシステム。
【請求項18】
前記制御回路は、前記スコープを回転方向に回転するように制御し、
前記画像表現を前記ユーザインターフェース内で前記回転方向に回転させることによって、前記画像表現に前記回転調整を適用するように構成されている、請求項１６に記載のシステム。
【請求項19】
前記制御回路は、前記スコープが回転を完了したことを判定するように更に構成されており、
前記回転調整が、前記スコープが回転を完了したことの判定を受けて適用される、請求項１６に記載のシステム。
【請求項20】
前記制御回路は、前記スコープが回転するにつれて前記画像表現を連続的に回転させることによって前記回転調整を適用するように構成されている、請求項１６に記載のシステム。
【請求項21】
前記制御回路は、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープが回転した前記量を判定するように更に構成されている、請求項１６に記載のシステム。
【請求項22】
前記制御回路は、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することによって、前記回転調整を適用するように構成されている、請求項１６に記載のシステム。
【請求項23】
前記制御回路は、前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、請求項１６に記載のシステム。
【請求項24】
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、制御回路によって実行されると、前記制御回路に、スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
前記画像データの画像表現をユーザインターフェースに表示することと、
前記ユーザインターフェース内に作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む動作を行わせる、１つ以上の非一時的なコンピュータ可読媒体。
【請求項25】
前記動作は、前記スコープが回転を完了したことを判定することを更に含み、
前記スコープが回転を完了したことの判定を受けて、前記画像表現及び前記作業チャネルインジケータが回転される、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【請求項26】
前記画像表現を回転させることは、前記画像表現を連続的に回転させることを含む、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【請求項27】
前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープの回転の量を追跡することを含む、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【請求項28】
前記画像表現を回転させることが、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【請求項29】
前記動作は、入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、
前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【請求項30】
前記作業チャネルインジケータが、前記画像表現上にオーバーレイ方式で表示される、請求項２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２０年１１月２４日に出願され、「ＦＯＲ ＩＮＳＴＲＵＭＥＮＴ ＭＡＮＡＧＥＭＥＮＴ」と題する米国特許仮出願第６３／１１７，６５８号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２０年１１月２４日に出願され、「ＦＯＲ ＩＮＳＴＲＵＭＥＮＴ ＭＡＮＡＧＥＭＥＮＴ」と題する米国特許仮出願第６３／１１７，６５８号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
種々の医療処置は、患者を調べ、かつ／又は処置するための１つ以上の医療機器の使用を伴う。場合によっては、医療機器を制御して、患者に対して処置を行うために複数のシステム／デバイスが実装されている。このようなシステム、デバイス、及び／又は医療機器の使い方が不適切だと、患者の健康状態及び／又は処置の有効性に悪影響を与える可能性がある。
【発明の概要】
【課題を解決するための手段】
【0003】
いくつかの実施態様では、本開示は、医療器具を展開するための作業チャネルを含むスコープに関連付けられた撮像デバイスから画像データを受信するように構成された通信インターフェースと、通信インターフェースに通信可能に結合された制御回路と、を備える制御システムに関する。制御回路は、画像データの画像表現を生成することと、ユーザインターフェースに画像表現を表示することと、スコープが回転した量を判定することと、スコープが回転した量に少なくとも部分的に基づいて、画像表現をユーザインターフェース内で回転させることと、を行うように構成される。
【0004】
いくつかの実施形態では、制御回路は、ユーザインターフェースに作業チャネルインジケータを表示することと、スコープが回転した量に少なくとも部分的に基づいて、作業チャネルインジケータをユーザインターフェース内でユーザインターフェースに対する第１の配向からユーザインターフェースに対する第２の配向に回転させることと、を行うように構成される。作業チャネルインジケータは、画像表現に対する作業チャネルの回転角度を示すことができる。更に、いくつかの実施形態では、制御回路は、画像表現上に作業チャネルインジケータをオーバーレイすることによって、作業チャネルインジケータを表示するように構成される。
【0005】
いくつかの実施形態では、制御回路は、スコープが回転を完了したことを判定することと、スコープが回転を完了したことを判定することを受けて、画像表現をユーザインターフェース内で回転させることと、を行うように構成される。更に、いくつかの実施形態では、制御回路は、スコープが回転するにつれて、画像表現をユーザインターフェース内で回転させるように構成される。
【0006】
いくつかの実施形態では、制御回路は、スコープを回転させながら、画像表現を切り取られた形態でユーザインターフェースに表示することによって、画像表現をユーザインターフェース内で回転させるように構成される。
【0007】
いくつかの実施形態では、制御回路は、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープと関連付けられた位置センサによって生成されるセンサデータ、又はロボットアームを制御するように生成される制御信号のうちの少なくとも１つに基づいて、スコープが回転した量を判定するように構成される。
【0008】
いくつかの実施形態では、制御回路は、入力デバイスから、作業チャネルを回転させるための入力制御信号を受信することと、入力制御信号に少なくとも部分的に基づいて、スコープを回転するように制御することと、を行うように構成される。制御回路は、スコープを所定の量だけ回転するように制御することによって、スコープを回転するように制御するように構成されることができる。
【0009】
いくつかの実施態様では、本開示は、スコープに関連付けられた撮像デバイスから画像データを受信することと、制御回路によって、ユーザインターフェースに画像データの画像表現を表示することと、制御回路によって、ユーザインターフェースに作業チャネルインジケータを表示することと、スコープが回転した量を判定することと、スコープが回転した量に少なくとも部分的に基づいて、画像表現をユーザインターフェース内で回転させることと、作業チャネルインジケータをユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む、方法に関する。スコープは作業チャネルを含む。更に、作業チャネルインジケータは、画像表現に対する作業チャネルの回転角度を示す。
【0010】
いくつかの実施形態では、本方法は、スコープが回転を完了したことを判定することを更に含む。画像表現を回転させること及び作業チャネルインジケータを回転させることは、スコープが回転を完了したことを判定することを受けて行われることができる。
【0011】
いくつかの実施形態では、画像表現を回転させることは、画像表現を連続的に回転させることを含む。更に、いくつかの実施形態では、スコープが回転した量を判定することは、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープに関連付けられた位置センサによって生成される位置データ、又はロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づく。更に、いくつかの実施形態では、画像表現を回転させることは、スコープを回転させながら、画像表現を切り取られた形態でユーザインターフェースに表示することを含む。
【0012】
いくつかの実施形態では、本方法は、入力デバイスから、スコープを所定の量だけ回転させるためのユーザ入力を受信することと、スコープを所定の量だけ回転するように制御することとを更に含む。更に、いくつかの実施形態では、作業チャネルインジケータを表示することは、画像表現上に作業チャネルインジケータをオーバーレイすることを含む。
【0013】
いくつかの実施態様では、本開示は、医療器具を取り外し可能に受容するための作業チャネルを含むスコープと、スコープに結合するように構成された撮像デバイスと、スコープ及び撮像デバイスに通信可能に結合される制御回路とを備える、システムに関する。制御回路は、撮像デバイスから画像データを受信することと、画像データの画像表現をユーザインターフェースに表示させることと、作業チャネルインジケータをユーザインターフェースに表示させることと、スコープが回転した量に少なくとも部分的に基づいて、スコープが回転した量を判定することと、作業チャネルインジケータをユーザインターフェース内で回転させることと、スコープが回転した量に少なくとも部分的に基づいて、ユーザインターフェース内の画像表現に回転調整を適用することと、を行うように構成される。作業チャネルインジケータは、作業チャネルの回転角度を示す。
【0014】
いくつかの実施形態では、作業チャネルは、スコープの長手方向軸からオフセットされる。更に、いくつかの実施形態では、制御回路は、スコープを回転方向に回転するように制御し、画像表現をユーザインターフェース内で回転方向に回転させることによって、回転調整を画像表現に適用するように構成される。
【0015】
いくつかの実施形態では、制御回路は、スコープが回転を完了したことを判定するように更に構成される。回転調整は、スコープが回転を完了したことの判定を受けて適用することができる。更に、いくつかの実施形態では、制御回路は、スコープが回転するにつれて、画像表現を連続的に回転させることによって、回転調整を適用するように構成される。
【0016】
いくつかの実施形態では、制御回路は、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープと関連付けられた位置センサによって生成されるセンサデータ、又はロボットアームを制御するように生成される制御信号のうちの少なくとも１つに基づいて、スコープが回転した量を判定するように更に構成される。
【0017】
いくつかの実施形態では、制御回路は、スコープを回転させながら、画像表現を切り取られた形態でユーザインターフェースに表示することによって、回転調整を適用するように構成される。更に、いくつかの実施形態では、制御回路は、作業チャネルを回転させるための入力制御信号を受信することと、入力制御信号に少なくとも部分的に基づいてスコープを回転するように制御することと、を行うように構成される。
【0018】
いくつかの実施態様では、本開示は、１つ以上の非一時的なコンピュータ可読媒体であって、コンピュータ実行可能命令は、制御回路によって実行されると、制御回路に、スコープに関連付けられた撮像デバイスから画像データを受信することと、データの画像表現をユーザインターフェースに表示することと、作業チャネルインジケータをユーザインターフェースに表示することと、スコープが回転した量に少なくとも部分的に基づいて、スコープが回転した量を判定することと、画像表現をユーザインターフェース内で回転させることと、作業チャネルインジケータをユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む動作を行わせる、コンピュータ実行可能命令を記憶する、１つ以上の非一過性コンピュータ可読媒体、に関する。スコープは作業チャネルを含む。作業チャネルインジケータは、作業チャネルの回転角度を示す。
【0019】
いくつかの実施形態では、動作は、スコープが回転を完了したことを判定することを更に含む。スコープが回転を完了したことの判定を受けて、画像表現及び作業チャネルインジケータを回転させることができる。更に、いくつかの実施形態では、画像表現を回転させることは、画像表現を連続的に回転させることを含む。
【0020】
いくつかの実施形態では、スコープが回転した量を判定することは、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープに関連付けられた位置センサによって生成されるセンサデータ、又はロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいてスコープの回転の量を追跡することを含む。更に、いくつかの実施形態では、画像表現を回転させることは、スコープを回転させながら、画像表現を切り取られた形態でユーザインターフェースに表示することを含む。
【0021】
いくつかの実施形態では、動作は、入力デバイスから、スコープを所定の量だけ回転させるためのユーザ入力を受信することと、スコープを所定の量だけ回転するように制御することとを更に含む。更に、いくつかの実施形態では、作業チャネルインジケータは、画像表現上にオーバーレイ方式で表示される。
【0022】
本開示をまとめる目的で、特定の態様、利点、及び特徴について説明してきた。必ずしもこのような利点がすべて、何らかの特定の実施形態により実現され得るわけではないことを理解されたい。したがって、開示した実施形態は、本明細書で教示される１つの利点又は利点の群の実現又は最適化を、本明細書で教示又は示唆され得るような他の利点を必ずしも実現することなく行う方法で実行し得る。
【図面の簡単な説明】
【0023】
種々の実施形態を説明を目的として添付図面に示すが、決して本開示の範囲を限定するものと解釈するべきではない。加えて、異なる開示した実施形態の種々の特徴を組み合わせて、本開示の一部である更なる実施形態を形成することができる。図面の全体を通して、参照番号を、参照要素間の対応関係を示すために再使用する場合がある。
【図1】１つ以上の実施形態による種々の医療処置を行うための医療システム例を例示する図である。
【図3】１つ以上の実施形態による、患者の泌尿器系の部分に配置された例示的なスコープを例示する図である。
【図4-1】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-2】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-3】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-4】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-5】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-6】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-7】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-8】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図4-9】１つ以上の実施形態による、スコープを回転させ、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図5-1】１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図5-2】１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図5-3】１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図5-4】１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図5-5】１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する一例を例示する図である。
【図6】１つ以上の実施形態による、スコープ及び／又はスコープの作業チャネルを通して展開される器具を制御する際にユーザを支援するための例示的なユーザインターフェースを例示する図である。
【図7】１つ以上の実施形態による、ユーザインターフェース内のスコープ画像に回転調整を適用するためのプロセスの例示的なフロー図を例示する。
【発明を実施するための形態】
【0024】
本明細書で提供する見出しは、単に便宜的なものであり、必ずしも開示の範囲又は意味に影響を及ぼすものではない。特定の実施形態及び例を以下に開示するが、主題は、具体的に開示した実施形態を越えて他の代替的な実施形態及び／又は使用まで、並びに変更及びその均等物にまで及ぶ。したがって、本明細書から生じ得る特許請求の範囲は、以下に説明する特定の実施形態のいずれによっても限定されない。例えば、本明細書で開示した任意の方法又はプロセスにおいて、方法又はプロセスの行為又は動作は、任意の好適な順序で行ってもよく、必ずしも何らかの特定の開示した順序に限定されない。種々の動作を、特定の実施形態を理解することに役立ち得る方法で、複数の別個の動作として順々に説明する場合がある。しかし、説明の順序は、これらの動作が順序に依存することを意味すると解釈してはならない。更に、本明細書に記載の構造、システム、及び／又はデバイスは、統合されたコンポーネント又は別個のコンポーネントとして具体化され得る。種々の実施形態を比較する目的で、これらの実施形態の特定の態様及び利点について説明する。必ずしもこのような態様又は利点がすべて、何らかの特定の実施形態によって実現されるわけではない。したがって、例えば、種々の実施形態を、本明細書で教示されるような１つの利点又は利点の群の実現又は最適化を、やはり本明細書で教示又は示唆され得る他の態様又は利点を必ずしも実現することなく行う方法で実行し得る。
【0025】
場所の特定の標準的な解剖学用語を、本明細書では、好ましい実施形態に関して、動物（すなわち、ヒト）の解剖学的構造を指すために用いることができる。特定の空間的に相対的な語、例えば「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」、「頂部」「底部」、及び同様の用語は、本明細書では、あるデバイス／要素又は解剖学的構造の別のデバイス／要素又は解剖学的構造に対する空間的関係を説明するために用いられるが、これらの用語は、本明細書では、図面に例示するように、要素／構造間の位置関係を説明するために説明を簡単にするために用いられることを理解されたい。空間的に相対的な語は、図面に示す向きに加えて、使用又は動作時に、要素／構造の異なる向きを包含することが意図されていることを理解されたい。例えば、要素／構造が別の要素／構造の「上方」にあると説明される場合、対象患者又は要素／構造の交互の配向に対してそのような他の要素／構造の下方又は横にある位置を表してもよく、逆もまた同様である。
【0026】
概説
多くの医療処置は、患者を調べ、かつ／又は処置するためのスコープの使用を伴う。スコープは、一般に、スコープの遠位端におけるカメラなどの標的部位の画像データを捕捉するように構成された撮像デバイスを含むか、又はそれと関連付けられることができる。画像データは、ユーザが患者内のスコープを制御するのを支援するためにユーザに表示することができる。スコープ４０は、１つ以上の作業チャネルを含み得、この作業チャネルを通して、砕石器、バスケットデバイス、鉗子、レーザデバイスなどの更なるツールを標的部位に展開することができる。作業チャネルは、多くの場合、撮像デバイス及び／又はスコープの長手方向軸からオフセットされる。更に、場合によっては、スコープは、異なる関節平面に基づいて移動するように構成することができ、その結果、スコープは、特定の方式で配向されたときの方向に、より多くの／より少ない自由度で移動する。
多くの医療処置は、患者を調べ、かつ／又は処置するためのスコープの使用を伴う。スコープは、一般に、スコープの遠位端におけるカメラなどの標的部位の画像データを捕捉するように構成された撮像デバイスを含むか、又はそれと関連付けられることができる。画像データは、ユーザが患者内のスコープを制御するのを支援するためにユーザに表示することができる。スコープ４０は、１つ以上の作業チャネルを含み得、この作業チャネルを通して、砕石器、バスケットデバイス、鉗子、レーザデバイスなどの更なるツールを標的部位に展開することができる。作業チャネルは、多くの場合、撮像デバイス及び／又はスコープの長手方向軸からオフセットされる。更に、場合によっては、スコープは、異なる関節平面に基づいて移動するように構成することができ、その結果、スコープは、特定の方式で配向されたときの方向に、より多くの／より少ない自由度で移動する。
【0027】
種々スコープの移動、処置角度、医師の選好、及び／又は他の状況に対応するために、スコープは、患者内で回転するように制御され、関連する撮像デバイス及び作業チャネルを回転させることができる。一例では、ユーザは、作業チャネル（スコープの片側にオフセットされる）を通して展開されるツール／器具が、標的部位を処置するためにより最適な位置を有するように、スコープを回転させてもよい。別の例では、ユーザは、スコープを回転させて、スコープの関節平面を再配向し、ある方向へのスコープの更なる移動を容易にし得る。ユーザは、スコープによって捕捉された画像データに基づいてスコープを制御していることが多いので、スコープを回転させることは、ユーザを患者内で方向感覚を失わせる可能性がある。例えば、ユーザに表示される画像データは、スコープが回転するにつれて回転し、ユーザに、処置部位における仮想水平線／基準枠の追跡を失わせる。
【0028】
本開示は、医療器具に関連付けられた画像データ及び／又は他のデータを、ユーザが処置を行うのを支援するのに好適な配向で提供するシステム、デバイス、及び方法に関する。例えば、システムは、医療器具を展開するための作業チャネルを含むスコープと通信するように構成することができる。システムは、スコープに関連付けられた撮像デバイスから画像データを受信し、ユーザインターフェースを介して画像データの画像表現を表示することができる。スコープが回転するとき、システムは、画像表現をユーザインターフェース内で回転させることなどによって、画像表現の配向を調整することができ、これは、ユーザインターフェース内で行われるものとして知覚されてもされなくてもよい。システムはまた、作業チャネルの回転角度（例えば、画像表現に対する作業チャネルの位置）を示す作業チャネルインジケータを、ユーザインターフェースを介して表示することができる。システムは、スコープが回転するにつれて、ユーザインターフェース内の作業チャネルインジケータの配向を調整して（例えば、作業チャネルインジケータを回転させて）、画像表現に対する作業チャネルの正確な配向を示すことができる。いくつかの場合では、画像表現及び／又は作業チャネルインジケータは、スコープを回転させながら、（画像表現内に表示されるような）仮想水平線／基準枠が維持される知覚を与える間、ユーザインターフェース内で連続的に調整される。例えば、ユーザは、作業チャネルインジケータのみがユーザインターフェース内で移動する（例えば、画像表現内の仮想水平線が同じままである間に、作業チャネルインジケータが回転する）ことを知覚し得る。他の場合では、画像表現及び／又は作業チャネルインジケータは、スコープが回転を完了したときに、又は別様に特定の回転角度に到達したとき、及び／又は別の事象が発生したときに、ユーザインターフェース内で回転される。したがって、本技法は、画像データ、作業チャネルのためのインジケータ、及び／又はスコープに関連付けられた他のデータを適切な配向で提示して、ユーザが患者内の基準枠を維持するのを支援することができる。
【0029】
多くの技法が、医療器具のための作業チャネルインジケータを提示する文脈で論じられるが、本技法は、更に、又は代替的に、他の要素のためのインジケータを提示することができる。例えば、本技法は、医療器具に関連付けられた関節平面のインジケータ、医療器具に関連付けられたライト、医療器具と連動している針／カテーテル／他の器具などを提示することができる。
【0030】
いくつかの実施態様では、本明細書で説明される本技法は、ロボット支援医療処置を実装し、ロボットツールは、医師が標的解剖学的部位のための、内視鏡のアクセス及び／又は経皮的アクセス、並びに／若しくは内視鏡による処置及び／又は経皮的処置を行うことを可能にし得る。例えば、ロボットツールは、患者内の標的部位にアクセスし、かつ／又は標的部位において処置を行うために、スコープなどの１つ以上の医療器具と係合し、かつ／又は制御することができる。いくつかの場合には、ロボットツールは、医師によって誘導／制御される。他の場合には、ロボットツールは、自動的又は半自動的に動作する。多くの技法がロボット支援医療手技の文脈で論じられるが、それらの技法は、ロボットツールを実装しない、又は比較的少ない動作（例えば、閾値数未満）のためにのみロボットツールを実装する手技など、他のタイプの医療手技にも適用可能であり得る。例えば、本技法は、医師によって完全に制御される手動スコープなどの手動で動作される医療器具が実装される処置に適用可能である可能性がある。
【0031】
本開示の特定の態様は、腎臓結石除去／治療処置などの腎臓、泌尿器、及び／又は腎臓の処置の文脈で本明細書で説明される。しかし、そのような文脈は便宜上提供され、本明細書に開示される概念は、任意の好適な医療処置に適用可能であることを理解されたい。例えば、以下の説明は、経皮的に、かつ／又は内視鏡的アクセスを介して治療部位又は患者の体腔（例えば、食道、尿管、腸、眼など）から除去することができる任意の対象物を含む、患者からの対象物の除去に関する他の外科／医療手術又は医療処置、例えば、胆嚢結石除去、肺臓（肺／経胸腔）腫瘍生検、又は白内障除去などにも適用できる。しかし、前述したように、腎臓／泌尿器の解剖学的構造並びに関連する医学的な問題及び処置の説明を、本明細書で開示する考え方の説明を助けるために以下に提示する。
【0032】
医療システム例
図１に、本開示の態様による種々の医療処置を行うための医療システム例１００を例示する。医療システム１００は、患者１２０に対する処置を行うために１つ以上の医療器具／医療デバイスと係合し、かつ／又は制御するように構成されたロボットシステム１１０を含む。図１の例では、ロボットシステム１１０は、スコープ１３０及び電磁（ＥＭ）場発生器１４０に結合する。医療システム１００はまた、ロボットシステム１１０とのインターフェースとなり、処置に関する情報を提供し、かつ／又は種々の他の動作を行うように構成された制御システム１５０を含む。例えば、制御システム１５０は、処置を行う際に、医師１６０を支援するための特定の情報を提示するように構成されたディスプレイ１５２を含むことができる。医療システム１００は、患者１２０を保持するように構成されたテーブル１７０（例えば、ベッド）を含むことができる。種々の行為は、医師１６０によって行われると本明細書では記載されている。これらの行為は、医師１６０、医師１６０の指示の下でのユーザ、別のユーザ（例えば、技師）、それらの組み合わせ、及び／又は任意の他のユーザによって直接行うことができる。医療システム１００のデバイス／コンポーネントは、処置のタイプ及び／又は処置の段階に応じて、種々の方法で配置することができる。
図１に、本開示の態様による種々の医療処置を行うための医療システム例１００を例示する。医療システム１００は、患者１２０に対する処置を行うために１つ以上の医療器具／医療デバイスと係合し、かつ／又は制御するように構成されたロボットシステム１１０を含む。図１の例では、ロボットシステム１１０は、スコープ１３０及び電磁（ＥＭ）場発生器１４０に結合する。医療システム１００はまた、ロボットシステム１１０とのインターフェースとなり、処置に関する情報を提供し、かつ／又は種々の他の動作を行うように構成された制御システム１５０を含む。例えば、制御システム１５０は、処置を行う際に、医師１６０を支援するための特定の情報を提示するように構成されたディスプレイ１５２を含むことができる。医療システム１００は、患者１２０を保持するように構成されたテーブル１７０（例えば、ベッド）を含むことができる。種々の行為は、医師１６０によって行われると本明細書では記載されている。これらの行為は、医師１６０、医師１６０の指示の下でのユーザ、別のユーザ（例えば、技師）、それらの組み合わせ、及び／又は任意の他のユーザによって直接行うことができる。医療システム１００のデバイス／コンポーネントは、処置のタイプ及び／又は処置の段階に応じて、種々の方法で配置することができる。
【0033】
制御システム１５０は、ロボットシステム１１０と協働して動作して、患者１２０に対して医療処置を行うことができる。例えば、制御システム１５０は、無線又は有線接続を介してロボットシステム１１０と通信して、ロボットシステム１１０に接続された医療器具を制御し、医療器具などによって捕捉した画像を受信することができる。例えば、制御システム１５０は、スコープ１３０（例えば、スコープ１３０に関連付けられた撮像デバイス）から画像データを受信し、画像データ（及び／又はそこから生成された表現）を医師１６０に表示して、医師１６０が患者１２０内でスコープ１３０をナビゲートするのを支援することができる。医師１６０は、コントローラ１５４などの入力／出力（Ｉ／Ｏ）デバイスを介して入力を提供することができ、制御システム１５０は、制御信号をロボットシステム１１０に送信して、ロボットシステム１１０に接続されたスコープ１３０の移動を制御することができる。スコープ１３０（及び／又は別の医療器具）は、以下で更に詳細に論じられるように、平面内で関節運動する、回転するなど、種々方式で移動するように構成することができる。
【0034】
いくつかの実施形態では、制御システム１５０は、１つ以上の流体チャネルを介してロボットシステム１１０に流体を提供すること、１つ以上の電気的接続を介してロボットシステム１１０に電力を提供すること、１つ以上の光ファイバ又は他のコンポーネントを介してロボットシステム１１０に光学系を提供することなどができる。例では、制御システム１５０は医療器具と通信して、（ロボットシステム１１０を介して、かつ／又は医療器具から直接）センサデータを受信することができる。センサデータは、医療器具の位置及び／又は配向を示すことができ、又は判定するために使用することができる。更に、例では、制御システム１５０はテーブル１７０と通信して、テーブル１７０を特定の配向に位置付けるか、又は別様にテーブル１７０を制御することができる。更に、例では、制御システム１５０は、ＥＭ場発生器１４０と通信して、患者１２０の周りのＥＭ場の生成を制御することができる。
【0035】
ロボットシステム１１０は、医療器具／医療デバイスと係合するか、又は制御するように構成された１つ以上のロボットアーム１１２を含むことができる。各ロボットアーム１１２は、ジョイントに結合された複数のアームセグメントを含み、これにより、複数の移動の度合いを提供することができる。ロボットアーム１１２（例えば、エンドエフェクタ）の遠位端は、器具／デバイスに結合するように構成することができる。図１の例では、ロボットアーム１１２（Ａ）は、ＥＭ場発生器１４０に結合され、これは、スコープ１３０上のＥＭセンサなどの医療器具上のセンサによって検出されるＥＭ場を生成するように構成することができる。第２のロボットアーム１１２（Ｂ）は、スコープ１３０のロボット制御／前進を容易にすることができるスコープ－ドライバ器具結合部１３２に結合される。更に、第３のロボットアーム１１２（Ｃ）は、スコープ１３０のハンドル１３４に結合され、これは、スコープ１３０の作業チャネルを通して展開される器具など、スコープ１３０を通して展開されることができる医療器具の前進及び／又は動作を容易にするように構成することができる。この例では、第２のロボットアーム１１２（Ｂ）及び／又は第３のロボットアーム１１２（Ｃ）は、スコープ１３０の移動（例えば、関節運動、回転など）を制御することができる。図１では３つのロボットアームが特定の医療器具に接続されているが、ロボットシステム１１０は、任意のタイプの医療器具／医療デバイスに接続するように構成された任意の数のロボットアームを含むことができる。
【0036】
ロボットシステム１１０は、医療システム１００の任意のコンポーネントに通信可能に結合することができる。例えば、一例では、ロボットシステム１１０は、制御システム１５０に通信可能に結合されて、制御システム１５０から制御信号を受信し、ロボットアーム１１２を特定の方式で制御する、医療器具を操作するなどの動作を行うことができる。更に、ロボットシステム１１０は、患者１２０の内部解剖学的構造を示す画像（画像データとも称される）をスコープ１３０から受信し、かつ／又は画像を制御システム１５０に送信するように構成され、その後、画像はディスプレイ１５２上に表示することができる。更に、ロボットシステム１１０は、制御システム１５０などの医療システム１００のコンポーネントに、流体、光学系、電力などをコンポーネントから受け取ることができるような方式で結合されている。
【0037】
医療器具は、（「内視鏡」と称されることもある）スコープ、カテーテル、針、ガイドワイヤ、砕石器、バスケット回収デバイス、鉗子、バキューム、針、外科用メス、撮像プローブ、撮像デバイス、掴み具、ハサミ、捕捉器具、針ホルダ、マイクロ解剖器具、ステープルアプライヤ、タッカ、吸引／灌注ツール、クリップアプライヤなどの種々のタイプの器具を含むことができる。医療機器には、直接侵入器具、経皮侵入器具、及び／又は別のタイプの器具を含むことができる。いくつかの実施形態では、医療機器は操縦可能デバイスであり、一方で、他の実施形態では、医療機器は操縦不可能デバイスである。いくつかの実施形態では、手術ツールは、針、外科用メス、ガイドワイヤなどの、人体構造を穿刺するか又は人体構造を通って挿入されるように構成されたデバイスを指す。しかし、手術ツールは他のタイプの医療機器を指すこともできる。
【0038】
「スコープ」又は「内視鏡」という用語は、画像生成、視認、及び／又は捕捉機能を有し（又は作業チャネルを通して展開される撮像デバイスを用いてそのような機能を提供するように構成され）、身体の任意のタイプの器官、体腔、管腔、チャンバ、及び／又は空間内に導入されるように構成される、任意のタイプの細長い医療器具を指すことができる。例えば、スコープ１３０などのスコープ又は内視鏡は、（例えば、尿路にアクセスするための）尿管鏡、腹腔鏡、（例えば、腎臓にアクセスするための）腎臓鏡、（例えば、気管支などの気道にアクセスするための）気管支鏡、（例えば、結腸にアクセスするための）結腸鏡、（例えば、ジョイントにアクセスするための）関節鏡、（例えば、膀胱にアクセスするための）膀胱鏡、ボアスコープなどを指すことができる。スコープ／内視鏡は、場合によっては、剛性チューブ又は可撓性チューブを含んでもよく、また外側シース、カテーテル、導入器、又は他の管腔型デバイス内を通過するように寸法決めされてもよく、或いはそのようなデバイスを用いることなく使用されてもよい。いくつかの実施形態では、スコープは、砕石器、バスケットデバイス、鉗子、レーザデバイス、撮像デバイスなどの更なるツール／医療器具を処置部位内に導入することができる１つ以上の作業チャネルを含む。場合によっては、作業チャネルは、撮像デバイス及び／又はスコープの長手方向軸からオフセットされる。更に、場合によっては、スコープは、異なる関節平面に基づいて移動するように構成されることができ、それにより、スコープは、特定の方式で配向されたときに、特定の方向により多くの／より少ない自由度で移動する。例えば、スコープは、一次関節平面及び二次関節平面と関連付けられることができ、スコープの先端部は、二次関節平面と比較して、一次関節平面内でより大きい自由度で（例えば、より多くの偏向、より大きい屈曲半径などで）移動するように構成される。一次関節平面は、例えば、二次関節平面に対して垂直とすることができる。
【0039】
「直接侵入」又は「直接アクセス」という用語は、患者の身体内の自然開口部又は人工開口部を通る器具の任意の侵入を指すことができる。例えば、スコープ１３０は、尿道を介して患者の尿路内に侵入するため、スコープ１３０は直接アクセス器具と称されてもよい。
【0040】
用語「経皮侵入」又は「経皮的アクセス」は、患者の皮膚、及び処置に関連付けられた標的解剖学的部位（例えば、腎臓の腎杯網）に達するために必要な任意の他の身体層を通る器具の穿刺及び／又は小切開などによる侵入を指すことができる。したがって、経皮的アクセス器具は、針、外科用メス、ガイドワイヤ、シース、シャフト、スコープ、カテーテルなど、皮膚及び／又は他の組織／解剖学的構造を通って穿刺するか又はそれを通って挿入されるように構成された医療機器、デバイス、又はアセンブリを指すことができる。しかし、経皮的アクセス器具は、本開示の文脈において他のタイプの医療機器を指すことができることを理解されたい。いくつかの実施形態では、経皮的アクセス器具は、患者の皮膚を通った穿刺及び／又は小切開を容易にするデバイスによって挿入又は実装される器具／デバイスを指す。例えば、カテーテルは、患者の皮膚を穿刺したシース／シャフトを通って挿入されるときに、経皮的アクセス器具と称され得る。
【0041】
いくつかの実施形態では、医療器具は、センサデータを生成するように構成された（位置センサとも称される）センサを含む。例では、センサデータは、医療機器の位置及び／若しくは向きを示すことができ、かつ／又は医療機器の位置及び／若しくは向きを判定するために用いることができる。例えば、センサデータは、スコープの位置及び／又は配向を示すことができ、これはスコープの遠位端の回転を含むことができる。医療機器の位置及び向きは、医療機器の姿勢と称され得る。センサは、医療機器の遠位端及び／又は任意の他の場所に位置付けることができる。いくつかの実施形態では、センサは、センサデータを制御システム１５０、ロボットシステム１１０、及び／又は別のシステム／デバイスに提供し、医療器具の位置及び／又は配向を判定／追跡するための１つ以上の位置特定技法を行うことができる。
【0042】
いくつかの実施形態では、センサは、伝導性材料のコイルを伴う電磁気（ＥＭ）センサを含むことができる。ここで、ＥＭ場発生器１４０などのＥＭ場発生器は、医療器具上のＥＭセンサによって検出されるＥＭ場を提供することができる。磁界は、ＥＭセンサのコイル内に小電流を誘導することができ、小電流を分析して、ＥＭセンサとＥＭ場発生器との間の距離及び／又は角度／向きを判定することができる。更に、センサは、カメラ、距離センサ（例えば、深度センサ）、レーダデバイス、形状検知ファイバ、加速度計、ジャイロスコープ、加速度計、衛星ベースの測位センサ（例えば、全地球測位システム（全地球測位システム、ＧＰＳ））、無線周波数トランシーバなどの別のタイプのセンサを含むことができる。
【0043】
いくつかの実施形態では、医療システム１００はまた、Ｃ型アームに一体化され、かつ／又は蛍光透視術タイプの処置の場合などの処置中に撮像するように構成することができる撮像デバイス（図１に例示せず）を含むことができる。撮像デバイスは、１つ以上のＸ線又はＣＴ画像など、処置中に患者１２０の１つ以上の画像を取り込む／生成するように構成することができる。例では、撮像デバイスからの画像を、医師１６０が処置を行うのを支援するために患者１２０内の解剖学的構造及び／又は医療器具を視認するように、リアルタイムで提供することができる。撮像デバイスを使用して、（例えば、患者１２０内で造影剤を用いた）蛍光透視法又は別のタイプの撮像技法を実行し得る。
【0044】
医療システム１００の種々のコンポーネントを、無線及び／又は有線ネットワークを含むことができるネットワークを介して互いに通信可能に結合することができる。例示的なネットワークとしては、１つ以上のパーソナルエリアネットワーク（personal area network、ＰＡＮ）、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、インターネットエリアネットワーク（Internet area network、ＩＡＮ）、セルラーネットワーク、インターネットなどが挙げられる。更に、いくつかの実施形態では、医療システム１００の構成要素は、１つ以上の支持ケーブル、チューブなどを介して、データ通信、流体／ガス交換、電力交換などのために接続されている。
【0045】
いくつかの実施形態では、医療システム１００は、スコープ１３０及び／又はスコープ１３０を通して展開されるツールを制御する際に医師１６０を支援するための情報を提供することができる。例えば、制御システム１５０は、インターフェース１５６内に画像表現１５４を表示することができ、画像表現１５４は、スコープ１３０に関連付けられた撮像デバイスによって捕捉された画像データを含むか、又はそれに基づく。撮像デバイスは、スコープ１３０の遠位端上に配置されるか、スコープ１３０の作業チャネルを通してスコープ１３０の遠位端から展開されるか、又は別様にスコープ１３０と関連付けられることができる。図１の例では、画像表現１５４は、患者１２０の腎臓１９０の（すなわち、腎臓１９０の腎杯１９１内のスコープ１３０の視点からの）内部ビューを示す。更に、制御システム１５０は、画像表現１５４に対するスコープ１３０の作業チャネルの回転角度を示す作業チャネルインジケータ１５８を提供することができる。例えば、インターフェース１５６（Ａ）内の作業チャネルインジケータ１５８（Ａ）の場所は、作業チャネルが画像表現１５４（Ａ）に対して図１の右側に配置されることを示す。図１には示されていないが、制御システム１５０はまた、スコープ１３０の関節平面の配向のためのインジケータ、スコープ１３０に関連付けられたライトの配向のためのインジケータ、スコープ１３０と連動している針／カテーテル／他の器具の位置／配向のためのインジケータなど、他のタイプのインジケータを提供することができる。
【0046】
いくつかの実施形態では、制御システム１５０は、スコープ１３０の配向の変化を反映するように、画像表現１５４及び／又は作業チャネルインジケータ１５８を調整することができる。例えば、制御システム１５０は、スコープ１３０が回転して画像表現１５４に対する作業チャネルの配向を正確に示すときに、作業チャネルインジケータ１５８を回転させることができる。更に、制御システム１５０は、画像表現１５４の配向を調整して、回転の前後で同じ仮想水平線／基準枠を提供することができる。例えば、制御システム１５０は、スコープ１３０が回転するときに画像表現１５４を回転させて、スコープ１３０が回転する前後で患者１２０の内部解剖学的構造のビューが同じ配向を有するようにすることができる。
【0047】
説明のために、図１に示すように、スコープ１３０が腎臓結石１９２に近接して腎臓１９０内に位置付けられ、腎臓結石１９２を破壊するために作業チャネルを通して展開されるレーザデバイスを含むと仮定する。また、スコープ１３０は、最初に、レーザデバイスからのレーザが腎臓結石１９２から外れる（すなわち、患者１２０の解剖学的構造に接触する経路１９３に沿って延在する）可能性がある第１の配向で位置付けられると仮定する。ここで、制御システム１５０は、右側に位置付けられた作業チャネルインジケータ１５８（Ａ）を有するインターフェース１５６（Ａ）を表示することができる。レーザデバイスの配向を調整するために、医師１６０は、スコープ１３０を、レーザデバイスからのレーザが腎臓結石１９２に接触する（すなわち、経路１９４に沿って延在する）可能性がある第２の配向に回転させることができる。この図では、スコープ１３０は１８０度回転されている。しかし、スコープ１３０は任意の角度だけ回転することができる。次いで、制御システム１５０は、更新された作業チャネルインジケータ１５８（Ｂ）を含む更新されたユーザインターフェース１５６（Ｂ）を提示することができる。制御システム１５０はまた、更新されたユーザインターフェース１５６（Ｂ）に示されるように、画像データ１５６を１８０度回転させて、画像データ１５６内に同じ水平線を提示することができる。すなわち、制御システム１５０は、患者１２０内の基準枠が維持される（例えば、腎臓結石１９２がスコープ１３０を回転させる前後の両方で左側に現れるように）、ユーザインターフェース１５６内の画像データ１５６の配向を調整することができる。画像表現１５４及び／又は作業チャネルインジケータ１５８をそのように調整することによって、患者１２０内の基準枠を維持することができる。他の解決策では、スコープ１３０のそのような回転は、画像表現１５４を初期配向から１８０度回転させ、医師１６０の方向感覚を失わせる可能性がある。
【0048】
いくつかの実施形態では、制御システム１５０は、スコープ１３０が回転を完了した後に、画像表現１５４（及び／又は作業チャネルインジケータ１５８）に配向調整を適用することができる。例えば、スコープ１３０が１８０度回転したことを判定することを受けて、制御システム１５０は、画像表現１５４をユーザインターフェース１５６（Ｂ）に示されるビューに回転させることができる。ここで、医師１６０は、画像表現１５４内のコンテンツを、スコープ１３０の回転に続いて１８０度回転し、次いで１８０度回転して戻るものとして知覚することができる。そのような配向調整の例は、図４－１～図４－９を参照して以下で説明される。代替的に、いくつかの実施形態では、制御システム１５０は、患者１２０内の基準枠を維持するように、ユーザインターフェース１５６を継続的に更新することができる。例えば、制御システム１５０は、スコープ１３０の回転を追跡し、画像表現１５４を継続的に更新して、スコープ１３０の回転全体にわたって患者１２０内の仮想水平線を維持することができる。ここで、医師１６０は、作業チャネルインジケータ１５８が画像表現１５４の周りを回転させながらも、画像表現１５４を同じままであると知覚することができる。そのような連続的な配向調整の例は、図５－１～図５－５を参照して以下で説明される。
【0049】
いくつかの例では、医療システム１００は、腎臓結石を処置するなど、腎臓の解剖学的構造に関連する医療処置を行うように実装される。腎臓結石疾患は、尿路結石症としても知られているが、尿路において、「腎臓結石」、「尿路結石」、「腎結石」、「腎臓結石症」、又は「腎結石症」と言われる物質の固体片が形成されることを含む医学的状態である。尿路結石は、腎臓、尿管、及び膀胱内で形成及び／又は見出される場合がある（「膀胱結石」と言われる）。このような尿路結石は、尿中のミネラルが濃縮した結果として形成される可能性があり、このような結石が、尿管又は尿道を通る尿流を妨げるのに十分なサイズに達すると、著しい腹痛を引き起こす可能性がある。尿路結石は、カルシウム、マグネシウム、アンモニア、尿酸、システイン、及び／若しくは他の化合物、又はそれらの組み合わせから形成される場合がある。
【0050】
全般的に、腎臓結石を伴う患者を処置するためのいくつかの方法がある。例えば、観察、医学的処置（追放治療など）、非侵襲的処置（体外衝撃波砕石術（extracorporeal shock wave lithotripsy、ＥＳＷＬ）など）、及び外科治療（尿管鏡検査及び経皮的腎切石術（ureteroscopy and percutaneous nephrolithotomy、ＰＣＮＬ）など）である。外科的アプローチ（例えば、尿管鏡検査及びＰＣＮＬ）では、医師は、病変（すなわち、除去すべき対象物、例えば、結石）にアクセスし、結石を、より小さい小片又は断片に破砕して、比較的小さい結石断片／微粒子を、腎臓から機械的に取り出す。
【0051】
膀胱及び尿管から尿路結石を除去するために、医師は、尿道を通して尿路に尿管鏡を挿入し得る。通常、尿管鏡はその遠位端に、尿路の視覚化を可能にするように構成された内視鏡を含む。尿管鏡はまた、尿路結石捕捉又は破砕するための砕石デバイスを含むことができる。処置中、１人の医師／技師が、尿管鏡の位置を制御し得る一方で、別の医師／技師は、砕石デバイスを制御し得る。腎臓から比較的大きな石（すなわち、「腎臓結石」）を除去するために、医師は、経皮的腎切石術（「ＰＣＮＬ」）技法を用いることができる。これは、皮膚（すなわち、経皮的に）及び介在する組織を通って腎臓鏡を挿入して、石を粉砕及び／又は除去するために治療部位へのアクセスを提供することを伴う。
【0052】
本明細書に記載の例のいくつかにおいて、ロボット支援型経皮的処置を、腎臓結石除去処置などの種々の医療処置と関連して実施することができ、ロボットツール（例えば、医療システム１００の１つ以上のコンポーネント）によって、医師／泌尿器科医が内視鏡（例えば、尿管鏡検査）標的アクセス並びに経皮的アクセス／処置を行うことを可能にすることができる。しかし、本開示は腎臓結石除去及び／又はロボット支援型処置に限定されない。いくつかの実施態様では、ロボット医療ソリューションによって、厳密に手動の処置と比較して、特定の器具に対して比較的高い精度、優れた制御、及び／又は優れた眼と手の協調を得ることができる。例えば、いくつかの処置による腎臓へのロボット支援型経皮的アクセスによって、泌尿器科医が直接侵入の内視鏡腎臓アクセスと経皮的腎臓アクセスとの両方を行うことを有利に可能にすることができる。本開示のいくつかの実施形態は、カテーテル、腎臓鏡、尿管鏡、及び／又はヒトの腎臓の解剖学的構造の文脈で提示されているが、本明細書で開示した原理は、任意のタイプの内視鏡／経皮的処置又は別のタイプの処置において実装され得ることを理解されたい。
【0053】
１つの例示的かつ非限定的な処置では、医療システム１００を、患者１２０から腎臓結石１９２を除去するために使用することができる。処置のためのセットアップ中、医師１６０は、ロボットシステム１１０のロボットアーム１１２を所望の構成に位置決めし、かつ／又は適切な医療器具を取り付けることができる。例えば、図１に示されるように、医師１６０は、第１のロボットアーム１１２（Ａ）を処置部位の近くに位置付け、ＥＭ場発生器１４０を取り付けることができ、これは、処置中にスコープ１３０及び／又は他の器具／デバイスの場所を追跡することを支援することができる。更に、医師１６０は、第２のロボットアーム１１２（Ｂ）を患者１２０の脚の間に位置付けて、スコープ１３０のロボット制御／前進を容易にすることができるスコープ－ドライバ器具結合部１３２を取り付けることができる。医師１６０は、医療器具１３６を患者１２０の尿道１９５内に、膀胱１９６を通して、及び／又は尿管１９７の上に挿入することができる。医師１６０は、医療器具１３６をスコープ－ドライバ器具結合部１３２に接続することができる。医療器具１３６は、スコープ１３０を受容するように構成された管腔型デバイスを含むことができ、それによって、スコープ１３０（例えば、アクセスシース）を患者１２０の解剖学的構造内に挿入するのを支援する。医療器具１３６が図１に示されているが、いくつかの実施形態では、医療器具１３６は使用されない（例えば、スコープ１３０は、尿道１９５に直接挿入される）。次いで、医師１６０は、スコープ１３０を医療器具１３６に手動で、ロボットで、又はそれらの組み合わせで挿入することができる。医師１６０は、スコープ１３０のハンドル１３４を第３のロボットアーム１１２（Ｃ）に取り付けることができ、これは、スコープ１３０を通して展開されるバスケットデバイス、レーザデバイス、及び／又は別の医療器具の前進及び／又は動作を容易にするように構成することができる。
【0054】
医師１６０は、制御システム１５０と対話して、ロボットシステム１１０に、スコープ１３０を腎臓１９０の中へ前進及び／又はナビゲートさせることができる。例えば、医師１６０は、スコープ１３０をナビゲートして、腎臓結石１９２の位置を特定することができる。制御システム１５０は、画像表現１５４（例えば、スコープ１３０によって捕捉されるリアルタイム画像）、作業チャネルインジケータ１５８（例えば、作業チャネルの現在の配向を示す）などを視認するためのインターフェース１５６などのスコープ１３０をナビゲートする際に医師１６０を支援するために、スコープ１３０に関する情報をディスプレイ１５２を介して提供することができる。いくつかの実施形態では、制御システム１５０は、位置特定技法を使用して、これは、ディスプレイ１５２を介して医師１６０によって視認することができる、スコープ１３０の位置及び／又は配向を判定することができる。更に、スコープ１３０の制御時に医師１６０を支援するために、患者１２０の内部解剖学的構造のＸ線画像など、他のタイプの情報がディスプレイ１５２を介して提示することもできる。
【0055】
スコープ１３０が、（例えば、腎臓１９０の腎杯１９１内の）腎臓結石１９２の部位に達すると、スコープ１３０を使用して、腎臓１９０に経皮的にアクセスするために、カテーテルの標的場所を指定／タグ付けすることができる。腎臓１９０及び／又は周りの解剖学的構造に対する損傷を最小限にするために、医師１６０は、カテーテルを用いて腎臓１９０内に経皮的に侵入するための標的場所として乳頭を指定することができる。しかし、他の標的場所を指定又は判定することができる。乳頭１５１２を指定するいくつかの実施形態では、医師１６０は、乳頭に接触するようにスコープ１３０をナビゲートすることができ、制御システム１５０は、位置特定技法を使用して、スコープ１３０の場所（例えば、スコープ１３０の遠位端の場所）を判定することができ、制御システム１５０は、スコープ１３０の場所と標的場所とを関連付けることができる。更に、いくつかの実施形態では、医師１６０は、乳頭まで特定の距離内にある（例えば、乳頭の前に留置する）ようにスコープ１３０をナビゲートし、標的場所がスコープ１３０の視野内にあることを示す入力を提供することができる。制御システム１５０は、標的場所の場所を判定するために、画像分析及び／又は他の位置特定技法を実行し得る。更に、いくつかの実施形態では、スコープ１３０は、標的場所として乳頭をマークするための基準点を送達することができる。
【0056】
標的場所が指定されると、カテーテル（図示せず）が、標的部位に達するように、経皮的アクセス経路を通して患者１２０の中に挿入されることができる。例えば、カテーテルは、（ＥＭ場発生器１４０を除去すると）第１のロボットアーム１１２（Ａ）に接続されることができ、医師１６０は、制御システム１５０と対話して、ロボットシステム１１０にカテーテルを前進及び／又はナビゲートさせることができる。いくつかの実施形態では、針又は別の医療機器を患者１２０内に挿入して、経皮的アクセス経路を形成する。制御システム１５０は、カテーテルに関する情報をディスプレイ１５２を介して提供して、医師１６０がカテーテルをナビゲートするのを支援することができる。例えば、インターフェースは、スコープ１３０の視点からの画像データを提供することができる。画像データは、カテーテルを（例えば、スコープ１３０の撮像デバイスの視野内にあるときに）示し得る。
【0057】
スコープ１３０及び／又はカテーテルが標的場所に配置されると、医師１６０は、スコープ１３０を使用して、腎臓結石１９２を破壊し、かつ／又はカテーテルを使用して、腎臓結石１９２の破片を患者１２０から取り出すことができる。例えば、スコープ１３０は、腎臓結石１９２を破片に断片化するために、作業チャネルを通してツール（例えば、レーザ、切断器具など）を展開することができ、カテーテルは、腎臓１９０から、経皮的アクセス経路を通して破片を吸引することができる。例では、カテーテル及び／又はスコープ１３０は、腎臓結石１９２の除去を容易にするための灌注及び／又は吸引を提供することができる。例えば、カテーテル（及び／又は関連する医療器具）は、灌注及び／又は吸引システムに結合することができる。
【0058】
処置前、処置中、又は処置後の任意の時点で、医師１６０は、スコープ１３０を回転させて、スコープ１３０のより最適な位置／配向を提供することができる。一例では、腎臓結石１９２を破壊／取り出すようにスコープ１３０を位置決めするとき、医師１６０は、スコープ１３０を回転させてスコープ１３０の作業チャネルを再配置し、それによって、作業チャネルを通して器具を展開するためのより最適な配向を提供することができる。別の例では、スコープ１３０は、異なる関節平面（例えば、一次平面及び二次平面）に関連付けることができる。ここで、医師１６０は、関節平面を再配置するために回転するようにスコープ１３０を制御することができ、その結果、スコープ１３０は、より最適な方式で関節運動する（例えば、より多くの偏向を伴って屈曲する）ことができる。いくつかの場合では、医師１６０は、作業チャネルを１８０度反転させるなど、スコープ１３０を所定の量だけ回転させる入力を提供することができる。他の例では、医師１６０は、スコープ１３０を任意の角度だけ回転させるための入力を提供することができる。いずれの場合も、スコープ１３０が回転すると、制御システム１５０は、画像表現１５４に対する作業チャネルインジケータ１５８の正確な配向を維持するために、ユーザインターフェース１５６内の作業チャネルインジケータ１５８を更新することができる。更に、制御システム１５０は、画像表現１５４の基準枠を維持するために、画像表現１５４に配向調整を適用することができる。これにより、医師１６０は、患者１２０の腎臓１９０内で配向を維持し、画像表現１５４／ユーザインターフェースに対する作業チャネルの正確な配向を視認することができる。
【0059】
いくつかの実施形態では、制御システム１５０及び／又はロボットシステム１１０は、スコープ１３０が長手方向軸から特定の度数（例えば、２０度、３０度など）を超えて関節運動されるとき、スコープ１３０が回転すること（したがって、作業チャネルが回転すること）を防止する。例えば、スコープ１３０の作業チャネルを反転するためのユーザ入力が受信されると、制御システム１５０及び／又はロボットシステム１１０は、スコープ１３０が３０度を超えて関節運動される場合、作業チャネルの反転を防止することができる。しかし、スコープ１３０は、いくつかの場合では、任意の量だけ関節運動されたときに回転することができる。
【0060】
多くの例は、スコープに関連付けられたデータを表示すること（例えば、スコープに関連付けられた画像データを表示すること、スコープに関連付けられた作業チャネルインジケータを表示することなど）に関連して説明されるが、本技法は、他の医療器具に関連して実装されることができる。例えば、本技法は、撮像デバイスを含む／展開する別のタイプの医療器具に関連付けられた情報を提示するように実装されることができる。
【0061】
更に、多くの例は、作業チャネルのためのインジケータを提示するが、他のタイプのインジケータが提示されることができる。例えば、本技法は、ユーザインターフェース内の画像表現に対する医療器具の関節平面の配向を示す関節平面インジケータ、医療器具の遠位端に配置された（画像表現に対するライトの配向を示すことができる）ライトのためのライトインジケータ、医療器具と連動している針／カテーテル／他の器具のための（画像表現に対する針／カテーテル／器具の配向を示すことができる）針／カテーテル／器具インジケータなどを表示することができる。そのようなインジケータは、インジケータが表すアイテムの配向を正確に示すために、スコープ／医療器具が回転するにつれて、ユーザインターフェース内で配向／更新されることができる。いくつかの場合では、スコープと連動している針／カテーテル／器具は、スコープの視野外にある可能性があり、したがって、針／カテーテル／器具は、スコープの視点からの画像表現内に表示されない（例えば、針／カテーテル／器具は、スクリーン外にある）。ここで、針／カテーテル／器具インジケータは、依然として、スコープを回転させる前後に、画像表現内で適切な配向に維持されることができる。例えば、針／カテーテル／器具インジケータは、ユーザインターフェース内の（針／カテーテル／器具がスクリーンから右側に外れていることを示す）右側に位置付けられることができる。針／カテーテル／器具インジケータのそのような位置付けは、針／カテーテル／器具が移動されないと仮定すると、スコープを回転させる前後の両方で同じにすることができる。例では、針／カテーテル／器具に関する位置／配向情報は、ＥＭセンサ又は形状検知などの針／カテーテル／器具内の位置センサに基づいて取得されることができる。
【0062】
多くの例では、スコープ１３０の回転はロボットアーム１１２によって制御されるが、ロボットアーム１１２は比較的静止した位置のままである（例えば、ロボットアーム１１２のエンドエフェクタは同じ位置に留まることができる）。例えば、ロボットアーム１１２は、スコープ１３０上の回転特徴／機構を制御／駆動して、スコープ１３０を回転させることができる。しかし、スコープ１３０は、場合によっては、ロボットアーム１１２のエンドエフェクタを回転させることによって回転することができる。例えば、エンドエフェクタは、スコープ１３０のハンドル１３４が長手方向軸の周りを回転するように、スコープ１３０の長手方向軸に対して回転することができる。
【0063】
医療システム１００によって、例えば、医師が処置（例えば、器具追跡、器具ナビゲーション、器具較正など）を行うことを支援する誘導が得られる、医師が、熟練を要するアームの動き及び／又は位置を必要とせずに人間工学的位置から処置を行うことができる、１人の医師が１つ以上の医療機器を用いて処置を行うことができる、放射線被曝（例えば、蛍光透視法技法に関連付けられた）が回避される、処置を単一の手術設定で行うことができる、連続吸引が得られて対象物がより効率的に除去される（例えば、腎臓結石を除去する）など種々の利益が得られる。例えば、医療システム１００によって、出血及び／又は解剖学的構造（例えば、判定器官、血管など）への損傷を最小限にしながら、医師が種々の医療機器を用いて標的解剖学的特徴にアクセスするのを支援するための誘導情報が得られる。更に、医療システム１００は、医師及び患者の放射線への曝露を低減し、かつ／又は手術室内の機器の量を低減するための非放射線ベースのナビゲーション及び／若しくは位置特定技法を提供することができる。更に、医療システム１００は、少なくとも制御システム１５０とロボットシステム１１０との間に分散された機能を提供することができ、これにより、独立して移動可能になることができる。そのような機能及び／又は可動性の分散は、制御システム１５０及び／又はロボットシステム１１０が、特定の医療処置に対して最適である場所に配置されることを可能にすることができ、これにより、患者の周りの作業エリアを最大化し、かつ／又は医師が処置を行うための最適化された場所を提供することが可能になる。
【0064】
種々技法及びシステムがロボット支援型処置（例えば、医療システム１００を少なくとも部分的に使用する処置）として実装されるものとして論じられているが、これらの技法及びシステムは、完全ロボット医療処置、（例えば、ロボットシステムを含まない）人間のみの処置などの他の処置で実装することができる。例えば、医療システム１００は、医師が医療器具を保持／操作することなく、かつ医師がロボットシステム／アームの移動を制御することなく、処置（例えば、処置を指示するために比較的少ない入力に依存する完全ロボット処置）を行うために使用することができる。すなわち、処置中に使用される医療器具は各々、ロボットシステム１１０のロボットアーム１１２などの、医療システム１００のコンポーネントによって保持／制御することができる。
【0065】
制御システム及びロボットシステム例
図２は、１つ以上の実施形態による、図１の制御システム１５０及びロボットシステム１１０の詳細例を例示する図である。制御システム１５０及び／又はロボットシステム１１０の特定のコンポーネントを図２に図示しているが、図示していない更なるコンポーネントが本開示による実施形態に含まれ得ることを理解されたい。更に、例示したコンポーネントのうちのいずれも、省略し、交換し、かつ／又はテーブル１７０、医療器具などの他のデバイス／システムに一体化することができる。
図２は、１つ以上の実施形態による、図１の制御システム１５０及びロボットシステム１１０の詳細例を例示する図である。制御システム１５０及び／又はロボットシステム１１０の特定のコンポーネントを図２に図示しているが、図示していない更なるコンポーネントが本開示による実施形態に含まれ得ることを理解されたい。更に、例示したコンポーネントのうちのいずれも、省略し、交換し、かつ／又はテーブル１７０、医療器具などの他のデバイス／システムに一体化することができる。
【0066】
図２を参照すると、制御システム１５０は、１つ以上のＩ／Ｏコンポーネント２０２、１つ以上の通信インターフェース２０４、１つ以上の電源ユニット２０６、及び／又は１つ以上の可動化コンポーネント２０８（例えば、キャスタ又は他のタイプの車輪）のコンポーネント、デバイス、モジュール、及び／又は（本明細書では「コンポーネント」と称される）ユニットのうちの１つ以上を、別個に／個別に、かつ／又は組み合わせ／集合的のいずれかで含むことができる。いくつかの実施形態では、制御システム１５０は、制御システム１５０のコンポーネントのうちの１つ以上の少なくとも一部を収容又は含むように構成され、かつ／又は寸法決めされたハウジング／エンクロージャを備えることができる。この例では、制御システム１５０は、１つ以上の可動化コンポーネント２０８と共に移動可能なカートベースのシステムとして例示されている。場合によっては、適切な位置に達した後に、１つ以上の可動化コンポーネント２０８を車輪ロックを使用して固定して、制御システム１５０を所定の位置に保持することができる。しかし、制御システム１５０は、固定システムとして実装され、別のシステム／デバイスなどに一体化することができる。
【0067】
制御システム１５０の種々のコンポーネントは、制御回路の一部であってもなくてもよい特定の接続回路／デバイス／機能部を使用して、電気的に、かつ／又は通信可能に結合することができる。例えば、接続機能部は、制御システム１５０の種々のコンポーネント／回路のうちの少なくとも一部の取り付け及び／又は相互接続を容易にするように構成された１つ以上のプリント回路基板を含むことができる。いくつかの実施形態では、制御システム１５０のコンポーネントのうちの２つ以上を、互いに電気的に、かつ／又は通信可能に結合することができる。
【0068】
１つ以上のＩ／Ｏコンポーネント／デバイス２０２は、医療処置を行うことを支援するためにユーザとのインターフェースになるなどのために、入力を受信し、かつ／又は出力を提供するための種々のコンポーネントを含むことができる。１つ以上のＩ／Ｏコンポーネント２０２は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受信するように構成することができる。例では、１つ以上のＩ／Ｏコンポーネント２０２は、ロボットシステム１１０を制御すること、ロボットシステム１１０に取り付けられた（及び／又はスコープを介して展開される）スコープ又は他の医療器具をナビゲートすること、テーブル１７０を制御すること、蛍光透視デバイスを制御することなどのために、デバイス／システムの制御に関する入力を提供するために使用することができる。例えば、医師１６０（図示せず）は、Ｉ／Ｏコンポーネント２０２を介して入力を提供することができ、それを受けて、制御システム１５０は、制御信号をロボットシステム１１０に送信して医療器具を操作することができる。例では、医師１６０は同じＩ／Ｏデバイスを使用して、複数の医療器具を制御する（例えば、器具間の制御を切り替える）ことができる。
【0069】
図示するように、１つ以上のＩ／Ｏコンポーネント２０２は、データを表示するように構成された（「１つ以上のディスプレイデバイス１５２」と称される場合がある）１つ以上のディスプレイ１５２を含むことができる。１つ以上のディスプレイ１５２は、１つ以上の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、プラズマディスプレイ、電子ペーパディスプレイ、及び／又は任意の他のタイプの技術を含むことができる。いくつかの実施形態では、１つ以上のディスプレイ１５２は、入力を受信し、かつ／又はデータを表示するように構成された１つ以上のタッチスクリーンを含む。更に、１つ以上のＩ／Ｏコンポーネント２０２は、タッチパッド、コントローラ（例えば、ハンドヘルドコントローラ、ビデオゲームタイプコントローラ、タクタイルインターフェース、ハプティックインターフェース、指のような動きを可能にするフィンガベース制御／フィンガクラッチなど）、マウス、キーボード、ウェアラブルデバイス（例えば、光学ヘッドマウントディスプレイ）、仮想現実デバイス又は拡張現実デバイス（例えば、ヘッドマウントディスプレイ）、フットパネル（例えば、ユーザの足下のボタン）などを含むことができる１つ以上のＩ／Ｏデバイス／制御装置２１０を含むことができる。更に、１つ以上のＩ／Ｏコンポーネント２０２は、オーディオ信号に基づいて音声を出力するように構成された１つ以上のスピーカ、及び／又は音声を受信してオーディオ信号を生成するように構成された１つ以上のマイクロフォンを含むことができる。いくつかの実施形態では、１つ以上のＩ／Ｏコンポーネント２０２は、コンソールを含むか又はコンソールとして実装される。
【0070】
いくつかの実施形態では、１つ以上のＩ／Ｏコンポーネント２０２は、処置に関連した情報を出力することができる。例えば、制御システム１５０は、スコープによって捕捉されたリアルタイム画像を受信し、リアルタイム画像及び／又はリアルタイム画像の視覚的表現／画像表現をディスプレイ１５２を介して表示することができる。ディスプレイ１５２は、スコープ及び／又は別の医療器具からの画像データを含むことができる、本明細書で説明したインターフェースのいずれかなどのインターフェースを提示することができる。更に又は代替的に、制御システム１５０は、患者に関連付けられた医療用モニタ及び／又はセンサから信号（例えば、アナログ信号、デジタル信号、電気信号、音響信号／音波信号、空気圧信号、タクタイル信号、油圧信号など）を受信することができ、ディスプレイ１５２は、患者の健康又は環境に関する情報を提示することができる。このような情報には、医療用モニタを介して表示される、例えば、心拍数（例えば、ＥＣＧ、ＨＲＶなど）、血圧／血流速度、筋肉生体信号（例えば、ＥＭＧ）、体温、血液酸素飽和度（例えば、ＳｐＯ２）、ＣＯ２、脳波（例えば、ＥＥＧ）、環境温度及び／又は局部温度若しくは中核体温などの情報を含めることができる。
【0071】
１つ以上の通信インターフェース２０４は、１つ以上のデバイス／センサ／システムと通信するように構成することができる。例えば、１つ以上の通信インターフェース２０４は、ネットワーク上で無線及び／又は有線の方式でデータを送信／受信することができる。本開示の実施形態によるネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、パーソナルエリアネットワーク（ＰＡＮ）、ボディエリアネットワーク（ＢＡＮ）などを含むことができる。いくつかの実施形態では、１つ以上の通信インターフェース２０４は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）などの無線技術を実装することができる。
【0072】
１つ以上の電源ユニット２０６は、制御システム１５０（及び／又は、場合によってはロボットシステム１１０）に対する電力を管理及び／又は提供するように構成することができる。いくつかの実施形態では、１つ以上の電源ユニット２０６は、リチウム系電池、鉛蓄電池、アルカリ電池、及び／又は別のタイプの電池などの１つ以上の電池が含まれる。すなわち、１つ以上の電源ユニット２０６は、電源を提供し、かつ／又は電力管理機能を提供するように構成された１つ以上のデバイス及び／又は回路を備えることができる。更に、いくつかの実施形態では、１つ以上の電源ユニット２０６は、交流（ＡＣ）又は直流（ＤＣ）主電源に結合するように構成された主電源コネクタを含む。
【0073】
図２には図示しないが、制御システム１５０は、制御された灌注及び／又は吸引能力を医療器具（例えば、スコープ）、医療器具を通して展開できるデバイスなどに提供するために、１つ以上のポンプ、流量計、バルブ制御装置、及び／又は流体アクセスコンポーネントなどの他のコンポーネントを含み、かつ／又は制御することができる。いくつかの実施形態では、灌注及び吸引能力を、別個のケーブルを介して医療器具に直接送達することができる。更に、制御システム１５０は、フィルタリングされた、かつ／又は保護された電力をロボットシステム１１０など別のデバイスに提供するように設計された電圧プロテクタ及び／又はサージプロテクタを含むことができ、それによって、ロボットシステム１１０内に電力変圧器及び他の補助電力コンポーネントを配置することが回避され、ロボットシステム１１０がより小さく、より移動可能になる。
【0074】
いくつかの実施形態では、制御システム１５０は、医療システム１００の全体にわたって展開されたセンサのための支援機器を含むことができる。例えば、制御システム１５０は、光学センサ及び／又はカメラから受信したデータを検出し、受信し、かつ／又は処理するための光電子機器を含むことができる。このような光電子機器は、制御システム１５０を含む任意の数のデバイス／システムに表示するためのリアルタイム画像を生成するために使用できる。同様に、制御システム１５０は、展開された電磁気（ＥＭ）センサから受信した信号を受信し、かつ／又は処理するための電子サブシステムを含むことができる。いくつかの実施形態では、制御システム１５０はまた、医療器具内又は医療器具上のＥＭセンサによって検出するためのＥＭ場発生器を収容し、かつ／又は位置付けるために使用できる。
【0075】
更に、いくつかの実施形態では、制御システム１５０は、１つ以上のケーブル又は接続部（図示せず）を介して、ロボットシステム１１０、テーブル１７０、及び／又は医療器具に結合するために使用できる。いくつかの実施態様では、制御システム１５０からの支援機能を単一のケーブルを介して提供することができ、手術室を簡素化して片付けることができる。他の実施態様では、特定の機能を別個のケーブル線及び接続部において結合することができる。例えば、電力は単一の電源ケーブルを介して提供することができるが、制御、光学系、流体工学、及び／又はナビゲーションに対する支援は、別個のケーブルを介して提供することができる。
【0076】
ロボットシステム１１０は、一般に、（「カラム」とも称される）細長い支持構造２１０、ロボットシステム基部２１２、及びカラム２１０の頂部におけるコンソール２１４を含む。カラム２１０は、１つ以上のロボットアーム１１２の展開を支持するための（「アーム支持部材２１６」とも称される）１つ以上のキャリッジ２１６を含むことができる。キャリッジ２１６は、患者に対して位置付けるために、垂直軸に沿って回転してロボットアーム１１２の基部を調整する個別に構成可能なアームマウントを含むことができる。キャリッジ２１６はまた、キャリッジ２１６がカラム２１０に沿って垂直方向に並進するのを可能にするキャリッジインターフェース２１８を含む。キャリッジインターフェース２１８は、キャリッジ２１６の垂直並進を誘導するためにカラム２１０の両側に位置付けられたスロット２２０などのスロットを通して、カラム２１０に接続することができる。スロット２２０は、キャリッジ２１６を基部２１２に対して種々の垂直高さに位置付け、かつ／又は保持するための垂直並進インターフェースを含むことができる。キャリッジ２１６が垂直並進すると、ロボットシステム１１０は、ロボットアーム１１２の到達範囲を調整して、種々のテーブル高さ、患者サイズ、医師の選好などを満たすことができる。同様に、キャリッジ２１６上の個別に構成可能なアームマウントによって、ロボットアーム１１２のロボットアーム基部２２２を、種々の構成で角度付けすることができる。カラム２１０は、ギア及び／又はモータなどのメカニズムであって、Ｉ／Ｏデバイスからの入力などのユーザ入力を受けて生成される制御信号を受けて、キャリッジ２１６を機械化された方式で並進させるように、垂直方向に位置合わせされた親ねじを使用するように設計された機構を内部に備えることができる。
【0077】
基部２１２は、フロアなどの表面上で、カラム２１０、キャリッジ２１６、及び／又はロボットアーム１１２の重量のバランスをとることができる。したがって、基部２１２は、１つ以上の電子機器、モータ、電源などのより重いコンポーネント、並びにロボットシステム１１０の移動を可能にし、かつ／又は固定するコンポーネントを収容することができる。例えば、基部２１２は、ロボットシステム１１０が処置のために部屋を動き回ることを可能にする（「キャスタ２２４」又は「可動化コンポーネント２２４」とも称される）回転可能車輪２２４を含むことができる。適切な位置に達した後に、キャスタ２２４は、処置中にロボットシステム１１０を所定の位置に保持するために車輪ロックを使用して固定することができる。図示するように、ロボットシステム１１０はまた、ロボットシステム１１０の操縦、及び／又は安定化を支援するためのハンドル２２６を含む。この例では、ロボットシステム１１０は、移動可能であるカートベースのシステムとして示されている。しかし、ロボットシステム１１０は、固定システムとして実装されるか、テーブルに一体化されるなどが可能である。
【0078】
ロボットアーム１１２は、一般に、一連のジョイント２３２によって接続された（「アームセグメント２３０」とも称される）一連のリンク機構２３０によって分離された、ロボットアーム基部２２２及びエンドエフェクタ２２８を備えることができる。各ジョイント２３２は、独立したアクチュエータを備えることができ、各アクチュエータは独立して制御可能なモータを備えることができる。各独立して制御可能なジョイント２３２は、ロボットアーム１１２が利用できる独立した自由度を表す。例えば、アーム１１２はそれぞれ、７つのジョイントを有することができ、したがって７つの自由度を得ることができる。しかし、任意の数のジョイントを任意の自由度を伴って実装することができる。例では、多数のジョイントによって多数の自由度を得ることができ、「冗長」自由度が可能になる。冗長自由度によって、ロボットアーム１１２は、それぞれのエンドエフェクタ２２８を、異なるリンク機構位置及び／又はジョイント角度を使用して、空間内の特定の位置、配向、及び／又は軌跡に位置付けることを可能にする。いくつかの実施形態では、エンドエフェクタ２２８は、医療器具、デバイス、対象物などと係合し、かつ／又は制御するように構成することができる。アーム１１２の運動の自由度により、ロボットシステム１１０が、空間内の所望の点から医療機器を位置付け、かつ／若しくは方向付けることができ、かつ／又は医師が、アーム１１２を患者から離れた臨床的に好都合な位置に移動させて、アームの衝突を回避しながらアクセスすることができる。
【0079】
ロボットアーム１１２の各々のエンドエフェクタ２２８は、機構交換インターフェース（ＭＣＩ）を使用して取り付け得る、器具デバイスマニピュレータ（ＩＤＭ）を備えることができる。いくつかの実施形態では、ＩＤＭを除去し、異なるタイプのＩＤＭで置き換えることができる。例えば、第１のタイプのＩＤＭは内視鏡を操作することができ、第２のタイプのＩＤＭはカテーテルを操作することができ、第３のタイプのＩＤＭはＥＭ場発生器などを保持することができ、以下同様である。ＭＣＩは、空気圧、電力、電気信号、及び／又は光信号をロボットアーム１１２からＩＤＭに伝達するためのコネクタを含むことができる。ＩＤＭ２２８は、例えば、ダイレクトドライブ、ハーモニックドライブ、ギアドライブ、ベルト及びプーリ、磁気ドライブなどを含む技法を使用して、医療器具（例えば、手術ツール／器具）を操作するように構成されてもよい。いくつかの実施形態では、ＩＤＭ２２８をロボットアーム１１２のそれぞれの１つに取り付けることができ、ロボットアーム１１２は、それぞれの結合された医療器具を処置部位内に挿入するか又はそこから後退させるように構成されている。
【0080】
いくつかの実施形態では、ロボットアーム１１２は、それに取り付けられた医療器具（例えば、スコープのシース及び／又はリーダ）の位置、配向、及び／又は先端部関節運動を制御するように構成することができる。例えば、ロボットアーム１１２は、細長い移動部材を使用してスコープを操作するように構成／構成可能とすることができる。細長い移動部材としては、１つ以上のプルワイヤ（例えば、プル又はプッシュワイヤ）、ケーブル、ファイバ、及び／又は可撓性シャフトを挙げることができる。例示すると、ロボットアーム１１２は、スコープに結合された複数のプルワイヤを作動し、スコープの先端部を偏向するように構成することができる。プルワイヤは、ステンレス鋼、ケブラー、タングステン、カーボンファイバなどの金属材料及び／又は非金属材料などの任意の好適な又は望ましい材料を含むことができる。いくつかの実施形態では、スコープは、細長い移動部材が印加した力を受けて非線形挙動を示すように構成されている。非線形挙動は、スコープの剛性及び圧縮性、並びに異なる細長い移動部材間のたるみ又は剛性の変動性に基づくことができる。
【0081】
図示するように、コンソール２１４は、ロボットシステム１１０のカラム２１０の上端に位置付けられている。コンソール２１４は、医師／ユーザに術前データ及び／又は術中データ、ロボットシステム１１０を構成するための情報などを提供するなどのために、ユーザ入力を受信し、かつ／又は出力（例えば、タッチスクリーンなどの二重目的デバイス）を提供するためのユーザインターフェースを提供するディスプレイ２３４を含むことができる。潜在的な術前データとしては、術前計画、ナビゲーション、及び／又は術前コンピュータ断層撮影（ＣＴ）スキャンから導出されたマッピングデータ、及び／又は術前患者問診からのメモを含み得る。術中データは、ツールから提供される光学情報、センサ及び／又は座標情報、並びに呼吸、心拍数、及び／又は脈拍などのバイタル患者統計を含むことができる。コンソール２１４は、医師がカラム２１４のアーム支持部材２１６とは反対側からコンソール２１４にアクセスできるように位置付けて傾斜することができる。この位置から、医師は、コンソール２１４をロボットシステム１１０の背後から動作させながら、コンソール２１４、ロボットアーム１１２、及び患者を視認してもよい。
【0082】
ロボットシステム１１０は、ユーザとインターフェースするなどのために入力を受信し、かつ／又は出力を提供する１つ以上のＩ／Ｏコンポーネント／デバイス２３６を含むことができる。１つ以上のＩ／Ｏコンポーネント２３６は、タッチ、発話、ジェスチャ、又は任意の他のタイプの入力を受信するように構成することができる。例では、１つ以上のＩ／Ｏコンポーネント２３６は、ロボットシステム１１０を制御／構成などをするために、デバイス／システムの制御に関する入力を提供するために使用できる。図示するように、１つ以上のＩ／Ｏコンポーネント２３６は、データを表示するように構成された１つ以上のディスプレイ２３４を含むことができる。１つ以上のディスプレイ２３４は、１つ以上の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、プラズマディスプレイ、電子ペーパディスプレイ、及び／又は任意の他のタイプの技術を含むことができる。いくつかの実施形態では、１つ以上のディスプレイ２３４は、入力を受信し、かつ／又はデータを表示するように構成された１つ以上のタッチスクリーンを含むことができる。更に、１つ以上のＩ／Ｏコンポーネント２３６は、タッチパッド、コントローラ、マウス、キーボード、ウェアラブルデバイス（例えば、光学ヘッドマウントディスプレイ）、仮想現実デバイス又は拡張現実デバイス（例えば、ヘッドマウントディスプレイ）などを含むことができる１つ以上のＩ／Ｏデバイス／制御装置２３８を含むことができる。更に、１つ以上のＩ／Ｏコンポーネント２３６は、オーディオ信号に基づいて音声を出力するように構成された１つ以上のスピーカ、及び／又は音声を受信してオーディオ信号を生成するように構成された１つ以上のマイクロフォンを含むことができる。いくつかの実施形態では、１つ以上のＩ／Ｏコンポーネント２３６は、コンソール２１４を含むか又はコンソール２１４として実装される。更に、１つ以上のＩ／Ｏコンポーネント２３６は、（ロボットアーム１１２アドミッタンス制御モードを有効／無効にすることができる）ロボットアーム１１２の遠位端上のボタンなどの、物理的に押すことができる１つ以上のボタンを含むことができる。
【0083】
ロボットシステム１１０の種々のコンポーネントは、制御回路の一部であってもなくてもよい特定の接続回路／デバイス／機能部を使用して、電気的に、かつ／又は通信可能に結合することができる。例えば、接続機能部は、ロボットシステム１１０の種々のコンポーネント／回路のうちの少なくとも一部の取り付け及び／又は相互接続を容易にするように構成された１つ以上のプリント回路基板を含むことができる。いくつかの実施形態では、ロボットシステム１１０のコンポーネントのうちの２つ以上は、互いに電気的に、かつ／又は通信可能に結合することができる。
【0084】
１つ以上の通信インターフェース２４０は、１つ以上のデバイス／センサ／システムと通信するように構成することができる。例えば、１つ以上の通信インターフェース２４０は、ネットワーク上で無線及び／又は有線の方式でデータを送信／受信することができる。本開示の実施形態によるネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）、パーソナルエリアネットワーク（ＰＡＮ）、ボディエリアネットワーク（ＢＡＮ）などを含むことができる。いくつかの実施形態では、１つ以上の通信インターフェース２４０は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、近距離無線通信（ＮＦＣ）などの無線技術を実装することができる。
【0085】
１つ以上の電源ユニット２４２は、ロボットシステム１１０に対する電力を管理及び／又は提供するように構成することができる。いくつかの実施形態では、１つ以上の電源ユニット２４２は、リチウム系電池、鉛蓄電池、アルカリ電池、及び／又は別のタイプの電池などの１つ以上の電池を含む。すなわち、１つ以上の電源ユニット２４２は、電源を提供し、かつ／又は電力管理機能を提供するように構成された１つ以上のデバイス及び／又は回路を備えることができる。更に、いくつかの実施形態では、１つ以上の電源ユニット２４２は、交流（ＡＣ）又は直流（ＤＣ）主電源に結合するように構成された主電源コネクタを含む。更に、いくつかの実施形態では、１つ以上の電源ユニット２４２は、制御システム１５０から電力を受け取るために制御システム１５０に結合するように構成されたコネクタを含む。
【0086】
ロボットシステム１１０はまた、ロボットアーム１１２の移動を容易にするための１つ以上のアクチュエータ／ハードウェア２４４を含むことができる。各アクチュエータ２４４はモータを備えることができ、モータは、ジョイント及び／又は接続されたアームセグメント／リンク機構の移動を容易にするために、ロボットアーム１１２内のジョイント又は他の場所に実装することができる。更に、ロボットシステム１１０は、空気圧、光源などの種々の他のコンポーネントを含むことができる。
【0087】
制御システム１５０及び／又はロボットシステム１１０は、本明細書に記載の機能を行うように構成された制御回路２４６及び／又はデータ記憶装置／メモリ２４８を含むことができる。説明及び例示を容易にするために、制御回路２４６及びデータ記憶装置２４８は、制御システム１５０とロボットシステム１１０との間のブロックにおいて示されている。多くの実施形態では、制御システム１５０及びロボットシステム１１０は、制御回路２４６及びデータ記憶装置２４８の別個のインスタンスを含むことができることを理解されたい。すなわち、制御システム１５０は、（例えば、制御システム１５０上で処理を実施するために）制御システム１５０自体の制御回路及びデータ記憶装置を含むことができ、一方でロボットシステム１１０は、（例えば、ロボットシステム１１０上で処理を実施するために）ロボットシステム１１０自体の制御回路及びデータ記憶装置を含むことができる。多くの実施形態では、本明細書での制御回路への言及は、ロボットシステム、制御システム、又は図１に示す医療システム１００の任意のコンポーネントなどの医療システムの任意の他のコンポーネントにおいて具体化された回路を指し得る。
【0088】
制御回路２４６は、制御システム１５０／ロボットシステム１１０の他のコンポーネントとは別個のコンポーネントとして例示しているが、制御システム１５０／ロボットシステム１１０の他のコンポーネントのいずれか又はすべてが、制御回路２４６において少なくとも部分的に具体化できることを理解されたい。例えば、制御回路２４６は、種々のデバイス（能動及び／又は受動）、半導体材料及び／又はエリア、層、領域、及び／又はそれらの一部分、導体、リード、ビア、接続部などを含むことができ、制御システム１５０／ロボットシステム１１０の他のコンポーネントのうちの１つ以上及び／又はその一部分は、そのような回路コンポーネント／デバイスにおいて少なくとも部分的に形成及び／又は具体化することができる。
【0089】
図示されているように、データ記憶装置２４８は、ユーザインターフェースのうちの１つ以上を容易にするように構成されたユーザインターフェースコンポーネント２５０を含むことができる。例えば、ユーザインターフェースコンポーネント２５０は、ユーザインターフェースデータを生成し、かつ／又はユーザインターフェースデータを提供して、ユーザインターフェースをディスプレイ１５２を介して表示させることができる。ユーザインターフェースは、医療器具（例えば、スコープ）の視点からの画像表現、医療器具に関連付けられた要素のためのインジケータ（例えば、作業チャネルインジケータ、関節平面インジケータなど）、制御部若しくは他のインターフェース要素、及び／又は他の情報を含むことができる。ユーザインターフェースコンポーネント２５０は、医療器具が回転する／配向を変えるにつれて、ユーザインターフェース内の画像表現に回転調整を適用することなどによって、画像表現の配向を調整することができる。ユーザインターフェースコンポーネント２５０は、画像表現に対する要素（例えば、作業チャネル）の正確な配向を示すために、画像表現に対するインジケータの配向を維持することができる。ユーザインターフェースコンポーネント２５０は、画像表現及び／又は作業チャネルインジケータを提供するために、医療器具に関する配向／位置情報を使用することができる。
【0090】
データ記憶装置２４８はまた、医療器具を駆動／制御するように構成された器具駆動コンポーネント２５２を含むことができる。例えば、器具駆動コンポーネント２４８は、Ｉ／Ｏコンポーネント２０２からの入力信号を処理することと、医療器具の位置／配向を示す位置／配向データを処理することと、ユーザインターフェース内の画像データ／表現の配向を示す画像配向データを処理することと、ロボットシステム１１０及び／又はロボットシステム１１０に接続された医療器具／ツールを制御するための制御信号を生成することと、制御信号をロボットシステム１１０に送信してロボットシステム１１０及び／又は医療器具／ツールなどを制御することと、を行うように構成することができる。いくつかの実施形態では、医療器具のユーザ制御は、医療器具の意図しない移動及び／又はロボットシステム１１０の機械コンポーネントを制御する際の複雑さを防止するために、医療器具の回転中に無効にすることができる。例えば、器具駆動コンポーネント２５２は、いったんスコープ回転が開始されると、スコープ回転が完了するまで、受信されたユーザ入力を無視することができ、その結果、ユーザは、回転中にスコープを更に関節運動させることができない。
【0091】
いくつかの実施形態では、器具駆動コンポーネント２５２は、ユーザインターフェースを介して提供されるビューに相関する方式で移動するように医療器具を制御することができる。例えば、医師１６０が、スコープの視点からスコープを（例えば、ユーザインターフェースを介して提供されるスコープからの画像データに基づいて）駆動させており、医師１６０が、Ｉ／Ｏコンポーネント２０２を介して入力を提供して、Ｉ／Ｏコンポーネント２０２上で、上方向移動の制御を選択することなどによって、スコープをＩ／Ｏコンポーネント２０２に対して上方向に移動させると仮定する。器具駆動コンポーネント２５２は、スコープの配向／位置、及び／又はユーザインターフェース内に表示される画像データ／画像表現の配向を判定することができる。器具駆動コンポーネント２５２は、そのような配向／位置情報を使用して、スコープをユーザインターフェース上で上方向に移動させることができる。したがって、器具駆動コンポーネント２５２は、ユーザインターフェース内に表示された画像データ／画像表現の配向に基づいて医療器具の制御を構成／更新することができる。例では、医療器具を制御する方式は、医療器具が回転するにつれて再構成することができる。
【0092】
更に、データ記憶装置２４８は、対象物／医療器具の配向／位置を判定／追跡するように構成された位置特定コンポーネント２５４を含むことができる。例えば、位置特定コンポーネント２５４は、入力データを処理して、ロボットシステム１１０に結合された医療器具の位置／配向データを生成することができる。場合によっては、位置／配向データは、医療器具の回転の量を示すことができる。対象物／医療器具の位置／配向データは、基準枠に対する対象物／医療器具の位置／配向を示すことができる。基準枠は、患者の解剖学的構造、既知の対象物（例えば、ＥＭ場発生器）、座標系／空間などに対する基準枠とすることができる。いくつかの実施態様では、位置／配向データは、医療器具の遠位端（及び／又は、場合によっては近位端）の位置及び／又は配向を示すことができる。例えば、スコープの位置／配向データは、スコープの遠位端の回転の量を含む、スコープの遠位端の位置及び配向を示すことができる。対象物の位置及び向きは、対象物の姿勢と言うことができる。例では、医療器具の位置及び／又は配向を判定及び／又は追跡する技法は、位置特定技法と称することができる。
【0093】
対象物／医療器具の位置／配向データを生成するために使用することができる例示的な入力データは、医療器具に関連付けられたセンサからのセンサデータ（例えば、ＥＭ場センサデータ、医療器具上の撮像デバイス／深度センサ／レーダデバイスによって捕捉された視覚／画像データ、医療器具上の加速度計からの加速度計データ、医療器具上のジャイロスコープからのジャイロスコープデータ、光ファイバベースの形状検知、衛星ベースのセンサ（例えば、全地球測位システム（ＧＰＳ））からの衛星ベースの測位データなど）、ロボットアーム／コンポーネントからの（「運動学データ」とも称される）フィードバックデータ（例えば、ロボットアーム／コンポーネントがどのように移動／作動したかを示すデータ）、ロボットアーム／コンポーネントのためのロボットコマンドデータ（例えば、ロボットアーム１１２／医療器具の移動を制御するためにロボットシステム１１０／ロボットアーム１１２に送信される制御信号）、患者の解剖学的構造に関するモデルデータ（例えば、患者の解剖学的構造の内部／外部部分のモデル）、患者の位置データ（例えば、患者がテーブル上にどのように位置付けられているかを示すデータ）、術前データ、などの様々な異なる形態をとることができる。
【0094】
いくつかの実施態様では、位置特定コンポーネント２５４は、電磁追跡を使用して対象物の位置及び／又は配向を判定することができる。例えば、位置特定コンポーネント２５４は、リアルタイムＥＭ追跡を使用して、患者の解剖学的構造に記録されることができる、座標系／空間における医療器具のリアルタイムの場所を判定することができ、この場所は、術前モデル又は他のモデルによって表すことができる。ＥＭ追跡では、１つ以上のセンサコイルを含むＥＭセンサ（又はトラッカー）を、医療機器（例えば、スコープ、針など）内の１つ以上の場所及び／又は向きに埋め込むことができる。ＥＭセンサは、既知の場所に位置付けられた１つ以上の静的なＥＭ場発生器によって形成されるＥＭ場の変動を測定することができる。ＥＭセンサが検出した場所情報を、ＥＭデータとして記憶することができる。位置特定コンポーネント２５４は、ＥＭデータを処理して、医療器具など対象物の位置及び／又は配向を判定することができる。ＥＭ場発生器（又は送信器）を、患者の近くに（例えば、所定の距離内に）配置して、ＥＭセンサが検出することができる低強度磁界を形成することができる。磁界は、ＥＭセンサのセンサコイル内に（例えば、閾値未満の）小電流を誘導することができ、これを分析して、ＥＭセンサとＥＭ場発生器との間の距離及び／又は角度を判定することができる。これらの距離及び／又は向きを、座標系内の単一の場所を患者の解剖学的構造の術前モデルにおける位置と位置合わせする幾何学的変換を判定するために、患者の解剖学的構造（例えば、術前モデル）に術中に「記録」することができる。記録されると、医療機器の１つ以上の位置（例えば、内視鏡の遠位先縁部、針など）におけるＥＭセンサ（例えば、埋め込まれたＥＭトラッカー）は、患者の解剖学的構造を通る医療機器の位置及び／又は向きをリアルタイムで表示することができる。
【0095】
更に、いくつかの実施形態では、位置特定コンポーネント２５４は、対象物の位置及び／又は配向を判定するために視覚ベースの技法を行うことができる。例えば、医療器具は、視覚／画像データの形態でセンサデータを提供するために、カメラ、（「深度センサ」と称されることもある）距離センサ、レーダデバイスなどを備えることができる。位置特定コンポーネント２５４は、視覚データを処理して、医療器具の視覚ベースの場所追跡を容易にすることができる。例えば、術前モデルデータを視覚データと共に使用して、医療器具（例えば、内視鏡）のコンピュータ視覚ベースの追跡を可能にすることができる。例では、術前モデルデータを使用して、制御システム１５０は、スコープの予想される移動経路に基づいて、予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の場所にリンクされる。術中に、このライブラリは、スコープ（例えば、内視鏡の遠位端にあるカメラ）で取得されたリアルタイム画像及び／又は他の視覚データを、画像ライブラリ内の画像と比較するために、制御システム１５０によって参照され、位置特定を支援し得る。
【0096】
更に、対象物の位置及び／又は配向を判定するために、他のタイプの視覚ベースの技法を行うことができる。例えば、位置特定コンポーネント２５４は、機能部追跡を使用して、画像センサ（例えば、カメラ又は他のセンサ）、したがって、画像センサに関連付けられた医療器具の動きを判定することができる。場合によっては、位置特定コンポーネント２５４は、解剖学的管腔に対応する術前モデルデータ内の円形形状を識別し、それらの形状の変化を追跡して、どの解剖学的管腔が選択されたか、並びに医療器具の相対的な回転及び／又は並進の動きを判定することができる。トポロジーマップの使用はまた、視覚ベースのアルゴリズム又は技法を更に強化することができる。更に、位置特定コンポーネント２５４は、光学フロー、別のコンピュータ視覚ベースの技法を使用して、視覚データ内のビデオシーケンス内の画像ピクセルの変位及び／又は並進を分析してカメラ移動を推測することができる。光学フロー技法の例は、動き検出、対象物セグメント化計算、輝度、動き補償符号化、ステレオ視差測定などを含むことができる。複数の反復にわたって複数のフレームを比較することによって、位置特定コンポーネント２５４は、画像センサ（及び、したがって内視鏡）の移動及び場所を判定することができる。
【0097】
更に、いくつかの実施形態では、位置特定コンポーネント２５４は、ロボットコマンド及び／又は運動学データを使用して、対象物の位置及び／又は配向を判定することができる。ロボットコマンド及び／又は運動学データは、関節運動／作動コマンドから生じるロボットアームの位置／配向（例えば、ピッチ、ヨーなど）を示すことができる。例えば、ロボットコマンド及び／又は運動学データは、ジョイント、ギア、プーリ、ベルト、又はロボットアームの別の作動要素の作動の量／方向を示すことができる。位置特定コンポーネント２５４は、ロボットアームの位置／配向を示すデータを使用して、ロボットアームに取り付けられた医療器具の位置／配向を判定することができる。例えば、カテーテルに取り付けられたロボットアームの位置／配向、カテーテルを制御するために送信されたコマンド、及び／又はカテーテルの特性（例えば、カテーテルの長さ、カテーテルの能力など）に基づいて、位置特定コンポーネント２５４は、カテーテルの位置／配向を判定／推定することができる。更に、例では、位置特定コンポーネント２５４は、ロボットコマンドデータを使用し、医療器具を制御するコマンド、距離を示す医療器具上のマークなどに基づいて、医療器具が患者内などにどれだけ挿入／後退されたかを判定することができる。いくつかの術中実施形態では、較正測定値を既知の挿入深度情報と組み合わせて使用して、医療器具の位置及び／又は配向を推定することができる。代替的又は追加的に、これらの計算は、ＥＭ、視覚、及び／又はトポロジーモデリングと組み合わせて分析されて、医療器具の位置及び／又は向きを推定し得る。
【0098】
更に、いくつかの実施形態では、位置特定コンポーネント２５４は、他のタイプのデータを使用して、対象物の位置及び／又は配向を判定することができる。例えば、位置特定コンポーネント２５４は、医療器具に埋め込まれた、（例えば、医療器具の場所／形状に関する形状データを提供することができる）形状検知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ））、無線周波数トランシーバなどからのセンサデータを分析することができる。そのようなデータは、医療器具の位置及び／又は配向を示すことができる。
【0099】
いくつかの実施形態では、位置特定コンポーネント２５４は、術前データを処理して、対象物の位置及び／又は配向を判定することができる。術前データ（「マッピングデータ」と称されることもある）は、低用量ＣＴスキャンなどのコンピュータ断層撮影（ＣＴ）スキャンを実行することによって生成することができる。スキャンからの術前ＣＴ画像は、三次元画像に再構成することができ、三次元画像は、（例えば、患者の内部解剖学的構造の切断図の「スライス」として）視覚化される。全体として分析される場合、患者の肺網、腎臓の解剖学的構造などの、患者の解剖学的構造の、解剖学的腔、空間、及び構造について画像ベースのモデルが生成され得る。中心線形状をＣＴ画像から判定及び近似して、モデルデータと称される（術前ＣＴスキャンのみを使用して生成された場合は「術前モデルデータ」とも称される）患者の解剖学的構造の二次元又は三次元ボリュームを作成することができる。ネットワークトポロジーモデルはまた、ＣＴ画像から導出され得る。
【0100】
いくつかの実施形態では、位置特定コンポーネント２５４は、入力データを組み合わせて使用することができる。例えば、位置特定コンポーネント２５４は、信頼重みが複数の形態の入力データから判定された位置／配向に割り当てられる、確率的アプローチを使用することができる。例示するために、ＥＭデータが（ＥＭ干渉がある場合のように）信頼できない場合、ＥＭデータは比較的低い信頼値と関連付けられ得、視覚データ、ロボットコマンド、運動学データなどの他の形態の入力データに依拠することができる。
【0101】
多くの実施形態は、制御回路２４６によって実行可能である１つ以上の命令として実装される（又は含む）、ユーザインターフェースコンポーネント２５０、器具駆動コンポーネント２５２、及び／又は位置特定コンポーネント２５４の文脈で議論されるが、これらのコンポーネントのうちのいずれも、少なくとも部分的に制御回路として実装されることができる。
【0102】
用語「制御回路」は、１つ以上のプロセッサ、処理回路、処理モジュール／ユニット、チップ、ダイ（例えば、１つ以上の能動デバイス及び／又は受動デバイス及び／又は接続回路を含む半導体ダイ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、プログラマブル論理デバイス、ステートマシン（例えば、ハードウェアステートマシン）、論理回路、アナログ回路、デジタル回路、及び／又は回路及び／又は動作命令のハードコーディングに基づいて信号（アナログ及び／又はデジタル）を操作する任意のデバイスの任意の集合を指すことができる。制御回路は更に、１つ以上の記憶デバイスを含むことができ、これは、単一のメモリデバイス、複数のメモリデバイス、及び／又はデバイスの埋め込み回路において具体化することができる。このようなデータ記憶装置としては、読み出し専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、データ記憶装置レジスタ、及び／又はデジタル情報を記憶する任意のデバイスを挙げることができる。制御回路がハードウェアステートマシンを含み（及び／又はソフトウェアステートマシンを実装し）、アナログ回路、デジタル回路、及び／又は論理回路を含む実施形態では、任意の関連付けられた動作命令を記憶するデータ記憶装置／レジスタは、ステートマシン、アナログ回路、デジタル回路、及び／又は論理回路を含む回路の内部に又はその外部に埋め込めることに注意されたい。
【0103】
用語「メモリ」は、任意の好適な又は望ましいタイプのコンピュータ可読媒体を指すことができる。例えば、コンピュータ可読媒体としては、１つ以上の揮発性データ記憶装置、不揮発性データ記憶装置、取り外し可能なデータ記憶装置、及び／又は取り外し不可能なデータ記憶装置であって、任意の技術、レイアウト、及び／又はデータ構造／プロトコルを用いて実装されるものを挙げることができ、これらは、任意の好適な又は望ましいコンピュータ可読命令、データ構造、プログラムモジュール、又は他のタイプのデータを含む。
【0104】
本開示の実施形態により実装することができるコンピュータ可読媒体としては、限定することなく、以下を挙げることができる。相変化メモリ、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他のメモリ技術、コンパクトディスク読み出し専用メモリ（compact disk read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又は任意の他の非一時的媒体であって、コンピューティングデバイスによるアクセスのための情報を記憶するために使用できるもの。本明細書において特定の文脈で用いる場合、コンピュータ可読媒体は全般的に、変調データ信号及び搬送波などの通信媒体を含まない場合がある。したがって、コンピュータ可読媒体は全般的に、非一時的媒体を指すと理解しなければならない。
【0105】
例示的なスコープ
図３は、本開示の１つ以上の実施形態による、患者の泌尿器系の部分に配置されたスコープ１３０を例解する図である。この例では、スコープ１３０は内視鏡／尿管鏡として実装される。上で言及されるように、尿管鏡処置は、ヒトの尿管内の異常を調査し、かつ／又は同異常を治療するために実装することができる。例えば、尿管鏡処置は、腎臓結石を治療及び／又は除去するために実装することができる。そのような処置は、少なくとも部分的に手動で実施され得、かつ／又は図１に示すロボットシステム１１０など、ロボット技術を少なくとも部分的に使用して行われ得る。例えば、特定の内視鏡処置のためのロボットデバイス及び／又はシステムの使用は、厳密に手動の処置と比較して、相対的に高い精度、制御、及び／又は協調を提供することができる。
図３は、本開示の１つ以上の実施形態による、患者の泌尿器系の部分に配置されたスコープ１３０を例解する図である。この例では、スコープ１３０は内視鏡／尿管鏡として実装される。上で言及されるように、尿管鏡処置は、ヒトの尿管内の異常を調査し、かつ／又は同異常を治療するために実装することができる。例えば、尿管鏡処置は、腎臓結石を治療及び／又は除去するために実装することができる。そのような処置は、少なくとも部分的に手動で実施され得、かつ／又は図１に示すロボットシステム１１０など、ロボット技術を少なくとも部分的に使用して行われ得る。例えば、特定の内視鏡処置のためのロボットデバイス及び／又はシステムの使用は、厳密に手動の処置と比較して、相対的に高い精度、制御、及び／又は協調を提供することができる。
【0106】
スコープ１３０は、剛性又は可撓性チューブを含むことができ、かつ／又は外側シース、カテーテル、導入器、又は他の管腔型デバイス内を通過するように寸法決めすることができる。しかし、スコープ１３０は、いくつかの例では、そのようなデバイスなしで使用することができる。例えば、スコープ１３０は、アクセスシース１３６を通過して、標的解剖学的構造にアクセスするように構成されることができる。アクセスシース１３６は、対象物／結石のサイズが大きすぎない（例えば、閾値サイズ内である）場合に、器具（例えば、バスケットデバイス）によって捕捉された対象物と共に、スコープ１３０がアクセスシースを通して引き込まれるのに十分な直径を有することができる。いくつかの例では、アクセスシース１３６は、尿管１９７を通して、腎盂３０２及び／又は腎盂尿管移行部３０４付近の位置まで前進されてもよい。アクセスシース１３６の遠位端は、尿管１９７及び／又は腎盂３０２内の位置に留置され得、そのような留置位置は、少なくとも部分的に解剖学的構造に依存し得る。しかし、他の例では、アクセスシース１３６は、腎盂３０２の近傍に位置付けられることなく、尿道又は他の解剖学的構造内にのみ位置付けられることができる。一般に、アクセスシース１３６は、スコープ１３０が関節運動できる程度には関節運動可能でなくてもよく、したがって、アクセスシース１３６を腎臓にナビゲート／駆動することは実用的でなくてもよい。
【0107】
スコープ１３０は、スコープ１３０がヒトの解剖学的構造内で操縦することができるように、スコープの少なくとも遠位部分に対してなど、関関節運動可能である可能性がある。いくつかの実施形態では、スコープ１３０は、例えば、ＸＹＺ座標移動、及びピッチ及びヨーを含む、５自由度（ＤＯＦ）で関節運動されるように構成されている。更に、いくつかの実施形態では、スコープ１３０は、ＸＹＺ座標移動、及びピッチ、ヨー、並びに回転を含む、６－ＤＯＦで関節運動可能である。他の実施形態では、スコープ１３０は、他のＤＯＦで関節運動可能である。スコープ１３０が位置センサを備える実施形態では、位置センサは、３－ＤＯＦ位置情報（例えば、ｘ、ｙ、及びｚ座標）、５－ＤＯＦ位置情報（例えば、ｘ、ｙ、及びｚ座標並びにピッチ角及びヨー角）、６－ＤＯＦ位置情報（例えば、ｘ、ｙ、及びｚ座標並びにピッチ角、ヨー角及び回転角）などの位置情報を提供することができる。いくつかの実施形態では、スコープ１３０は、内側リーダ部分及び外側シース部分などの伸縮部を含み得るが、これら伸縮部は、スコープ１３０を伸縮自在に延伸するように操作される可能性がある。
【0108】
スコープ１３０は、スコープ１３０の遠位端など、スコープ１３０の移動を制御するように構成された１つ以上の細長い移動部材（図示せず）を含むことができる。細長い移動部材は、１つ以上のワイヤ（例えば、プルワイヤ又はプッシュワイヤ）、ケーブル、ファイバ、及び／又は可撓性シャフトを含んでもよい。プルワイヤは、ステンレス鋼、ケブラー、タングステン、炭素繊維、及び同等物などの金属及び非金属材料などの任意の好適な又は望ましい材料を含み得る。いくつかの実施形態では、スコープ１３０は、細長い移動部材によって印加された力を受けて、非線形挙動を示すように構成されている。非線形挙動は、スコープ１３０の剛性及び／又は圧縮性、並びに異なる細長い移動部材間のたるみ又は剛性の変動性に基づき得る。ロボットアームの実施態様では、スコープ１３０に結合された１つ以上のプルワイヤを作動させて、スコープ１３０の先端部３０６を偏向させるように構成されてもよい。対照的に、ユーザハンドヘルドの実施態様では、ユーザは、アクチュエータを介して手動入力を提供して、スコープ１３０の１つ以上のプルワイヤを作動させ、スコープ１３０の先端部３０６を偏向させることができる。
【0109】
スコープ１３０は、患者の内部解剖学的構造を表す画像データなどの画像データを捕捉するように構成された撮像デバイス３０８を含むことができる。撮像デバイス３０８は、光学カメラ及び／又は別の撮像デバイスなどのカメラを含むことができる。撮像デバイス３０８は、光ファイバ、ファイバアレイ、及び／又はレンズを含むことができる。撮像デバイス３０８の１つ以上の光学的コンポーネントは、スコープ１３０の先端部３０６と共に移動することができ、先端部３０６の移動は、撮像デバイス３０８によって捕捉された画像に変化をもたらす。いくつかの実施形態では、スコープ１３０は、光学アセンブリと、スコープ１３０の遠位端３０６との間で、信号を伝達するためのワイヤ及び／又は光ファイバを収容することができる。更に、スコープ１３０は、光ファイバを収容して、発光ダイオードなどの近位に配置される光源からスコープの遠位端３０６に光を搬送するように更に構成することができる。スコープ１３０の遠位端３０６は、光源用３１０が解剖学的空間を照明するためのポートを含むことができ、撮像デバイス３０８を使用するときに有用であってもよい。複数の光源３１０が示されているが、スコープ１３０は、任意の数の光源を用いて実装することができる。
【0110】
スコープ１３０はまた、器具３１４を展開するための作業チャネル３１２を含むことができる。例示的な器具３１４は、レーザを提供するように構成されたレーザデバイス３１４ａ、対象物（例えば、腎臓結石の断片）を捕捉／回収するように構成されたバスケットデバイス３１４ｂ、対象物を把持／保持するように構成された鉗子３１４ｃ、対象物を切断するように構成された外科用メス３１４ｄ、砕石器（図示せず）、標的部位に灌注／吸引を提供するように構成された灌注／吸引装置（図示せず）などを含む。作業チャネル３１２は、スコープ１３０の近位端から遠位端３０６までスコープ１３０を通って長手方向に延在することができる。例では、作業チャネル３１２は、図３に示されるように、スコープ１３０の片側にオフセットされる（例えば、スコープ１３０の長手方向軸３１６からオフセットされる）。他の例では、作業チャネル３１２は、スコープ１３０の中心又は別の場所に位置付けられる。撮像デバイス３０８は、スコープ１３０の遠位端３０６に取り付けられる（例えば、スコープ１３０と一体化される）ものとして示されているが、場合によっては、撮像デバイス３０８は、作業チャネル３１２を通して展開される別個のデバイスである。更に、単一の作業チャネル３１２が示されているが、任意の数の作業チャネルが実装されてもよい。
【0111】
いくつかの実施形態では、スコープ１３０は、センサデータを生成し、かつ／又は別のデバイスに送信するように構成された（「位置センサ」と称されることもある）センサを含む。（「センサ位置データ」と称されることもある）センサデータは、スコープ１３０（例えば、その遠位端３０６）の位置及び／又は配向を示すことができ、かつ／又はスコープ１３０の位置／配向を判定／推測するために使用することができる。例えば、センサは、センサデータを制御システムに提供することができ、そのセンサデータは、次いで、スコープ１３０の位置及び／又は配向を判定するために使用される。センサは、スコープ１３０の遠位端３０６及び／又は別の場所に位置付けすることができる。いくつかの実施形態では、センサとしては、導電性材料のコイルを有する電磁（ＥＭ）センサ、又はアンテナの他の形態／実施形態を挙げることができる。しかし、スコープ１３０は、形状検知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ）センサ）、無線周波数トランシーバなど、他のタイプのセンサを含むことができる。
【0112】
いくつかの実施態様では、スコープ１３０は、スコープが特定の方式で配向されたときに特定の方向により多くの／より少ない自由度で移動するように、異なる平面内で異なる量だけ移動するように構成することができる。例えば、スコープ１３０は、一次関節平面及び二次関節平面と関連付けられることができ、一次平面及び二次平面は、互いに垂直である。スコープ１３０の先端部３０６は、二次関節平面と比較して、一次関節平面においてより大きい自由度で移動する（例えば、より多くの偏向を示す）ように構成されることができる。
【0113】
スコープ１３０及び／又は器具３１４は、ハンドルコンポーネントの手動操作、電子ユーザ入力、又は自動入力のいずれかに基づいて、任意の好適又は望ましい方法で制御可能であり得る。例えば、画像３１８は、１つ以上のロボットアームを使用してスコープ１３０及び／又は器具３１４を制御するための例示的なロボット制御構成を示す。ここで、スコープ－ドライバ器具結合部１３２及び／又はハンドル１３４は各々、スコープ１３０／器具３１４を制御するためにスコープ－ドライバ器具結合部１３２及び／又はハンドル１３４を操作することができるロボットアームに結合することができる。一方、画像３２０は、例示的な手動制御構成を示し、スコープ１３０は、スコープ１３０／器具３１４の移動を容易にするためにユーザによって保持／操作されるように構成されたハンドヘルドハンドル３２２を含む。
【0114】
例示的な画像／インジケータ調整
図４－１～図４－９は、１つ以上の実施形態による、スコープを回転し、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する（「段階的アプローチ」と称されることもある）例を示す。一方、図５－１～図５－５は、１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する例（「連続アプローチ」と称されることもある）を示す。これらの例では、スコープは所定の量だけ回転して、スコープの作業チャネルを同じ量だけ回転させ、これにより、スコープが標的部位を処置するためのより良好な配向を提供してもよい。特に、スコープは、作業チャネルを再配向させるために１８０度回転する。しかし、任意の量の回転を実施することができ、これは所定のものであってもよいし、そうでなくてもよい。スコープ回転は、Ｉ／Ｏデバイス／コンポーネントを介して（ユーザインターフェースを介して、又は別様に）ユーザ入力を受信すること、スコープを回転することを自動的に判定することなどによって、種々の方式で開始されることができる。
図４－１～図４－９は、１つ以上の実施形態による、スコープを回転し、スコープが回転を完了したときにユーザインターフェース内のスコープ画像に回転調整を適用する（「段階的アプローチ」と称されることもある）例を示す。一方、図５－１～図５－５は、１つ以上の実施形態による、スコープを回転させ、スコープを回転させながらユーザインターフェース内のスコープ画像に回転調整を適用する例（「連続アプローチ」と称されることもある）を示す。これらの例では、スコープは所定の量だけ回転して、スコープの作業チャネルを同じ量だけ回転させ、これにより、スコープが標的部位を処置するためのより良好な配向を提供してもよい。特に、スコープは、作業チャネルを再配向させるために１８０度回転する。しかし、任意の量の回転を実施することができ、これは所定のものであってもよいし、そうでなくてもよい。スコープ回転は、Ｉ／Ｏデバイス／コンポーネントを介して（ユーザインターフェースを介して、又は別様に）ユーザ入力を受信すること、スコープを回転することを自動的に判定することなどによって、種々の方式で開始されることができる。
【0115】
これらの例では、ユーザインターフェース４０２／５０２は、医療処置を行うためなど、スコープ４０４／５０４及び／又はスコープ４０４／５０４を通して展開される器具を制御する際にユーザを支援する情報を提供する。ユーザインターフェース４０２／５０２は、スコープ４０４／５０４の視点からのビューを表す画像表現４０６／５０６と、画像表現４０６／５０６に対するスコープ４０４／５０４の作業チャネルの回転角度を示す作業チャネルインジケータ４０８／５０８とを提供することができる。作業チャネルインジケータ４０８／５０８は、作業チャネル回転が実施されるとき、常時、及び／又は別の時間に、ユーザインターフェース４０２／５０２内に表示されることができる。画像表現４０６／５０６は、スコープ４０４／５０４に関連付けられた撮像デバイスによって捕捉された画像データを含む、それに基づく、及び／又はそれから生成されることができる。ここで、画像表現４０６／５０６は、腎臓結石４１０／５１０と、腎臓結石４１０／５１０に隣接する体腔４１２／５１２とを示しており、これらは、通常、腎臓結石４１０／５１０を除去するための処置を行うときに視認し得る（ただし、腎臓結石４１０／５１０は、他の方法で配向されてもよい）。図示するように、ユーザインターフェース４０２／５０２は、スコープ４０４／５０４の作業チャネルを回転させる（すなわち、スコープ４０４／５０４を回転させる）ためのユーザインターフェース要素４１４／５１４を含むことができる。一方、各図の画像４１６／５１６及び要素４１８／５１８は、それぞれの図に対する患者の解剖学的構造内のスコープ４０４／５０４の配向を示す。要素４１８／５１８は、それぞれの画像４１６／５１６に対するスコープ４０４／５０４の先端部及び座標フレームの配向を表す。
【0116】
一般に、ユーザインターフェース内の画像表現の配向は、スコープの先端部／撮像デバイスの配向に（オフセットあり又はなしで）相関されることができる。言い換えれば、ユーザインターフェースを介したユーザの基準枠（「ユーザのビュー」とも称される）は、スコープの先端部／撮像デバイスの配向に相関される。したがって、スコープ４０４が回転するとき、回転調整が適用されない限り、画像表現は一般にユーザインターフェース内で回転する。例示すると、図４－１～図４－９の文脈では、スコープ４０４の座標フレームは、最初に、図４－１の４１８に示すように配向することができ、スコープ４０４の座標フレームに対する移動の上方向（例えば、４１８の矢印が指す方向）は、図４－１の左方向に対応する。ここで、スコープ４０４の撮像デバイスの座標フレームは同じであるが、場合によってはオフセットされてもよい。この例では、ユーザインターフェース４０２は、ユーザインターフェース４０２における上方向がスコープ４０４の座標フレームにおける右方向に対応するように、図４－１におけるオフセットを有するスコープ４０４に関連付けられた画像表現４０６を提供する。このようなオフセットは、回転調整が適用されるまで維持することができる。
【0117】
更に、スコープの制御は、一般に、スコープがユーザによって直感的な方式で制御することができるように、ユーザインターフェースに相関することができる。例えば、ユーザが、Ｉ／Ｏコンポーネント上の上方向移動の制御を選択することなどによって、Ｉ／Ｏコンポーネントに対して上方向にスコープを移動させるために、Ｉ／Ｏコンポーネントを介して入力を提供すると仮定する。スコープの配向／位置及び／又はユーザインターフェース内の画像表現の配向に関する情報は、そのような方向がスコープの座標フレームに対して上方向でない場合であっても、スコープをユーザインターフェース上で上方向に移動させるために使用することができる。したがって、ユーザは、スコープをユーザインターフェース上で上方向に移動するものとして視認することができる。
【0118】
上述のように、図４－１～図４－９は、スコープ４０４が回転を完了した後に画像表現４０６に回転調整を適用する例を示す。これらの図では、画像４１６の隣の矢印はスコープ４０４の回転の方向を示し、ユーザインターフェース４０２の隣の矢印はユーザインターフェース４０２内の画像表現４０６の回転の方向を示す。例えば、図４－６～図４－９において、ユーザインターフェース４０２の隣の矢印は、画像表現４０６がユーザインターフェース４０２内で反時計回りに回転していることを示し、これは、画像表現４０６の配向を調整／補正するために適用される回転調整によるものである。
【0119】
図示するように、図４－１は、スコープ４０４が初期位置に配向されているときのユーザインターフェース４０２内の画像表現４０２及び作業チャネルインジケータ４０４を示す。ここで、スコープ４０４は、４１８で示されるように配向される。この例では、ユーザは、インターフェース要素４１４を選択することによってスコープ４０４を所定の量だけ回転させる。図４－２～図４－５に示すように、スコープ４０４は、反時計回りに１８０度回転する。しかし、スコープ４０４は、同じ量の回転を達成するために時計回りに回転することができる。図４～図５は、スコープ４０４が回転を完了した後の、ユーザインターフェース４０２及びスコープ４０４の配向を示す。スコープ４０４が回転すると、画像表現４０６内のコンテンツは、図４－２～図４－５にも示されるように、ユーザインターフェース４０２内で時計回りに回転する。すなわち、画像表現４０６に関連付けられた仮想水平線は、スコープ４０４（及びスコープ４０４の関連付けられた撮像デバイス）の回転に起因して時計回りに回転することができる。仮想水平線は、画像表現４０６内のコンテンツに対する基準線（例えば、患者の解剖学的構造に対する基準水平線）を表すことができる。図４－１から図４－９に関連して、仮想水平線は、最初は図４－１の水平線とすることができる。
【0120】
スコープ４０４が回転している間、画像表現４０６は切り取られた形態で表示することができる。例えば、図４－２～４－５に示すように、画像表現４０６は、ユーザインターフェース４０２内に円形で表示することができる。これにより、撮像デバイスからの画像データが欠落することに起因してユーザインターフェース４０２に黒い帯が表示されることを回避することができる。切り取られた形態は、スコープ４０４が回転していることをユーザに示すこともできる。多くの例が、スコープ４０４の回転中及び回転中にトリミングされた方式（例えば、円）で画像表現４０６を提示する文脈で論じられるが、画像表現４０６は、切り取られない方式で、及び／又は（撮像デバイスの視野に基づく）画像表現４０６の初期／元の形態、別の形状などの回転中の他の形態で表示されることができる。
【0121】
スコープ４０４が回転すると、作業チャネルインジケータ４０８は、画像表現４０６に対する作業チャネルの回転角度を維持することができる。特に、図４－２～図４－５に示すように、作業チャネルインジケータ４０８は、画像表現４０６内の仮想水平線が回転して画像表現４０６のコンテンツに対する作業チャネルの位置を正確に示すとき、ユーザインターフェース４０２内で静止したままである。すなわち、作業チャネルインジケータ４０８は、スコープ４０４が初期配向から１８０度まで回転するときに、ユーザインターフェース４０２内で同じ回転角度を維持することができる。この例では、作業チャネルインジケータ４０８は、部分的に透明なインターフェース要素として、画像表現４０６上にオーバーレイ方式で提示される。これは、画像表現４０６が作業チャネルインジケータ４０８を通して少なくとも部分的に視認されることを可能にすることができる。しかし、作業チャネルインジケータ４０８は、４０６に対して非オーバーレイ方式で、不透明インターフェース要素（例えば、中実）、完全に透明なインターフェース要素として、及び／又は他の形態／方式でなど、他の方式で表示されることができる。
【0122】
スコープ４０４が回転を完了し、その結果、作業チャネルが１８０度回転すると、回転調整を適用して、画像表現４０６の配向を調整／補正することができる。例では、スコープ４０４が回転を完了したという判定を、本明細書で説明する技法（例えば、位置特定技法）のうちの１つ以上に基づいて行うことができる。図４－６～図４－９に示すように、回転調整は、画像表現４０６に関連付けられた仮想水平線が図４－１に示す初期配向に戻る（例えば、画像表現４０６内のコンテンツが初期配向に戻る）まで、画像表現４０６をユーザインターフェース４０２内で反時計回りに回転させることを含むことができる。画像表現４０６は、スコープ４０４が回転したのと同じ量（例えば、１８０度）だけ回転することができる。画像表現４０６は、スコープ４０４が同じ配向（例えば、回転／反転位置）のままである間に、ユーザインターフェース４０２内で回転することができる。図４－９は、画像表現４０６が１８０度回転して仮想水平線を初期配向に戻したときのユーザインターフェース４０２（及び作業チャネルインジケータ４０８）を示す。回転調整は、画像表現４０６を反時計回りに回転させる文脈で説明されているが、回転調整は、代替的に、画像表現４０６を時計回りに回転させることによって実施することができる。
【0123】
画像表現４０６を回転させながら、画像表現４０６は、スコープ４０４を回転させながら、説明したのと同様の方法で、切り取られた形態で表示することができる。図４～図９に示されるように、回転調整が画像表現４０６に適用され、作業チャネル４０８が回転されると、画像表現４０６は、切り取られていない形態に戻すことができる。しかし、画像表現４０６は、スコープ回転の間及び／又は完了時に他の形態で表示することができる。したがって、回転調整は、スコープ４０４を回転させる前後に同じ基準枠（例えば、同じ仮想水平線）をユーザに提供することができる一方で、ユーザが作業チャネルの位置（例えば、作業チャネルが反転されている）を正確に視認することを可能にする。
【0124】
図４－６～図４－９にも示されるように、画像表現４０６の回転調整中、作業チャネルインジケータ４０８は、画像表現４０６に対する作業チャネルの角度の正確な表現を維持するために、ユーザインターフェース４０２内で反時計回りに回転することができる。作業チャネルインジケータ４０８は、スコープ４０４が回転したのと同じ量（例えば、１８０度）だけ回転することができる。
【0125】
いくつかの実施形態では、図４－６から図４－９の文脈で論じられる回転調整技法は、回転中にスコープ４０４の先端部の配向を正確に追跡することが困難であり得る場合に実装される。例えば、スコープ４０４を回転させることは、スコープ４０４／ロボットアームの機械コンポーネントを係合解除／係合すること、スコープ４０４の細長いシャフトの締め付けを評価すること、１つ以上の制御信号をロボットシステムのコンポーネントに送信することなどを含むことができる。そのような動作は、未知の量の時間を要し、及び／又はある量の遅延に関連付けられる可能性がある。更に、動作がスコープ４０４の近位端で行われる例では、そのような動作は、スコープ４０４の遠位端で回転に瞬時に変換されなくてもよい。更に、いくつかの例では、スコープ４０４は、ＥＭ場発生器が使用されていないときに回転される可能性があり、制御システムに、スコープ４０４の回転を追跡するためにＥＭセンサデータ以外のデータに依存させるが、これは、精度／信頼性が低い可能性がある。
【0126】
図４－１～図４－９は、スコープ４０４が回転を完了したときに画像表現４０６が回転する状況で説明されているが、画像表現４０６は、他の事象が発生したときに回転することができる。例えば、画像表現４０６は、スコープ４０４が所定の量の回転を完了するたびに画像表現４０６がそのような量だけ回転する（例えば、スコープ４０４によって完了される１５度の回転ごとに１５度回転する）増分方式で回転することができる。
【0127】
一方、図５－１～図５－５は、スコープ５０４を回転させながら連続アプローチで回転調整を適用する例を示す。これらの図において、画像５１６の隣の矢印は、スコープ５０４の回転の方向を示す。ここで、画像表現５０６は、スコープ５０４が初期配向から１８０度の最終配向まで回転するにつれて、ユーザインターフェース５０２内で継続的に更新される。図示するように、画像表現５０６のための仮想水平線は、スコープ５０４の回転全体を通して同じままであるが、作業チャネルインジケータ５０８は、画像表現５０６の周りを回転する。特に、スコープ５０４は、スコープ５０４の座標フレームに対して反時計回り方向に回転し、作業チャネルインジケータ５０８は、ユーザインターフェース５０２に対して同じ方向（すなわち、反時計回り方向）に回転する。更に、画像表現５０６は、知覚されない方法で反時計回り方向に回転することができる。作業チャネルインジケータ５０８及び画像表現５０６に対してそのような調整を行うために、スコープ５０４の配向は、本明細書で説明される位置特定技法のうちの１つ以上を使用してリアルタイムで追跡されることができる。これにより、ユーザインターフェース５０２は、正確な方法で情報を提示することができる。同様に上述したように、スコープ５０４を回転させながら、画像表現５０６は、図５－２～図５－４に示すように、切り取られた形態で表示することができる。スコープ５０４が回転を完了すると、図５－５に示されるように、画像表現５０６は、切り取られていない形態に戻ることができる。そのような回転調整を連続的に実施することによって、ユーザは、画像表現５０６を同じままであると知覚してもよく、これは、ユーザが患者の解剖学的構造内で方向感覚を失うことを回避することを更に支援してもよい。すなわち、図５－１～図５－５において、画像表現５０６の配向は、患者の解剖学的構造に対する仮想水平線を維持する（例えば、ユーザの基準枠を維持する）ように連続的に更新することができる。
【0128】
図４－１～図４－９及び図５－１～図５－９には、スコープ回転の特定の段階中に切り取られた形態又は切り取られていない形態で種々画像表現が示されているが、画像表現は、スコープ回転の前、最中、及び／又は後の任意の時間に切り取られた形態又は切り取られていない形態で表示することができる。
【0129】
例示的なユーザインターフェース
図６は、１つ以上の実施形態による、スコープ及び／又はスコープの作業チャネルを通して展開される器具を制御する際にユーザを支援するための例示的なユーザインターフェース６０２を例示する図である。ユーザインターフェース６０２は、スコープの視点からのビューを表す画像表現６０４と、画像表現６０４に対するスコープの作業チャネルの回転角度を示す作業チャネルインジケータ６０６とを提供することができる。画像表現６０４は、スコープに関連付けられた撮像デバイスによって捕捉された画像データを含む、それに基づく、及び／又はそれから生成されることができる。ここで、画像表現６０４は、腎臓結石６０８及び腎臓結石６０８に隣接する体腔６１０を示す。この例では、ユーザインターフェース６０２は医療処置中に提示される。しかし、ユーザインターフェース６０２は、他の時間に提示される可能性がある。
図６は、１つ以上の実施形態による、スコープ及び／又はスコープの作業チャネルを通して展開される器具を制御する際にユーザを支援するための例示的なユーザインターフェース６０２を例示する図である。ユーザインターフェース６０２は、スコープの視点からのビューを表す画像表現６０４と、画像表現６０４に対するスコープの作業チャネルの回転角度を示す作業チャネルインジケータ６０６とを提供することができる。画像表現６０４は、スコープに関連付けられた撮像デバイスによって捕捉された画像データを含む、それに基づく、及び／又はそれから生成されることができる。ここで、画像表現６０４は、腎臓結石６０８及び腎臓結石６０８に隣接する体腔６１０を示す。この例では、ユーザインターフェース６０２は医療処置中に提示される。しかし、ユーザインターフェース６０２は、他の時間に提示される可能性がある。
【0130】
図示するように、ユーザインターフェース６０２は、スコープの作業チャネルを回転させるための作業チャネル要素６１２を含むことができる。作業チャネルインジケータ６０６は、画像表現６０４上にオーバーレイされる半透明半円形要素として実装されることができる。しかし、作業チャネル要素６１２は、他の形態をとることができ、及び／又はユーザインターフェース６０２内の他の場所に位置付けることができる。一例では、ユーザは、作業チャネル要素６１２を選択して、スコープを１８０度回転させる（例えば、初期配向から１８０度回転した配向に反転させる）ことができるが、回転も可能である。別の例では、ユーザは、スコープ回転を開始するためにＩ／Ｏコンポーネント（例えば、ユーザインターフェース６０２、コントローラなど）を介して第１の入力を提供し、スコープ回転を停止するために第２の入力を提供することができる。更に別の例では、ユーザは、Ｉ／Ｏコンポーネント上の制御要素を選択して保持することによってスコープを回転するための入力を提供し、制御要素が選択されている間にスコープを回転させることができる。いずれの事象においても、本明細書で論じられる回転調整技法のうちの１つ以上は、スコープが回転するとき／回転した後に画像表現６０４を調整するために実装することができる。更に、作業チャネルインジケータ６０６は、スコープの作業チャネルの配向を示すように調整されることができる。ユーザインターフェース６０２はまた、ユーザインターフェース６０２内の画像表現６０４に回転調整を適用することなく（例えば、スコープ画像を回転補正することなく）スコープを回転させるための水平回転要素６１４を含むことができる。これは、視覚水平線を腎臓の主平面又は他の機能部と位置合わせするために使用することができる。これはまた、スコープがある場所により容易に達する／ナビゲートすることができるように、スコープの関節運動の主／主要平面を位置合わせするために使用することができる。
【0131】
更に、ユーザインターフェース６０２は、選択された器具（例えば、この例ではスコープ又はツール）に関連付けられた関節運動の量を視認するために、画像表現６０４の周りに関節運動バー６１６、６１８を含むことができる。頂部／底部関節運動バー６１６は、垂直方向の関節運動の量を示すことができる。例えば、頂部／底部関節運動バー６１６は、画像データ６０４の上方又は下方に位置付けられ、かつ／又は医療器具の垂直関節屈曲を示すために、長さを拡張／収縮することができる。図６の例では、頂部／底部関節運動バー６１６は、スコープが上方に関節運動していることを示すために、画像表現６０４の上方に位置付けられる。右／左関節運動バー６１８は、水平関節運動の量を示すことができる。例えば、右／左関節運動バー６１８は、画像表現６０４の右又は左に位置付けられ、かつ／又は医療器具の水平関節動作を示すために、長さを拡張／収縮することができる。図６の例では、右／左関節運動バー６１８は、画像表現６０４の右に位置付けられて、スコープが右に関節運動されていることを示す。
【0132】
ユーザインターフェース６０２はまた、較正／制御する医療器具を選択するためにインターフェース要素６２０、６２２を含むことができる。インターフェース要素６２０は、スコープの制御を可能にし、インターフェース要素６２２は、スコープに関連付けられた器具（「ツール」とも称される）の制御を可能にする。スコープと関連付けられた器具は、スコープの作業チャネルを通して展開されることができる。この例では、スコープが選択され、これにより、ユーザがスコープをナビゲートすることが可能になり、ユーザインターフェース６０２にスコープに関する情報を表示させる。
【0133】
フロー図例
図７は、１つ以上の実施形態による、ユーザインターフェース内のスコープ画像に回転調整と適用するためのプロセス７００の例示的なフロー図を例解する図である。プロセス７００に関連付けられた種々の動作／行為は、制御システム１５０、ロボットシステム１１０、テーブル１７０、医療器具、及び／又は別のデバイスなどの本明細書で説明したデバイス／システムのいずれか、又はそれらの組み合わせに実装された制御回路によって行うことができる。種々のブロックをプロセス７００の一部であると例示しているが、そのようなブロックのいずれも削除することができる。更に、更なるブロックをプロセス７００の一部として実装することができる。ブロックを例示した順番は、単に説明を目的として示しており、ブロックは任意の順番で実装することができる。いくつかの実施形態では、プロセス７００のブロックのうちの１つ以上は、実行可能命令であって、制御回路によって行われると、説明した機能性／動作を制御回路に行わせる実行可能命令として実装される。しかし、プロセス７００のブロックのうちの１つ以上を、他のデバイス／システム、ユーザなどによるなどの他の方法で実装することができる。
図７は、１つ以上の実施形態による、ユーザインターフェース内のスコープ画像に回転調整と適用するためのプロセス７００の例示的なフロー図を例解する図である。プロセス７００に関連付けられた種々の動作／行為は、制御システム１５０、ロボットシステム１１０、テーブル１７０、医療器具、及び／又は別のデバイスなどの本明細書で説明したデバイス／システムのいずれか、又はそれらの組み合わせに実装された制御回路によって行うことができる。種々のブロックをプロセス７００の一部であると例示しているが、そのようなブロックのいずれも削除することができる。更に、更なるブロックをプロセス７００の一部として実装することができる。ブロックを例示した順番は、単に説明を目的として示しており、ブロックは任意の順番で実装することができる。いくつかの実施形態では、プロセス７００のブロックのうちの１つ以上は、実行可能命令であって、制御回路によって行われると、説明した機能性／動作を制御回路に行わせる実行可能命令として実装される。しかし、プロセス７００のブロックのうちの１つ以上を、他のデバイス／システム、ユーザなどによるなどの他の方法で実装することができる。
【0134】
ブロック７０２において、プロセス７００は、スコープに関連付けられた撮像デバイスから画像データを受信することを含むことができる。スコープは、医療器具／ツールを展開するための作業チャネルを含むことができる。作業チャネルは、スコープの長手方向軸からオフセットすることができる。いくつかの場合では、撮像デバイスは、スコープの端部上に配置される一方、他の場合では、撮像デバイスは、スコープの作業チャネルを通して展開される。例では、画像データは、撮像デバイスから複数の画像を受信するなど、リアルタイムで受信することができる。
【0135】
ブロック７０４において、プロセス７００は、画像データに少なくとも部分的に基づいて画像表現を生成することを含むことができる。例えば、画像表現は、スコープからの画像データを含む／表すことができる。場合によっては、画像データを再フォーマット／変換されて、画像表現を生成する。
【0136】
ブロック７０６において、プロセス７００は、画像表現をユーザインターフェースに表示させることを含むことができる。一例では、画像データを表示させることは、ディスプレイがユーザインターフェースを介して画像表現を提示することができるように、データをディスプレイに送信することを含むことができる。別の例では、画像表現を表示させることは、ディスプレイを介して画像表現を表示／提示することを含むことができる。
【0137】
ブロック７０８において、プロセス７００は、作業チャネルインジケータを表示させることを含むことができる。作業チャネルインジケータは、画像表現に対する作業チャネルの回転角度を示すことができる。一例では、作業チャネルインジケータを表示させることは、ディスプレイがユーザインターフェースを介して画像表現を提示することができるように、データをディスプレイに送信することを含むことができる。別の例では、画像表現を表示させることは、ディスプレイを介して作業チャネルインジケータを表示／提示することを含むことができる。いくつかの場合では、作業チャネルインジケータは、画像表現上にオーバーレイされる、及び／又は画像表現の周縁に位置付けられる。
【0138】
ブロック７１０において、プロセス７００は、入力デバイスから、作業チャネルを回転させるための入力制御信号を受信することを含むことができる。例えば、ユーザは、入力デバイスを使用して、スコープを回転するための入力を提供することができ、入力デバイスは、スコープを回転することを示す入力信号を生成／送信することができる。場合によっては、入力は、スコープ／作業チャネルを所定の量だけ回転させることである。
【0139】
ブロック７１２において、プロセス７００は、入力制御信号に少なくとも部分的に基づいて回転するようにスコープを制御することを含むことができる。例えば、制御信号をロボットシステム／ロボットアームに送信して、ロボットアームを制御してスコープを回転させることができ、これは特に回転方向とすることができる。場合によっては、スコープは、作業チャネルを１つの配向から別の配向に反転させるなど、所定の量だけ回転するように制御されることができる。
【0140】
ブロック７１４において、プロセス７００は、スコープが回転を完了したことを判定することを含むことができる。そのような判定は、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープに関連付けられた位置センサによって生成されるセンサデータ、及び／又はロボットアームを制御するために生成される制御信号に基づくことができる。場合によっては、スコープの回転が経時的に追跡される。
【0141】
ブロック７１８において、プロセス７００は、スコープが回転した量を判定することを含むことができる。そのような判定は、スコープに結合するように構成されたロボットアームからのフィードバックデータ、スコープに関連付けられた位置センサによって生成されるセンサデータ、及び／又はロボットアームを制御するために生成される制御信号に基づくことができる。プロセス７００はブロック７１４及び７１６を示すが、場合によっては、そのようなブロック（及び／又はプロセス７００の他のブロック）のうちの１つ以上は実装されない。
【0142】
ブロック７１８において、プロセス７００は、作業チャネルインジケータをユーザインターフェース内で回転させることを含むことができる。例えば、スコープが回転した量に少なくとも部分的に基づいて、作業チャネルインジケータは、ユーザインターフェースに対する第１の配向からユーザインターフェースに対する第２の配向に回転することができる。第１の配向は、作業チャネルの第１の回転角度を示すことができ、第２の配向は、作業チャネルの第２の回転角度を示すことができる。
【0143】
ブロック７２０において、プロセス７００は、ユーザインターフェース内の画像表現に回転調整を適用することを含むことができる。例えば、スコープが回転した量に少なくとも部分的に基づいて、画像表現は、ユーザインターフェース内で回転することができる。いくつかの場合では、画像表現は、スコープが回転を完了したことの判定を受けて、ユーザインターフェース内で回転することができる。他の例では、画像表現は、スコープの現在の配向に基づいて連続的になど、スコープが回転するにつれて回転することができる。ここで、画像表現は、ユーザインターフェースを介してユーザによって知覚されることなく回転することができる。例では、画像表現は、スコープを回転させながらかつ／又は画像表現を回転させながら、切り取られた形態で表示することができる。更に、例では、画像表現は、スコープがスコープの先端部の基準枠（例えば、スコープの座標フレーム）に対して回転するのと同じ回転方向（例えば、時計回り又は反時計回り）にユーザインターフェース内で回転することができる。
【0144】
更なる実施形態
実施形態に応じて、本明細書に記載のアルゴリズム又はプロセスのうちのいずれかの特定の行為、事象、又は機能は、異なる順序で行うことができ、追加し、マージし、又は完全に除外してもよい。したがって、ある実施形態では、説明した行為又は事象のすべてがプロセスの実行にとって必要なわけではない。
実施形態に応じて、本明細書に記載のアルゴリズム又はプロセスのうちのいずれかの特定の行為、事象、又は機能は、異なる順序で行うことができ、追加し、マージし、又は完全に除外してもよい。したがって、ある実施形態では、説明した行為又は事象のすべてがプロセスの実行にとって必要なわけではない。
【0145】
とりわけ、「することができる（can）」、「することができる（could）」、「し得る（might）」、「し得る（may）」、「例えば（e.g.）」、及び同等物などの本明細書で使用される条件的文言は、別途具体的に記述されない限り、又は使用される文脈内で別途理解されない限り、その通常の意味で意図され、全般的に、ある特定の実施形態が、ある特定の特徴、要素、及び／又はステップを含むが、他の実施形態が含まないことを伝達することを意図している。したがって、そのような条件的文言は、全般的に、特徴、要素、及び／又はステップが、１つ若しくは２つ以上の実施形態のために任意の方法で必要とされること、又は１つ若しくは２つ以上の実施形態が、入力若しくはプロンプティングの有無を問わず、これらの特徴、要素、及び／若しくはステップが任意の特定の実施形態に含まれるか、又は実施されるかどうかを判定するための論理を必ず含むことを示唆することを意図しない。「備える（comprising）」、「含む（including）」、「有する（having）」、及び同等物などの用語は、それらの通常の意味で使用され、非限定的な様式で包括的に使用され、更なる要素、特徴、行為、動作などを除外しない。また、「又は」という用語は、使用される場合、例えば、要素の列挙を接続するために、「又は」という用語は、列挙された要素のうちの１つ、いくつか、又はすべてを意味するように、その包含的な意味で（かつその排他的な意味ではなく）使用される。別途具体的に記述されない限り、「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という語句などの接続言語は、項目、用語、要素などがＸ、Ｙ、又はＺのいずれかであり得ることを伝えるために、一般的に使用されるような文脈で理解される。したがって、そのような接続言語は、全般的に、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、及びＺのうちの少なくとも１つが、それぞれ存在することを要求することを暗示することを意図しない。
【0146】
実施形態の上記の説明では、様々な特徴が、時として、本開示を合理化し、様々な発明の態様のうちの１つ以上の理解を補助する目的で、単一の実施形態、図、又はその説明において共にグループ化されることを理解されたい。しかしながら、本開示の方法は、任意の請求項がその請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。更に、本明細書の特定の実施形態に例解及び／又は記載される任意のコンポーネント、特徴、又はステップは、任意の他の実施形態に適用されるか、又はそれと共に使用することができる。更に、いずれのコンポーネント、特徴、ステップ、又はコンポーネント、特徴、若しくはステップの群も、各実施形態のために必要又は不可欠ではない。したがって、本明細書において開示され、以下で特許請求される本開示の範囲は、上記の特定の実施形態によって限定されるべきではなく、以下の特許請求の範囲を公正に読むことによって判定されるべきであることが意図される。
【0147】
特定の序数用語（例えば、「第１」又は「第２」）が参照を容易にするために提供される場合があり、必ずしも物理的特性又は順序付けを示唆するわけではないことを理解されたい。したがって、本明細書で使用される場合、構造、コンポーネント、動作などの要素を修正するために使用される序数用語（例えば、「第１」、「第２」、「第３」など）は、必ずしも任意の他の要素に対する要素の優先順位又は順序を示すわけではなく、むしろ、全般的に、要素を（序数用語の使用を別として）同様又は同一の名称を有する別の要素と区別し得る。更に、本明細書で使用される場合、不定冠詞（「ａ」及び「ａｎ」）は、「１つ」ではなく「１つ以上」を示し得る。更に、条件又は事象に「基づいて」実施される動作はまた、明示的に列挙されていない１つ以上の他の条件又は事象に基づいて実施され得る。
【0148】
別途定義されない限り、本明細書で使用されているすべての用語（技術的及び科学的用語を含む）は、実施形態例が属する分野の当業者によって一般的に理解されるものと同じ意味を有している。一般的に使用される辞書で定義されているものなどの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想的な意味又は過度に形式的な意味で解釈されるべきではないことを更に理解されたい。
【0149】
「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」という空間的に相対的な用語、及び同様の用語は、図面に例解されるような１つの要素又はコンポーネントと別の要素又はコンポーネントとの間の関係を説明するための説明を容易にするために、本明細書で使用され得る。空間的に相対的な用語は、図面に描写される向きに加えて、使用又は動作時のデバイスの異なる向きを包含することを意図していると理解されたい。例えば、図面に示されるデバイスが反転される場合、別のデバイスの「下方」又は「下に」位置決めされたデバイスは、別のデバイスに「上方」に配置され得る。したがって、「下方」という例解的用語は、下側及び上側位置の両方を含み得る。デバイスはまた、他の方向に配向される場合があり、したがって、空間的に相対的な用語は、向きに応じて異なって解釈され得る。
【0150】
別途明記されない限り、「より少ない」、「より多い」、「より大きい」などの比較及び／又は定量的用語は、平等の概念を包含することを意図している。例えば、「より少ない」は、厳密な数学的意味での「より少ない」だけでなく、「以下」も意味することができる。
【0151】
〔実施の態様〕
（１） 制御システムであって、
医療器具を展開するための作業チャネルを含むスコープに関連付けられた撮像デバイスから画像データを受信するように構成された通信インターフェースと、
前記通信インターフェースに通信可能に結合された制御回路であって、
前記画像データの画像表現を生成し、
前記ユーザインターフェースに前記画像表現を表示し、
前記スコープが回転した量を判定し、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、制御回路と、を備える、制御システム。
（２） 前記制御回路は、
前記ユーザインターフェースに作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを、前記ユーザインターフェース内で、前記ユーザインターフェースに対する第１の配向から前記ユーザインターフェースに対する第２の配向に回転させることと、を行うように構成されている、実施態様１に記載の制御システム。
（３） 前記制御回路は、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることによって、前記作業チャネルインジケータを表示するように構成されている、実施態様２に記載の制御システム。
（４） 前記制御回路は、
前記スコープが回転を完了したことを判定し、
前記スコープが回転を完了したことの判定を受けて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、実施態様１に記載の制御システム。
（５） 前記制御回路は、前記スコープが回転するにつれて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、実施態様１に記載の制御システム。
（１） 制御システムであって、
医療器具を展開するための作業チャネルを含むスコープに関連付けられた撮像デバイスから画像データを受信するように構成された通信インターフェースと、
前記通信インターフェースに通信可能に結合された制御回路であって、
前記画像データの画像表現を生成し、
前記ユーザインターフェースに前記画像表現を表示し、
前記スコープが回転した量を判定し、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、制御回路と、を備える、制御システム。
（２） 前記制御回路は、
前記ユーザインターフェースに作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを、前記ユーザインターフェース内で、前記ユーザインターフェースに対する第１の配向から前記ユーザインターフェースに対する第２の配向に回転させることと、を行うように構成されている、実施態様１に記載の制御システム。
（３） 前記制御回路は、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることによって、前記作業チャネルインジケータを表示するように構成されている、実施態様２に記載の制御システム。
（４） 前記制御回路は、
前記スコープが回転を完了したことを判定し、
前記スコープが回転を完了したことの判定を受けて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、実施態様１に記載の制御システム。
（５） 前記制御回路は、前記スコープが回転するにつれて、前記画像表現を前記ユーザインターフェース内で回転させるように構成されている、実施態様１に記載の制御システム。
【0152】
（６） 前記制御回路は、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープが回転した前記量を判定するように構成されている、実施態様１に記載の制御システム。
（７） 前記制御回路は、
入力デバイスから、前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、実施態様１に記載の制御システム。
（８） 前記制御回路は、前記スコープを所定の量だけ回転するように制御することによって、前記スコープを回転するように制御するように構成されている、実施態様７に記載の制御システム。
（９） 方法であって、
スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
制御回路によって、前記画像データの画像表現をユーザインターフェースに表示することと、
前記制御回路によって、作業チャネルインジケータを前記ユーザインターフェースに表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、
前記画像表現を前記ユーザインターフェース内で回転させることと、
前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む、方法。
（１０） 前記スコープが回転を完了したことを判定することを更に含み、
前記画像表現を回転させること及び前記作業チャネルインジケータを回転させることは、前記スコープが回転を完了したことの判定を受けて行われる、実施態様９に記載の方法。
（７） 前記制御回路は、
入力デバイスから、前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、実施態様１に記載の制御システム。
（８） 前記制御回路は、前記スコープを所定の量だけ回転するように制御することによって、前記スコープを回転するように制御するように構成されている、実施態様７に記載の制御システム。
（９） 方法であって、
スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
制御回路によって、前記画像データの画像表現をユーザインターフェースに表示することと、
前記制御回路によって、作業チャネルインジケータを前記ユーザインターフェースに表示することであって、前記作業チャネルインジケータが、前記画像表現に対する前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、
前記画像表現を前記ユーザインターフェース内で回転させることと、
前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む、方法。
（１０） 前記スコープが回転を完了したことを判定することを更に含み、
前記画像表現を回転させること及び前記作業チャネルインジケータを回転させることは、前記スコープが回転を完了したことの判定を受けて行われる、実施態様９に記載の方法。
【0153】
（１１） 前記画像表現を回転させることは、前記画像表現を連続的に回転させることを含む、実施態様９に記載の方法。
（１２） 前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成される位置データ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づく、実施態様１１に記載の方法。
（１３） 前記画像表現を回転させることは、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、実施態様１１に記載の方法。
（１４） 入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、
前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、実施態様９に記載の方法。
（１５） 前記作業チャネルインジケータを表示することは、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることを含む、実施態様９に記載の方法。
（１２） 前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成される位置データ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づく、実施態様１１に記載の方法。
（１３） 前記画像表現を回転させることは、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、実施態様１１に記載の方法。
（１４） 入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、
前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、実施態様９に記載の方法。
（１５） 前記作業チャネルインジケータを表示することは、前記作業チャネルインジケータを前記画像表現上にオーバーレイすることを含む、実施態様９に記載の方法。
【0154】
（１６） システムであって、
医療器具を取り外し可能に受容するための作業チャネルを含むスコープと、
前記スコープに結合するように構成された撮像デバイスと、
前記スコープ及び前記撮像デバイスに通信可能に結合された制御回路であって、
前記撮像デバイスから画像データを受信することと、
前記画像データの画像表現をユーザインターフェースに表示させることと、
作業チャネルインジケータを前記ユーザインターフェースに表示させることであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示させることと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記ユーザインターフェース内の前記画像表現に回転調整を適用することと、を行うように構成されている、制御回路と、を備える、システム。
（１７） 前記作業チャネルは、前記スコープの長手方向軸からオフセットされている、実施態様１６に記載のシステム。
（１８） 前記制御回路は、
前記スコープを回転方向に回転するように制御し、
前記画像表現を前記ユーザインターフェース内で前記回転方向に回転させることによって、前記画像表現に前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
（１９） 前記制御回路は、
前記スコープが回転を完了したことを判定するように更に構成されており、
前記回転調整が、前記スコープが回転を完了したことの判定を受けて適用される、実施態様１６に記載のシステム。
（２０） 前記制御回路は、前記スコープが回転するにつれて前記画像表現を連続的に回転させることによって前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
医療器具を取り外し可能に受容するための作業チャネルを含むスコープと、
前記スコープに結合するように構成された撮像デバイスと、
前記スコープ及び前記撮像デバイスに通信可能に結合された制御回路であって、
前記撮像デバイスから画像データを受信することと、
前記画像データの画像表現をユーザインターフェースに表示させることと、
作業チャネルインジケータを前記ユーザインターフェースに表示させることであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示させることと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記ユーザインターフェース内の前記画像表現に回転調整を適用することと、を行うように構成されている、制御回路と、を備える、システム。
（１７） 前記作業チャネルは、前記スコープの長手方向軸からオフセットされている、実施態様１６に記載のシステム。
（１８） 前記制御回路は、
前記スコープを回転方向に回転するように制御し、
前記画像表現を前記ユーザインターフェース内で前記回転方向に回転させることによって、前記画像表現に前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
（１９） 前記制御回路は、
前記スコープが回転を完了したことを判定するように更に構成されており、
前記回転調整が、前記スコープが回転を完了したことの判定を受けて適用される、実施態様１６に記載のシステム。
（２０） 前記制御回路は、前記スコープが回転するにつれて前記画像表現を連続的に回転させることによって前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
【0155】
（２１） 前記制御回路は、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープが回転した前記量を判定するように更に構成されている、実施態様１６に記載のシステム。
（２２） 前記制御回路は、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することによって、前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
（２３） 前記制御回路は、
前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、実施態様１６に記載のシステム。
（２４） コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、制御回路によって実行されると、前記制御回路に、
スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
前記画像データの画像表現をユーザインターフェースに表示することと、
前記ユーザインターフェース内に作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む動作を行わせる、１つ以上の非一時的なコンピュータ可読媒体。
（２５） 前記動作は、
前記スコープが回転を完了したことを判定することを更に含み、
前記スコープが回転を完了したことの判定を受けて、前記画像表現及び前記作業チャネルインジケータが回転される、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２２） 前記制御回路は、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することによって、前記回転調整を適用するように構成されている、実施態様１６に記載のシステム。
（２３） 前記制御回路は、
前記作業チャネルを回転させるための入力制御信号を受信し、
前記入力制御信号に少なくとも部分的に基づいて前記スコープを回転するように制御するように構成されている、実施態様１６に記載のシステム。
（２４） コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、制御回路によって実行されると、前記制御回路に、
スコープに関連付けられた撮像デバイスから画像データを受信することであって、前記スコープが作業チャネルを含む、受信することと、
前記画像データの画像表現をユーザインターフェースに表示することと、
前記ユーザインターフェース内に作業チャネルインジケータを表示することであって、前記作業チャネルインジケータが、前記作業チャネルの回転角度を示す、表示することと、
前記スコープが回転した量を判定することと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記画像表現を前記ユーザインターフェース内で回転させることと、
前記スコープが回転した前記量に少なくとも部分的に基づいて、前記作業チャネルインジケータを前記ユーザインターフェース内で第１の配向から第２の配向に回転させることと、を含む動作を行わせる、１つ以上の非一時的なコンピュータ可読媒体。
（２５） 前記動作は、
前記スコープが回転を完了したことを判定することを更に含み、
前記スコープが回転を完了したことの判定を受けて、前記画像表現及び前記作業チャネルインジケータが回転される、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【0156】
（２６） 前記画像表現を回転させることは、前記画像表現を連続的に回転させることを含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２７） 前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープの回転の量を追跡することを含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２８） 前記画像表現を回転させることが、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２９） 前記動作は、
入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、
前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（３０） 前記作業チャネルインジケータが、前記画像表現上にオーバーレイ方式で表示される、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２７） 前記スコープが回転した前記量を判定することは、前記スコープに結合するように構成されたロボットアームからのフィードバックデータ、前記スコープに関連付けられた位置センサによって生成されるセンサデータ、又は前記ロボットアームを制御するために生成される制御信号のうちの少なくとも１つに基づいて、前記スコープの回転の量を追跡することを含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２８） 前記画像表現を回転させることが、前記スコープを回転させながら、前記画像表現を切り取られた形態で前記ユーザインターフェースに表示することを含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（２９） 前記動作は、
入力デバイスから、前記スコープを所定の量だけ回転させるためのユーザ入力を受信することと、
前記スコープを前記所定の量だけ回転するように制御することと、を更に含む、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
（３０） 前記作業チャネルインジケータが、前記画像表現上にオーバーレイ方式で表示される、実施態様２４に記載の１つ以上の非一時的なコンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4-1】
【図4-2】
【図4-3】
【図4-4】
【図4-5】
【図4-6】
【図4-7】
【図4-8】
【図4-9】
【図5-1】
【図5-2】
【図5-3】
【図5-4】
【図5-5】
【図6】
【図7】
【国際調査報告】