知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-21
(45)【発行日】2024-05-29
(54)【発明の名称】ナビゲーション支援
(51)【国際特許分類】
A61B 34/20 20160101AFI20240522BHJP
A61B 34/35 20160101ALI20240522BHJP
【ＦＩ】
A61B34/20
A61B34/35
【請求項の数】
25
(21)【出願番号】P 2021518643
(86)(22)【出願日】2019-10-03
(65)【公表番号】
(43)【公表日】2022-02-03
(86)【国際出願番号】 GB2019052791
(87)【国際公開番号】W WO2020070500
(87)【国際公開日】2020-04-09
【審査請求日】2021-04-19
(31)【優先権主張番号】1816169.5
(32)【優先日】2018-10-03
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】516210894
【氏名又は名称】シーエムアール・サージカル・リミテッド
【氏名又は名称原語表記】ＣＭＲ ＳＵＲＧＩＣＡＬ ＬＩＭＩＴＥＤ
(74)【代理人】
【識別番号】100087941
【弁理士】
【氏名又は名称】杉本 修司
(74)【代理人】
【識別番号】100112829
【弁理士】
【氏名又は名称】堤 健郎
(74)【代理人】
【識別番号】100142608
【弁理士】
【氏名又は名称】小林 由佳
(74)【代理人】
【識別番号】100155963
【弁理士】
【氏名又は名称】金子 大輔
(74)【代理人】
【識別番号】100154771
【弁理士】
【氏名又は名称】中田 健一
(74)【代理人】
【識別番号】100150566
【弁理士】
【氏名又は名称】谷口 洋樹
(74)【代理人】
【識別番号】100213470
【弁理士】
【氏名又は名称】中尾 真二
(74)【代理人】
【識別番号】100220489
【弁理士】
【氏名又は名称】笹沼 崇
(72)【発明者】
【氏名】ヘアーズ・ルーク・デイビット・ロナルド
(72)【発明者】
【氏名】モウビー・アンドリュー・ロバート
(72)【発明者】
【氏名】スラック・マーク・クリフォード
【審査官】豊田 直希
(56)【参考文献】
【文献】米国特許第１００５８３９６（ＵＳ，Ｂ１）
【文献】特開２０１０－０１７５５５（ＪＰ，Ａ）
【文献】特表２０１５－５２１９１３（ＪＰ，Ａ）
【文献】米国特許出願公開第２００５／００６５４３５（ＵＳ，Ａ１）
【文献】特表２０１２－５２９９７０（ＪＰ，Ａ）
【文献】米国特許出願公開第２００２／００１６５４０（ＵＳ，Ａ１）
【文献】特表２０１６－５３６０９８（ＪＰ，Ａ）
【文献】特表２０１６－５３８０１４（ＪＰ，Ａ）
【文献】特表２０１７－５２９９１４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／００
(57)【特許請求の範囲】
【請求項1】
外科的部位の少なくとも一部分の表現を追加情報により拡張して、前記表現の向き付けを支援するための外科用ロボットシステムであって、前記システムが、プロセッサであって、
外科的部位に対する撮像デバイスの位置および／または向きを示す撮像デバイス信号を受信すること、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を追加情報により拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張すること、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信すること、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定すること、および
前記決定された変化に依存して、前記拡張された表現を更新すること、を行うように構成された、プロセッサと、
前記拡張された表現の少なくとも一部を表示するように構成された、ディスプレイと、を備え、
前記拡張が、前記外科的部位の全体的な向きの表示を含み、
前記プロセッサが、前記拡張を、前記拡張が現在の手技にとって適切であるという信頼性を示す信頼因子に関連付けるように構成されている、外科用ロボットシステム。
【請求項2】
前記拡張が、重力の方向とは反対の方向、
前記外科的部位を有する患者が載せられた患者台の平面と直角をなす方向、
前記外科的部位全体の一部分に向かう方向、
患者の身体の一部分に向かう方向、および
人工的な水平線のうちの１つ以上の表示を含む、請求項１に記載の外科用ロボットシステム。
【請求項3】
前記プロセッサが、前記ディスプレイ上に表示されたインジケータによって示された位置で前記表現を拡張するように構成されており、前記インジケータが、前記ディスプレイ上で視認可能な物理的インジケータ、ならびに
前記ディスプレイ上で視認可能な外科用エンドエフェクタの先端または他の所定の部分のうちの１つ以上を備える、請求項１または２に記載の外科用ロボットシステム。
【請求項4】
前記プロセッサが、前記インジケータによって示された前記表現の解剖学的な特徴のエッジに沿って１つ以上の点で前記表現を拡張することと、
前記示された１つ以上の点から、前記エッジの残りの部分を補間および／または外挿することと、を行うように構成されている、請求項１から３のいずれか一項に記載の外科用ロボットシステム。
【請求項5】
前記プロセッサが、前記外科的部位の一部の前記表現を、複数の拡張によってさらに拡張することと、
前記複数の拡張を、１つ以上のグループにグループ化することと、を行うように構成されており、前記グループ化が、システムユーザ、行われる手技、行われる手技のタイプ、拡張される特徴、拡張される特徴のタイプ、および時間のうちの１つ以上に従って行われる、請求項１から４のいずれか一項に記載の外科用ロボットシステム。
【請求項6】
前記複数の拡張が、
前記表現の特徴までの、または前記表現の特徴に向かう、方向および／または距離、
前記表現の特徴、および
前記表現の特徴のラベル、
のうちの１つ以上を示すものを含む、請求項５に記載の外科用ロボットシステム。
【請求項7】
前記プロセッサが、グループ内の複数の拡張間の距離、
グループ内の複数の拡張によって囲まれた面積、および
グループ内の複数の拡張によって囲まれた体積のうちの１つ以上を決定するように構成されている、請求項５または６に記載の外科用ロボットシステム。
【請求項8】
前記信頼因子が、前記現在の手技と初期の手技との間の類似性、
前記現在の手技で使用されるモデルと、初期の手技で使用されたモデルとの間の類似性、および
前記初期の手技を実施したユーザのうちの１つ以上に依存して決定される、請求項１から７のいずれか一項に記載の外科用ロボットシステム。
【請求項9】
前記プロセッサが、現在の手技と１つ以上の以前の手技との比較に依存して前記表現を拡張するように構成されている、請求項１から８のいずれか一項に記載の外科用ロボットシステム。
【請求項10】
前記拡張が前記ディスプレイ上で視認不可能な場合に、前記プロセッサが、前記表現の特徴までの方向および／または距離を示すさらなる拡張を追加するように構成されている、請求項１から９のいずれか一項に記載の外科用ロボットシステム。
【請求項11】
前記受信した撮像デバイス信号および前記受信したさらなる撮像デバイス信号のうちの少なくとも１つが、前記撮像デバイスに関連する運動学的データを含む、請求項１から１０のいずれか一項に記載の外科用ロボットシステム。
【請求項12】
前記プロセッサが、拡張データに依存して前記拡張を決定するように構成されており、前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、請求項１から１１のいずれか一項に記載の外科用ロボットシステム。
【請求項13】
前記プロセッサが、前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新するように構成されている、請求項１から１２のいずれか一項に記載の外科用ロボットシステム。
【請求項14】
前記表現が、前記外科的部位の少なくとも一部分の３Ｄモデルの３Ｄモデルデータに依存して得られる、請求項１から１３のいずれか一項に記載の外科用ロボットシステム。
【請求項15】
前記プロセッサに結合されたメモリをさらに備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも１つを記憶するように構成されている、請求項１から１４のいずれか一項に記載の外科用ロボットシステム。
【請求項16】
前記撮像デバイスをさらに備え、それによって、前記撮像デバイスが、前記外科的部位の少なくとも一部分を撮像し、前記撮像された部分の画像フィードを生成するように構成されている、請求項１から１５のいずれか一項に記載の外科用ロボットシステム。
【請求項17】
外科的部位の少なくとも一部分の表現を追加情報により拡張して、前記表現の向き付けを支援するための方法であって、前記方法が、外科的部位に対する撮像デバイスの位置および／または向きを示す撮像デバイス信号を受信することと、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を追加情報により拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張することと、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信することと、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定することと、
前記決定された変化に依存して、前記拡張された表現を更新することと、
前記拡張された表現の少なくとも一部を表示することと、を含み、
前記方法は、前記拡張を、前記拡張が現在の手技にとって適切であるという信頼性を示す信頼因子に関連付けることをさらに含む、方法。
【請求項18】
前記外科的部位の前記表現内にある特徴に依存して前記拡張を決定することを含む、請求項１７に記載の方法。
【請求項19】
前記表現の表示された部分に存在しない特徴に依存して前記拡張を決定することを含む、請求項１７または１８に記載の方法。
【請求項20】
拡張データを受信し、前記受信した拡張データに依存して前記拡張を決定することを含む、請求項１７から１９のいずれかに記載の方法。
【請求項21】
前記拡張データが、前記表現内にある特徴を示すデータを含む、請求項２０に記載の方法。
【請求項22】
前記表現内にある特徴を示す前記データが、特徴グループのセットのうちの１つ以上の特徴グループを示す、請求項２１に記載の方法。
【請求項23】
前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、請求項２０から２２のいずれかに記載の方法。
【請求項24】
前記表現の少なくとも一部分の画像処理に依存して前記拡張を決定することを含む、請求項１７から２３のいずれかに記載の方法。
【請求項25】
前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新することを含む、請求項１７から２４のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
外科手術を補助および実施するためにロボットを使用することが知られている。
【背景技術】
【0002】
図１は、基部１０８、アーム１０２、および器具１０５からなる、典型的な外科用ロボット１００を例示する。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーにしっかりと取り付けられる。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の位置に位置特定するために使用される複数の可撓性ジョイント１０３によって関節式に連結される。外科用器具は、ロボットアームの遠位端１０４に取り付けられる。外科用器具は、外科的部位にアクセスするように、ポート１０７で患者１０１の身体を貫通する。その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ１０６を含む。
【0003】
図２は、ロボット腹腔鏡手術を実施するための典型的な外科用器具２００を例示する。外科用器具は、基部２０１を備え、これによって、外科用器具はロボットアームに接続する。シャフト２０２は、基部２０１と関節２０３との間に延在する。関節２０３は、エンドエフェクタ２０４で終端する。図２では、一対の鋸歯状の顎がエンドエフェクタ２０４として例示される。関節２０３により、エンドエフェクタ２０４はシャフト２０２に対して移動することができる。関節によってエンドエフェクタ２０４の運動に少なくとも２自由度が提供されることが望ましい。
【0004】
撮像デバイスは、外科用器具と一緒に外科的部位に位置し得る。撮像デバイスは、外科的部位を撮像することができる。撮像デバイスによって提供される外科的部位の画像は、手技を行う外科医が視認するために、ディスプレイ上に表示され得る。したがって、外科医が外科的部位への直接の視線を有しない腹腔鏡（または低侵襲性）手術を実施することができる。
【0005】
外科的部位の視界と外科医が手術する身体との間には、しばしば断絶がある。外科的部位を撮像するために使用される撮像デバイスは、任意の所望の向きで提供することができ、向きが、外科的手技中に変化する場合がある。したがって、外科医が、手技中に方角を失う可能性があり、表示されたエンドエフェクタが位置する外科的部位におけるポジションおよび／または向きの認識を失う場合がある。
【発明の概要】
【0006】
本発明の一態様によれば、外科的部位の少なくとも一部分の表現を拡張して、表現の向き付けを支援するための外科用ロボットシステムであって、システムが、プロセッサであって、外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信すること、受信した撮像デバイス信号に依存して外科的部位の少なくとも一部分の表現を拡張することであって、拡張が、外科的部位の表現の向きを示す、拡張すること、撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信すること、撮像デバイス信号およびさらなる撮像デバイス信号に依存して撮像デバイスの位置および向きのうちの少なくとも１つの変化を決定すること、および決定された変化に依存して、拡張された表現を更新すること、を行うように構成された、プロセッサと、拡張された表現の少なくとも一部を表示するように構成された、ディスプレイと、を備える、外科用ロボットシステムが提供される。
【0007】
受信した撮像デバイス信号および受信したさらなる撮像デバイス信号のうちの少なくとも１つは、撮像デバイスに関連する運動学的データを含み得る。プロセッサは、外科的部位の表現内にある特徴に依存して拡張を決定するように構成され得る。プロセッサは、拡張データに依存して拡張を決定するように構成され得る。拡張データは、表現に関連付けられたデータを含み得る。拡張データは、表現内にある特徴を示すデータを含み得る。表現内にある特徴を示すデータは、特徴グループのセットのうちの１つ以上の特徴グループを示し得る。拡張データは、表現に関連するユーザインプットを示す拡張信号を含み得る。システムは、コントローラであって、コントローラのユーザインプットに応答して拡張信号を生成するように構成された、コントローラを備え得る。
【0008】
プロセッサは、表現の少なくとも一部分の画像処理に依存して拡張を決定するように構成され得る。プロセッサは、表現内にある特徴の位置を追跡し、追跡された位置、ならびに撮像デバイスの向き、撮像デバイスの位置、撮像デバイスの視野、および表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、拡張された表現を更新するように構成され得る。
【0009】
システムは、撮像デバイスをさらに備えることができ、それによって、撮像デバイスは、外科的部位の少なくとも一部分を撮像し、撮像された部分の画像フィードを生成するように構成され得る。プロセッサは、生成された画像フィードの少なくとも一部分の画像処理に依存して拡張を決定するように構成され得る。
【0010】
表現は、外科的部位の少なくとも一部分の３Ｄモデルの３Ｄモデルデータおよび生成された画像フィードのうちの少なくとも１つに依存して得られ得る。プロセッサは、３Ｄモデルデータおよび生成された画像フィードのうちの少なくとも１つを受信するように構成され得る。
【0011】
システムは、プロセッサに結合されたメモリをさらに備えることができ、メモリは、外科的部位の表現および拡張のうちの少なくとも１つを記憶するように構成される。
【0012】
本発明の別の態様によれば、外科的部位の少なくとも一部分の表現を拡張して、表現の向き付けを支援するための方法であって、方法は、外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信することと、受信した撮像デバイス信号に依存して外科的部位の少なくとも一部分の表現を拡張することであって、拡張が、外科的部位の表現の向きを示す、拡張することと、撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信することと、撮像デバイス信号およびさらなる撮像デバイス信号に依存して撮像デバイスの位置および向きのうちの少なくとも１つの変化を決定することと、決定された変化に依存して、拡張された表現を更新することと、拡張された表現の少なくとも一部を表示することと、を含む、方法が提供される。
【0013】
方法は、外科的部位の表現内にある特徴に依存して拡張を決定することを含み得る。方法は、表現の表示された部分に存在しない特徴に依存して拡張を決定することを含み得る。方法は、拡張データを受信し、受信した拡張データに依存して拡張を決定することを含み得る。拡張データは、表現内にある特徴を示すデータを含み得る。表現内にある特徴を示すデータは、特徴グループのセットのうちの１つ以上の特徴グループを示し得る。拡張データは、表現に関連するユーザインプットを示す拡張信号を含み得る。
【0014】
方法は、表現の少なくとも一部分の画像処理に依存して拡張を決定することを含み得る。方法は、表現内にある特徴の位置を追跡し、追跡された位置、ならびに撮像デバイスの向き、撮像デバイスの位置、撮像デバイスの視野、および表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、拡張された表現を更新することを含み得る。
【0015】
上の任意の態様のいずれか１つ以上の特徴を、上の他の任意の態様のいずれか１つ以上の特徴と組み合わせることができる。任意の装具の特徴を、可能な場合、方法の特徴として記述することができ、逆もまた同様である。これらは、単に簡潔さのために、本明細書では完全には書き出されない。
【0016】
この発明の概要は、発明を実施するための形態において以下でさらに説明される簡略化された形態での概念の選択を紹介するために提供される。この発明の概要における特徴の言及は、それらが本発明または特許請求される主題の重要な特徴または本質的な特徴であることを示すものでも、特許請求される主題の範囲を限定するものと見なされるべきものでもない。
【図面の簡単な説明】
【0017】
ここで、添付図面を参照して、本発明を例として説明する。
【0018】
【図1】外科的手技を実施する外科用ロボットを例示する。
【図2】既知の外科用器具を例示する。
【図3】外科用ロボットを例示する。
【図4】外科医コンソールを例示する。
【図5】コントローラの構成を概略的に例示する。
【図6】外科的部位の表現を拡張するための方法を例示する。
【図7】拡張の例を例示する。
【図8】表現の表示された部分の例を例示する。
【図9】表現の一部分をセンタリングするための処理を例示する。
【図10】拡張の別の例を例示する。
【発明を実施するための形態】
【0019】
以下の説明では、外科用ロボットシステムの文脈において本技術を説明するが、以下に説明される特徴は、かかるシステムに限定されるものではなく、より全般的にはロボットシステムに適用され得る。いくつかの実施例では、本技術は、遠隔で動作するロボットシステムに適用され得る。いくつかの実施例では、本技術は、ロボットシステムのユーザが、ロボットシステムを操作しているときに方角を失う可能性がある部位に適用され得る。本技術が有用であり得る状況のいくつかの実施例には、探索、調査、または修理のために「ヘビのような」ロボットを使用する実施例が含まれる。
【0020】
ロボットシステムには、車両製造システム、部品取り扱いシステム、実験室システムなどの製造システム、および危険物などのためのマニピュレータまたは外科用マニピュレータが含まれ得る。
【0021】
図３は、基部３０１から延在するアーム３００を有する外科用ロボットを例示する。アームは、いくつかの剛直な肢３０２を備える。肢は、外旋ジョイント３０３によって結合される。最近位肢３０２ａは、近位ジョイント３０３ａによって基部に結合される。それおよび他の肢は、ジョイント３０３のさらなるジョイントによって直列で結合される。好適には、手首３０４は、４つの個々の外旋ジョイントから構成される。手首３０４は、１つの肢（３０２ｂ）をアームの最遠位肢（３０２ｃ）に結合する。最遠位肢３０２ｃは、外科用器具３０６のための取付具３０５を担持する。アームの各ジョイント３０３は、それぞれのジョイントで回転運動を引き起こすように操作され得る１つ以上のモータ３０７と、そのジョイントの現在の構成および／または負荷に関する情報を提供する１つ以上のポジションおよび／またはトルクセンサ３０８と、を有する。好適には、モータは、重量分散を改善するために、運動をモータが駆動するジョイントの近位に配置される。明確にするために、モータおよびセンサのうちの一部のみが図３に示される。アームは、概して、我々の同時係属中の特許出願第ＰＣＴ／ＧＢ２０１４／０５３５２３号に記載されるとおりであり得る。
【0022】
アームは、器具３０６とインターフェース接続するための取付具３０５において終端する。好適には、器具３０６は、図２に関して記載される形態をとる。器具は、８ｍｍ未満の直径を有する。好適には、器具は、５ｍｍの直径を有する。器具は、５ｍｍ未満の直径を有し得る。器具の直径は、シャフトの直径であってもよい。器具の直径は、関節のプロファイルの直径であってもよい。好適には、関節のプロファイルの直径は、シャフトの直径と一致するか、またはシャフトの直径よりも狭い。取付具３０５は、器具の関節を駆動するための駆動アセンブリを含む。駆動アセンブリインターフェースの移動可能なインターフェース要素は、ロボットアームによる駆動を器具に伝えるために、器具インターフェースの対応する移動可能なインターフェース要素と機械的に係合する。典型的な操作中に、１つの器具が別の器具に数回交換される。したがって、器具は、操作中に、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。駆動アセンブリインターフェースおよび器具インターフェースの特徴は、それらをユーザが整列させる必要がある精度を低減するように、互いに係合するときにそれらの整列を支援する。
【0023】
器具３０６は、操作を実施するためのエンドエフェクタを備える。エンドエフェクタは、任意の好適な形態をとり得る。例えば、エンドエフェクタは、滑らかな顎、鋸歯状の顎、グリッパ、一対の剪断器、縫合用針、カメラ、レーザ、ナイフ、ステープラ、焼灼器、吸引器であってもよい。図２に関して記載されるように、器具は、器具シャフトとエンドエフェクタとの間に関節を備える。関節は、いくつかのジョイントを備え、これにより、エンドエフェクタが器具のシャフトに対して移動することを可能にする。関節のジョイントは、ケーブルなどの駆動要素によって作動される。これらの駆動要素は、器具シャフトの他方の端で、器具インターフェースのインターフェース要素に固定される。したがって、ロボットアームは、以下のように駆動をエンドエフェクタに伝える。駆動アセンブリインターフェース要素の移動により、器具インターフェース要素が移動し、これにより、駆動要素が移動し、これにより、関節のジョイントが移動し、これにより、エンドエフェクタが移動する。
【0024】
モータ、トルクセンサ、およびエンコーダのためのコントローラが、ロボットアーム内に分散する。コントローラは、通信バスを介して制御ユニット３０９に接続される。制御ユニット３０９は、プロセッサ３１０およびメモリ３１１を備える。メモリ３１１は、モータ３０７の動作を制御して、アーム３００を本明細書に記載の様式で動作させるように、プロセッサによって実行可能なソフトウェアを非一時的な方式で記憶する。特に、ソフトウェアは、プロセッサ３１０を制御して、モータを（例えば、分散型コントローラを介して）、センサ３０８からのインプットおよび外科医コマンドインターフェース３１２からのインプットに依存して駆動させることができる。制御ユニット３０９は、ソフトウェアの実行によって生成されたアウトプットに従ってモータ３０７を駆動するためにモータ３０７に結合される。制御ユニット３０９は、検知されたインプットをセンサから受信するためにセンサ３０８に結合され、コマンドインターフェース３１２からインプットを受信するためにコマンドインターフェース３１２に結合される。それぞれの結合は、例えば、各々が電気もしくは光ケーブルであってもよく、かつ／または無線接続によって提供されてもよい。コマンドインターフェース３１２は、１つ以上のインプットデバイスを備え、それによって、ユーザは、所望の方式でエンドエフェクタの運動を要求することができる。インプットデバイスは、例えば、制御ハンドルまたはジョイスティックなどの手動で操作可能な機械的インプットデバイスであっても、光学ジェスチャセンサなどの非接触型インプットデバイスであってもよい。メモリ３１１に記憶されるソフトウェアは、これらのインプットに応答し、それに応じて、アームおよび器具のジョイントを、所定の制御戦略に従って、移動させるように構成される。制御戦略には、コマンドインプットに応答して、アームおよび器具の運動を緩和する安全機能が含まれ得る。したがって、要約すると、コマンドインターフェース３１２に位置する外科医は、所望の外科的手技を実施するような方式で、器具３０６を制御して移動させることができる。制御ユニット３０９および／またはコマンドインターフェース３１２は、アーム３００から遠隔にあってもよい。
【0025】
好適には、撮像デバイスは、撮像デバイスが位置する外科的部位の画像を表現し、かつ／または外科的部位の画像を含む、画像信号または画像フィードをアウトプットするように構成される。画像信号は、ビデオ信号を含み得る。
【0026】
上の説明は、ディスプレイデバイスとしての単一の画面を指すが、いくつかの実施例では、外科用ロボットシステムは、複数のディスプレイデバイスまたは画面を備える。画面は、好適には、画像を二次元画像および／または三次元画像として表示するように構成される。画面は、単一のユーザコンソール上に提供され得るか、または２つ以上のコンソールが各々、少なくとも１つの画面を備え得る。これは、例えば、訓練するため、および／または手術室の他の人々が視認するために、コンソールのユーザ以外の人々が外科的部位を視認することを可能にするのに有用であり得る、追加の視認画面を可能にする。
【0027】
外科的部位の表現
外科医が部位を見ることを可能にし、かつ外科医が外科的手技を実施することを可能にするように、外科的部位の表現をディスプレイ上に表示することができる。表現は、外科的部位に位置する内視鏡などの撮像デバイスからの画像フィードであり得るか、または画像フィードを含み得る。外科的部位の表現は、２Ｄまたは３Ｄ表現を含み得る。３Ｄ表現は、好適な処理によって２Ｄの元の表現から生成することができる。いくつかの実施例では、３Ｄ表現は、３Ｄモデル、例えば、身体または身体の一部分の３Ｄモデルを含み得る。例えば、外科的手技が腹腔内で行われる場合、３Ｄモデルは、かかる腹腔を表現し得る。３Ｄモデルは、いくつかの実施例では、患者に関連する物理的データなどのデータから少なくとも部分的に導出され得る。例えば、データは、ＭＲＩスキャンなどのスキャンからのデータを含み得る。３Ｄモデルは、外科的手技を受ける患者の知識に従って、例えば、その人物の生理学の知識に依存して、修正または選択され得る。いくつかの実施例では、表現は、部位のキャプチャされた画像フィードおよび３Ｄモデルなどのモデルの両方に基づく。
外科医が部位を見ることを可能にし、かつ外科医が外科的手技を実施することを可能にするように、外科的部位の表現をディスプレイ上に表示することができる。表現は、外科的部位に位置する内視鏡などの撮像デバイスからの画像フィードであり得るか、または画像フィードを含み得る。外科的部位の表現は、２Ｄまたは３Ｄ表現を含み得る。３Ｄ表現は、好適な処理によって２Ｄの元の表現から生成することができる。いくつかの実施例では、３Ｄ表現は、３Ｄモデル、例えば、身体または身体の一部分の３Ｄモデルを含み得る。例えば、外科的手技が腹腔内で行われる場合、３Ｄモデルは、かかる腹腔を表現し得る。３Ｄモデルは、いくつかの実施例では、患者に関連する物理的データなどのデータから少なくとも部分的に導出され得る。例えば、データは、ＭＲＩスキャンなどのスキャンからのデータを含み得る。３Ｄモデルは、外科的手技を受ける患者の知識に従って、例えば、その人物の生理学の知識に依存して、修正または選択され得る。いくつかの実施例では、表現は、部位のキャプチャされた画像フィードおよび３Ｄモデルなどのモデルの両方に基づく。
【0028】
３Ｄモデルは、好適には３Ｄの解剖学的なモデルである。モデルは、シミュレーションデータまたはシミュレーションされたデータを含み得る。モデルは、初期の手技に関連して得られたデータから構築されたモデルデータを含み得る。初期の手技は、計画または実施されている手技と同じまたは同様のタイプのものであってもよい。
【0029】
外科的部位の表現は、外科的手技中に変化する可能性が高い。例えば、表現は、患者が移動した場合（例えば、患者台が傾けられた場合など、患者の向きが変化した場合）、ならびに／または撮像デバイスが、そのポジション（もしくは位置）および／または向きを外科的部位に対して変化させた場合に、変化し得る。撮像デバイスは、外科的部位を通してパンし、かつ／またはズームインもしくはズームアウトすることができる。かかる変化は、ディスプレイ上に表示される部位の表現も変化させ得る。ディスプレイ上に表示されるモデルの部分は、例えば、外科的手技中に変化し得る。表示されるモデルの部分は、エンドエフェクタの決定されたポジションに依存して変化し得る。エンドエフェクタのポジションは、例えば、エンドエフェクタに送信される制御信号および／またはエンドエフェクタ（もしくはより全般的にはシステム）の運動学的データに依存して決定され得る。ディスプレイ上に表示されるモデルの部分は、表現のデジタルズームを変化させることによって変化し得る。すなわち、撮像デバイス自体のズームは変化させる必要はなく、外科的部位の表現に対して実施される処理によって変化をもたらすことができる。
【0030】
通常、表示された表現により、外科医は、エンドエフェクタがどこにあるかを見ることができ、かつそれに応じて、外科的手技を実施するようにエンドエフェクタを制御することができる。外科医は身体全体ではなく、表示された外科的部位の部分を見るため、外科医は、手技中に方角を失う可能性がある。言い換えれば、外科医は、外科的部位のどの部分を視認しているのか、および／またはどの向きで外科的部位のその部分を視認しているのかといった追跡を失う可能性がある。これは、続行する前に、外科医が自身を正しく向き付けるために追加の時間が必要であるため、手技を実施するのにかかる時間を延ばすことを含む意味を有し得る。本発明者らは、外科医（および／または手術室スタッフの他のメンバ）に、好ましくは外科的手技中に、追加情報が提供され得ることを実現した。かかる追加情報は、外科的部位の表現を拡張することによって、および／または外科的部位の表現のディスプレイを拡張することによって、提供され得る。
【0031】
拡張
外科的部位の表現を拡張することにより、外科医などのユーザに対して、例えば、外科的部位の表示された表現の向き付けを支援し得る視覚的な支援の包括が可能になり得る。本明細書で考察される実施例では、「向き付ける」とは、好適には、表示された表現の向きを解明すること、またはその理解を得ることを指す。「向き付ける」には、表示された表現がどの向きにあるかを理解することが含まれ得る。本技術のアプローチにより、外科的手技をより迅速かつより正確に完了することが可能になり得る。拡張により、システムを使用してエンドエフェクタを制御する外科医と、エンドエフェクタまたは全般的にはロボットシステムの動作との間などで、強化されたヒューマンマシンインタラクションを提供することができる。本明細書で説明されるように、かかる拡張により、システムのユーザが、技術的なタスクをより繰り返し可能に、より確実に、かつ／またはより迅速に実施することなどを可能にすることができる。
外科的部位の表現を拡張することにより、外科医などのユーザに対して、例えば、外科的部位の表示された表現の向き付けを支援し得る視覚的な支援の包括が可能になり得る。本明細書で考察される実施例では、「向き付ける」とは、好適には、表示された表現の向きを解明すること、またはその理解を得ることを指す。「向き付ける」には、表示された表現がどの向きにあるかを理解することが含まれ得る。本技術のアプローチにより、外科的手技をより迅速かつより正確に完了することが可能になり得る。拡張により、システムを使用してエンドエフェクタを制御する外科医と、エンドエフェクタまたは全般的にはロボットシステムの動作との間などで、強化されたヒューマンマシンインタラクションを提供することができる。本明細書で説明されるように、かかる拡張により、システムのユーザが、技術的なタスクをより繰り返し可能に、より確実に、かつ／またはより迅速に実施することなどを可能にすることができる。
【0032】
外科的部位の表現を拡張することは、外科的手技前、手技中、および／または手技後に行うことができる。任意選択で、少なくとも１つの拡張が、外科的手技中に表現上に、または表現の一部として表示される。これにより、いくつかの実施例では、外科医などのユーザが、手技を実施するときに、表現をリアルタイムでより正確に向き付けることを可能にすることができる。
【0033】
拡張は、（例えば、外科医が制御する１つ以上のエンドエフェクタによって）部位を通して外科医がとった経路、部位の１つ以上の点で行われた行為、部位の特定の位置に存在する（または存在しない）特徴、部位の一部の移動などのうちの１つ以上に関連し得る。
【0034】
拡張は、自動的に、またはユーザインプットに応答して追加され得る。ユーザインプットに応答して拡張が追加される場合、ユーザは、拡張の一部を指定することができ、拡張の別の部分が自動で行われる場合がある。この実施例は、特徴識別である。画像プロセッサなどのプロセッサは、部位の表現を監視し、どの特徴が存在するか、またはどの特徴が表現もしくは表示される表現の一部の中に存在する可能性が高いかを決定し得る。画像プロセッサ、または画像プロセッサからのアウトプットに依存して動作する別のプロセッサは、１つ以上の決定された特徴を自動的にラベル付けまたはタグ付けすることができる。代替的に、ユーザは、特徴を示すことができ、システムは、その特徴に適用するラベルまたはタグを、例えば、画像認識または画像マッチングなどによる自動特徴決定に依存して、自動的に選択することができる。
【0035】
上の実施例は、本技術の１つの使用を例示する。これにより、ユーザが、外科的部位の表示された画像フィードまたはモデル内の解剖学的な特徴などの特徴をタグ付けまたは識別することが可能である。ユーザインプットに依存して、拡張を表現に追加することができる。例えば、ユーザインプットは、拡張が追加される特徴または特徴の位置を示すことができる。ユーザはまた、追加される拡張の性質、例えば、拡張のための名称もしくはラベル、および／または拡張のタイプを示すことも、指定することもできる。
【0036】
外科用ロボットシステムでは、３Ｄ空間内の外科用ロボットの部分のポジションは通常、既知である。例えば、エンドエフェクタの３Ｄ空間内の位置が既知であるか、または運動学的な制御情報に基づいて決定され得る。かかる運動学的データがシステムに既に存在するため、追加の運動学的データを計算する必要はない場合がある。したがって、本技術は、有利には、システムの既存の情報を利用して、追加的な利益をシステムのユーザに提供することができる。拡張は、外科的部位の表現に関連する３Ｄ空間の拡張であってもよい。表現がディスプレイ内を移動する場合、拡張の関連付けられた移動は、深度、回転、および／または横方向の並進運動などを考慮に入れることができる。このアプローチにより、拡張の位置の精度を増加させ、ひいては、拡張に基づくシステムとのインタラクションの精度を増加させることができる。
【0037】
一実施例では、外科医などのユーザは、解剖学的な特徴上のポジションを示して切開を行うか、またはステッチを挿入することを望む場合がある。これは、外科医が切開またはステッチに好適な位置を見つけるが、切開を行う前またはステッチを挿入する前に別のタスクを実施することを望む場合に有用であり得る。外科医がかかる拡張を追加することを可能にすることにより、外科医が、拡張によって示される位置へ迅速かつ正確に戻ることを可能にする。現在の位置に対するかかる拡張の位置は、外科的部位を通したナビゲーション、および／または外科的部位の表現の向き付けを支援し得る。例えば、表現の表示された部分でかかる拡張を視認することにより、ユーザが、表示されている部位の部分を迅速かつ正確に決定することが可能になり、より効率的なヒューマンマシンインタラクションを容易にすることができる。外科的手技の文脈において、これは、外科医が識別された位置を再び位置特定するために必要な時間を最小化することを可能にすることによって、手術時間を低減することができる。手術時間を低減することは、合併症のリスクを低減し、回復時間を支援し得るため、患者にとって有益である。手術時間の低減は、実施され得る手術の数の増加につながる可能性があり、その結果、手術当たりのコストの低減につながり得るため、患者および病院にとって有益であり得る。
【0038】
拡張（複数可）は、表現上または表現の一部として表示される必要はない。例えば、拡張を表現の一部分に追加し、次いで、拡張（複数可）がディスプレイ上でもはや視認不可能であるように、表示された画像を（撮像デバイスおよび／または表現のズームもしくはパンなどによって）変化させることができる。この場合、システムは、異なるタイプのものであってもよい、さらなる拡張を、表現または表現の表示された部分に追加することによって、拡張（複数可）の存在および／または位置を示すように構成され得る。かかる拡張は、別の拡張および／または表現内にある解剖学的な特徴などの表現の特徴までのもしくはそれに向かう、方向および／または距離を示し得る。これについては、以下でより詳細に説明する。
【0039】
いくつかの実施例では、行為は、自動的に、または補助的な様式で実施され得る。例えば、結び目を結ぶなどの一般的な行為が外科医によって開始され得、残りの行為が、外科医を支援するように自動的に完了され得る。かかる補助的な行為は、繰り返しの移動または行為において有用である。拡張は、自動的な行為が実施される位置、または行為を実施することが必要とされる位置に提供され得る。例えば、外科医は、結び目が結ばれるべき１つ以上の位置を示し、かつ／または結び目を結ぶ途中で、結び目を結ぶ際の補助が必要であることをシステムに示すことができる。結び目を結ぶなどの補助的な行為が実施されると、補助的な行為が実施されたことを示すように既存の拡張が修正される場合がある。追加的または代替的に、新しい拡張を提供して、補助的な行為が実施されたことを示すことができる。新しい拡張の位置は、補助的な行為がどこで実施されたかの表示を提供することができる。
【0040】
（最も適切な場所、向き、互いの間隔での）好適な位置、例えば、外科医がタスクを実施し得る位置および／またはシステムが補助的な行為を実施し得る位置の識別は、外科医によって好適に行われる。いくつかの実施例では、好適な位置の識別は、自動的に実施され得る。かかる自動識別は、以前に識別された位置、例えば、外科的部位のモデルに含まれる位置に依存して実施され得る。モデルは、１つ以上の以前の手技を考慮することによって構築され得る。したがって、自動識別は、行われようとしている手技と比較して、同じまたは別の外科医（複数可）によって行われた可能性がある、初期の手技の組み合わされた知識から利益を得る場合がある。このようにして、より年少の外科医は、より経験豊富な同僚の知識から、これらのより経験豊富な同僚が手技中に立ち会い、または手技前に直接相談を受ける必要なしに、利益を得ることができる。位置の自動識別は、システムのユーザによる確認の対象となり得る。例えば、システムは、任意選択の位置を提案し得る。提案された任意選択の位置は、その提案された任意選択の位置が現在の手技に適切であるという信頼性を示すことができる、信頼因子に関連付けられ得る。信頼因子は、任意の適切な方式で決定され得る。いくつかの実施例では、信頼因子は、以前の手技と現在の手技との間の類似性、および／または以前の手技で使用されたモデルと現在の手技で使用されるモデルとの間の類似性を決定することによって決定され得る。信頼因子は、以前の手技のうちの１つ以上を実施したユーザに依存して決定され得る。例えば、信頼因子は、それが比較的より経験豊富な外科医によって行われる手技に少なくとも部分的に基づく場合、より高くなり、より高い信頼を示す場合がある。
【0041】
外科医は、例えば、位置を識別すること、および／または提案された位置を確認することによって、位置を示すことができ、それにより、システムは、それに応じて外科的部位の表現を拡張することができる。行為が自律的にまたは部分的に自律的に実施される場合、外科医は、次いで、かかる少なくとも部分的に自律的な行為が実施され得ることをシステムに示し得る。
【0042】
タグまたは拡張は、手動でまたは自動的に追加され得る。自動拡張は、画像認識に依存して生じ得る。これについては、以下でより詳細に考察する。拡張は、インジケータに依存して追加され得る。インジケータは、ディスプレイ上に表示され得る。インジケータは、カーソルまたは他のポインタを含み得る。インジケータは、ディスプレイの点または領域を示し得る。例えば、インジケータは、円形などの形状の形態であってもよく、その内装部品がインジケータによって示される。インジケータは、ディスプレイ上で固体および／または着色されたように見える外側エッジを備えてもよく、例えば、円形のインジケータの円周は、黒または白の実線であってもよい。外側エッジは、エッジをハイライトするように点滅し得る。インジケータは、残りのディスプレイと比較して、異なる色、コントラスト、３Ｄ外観、および／または焦点を有し得る。例えば、インジケータの形状の内部は、着色されてもよく、インジケータの外部は、白黒であってもよい。いくつかの実施例では、インジケータの内部は、焦点を合わせることによって強調され得、インジケータの外部は、焦点から外れてもよい。インジケータをハイライトする任意の他の好適な方式を使用することができる。
【0043】
タ拡張にラベルを与えることができる。拡張のラベル付けは、手動で、自動的に、または手動と自動のいくつかの組み合わせで行われてもよい。例えば、拡張が追加されると、ラベルをユーザによって指定することができる。これは、ユーザがデータを入力することによって、例えば、ラベルをキーボードで、音声インターフェースを介して、ジェスチャインターフェースを介して、マウスなどのポインタインターフェースを介して、および／または他の任意の好適な方式で入力することによって、行うことができる。データを入力するこれらのアプローチの組み合わせを使用することができる。いくつかの実施例では、マイクロホンなどの音声応答インプットデバイスを使用して、ラベルをインプットすることができる。ユーザは、拡張に適用され得るラベルを声に出して発話することができる。ラベルは、可能なラベルのセットからラベルを選択することによって、拡張に追加され得る。ラベルの選択は、メニューシステムを介して実施され得る。メニューシステムは、すべての可能なラベルを含み得る。メニューシステムは、可能なラベルのセットを含み得るか、または利用可能にし得る。可能なラベルのセットは、事前に選択することができる。可能なラベルのセットは、ユーザのユーザプロファイル、実施されている外科的手技、外科的部位の位置などのうちの少なくとも１つに依存して選択され得る。いくつかの実施例では、ユーザは、使用するためのラベルを事前に定義することができる。ユーザ定義のラベルは、システム定義のラベルに追加されてもよい。ラベルを１つ以上の外科的手技に関連付けることができ、それにより、ラベルのサブセットを関連する外科的手技のために利用可能にすることができる。例えば、「動脈」というラベルは、広範囲の手技に対して適切に利用可能であってもよい。所与の手技の外科的部位で腎臓が視認不可能な場合、「腎臓」というラベルを利用可能にする必要はない。
【0044】
画像認識を使用して、拡張のラベル付けを補助することができる。画像認識アルゴリズムは、拡張に適用される可能なラベルのセットを選択し得る。画像認識アルゴリズムは、外科的部位のモデル、例えば、３Ｄモデル、および／または位置に依存して、セットを選択し得る。
【0045】
ラベルには、テキストラベルおよびラベルハイライトが含まれ得る。テキストラベルは、例えば、「腎臓」または「動脈」など、拡張されている特徴の名称を提供することができる。任意の所望のレベルの詳細をテキストラベルに提供することができる。ラベルハイライトには、表現の点または領域の視覚的な表示が含まれ得る。例えば、動脈のエッジ、または腎臓のような器官のエッジなど、特徴のエッジをハイライトすることができる。追加的または代替的に、特徴の内部領域、例えば、特徴のエッジによって境界付けされた領域をハイライトすることができる。ハイライトは、輪郭、陰影、着色、２Ｄ／３Ｄ外観の変化、異なるコントラストなどのうちの１つ以上の形態をとり得る。一実施例では、腎臓などの器官（または表現で視認可能な器官のその部分）を陰影付けすることができる。これにより、その特徴、この実施例では腎臓の所在を表現で明確に示すことにより、ユーザを補助することができる。外科的手技がその特徴とのインタラクションを想定しない場合、特徴を陰影付けすることが望ましい場合がある。外科的手技が、ハイライトされる特徴とのインタラクションを想定する場合、特徴を不明瞭にしないものなど、ハイライトの代替的な形態を使用することができる。ハイライトされる特徴のエッジは、手動で、および／または自動的に決定され得る。一実施例では、外科医は、インジケータをエッジ上の点に誘導し、この点が特徴のエッジ上の点を表現することをシステムに示すことができる。外科医は、エッジを追跡するか、またはエッジに沿って１つ以上の点を提供することができ、これに基づいて、残りのエッジをシステムによって、例えば、画像分析によって、補間、外挿、および／または別様に決定することができる。例えば、システムは、エッジのいずれかの側に対する１つ以上の画像特性（例えば、色、コントラスト、光度、深度などのうちの１つ以上）の違いを決定し、その１つ以上の特性の変化に追従する、画像を通る線を追跡するように構成され得る。特徴がラベル付けされると、システムは、表現が変化するにつれて、画像の分析および／または追跡を実施して、その特徴を一貫してラベル付けすることができる。
【0046】
拡張は、システムのユーザによって追加または選択され得る。例えば、インプットデバイスを備え得るコントローラは、拡張信号をアウトプットするように構成され得る。拡張信号は、ディスプレイ上のインジケータの位置に関連付けることができる。拡張信号は、インジケータのディスプレイ上の位置を示し得る。例えば、ユーザがコントローラを制御して拡張信号をアウトプットする場合、システムは、インジケータの位置で拡張を追加するように構成され得る。いくつかの実施例では、メニューシステムをナビゲートする場合、メニューシステムのインジケータの位置（すなわち、メニューシステムの値またはラベル）は、コントローラを起動して拡張信号をアウトプットすることによって選択され得る。
【0047】
コントローラは、コントローラでのユーザ制御の起動に応答して、拡張信号をアウトプットするように構成され得る。ユーザ制御は、ボタンまたはスイッチを備え得る。ユーザ制御は、キーボードを備え得る。ユーザ制御は、抵抗センサ、静電容量センサ、トラックボール、ジョイスティックもしくはサムスティック、音声センサ、ジェスチャセンサ、ならびに／またはこれらおよび他のユーザインプットデバイスの任意の組み合わせを備え得る。コントローラは、いくつかの実施例では、インプットデバイスでユーザインプットを受信することに応答して、拡張信号をアウトプットするように構成される。インプットデバイスは、ユーザ制御を備え得る。インプットデバイスにより、好適には、ユーザはディスプレイ上のインジケータを制御することができる。例えば、インプットデバイス上のジョイスティックまたはサムスティックの移動は、ディスプレイ上のインジケータの対応する移動を引き起こし得る。いくつかの実施例では、インプットデバイスの移動は、ディスプレイ上のインジケータの対応する移動を引き起こし得る。例えば、ハンドコントローラは、例えば、ハンドコントローラのアームリンクおよびジンバルジョイントを介して、三次元方向に移動させることができる。インジケータの移動は、ハンドコントローラの移動の少なくとも１つの次元に基づき得る。例えば、二次元方向の移動（ｘ－ｙ平面またはｙ－ｚ平面を画定するものなど）は、ディスプレイ上でのインジケータの二次元方向の移動を制御し得る。このアプローチにより、ユーザが簡単かつ直感的な様式でインジケータをディスプレイの周りで移動させることができる。一実施例では、ハンドコントローラの三次元方向の移動を使用して、エンドエフェクタのポジションを制御することができ、一方の（またはいくつかの実施例では、両方の）インプットデバイス上のサムスティックを使用して、外科的部位の表現内のインジケータのポジションを制御することができる。
【0048】
コントローラは、外科用ロボットのユーザコンソールを備えるか、またはその一部であってもよい。
【0049】
外科医コンソール４００などのユーザコンソールの例示的な図を図４に示す。外科医などのユーザは、ロボットアーム３０２、および外科医コンソール４００でインプットデバイス３０４を介してロボットアーム３０２に結合された器具３２０を制御することができ、ロボットアームおよび／または器具を所望どおりに操縦することができる。図４に例示されるように、外科医コンソール４００は、光学ジェスチャセンサなどのジェスチャセンサおよび音声センサのうちの少なくとも１つを備える、非接触型インプットデバイス４１０を備える。外科医コンソール４００は、タッチ画面インプットデバイス４２０を備える。追加的または代替的に、ディスプレイ３０６は、タッチ画面インプットを備え得る。外科医コンソール４００は、フットペダルなどの足で操作可能なインプットデバイス４３０を備える。デバイス４１０、４２０、４３０の各々のうちの１つが図４に示されるが、これらのデバイスの任意の組み合わせの任意の数が他の実施例に提供され得ることが理解されよう。すべてのインプットデバイスまたはすべてのタイプのインプットデバイスをすべての実施例に提供する必要はない。
【0050】
ユーザコンソール４００などのコントローラの一部分の構成の概略図を図５に例示する。コントローラ５００は、外科医コマンドインターフェース５１０を備える。システムは、コマンドプロセッサユニット５２０およびディスプレイ５３０をさらに備える。コマンドプロセッサユニット５２０は、外科医コマンドインターフェース５１０およびディスプレイ５３０の両方に結合される。外科医コマンドインターフェース５１０は、外科医などのユーザによって操作可能であるように構成される。外科医コマンドインターフェース５１０により、ユーザは外科用ロボットシステムにコマンドを入力することができる。ユーザは、コマンドインターフェースを使用して、例えば、１つ以上のロボットアームおよび／またはロボットアームに結合されたエンドエフェクタを制御することによって、外科用ロボットシステムの動作を制御することができる。コマンドインターフェース５１０は、インプットデバイス５１２を備える。インプットデバイス５１２は、例えば、図４において３０４で例示されるようなインプットデバイスであってもよい。１つのインプットデバイスのみが図５に示されているが、２つ以上のインプットデバイスを提供することができる。通常、ユーザが片手で１つずつ使用するために、２つのインプットデバイス５１２が提供される。
【0051】
いくつかの実施例では、インプットデバイスは、外科用ロボットを制御する外科医が操縦するための手持ち式コントローラであってもよい。例えば、インプットデバイスは、ロボットアームおよび器具に通信可能に結合することができ、それによって、外科的部位などでの器具のエンドエフェクタのポジションおよび動作を外科医が制御することができる。
【0052】
第２のインプットデバイス５１４がコマンドインターフェース５１０に提供される。第２のインプットデバイスは、いくつかの実施例では、インプットデバイス５１２と同じタイプのものである。他の実施例では、第２のインプットデバイス５１４は、インプットデバイス５１２とは異なるタイプのデバイスである。例えば、第２のインプットデバイス５１４は、音声インターフェース、ジェスチャインターフェース、およびタッチインターフェースのうちの１つ以上を備え得る。したがって、第２のインプットデバイス５１４は、第２のインプットデバイスで受信した音声コマンド、ジェスチャ、および／またはタッチに応答し得る。インプットデバイス５１４は、例えば、図４において３０６、４１０、４２０、または４３０で例示されるようなデバイスであってもよい。
【0053】
この配置により、外科医は、第２のインプットデバイスを使用して、外科的部位の表現を拡張することができる。例えば、外科的手技の間、外科医は、インプットデバイスを使用して、外科的手技の一部を実施することができる。外科医が選択したある時点で、インプットデバイスによって制御されるインジケータが位置する外科的部位の表現のその部分を拡張することが望ましい場合がある。例えば、外科医がステッチを完了したばかりの場所で、外科医が、ステッチまたはその近くの外科的部位の表現を拡張することを望む場合がある。これは、外科医が、外科的部位の表現に、ステッチの位置を記録することを可能にし得る。これにより、外科医（および／または別の人物）は、その位置、すなわち、ステッチを、後で（例えば、手技の後期または手技後のレビュー中に）位置特定することができる。外科的手技が進行するにつれて、ディスプレイ上に表示される外科的部位の部分が変化する可能性が高い。ステッチの位置を記録するように外科的部位の表現を拡張することにより、外科医は、その位置の、現在の位置からの向きもしくは方向、および／または距離を決定することができる。これは、例えば、ステッチがディスプレイ上にもはや表示されていない場合に、外科医が表示された表現を、適切に向き付けるのを助けるのに有用な場合がある。第２のインプットデバイスの提供により、インプットデバイスを使用してエンドエフェクタを制御する様式を外科医が変更することを必要とせずに、拡張を追加することができる。つまり、拡張を追加するためにエンドエフェクタを移動させる必要はない。外科医は、例えば、「ステッチ」と言う場合があり、第２のインプットデバイスは、外科医の音声インプットを検出し、コマンド（ここでは「ステッチ」）を決定し、信号を生成して、それに応じて外科的部位の表現を拡張させることができる。追加的または代替的に、外科医は、カメラなどのジェスチャに敏感なインプットデバイスによる検出のためにジェスチャを実施し得る。外科医は、タッチ応答型インプットデバイス、例えば、外科的部位の表現が表示されるディスプレイ画面にタッチすることができる。第２のインプットデバイスは、インプットデバイスを制御する同じ人物によって制御される必要はない。いくつかの実施例では、外科医は、外科的手技を実施するようにインプットデバイスを制御する。外科用アシスタントまたは手術室スタッフの他のメンバが、第２のインプットデバイスを使用し得る。いくつかの実施例では、第２のインプットデバイスは、インプットデバイスと同様の形態をとり得る。いくつかの実施例では、インプットデバイスおよび第２のインプットデバイスの一方または両方を使用して、外科用ロボットシステムのメニュー、例えば、ディスプレイ上に表示されたメニューをナビゲートすることができる。メニューオプションは、事前に構成され得る。メニューオプションは、ユーザの好み、外科的手技のタイプ、外科的手技のステージ、システムに結合されたエンドエフェクタのタイプおよび／または数などのうちの１つ以上に従って事前に構成され得る。
【0054】
第２のインプットデバイス５１４は、すべての実施例において、インプットデバイス５１２と同じコマンドインターフェース５１０に提供される必要はない。例えば、インプットデバイスが１つのユーザコンソールにあっても、またはそれに関連付けられてもよく、第２のインプットデバイスが同じまたは異なるユーザコンソールにあっても、それに関連付けられてもよい。第２のインプットデバイスは、信号を生成するように構成され得る。プロセッサは、第２のインプットデバイスから、生成された信号を受信し、外科的部位の表現を拡張するか、またはそれに応じて拡張を修正するように構成され得る。
【0055】
インプットデバイス５１２に異なるタイプの第２のインプットデバイス５１４を提供することにより、有利には、コマンドインターフェース５１０のユーザは、ロボットシステムの制御をより簡単にもたらすことができる。例えば、ユーザが２つの手動で操作可能なインプットデバイス５１２を制御している場合、ユーザは、さらなる手動で操作可能なインプットデバイスを制御することができるように、これらのインプットデバイスのうちの１つを手放す必要がある可能性が高い。ユーザは、有利には、２つのインプットデバイス５１２のいずれかの制御を放棄する必要なく、第２のインプットデバイス５１４の制御をもたらすことできる。例えば、第２のインプットデバイス５１４が音声インターフェースを備える場合、ユーザはコマンドを声に出して発話することができる。これは、インプットデバイス（複数可）５１２の保持を保ちながら行うことができる。
【0056】
図３に例示されるように、コマンドインターフェースは、外科用ロボットシステムのロボットアームおよびエンドエフェクタの制御をもたらすために制御ユニット３０９に結合される。図５を再び参照すると、コマンドインターフェース５１０は、コマンドプロセッサユニット５２０に通信可能に結合される。コマンドプロセッサユニット５２０は、プロセッサ５２１を備える。プロセッサ５２１は、コマンドインターフェースまたはコントローラ５１０と通信し、外科的部位の表現の拡張を制御することができるように構成される。プロセッサ５２１は、画像認識などの画像処理を実施するように構成され得る。追加的または代替的に、画像プロセッサ５２２が提供されてもよい。画像プロセッサ５２２は、画像認識などの画像処理を実施するように構成され得る。プロセッサ５２１および／または画像プロセッサ５２２は、エッジ検出、スペクトル分析などを実施するように構成され得る。
【0057】
プロセッサ５２１および任意選択の画像プロセッサ５２２は、メモリ５２３へのアクセスを有する。図５に例示される実施例では、メモリは、コマンドプロセッサユニット５２０に提供される。いくつかの実施例では、メモリは、他の場所に提供されてもよく、かつ／または追加のメモリが他の場所に提供されてもよい。コマンドプロセッサユニット５２０にメモリ５２３をローカルに提供すると、メモリアクセス時間が改善され得る。コマンドプロセッサユニット５２０から少なくとも部分的に遠隔にメモリ５２３を提供することによって、コマンドプロセッサユニット５２０の大きい物理的サイズを必要とせずに、より大きいメモリを使用することができる場合がある。メモリ５２３の少なくとも一部分が、コマンドプロセッサユニット５２０から遠隔に提供されている場合、メモリ５２３の遠隔部分は、有線および無線接続のうちの１つ以上によって、コマンドプロセッサユニット５２０に結合され得る。
【0058】
メモリは、プロセッサ５２１および／または画像プロセッサ５２２が実行するためのプログラムを記憶し得る。メモリ５２３を使用して、処理の結果、および任意選択で中間処理結果を記憶することができる。メモリ５２３は、外科的部位の表現またはその少なくとも一部分を記憶し得る。メモリ５２３は、外科的部位の表現に関する拡張を記憶し得る。拡張は、外科的部位の表現の一部として、またはそれとは別々に記憶され得る。いくつかの実施例では、拡張（複数可）は、コマンドプロセッサユニットでメモリ５２３に記憶され得、記憶された拡張（複数可）が基づく外科的部位の表現は、遠隔メモリに記憶され得る。いくつかの実施例では、１つ以上の拡張がコマンドプロセッサユニットでメモリ５２３に記憶され得、１つ以上の拡張、および拡張が基づく外科的部位の表現は、遠隔メモリに記憶され得る。
【0059】
コマンドプロセッサユニット５２０は、計算ロジック５２５を含み得る。計算ロジックには、距離計算ロジック５２６、面積計算ロジック５２７、体積計算ロジック５２８、および／またはユーザ定義計算ロジック５２９が含まれ得る。計算ロジックは、好適には、本明細書の他の場所でより詳細に記載されるように、少なくとも１つの拡張に依存して１つ以上のメトリックを計算するように構成される。
【0060】
拡張を指定する
以下では、拡張がユーザによってどのように指定され得るかの実施例を説明する。
以下では、拡張がユーザによってどのように指定され得るかの実施例を説明する。
【0061】
考察されたように、ディスプレイ上のインジケータは、コントローラによって制御可能である。インジケータには、マウスポインタなどのポインタが含まれ得る。マウスポインタなどのインジケータは通常、外科的部位に存在しないが、部位の表現に追加されるか、または表現がディスプレイ上に表示されたときに表現上にオーバーレイされるという点で、仮想インジケータである。
【0062】
いくつかの実施例では、インジケータには、物理的インジケータが含まれ得る。物理的インジケータは、外科用ロボットの一部として提供され得る。例えば、物理的インジケータは、エンドエフェクタの一部として提供され得る。エンドエフェクタはディスプレイ上で視認可能であるため、エンドエフェクタ自体を物理的インジケータとして使用することができる。
【0063】
物理的インジケータは、エンドエフェクタのインジケータ部分を含み得る。例えば、エンドエフェクタが一対の顎を有するグリッパツールである場合、インジケータは、閉じたポジションにある顎の先端を含み得る。エンドエフェクタは、エンドエフェクタがインジケータとして作用し得るインジケータモードを有し得る。インジケータモードには、顎が完全に閉じている場合、または所定の点を通過して閉じている場合に入ることができる。追加的または代替的に、ユーザは、例えば、コントローラでの制御、例えば、インプットデバイスおよび第２のインプットデバイスのうちの一方またはもう一方での制御を介して、エンドエフェクタのインジケータモードとエンドエフェクタの非インジケータモードとの間で選択することができる場合がある。好適には、エンドエフェクタは、インジケータモードまたは非インジケータモードが選択されるかどうかにかかわらず、行われている手技のいかなる中断も必要としないように、通常の様式で依然として制御可能である。グリッパの顎（またはより全般的には、任意の他のエンドエフェクタの構成もしくは動作）は、エンドエフェクタがインジケータとして作用するために特定の構成である必要はない。
【0064】
いくつかの実施例では、インジケータは、エンドエフェクタの特定の部分を含み得る。例えば、顎の先端、針の先端など。例えば、エンドエフェクタがグリッパである場合、左端の顎の先端がインジケータとして作用し得る。ここで、「左端の顎」とは、ユーザが視認したときにディスプレイの左にある任意の顎であってもよく、または視認したときの向きに関係なく、エンドエフェクタの所与の顎であってもよい。エンドエフェクタのインジケータ部分は、例えば、エンドエフェクタ自体の上にある（エンドエフェクタの別の部分と異なる色、形状、および／または構成であってもよい）マークによって、および／または仮想的にディスプレイ上にそのように示され得る。エンドエフェクタのインジケータ部分を仮想的に示すことは、かかる表示が、ユーザの好み、動作条件、行われている外科的手技などのうちの１つ以上に従って変更され得るという利点を有する。
【0065】
拡張は、インジケータによって示される位置で外科的部位の表現に追加され得る。例えば、拡張は、インジケータが位置するポジションに追加され得る。インジケータのポジションは、ディスプレイ上（すなわち、ディスプレイの二次元画面空間内）のポジションであってもよい。インジケータのポジションは、ディスプレイ上のインジケータの、三次元表現の特徴への投影であってもよい。
【0066】
拡張は、コントローラによる拡張信号のアウトプットに応答して、好適に追加される。拡張信号は、インプットデバイスによってアウトプットされ得る。
【0067】
例えば、拡張は、インジケータによって示される特徴、またはインジケータによって示される特徴上の位置に追加され得る。ユーザは、表示された表現内にある器官などの所望の特徴の上になるようにインジケータを制御することができる。ユーザは、コントローラに拡張信号をアウトプットさせることができる。応答して、プロセッサ５２１は、インジケータの位置に拡張を追加することなどによって、外科的部位の表現を拡張し得る。ユーザがメニューを開くことができるか、または拡張の追加の際に、メニューが自動的に開いてもよい。ユーザは、拡張用に所望のラベルを選択するように、コントローラ、例えば、インプットデバイスまたは第２のインプットデバイスを使用してメニューをナビゲートすることができる。他の実施例では、プロセッサ５２１または画像プロセッサ５２２は、拡張が追加された特徴を決定し得る。この決定は、例えば、ＭＲＩスキャンなどのスキャンから導出されたデータから少なくとも部分的に導出され得る３Ｄモデルに基づいて、画像認識および／もしくは画像マッチング、または他の画像分析によって行われ得る。次いで、決定された特徴の適切なラベルを、表現に追加するか、または別様に拡張に関連付けることができる。いくつかの実施例では、ラベルは、特徴の名称、例えば、「動脈」、「腎臓」などであってもよい。
【0068】
拡張は、システムによって、例えば、プロセッサ５２１によって自動的に追加され得る。ユーザは、コントローラが拡張信号をアウトプットするためのいかなる行為もとる必要がない。いくつかの実施例では、コントローラは、クロックを含み得るか、またはクロックへのアクセスを有し得、拡張信号は、クロックに依存して、コントローラによってアウトプットされ得る。例えば、拡張信号は、事前に選択された時間または事前に選択された周波数でアウトプットされ得る。これにより、異なる外科医が手技の所定の点に到達するためにかかった時間に関してデータを得ること、または外科医が手技の開始から所定の時間で到達する手技の点に関してデータを得ることが可能になり得る。かかるデータは、行われた手技の手技後の分析またはオフライン分析を強化し得る。かかる拡張は、ユーザインプットを必要とせずに、自動的に行うことができる。このアプローチにより、データを繰り返し可能かつ効率的に得ることが可能となる。
【0069】
拡張は、手技の任意の所望のステージで、自動的にまたは手動で追加され得る。いくつかの実施例では、システムは、手技を監視し、行われている手技と１つ以上の以前の手技とを比較することができる。かかる比較は、連続的または定期的に実施することができる。定期的な比較は、連続的な比較よりも少ない処理能力を使用し得るため、好ましい場合がある。比較は、行われている手技に関する外科的部位の表現、および１つ以上の以前の手技に関する対応する部位の表現の画像処理によって実施され得る。対応する部位の表現は、１つ以上の以前の手技に関連付けられたモデルの平均値に基づき得る。手技で行為が行われている場合、いかなる行為も行われていない場合よりも比較的大きなレートで比較を実施することが好ましい場合がある。したがって、例えば、エンドエフェクタの部位における移動が、比較を実施する際に考慮され得る。移動レートがより大きい場合、比較レートは増加し得る。活動期間中のより高い比較レートにより、相対的に非活動的な期間中の処理電力を節約しながら、正確な比較を行うことができる。比較レートは、ロボットの運動学的データに依存して決定され得る。例えば、比較レートは、エンドエフェクタの一部分の速度、および／またはエンドエフェクタの動作に依存して決定され得る。
【0070】
現在の手技が１つ以上の以前の手技から逸脱するという決定がなされた場合、拡張が追加され得る。逸脱は、手技のステージが実施される時間または相対的な時間に関連し得る。逸脱は、手技のステージが実施される位置に関連し得る。逸脱は、現在の手技が、１つ以上の以前の手技に基づいて予想される挙動などの予想される挙動から閾値量を超えて変動したときに、生じると決定され得る。閾値量は、行為が実施される期間であってもよい。例えば、行為が、予想される時間よりも５秒、１０秒、３０秒、１分、２分、もしくは５分を超えて早くまたは遅く実施された場合、逸脱が生じたと決定され得る。閾値量は、外科的部位の表現内にある所定の位置からの距離であってもよい。例えば、行為が、予想される位置から１ｍｍ、２ｍｍ、５ｍｍ、１０ｍｍ、または２０ｍｍを超えて実施された場合、逸脱が生じたと決定され得る。かかるアプローチは、手技間で有用な比較を行うことを可能にする一方で、生理学的な違いなどの違いを考慮に入れることを許容する。
【0071】
いくつかの実施例では、表現は、エラー状態が生じたと決定された場合に拡張され得る。エラー状態には、ロボットアームおよび／または器具の故障が含まれ得る。エラー状態が生じたと決定するための閾値は、ユーザ定義可能で、かつ／または事前に設定されてもよい。
【0072】
拡張信号は、任意の所望のソース、例えば、テレマティックデータソースに依存して生成され得る。例えば、拡張信号は、器具の変化、ハンドコントローラとアームとの関連付けの変化、電気外科的モードの変化、内視鏡の移動、少なくとも１つのハンドコントローラでの再インデックス化などのうちの１つ以上を決定することに依存して生成され得る。拡張信号は、行われている本明細書に記載の行為のいずれかの特定の組み合わせに依存して生成され得る。
【0073】
拡張信号は、ディスプレイ上に表示される特徴を示し得る。拡張信号には、外科的部位の表現に対するインジケータの位置を示す位置データが含まれ得る。例えば、拡張信号には、３Ｄモデルに対するインジケータの位置に関連するデータが含まれ得る。コントローラ、例えば、インプットデバイスは、位置データを提供するように構成され得る。位置データは、表示されたインジケータに依存して得られ得る。
【0074】
位置データには、ロボットアームおよび／またはエンドエフェクタの１つ以上のジョイントに関連付けられたデータなどのジョイントデータが含まれ得る。ジョイントデータには、ジョイントポジションデータが含まれ得る。例えば、ジョイントポジションデータとしては、器具を支持するロボットアームのジョイントのポジション、向き、および／もしくは構成に関連するデータ、ならびに／または器具のジョイントおよび／もしくは器具のエンドエフェクタのポジション、向き、および／もしくは構成に関連するデータを挙げることができる。ジョイントデータには、運動学的データが含まれ得る。例えば、運動学的データとしては、ロボットアームおよび器具の１つ以上のジョイントのポジション、向き、および／または構成の変化に関連するデータを挙げることができる。運動学的データには、ロボットアームおよび器具の１つ以上のジョイントのポジション、向き、および／または構成の変化のレートに関連するデータが含まれ得る。運動学的データには、ポジションの変化が生じた１つ以上のジョイントの初期のポジションのデータが含まれ得る。かかる位置データの提供は、インジケータとしてエンドエフェクタが作用する場合に特に有用である。かかる事例では、インジケータ（すなわち、エンドエフェクタ）の３Ｄポジションは既知である。したがって、拡張は、非常に正確な様式で表現に追加され得る。このアプローチはまた、位置データがすでにシステム内に存在し、再計算する必要がないため、必要な処理の点での節約を提供することもできる。
【0075】
表示された表現内にある特徴のより正確な識別が所望される場合、２つ以上の位置で特徴をタグ付けすることが可能である。タグは、特徴上の離間した、例えば、横方向に離間したポジションでインプットされ得る。いくつかの実施例では、１つのタグと別のタグとの間で表現の向きまたはズームを変更することが望ましい場合がある。いくつかの実施例では、１つのタグと別のタグとの間で視認条件を変更することが望ましい場合がある。視認条件には、視界が２Ｄ視界であるか３Ｄ視界であるか、画像コントラスト、画像着色、および／もしくは陰影付け、ならびに／または画像強化が存在するかどうかが含まれ得る。いくつかの実施例では、患者が１つのポジションにいる状態で１つ以上のタグによって特徴を示し、その後、患者を移動させることができる（かかる移動には、患者の１つ以上の肢を移動させること、および／または上に患者が置かれている手術台の向きを移動させることなどが含まれ得る）。場合によっては、患者の移動により、外科的部位の部分を互いに対して移動させることができる。例えば、患者の向きの変化により、器官を、異なる重力効果により移動させることができる。患者が新しいポジションにある状態で、同じ特徴を１つ以上のタグによってタグ付けすることができる。このようにして特徴をタグ付けすることにより、患者の移動または他の同様の効果に対するシステムの堅牢性を補助することができる。例えば、異なる患者のポジションで特徴をタグ付けすることにより、その特徴を、間に患者がポジションを変化させる可能性がある手技中に追跡することを可能にするのを補助することができる。画像処理を実施して、２つ（またはそれ超）のタグ付けされた位置が同じ特徴の部分、例えば、動脈に沿って離間された点、または腎臓上の異なるポジションにある点であるかどうかを識別することができる。１つの点が１つの特徴上（仮に動脈上）にあり、別の点が（動脈上ではない）異なる特徴上にある場合、システムは、１つ以上のさらなる点をタグ付けするようにユーザにプロンプトし得る。特徴は、その特徴にないタグと比較した、その特徴にあるタグの相対的な数に依存して、拡張が望まれる特徴として選択され得る。このように、偶発的なタグは、時間がかかる場合があるユーザによる除去または調節の必要はないが、代わりに、１つ以上の追加のタグを作って、拡張する特徴を示すことができる（これは、ユーザにとってより迅速な場合がある）。
【0076】
表現が拡張されると、拡張は、例えば、自動的にまたはユーザによって移動可能になり得る。拡張は、ディスプレイ上に拡張をドラッグアンドドロップすることによって移動可能であってもよい。コントローラは、例えば、コンピュータマウスカーソル、インプットデバイス、および／または第２のインプットデバイスを介して、かかるドラッグアンドドロップを可能にするように構成され得る。
【0077】
述べられるように、拡張は、フリーテキストを使用すること、および／またはラベルのセットから選択することによって、ユーザによりラベル付けすることができる。拡張のラベル付けは、自動的にまたは少なくとも部分的に自動的に行われてもよい。例えば、表現は、プロセッサ５２１または画像プロセッサ５２２によって処理することができ、画像認識技術を使用して、特定の特徴が何であるかを提案することができる。場合によっては、かかる画像認識技術を単独で使用することが困難な場合がある。これは、撮像された外科的部位が、十分に高いコントラストを有していない場合があり、かつ／または十分に照明されていない場合があるためである場合がある。有利には、本技術は、画像処理の強化を可能にする。現在の手技のための部位の表現と、以前の手技および／またはモデルの１つ以上の表現との比較を行うことができる。以前の手技および／またはモデルの表現には、好適には、少なくとも１つのラベル付けされた特徴または既知の特徴が含まれる。現在の表現内にある特徴が、以前の表現内またはモデル内にある特徴と同じまたは同様であると決定された場合、以前の表現またはモデル内にあるその特徴のラベルは、ユーザによる選択のために利用可能にされ得るか、または現在の表現内にある特徴の拡張に自動的に適用され得る。ラベルが選択のためにユーザに利用可能にされるか、または自動的に適用されるかに関する決定は、ラベルに関連付けられた信頼因子に依存して行われてもよい。このアプローチにより、システムは、同様のタイプの手技および／または手技のモデルに関してデータベースを構築することによって、異なる特徴の識別を「学習」することができる。したがって、自動ラベル付けまたは可能なラベルの提案を、より正確に行うことができる。これにより、特徴を正しくラベル付けする際にユーザの時間を節約することができる。特徴のより正確なラベル付けにより、これらのラベルに基づくタスクの正確さを増加させることができる。
【0078】
プロセッサは、解剖学的な特徴、例えば、器官または血管などの表現の拡張および／もしくは特徴を監視または追跡するように構成され得る。いくつかの実施例では、解剖学的な特徴などの特徴は、自動的に決定され得る。例えば、システムは、画像処理によって特徴を決定することができる。この拡張および／もしくは特徴の監視または追跡は、外科的部位の表現が変化する場合に有用である。例えば、表現の視認ポジションは変化し得る。これは、例えば、撮像デバイスの位置および／または向きの変化で生じる可能性があるため、視認ポジションの横方向の移動または視認ポジションの角度の変化に起因し得る。有用なことに、システムは、ディスプレイ上に表示される表現の一部分が変化するにつれて、拡張が、外科的部位の表現に対して、そのポジションを保持するように構成される。例えば、撮像デバイスが右に移動することにより、その撮像デバイスの画像アウトプットに基づく表現がディスプレイ上で左に移動する場合、拡張もまた左に移動する。システムは、好適には、拡張が外科的部位の表現と位置合わせされて移動するように構成される。すなわち、システムは、拡張が表現と一緒に移動するように構成される。例えば、拡張が、表現内にある特定の特徴に追加される場合、拡張は、好適には、その特徴の移動と一緒に移動する。特徴のかかる移動は、外科的部位の表現に関してパンおよび／またはズームの変化で生じ得る。特徴の移動は、他の方式で行われてもよい。例えば、外科的手技は、特徴を移動させることを伴い得る。器官などの特徴は、呼吸、心拍、および重力（例えば、患者台が調節されたとき）のうちの１つ以上に起因して移動し得る。
【0079】
上述のように、拡張は、手動でおよび／または自動的に追加され得る。拡張は、拡張基準が満たされていると決定することに依存して追加され得る。プロセッサ５２１は、拡張基準が満たされているかどうかを決定するように構成され得る。
【0080】
拡張基準は、外科用器具がシステムに取り付けられ、システムから取り外されているかどうか、外科用器具がシステムによって操作されているかどうか、および／または外科用器具の状態に変化があるかどうかを決定することを含み得る。拡張基準は、外科的部位の表現における画像認識のマッチングを示す画像認識信号があると決定することを含み得る。これは、例えば、表現内にある特徴が画像認識によって、腎臓などの特定の特徴であると決定された場合に、かかる画像認識のマッチングを行って、それに応じて表現の拡張をトリガするのに有用である。
【0081】
拡張基準は、外科用ロボットシステムに関連付けられたエラーを示すエラー信号があると決定することを含み得る。拡張基準は、特定の時間に到達したこと、または特定の時間が経過したことを決定することを含み得る。より全般的には、例えば、プロセッサ５２１によって、拡張基準が時間信号に依存して満たされているかどうかを決定することができる。例えば、拡張基準は、特定の時間に、または特定の時間枠内で行われる特定の行為を含み得る。これは、所与の期間内に行われるステッチまたは一連のステッチを含み得る。
【0082】
時間信号は、１日の時間を示す信号を含み得る。時間信号は、手技の開始から経過した時間、および／または手技中の事前に定義された点を示す信号を含み得る。事前に定義された点は、例えば、切断手技の開始もしくは終了、縫合手技の開始もしくは終了、および／または電気焼灼手技の開始もしくは終了であってもよい。時間信号は、手技、例えば、切断、縫合、および電気焼灼手技のうちの１つ以上の持続時間の表示を含み得る。
【0083】
拡張基準は、外科用ロボットシステムのユーザの変化が存在すると決定することを含み得る。ユーザの変化を示す信号は、外科医がインプットデバイスを制御して、例えば、インプットデバイスをエンドエフェクタのアクティブ制御から切り離すようにインプットデバイスをクラッチから外すことによって、手技を一時停止していること、および手技が別の外科医によって再開されていること、を示すことができる。ユーザの変化を示す信号は、１つのコンソールにいる外科医が、別のコンソールにいる外科医から引き継いでいることを示すことができる。これは、外科的手技中または外科的手技の中断中に生じ得る。
【0084】
ユーザの変化が存在するとの決定は、ユーザ変化信号などの信号に依存して行われ得る。システムのユーザが、システムのユーザに関連付けられたログインまたは位置合わせに依存して変化したと決定され得る。システムのユーザが、ユーザに関連付けられた認識信号に依存して変化したと決定され得る。認識信号は、撮像デバイスまたは視覚プロセッサからアウトプットされてもよく、これらは、例えば、ユーザのグループからあるユーザを識別するために顔認識を実施し、かつ／または例えば、ＱＲコード（登録商標）などの２Ｄコードでパターン認識を実施するように構成され得る。認識信号は、無線信号を検出するように構成された無線受信デバイスからアウトプットされ得る。無線受信デバイスは、ＷｉＦｉ（商標）信号、Ｂｌｕｅｔｏｏｔｈ（商標）信号、および／またはＲＦＩＤ信号などの無線周波数信号を検出するように構成され得る。これらのタイプの信号の少なくとも１つを発するユーザによって運ばれるデバイスを使用して、ユーザ間を区別し、かつ任意選択で、特定のユーザを識別することができる。
【0085】
表現の「オフライン」拡張
上の実施例で説明されるように、拡張は、手技中に追加され得る。拡張は、追加的または代替的に、手技前または手技後に追加され得る。拡張は、手技が開始される前に、例えば、計画段階で追加され得る。手技が開始される前に、外科的部位の撮像デバイスからの「生の」画像フィードは存在しない。したがって、好ましくは、手技が開始される前に、拡張が、部位の３Ｄモデルなどのモデルに追加される。かかる３Ｄモデルは、いくつかの方式のうちの１つで生成され得る。例えば、３Ｄモデルは、ＭＲＩスキャンなどのスキャンから導出され得る。３Ｄモデルは、１つ以上の患者関連パラメータに従って選択され得る、ステレオタイプから導出され得る。３Ｄモデルは、２つ以上のステレオタイプから導出され得る。例えば、３Ｄモデルは、異なるステレオタイプの重み付けされた組み合わせから導出され得る。
上の実施例で説明されるように、拡張は、手技中に追加され得る。拡張は、追加的または代替的に、手技前または手技後に追加され得る。拡張は、手技が開始される前に、例えば、計画段階で追加され得る。手技が開始される前に、外科的部位の撮像デバイスからの「生の」画像フィードは存在しない。したがって、好ましくは、手技が開始される前に、拡張が、部位の３Ｄモデルなどのモデルに追加される。かかる３Ｄモデルは、いくつかの方式のうちの１つで生成され得る。例えば、３Ｄモデルは、ＭＲＩスキャンなどのスキャンから導出され得る。３Ｄモデルは、１つ以上の患者関連パラメータに従って選択され得る、ステレオタイプから導出され得る。３Ｄモデルは、２つ以上のステレオタイプから導出され得る。例えば、３Ｄモデルは、異なるステレオタイプの重み付けされた組み合わせから導出され得る。
【0086】
コントローラは、好適には、手技中に、予想される表現を可視化するために、モデルを通してナビゲートすることができるように構成される。例えば、これは、インプットデバイスおよび／または第２のインプットデバイスによって行うことができる。
【0087】
計画段階では、外科的部位の表現を拡張することは、対象となる可能な面積および／または予想される外科的介入の位置を識別することができるようにするために有用である。かかる計画段階では、拡張は、外科医または他の医療従事者によって追加され得る。例えば、拡張は、研修外科医または看護師によって追加され得る。計画段階で追加されるかかる拡張は、それほど正確である必要はない。概略の面積または特徴を示すのに十分であり得る。かかる拡張は、例えば、血管、器官、および／または骨構造などの主要な特徴および／または主要な特徴の方向を識別することによって、全体的な外科的部位におけるおおよその位置を示し得る。かかる表示は、手技中に外科医が必要とする時間を低減し得る。例えば、外科医が自身を外科的部位内に位置特定するのを補助することによって、拡張は、外科医の時間および／または労力を節約することができる。これは、手技に必要な全体的な時間を低減するのに役立つ場合があり、これは、本明細書の別の場所で考察されるように、患者および病院の両方にとって利点を有し得る。
【0088】
手技中に、拡張を追加して、対象となる面積をハイライトすることができる。これらには、外科医が手技中に戻ることを望む場合がある点が含まれ得る。これは、外科医が、より詳細なチェックを保証する、予想外の何かに気づいたためである可能性がある。かかる拡張は、対象となる単一の点（器官など）、または対象となる複数の点（例えば、複数の器官もしくは同じ器官に関する複数の点）を示し得る。
【0089】
より高いリスクまたは危険性の面積を示すために、外科医によって拡張を追加することができる。例えば、拡張によって、動脈などの血管の位置をハイライトすることが望ましい場合がある。これは、外科医が血管を回避するのを補助し得るため、手技中に意図しない出血を引き起こすリスクを低減し得る。
【0090】
拡張を追加して、手技のウェイポイントを示すことができる。かかるウェイポイントは、ユーザ（研修生または経験の少ない外科医など）を誘導するのに有用であり得る。このアプローチにより、ユーザは、横断した経路をより迅速に引き返すことができ、これにより、手技の完了に必要な時間の低減が可能となる。ウェイポイントは、生の手技、または生の手技のシミュレーションのいずれかの間に、研修生または経験の少ない外科医を誘導するのに有用であり得る。
【0091】
拡張は、縫合、切断、電気焼灼手術、および／または組織の把持点の位置に追加され得る。概して、拡張は、エンドエフェクタが動作可能であるか、または動作可能になる点で追加され得る。このように外科的部位の表現を拡張することにより、活動部位を追跡することができる。これらの活動部位の３Ｄ位置は、拡張に基づいて決定され得る。これにより、手技のまたは手技中の特定の活動の後期の分析が可能となる場合がある。
【0092】
拡張は、手技が完了した後に追加され得る。かかる拡張は、手技の記録されたフィード、および／または手技からもしくは手技中に得られたデータに依存して構築されたモデルに追加され得る。拡張は、改善のための可能な面積を示し得る。かかる拡張を手技が完了した後に追加することは、手技のレビューが、手技自体中よりもストレスの少ない環境で行われ得ることを意味する。したがって、手技中に可能であり得るものよりも高いレベルの分析を実施することができる。いくつかの実施例では、拡張は、縫合部位の最適な位置および／または離間を示し得る。かかる拡張は、レビュー中の手技と同じまたは同様の後期の手技で生じ得る潜在的な問題についてのユーザ間の意識を高めることができる。このように意識を高めると、後期の手技における望ましくないインシデントの数を低減することができ、これにより、例えば、これらの後期の手技の効率を増加させることができ、かつ／または手技中の合併症の数を低減することができる。
【0093】
外科的部位の表現に追加された拡張を、いくつかの異なる方式で使用することができる。拡張が使用され得る方式の一実施例は、手技中の外科医の向き付けを助けることである。拡張により、外科医が見ている部位の場所の表現に表示を追加することができる。例えば、腎臓などの器官をラベル付けすることによって、外科医は、部位をよりよく理解するため、エンドエフェクタを制御し、かつ／または部位の周りでより簡単に移動させることができる。これについては、以下でより詳細に考察する。
【0094】
拡張のグループ化
拡張を、拡張の１つ以上のグループに追加することができる。複数の拡張を、拡張の特定のグループに追加することができる。拡張は、これらの拡張に共通する特性に従ってグループ化され得る。例えば、拡張は、
・拡張が追加される点にいるシステムのユーザ、
・拡張を追加するユーザ、
・行われている手技、
・行われている手技のタイプ、
・拡張されている特徴のタイプ（例えば、器官、血管、組織および／もしくは骨、損傷部および／もしくは患部）、
・拡張されている特徴（例えば、特定の器官または血管）、
・行為が所望される点（すなわち、切開点を含み得る「やること」リスト」）、
・時間（例えば、過去１時間または過去３０分間に追加されたすべての拡張）、
などのうちの１つ以上に従ってグループ化され得る。
拡張を、拡張の１つ以上のグループに追加することができる。複数の拡張を、拡張の特定のグループに追加することができる。拡張は、これらの拡張に共通する特性に従ってグループ化され得る。例えば、拡張は、
・拡張が追加される点にいるシステムのユーザ、
・拡張を追加するユーザ、
・行われている手技、
・行われている手技のタイプ、
・拡張されている特徴のタイプ（例えば、器官、血管、組織および／もしくは骨、損傷部および／もしくは患部）、
・拡張されている特徴（例えば、特定の器官または血管）、
・行為が所望される点（すなわち、切開点を含み得る「やること」リスト」）、
・時間（例えば、過去１時間または過去３０分間に追加されたすべての拡張）、
などのうちの１つ以上に従ってグループ化され得る。
【0095】
異なるグループの拡張は、ディスプレイ上で区別され得る。例えば、システム（例えば、プロセッサ５２１）は、異なるグループでの拡張を異なってハイライトするように構成され得る。拡張は、異なる色のうちの１つ以上の色によって、異なるフォントおよび／もしくはサイズのラベルを有すること、異なる輪郭を有すること、ならびに点滅すること、または異なる周波数で点滅することによって、ハイライトされ得る。
【0096】
システムは、好適には、特定の拡張が属する拡張のグループに依存して、拡張を表示または非表示にするように構成される。これにより、ユーザが特定のタイプの拡張を識別し、かつそれにより、これらの拡張に依存して行為を行うことができる、使いやすさが増加する。
【0097】
システム、例えば、プロセッサ５２１は、１つ以上の拡張に依存して計算を実施するように構成され得る。好適には、計算は、自動的に実施され得る。例えば、システムは、追加される拡張の数、または拡張の特定のグループ内の拡張の数を自動的にカウントし得る。例えば、拡張のグループは、胃などの特徴に沿って延在するテンドリルに関連し得る。外科医は、一部のテンドリルが互いに離れる方向に面して胃の側面上にある場合があるため、すべてのテンドリルを見るために部位の周りを移動する必要がある場合がある。外科医は、すべてのテンドリルに関する拡張を一度に追加する必要はない。拡張は、手技の異なるステージにおいて追加することができ、かつ実際には、２つ以上の手技であっても追加することができる。かかる状況では、テンドリルの数を正しく覚えることは困難な場合がある。２人以上のユーザが拡張を追加した可能性がある。したがって、システムが、例えば、拡張の「テンドリル」のグループ内の拡張数のカウントを提供する場合に有用である。
【0098】
システムは、複数の拡張間の距離、または拡張のグループ内の複数の拡張間の距離を決定するように構成され得る。複数の拡張間の距離には、拡張間の最大距離、例えば、（外科的部位の表現の２Ｄまたは３Ｄ空間において）互いに最も離れている２つの拡張間の距離が含まれ得る。複数の拡張間の距離には、拡張間の最小距離、例えば、（外科的部位の表現の２Ｄまたは３Ｄ空間において）互いに最も近い２つの拡張間の距離が含まれ得る。複数の拡張間の距離には、複数の拡張間の距離の平均値（例えば、平均、モード、もしくは中央値のうちの１つ以上）、または複数の拡張のサブセットが含まれ得る。複数の拡張間の距離には、後続の拡張間の距離が含まれ得る（すなわち、３つの拡張の場合、合計距離は、第１の拡張と第２の拡張間の距離と、第２の拡張と第３の拡張間の距離との合計であり得る）。このアプローチにより、ユーザは、特徴の長さに沿って拡張を追加することができ、次いで、システムは、その特徴の長さを決定することができる。
【0099】
システムは、特徴の向きを決定するように構成され得る。例えば、システムは、その特徴に関連付けられた２つ以上の拡張をつなぐ線（複数可）に依存して、特徴の向きを決定するように構成され得る。向きは、例えば、手術台、体腔、外科的部位で識別または選択された別の特徴などの参照の便利な枠に関して決定され得る。
【0100】
システムは、さらに２つの拡張間の線、または拡張のグループ内の複数の拡張間の線を示すように構成され得る。線は、ディスプレイおよび／または別のディスプレイ上で視認可能であってもよい。このように線の表示は、テレストレーションに有用であり得る。テレストレーション機能を提供することは、例えば、手技中または手技を行う前の訓練中の、教示および／またはガイダンスに有用であり得る。システムは、選択されたすべての拡張、最良適合線、および拡張に基づくスプラインをつなぐドット間の線の１つ以上に依存して、線を示すように構成され得る。システムは、２Ｄまたは３Ｄで線を示すように構成され得る。
【0101】
システムは、複数の拡張または拡張のグループ内の複数の拡張によって囲まれた面積を決定するように構成され得る。複数の拡張によって囲まれた面積には、多角形の面積が含まれ得、多角形の角ごとに拡張がある。複数の拡張によって囲まれた面積には、３Ｄモデルの特徴に投影された複数の拡張によって囲まれた面積が含まれ得る。例えば、複数の拡張は、器官などの湾曲した特徴の上に位置し得る。複数の拡張によって囲まれた面積には、拡張が投影される湾曲した特徴の表面積が含まれ得る。このアプローチにより、２Ｄディスプレイ上への特徴の投影の面積よりも有用であり得る、外科的部位の表現内にある特徴の表面を決定することができる。
【0102】
システムは、複数の拡張または拡張のグループ内の複数の拡張によって囲まれた体積を決定するように構成され得る。複数の拡張によって囲まれた体積には、例えば、外科的部位の３Ｄモデルにおける３Ｄ空間内の拡張の位置によって囲まれた体積が含まれ得る。複数の拡張によって囲まれた体積を決定することにより、外科的部位にある特徴の体積の決定が可能になり得る。例えば、拡張を腫瘍の表面にわたって追加することができる。システムは、好適には、その腫瘍に関連付けられた拡張の３Ｄ空間内の位置に依存して、腫瘍のサイズまたはおおよそのサイズを決定するように構成される。
【0103】
システム、例えば、プロセッサ５２１は、エンドエフェクタが、指定された点、線、面積、もしくは体積に進入すること、またはこれらの中で、これらを通過して、もしくはこれらの近くで移動することを制限するように構成され得る。指定される点、線、面積、または体積は、拡張の１つ以上のグループ内の１つ以上の拡張によって画定され得る。例えば、拡張は、動脈などの特徴の上にまたは特徴に沿って追加され得る（これは、計画段階で行われてもよい）。動脈に関連する拡張は、拡張の「動脈」グループ内にあってもよい。さらなる拡張が、静脈（または他の特徴）に関して追加されてもよい。静脈に関連する拡張は、拡張の「静脈」グループ内にあってもよい。システムは、１つ以上の選択された特徴を取り囲む体積へのエンドエフェクタの進入を制限するように構成され得る。例えば、システムは、拡張の「動脈」グループおよび「静脈」グループ（または、拡張の「動脈」グループおよび「静脈」グループを含む、拡張の「血管」グループ）の一方もしくは両方を取り囲む体積へのエンドエフェクタの進入を制限し得る。これにより、外科医が手技中に特徴（ここでは、動脈または静脈）を偶発的に損傷するリスクを低減することができる。システムは、かかる点、線、面積、もしくは体積の事前に設定された距離内でのエンドエフェクタの運動を制限または防止するように構成され得る。システムは、制限された点、線、面積、もしくは体積（または、概して、任意の指定された拡張もしくは拡張のグループ）に対するエンドエフェクタの一部分の近さに依存して、フィードバック（例えば、（例えば、インプットデバイスの）可聴音もしくは振動などの視覚的および／または触覚的フィードバック）を提供するように構成され得る。このアプローチにより、組織の損傷が生じる可能性を低減する一方で、エンドエフェクタを他の場合よりも迅速に移動させることができる場合がある。したがって、かかるアプローチにより、手技のスピードアップを補助することができ、これにより、患者の回復時間を改善することができる。
【0104】
ここで図６を参照して、外科的部位の表現を拡張するための方法を示す。任意選択で、撮像デバイスを使用して、外科的部位６０２の少なくとも一部分を撮像することができる。任意選択で、外科的部位６０４の、２Ｄまたは３Ｄモデルなどのモデルを得ることができる。外科的部位の表現は、６０６で得られる。外科的部位の表現は、６０２でキャプチャされた外科的部位の画像、および６０４で得られた外科的部位のモデルの一方または両方に依存して得られ得る。６０８で、表現が表示される。例えば、表現は、ディスプレイ上に表示され得る。ディスプレイ上のインジケータが制御される６１０。インジケータは、好適には、コントローラでインプットデバイスによって制御される。６１２で、拡張信号が受信される。拡張信号は、コントローラによって、例えば、インプットデバイスによってアウトプットされ得る。拡張信号を受信することに応答して、外科的部位の表現が拡張される６１４。外科的部位の表現は、ディスプレイ上のインジケータのポジションに依存して拡張され得る。
【0105】
外科的部位６０４のモデルを得ることは、部位の記憶されている表現に依存して行われ得る。ディスプレイ上で視認可能なエンドエフェクタには、インジケータが含まれ得る。本方法は、エンドエフェクタを制御することによってインジケータを制御することを含み得る。
【0106】
向きの拡張
述べられるように、１つ以上の拡張を表現上にまたはその一部として提供して、表現の向き付けを支援することができる。かかるナビゲーション支援により、表示された表現の理解を強化し、ロボットシステムのユーザがロボットシステムを使用して手技を実施することができるスピードおよび／または精度を増加させることができる。
述べられるように、１つ以上の拡張を表現上にまたはその一部として提供して、表現の向き付けを支援することができる。かかるナビゲーション支援により、表示された表現の理解を強化し、ロボットシステムのユーザがロボットシステムを使用して手技を実施することができるスピードおよび／または精度を増加させることができる。
【0107】
プロセッサ５２１は、いくつかの実施例では、撮像デバイス信号を受信するように構成される。撮像デバイスは、撮像デバイス信号をアウトプットするように構成され得る。撮像デバイス信号は、例えば、外科的部位または何らかの他の適切な基準枠（例えば、（移動可能であり得る）患者台もしくは手術室）に対する、撮像デバイスの位置および向きのうちの少なくとも１つを示す。これにより、プロセッサは、撮像デバイスを使用して視認可能な外科的部位の一部分の位置および向きを決定することができる。すなわち、プロセッサは、撮像デバイスの画像フィードが関連する、および表示され得る、外科的部位の一部分を決定することができる。上で考察されたように、外科的部位の表現は、画像フィードおよび／または３Ｄモデルに基づき得る。したがって、撮像デバイス信号により、プロセッサは、撮像デバイスによって視認されている外科的部位の一部分を決定することができる。プロセッサは、外科的部位の撮像部分を３Ｄモデルとマッチングさせるように構成され得る。いくつかの実施例では、外科的部位の撮像部分は、３Ｄモデルと同じであっても、３Ｄモデルにほぼ近いものであってもよい。これは、画像内の器官および血管が３Ｄモデルにおけるものと同じまたはほぼ同じ相対的な位置にあるときの場合であり得る。しかしながら、器官および血管は、必ずしも同じように互いに一緒に移動するわけではない。患者が傾けられると、例えば、異なる器官および／または血管（もしくは実際に他の任意の内部構造）が異なって挙動し得る。異なる挙動は、少なくとも部分的に組織の相対的な「フロップ性」（または弾性）に起因し得る。好適には、３Ｄモデルおよび／またはプロセッサは、組織のフロップ性に関するデータまたは仮定へのアクセスを有する。例えば、患者の角度に変化があり、組織を移動させる可能性がある場合、器官および血管などの組織の新しいポジションは、組織の各々に関連付けられたフロップ値（または相対的なフロップ値）に依存して推定され得る。更新された３Ｄモデルを、推定されたポジションに基づいて生成することができる。このようにして、プロセッサは、外科的部位の撮像部分を３Ｄモデルおよび／または更新された３Ｄモデルとマッチングさせるように構成され得る。このアプローチは、撮像された視界を３Ｄモデルと正しく整列させることができるため、画像フィードおよび３Ｄモデルの両方に依存して表現を生成することを容易にする。表現は、撮像デバイス信号に依存して拡張され得る。プロセッサは、拡張された表現の少なくとも一部の表示を引き起こすためのディスプレイ信号をアウトプットし得る。システムは、拡張された表現の少なくとも一部を表示するように構成された、ディスプレイを備え得る。
【0108】
手技中、撮像デバイスは通常、移動される。すなわち、撮像デバイスの位置および向きのうちの少なくとも１つが変化する。撮像デバイスのズームは変化し得る。好適には、プロセッサは、さらなる撮像デバイス信号を受信するように構成される。さらなる撮像デバイス信号は、好適には、撮像デバイスの更新された位置および／または向きを示し、かつ／または撮像デバイスの更新されたズームもしくはパン状態を示す。プロセッサは、好適には、撮像デバイス信号およびさらなる撮像デバイス信号に依存して、撮像デバイスの位置、撮像デバイスの向き、撮像デバイスのズーム、および撮像デバイスのパン状態のうちの少なくとも１つの変化を決定するように構成される。プロセッサは、決定された変化に依存して、拡張された表現を更新するように構成され得る。プロセッサは、表現上または表現に適用される拡張を更新することによって、拡張された表現を更新するように構成され得る。
【0109】
表現は、器官、血管、もしくはより全般的には１つ以上の解剖学的な特徴、および／またはステッチ、切開、電気焼灼行為などのうちの１つ以上の部位など、表現の特徴に基づいて拡張され得る。拡張は、外科的部位の表現の向きを示すことができる。表現は、別の拡張、例えば、初期に追加された拡張に基づいて拡張され得る。他の拡張は、１つ以上の解剖学的な特徴に基づき得る。例えば、システムは、解剖学的な特徴の表現内の存在を検出するように構成され得る。この検出は、画像マッチングなどのような画像処理によって実施され得る。例示の実施例では、システムは、腎臓が表現内に存在する（それがディスプレイ上で視可能であるかどうかにかかわらず、例えば、視認されている表現の部分は、腎臓を含む表現の部分を含まない場合がある）ことを識別し得る。腎臓は、例えば、本明細書に記載の１つ以上の技術などに従って、ラベル付けされ得る。かかるラベルは、拡張として追加され得る（この場合もまた、ディスプレイ上で視認可能であるかどうかにかかわらず）。表現は、この拡張に基づいて（すなわち、この実施例では、「腎臓」というラベルに基づいて）さらに拡張され得る。別の実施例では、表現は、腎臓に関して最初に表現を拡張する必要性なしに、腎臓が表現内に存在するという決定に依存して、拡張され得る。
【0110】
表現の向きを示す拡張は、いくつかの形態のうちの１つをとり得る。拡張は、上方方向（例えば、重力に対して、または患者台と直角をなす）、および外科的部位全体の一部分または身体の一部分に向かう（例えば、トロカール挿入位置または患者の頭部に向かう）方向のうちの１つ以上を示すことなどによって、表現の「全体的な」向きを示すことによって、向きを示し得る。拡張は、解剖学的な特徴、例えば、全体として外科的部位に対して移動し得る解剖学的な特徴の位置を示すことなどによって、表現の「局所的な」向きを示すことによって、向きを示し得る。例えば、器官（または他の解剖学的な特徴）が手技中に移動し得る。器官は、患者が移動するにつれて重力によって移動し得る。器官は、呼吸によって移動し得る。器官は、外科医によって移動され得る。いくつかの実施例では、拡張は、「画面外」の、すなわち、表示された表現の部分にない特徴の方を指し得るか、または別様にその特徴を示し得る。
【0111】
拡張、例えば、「全体的な」向きを示す拡張には、人工的な地平線が含まれ得る。この実施例は、図１０に例示される。例えば、線または平面１００２（３Ｄ拡張上など）は、水平な線または平面を示し得る。拡張は、外科的部位の一部分（上述の実施例では、トロカール挿入点など）またはより全般的には対象となる特徴に向かう方向および／または距離の表示１００４を含み得る。例えば、対象となる特徴の方を指す矢印１００４が提供され得る。矢印は、２Ｄで、または３Ｄで提供されてもよい。いくつかの実施例では、線または平面および矢印の両方が提供されてもよい。例えば、拡張は、球体１０００と、球体内で回転して、重力的に水平な平面を示すことができる平面１００２と、対象となる特徴に向かう方向を示す、球体内に提供され得る１つ以上の矢印１００４（例えば、球体の中心と球体の外側表面との間に延在する放射状の矢印）と、を含み得る。球体は、任意の便利な様式で例示され得る。球体は透明であってもよい。球体は、経度および／または緯度の１つ以上の線によって示され得る。
【0112】
プロセッサは、対象となる特徴までの方向および距離のうちの少なくとも１つを決定するように構成され得る。対象となる特徴までの距離は、表現に投影された画面の境界の決定、および／または表現が基づく３Ｄモデルに依存して決定され得る。対象となる特徴までの距離は、解剖学的なモデル、例えば、３Ｄモデルに依存して決定され得る。対象となる特徴までの距離は、１つ以上の拡張のモデル内の位置に依存して決定され得る。例えば、血管などの所与の特徴に関連付けられた拡張が追加されている場合、その拡張の位置は、関連付けられた特徴、例えば、血管の位置を示すものとしてとられ得る。したがって、何らかの他の点（表現に投影された画面の境界など）から、かかる拡張の位置までの距離は、その関連付けられた特徴までの距離としてとられ得る。
【0113】
拡張は、対象となる特徴に向かう距離の表示を含み得る。距離は、画面のエッジ上の点（すなわち、表現の表示された部分のエッジにある点）から、画面の中心（もしくは表現の表示された部分）から、または所望の任意の他の点から測定され得る。距離は、対象となる特徴の最も近いエッジ、対象となる特徴の中心点、対象となる特徴の最も近いエッジと最も遠いエッジとの間の中間点、または所望の任意の他の点まで測定され得る。好ましくは、距離は、対象となる特徴に最も近い表現の表示された部分のエッジにある点から、表現の表示された部分に最も近い対象となる特徴のエッジまでの距離として測定される。すなわち、距離は、表現の表示された部分と対象となる特徴間の最短距離として決定され得る。表現の表示された部分に最も近い対象となる特徴の部分は、撮像デバイスの位置、向き、ズーム、および／またはパンの変化に応じて変化し得る。それに応じて、プロセッサは、距離の決定を自動的に更新するように決定され得る。拡張は、対象となる特徴までの距離を、例えば、ミリメートルで提供するテキストラベルを含み得る。任意の他の単位を使用することができる。測定値の単位および／または測定値の精度は、選択可能、例えば、ユーザ選択可能であってもよい。使用する測定値の単位、およびその測定値を表示する精度は、ユーザプロファイルにおいて事前に設定され得る。
【0114】
したがって、対象となる特徴が表現の表示された部分で視認不可能な場合、拡張は、その対象となる特徴が位置する場所の表示を提供し得る。この表示には、その対象となる特徴までの方向および距離が含まれ得る。これにより、外科医などのユーザは、表現を用いて、提示されたときにより迅速に自身の方位角を得ることができ、かつ／または外科的部位を通したナビゲーションの際に自身の方位角を失うリスクを低減することができる（かかるナビゲーションが、３Ｄの部位内の並進運動および／または回転運動を含み得る場合）。
【0115】
特徴は、表現の一部を表示するディスプレイ上で視認不可能な場合、表現の表示された部分に存在しないと考慮され得る。特徴は、表現内にあり、かつ／または表示された表現の視野の外側にある別の特徴によって塞がれている場合、表現の表示された部分に存在しないと考慮され得る。
【0116】
２つ以上の向きの拡張を提供することができる。かかる拡張は各々、対象となるそれぞれの特徴の方を指し得るか、または別様にその特徴を示し得る。２つ以上のかかる拡張は、対象となる同じ特徴の方を指し得るか、または別様にその特徴を示し得る。例えば、２つのかかる拡張が、ディスプレイの右上隅および左上隅に１つずつ提供される場合、これらの拡張は一緒になって、単一の拡張によって提供される情報に追加の情報を提供することができる。例えば、各拡張と対象となる特徴との間の相対的な距離の比較によって、対象となる特徴が（ディスプレイに対して）中央に位置するか、または一方の側もしくはもう一方の側に位置するどうかを容易に確かめることができる。したがって、かかる拡張の組み合わせを使用して、表現のより正確な向きを得ることができる。
【0117】
拡張には、特徴に向かう距離、例えば、画面のエッジと特徴（例えば、画面エッジに対して特徴の最も近い部分）間の距離の表示が含まれ得る。特徴に向かう距離の表示は、点滅、点滅の周波数、色、サイズ、形状、輪郭、透明性、半透明性、ならびに／またはこれらおよび／もしくは他の拡張の視覚的な特徴のうちのいずれか１つ以上といった任意の便利な様式で提供され得る。拡張は、決定された距離に依存して選択または表示され得る。対象となる特徴までの距離を示すことができる拡張のいくつかの実施例が図７に例示される。
【0118】
図７ａは、対象となる特徴の方を指し得る矢印７０１を例示する。図７ａの矢印は、幅ｗ１のシャフトを有する。図７ｂは、対象となる特徴の方を指し得る別の矢印７０２を例示する。図７ｂの矢印は、幅ｗ２のシャフトを有する。ｗ１はｗ２よりも大きく、これは、矢印７０１から対象となる特徴までの距離が、矢印７０２から対象となる特徴までの距離よりも大きいことを示し得る。いくつかの実施例では、比較的大きい矢印の幅は、対象となる特徴までの比較的短い距離を示し得る。
【0119】
対象となる特徴までの距離を示すように変化させることができる拡張の別の特徴を、図７ｂおよび図７ｃの矢印の比較によって見ることができる。図７ｂの矢印７０２は、幅ｗ３の矢じりを有する。図７ｃの矢印７０３は、幅ｗ４の矢じりを有する。ｗ３はｗ４よりも大きく、これは、矢印７０２から対象となる特徴までの距離が、矢印７０３から対象となる特徴までの距離よりも大きいことを示し得る。いくつかの実施例では、比較的大きい矢じりの幅は、対象となる特徴までの比較的短い距離を示し得る。
【0120】
矢印のシャフトの幅および／または矢じりの幅は、対象となる特徴までの距離に基づき得る。例えば、矢印のシャフトおよび／または矢じりの幅は、対象となる特徴までの距離に比例または反比例し得る。いくつかの実施例では、矢印のシャフトおよび／または矢じりの幅は、対象となる特徴までの距離に対して線形に比例し得るか、線形に反比例し得るか、対数に比例し得るか、または対数に反比例し得る。
【0121】
矢印のシャフトおよび／または矢じりの幅の減少は、対象となる特徴がディスプレイのエッジまたは境界により近づいていることを示し得る。シャフトおよび／または矢じりの幅が「ゼロ」であると、対象となる特徴が境界にあることを示し得る。拡張（ここでは、矢印）は、対象となる特徴がディスプレイ上に現れたときにディスプレイから除去され得る。いくつかの実施例では、対象となる特徴を示す拡張またはタグは、対象となる特徴が画面上に現れたときに、矢印（または他の「画面外」の拡張）を置き換え得る。いくつかの実施例では、対象となる特徴が画面外に移動すると、その特徴に関連付けられたタグは、その特徴までの方向および／または距離を示す「画面外」の拡張によって置き換えられ得る。
【0122】
好適には、画面外の対象となる特徴の距離および／または方向を示す拡張は、例えば、撮像デバイスおよび／または患者組織の移動に応答して動的に更新される。
【0123】
拡張のサイズの他の態様は、距離を示すように変化し得る。例えば、全体としての拡張のサイズは、決定された距離がより大きい場合に増加し得る。他の実施例では、拡張のサイズは、決定された距離がより大きい場合に減少し得る。プロセッサは、距離に依存して拡張のサイズを修正するように構成され得る。プロセッサは、最小サイズおよび最大サイズの一方または両方の範囲内で拡張のサイズを修正するように構成され得る。最小サイズおよび／または最大サイズは、選択可能、例えば、ユーザ選択可能であってもよい。
【0124】
いくつかの実施例では、プロセッサは、対象となる特徴が画面上で視認可能であると決定された場合、例えば、画面のエッジから対象となる特徴までの距離がゼロになった場合に、拡張を除去するように構成される。いくつかの実施例では、プロセッサは、対象となる特徴が画面境界内の距離に延在する場合に、拡張を除去するように構成される。このアプローチをとることは、対象となる特徴が視認可能であり、かつ潜在的に、拡張が除去される前にユーザによって認識可能でもあることを意味し得る。拡張がプロセッサによって除去される、対象となる特徴の画面境界内の距離は、事前に設定することができ、かつ／または選択可能、例えば、ユーザ選択可能であってもよい。拡張がプロセッサによって除去される、対象となる特徴の画面境界内の距離は、対象となる特徴の性質、タイプ、および／もしくは分類（例えば、特徴が直ちに識別可能でない場合、拡張が除去される前に、その特徴のより多くが画面上で視認可能であることを確保することが望ましい場合がある）、ならびに／または実施されている手技に依存し得る（例えば、異なる行為を異なる特徴に対して、例えば、各々がその特定の手技にとってどれほど重要であるかに依存して、選択することができる）。いくつかの実施例では、少なくとも１つの以前の手技からのデータ、任意選択で、その手技による１つ以上の成果に関連するデータを含む、データを使用して、対象となる特徴を決定し、決定された対象となる特徴に関連して表現をいつ拡張するか、および／または決定された対象となる特徴に関連して拡張をいつ除去するかを決定することができる。例えば、かかるデータが、特定の特徴が何であるかについての混乱を示す（例えば、所与の特徴を別の特徴と間違えている）場合、その特徴を拡張用に選択することができ、かつ／またはその特徴の拡張を別の特徴の拡張よりも長く保持することができる。
【0125】
図７ｄおよび図７ｅは、対象となる特徴までの距離によって変化し得る、拡張の別の視覚的な特質を例示する。例示の実施形態では、拡張は矢印である。拡張として、または拡張の一部として、他の形状を提供することができる。図７ｄおよび図７ｅは、異なる周波数で点滅する拡張を概略的に例示する。拡張を、例えば、プロセッサによって、対象となる特徴までの距離を示す周波数または相対的な周波数で点滅させることができる。例えば、点滅の比較的高い周波数は、比較的近い（または他の実施例では、さらに離れている）対象となる特徴を示し得る。
【0126】
拡張は、テキストラベルを含み得る。例えば、拡張が矢印を含む場合、テキストラベルは、矢印の長さに沿って、矢印とオーバーラップして、矢印に隣接するなどして提供され得る。図７ｆおよび図７ｇは、矢印の実施例を例示し、矢印上のテキストラベルが特徴までの距離を示す。拡張が他の形状を含む場合、同様にテキストラベルを提供することができる。テキストラベルは、特徴の説明、例えば「腎臓」を含み得る。
【0127】
プロセッサが、特徴までの方向および／または距離を示す拡張を除去するように構成される場合、プロセッサは、その特徴に関する記述ラベルなどのラベルを保持するように構成され得る。例えば、腎臓が画面外にある場合、腎臓までの距離および方向を示す表現に拡張を適用することができる。腎臓が画面上に現れると、拡張は、拡張の残りの部分が除去されているため、「腎臓」というラベルのみを含み得る。
【0128】
好適には、プロセッサは、表現の表示された部分に存在しない特徴に依存して拡張を決定するように構成される。例えば、拡張は、画面外の特徴に依存して決定される。
【0129】
いくつかの実施例では、プロセッサは、拡張データに依存して拡張を決定するように構成される。プロセッサは、拡張データを受信するように構成され得る。拡張データは、表現に関連付けられたデータを含み得る。表現に関連付けられたかかるデータは、表現と共に、または表現の一部として記憶され得る。かかるデータは、タグ付けされた（またはラベル付けされた）特徴を含み得る。かかるデータは、計画段階および／または１つ以上の以前の手技中に生成されたデータに基づき得るか、または当該データを含み得る。例えば、表現に関連付けられたデータは、実施されているか、または実施されるように計画された手技と同じか、もしくは同様のタイプのものである１つ以上の以前に実施された手技に依存して得られたデータを含み得る。いくつかの実施例では、表現に関連付けられたデータは、同じ外科医またはチームによって実施された１つ以上の以前に実施された手技に依存して得られたデータを含み得る。
【0130】
いくつかの実施例では、拡張データは、表現内にある特徴を示すデータを含む。例えば、拡張データは、特徴のラベル、ならびに／または血管および器官のうちの１つ以上のエッジに関連するデータを含み得る。
【0131】
いくつかの実施例では、表現内にある特徴を示すデータは、特徴グループのセットのうちの１つ以上の特徴グループを示す。特徴グループは、器官、全般的には、血管、外科的手技が実施される／実施された部位、対象となる部位、および実施される／実施されている手技に依存する部位または特徴のうちの１つ以上に関連し得る。特徴のこのグループ化により、表現の向き付けを、その手技／その時点での外科医に関連する特徴に基づけることを可能にする。このアプローチにより、より迅速な向き付けを決定することが可能になり、外科医がより迅速かつ効果的に手技を実施するのを補助する、すなわち、より良好なヒューマンマシンインタラクションを容易にする。
【0132】
いくつかの実施例では、受信した撮像デバイス信号および／または受信したさらなる撮像デバイス信号は、撮像デバイスに関連する運動学的データを含む。運動学的データは、運動学的コントローラ、例えば、コマンドプロセッサユニット５２０の運動学的コントローラからのものであってもよい。運動学的コントローラは、プロセッサ５２１の一部であってもよく、または別々に提供されてもよい。このように運動学的データを使用することにより、システム内の既存の情報の使用が可能になり、表現を拡張する目的で運動学的データを別々に計算する必要はない。これにより、例えば、スピード、処理能力、およびデータ帯域幅のうちの少なくとも１つに関してシステムの効率が増加し得る。運動学的データは外科用ロボットの移動を可能にするため、運動学的データは非常に正確である。したがって、この同じ運動学的データを使用することにより、外科的部位の表現の向きの迅速かつ正確な決定が可能になる。これにより、ヒューマンマシンインタラクションを改善し、システムのユーザ、例えば、外科医が、外科的手技中に自身を、迅速に向き付けることを可能にすることができる。これにより、外科医はより迅速かつ／またはより正確に手術することができる。これは、手技の短縮（これは、患者および病院にとって望ましい）などの外科的手技の改善を容易にする。
【0133】
プロセッサは、対象となる特徴の位置、例えば、解剖学的な特徴の位置を追跡するように構成され得る。プロセッサは、表現の表示された部分に対する位置を追跡するように構成され得る。プロセッサは、追跡された位置、ならびに撮像デバイスの向き、撮像デバイスの位置、撮像デバイスの視野、および表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、拡張された表現を更新するように構成され得る。いくつかの実施例では、位置は、撮像デバイスによって生成される画像フィードの画像処理によって追跡され得る。いくつかの実施例では、位置は、３Ｄモデル内の位置の３Ｄ座標を処理し、モデルが撮像デバイスに対してどのように移動するかを追跡することによって追跡され得る。これらおよび他のアプローチの組み合わせが可能である。
【0134】
１つ以上の手技からデータセットを構築し、かかるデータセットを使用して、向きの決定を改善することが可能である。いくつかの実施例では、プロセッサは、外科的部位の表現内にある特徴に依存して（例えば、撮像デバイスによって生成された画像フィード内の特徴に依存して）、向きを決定するように構成され得る。プロセッサは、表現内にある２つ以上の特徴に依存して向きを決定するように構成され得る。多くの異なる手技に関するデータセット（同じタイプの手技のものであってもよい）を構築することにより、非常に多くの参照特徴および参照特徴の組み合わせに基づいて、向きのより正確な決定が可能となる。外科的部位の表現内、例えば、画像フィード内の特徴（複数可）を、データセット内にある１つ以上の特徴と比較することができる。向きは、例えば、表現ならびに／または撮像デバイスの位置および向きの一方もしくは両方に依存して、予測または推定され得る。予測された向きを中心とした所望の範囲内の向きに対応するデータセットの要素を、画像フィード内の特徴（複数可）と比較するために選択することができる。画像フィード内の特徴（複数可）と最適にマッチするデータセットの要素を使用して、向きを決定することができる。例えば、向きは、最適なマッチングに関して以前に決定された向きであるように決定され得る。いくつかの実施例では、予測または推定された向きを撮像デバイスの運動学と組み合わせて、精度を増加させることができる。
【0135】
いくつかの実施例では、プロセッサは、撮像デバイスの位置および／または向きに依存して、表現内にある特徴を決定（または識別）するように構成され得る。例えば、プロセッサは、生成された画像フィード内に特徴が存在すると決定し得る。プロセッサは、撮像デバイスの位置および／または向きから、撮像デバイスによって撮像されている表現の部分を決定することができる。プロセッサは、例えば、解剖学的なモデルに依存して、その特徴が何であるかを決定することができ、それに応じて表現を拡張することができる。プロセッサは、１つ以上の以前の手技から得られたデータを含むデータセットに依存して、特徴が何であるかを決定し得る。データセットには、少なくとも１つの以前の手技による１つ以上の成果が含まれ得る。例えば、特徴が以前に識別されている場合、および／または少なくとも満足のいく成果が達成された場合、その識別をプロセッサによって使用して、現在の表現内にある特徴を識別することができる。このアプローチにより、以前に識別された特徴の使用が可能になり、これらの特徴が識別された手技の成果を考慮に入れることができる。より良好な成果は、より正確な特徴の識別と正に相関することが予想され得る。したがって、成果が、質的レベルなどの閾値レベルを上回る場合に識別される特徴に焦点を当てることは、後期の特徴識別、ひいては、拡張の精度を増加させることが予想され得る。
【0136】
少なくともいくつかの解剖学的な特徴は通常、外科的部位内で移動する。例えば、器官は、重力、患者の呼吸、外科医による移動などのうちの１つ以上によって移動し得る。したがって、その器官の外科的部位の位置は一定にとどまらない。位置は、予測可能な様式で変化し得る。例えば、器官（またはより全般的には、対象となる特徴）は、第１の時間で第１の位置にあってもよく、第２の時間で第２の位置にあってもよい。プロセッサは、好適には、現在の時間が第１の時間であるか第２の時間であるかを決定するように構成される。プロセッサは、現在の時間が第１の時間であるか第２の時間であるかの決定、および／または特徴の決定された位置に依存して、特徴を識別するように構成され得る。
【0137】
逆に、いくつかの実施例では、プロセッサは、表現内にある識別された特徴に依存して、位置および／または向きを決定するように構成される。例えば、器官などの特徴が重力の影響下で移動可能である場合、その特徴（例えば、器官）が特定の位置（例えば、重力が外科的部位に対して特定の方向に作用したときに特徴が通常移動される位置）にあるとプロセッサが決定した場合、向き（例えば、重力の方向）は、その位置に依存して決定され得る。
【0138】
ユーザは、器官などの特徴をタグ付けし、既知の方式で患者を移動させ、同じ特徴を再びタグ付けすることができる。これにより、特徴の弾性の表示を与えることができ、これは、その特徴の位置を、患者が他の移動を経験する場所で推定することを可能にし得る。
【0139】
上で考察されたように、特徴は、手技前、手技中、および／または手技後の様々な時点でタグ付けすることができる。特徴は、外科的部位に対して異なる位置でタグ付けすることができる。このように特徴をタグ付けすることは、かかるタグ付けに基づく後期の決定の精度を増加させるのに役立つ場合がある。このアプローチにより、所与の特徴が存在し得る、可能性の高い位置の範囲のデータセットを構築することができる。特徴が発見され得る位置は、実施されている手技、実施されている手技のステージ、手技の開始からの時間、行われている行為などのうちの１つ以上に依存し得る。特徴を複数回タグ付けすることにより、特徴の移動をより良好に特徴付けることができ、これは、これらの特徴付けに基づくより正確な決定をもたらし得る。このアプローチはまた、例えば、特徴のための可能性の高い位置の範囲を狭めるか、または所与の位置にある潜在的な特徴のリストを狭めることによって、予測器の効率を改善するのに役立ち得る。
【0140】
いくつかの実施例では、プロセッサは、表示された表現の視野を特徴に対して自動的にセンタリングするように構成される。特徴は、例えば、所与の手技または特定の手技の所与の部分に対して、事前に決定され得る。特徴は、選択可能、例えば、ユーザ選択可能であってもよい。自動センタリング（または再センタリング）機能の始動は、自動センタリング信号に依存し得る。自動センタリング信号は、コントローラによって、例えば、コントローラのインプットデバイスによって生成され得る。自動センタリング信号を受信することに応答して、プロセッサは、表示された表現を識別された特徴に対してセンタリングするために、表現の表示された部分を自動的に再センタリングするように構成され得る。プロセッサは、撮像デバイスを移動させることなく、表現の表示された部分を再センタリングするように構成され得る。言い換えれば、表示された表現の視野を特定の特徴に対してセンタリングするために、撮像デバイスを移動させる必要はない。例えば、プロセッサは、撮像デバイスを移動させる必要なしに、再ズームした表現が適切にセンタリングされ得るように、表示された表現のズームを変化させるように構成され得る。このアプローチは、撮像デバイスを移動させることによって再センタリングするよりも迅速な場合がある、特徴のデジタル方式の再センタリングを容易にする。さらに、これにより、再センタリングに続いて、元の視点に戻る際に導入される位置および／または向きのエラーを回避する方式で、元の視点に戻ることができる。
【0141】
かかる再センタリングが図８に例示される。図８ａは、ディスプレイ（または表現の表示された部分）８０２を示す。表現の表示された部分には、（この非常に単純化された概略的な実施例では）器官８０４および血管８０６などの特徴が含まれる。器官８０４と血管８０６との間の接合部は、表現８０２の表示された部分の右側に向かっている。この接合部は、対象となる特徴として指定され得、この接合部に関して再センタリング信号が生成され得る。応答して、プロセッサは、表現をズームして、ズームした表現をこの対象となる特徴に対してセンタリングすることができる。表現のズームした部分は、図８ａにおいて８０８の破線で示される。図８ｂは、この場合もまた器官８０４および血管８０６を含む、再センタリングされた表現を示すが、ここでは、器官８０４と血管８０６との間の接合部がディスプレイ８０２の中心に位置する。対象となる特徴のかかるセンタリングは、システムのユーザとシステム自体との間のより便利なインタラクションを可能にし得る。これは、対象となる特徴のセンタリングにより、その対象となる特徴を、表現の表示された部分において、よりはっきりと見ることができるためであり得る。
【0142】
表現を再センタリングするためのプロセスが図９に示される。表現の表示された部分がセンタリングされ得る対象となる特徴が識別される（９０１）。対象となる特徴の識別は、本明細書に記載のアプローチのうちの１つまたはそれらの組み合わせを使用して実施され得る。いくつかの実施例では、対象となる特徴は、手動で識別および／またはラベル付けされ得る。いくつかの実施例では、対象となる特徴は、自動的に識別および／またはラベル付けされ得る。自動センタリング信号が生成され得る（９０２）。自動センタリング信号の生成は、例えば、１つ以上の基準が満たされていることに応答して、自動であってもよい。自動センタリング信号の生成は、例えば、コントローラのインプットデバイスとインタラクションするユーザによって、手動であってもよい。したがって、自動センタリング機能の始動は、ユーザからのインプットに応答して、および／あるいは（例えば）手技の所定の部分に到達していること、または何らかの他の基準もしくは基準の組み合わせに応答して実施され得る。基準は、好適には、ユーザの好みおよび／または実施されている手技に依存する。例えば、基準は、ユーザプロファイルに依存し得る。したがって、システムは、外科医が、例えば、切開が実施されるか、またはステッチが挿入される場所などの対象となる特徴のより明確な視界を得ることが望ましい、手技中の規定の点に到達したときに、自動センタリング信号が生成され得るように、構成され得る。
【0143】
自動センタリング信号に応答して、プロセッサは、表示された表現のズームを変化させるように構成され得る（９０３）。ズームの変化は、識別された特徴に依存し得る。したがって、ズームは、ズームした表現の中で、識別された特徴をセンタリングすることを可能にする方式で変化させることができる。次いで、表現を、再センタリングすることができる（９０４）。好適には、表現は、識別された特徴に依存して再センタリングされる。再センタリングされた表現が表示され得る（９０５）。例えば、プロセッサは、表現を表示させるためのディスプレイ信号をアウトプットするように構成され得る。
【0144】
いくつかの実施例では、表現は、ディスプレイ上で再び向き付けされ得る。これの例示について、図８ｂと図８ｃとを比較することによって見ることができる。図８ｂは、器官８０４および血管８０６を示す。ディスプレイ８０２上に表示される器官８０４の右側のエッジは、ほぼ垂直である。血管８０６は、右へ上方に延在する。図８ｃも器官８０４および血管８０６を示すが、図８ｃでは、血管がほぼ水平に延在するように、表現の向きが変化している。図８ｃに表示される表現は、図８ｂに表示される表現に対して時計回りに回転している。ディスプレイ上の表現の向きのかかる変化は、血管８０６などの所与の特徴の一貫した向き付けを可能にするのに有用であり得る。これにより、いくつかの異なる手技にわたって所与の特徴の一貫した視界を、外科医などのユーザに提供することができ、これは、外科医によって実施される手技の同時再現性および／または精度を強化し得る。例えば、外科医がステッチを追加する場合、外科医は、水平の向きで、ステッチされている特徴を視認することを好む場合がある。
【0145】
表現を回転させることができる特定の向きは、ユーザインプット、ユーザプロファイル、事前に設定された向きなどに依存して選択され得る。ユーザプロファイルに依存して向きを選択することにより、各外科医は、その外科医に最適な向きで表現を視認することができる。
【0146】
表現の再向き付けは、撮像デバイスを回転させることによって、および／または例えば、プロセッサで、表現をデジタル方式で回転させることによって実施され得る。プロセッサでの表現の再向き付けは、撮像デバイスを移動させる必要がないという利点を有する。プロセッサでの表現の再向き付けでは、通常、外科医のコントローラの（仮に左方方向の）移動により、対応する外科用器具を正しい方向（外科的部位の表示された表現の再向き付けされた参照枠内で左方方向）に移動させるように、コントローラを外科用器具に再マッピングするのが適切であろう。コントローラの外科用器具への再マッピングは、表示された表現に依存して実施され得る。したがって、表現の再向き付けは、再マッピングにおいて考慮され得る。
【0147】
本明細書に記載の技術は、非外科用ロボットの目的のために使用され得る。例えば、それらは、ロボットシステム、またはより全般的には、ロボット手技などの手技に関連する追加情報を得ることが望ましいシステムで使用され得る。
【0148】
これにより、本出願人は、本明細書に記載の各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、かつ特許請求の範囲の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示す。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
外科的部位の少なくとも一部分の表現を拡張して、前記表現の向き付けを支援するための外科用ロボットシステムであって、前記システムが、
プロセッサであって、
外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信すること、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張すること、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信すること、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定すること、および
前記決定された変化に依存して、前記拡張された表現を更新すること、を行うように構成された、プロセッサと、
前記拡張された表現の少なくとも一部を表示するように構成された、ディスプレイと、を備える、外科用ロボットシステム。
［態様２］
前記受信した撮像デバイス信号および前記受信したさらなる撮像デバイス信号のうちの少なくとも１つが、前記撮像デバイスに関連する運動学的データを含む、態様１に記載の外科用ロボットシステム。
［態様３］
前記プロセッサが、前記外科的部位の前記表現内にある特徴に依存して前記拡張を決定するように構成されている、態様１または２に記載の外科用ロボットシステム。
［態様４］
前記プロセッサが、拡張データに依存して前記拡張を決定するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様５］
前記拡張データが、前記表現に関連付けられたデータを含む、態様４に記載の外科用ロボットシステム。
［態様６］
前記拡張データが、前記表現内にある特徴を示すデータを含む、態様４または５に記載の外科用ロボットシステム。
［態様７］
前記表現内にある特徴を示す前記データが、特徴グループのセットのうちの１つ以上の特徴グループを示す、態様６に記載の外科用ロボットシステム。
［態様８］
前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、態様４～７のいずれかに記載の外科用ロボットシステム。
［態様９］
前記システムが、コントローラであって、前記コントローラのユーザインプットに応答して前記拡張信号を生成するように構成されている、コントローラを備える、態様８に記載の外科用ロボットシステム。
［態様１０］
前記プロセッサが、前記表現の少なくとも一部分の画像処理に依存して前記拡張を決定するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１１］
前記プロセッサが、前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１２］
撮像デバイスをさらに備え、それによって、前記撮像デバイスが、前記外科的部位の少なくとも一部分を撮像し、前記撮像された部分の画像フィードを生成するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１３］
前記プロセッサが、前記生成された画像フィードの少なくとも一部分の画像処理に依存して前記拡張を決定するように構成されている、態様１２に記載の外科用ロボットシステム。
［態様１４］
前記表現が、前記外科的部位の少なくとも一部分の３Ｄモデルの３Ｄモデルデータおよび前記生成された画像フィードのうちの少なくとも１つに依存して得られる、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１５］
前記プロセッサが、前記３Ｄモデルデータおよび前記生成された画像フィードのうちの少なくとも１つを受信するように構成されている、態様１４に記載の外科用ロボットシステム。
［態様１６］
前記プロセッサに結合されたメモリをさらに備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも１つを記憶するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１７］
外科的部位の少なくとも一部分の表現を拡張して、前記表現の向き付けを支援するための方法であって、前記方法が、
外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信することと、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張することと、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信することと、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定することと、
前記決定された変化に依存して、前記拡張された表現を更新することと、
前記拡張された表現の少なくとも一部を表示することと、を含む、方法。
［態様１８］
前記外科的部位の前記表現内にある特徴に依存して前記拡張を決定することを含む、態様１７に記載の方法。
［態様１９］
前記表現の表示された部分に存在しない特徴に依存して前記拡張を決定することを含む、態様１７または１８に記載の方法。
［態様２０］
拡張データを受信し、前記受信した拡張データに依存して前記拡張を決定することを含む、態様１７～１９のいずれかに記載の方法。
［態様２１］
前記拡張データが、前記表現内にある特徴を示すデータを含む、態様２０に記載の方法。
［態様２２］
前記表現内にある特徴を示す前記データが、特徴グループのセットのうちの１つ以上の特徴グループを示す、態様２１に記載の方法。
［態様２３］
前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、態様２０～２２のいずれかに記載の方法。
［態様２４］
前記表現の少なくとも一部分の画像処理に依存して前記拡張を決定することを含む、態様１７～２３のいずれかに記載の方法。
［態様２５］
前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新することを含む、態様１７～２４のいずれかに記載の方法。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
外科的部位の少なくとも一部分の表現を拡張して、前記表現の向き付けを支援するための外科用ロボットシステムであって、前記システムが、
プロセッサであって、
外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信すること、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張すること、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信すること、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定すること、および
前記決定された変化に依存して、前記拡張された表現を更新すること、を行うように構成された、プロセッサと、
前記拡張された表現の少なくとも一部を表示するように構成された、ディスプレイと、を備える、外科用ロボットシステム。
［態様２］
前記受信した撮像デバイス信号および前記受信したさらなる撮像デバイス信号のうちの少なくとも１つが、前記撮像デバイスに関連する運動学的データを含む、態様１に記載の外科用ロボットシステム。
［態様３］
前記プロセッサが、前記外科的部位の前記表現内にある特徴に依存して前記拡張を決定するように構成されている、態様１または２に記載の外科用ロボットシステム。
［態様４］
前記プロセッサが、拡張データに依存して前記拡張を決定するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様５］
前記拡張データが、前記表現に関連付けられたデータを含む、態様４に記載の外科用ロボットシステム。
［態様６］
前記拡張データが、前記表現内にある特徴を示すデータを含む、態様４または５に記載の外科用ロボットシステム。
［態様７］
前記表現内にある特徴を示す前記データが、特徴グループのセットのうちの１つ以上の特徴グループを示す、態様６に記載の外科用ロボットシステム。
［態様８］
前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、態様４～７のいずれかに記載の外科用ロボットシステム。
［態様９］
前記システムが、コントローラであって、前記コントローラのユーザインプットに応答して前記拡張信号を生成するように構成されている、コントローラを備える、態様８に記載の外科用ロボットシステム。
［態様１０］
前記プロセッサが、前記表現の少なくとも一部分の画像処理に依存して前記拡張を決定するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１１］
前記プロセッサが、前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１２］
撮像デバイスをさらに備え、それによって、前記撮像デバイスが、前記外科的部位の少なくとも一部分を撮像し、前記撮像された部分の画像フィードを生成するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１３］
前記プロセッサが、前記生成された画像フィードの少なくとも一部分の画像処理に依存して前記拡張を決定するように構成されている、態様１２に記載の外科用ロボットシステム。
［態様１４］
前記表現が、前記外科的部位の少なくとも一部分の３Ｄモデルの３Ｄモデルデータおよび前記生成された画像フィードのうちの少なくとも１つに依存して得られる、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１５］
前記プロセッサが、前記３Ｄモデルデータおよび前記生成された画像フィードのうちの少なくとも１つを受信するように構成されている、態様１４に記載の外科用ロボットシステム。
［態様１６］
前記プロセッサに結合されたメモリをさらに備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも１つを記憶するように構成されている、先行する態様のいずれかに記載の外科用ロボットシステム。
［態様１７］
外科的部位の少なくとも一部分の表現を拡張して、前記表現の向き付けを支援するための方法であって、前記方法が、
外科的部位に対する撮像デバイスの位置および向きを示す撮像デバイス信号を受信することと、
前記受信した撮像デバイス信号に依存して前記外科的部位の少なくとも一部分の表現を拡張することであって、前記拡張が、前記外科的部位の前記表現の向きを示す、拡張することと、
前記撮像デバイスの更新された位置および／または向きを示すさらなる撮像デバイス信号を受信することと、
前記撮像デバイス信号および前記さらなる撮像デバイス信号に依存して前記撮像デバイスの前記位置および向きのうちの少なくとも１つの変化を決定することと、
前記決定された変化に依存して、前記拡張された表現を更新することと、
前記拡張された表現の少なくとも一部を表示することと、を含む、方法。
［態様１８］
前記外科的部位の前記表現内にある特徴に依存して前記拡張を決定することを含む、態様１７に記載の方法。
［態様１９］
前記表現の表示された部分に存在しない特徴に依存して前記拡張を決定することを含む、態様１７または１８に記載の方法。
［態様２０］
拡張データを受信し、前記受信した拡張データに依存して前記拡張を決定することを含む、態様１７～１９のいずれかに記載の方法。
［態様２１］
前記拡張データが、前記表現内にある特徴を示すデータを含む、態様２０に記載の方法。
［態様２２］
前記表現内にある特徴を示す前記データが、特徴グループのセットのうちの１つ以上の特徴グループを示す、態様２１に記載の方法。
［態様２３］
前記拡張データが、前記表現に関連するユーザインプットを示す拡張信号を含む、態様２０～２２のいずれかに記載の方法。
［態様２４］
前記表現の少なくとも一部分の画像処理に依存して前記拡張を決定することを含む、態様１７～２３のいずれかに記載の方法。
［態様２５］
前記表現内にある特徴の位置を追跡し、前記追跡された位置、ならびに前記撮像デバイスの向き、前記撮像デバイスの位置、前記撮像デバイスの視野、および前記表現の表示された部分の視野のうちの少なくとも１つの変化に依存して、前記拡張された表現を更新することを含む、態様１７～２４のいずれかに記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】