特許 7448551 コンピュータ支援手術システムのためのカメラ制御システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】コンピュータ支援手術システムのためのカメラ制御システム及び方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20240305BHJP

   A61B 90/96 20160101ALI20240305BHJP

【ＦＩ】

A61B34/35

A61B90/96

【請求項の数】 13

(21)【出願番号】P 2021544668

(86)(22)【出願日】2020-01-28

(65)【公表番号】

(43)【公表日】2022-03-24

(86)【国際出願番号】 US2020015396

(87)【国際公開番号】W WO2020159978

(87)【国際公開日】2020-08-06

【審査請求日】2023-01-24

(31)【優先権主張番号】62/799,729

(32)【優先日】2019-01-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】パヤヴラ，ゴヴィンダ

(72)【発明者】

【氏名】ジャーク，アンソニー エム．

【審査官】宮崎 敏長

(56)【参考文献】

【文献】国際公開第２０１７／１６９１３５（ＷＯ，Ａ１）

【文献】国際公開第２０１２／１００３４１（ＷＯ，Ａ１）

【文献】特開２０１２－２２３３６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／３０

Ａ６１Ｂ ３４／３５

Ａ６１Ｂ ９０／９０

Ａ６１Ｂ ９０／９６

Ｇ１６Ｈ ４０／６０

Ｇ１６Ｈ ４０／６７

(57)【特許請求の範囲】

【請求項1】

システムであって、当該システムは、
命令を格納するメモリと、
該メモリに通信可能に結合されるプロセッサと、を含み、
該プロセッサは、前記命令を実行して、
手術セッションに関する手術セッションデータにアクセスすることであって、前記手術セッションはコンピュータ支援手術システムによる１つ又は複数の動作の実行を含む、こと、
前記手術セッションデータに基づいて、前記手術セッションに関連するイベントを識別すること、
前記イベントに関連する位置を決定すること、及び
前記イベントの前記位置の前記決定に応答して、前記イベントに関連する前記位置の特定のビューを取り込むべくカメラのビューの自動調整を指示すること、
前記カメラの画像及び前記コンピュータ支援手術システムによって追跡される３次元（３Ｄ）位置データを共通の３Ｄ空間に位置合わせすること、を行うように構成される、 システム。

【請求項2】

前記イベントに関連する前記位置の前記決定は、
前記イベントの前記識別に応答して、前記コンピュータ支援手術システムの前記イベントに関連する構成要素を識別すること、及び
前記イベントに関連する前記構成要素の位置を決定すること、を含む、請求項１に記載のシステム。

【請求項3】

前記イベントに関連する前記構成要素の前記位置の前記決定は、
前記イベントに関連する前記構成要素の位置を表す運動学的データ、
前記イベントに関連する前記構成要素に設けられるマーカ、及び
前記イベントに関連する前記構成要素から発せられる信号、のうちの１つ又は複数に基づく、請求項２に記載のシステム。

【請求項4】

前記カメラの前記ビューの前記自動調整の前記指示は、前記イベントに関連する前記位置の前記特定のビューを取り込むべく、前記カメラの向き及び前記カメラの位置のうちの少なくとも１つの調整を指示することを含む、請求項１乃至３のいずれか一項に記載のシステム。

【請求項5】

前記カメラは、前記コンピュータ支援手術システムの構成要素に結合される、請求項１乃至４のいずれか一項に記載のシステム。

【請求項6】

前記手術セッションデータは、
前記手術セッション中に前記コンピュータ支援手術システムによって実行される前記１つ又は複数の動作を表すデータ、
前記コンピュータ支援手術システムの構成要素の位置、姿勢、及び向きのうちの少なくとも１つを表す運動学的データ、
前記コンピュータ支援手術システムのマニピュレータアームに結合した前記カメラ及び撮像装置のうちの少なくとも１つによって取り込まれた１つ又は複数の画像、及び
前記手術セッション中に前記コンピュータ支援手術システムと通信可能にペアにされたユーザ装置を介して前記手術セッション中に受信したユーザ入力に基づいて生成されたデータ、のうちの１つ又は複数を含む、請求項１乃至５のいずれか一項に記載のシステム。

【請求項7】

前記ユーザ入力は、前記手術セッション中に前記コンピュータ支援手術システム又は手術チームのメンバーによって実行されるタスクを指定する、請求項６に記載のシステム。

【請求項8】

前記プロセッサは、前記命令を実行して、
前記手術セッションに先行する１つ又は複数の追加の手術セッション中に生成された履歴的な手術セッションデータ、及び
前記コンピュータ支援手術システム以外の１つ又は複数のコンピュータ支援手術システムによって実行された動作に基づいて生成されたグローバルな手術セッションデータの少なくとも１つにアクセスすること、
前記履歴的な手術セッションデータ及び前記グローバルな手術セッションデータの少なくとも１つを、少なくとも１つの物理的コンピューティング装置によって実行される機械学習モデルに適用すること、を行うようにさらに構成され、
前記機械学習モデルは、前記履歴的な手術セッションデータ及び前記グローバルな手術セッションデータのうちの前記少なくとも１つを使用して、手術システム動作のパターンを複数のイベントと関連付ける、請求項１乃至７のいずれか一項に記載のシステム。

【請求項9】

方法であって、当該方法は、
カメラ制御システムが、手術セッションに関する手術セッションデータにアクセスするステップであって、前記手術セッションはコンピュータ支援手術システムによる１つ又は複数の動作の実行を含む、ステップと、
前記カメラ制御システムが、前記手術セッションデータに基づいて、前記手術セッションに関連するイベントを識別するステップと、
前記カメラ制御システムが、前記イベントに関連する位置を決定するステップと、
前記カメラ制御システムが、前記イベントの前記位置の前記決定に応答して、前記イベントに関連する前記位置の特定のビューを取り込むべくカメラのビューの自動調整を指示するステップと、
前記カメラ制御システムが、前記カメラの画像及び前記コンピュータ支援手術システムによって追跡される３次元（３Ｄ）位置データを共通の３Ｄ空間に位置合わせするステップと、を含む、
方法。

【請求項10】

前記イベントに関連する前記位置を前記決定するステップは、
前記イベントの前記識別に応答して、前記コンピュータ支援手術システムの前記イベントに関連する構成要素を識別するステップと、
前記イベントに関連する前記構成要素の位置を決定するステップと、を含む、請求項９に記載の方法。

【請求項11】

前記イベントに関連する前記構成要素の前記位置を前記決定するステップは、
前記イベントに関連する前記構成要素の位置を表す運動学的データ、
前記イベントに関連する前記構成要素に設けられるマーカ、及び
前記イベントに関連する前記構成要素から発せられる信号、のうちの１つ又は複数に基づく、請求項１０に記載の方法。

【請求項12】

前記カメラの前記ビューの前記自動調整を前記指示するステップは、前記イベントに関連する前記位置の前記特定のビューを取り込むべく、前記カメラの向き及び前記カメラの位置の少なくとも１つの調整を指示するステップを含む、請求項９乃至１１のいずれか一項に記載の方法。

【請求項13】

システムであって、当該システムは、
命令を格納するメモリと、
該メモリに通信可能に結合されるプロセッサと、を含み、
該プロセッサは、前記命令を実行して、
手術セッション中に、コンピュータ支援手術システムと通信可能にペアにされたユーザ装置から、前記手術セッションのワークフロー・セグメンテーションを示すユーザ入力を受信すること、
前記ユーザ入力に少なくとも部分的に基づいて、前記手術セッションに関連するイベントを識別すること、
前記識別したイベントに関連する位置を決定すること、
前記イベントの前記位置の前記決定に応答して、前記イベントに関連する前記位置の特定のビューを取り込むべくカメラのビューの自動調整を指示すること、及び
前記カメラの画像及び前記コンピュータ支援手術システムによって追跡される３次元（３Ｄ）位置データを共通の３Ｄ空間に位置合わせすること、行うように構成される、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、２０１９年１月３１日に出願された、“CAMERA CONTROL SYSTEMS AND METHODS FOR A COMPUTER-ASSISTED SURGICAL
SYSTEM”という表題の米国仮特許出願第６２／７９９，７２９号に対する優先権を主張するものであり、この文献の内容はその全体が参照とにより本明細書に組み込まれる。

【0002】

本願は、コンピュータ支援手術システムのためのカメラ制御システム及び方法に関する。

【背景技術】

【0003】

コンピュータ支援手術システムを使用する低侵襲性外科的処置等のコンピュータ支援外科的処置中に、カメラは、例えば、患者の外部のコンピュータ支援手術システムのシーンの画像を取り込むことができる。コンピュータ支援手術システムは、取り込んだ画像を医療関係者（例えば、外科医及び／又は手術チームの他のメンバー）に表示して、コンピュータ支援手術システムの視覚化を提供することができる。視覚化された画像は、医療関係者が外科的処置を行うのを支援する。しかしながら、ユーザは、典型的に、目的のビューを取り込むべくカメラを手動で位置付け及び移動する必要があり、これには時間がかかり、外科的処置の流れが中断される。その結果、外科的処置中にカメラを十分に活用できない場合がある。

【発明の概要】

【0004】

例示的なシステムは、命令を格納するメモリと、メモリに通信可能に結合されるプロセッサとを含み得、プロセッサは、命令を実行して、手術セッションに関する手術セッションデータにアクセスすることであって、手術セッションは、コンピュータ支援手術システムによる１つ又は複数の動作の実行を含む、アクセスすること；手術セッションデータに基づいて、手術セッションに関連するイベントを識別すること；手術セッションデータに基づいて、イベントに関連する位置を決定すること；及び、イベント位置の決定に応答して、イベントに関連する位置の特定のビューを取り込むべくカメラのビューの自動調整を指示すること；を行うように構成される。

【0005】

例示的な方法は、カメラ制御システムが、手術セッションに関する手術セッションデータにアクセスするステップであって、手術セッションは、コンピュータ支援手術システムによる１つ又は複数の動作の実行を含む、アクセスするステップと；カメラ制御システムが、手術セッションデータに基づいて、手術セッションに関連するイベントを識別するステップと；カメラ制御システムが、手術セッションデータに基づいて、イベントに関連する位置を決定するステップと；カメラ制御システムが、イベント位置の決定に応答して、イベントに関連する位置の特定のビューを取り込むべくカメラのビューの自動調整を指示するステップと；を含み得る。

【0006】

例示的なシステムは、命令を格納するメモリと、メモリに通信可能に結合されるプロセッサとを含み、プロセッサは、命令を実行して、手術セッション中に、コンピュータ支援手術システムと通信可能にペアにされたユーザ装置から、手術セッションのワークフロー・セグメンテーションを示すユーザ入力を受信すること；ユーザ入力に少なくとも部分的に基づいて、手術セッションに関連するイベントを識別すること；手術セッションに関する手術セッションデータに基づいて、識別したイベントに関連する位置を決定すること；及び、イベント位置の決定に応答して、イベントに関連する位置の特定のビューを取り込むべくカメラのビューの自動調整を指示すること；を行うように構成される。

【図面の簡単な説明】

【0007】

添付の図面は、様々な実施形態を示しており、本明細書の一部である。図示の実施形態は単なる例であり、本開示の範囲を限定するものではない。図面全体を通して、同一又は類似の参照符号は、同一又は類似の要素を示す。

【図1】本明細書に記載の原理による例示的なコンピュータ支援手術システムを示す図である。

【図2】本明細書に記載の原理による別の例示的なコンピュータ支援手術システムを示す図である。

【図3】本明細書に記載の原理による例示的なカメラ制御システムを示す図である。

【図4】本明細書に記載の原理による、図３に示されるカメラ制御システムの例示的な実施態様を示す図である。

【図5】本明細書に記載の原理による、図３に示されるカメラ制御システムの別の例示的な実施態様を示す図である。

【図6】本明細書に記載の原理による、手術セッションデータ及び／又は追加のデータに基づいてイベントを識別できる例示的な方法を示す図である。

【図7】本明細書に記載の原理による、手術セッションデータ及び／又は追加のデータに基づいてイベントを識別できる例示的な方法を示す図である。

【図8】本明細書に記載の原理による、手術セッションデータ及び／又は追加のデータに基づいてイベントを識別できる例示的な方法を示す図である。

【図9】本明細書に記載の原理による例示的なイベント位置の表を示す図である。

【図10】本明細書に記載の原理による例示的なイベント位置の表を示す図である。

【図11】本明細書に記載の原理による例示的なカメラ制御方法を示す図である。

【図12】本明細書に記載の原理による例示的なコンピューティングシステムを示す図である。

【発明を実施するための形態】

【0008】

コンピュータ支援手術システムのためのカメラ制御システム及び方法が、本明細書に記載される。以下でより詳細に説明するように、例示的なカメラ制御システムは、手術セッションに関する手術セッションデータにアクセスすることができ、手術セッションは、コンピュータ支援手術システムによる１つ又は複数の動作の実行を含む。カメラ制御システムは、手術セッションデータに基づいて、手術セッションに関連するイベントを識別することができ、且つ手術セッションデータに基づいて、イベントに関連する位置を決定することができる。イベントの位置の決定に応答して、カメラ制御システムは、イベントに関連する位置の特定のビューを取り込むべくカメラのビューの自動調整を指示することができる。いくつかの例では、カメラによって取り込まれた画像は、コンピュータ支援手術システムに関連する表示装置によって表示され得る。

【0009】

例示すると、コンピュータ支援手術システムを備えた手術施設で行われる低侵襲性外科的処置中に、カメラ制御システムは、手術器具が取り付けられる第１のマニピュレータアームが第２のマニピュレータアームと衝突しており、こうして、第１のマニピュレータアームに結合した手術器具のチップ（tip）の動きを妨げることを検出することができる。結果として、カメラ制御システムは、衝突イベント位置が第１のマニピュレータアームの位置であると決定し、第１のマニピュレータアームの特定のビューを取り込むべく、手術施設内に位置付けされたカメラの自動調整を指示することができる。カメラからのビデオは、外科医が使用するユーザ制御システムに関連する表示装置によって表示することができる。こうして、外科医は、手術器具のチップが動かない理由を迅速に理解し、ユーザ制御システムでの自分の位置を（全く）離れることなく、是正措置を迅速に特定することができる。

【0010】

本明細書に記載のカメラ制御システム及び方法によって、様々な利点が提供され得る。例えば、本明細書に記載のシステム及び方法は、手術セッションの検出したコンテキスト（context：状況）に基づいて、画像を取り込むべく、手術施設内に位置付けされたカメラの調整を自動的に指示することができる。カメラの自動調整は、カメラを手動で調整することによって引き起こされる中断を排除することにより、手術セッションの効率を高めることができる。さらに、本明細書に記載のシステム及び方法は、外科的処置中にリアルタイムで関連するコンテキスト情報を手術チームのメンバーに提供することができ、これは、手術チームのメンバー間のより効果的且つ効率的な協力及び調整をもたらし、手術チームのメンバーが問題を迅速且つ効率的にトラブルシューティングするのを可能にし得る。さらに、システム及び方法は、手術セッション中に発生し得るイベントを予測し、そのようなイベントに関連する前後関係の（contextual）視覚的コンテンツの提示を指示し、こうして、手術チームのメンバーが、そのようなイベントが発生する前にそのようなイベントの準備及び／又は解決するのを可能にする。

【0011】

多数の技術的コンピューティングの利点もまた、本明細書に記載のシステム及び方法によって実現され得る。例えば、本明細書に記載のシステム及び方法は、システム及び方法が様々なコンピューティングプラットフォームによってタイムリーな（例えば、リアルタイムの）情報を様々なユーザに提供するのを可能にする方法で、異なるコンピューティングシステムからデータにアクセスし、データを変換、及び処理するように構成され得る。この目的のために、本明細書に記載のシステム及び方法は、１つ又は複数の特別な目的のコンピューティング装置をシームレスに統合して、（例えば、運動学データ、画像データ、センサデータ、及び／又は手術器具データを１つ又は複数の機械学習モデルに適用することにより）様々なタイプのデータを処理し、手術セッション中に発生する又は発生する可能性のあるイベントを識別する、及び／又はイベントに関連するコンテキスト情報を特定することができる。さらに、本明細書に記載のシステム及び方法は、現在の手術セッションに先行する手術セッション中に生成された履歴的な手術セッションデータを利用して、他の以前の手術セッションを参照して手術セッションのコンテキストを決定することができる。このようにして、本明細書に記載のシステム及び方法は、人間だけでは実行できない動作を実行することができる。さらに、本明細書に記載のシステム及び方法は、コンピュータ支援手術システムの効率、精度、及び有効性を高めることによって、コンピュータ支援手術システムの動作を改善することができる。

【0012】

ここで、図を参照して、様々な実施形態についてより詳細に説明する。本明細書に記載のシステム及び方法は、上述した１つ又は複数の利点、及び／又は本明細書で明らかにされる様々な追加及び／又は代替の利点を提供することができる。

【0013】

いくつかの実施態様では、カメラ制御システムは、コンピュータ支援手術システムの一部として、又はそれと組み合わせて動作することができる。そういうものとして、ここで、例示的なコンピュータ支援手術システムについて説明する。説明する例示的なコンピュータ支援手術システムは例示的なものであり、限定するものではない。カメラ制御システムは、本明細書に記載のコンピュータ支援手術システムの一部として、又はそれと組み合わせて、及び／又は他の適切なコンピュータ支援手術システムと組み合わせて動作することができる。

【0014】

図１は、例示的なコンピュータ支援手術システム１００（手術システム１００）を示している。示されるように、手術システム１００は、互いに通信可能に結合される操作システム１０２、ユーザ制御システム１０４、補助システム１０６、及び補助カメラシステム１０８を含み得る。いくつかの例では、本明細書に記載のカメラ制御システムは、これらの構成要素のうちの１つ又は複数によって実装され得る。

【0015】

手術システム１００は、手術台（手術テーブル）１１２上に位置付けされた患者１１０に対してコンピュータ支援外科的処置を行うために手術チームによって利用され得る。示されるように、手術チームは、外科医１１４－１、看護師１１４－２、助手１１４－３、及び麻酔科医１１４－４を含み得、これらは全て、まとめて「手術チームのメンバー１１４」と呼ばれ得る。特定の実施態様に役立ち得るように、追加又は代替の手術チームのメンバーが手術セッション中に存在してもよい。手術システム１００及び手術チームのメンバー１１４は、手術施設１１６に位置する。本明細書で使用する場合に、「手術施設」は、手術システム１００及び手術チームのメンバー１１４がコンピュータ支援外科的処置を行うときにそれらが位置する任意の領域を含み得る。例えば、手術施設は、手術室、訓練施設、部屋内の特定の領域等を含み得る。いくつかの例では、外科医１１４－１は、外科的処置中に操作システム１０２、補助システム１０６、及び／又は他の手術チームのメンバー１１４が位置する部屋又は位置とは別の部屋又は位置に位置付けされ得る。これらの例では、手術施設は、いずれか又は両方の位置を含み得る。

【0016】

図１は、手術施設１１６で進行中の低侵襲性外科的処置を示しているが、手術システム１００は、同様に、観血（open）外科的処置又は他のタイプの外科的処置を行うために使用することができ、これらの処置は、同様に、手術システム１００の精度及び利便性から利益を得ることができる。図１に示されるように、手術システム１００が使用され得る手術セッションは、外科的処置の手術段階を含むだけではなく、外科的処置の術前、術後、及び／又は他の適切な段階も含み得ることを理解されたい。外科的処置は、患者に対して手動及び／又は器具による技法を使用して、患者の体調を調査、診断、又は治療するための任意の処置を含み得る。さらに、外科的処置は、較正手順、訓練手順、及び実験又は研究手順等、生きている患者に対して行われない任意の手順を含み得る。

【0017】

図１に示されるように、操作システム１０２は、複数の手術器具（図示せず）が結合され得る複数のマニピュレータアーム１１８（例えば、マニピュレータアーム１１８－１～１１８－４）を含み得る。各手術器具は、コンピュータ支援外科的処置に使用され得る（例えば、患者１１０内に少なくとも部分的に挿入され、患者１１０に対してコンピュータ支援外科的処置を行うように操作されることによる）任意の適切な手術ツール（例えば、組織相互作用機能を有するツール）、医療ツール、監視ツール（例えば、内視鏡）、感知器具（例えば、力感知手術器具）、診断器具等によって実装され得る。操作システム１０２は、本明細書では４つのマニピュレータアーム１１８を含むものとして描写及び説明しているが、操作システム１０２は、特定の実施態様に役立ち得る単一のマニピュレータアーム１１８のみ又は他の任意の数のマニピュレータアームを含み得ることが認識されよう。

【0018】

マニピュレータアーム１１８に結合した手術器具はそれぞれ、患者に関連する手術領域に位置付けされ得る。「外科的領域」は、特定の例では、患者内に完全に配置され得、外科的処置を行う予定である、行っている、又は行われた患者内又はその近くの領域を含み得る。例えば、患者の内部の組織に対して行われる低侵襲性外科的処置の場合に、手術領域は、組織、組織の下にある解剖学的構造、並びに例えば、外科的処置を行うために使用されている手術器具が位置する組織の周りの空間を含み得る。他の例では、手術領域は、患者に対して外科的処置を行う予定であるか、行われているか、又は行われた患者の外部に又はその近くに少なくとも部分的に配置され得る。例えば、手術システム１００は、手術領域の一部（例えば、手術されている組織）が患者の内部にある一方で、手術領域の別の部分（例えば、１つ又は複数の手術器具が配置され得る組織の周りの空間）が患者の外部にあるように、観血外科的処置を行うために使用され得る。手術器具の少なくとも一部（例えば、手術器具の先端部分）が手術領域内に位置している場合に、手術器具は、手術領域に又は手術領域内に位置付け又は位置していると呼ばれ得る。

【0019】

ユーザ制御システム１０４は、マニピュレータアーム１１８及びマニピュレータアーム１１８に結合した手術器具の外科医１１４－１による制御を容易にするように構成され得る。例えば、外科医１１４－１は、ユーザ制御システム１０４と相互作用して、マニピュレータアーム１１８及び手術器具を遠隔移動又は操作することができる。この目的のために、ユーザ制御システム１０４は、撮像装置（例えば、内視鏡）によって取り込まれた、患者１１０に関連する手術領域の画像（例えば、高解像度立体画像）を外科医１１４－１に提供することができる。特定の例では、ユーザ制御システム１０４は、患者１１０に関連付けられ、立体撮像システムによって生成された手術領域の立体画像を外科医１１４－１が見ることができる２つのディスプレイを有する立体視ビューアを含み得る。外科医１１４－１は、画像を利用して、マニピュレータアーム１１８に結合した１つ又は複数の手術器具を用いて１つ又は複数の処置を行うことができる。

【0020】

手術器具の制御を容易にするために、ユーザ制御システム１０４は、一組のマスターコントロール（図示せず）を含み得る。これらのマスターコントロールは、外科医１１４－１によって操作されて、（例えば、ロボット及び／又は遠隔操作技術を利用することによって）手術器具の動きを制御することができる。マスターコントロールは、外科医１１４－１による多種多様な手、手首、及び指の動きを検出するように構成することができる。このようにして、外科医１１４－１は、１つ又は複数の手術器具を使用して外科的処置を直感的に行うことができる。

【0021】

ユーザ制御システム１０４は、外科医１１４－１による手術システム１００の他の構成要素の制御を容易にするようにさらに構成され得る。例えば、外科医１１４－１は、ユーザ制御システム１０４と相互作用して、手術システム１００の構成又は動作モードを変更し、手術システム１００の表示モードを変更し、マニピュレータアーム１１８に取り付けられた手術器具を制御するために使用される追加の制御信号を生成し、ある手術器具から別の手術器具への制御の切替えを容易にし、又は他の任意の適切な動作を実行することができる。この目的のために、ユーザ制御システム１０４は、外科医１１４－１からの入力を受け取るように構成された１つ又は複数の入力装置（例えば、フットペダル、ボタン、スイッチ等）も含み得る。

【0022】

補助システム１０６は、手術システム１００の一次処理操作を実行するように構成された１つ又は複数のコンピューティング装置を含み得る。補助システム１０６に含まれる１つ又は複数のコンピューティング装置は、手術システム１００の様々な他の構成要素（例えば、操作システム１０２、マニピュレータアーム１１８に取り付けられた手術器具、及び／又はユーザ制御システム１０４）によって実行される動作を制御及び／又は調整することができる。例えば、ユーザ制御システム１０４に含まれるコンピューティング装置は、補助システム１０６に含まれる１つ又は複数のコンピューティング装置によって命令を操作システム１０２に送信することができる。別の例として、補助システム１０６は、操作システム１０２から、マニピュレータアーム１１８のうちの１つに取り付けられた撮像装置によって取り込まれた画像を表す画像データを受信し、処理することができる。

【0023】

いくつかの例では、補助システム１０６は、ユーザ制御システム１０４で外科医１１４－１に提供される画像にアクセスできない可能性がある手術チームのメンバー１１４に視覚的コンテンツを提示するように構成され得る。この目的のために、補助システム１０６は、特定の実施態様に役立ち得る手術領域の画像（例えば、２Ｄ画像）、患者１１０及び／又は外科的処置に関連する情報、及び／又は任意の他の視覚的コンテンツ等を１つ又は複数のユーザインターフェイスに表示するように構成された表示モニタ１２０を含み得る。例えば、表示モニタ１２０は、画像と同時に表示される追加のコンテンツ（例えば、グラフィックコンテンツ、コンテキスト情報等）とともに、手術領域の画像を表示することができる。いくつかの実施形態では、表示モニタ１２０は、手術チームのメンバー１１４が（例えば、タッチジェスチャによって）相互作用して、手術システム１００にユーザ入力を提供することができるタッチスクリーンディスプレイによって実装される。

【0024】

補助カメラシステム１０８は、手術システム１００の１つ又は複数の表示装置上で、外科的処置の検出したコンテキストに基づいて視覚的コンテンツを取り込み及び提供するように構成され得る。図１に示されるように、補助カメラシステム１０８は、カメラ操作システム１２４に結合した補助カメラ１２２（カメラ１２２）を含み得る。カメラ１２２は、任意の適切なカメラによって実装され得る。いくつかの例では、カメラ１２２は、立体画像を提供するように構成された複数の撮像装置によって実装され得る。補助カメラシステム１０８が、本明細書で１つのカメラ１２２を含むものとして描写及び説明しているが、補助カメラシステム１０８は、特定の実施態様に役立ち得るように、複数のカメラ１２２を含み得ることが認識されよう。例えば、ユーザ制御システム１０４及び外科医１１４－１が、手術システム１００の他の構成要素から離れて位置している場合に、ユーザ制御システム１０４及び外科医１１４－１の画像を取り込み及び提供するために、追加のカメラを位置付けしてもよい。

【0025】

カメラ１２２によって取り込まれた画像（例えば、１つ又は複数の静止画像又はビデオ画像）は、手術システム１００に関連する任意の適切な表示装置に送信及び／又は表示され得る。例えば、カメラ１２２によって取り込まれた画像は、表示モニタ１２０、ユーザ制御システム１０４の立体視ビューア、手術セッション中に手術システム１００と通信可能にペアにされたモバイル装置（例えば、助手１１４－３によって使用されるモバイル装置）、及び／又は遠隔コンピューティング装置に関連付けられる表示装置に送信され、及び／又はそれらによって表示され得る。手術システム１００が手術システム１００を使用する外科医を訓練するため等にデュアルユーザ制御システム１０４を含むいくつかの例では、カメラ１２２によって取り込まれた画像は、第２のユーザ制御システム１０４に関連する表示装置によって別のユーザ（例えば、手術セッションを監視し、及び／又は外科医を訓練する遠隔監督者）が見るために表示される。追加的又は代替的に、カメラ１２２によって取り込まれた画像を表す画像データは、遠隔コンピューティング装置によってストリーミング及び／又は記録され得、それにより、後で（例えば、手術セッション後に）画像の再生を可能にする。

【0026】

カメラ操作システム１２４は、手術施設１１６内の特定のビュー１２６を取り込むべく、カメラ１２２の位置及び／又は向きを自動的に調整するように構成され得る。本明細書で使用する場合に、手術施設１１６内のカメラ１２２の「位置」は、三次元（３Ｄ）空間内のカメラ１２２の特定の位置を指し、カメラ１２２の「向き」は、３Ｄ空間内の任意の方向であり得るカメラ１２２の撮像方向（例えば、ビュー１２６）を指し得る。

【0027】

カメラ操作システム１２４は、カメラ１２２の位置及び／又は向きを調整するように構成された任意の適切な機構によって実装され得る。例えば、図１に示されるように、カメラ操作システム１２４は、カメラピボット１３０によってカメラ１２２が結合されるカメラマニピュレータアーム１２８を含み得る。カメラマニピュレータアーム１２８は、カメラマニピュレータアーム１２８の動きによってカメラ１２２の位置及び／又は向きを調整するように構成され得る。カメラピボット１３０は、カメラ１２２の向きを調整するように構成され得る。例えば、カメラピボット１３０は、（カメラ１２２の撮像方向から見て）左から右にパン等することによって、水平面内でカメラ１２２を回転させることができる。追加的又は代替的に、カメラピボット１３０は、カメラ１２２の撮像方向を上下に（すなわち、水平面に対してある角度で）調整等することによって、垂直面内でカメラ１２２を上下に傾けることができる。カメラ操作システム１２４は、特定の実施態様に役立ち得るように、追加の又は代替の構成要素を含み得る。例えば、カメラ操作システム１２４は、様々なギア、モータ、アーム、ピボット、ジョイント、ベアリング、及びカメラ１２２の位置及び／又は向きの調整を容易にし得る他の任意の電気的及び／又は機械的構成要素を含み得る。

【0028】

補助カメラシステム１０８のカメラ操作システム１２４は、任意の適切な方法でカメラ１２２の位置及び／又は向きを調整するように構成され得る。いくつかの例では、カメラ操作システム１２４の位置及び／又は向きは、ユーザがカメラ１２２を所望の位置に押すか移動するか、又はカメラ操作システム１２４の１つ又は複数の電子制御を操作等することによって、手動で調整することができる。追加的又は代替的に、カメラ１２２の位置及び／又は向きは、以下でより詳細に説明するように、手術セッションのコンテキスト（状況）に基づいて（例えば、手術セッションに関連するイベントに基づいて）自動的に（例えば、ユーザ入力なしで）調整され得る。

【0029】

図１に示されるように、補助カメラシステム１０８（例えば、カメラ操作システム１２４）は、操作システム１０２に結合される。代替例では、補助カメラシステム１０８は、ユーザ制御システム１０４、補助システム１０６、又はカート１３２（例えば、器具カート１３２－２）等の特定の実施態様に適した、手術システム１００の他の任意の構成要素に結合され得る。追加の例では、補助カメラシステム１０８は、操作システム１０２、ユーザ制御システム１０４、及び補助システム１０６から分離され得る。例えば、カメラ操作システム１２４は、手術室の壁に取り付けられ得る。あるいはまた、補助カメラシステム１０８は、図２に示されるように、手術施設１１６内のスタンドアロンシステムであり得る。

【0030】

図２は、補助カメラシステム１０８が可動式カメラカート２０２を含むことを除いて、図１と同じである。カメラ操作システム１２４はカメラカート２０２で支持され、それにより手術チームのメンバー１１４がカメラカート２０２を動かすことによって手術施設１１６内の所望の位置にカメラ１２２を容易に位置付けするのを可能にする。さらに、手術チームのメンバー１１４は、外科的処置中に必要に応じてカメラカート２０２を動かすことができる。

【0031】

再び図１を参照すると、手術システム１００は、手術システム１００の特定の構成要素及び／又は外科的処置中に使用される供給品を保持するための１つ又は複数の可動式カート１３２を含み得る。例えば、補助システム１０６に含まれる１つ又は複数のコンピューティング装置は、補助カート１３２－１内に収容され得る。さらに、マニピュレータアーム１１８に結合されていない手術器具は、手術器具をマニピュレータアーム１１８に結合するとき、及び／又は外科的処置中に手術器具を交換するときに、（例えば、助手１１４－３によって）容易にアクセスできるように器具カート１３２－２に収納することができる。供給カート１３２－３は、例えば、麻酔科医１１４－４によって、外科的処置中に患者１１０に投与され得る薬物及び／又は他の薬剤（例えば、蛍光造影剤）を保管するために使用され得る。

【0032】

手術システム１００の様々な構成要素は、生の（すなわち、補正していない）運動学情報を生成するために使用される１つ又は複数の変位トランスデューサ、向きセンサ、及び／又は位置センサ（以下、「手術システムセンサ」）を含み得る。例えば、ユーザ制御システム１０４、補助システム１０６、補助カメラシステム１０８、手術台１１２、マニピュレータアーム１１８、マニピュレータアーム１１８に取り付けられた手術器具、及びカート１３２は、１つ又は複数の手術システムセンサを含み得る。手術システム１００（例えば、補助システム１０６）は、運動学情報を使用して、手術システム１００の様々な構成要素を追跡（例えば、位置を決定）及び／又は制御するように構成され得る。

【0033】

手術システム１００の構成要素は、任意の適切な方法で互いに通信可能に結合され得る。例えば、図１に示されるように、操作システム１０２、ユーザ制御システム１０４、補助システム１０６、補助カメラシステム１０８、及びカート１１８は、特定の実施態様に役立ち得る任意の有線又は無線通信リンクを表し得る制御線１３４を介して通信可能に結合され得る。この目的のために、操作システム１０２、ユーザ制御システム１０４、補助システム１０６、補助カメラシステム１０８、及びカート１３２はそれぞれ、１つ又は複数のローカルエリアネットワークインターフェイス、Ｗｉ－Ｆｉネットワークインターフェイス、セルラーインターフェイス等の１つ又は複数の有線又は無線通信インターフェイスを含み得る。

【0034】

前述したように、カメラ１２２の位置及び／又は向きは、手術施設１１６内の特定のビュー（例えば、ビュー１２６）を取り込むべく、手術セッションのコンテキスト（状況）に基づいて自動的に調整され得る。図３は、コンピュータ支援手術システムに関連するイベントに関連する前後関係の視覚的コンテンツを提供するために、コンピュータ支援手術セッションに関連するカメラシステム（例えば、補助カメラシステム１０８、マニピュレータアーム１１８に結合した内視鏡、コンピュータ支援手術システムに関連する複数のカメラ等）の特定の動作を自動的に制御するように構成された例示的なカメラ制御システム３００を示す。示されるように、カメラ制御システム３００は、限定されないが、互いに選択的且つ通信可能に結合した記憶装置（storage facility）３０２及び処理装置（processing
facility）３０４を含み得る。装置３０２及び３０４はそれぞれ、ハードウェア及び／又はソフトウェアコンポーネント（例えば、プロセッサ、メモリ、通信インターフェイス、プロセッサによって実行するためにメモリに格納された命令等）を含むか、又はそれらによって実装され得る。いくつかの例では、装置３０２及び３０４は、特定の実施態様に役立ち得るように、複数の装置及び／又は複数の位置に分散され得る。

【0035】

記憶装置３０２は、本明細書に記載の動作のいずれかを実行するために処理装置３０４によって使用される実行可能データを維持（例えば、格納）することができる。例えば、記憶装置３０２は、本明細書に記載の動作のいずれかを実行するために処理装置３０４によって実行され得る命令３０６を記憶し得る。命令３０６は、任意の適切なアプリケーション、ソフトウェア、コード、及び／又は他の実行可能なデータインスタンスによって実装され得る。

【0036】

記憶装置３０２は、処理装置３０４によって受信、生成、管理、使用、及び／又は送信された任意のデータを維持することもできる。例えば、以下でより詳細に説明するように、記憶装置３０２は、手術セッションデータ、ユーザプロファイルデータ、ユーザ入力データ等を維持することができる。

【0037】

処理装置３０４は、手術セッションに関連するイベントに関連する位置の特定のビューを取り込むべく、カメラのビューを自動的に調整することに関連する様々な処理操作を実行する（例えば、その処理操作を実行するために記憶装置３０２に格納された命令３０６を実行する）ように構成され得る。例えば、処理装置３０４は、手術セッションに関する手術セッションデータにアクセスすることができる。手術セッションは、コンピュータ支援手術システム（例えば、手術システム１００）による１つ又は複数の動作の実行を含み得る。処理装置３０４は、手術セッションデータに基づいて、発生したイベント又は発生する可能性のあるイベント等の手術セッションに関連するイベントを識別し得る。手術セッションデータに基づいて、処理装置３０４は、イベントに関連する位置を決定することができ、イベント位置の決定に応答して、イベントに関連付けられた位置の特定のビューを取り込むべく、カメラ（例えば、カメラ１２２）のビューの自動調整を指示することができる。処理装置３０４によって実行され得るこれら及び他の操作は、本明細書においてより詳細に説明する。

【0038】

いくつかの例では、カメラ制御システム３００は、コンピュータ支援手術システム自体によって完全に実装される。例えば、カメラ制御システム３００は、手術システム１００に含まれる１つ又は複数のコンピューティング装置によって（例えば、操作システム１０２、ユーザ制御システム１０４、補助システム１０６、及び／又は補助カメラシステム１０８に含まれる１つ又は複数のコンピューティング装置において）実装され得る。

【0039】

図４は、カメラ制御システム３００の別の例示的な実施態様４００を示している。実施態様４００では、遠隔コンピューティングシステム４０２は、ネットワーク４０４を介して手術システム１００に通信可能に結合され得る。遠隔コンピューティングシステム４０２は、本明細書に記載される動作のいずれかを実行するように構成される１つ又は複数のコンピューティング装置（例えば、サーバ）を含み得る。いくつかの例では、カメラ制御システム３００は、遠隔コンピューティングシステム４０２によって完全に実装され得る。あるいはまた、カメラ制御システム３００は、遠隔コンピューティングシステム４０２と手術システム１００との両方によって実装され得る。

【0040】

ネットワーク４０４は、ローカルエリアネットワーク、ワイヤレスネットワーク（例えば、Ｗｉ－Ｆｉ）、ワイドエリアネットワーク、インターネット、セルラーデータネットワーク、及び／又は任意の他の適切なネットワークであってもよい。データは、特定の実施態様に役立ち得るように、任意の通信技術、装置、メディア、及びプロトコルを使用して、ネットワーク４０４に接続された構成要素同士の間を流れることができる。

【0041】

図５は、カメラ制御システム３００の別の例示的な実施態様５００を示している。図５は、ユーザ装置５０２が、手術システム１００と通信可能にペアにされ、ネットワーク４０４に接続され得ることを除いて、図４と同様である。示されるように、ユーザ装置５０２は、ネットワーク４０４を介して遠隔コンピューティングシステム４０２及び／又は手術システム１００と通信し得る。追加的又は代替的に、ユーザ装置５０２は、直接接続５０４（例えば、直接有線接続及び／又はブルートゥース（登録商標）接続、近距離通信接続等の直接無線接続）を介して手術システム１００と通信することができる。いくつかの例では、カメラ制御システム３００は、遠隔コンピューティングシステム４０２、手術システム１００、及び／又はユーザ装置５０２によって実装され得る。

【0042】

ユーザ装置５０２は、ユーザ入力を送受信し、及び／又は視覚的コンテンツを提示するように構成された任意の適切なコンピューティング装置であり得る。例えば、ユーザ装置５０２は、モバイル装置（例えば、携帯電話、ハンドヘルド装置、タブレットコンピューティング装置、ラップトップコンピュータ、パーソナルコンピュータ等）、ウェアラブル装置（例えば、スマートウォッチ装置、アクティビティ追跡機、ヘッドマウント表示装置、仮想又は拡張現実装置等）、及び／又は表示装置（例えば、テレビ、プロジェクタ、モニタ、タッチスクリーン表示装置等であり得るが、これらに限定されない。

【0043】

示されるように、ユーザ５０６（例えば、手術チームのメンバー１１４）は、ユーザ装置５０２を使用するか、又はそれ以外の場合にアクセスすることができる。いくつかの例では、ユーザ５０６は、ユーザ装置５０２を使用する及び／又はこれと相互作用するために、ユーザ装置５０２に又はユーザ装置５０２によって実行されるアプリケーションにログインしなければならない場合がある。いくつかの例では、ユーザ装置５０２によって実行されるアプリケーションは、手術セッションのワークフロー・セグメンテーションに関するユーザ入力を提供し、カメラ（例えば、カメラ１２２）によって取り込まれた画像を表示するために、ユーザ５０６によって使用され得る。例えば、ユーザ５０６は、特定の実施態様に適するように、ユーザ５０６又は別の手術チームのメンバーによって完了されるタスク（例えば、手術チームのメンバー又はコンピュータ支援手術システムによって実行される１つ又は複数の動作）、外科的処置の段階、患者の状態、手術システムの構成要素の故障、手術チームの人員の変更、及び任意の他の情報に関する入力を提供し得る。以下でより詳細に説明するように、そのようなユーザ入力は、カメラ制御システム３００によって利用されて、手術セッション中に発生する、又は発生する可能性がある手術セッションイベントをより正確に識別することができる。

【0044】

図５は、手術システム１００と通信可能にペアにされ、ネットワーク４０４に接続された１つのユーザ装置５０２のみを示しているが、任意の数のユーザ装置５０２が、手術システム１００とペアにされ、及び／又はネットワーク４０４に接続され得る。例えば、各手術チームのメンバー１１４は、手術セッション中に、手術セッションのワークフローに関する入力を提供するため、及びカメラ（例えば、カメラ１２２）によって取り込んだ画像を表示するためにユーザ装置５０２を利用し得る。

【0045】

ここで、カメラ制御システム３００によって（例えば、カメラ制御システム３００の処理装置３０４によって）実行され得る様々な動作、及びこれらの動作の例を説明する。本明細書で説明する動作及び例は、カメラ制御システム３００によって実行され得る多くの異なるタイプの動作の単なる例示であることが認識されよう。

【0046】

カメラ制御システム３００は、手術セッションイベントに関連する位置の特定のビューを取り込むべくカメラのビュー（例えば、カメラ１２２のビュー１２６）の自動調整を指示することができる。この目的のために、カメラ制御システム３００は、手術セッションに関する手術セッションデータにアクセスし、手術セッションデータに基づいて、手術セッションに関連するイベントを識別することができる。ここで、これらの動作の様々な例を示す。

【0047】

いくつかの例では、カメラ制御システム３００によってアクセスされる手術セッションデータは、手術セッション中に生成され得、手術セッション中にコンピュータ支援手術システム（例えば、手術システム１００）によって実行される１つ又は複数の動作に基づくことができる。コンピュータ支援手術システムによって実行される動作は、特定の実施態様に役立ち得る任意の機械的、電気的、ハードウェア、及び／又はソフトウェアベースの動作を含み得る。手術セッションデータは、特定の実施態様に役立ち得るコンピュータ支援手術システムによって（例えば、手術システム１００内の１つ又は複数の構成要素によって）、手術セッション中にコンピュータ支援手術システムに結合した１つ又は複数の構成要素（例えば、マニピュレータアーム１１８に結合した１つ又は複数の手術器具）によって、手術セッション中にコンピュータ支援手術システムと通信可能にペアにされたユーザ装置（例えば、ユーザ装置５０２）によって、及び／又はコンピュータ支援手術システムに関連する他の任意の装置によって生成され得る。カメラ制御システム３００が遠隔コンピューティングシステム４０２によって完全に実施されるシナリオでは、手術セッションデータは、追加的又は代替的に、遠隔コンピューティングシステム４０２によって生成され得、一方、例えば、遠隔コンピューティングシステム４０２は、手術システム１００によって実行される動作を追跡する。

【0048】

手術セッション中に生成された手術セッションデータは、様々なタイプのデータを含み得る。例えば、手術セッション中に生成される手術セッションデータは、特定の実施態様に役立ち得る運動学的データ、画像データ、センサデータ、手術器具データ、及び／又は他の任意のタイプのデータを含み得る。

【0049】

運動学的データは、コンピュータ支援手術システム内の構成要素及び／又はコンピュータ支援手術システムに結合した構成要素の位置、姿勢、及び／又は向きを表すことができる。例えば、運動学的データは、マニピュレータアーム１１８及び／又はマニピュレータアーム１１８に結合した手術器具の位置、姿勢、及び／又は向きを表すことができる。別の例として、運動学的データは、操作システム１０２、ユーザ制御システム１０４、補助カメラシステム１０８、手術台１１２、及び／又はカート１３２の位置を表すことができる。

【0050】

画像データは、コンピュータ支援手術システムに結合した撮像装置によって取り込まれた１つ又は複数の画像を表すことができる。例えば、画像データは、マニピュレータアーム１１８に結合した撮像装置（例えば、立体内視鏡）によって取り込まれた１つ又は複数の画像を表すことができる。１つ又は複数の画像は、撮像装置によって取り込まれた１つ又は複数の静止画像及び／又はビデオを構成し得る。いくつかの例では、カメラ制御システム３００は、撮像装置によって出力された画像を（例えば、ネットワークを介して）受信することによって画像データにアクセスすることができる。追加の又は代替の例では、画像データは、カメラ１２２等の、患者の外部にある撮像装置によって生成された画像データを含み得る。

【0051】

センサデータは、コンピュータ支援手術システムに含まれるか、又はそのシステムに関連する手術システムセンサによって生成された任意のデータを含み得る。センサデータは、特定の実施態様に役立ち得る、検出した任意のパラメータを表すことができる。例えば、センサデータは、手術台１１２が動いているかどうか、又は外科医１１４－１がユーザ制御システム１０４と能動的に相互作用しているかどうかを示し得る。

【0052】

手術器具データは、手術器具によって生成された任意のデータを含むことができ、手術器具の識別（ＩＤ）、手術器具の動作状態（例えば、開、閉、充電、アイドル等）、手術器具の故障コード等を表すことができる。

【0053】

いくつかの例では、カメラ制御システム３００は、追加的又は代替的に、例えば、現在の手術セッションに先行する１つ又は複数の他の手術セッション中に、コンピュータ支援手術システムによって生成された手術セッションデータにアクセスすることができる。例えば、カメラ制御システム３００は、コンピュータ支援手術システムを使用して第１の患者に対して第１の外科的処置を行う第１の手術セッション中に、手術セッションデータを生成することができる。カメラ制御システム３００はまた、コンピュータ支援手術システムを使用してその患者又は別の患者に対して第２の外科的処置を行う第２の手術セッション中に、追加の手術セッションデータを生成し得る。第２の手術セッション中に、カメラ制御システム３００は、手術セッションデータと追加の手術セッションデータとの両方にアクセスすることができる。現在の手術セッションの前に生成された手術セッションデータは、本明細書では「履歴的な手術セッションデータ」と呼ばれ得る。以下に説明するように、履歴的な手術セッションデータによって、カメラ制御システム３００が、第２の手術セッション中に発生し得るイベントをより効果的に識別及び／又は予測するのを可能にし得る。

【0054】

カメラ制御システム３００は、特定の手術セッション中に使用されているコンピュータ支援手術システム以外の１つ又は複数のコンピュータ支援手術システムによって実行される動作に基づいて、手術セッションデータに追加的又は代替的にアクセスすることができる。例えば、カメラ制御システム３００は、特定の医療センター、病院のネットワーク、及び／又は他の任意のグループ内にある複数の別個のコンピュータ支援手術セッション中に生成された手術セッションデータにアクセスすることができる。このタイプの手術セッションデータは、本明細書では「グローバルな手術セッションデータ」と呼ばれ、以下に説明するように、カメラ制御システム３００が、グループに含まれる特定のコンピュータ支援手術システムを使用して外科的処置を行う特定の手術セッション中に発生し得るイベントをより効果的に識別及び／又は予測するのを可能にし得る。

【0055】

いくつかの例では、カメラ制御システム３００は、ユーザが、コンピュータ支援手術セッション、及び／又はカメラ制御システム３００が手術セッションデータにアクセスし得るコンピュータ支援手術システムの特定のグループを規定するのを可能にするように構成されたユーザインターフェイスを提供することができる。

【0056】

カメラ制御システム３００は、手術セッションに関する手術セッションデータ、履歴的な手術セッションデータ、及び／又はグローバルな手術セッションデータに基づいて、コンピュータ支援手術セッションに関連するイベント（手術セッションイベント）を識別することができる。手術セッションイベントは、手術セッション中にコンピュータ支援手術システムに関して発生する、又は発生し得る任意の別個の動作又は行動を含み得る。手術セッションイベントは、外科的処置の術前段階、手術段階、及び／又は術後段階中に発生し得る。

【0057】

例えば、手術セッションイベントは、様々な術前段階の作業に関連する任意の動作又は行動を含み得る。例示的な術前段階の作業には、患者の受入れ（例えば、患者の医療施設への入院、患者の関連文書の受取り等）、手術室の準備、手術器具の滅菌、コンピュータ支援手術システム及び装備のテスト、コンピュータ支援手術システムのドレープ掛け（すなわち、マニピュレータアーム１１８等のコンピュータ支援手術システムの１つ又は複数の構成要素を滅菌又は保護カバーで覆う）、外科的処置のための患者の準備（例えば、患者のバイタルサインのチェック、点滴液の供給、患者への麻酔の投与、患者の手術室への搬送）、及び患者に対するコンピュータ支援手術システムの標的化（例えば、患者のベッドサイドでの操作システム１０２の位置付け及び１つ又は複数のマニピュレータアーム１１８の位置付け又は構成）を行うことが含まれ得るが、これらに限定されない。

【0058】

手術セッションイベントは、追加的又は代替的に、様々な手術段階の作業に関連する任意の動作又は行動を含み得る。例示的な手術段階の作業には、（例えば、患者の外部の組織を切開することによる）患者に関連する手術領域を開けること、手術器具を患者に挿入すること、（例えば、組織の切断、組織の修復、組織の縫合、組織の焼灼等によって）患者の組織に対して外科手術を行うこと、及び患者に関連する手術領域を閉じること（例えば、患者からの手術器具の取り外し、切開点の縫合閉鎖、任意の創傷の手当）が含まれ得るが、これらに限定されない。

【0059】

手術セッションイベントは、追加的又は代替的に、様々な術後段階の作業に関連する任意の動作又は行動を含み得る。例示的な術後段階の作業には、コンピュータ支援手術システムを患者から取り除くこと（例えば、操作システム１０２を患者のベッドサイドから取り除くこと）、患者のケア及び回復作業（例えば、患者を手術室から移動させること、患者が外科的処置から回復する間の患者の監視等）、手術室の清掃、コンピュータ支援手術システム及び／又は手術器具の清掃、手術チームのメンバーによる報告文書の受取り、及び患者の退院作業を含み得るが、これらに限定されない。

【0060】

カメラ制御システム３００は、任意の適切な方法で、手術セッションデータに基づいて手術セッションイベントを識別することができる。図６は、カメラ制御システム３００が手術セッションデータに基づいて手術セッションイベントを識別し得る例示的な方法を示している。示されるように、カメラ制御システム３００は、イベント検出ヒューリスティック（heuristic）６０４への入力として手術セッションデータ６０２を適用することができる。イベント検出ヒューリスティック６０４は、手術セッションデータ６０２を解析し、様々なインスタンスのイベントデータ６０６（例えば、イベントデータ６０６－１～イベントデータ６０６－Ｎ）を出力することができる。イベントデータ６０６の各インスタンスは、イベント検出ヒューリスティック６０４によって識別される特定の手術セッションイベントを表すことができる。

【0061】

イベント検出ヒューリスティック６０４は、カメラ制御システム３００によって実施又は実行され得、且つ手術セッションデータ６０２に基づいてイベントを識別するように構成され得る任意の適切なヒューリスティック、プロセス、及び／又は動作を含み得る。例示すると、ヒューリスティック６０４は、特定の手術セッションイベントの発生を示す、手術セッションデータ内のインジケータ及び／又はパターンを検出することができる。

【0062】

例えば、手術セッションの特定の部分の間に生成された運動学的データは、手術器具の縫合パターンでの動きを示し得る。さらに、手術器具のデータは、手術セッションの同じ部分の間に使用される手術器具が針ドライバーであることを示し得る。この運動学的データ及び手術器具データに基づいて、カメラ制御システム３００は、縫合イベントが発生しているか、又は発生したと判定することができる。

【0063】

別の例として、内視鏡によって生成された画像を表す画像データは、特定の手術器具が所定の期間に亘って内視鏡の視野から外れたままであることを示し得る。そのような画像データは、アイドル状態イベント（例えば、手術器具がアイドル状態にあること）を示し得る。

【0064】

いくつかの例では、手術セッションデータ６０２は、上記のように、履歴的な手術セッションデータを含み得る。これらの例では、イベント検出ヒューリスティック６０４によって出力されたイベントデータインスタンス６０６のうちの１つは、カメラ制御システム３００が履歴的な手術セッションデータに基づいて発生すると予測する手術セッションイベントを表すことができる。例えば、履歴的な手術セッションデータは、コンピュータ支援手術システムを用いて同じタイプの外科的処置を行う複数の手術セッション中に生成された手術セッションデータを含み得る。この履歴的な手術セッションデータに基づいて、イベント検出ヒューリスティック６０４は、特定の第１のイベントの発生に続いて特定の第２のイベントが発生することを予測し得る。

【0065】

いくつかの例では、手術セッションデータ６０２は、上記のように、グローバルな手術セッションデータを含み得る。これらの例では、イベント検出ヒューリスティック６０４によって出力された外科的イベントデータインスタンス６０６のうちの１つは、グローバルな手術セッションデータに基づいて発生すると決定された手術セッションイベントを表すことができる。例えば、グローバルな手術セッションデータによって、特定の手術ツールの特定の運動学的データの値が、手術ツールが患者の組織から所定の距離内に位置していることを示し得ることが示され得る。手術セッション中に使用されている手術ツールの実際の運動学的データがこの値以下である場合に、イベント検出ヒューリスティック６０４は、手術ツールが実際に患者の組織から所定の距離内に位置することを示す手術セッションイベントを検出し得る。

【0066】

イベント検出ヒューリスティック６０４は、特定の実施態様に役立ち得るように、追加の又は代替のタイプの入力を受け取ることができる。例えば、図７は、図６と同様であるが、図７は、イベント検出ヒューリスティック６０４が、ユーザプロファイルデータ７０２（例えば、手術セッションに関与する１人又は複数の手術チームのメンバーのユーザプロファイルを表すデータ）を追加の入力として受け入れることができることを示す。この構成では、イベント検出ヒューリスティック６０４は、手術セッションデータ６０２とユーザプロファイルデータ７０２との両方に基づいて手術セッションイベントを検出することができる。

【0067】

例示すると、ユーザプロファイルデータ７０２は、手術セッションに関与する外科医（例えば、外科医１１４－１）のユーザプロファイルを表すデータを含み得る。外科医のユーザプロファイルは、手術セッションデータと組み合わされて、外科医が外科医に固有の特定の順序で様々な操作を行うことを示し得る。従って、イベント検出ヒューリスティック６０４は、特定の手術セッションイベントが特定の順序に従って発生していることを検出することができる。

【0068】

図８は、追加又は代替のタイプの入力を受け取る別の例を示している。図８は、図６と同様であるが、図８は、イベント検出ヒューリスティック６０４が、ユーザ入力データ８０２を追加の入力として受け入れることができることを示している。ユーザ入力データ８０２は、コンピュータ支援手術システムに含まれるコンピューティング装置を介して（例えば、ユーザ制御システム１０４又は補助システム１０６を介して）、又はコンピュータ支援手術システムと通信可能にペアにされた（例えば、ユーザ装置５０２）を介して、ユーザによって入力された情報を表すことができる。この構成では、イベント検出ヒューリスティック６０４は、手術セッションデータ６０２とユーザ入力データ８０２との両方に基づいて手術セッションイベントを検出することができる。ユーザ入力データ８０２は、例えば、手術チームのメンバーに関連するユーザ装置によって実行されるアプリケーションによって入力される情報を含み得る。

【0069】

例示すると、ユーザ５０６（例えば、麻酔科医１１４－４）は、ユーザ装置５０２によって現在実行されているアプリケーションを介して、患者１１０が完全に鎮静されていることを示す情報を入力することができる。この情報は、手術セッションデータと組み合わされて、手術セッションの術前段階が終了したことを示し得る。従って、イベント検出ヒューリスティック６０４は、患者１１０の切開部位を開ける等、特定の手術セッションイベントが発生する可能性が高いことを検出することができる。こうして、カメラ制御システム３００は、器具カート１３２－２等、次のイベントに関連する位置の特定のビューを取り込むべく、カメラ１２２の自動調整を指示することができる。

【0070】

いくつかの例では、イベント検出ヒューリスティック６０４は、機械学習モデルを実装することができる。機械学習モデルは、履歴的な手術セッションデータ、グローバルな手術セッションデータ、ユーザプロファイルデータ、ユーザ入力データ、又はそれらの任意の組合せ又はサブ組合せを使用して、手術システム動作の１つ又は複数の固有のパターンを識別し、手術セッションイベントを手術システム動作の検出したパターンと関連付けることができる。カメラ制御システム３００がより多くのデータを収集するにつれて、イベント検出ヒューリスティック６０４によって出力されたイベントデータ６０６は、必要に応じて更新又は修正され得る。

【0071】

カメラ制御システム３００が手術セッションイベントを識別するときに、カメラ制御システム３００は、手術施設内の、識別した手術セッションイベントに関連する位置（イベント位置）を決定することができる。次に、カメラ制御システム３００は、コンピュータ支援手術システムに関連するカメラシステム（例えば、補助カメラシステム１０８）による自動調整を指示して、カメラのビュー（例えば、カメラ１２２のビュー１２６）を自動的に調整し、イベント位置の特定のビューを取り込むことができる。

【0072】

カメラ制御システム３００は、任意の適切な方法でイベント位置を決定することができる。いくつかの例では、カメラ制御システム３００は、識別した手術セッションイベントに関連する構成要素（イベント構成要素）の位置を決定することによって、イベント位置を決定することができる。この目的のために、特定の実施態様では、カメラ制御システム３００は、イベント位置の表にアクセスして、識別した手術セッションイベントに関連する構成要素を識別（特定）することができる。例示すると、図９は、カメラ制御システム３００によって維持又は他にアクセスされ得る例示的なイベント位置の表９００を示している。列９０２に示されるように、表９００は、手術セッション中に発生し得る様々な手術セッションイベント（例えば、マニピュレータアーム衝突イベント、器具交換イベント、ベッドの動きイベント、マニピュレータアームのエラーイベント、マスターコントローラ衝突イベント、及びマニピュレータアームの信号なしイベント）を表す複数のエントリを含み得る。列９０４に示されるように、表９００は、各手術セッションイベントに関連する構成要素（例えば、特定のマニピュレータアーム、手術台、ユーザ制御システム、及び補助カート）もリスト化し得る。

【0073】

イベント構成要素が識別されると、カメラ制御システム３００は、任意の適切な方法でイベント構成要素の位置（構成要素の位置）を決定することができる。いくつかの例では、カメラ制御システム３００は、手術セッション中に生成された手術セッションデータに基づいて構成要素の位置を決定することができる。例えば、カメラ制御システム３００は、イベント構成要素の手術セッション中に生成された運動学的データに基づいて、構成要素の位置を決定するように構成され得る。追加的又は代替的に、イベント位置の表は、イベント位置の表にリストされた各構成要素の現在の位置を表す構成要素の位置データをリスト化することができる。構成要素の位置データは、手術セッションの開始時に入力され、手術セッション中に生成された手術セッションデータ（例えば、運動学的データ）に基づいて、手術セッション全体を通して更新され得る。

【0074】

運動学的データにアクセスすることに加えて、又はその代わりに、カメラ制御システム３００は、構成要素の追跡に基づいて構成要素の位置を決定することができる。いくつかの例では、カメラ制御システム３００は、マーカベースのコンピュータビジョン追跡を利用することができる。この目的のために、固有のマーカ（例えば、バーコード、色、パターン、形状等）が、コンピュータ支援手術システムの様々な構成要素（例えば、マニピュレータアーム１１８、手術器具、カート１３２等）に統合されるか、又は他に取り付けられ得、及びイベント位置の表は、各構成要素に関連する一意のマーカを表すマーカデータをリスト化することができる。カメラ制御システム３００は、イベント位置の表にアクセスして、イベント構成要素に関連する特定のマーカデータインスタンスを識別することができる。次に、識別したマーカデータインスタンスに基づいて、カメラ制御システム３００は、カメラシステムによって取り込んだ画像において、イベント構成要素に関連するマーカを検出することによって、構成要素の位置を決定することができる。

【0075】

追加又は代替の例では、カメラ制御システム３００は、信号ベースの追跡を利用して、構成要素の位置を決定することができる。この目的のために、エミッタ（emitter）は、コンピュータ支援手術システムの様々な構成要素（例えば、マニピュレータアーム１１８、手術器具、カート１３２等）に統合されるか、又は他に取り付けられ得、及びカメラシステムは、構成要素から発せられる信号を検出するように構成されたセンサを含み得る。エミッタは、赤外線（ＩＲ）信号等の任意の適切な信号を放出するように構成され得る。各エミッタは、例えば、固有の波長、固有の点滅パターン、固有の周波数等に基づいて固有の信号を放出するように構成され得る。イベント位置の表は、各構成要素に関連する固有の信号を表す信号データをリスト化し得る。カメラ制御システム３００は、イベント位置の表にアクセスして、イベント構成要素に関連する特定の信号データインスタンスを識別することができる。次に、カメラ制御システム３００は、イベント構成要素にその特定の信号を発するように指示することができる。あるいはまた、構成要素は、関連する信号を定期的に放出することができる。次に、カメラ制御システム３００は、イベント構成要素に関連する識別した信号データインスタンスと一致する構成要素の位置を放出した信号のソース（供給源）として識別し得る。

【0076】

カメラ制御システム３００がイベント位置を決定すると、カメラ制御システム３００は、イベント位置の特定のビューを取り込むべく、カメラのビューの自動調整を指示することができる。いくつかの例では、カメラ制御システム３００は、カメラが結合されるカメラ操作システムに、カメラの位置及び／又は向きを調整して、イベント位置の特定のビューを取り込ませることができる。カメラシステムがスタンドアロンコンピューティング装置によって実装される代替の例では、カメラ制御システム３００は、イベント位置を表すデータと、カメラの位置及び／又は向きを調整するコマンドをカメラシステムに送信して、イベント位置の特定のビューを取り込むことができる。

【0077】

カメラ制御システムがマーカベースの追跡又は信号ベースの追跡に基づいてイベント位置を決定するいくつかの例では、カメラ制御システム３００は、カメラを、イベント位置に関連するマーカ又は放出された信号に向ける調整を指示することができる。

【0078】

追加又は代替の例では、カメラの位置及び／又は向きの調整の量及び向きは、カメラとイベント位置との間の空間的関係に基づいて決定され得る。カメラシステムが手術システムの構成要素に直接物理的に結合される（例えば、取り付けられる）いくつかの例では、カメラとイベント位置との間の空間的関係は、手術セッションデータ（例えば、運動学的データ、センサデータ等）に基づいて決定され得る。従って、カメラの視野の調整は、手術セッションデータに基づくことができる。例えば、カメラ制御システム３００は、カメラシステムに関連する運動学的データ及びセンサデータに基づいて、イベント位置に対するカメラの位置及び向きを決定することができる。カメラの決定した位置及び向きに基づいて、カメラ制御システム３００は、イベント位置の特定のビューを取り込むべくカメラの自動調整を指示することができる。

【0079】

カメラシステムが手術システムの構成要素に物理的に結合されない他の例では、カメラとイベント位置との間の空間的関係は、手術セッションデータのみから容易に利用可能又は決定できない場合がある。そのような例では、イベント位置の特定のビューを取り込むべくカメラのビューの自動調整を容易にするために、カメラシステムのカメラによって取り込まれた画像及びコンピュータ支援手術システムによって追跡される３Ｄ位置データを共通の３Ｄ空間に位置合わせすることができる。追加的又は代替的に、カメラシステム（例えば、カメラ１２２及び／又はカメラ操作システム１２４）を共通の３Ｄ空間に位置合わせすることができる。上記のように、コンピュータ支援手術システムは、手術システムセンサから生成された運動学的情報を使用して、３Ｄ空間内の手術システムの様々な構成要素を追跡する（例えば、位置を決定する）ことができる。カメラによって取り込まれた画像をコンピュータ支援手術システムによって使用されるのと同じ３Ｄ空間に位置合わせすることは、カメラ制御システム３００が、カメラシステムを含むコンピュータ支援手術システムに関連する運動学的情報を使用して、カメラとイベント位置との間の空間的関係を決定することを可能にし得る。そのような空間的関係情報をカメラ制御システム３００によって利用して、イベント位置のビューを取り込むためのカメラの位置及び／又は向きの調整の方向及び量を決定することができる。追跡ベースの技術を使用して構成要素の位置（こうしてイベント位置）を決定する場合でも、位置合せにより、手術セッションデータに基づいてカメラの位置及び／又は向きを推定できるようになり、それによって構成要素の位置の追跡器ベースの決定が高速化される。

【0080】

カメラ制御システム３００は、位置合せプロセスを１回（例えば、較正、セットアップ手順、又は他の初期位置合せの一部として）実行するように、及び／又は初期位置合せ後に定期的又は継続的に実行して、初期位置合せ（例えば、物理的位置の変化を説明するため（どの位置に様々な運動学的エラーがある可能性があるか））を微調整し（refine）、及び／又は手術システム構成要素の位置調整を説明する（account
for：解る）ことができる。位置合せは、視覚ベースの位置合せ、モデルベースの位置合せ、及びマーカベースの位置合せを含むがこれらに限定されない、任意の適切な位置合せ技術によって実行することができる。

【0081】

例示すると、カメラによって取り込まれた画像は、位置合せプロセスのために使用され得る。例えば、カメラ制御システム３００は、カメラによって取り込まれた画像に基づいて、及び訓練したニューラルネットワークを使用して、コンピュータ支援手術システムに含まれる構成要素の位置を決定することができる。特定の例では、これは、訓練したニューラルネットワークを使用して画像に描かれた関心のある対象物を識別し、関心のある対象物を任意の適切な方法（例えば、対象物認識）で手術システムの構成要素に関連付け、そして、オブジェクトの位置（例えば、画像ベースの位置）を決定するカメラ制御システム３００を含み得る。

【0082】

次に、カメラ制御システム３００は、手術システム構成要素のモデルを対象物の決定した位置（例えば、画像内の対象物の位置）にフィッティングさせるために最適化を実行することができる。床に位置付けされたカート１３２等の構成要素の場合に、カメラ制御システム３００は、構成要素が配置された床の平面上での回転及び並進である解のみを検索するように最適化を制約するように構成され得る。この制約付き最適化は、６つの自由度全てで実行される従来の最適化よりも高速及び／又は正確な結果を提供することができる。

【0083】

位置合せプロセスをカメラ制御システム３００によって使用して、コンピュータ支援手術システムの構成要素に物理的に結合されていないカメラを接続する運動学的チェーンにおける欠落したリンクを決定することができる。カメラ制御システム３００は、欠落しているリンクを、カメラと手術システムの構成要素との間の推定された空間的関係を規定する変換として表すことができる。変換は、データポイントをカメラの基準フレームからコンピュータ支援手術システムの基準フレームに変換するために（例えば、座標点をカメラの座標系からコンピュータ支援手術システムの座標系に変換するために）適用され得る回転及び並進、及びその逆を規定し得る。

【0084】

カメラ制御システム３００は、欠落したリンクを使用して、カメラ及び手術システムを接続する運動学的チェーンを完成させ、それによって完全な運動学的チェーンが既知となり、カメラ制御システム３００にアクセス可能になり得る。次に、カメラ制御システム３００は、カメラシステムの運動学を使用して、カメラの位置を追跡し、イベント位置のビューを取り込むべくカメラの適切な位置及び／又は向きの調整を決定することができる。

【0085】

前述したように、カメラによって取り込まれた画像は、コンピュータ支援手術システムに関連する表示装置及び／又は遠隔コンピューティング装置に関連する表示装置に送信され、表示され得る。このようにして、手術チームのメンバー、遠隔監督者、遠隔技術者等は、手術セッションイベントに関連する前後関係の視覚的コンテンツを閲覧し、前後関係の視覚的コンテンツを使用して、例えば、手術セッション中に１つ又は複数のタスクを実行することができる（例えば、外科的処置を行うため、手術チームのメンバーを監視又は訓練するため、技術的問題をトラブルシューティングするため等）。ここで、この処理の例を説明する。

【0086】

例えば、カメラ制御システム３００が、マニピュレータアーム１１８－１がマニピュレータアーム１１８－２と衝突している（表９００において「ＭＡ１＿Ｃｏｌｌｉｄｅ＿ＭＡ２」とラベル付けされる）ことを検出した場合に、カメラ制御システム３００は、検出したイベント位置がマニピュレータアーム１１８－１の位置である（表９００で「ＭＡ１」とラベル付けされる）と決定することができる。この決定に基づいて、カメラ制御システム３００は、手術セッションデータ（例えば、運動学的データ）を利用して、手術施設内で、マニピュレータアーム１１８－１の位置を決定することができる。次に、カメラ制御システム３００は、カメラ操作システム１２４に、マニピュレータアーム１１８－１のビューを取り込むべくカメラ１２２の位置及び／又は向きを調整するように指示することができる。次に、カメラ１２２によって取り込まれた画像は、手術チームのメンバー１１４（例えば、外科医１１４－１）に関連する表示装置に表示され得、こうして、手術チームのメンバー１１４は、マニピュレータアーム１１８－１が動かない理由を迅速に識別（特定）できる。

【0087】

別の例として、カメラ制御システム３００が、第４のマニピュレータアーム１１８－４に結合した手術器具から信号が検出されない（表９００において「ＭＡ４＿ＮｏＳｉｇｎａｌ」とラベル付けされる）と決定する場合に、カメラ制御システム３００は、検出したイベントが、手術器具を接続する必要がある第４のマニピュレータアーム１１８－４上の位置にある（表９００で「ＭＡ４」とラベル付けされる）と決定することができる。この決定に基づいて、カメラ制御システム３００は、手術セッションデータ（例えば、運動学的データ）を利用して、手術施設内で、第４のマニピュレータアーム１１８－４の位置を決定することができる。次に、カメラ制御システム３００は、カメラ操作システム１２４に、第４のマニピュレータアーム１１８－４のビューを取り込むべくカメラ１２２の位置及び／又は向きを調整するように指示することができる。次に、カメラ１２２によって取り込まれた画像は、手術チームのメンバー１１４に関連する表示装置（例えば、助手１１４－３によって使用されるユーザ装置）に表示され得、こうして、手術チームのメンバー１１４は、手術器具が第４のマニピュレータアーム１１８－４に適切に接続されているかどうかを迅速に判断することができる。

【0088】

いくつかの例では、複数の手術システム構成要素が特定のイベントに関連付けられ得る。例えば、図１０は、カメラ制御システム３００によって維持されるか、又は他にアクセスされ得る例示的なイベント位置の表１０００を示している。列１００２に示されるように、表１０００は、手術セッション中に発生し得る様々なイベントを表す複数のエントリを含み得る。列１００４に示されるように、表１０００は、各イベントに関連する主要な構成要素をリスト化し得る。列１００６に示されるように、表１０００は、各イベントに関連する二次構成要素をリスト化し得る。カメラ制御システム３００は、イベント位置を、検出したイベントに関連する一次構成要素の位置として決定することができる。次に、カメラ制御システム３００は、位置切替えイベントに応答して、イベント位置を二次構成要素の位置に切り替えることができる。

【0089】

いくつかの例では、位置切替えイベントは、一次構成要素の特定のビューが最初に表示されてからの所定の期間（例えば、２０秒）の経過を含み得る。いくつかの例では、ユーザは、所定の期間の継続期間を指定することができる。

【0090】

あるいはまた、位置切替えイベントは、カメラ制御システム３００による、二次位置に切り替えるようにカメラ制御システム３００に指示するユーザ入力の受信であり得る。ユーザ入力は、コンピュータ支援手術システムに関連する任意の適切なコンピューティング装置（例えば、ユーザ装置５０２、遠隔コンピューティングシステム４０２、又はユーザ制御システム１０４、補助システム１０６、又はカメラシステム１０８に含まれるコンピューティング装置）を介して受信され得る。

【0091】

例示すると、カメラ制御システム３００が、マニピュレータアーム１１８－３に結合した手術器具が外科医１１４－１によって操作されたときに動かない（表１０００で「ＭＡ３＿ＮｏＭｏｖｅｍｅｎｔ」とラベル付けされる）ことを検出した場合に、カメラ制御システム３００は、検出したイベントの主要な位置が、マニピュレータアーム１１８－３の位置である（表１０００で「ＭＡ３」とラベル付けされる）と決定することができる。この判定に基づいて、カメラ制御システム３００は、手術セッションデータ（例えば、運動学的データ）を利用して、手術施設内で、マニピュレータアーム１１８－３の位置を決定することができる。次に、カメラ制御システム３００は、補助カメラシステム１０８に、マニピュレータアーム１１８－３の特定のビューを取り込むべくカメラ１２２のビューを調整するように指示することができる。カメラ１２２によって取り込まれた画像が、ユーザ制御システムに関連するディスプレイに（例えば、タッチスクリーン又はユーザ装置５０２に）表示されるときに、外科医は、手術器具がマニピュレータアーム１１８－３に適切に結合されていないかどうか、又はマニピュレータアーム１１８－３が別のマニピュレータアームと衝突しているかどうかを迅速に判断することができる。次に、外科医は、ユーザ制御システム１０４又はユーザ装置５０２を介して（例えば、ユーザ制御システム１０４のタッチパッド又はフットペダルを介して）入力を提供して、二次位置を見ることができる。このユーザ入力に応答して、カメラ制御システム３００は、補助カメラシステム１０８に、補助カート１３２－１の特定のビューを取り込むべくカメラ１２２のビューを調整するように指示することができる。これにより、外科医は、手術器具のケーブルが補助カート１３２-１に適切に接続されているかどうかを判断することができる。

【0092】

いくつかの例では、ユーザは、イベント位置のビューを取り込むべくカメラのビューが調整された後に、カメラのビューを手動で調整することができる場合がある。手動調整には、位置調整及び／又は向き調整、並びに光学調整（ズーム及びフォーカス調整等）が含まれ得る。

【0093】

いくつかの例では、カメラ制御システム３００は、コンピュータ支援手術セッションに関連する表示装置による表示のために、カメラによって取り込まれた画像に加えてコンテキスト情報を提供するように構成され得る。例えば、カメラ制御システム３００は、識別した手術セッションイベント及び／又は識別したイベント位置に関連するコンテキストコンテンツを識別し得る。コンテキストコンテンツは、例えば、表９００又は表１０００に格納され得る。コンテキストコンテンツは、例えば、カメラによって取り込まれた画像とともに表示されるメッセージを含み得る。

【0094】

例示すると、カメラ制御システム３００は、手術セッションデータ、ユーザプロファイルデータ、及び／又はユーザ入力データに基づいて、外科的処置がステープル留め段階に進んだと判定することができる。結果として、カメラ制御システム３００は、マニピュレータアームの特定のビューを取り込むべくカメラの自動調整を指示し、表示装置に、マニピュレータアームの画像とともに、「この手術器具をステープラー器具と交換してください」等のメッセージを表示するように指示することができる。

【0095】

追加的又は代替的に、カメラ制御システム３００は、照明装置（例えば、タスクライト、レーザーライト等）に、イベント位置を照明するように指示等することによって、表示装置以外の方法でコンテキスト情報を提供するように構成され得る。例えば、カメラ制御システム３００は、コンピュータ支援手術セッションにおいてレーザー装置に、手術器具を結合すべきマニピュレータアームを照明する調整を指示することができる。照明装置の調整は、本明細書に記載のカメラの調整と同様の方法で達成することができる。

【0096】

図１１は、例示的なカメラ制御方法１１００を示している。図１１は一実施形態による例示的な動作を示すが、他の実施形態は、図１１に示されるステップのいずれかを省略、追加、並べ替え、結合、及び／又は修正してもよい。図１１に示される１つ又は複数の動作は、カメラ制御システム３００、そこに含まれる任意の構成要素、及び／又はその任意の実施多様によって実行され得る。

【0097】

ステップ１１０２において、カメラ制御システムは、手術セッションに関する手術セッションデータにアクセスする。手術セッションは、コンピュータ支援手術システムによる１つ又は複数の動作の実行を含む。ステップ１１０２は、本明細書に記載されている方法のいずれかで実行することができる。

【0098】

ステップ１１０４において、カメラ制御システムは、手術セッションデータに基づいて、手術セッションに関連するイベントを識別する。ステップ１１０４は、本明細書に記載されている方法のいずれかで実行することができる。

【0099】

ステップ１１０６において、カメラ制御システムは、手術セッションデータに基づいて、イベントに関連する位置を決定する。ステップ１１０６は、本明細書に記載されている方法のいずれかで実行することができる。

【0100】

ステップ１１０８において、カメラ制御システムは、イベント位置の決定に応答して、イベントに関連する位置の特定のビューを取り込むべくカメラのビューの自動調整を指示する。ステップ１１０８は、本明細書に記載されている方法のいずれかで実行することができる。

【0101】

いくつかの例では、コンピュータ可読命令を格納する非一時的なコンピュータ可読媒体が、本明細書に記載の原理により提供され得る。命令は、コンピューティング装置のプロセッサによって実行されると、プロセッサ及び／又はコンピューティング装置に、本明細書に記載の１つ又は複数の操作（手術）を含む１つ又は複数の動作を実行するように指示することができる。そのような命令は、様々な既知のコンピュータ可読媒体のいずれかを使用して保存及び／又は送信することができる。

【0102】

本明細書で言及される非一時的なコンピュータ可読媒体は、コンピューティング装置によって（例えば、コンピューティング装置のプロセッサによって）読み取られ及び／又は実行され得るデータ（例えば、命令）を提供する際に関与する任意の非一時的な記憶媒体を含み得る。例えば、非一時的なコンピュータ可読媒体は、不揮発性記憶媒体及び／又は揮発性記憶媒体の任意の組合せを含み得るが、これらに限定されない。例示的な不揮発性記憶媒体には、読取り専用メモリ、フラッシュメモリ、ソリッドステートドライブ、磁気記憶装置（例えば、ハードディスク、フロッピーディスク、磁気テープ等）、強誘電体ランダムアクセスメモリ（ＲＡＭ）、及び光ディスク（例えば、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク等）が含まれるが、これらに限定されない。例示的な揮発性記憶媒体には、ＲＡＭ（例えば、ダイナミックＲＡＭ）が含まれるが、これらに限定されない。

【0103】

図１２は、本明細書に記載の１つ又は複数のプロセスを実行するように特別に構成され得る例示的なコンピューティング装置１２００を示している。図１２に示されるように、コンピューティング装置１２００は、通信インフラストラクチャ１２１０を介して互いに通信可能に接続された通信インターフェイス１２０２、プロセッサ１２０４、記憶装置１２０６、及び入力／出力（Ｉ／Ｏ）モジュール１２０８を含み得る。例示的なコンピューティング装置１２００が図１２に示されているが、図１２に示される構成要素は、限定することを意図したものではない。追加又は代替の構成要素を他の実施形態で使用してもよい。ここで、図１２に示されるコンピューティング装置１２００の構成要素は、さらに詳細に説明するように構成される。

【0104】

通信インターフェイス１２０２は、１つ又は複数のコンピューティング装置と通信するように構成され得る。通信インターフェイス１２０２の例には、有線ネットワークインターフェイス（ネットワークインターフェイスカード等）、ワイヤレスネットワークインターフェイス（ワイヤレスネットワークインターフェイスカード等）、モデム、オーディオ／ビデオ接続、及び他の任意の適切なインターフェイスが含まれるが、これらに限定されない。

【0105】

プロセッサ１２０４は、一般に、データを処理し、及び／又は本明細書に記載の１つ又は複数の命令、プロセス、及び／又は動作の実行を解釈、実行、及び／又は指示することができる任意のタイプ又は形式の処理ユニットを表す。プロセッサ１２０４は、記憶装置１２０６に格納されたコンピュータ実行可能命令１２１２（例えば、アプリケーション、ソフトウェア、コード、及び／又は他の実行可能データインスタンス）を実行することによって動作を行うことができる。

【0106】

記憶装置１２０６は、１つ又は複数のデータ記憶媒体、装置、又は構成を含み得、データ記憶媒体及び／又は装置の任意のタイプ、形式、及び組合せを使用し得る。例えば、記憶装置１２０６は、本明細書に記載の不揮発性媒体及び／又は揮発性媒体の任意の組合せを含み得るが、これらに限定されない。本明細書に記載のデータを含む電子データは、記憶装置１２０６に一時的及び／又は恒久的に格納され得る。例えば、本明細書に記載の動作のいずれかを実行するようにプロセッサ１２０４に指示するように構成されたコンピュータ実行可能命令１２１２を表すデータは、記憶装置１２０６内に格納され得る。いくつかの例では、データは、記憶装置１２０６内に存在する１つ又は複数のデータベースに配置され得る。

【0107】

Ｉ／Ｏモジュール１２０８は、ユーザ入力を受信し、ユーザ出力を提供するように構成された１つ又は複数のＩ／Ｏモジュールを含み得る。１つ又は複数のＩ／Ｏモジュールを使用して、単一の仮想エクスペリエンスの入力を受け取ることができる。Ｉ／Ｏモジュール１２０８は、入力及び出力機能をサポートする任意のハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せを含み得る。例えば、Ｉ／Ｏモジュール１２０８は、キーボード又はキーパッド、タッチスクリーン構成要素（例えば、タッチスクリーンディスプレイ）、受信機（例えば、ＲＦ又は赤外線受信機）、動きセンサ、及び／又は１つ又は複数の入力ボタンを含むがこれらに限定されない、ユーザ入力を取り込むためにハードウェア及び／又はソフトウェアを含み得る。

【0108】

Ｉ／Ｏモジュール１２０８は、グラフィックエンジン、ディスプレイ（例えば、表示画面）、１つ又は複数の出力ドライバー（例えば、ディスプレイドライバー）、１つ又は複数のオーディオスピーカー、及び１つ又は複数のオーディオドライバーを含むがこれらに限定されない、ユーザに出力を提示するための１つ又は複数の装置を含み得る。特定の実施形態では、Ｉ／Ｏモジュール１２０８は、ユーザに提示するためにグラフィックデータをディスプレイに提供するように構成される。グラフィカルデータは、特定の実施態様に役立ち得る１つ又は複数のグラフィカルユーザインターフェイス及び／又は他の任意のグラフィカルコンテンツを表すことができる。

【0109】

いくつかの例では、本明細書に記載のシステム、コンピューティング装置、及び／又は他の構成要素のいずれかは、コンピューティング装置１２００によって実装され得る。例えば、処理装置３０４はプロセッサ１２０４によって実装され得、記憶装置３０２は記憶装置１２０６によって実装され得る。

【0110】

前述の説明において、様々な例示的な実施形態について、添付の図面を参照して説明してきた。しかしながら、以下の特許請求の範囲に記載される本発明の範囲から逸脱することなく、その例示的な実施形態に対して様々な修正及び変更を行うことができ、追加の実施形態を実施し得ることは明らかであろう。例えば、本明細書に記載の一実施形態の特定の特徴は、本明細書に記載の別の実施形態の特徴と組み合わせるか、又はその特徴と取り替えることができる。従って、説明及び図面は、限定的な意味ではなく例示的な意味で見なすべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】