特許 7494196 コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-24

(45)【発行日】2024-06-03

(54)【発明の名称】コンピュータ支援手術システムの手術セッション中の撮像デバイス視点の最適化を容易にするシステム及び方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20240527BHJP

   A61B 34/20 20160101ALI20240527BHJP

   A61B 34/10 20160101ALI20240527BHJP

   G06F 3/01 20060101ALI20240527BHJP

【ＦＩ】

A61B34/35

A61B34/20

A61B34/10

G06F3/01 510

G06F3/01 570

【請求項の数】 15

(21)【出願番号】P 2021547141

(86)(22)【出願日】2020-02-10

(65)【公表番号】

(43)【公表日】2022-04-06

(86)【国際出願番号】 US2020017535

(87)【国際公開番号】W WO2020167678

(87)【国際公開日】2020-08-20

【審査請求日】2023-02-02

(31)【優先権主張番号】62/804,688

(32)【優先日】2019-02-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジャーク，アンソニー エム．

【審査官】神ノ田 奈央

(56)【参考文献】

【文献】特開２０１５－２２８９５４（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９６７５（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１３６６１３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３４４４１２（ＵＳ，Ａ１）

【文献】国際公開第２０１９／００５９８３（ＷＯ，Ａ１）

【文献】特表２０１８－５３１７３１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３３８８０６（ＵＳ，Ａ１）

【文献】特表２００２－５１０２３０（ＪＰ，Ａ）

【文献】特開２０１８－１６１３７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／３５

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ３４／１０

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

命令を格納するメモリと、
前記メモリに通信的に結合されるプロセッサと、を含み、
前記プロセッサは、前記命令を実行して、
コンピュータ支援手術システムによる手術セッション中に行われる特定の手術を決定するように構成され、前記特定の手術は、前記コンピュータ支援手術システムに含まれる撮像デバイスが、前記手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、前記身体に対して行われ、
前記特定の手術に基づいて、前記第１の視点よりも前記特定の手術を行うためにより最適な前記撮像デバイスのための第２の視点を画定するように構成され、
前記ディスプレイデバイスに指示して前記第２の視点のしるしを表示するように構成される、
システム。

【請求項2】

前記ディスプレイデバイスに指示して前記第２の視点の前記しるしを表示することは、前記ディスプレイデバイスが前記第１の視点から前記身体の前記像を表示している間に、前記ディスプレイデバイスに指示して前記第２の視点を示すグラフィカルオブジェクトを表示することを含み、該グラフィカルオブジェクトは、前記第１の視点からの前記身体の前記表示される像と統合されるオーバーレイグラフィックとして表示される、請求項１に記載のシステム。

【請求項3】

前記第２の視点を示す前記グラフィカルオブジェクトは、前記第２の視点の水平向きを示すレチクルオブジェクトを含む、請求項２に記載のシステム。

【請求項4】

前記第２の視点を示す前記グラフィカルオブジェクトは、前記第２の視点のズーム向き及び平面向きの少なくとも１つを示す境界ボックスを含む、請求項２に記載のシステム。

【請求項5】

前記第２の視点を示す前記グラフィカルオブジェクトは、
前記撮像デバイスが異なる視点から前記身体の像を提供するときに前記撮像デバイスの視野に固定される第１の三次元（３Ｄ）形状と、
前記第２の視点のズーム向き、平面向き、水平向き、ピッチ向き、及びヨー向きのうちの少なくとも１つを示す第２の３Ｄ形状と、を含む、
請求項２に記載のシステム。

【請求項6】

前記ディスプレイデバイスに指示して前記第２の視点の前記しるしを表示することは、
前記ディスプレイデバイスに指示して、前記ディスプレイデバイスが前記第１の視点から前記身体の前記像を表示している間に、前記第２の視点が画定されたというしるしを提示することと、
前記第２の視点が画定されたという前記しるしの提示に応答して、当該システムのユーザが、前記第１の視点から前記身体の前記像を見る代わりに、前記第２の視点から前記身体の像を見ることを選択したことを示す、ユーザ入力を受信することと、
前記ディスプレイデバイスに指示して、前記ユーザ入力に応答して、前記第１の視点から前記身体の前記像を表示することから、前記第２の視点から前記身体の前記像を表示することに切り替えることを含む、
請求項１～５のうちのいずれか１項に記載のシステム。

【請求項7】

前記ディスプレイデバイスに指示して前記第２の視点の前記しるしを表示することは、前記ディスプレイデバイスに指示して、前記第２の視点の前記画定に応答して、前記第１の視点から前記身体の前記像を表示することから、前記第２の視点から前記身体の像を表示することに自動的に切り替えることを含む、請求項１～６のうちのいずれか１項に記載のシステム。

【請求項8】

前記プロセッサは、前記命令を実行して、
前記第１の視点に関連するユーザの第１の手首姿勢が、前記コンピュータ支援手術システムに指示して前記特定の手術を行うために、前記ユーザによって使用されていることを決定し、
前記第１の視点の水平向きとは別個の水平向きを有する視点に関連する前記ユーザの第２の手首姿勢が、前記第１の手首姿勢よりも前記特定の手術の遂行を指示するためにより最適であることを決定する、
ように更に構成され、
前記第２の視点は、前記第２の手首姿勢に関連し且つ前記第１の視点の前記水平向きとは別個の前記水平向きを有する前記視点であるように画定される、
請求項１～７のうちのいずれか１項に記載のシステム。

【請求項9】

前記プロセッサは、前記命令を実行して、
前記第１の視点から前記身体の前記像を表示するときに、前記身体に対する前記特定の手術の遂行を描写するアクティブ像が、前記ディスプレイデバイスによって第１の詳細レベルで描かれることを決定し、
前記第１の視点のズーム向きとは別個のズーム向きを有する視点から前記身体の像を表示することが、前記アクティブ像を、前記第１の詳細レベルよりも前記特定の手術を行うためにより最適な第２の詳細レベルで描かせることを決定する、
ように更に構成され、
前記第２の視点は、前記アクティブ像が前記特定の手術を行うためにより最適な前記第２の詳細レベルで描かれるよう、前記第１の視点の前記ズーム向きとは別個の前記ズーム向きを有する前記視点であるように画定される、
請求項１～８のうちのいずれか１項に記載のシステム。

【請求項10】

前記プロセッサは、前記命令を実行して、
前記第１の視点から前記身体の前記像を表示するときに、前記身体に対する前記特定の手術の遂行を描写するアクティブ像が、前記ディスプレイデバイスによって提示される視野の第１の部分で描写されることを決定し、
前記第１の視点の平面向きとは別個の平面向きを有する視点から前記身体の像を表示することが、前記アクティブ像を、前記視野の前記第１の部分よりも前記特定の手術を行うためにより最適な前記視野の第２の部分で描かせることを決定する、
ように更に構成され、
前記第２の視点は、前記アクティブ像が前記特定の手術を行うためにより最適な前記視野の前記第２の部分で描かれるよう、前記第１の視点の前記平面向きとは別個の前記平面向きを有する前記視点であるように画定される、
請求項１～９のうちのいずれか１項に記載のシステム。

【請求項11】

前記プロセッサは、前記命令を実行して、
ユーザが過去に前記第１の視点を選択したユーザと同一性を有することを決定し、
前記ユーザの前記同一性に基づいて、前記手術セッションの前に前記ユーザによって行われた視点選択の傾向、長所及び／又は短所を表すユーザ特異的なデータにアクセスする、
ように更に構成され、
前記第２の視点は、前記手術セッションの前に前記ユーザによって行われた前記視点選択を表す前記ユーザ特異的なデータに更に基づいて画定される、
請求項１～１０のうちのいずれか１項に記載のシステム。

【請求項12】

前記第１の視点よりも前記特定の手術を行うためにより最適な前記第２の視点を画定することは、訓練モードにおいて、
前記特定の手術を行うユーザとは別個の専門家アドバイザによって前記特定の手術セッション中にリアルタイムで提供される入力に基づいて、前記手術のための推奨される視点を識別することと、
前記推奨される視点に基づいて前記第２の視点を画定することと、を含む、
請求項１～１１のうちのいずれか１項に記載のシステム。

【請求項13】

前記第１の視点よりも前記特定の手術を行うためにより最適な前記第２の視点を画定することは、訓練モードにおいて、
前記特定の手術を行うユーザとは別個の専門家アドバイザによって前記手術セッションの前に行われた視点選択を表すデータにアクセスすることと、
前記専門家アドバイザによる前記視点選択を表す前記アクセスされるデータに基づいて前記第２の視点を画定することと、を含む、
請求項１～１２のうちのいずれか１項に記載のシステム。

【請求項14】

視点最適化システムの作動方法であって、
視点最適化システムが、コンピュータ支援手術システムによる手術セッション中に行われる特定の手術を決定することであって、前記特定の手術は、コンピュータ支援手術システムに含まれる撮像デバイスが、前記手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、前記コンピュータ支援手術システムは、前記手術セッション中に、前記身体に対して行われる、決定することと、
前記特定の手術に基づいて、前記視点最適化システムが、前記第１の視点よりも前記特定の手術を行うためにより最適な前記撮像デバイスのための第２の視点を画定することと、
前記視点最適化システムが、前記ディスプレイデバイスに指示して、前記第２の視点のしるしを表示することと、を含む、
作動方法。

【請求項15】

命令を格納する非一時的なコンピュータ読取可能媒体であって、
前記命令は、実行されるときに、コンピューティングデバイスのプロセッサに指示して、
コンピュータ支援手術システムによる手術セッション中に行われる特定の手術を決定させ、前記特定の手術は、コンピュータ支援手術システムに含まれる撮像デバイスが、前記手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、前記コンピュータ支援手術システムは、前記手術セッション中に、前記身体に対して行われ、
前記特定の手術に基づいて、前記第１の視点よりも前記特定の手術を行うためにより最適な前記撮像デバイスのための第２の視点を画定し、
前記ディスプレイデバイスに指示して前記第２の視点のしるしを表示する、
非一時的なコンピュータ読取可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本出願は、２０１９年２月１２日に出願された「SYSTEMS AND METHODS FORFACILITATING OPTIMIZATION OF AN IMAGING DEVICE VIEWPOINT DURING AN OPERATION SESSION OF A COMPUTER-ASSISTED OPERATION SYSTEM」という名称の米国仮特許出願第６２／８０４，６８８号の優先権を主張し、その全文が参照により本明細書に援用される。

【背景技術】

【0002】

コンピューティング技術、ロボット技術、医療技術、エクステンデッドリアリティ技術（例えば、拡張現実技術、仮想現実技術など）を含む様々な技術は、外科医のようなユーザが様々なタイプの手術(operations)及び処置(procedure)を行い且つ行うよう訓練されることを可能にしている。例えば、ユーザは、臨床設定（例えば、生きた人間又は動物の患者の身体を手術すること）、非臨床環境（例えば、人間又は動物の死体の身体、人間又は動物の解剖学的構造から取り出した組織の身体などを手術すること）、訓練設定（例えば、物理的解剖学的訓練モデルの身体、エクステンデッドリアリティ環境における仮想解剖学的モデルの身体などを手術すること）などにおいて、コンピュータ支援外科処置のような最小侵襲医療処置を行うことがあり且つ行うよう訓練されることがある。

【0003】

そのような設定における手術セッション中、ユーザがコンピュータ支援手術システムの器具に指示して手術領域で身体に関する手術を行うときに、ユーザは身体に関連する手術領域（例えば、身体の内部の領域）の像(imagery)を見ることがある。像は内視鏡のようなコンピュータ支援手術システム内に含まれる撮像デバイスによって提供されることがある。様々な手術がこのように行われるときに、撮像デバイスの視点(viewpoint)はユーザがどのように効率的かつ効果的に手術を行い得るかに有意な影響を与えることがある。

【発明の概要】

【0004】

コンピュータ支援手術システムの手術セッション中に撮像デバイスの視点の最適化を容易にするためのシステム及び方法を本明細書に記載する。例えば、１つの実施形態は、命令を格納するメモリと、メモリに通信的に結合され、命令を実行するように構成される、プロセッサとを含む、システムとして実装される。例えば、命令は、プロセッサに指示して、手術セッションに関連する状態を識別してよく、コンピュータ支援手術システムに含まれる撮像デバイスが、手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、コンピュータ支援手術システムは、手術セッション中に、身体に対して複数の手術を行う。命令は、プロセッサに指示して、識別される状態に基づいて、複数の手術に含まれる手術のために第１の視点よりもより最適な撮像デバイスのための第２の視点を画定してもよい。加えて、命令は、プロセッサが、ディスプレイデバイスに指示して、第２の視点のしるしを表示するようにさせてよい。

【0005】

別の例示的な実施形態も、命令を格納するメモリと、メモリに通信的に結合され、命令を実行するように構成される、プロセッサとを含む、システムとして実装される。この実施形態において、命令は、プロセッサに指示して、コンピュータ支援手術システムに含まれる撮像デバイスがディスプレイデバイスを介したユーザへの表示のために第１の視点から身体の像を提供する間に、コンピュータ支援手術システムが身体に対して複数の手術を行う手術セッション中に、前記ユーザが、第１の視点に関連する第１の手首姿勢を使用して、コンピュータ支援手術システムに指示して、複数の手術に含まれる手術を行うことを決定してよい。命令は、プロセッサに指示して、手術セッション中に、第１の手首姿勢よりも前記手術を行うことを指示するためにより最適な第２の手首姿勢に関連する第２の視点を画定してよく、第２の視点は、第１の視点の水平向きとは別個の水平向きを有する。命令は、プロセッサに更に指示して、ディスプレイデバイスが第１の視点から身体の前記像を表示している間に、ディスプレイデバイスに指示して、第２の視点の水平向きを示すレチクルオーバーレイグラフィックを、第１の視点からの身体の表示される像と統合してよい。第２の視点の水平向きを示すレチクルオーバーレイグラフィックの統合に応答して、命令は、プロセッサに指示して、ユーザが第１の視点から身体の像を見る代わりに第２の視点から身体の像を見ることを選択することを示す、ユーザ入力を受信してよい。従って、命令は、プロセッサに指示して、ディスプレイデバイスに指示して、ユーザ入力に応答して、第１の視点から身体の像を表示することから、第２の視点から身体の像を表示することに切り替えてよい。

【0006】

別の例示的な実施形態は、視点最適化システムによって行われる方法として実装される。例えば、方法は、手術セッションに関連する状態を識別することを含み、コンピュータ支援手術システムに含まれる撮像デバイスが、手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、コンピュータ支援手術システムは、手術セッション中に、身体に対して複数の手術を行う。方法は、状態に基づいて、複数の手術に含まれる手術のために第１の視点よりもより最適な前記撮像デバイスのための第２の視点を画定することも含む。加えて、方法は、ディスプレイデバイスに指示して、第２の視点のしるしを表示することを含む。

【0007】

別の例示的な実施形態は、命令を格納する非一時的なコンピュータ読取可能媒体によって実装され、命令は、実行されるときに、コンピューティングデバイスのプロセッサに指示して、本明細書に記載する手術(動作)を行う。例えば、命令は、プロセッサに指示して、手術セッションに関連する状態を識別させてよく、コンピュータ支援手術システムに含まれる撮像デバイスが、手術セッション中のディスプレイデバイス上での表示のために、第１の視点から身体の像を提供する間に、コンピュータ支援手術システムは、手術セッション中に、身体に対する複数の手術を行う。命令は、プロセッサに指示して、状態に基づいて、複数の手術に含まれる手術のために第１の視点よりもより最適な撮像デバイスのための第２の視点を画定してもよい。加えて、命令は、プロセッサに、ディスプレイデバイスに指示して、第２の視点のしるしを表示させてよい。

【図面の簡単な説明】

【0008】

添付の図面は、様々な実施形態を図示しており、明細書の一部である。図示する実施は単なる例であり、本開示の範囲を限定しない。図面を通じて、同一又は類似の参照番号は、同一又は類似の要素を指し示している。

【0009】

【図1】本明細書に記載する原理に従った例示的なコンピュータ支援手術システムを図示している。

【0010】

【図2】本明細書に記載する原理に従った図１のコンピュータ支援手術システムに含まれる例示的な撮像デバイスを図示している。

【0011】

【図3】撮像デバイスが本明細書に記載する原理に従って身体の像を取り込む例示的な視点を図示している。

【0012】

【図4】本明細書に記載する原理に従ったコンピュータ支援手術システムの手術セッション中に撮像デバイスの視点の最適化を容易にする例示的な視点最適化システムを図示している。

【0013】

【図5A】コンピュータ支援手術システムに含まれる撮像デバイス本明細書に記載する原理に従って異なる例示的な視点から身体の像を取り込む間に、コンピュータ支援手術システムが身体に対して複数の手術を行う、例示的な手術セッションを図示している。

【0014】

【図5B】図５Ａの手術セッション中に異なる視点から取り込まれる像を本明細書に記載する原理に従って表示する例示的なディスプレイデバイスを図示している。

【0015】

【図5C】本明細書に記載される原理に従って図５Ａ及び図５Ｂに示す異なる視点からの像を見ながら手術を行うためにユーザによって使用される例示的な手首姿勢を図示している。

【0016】

【図6】本明細書に記載する原理に従って異なる水平方向の向きを有する例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0017】

【図7】本明細書に記載する原理に従って異なるズーム向きを有する例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0018】

【図8】本明細書に記載する原理に従って異なる平面的な向きを有する例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0019】

【図9】本明細書に記載する原理に従って複数の点で異なる向きを有する例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0020】

【図10】本明細書に記載する原理に従って半自動的に切り替えられる異なる例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0021】

【図11】本明細書に記載する原理に従って自動的に切り替えられる異なる例示的な視点からの像を表示するディスプレイデバイスを図示している。

【0022】

【図12】本明細書に記載する原理に従って図４の視点最適化システムに入力データを提供することがある例示的な実体を図示している。

【0023】

【図13】本明細書に記載する原理に従ったコンピュータ支援手術システムの手術セッション中に撮像デバイスの視点の最適化を容易にする例示的な方法を図示している。

【0024】

【図14】本明細書に記載する原理に従った例示的なコンピューティングデバイスを図示している。

【発明を実施するための形態】

【0025】

コンピュータ支援手術システム(computer-assisted operation system)の手術セッション(operating session)中に撮像デバイスの視点(viewpoint)の最適化(optimization)を容易にするシステム及び方法を本明細書に記載する。上述のように、ユーザ（例えば、外科医、外科チームの構成員、コンピュータ支援手術システムの別のユーザなど）がコンピュータ支援手術システム（例えば、コンピュータ支援外科システム）に指示して特定の手術(operation)を行い得ることがある有効性及び効率は、手術の遂行中にユーザのために表示される(displayed)像を取り込んで(キャプチャして)提供する撮像デバイスの視点によって有意に影響を受けることがある。しかしながら、残念ながら、撮像デバイスの視点の一貫した効果的な最適化は、ユーザがコンピュータ支援手術システムを使用することに慣れるにつれてユーザが習得するのが困難なスキルであることがある。加えて、特定のシナリオ（例えば、訓練シナリオ、特定のユーザの好みに従った手術シナリオ、従来的な腹腔鏡技術を用いて行われる手術など）において、視点最適化のスキルが作用し始めることは全く望ましくないことがある。例えば、これらのシナリオでは、ユーザが視点最適化以外の手術の他の側面に焦点を合わせることを可能にするために、撮像デバイスの視点の最適化が完全に自動化された方法で行われることが望ましい場合がある。従って、本明細書に記載するシステム及び方法は、（システムの使用を学習する訓練を受けている初心者のコンピュータ支援手術システムのユーザを含む）ユーザが彼らの視点選択性能及びスキルを向上させることを容易にするように構成されることがある。以下に記載するように、これは、ユーザが、臨床、非臨床、訓練、又は他の手術セッションの間に、より最適な(optimal)ビューを見る、理解する、及び切り替えることを容易にすることによって行われる。例えば、本明細書に記載するシステム及び方法は、ユーザが視点を切り替えること、視点を半自動的に切り替えること、視点を自動的に切り替えること、又は同等のことを促進する奨励を行うことによって、手術セッション中に視点の最適化をリアルタイムに容易にすることがある。

【0026】

１つの例示的な実装において、撮像デバイスの視点の最適化を容易にするシステムは、命令を格納するメモリと、メモリに通信的に結合されるプロセッサとを含んでよく、或いはそれらによって実装されてよく、プロセッサは、命令を実行して、撮像デバイスが手術セッション中に像を取り込んで提供する視点の最適化を容易にすることに関連する機能性を行うように構成される。例えば、命令に従って、システムは、コンピュータ支援手術システムが身体に対して複数の手術を行う一方で、コンピュータ支援手術システムに含まれる撮像デバイスが手術セッション中のディスプレイデバイス上での表示(display)のために第１の視点からの身体の像を提供する、手術セッションに関連する状態を識別してよい。例えば、以下により詳細に記載するように、識別される状態は、ユーザの現在の手首姿勢(posture)、行われている複数の手術に含まれる特定の手術、コンピュータ支援手術システムに指示して手術を行うユーザの同一性(identity)、識別された(identified)ユーザの既知の習慣（例えば、以前に観察された遂行(パフォーマンス)の長所及び短所など）、互いに対するユーザの両手の現在のデカルト位置、制御されている器具に対するユーザの手の同時配置状態、又は同等のことに関連することがある。

【0027】

識別される状態に基づいて、システムは、行われている手術のために第１の視点よりもより最適である撮像デバイスのための第２の視点を画定してよく、ディスプレイデバイスに指令して第２の視点のしるし(indication)を表示してよい。例えば、以下に更に詳細に記載するように、システムは、ディスプレイデバイスに指示して、第１の視点から取り込まれた像を表示することから第２の視点から取り込まれた像に表示することに自動的又は半自動的に切り替えることによって第２の視点のしるしを表示してよい。別の例として、システムは、ディスプレイデバイスに指示して第１の視点から取り込まれる像を表示し続ける一方で、第１の視点から提示される像と共に（例えば、統合されて）提示されるグラフィカルオーバーレイ又は他のインジケータ(indicator)も導入することによって、ディスプレイデバイスに指示して第２の視点のしるしを表示してよい。

【0028】

本明細書で使用するとき、視点の「最適化(optimization)」は、特定の手術のための視点を改良するために、視点の１つ以上の特性（例えば、向きを画定する１つ以上の態様又はパラメータ）を変更することを指す場合がある。よって、別の視点よりも特定の手術のために「より最適な」視点は、（例えば、手術を効果的及び／又は効率的に行うことをより容易にするために）何らかの方法で改良されることが理解されるが、「最適化された」視点又は「より最適な」視点は、必ずしも手術のために可能な最も最適な視点でない場合があることも理解される。視点が別の視点よりもより最適であるという決定は、主観的であってよく（例えば、経験を積んだユーザの意見などに基づいてよく）、或いは客観的であってよい（例えば、視点選択アルゴリズムなどに基づいてよい）。

【0029】

本明細書に記載するシステム及び方法の実装は、一般的に、コンピュータ支援医療システム（例えば、最小侵襲ロボット外科システム、ロボット内視鏡又は他のコンピュータ支援視覚システムを利用する従来的な腹腔鏡外科システムなど）のようなコンピュータ支援手術システムに関し、或いはそれを利用する。しかしながら、以下により詳細に記載するように、本明細書に開示する発明的な態様は、ロボット及び非ロボットの実施形態及び実装を利用することによることを含む様々な方法で具現されて実装されてよいことが理解されるであろう。外科又は他の医療システムに関する実装は、例示的であるに過ぎず、本明細書に開示する発明的な態様の範囲を制限するものと考えられてはならない。例えば、外科器具、外科技術、及び／又は外科コンテキストに関する他のそのような詳細へのあらゆる言及は、非限定的であると理解される。何故ならば、本明細書に記載する器具、システム、及び方法は、医療処置又は診断、美容的改善、人間又は動物の解剖学的構造の撮像、人間又は動物の解剖学的構造からのデータの収集、システムの設定又は取出し、医療従事者又は非医療従事者の訓練、及び同等のことのために使用されることがあるからである（それらのいずれかは外科態様を含んでよく或いは含まなくてもよい）。他の例において、本明細書に記載する器具、システム、及び方法は、動物、人間の死体、動物の死体、人間又は動物の解剖学的構造の部分、（人間又は動物の解剖学的構造内に再移植されてよい或いは再移植されなくてよい）人間又は動物の解剖学的構造から取り出された組織、非組織ワークピース、訓練モデル、及びその他で行われる、或いはそれらと共に行われる処置のために使用されてもよい。更に他の例において、本明細書に記載する器具、システム、及び方法は、産業用システム、一般的なロボット工学、遠隔手術システム、及び／又は非組織ワークピースを感知すること(sensing)若しくは操作すること(manipulation)を含む、非医療目的のために適用されてよい。

【0030】

様々な利益が、撮像デバイスの視点の最適化を容易にするための本明細書に記載するシステム及び方法によって提供されることがある。非コンピュータ支援手術セッション（例えば、ロボット又は他のコンピュータ支援手術技術を使用しない標準的な外科処置）において、外科医が自分の頭及び身体を動かして手術される身体の最適な視点を達成すること並びに様々な手術を行うのに良い角度を見出すことは、直感的かつ自然なことがある。例えば、外科医がより詳細を見る必要があるならば、外科医はより良い外観(look)を得るために手術領域のより近くに自分の頭を自然に動かすことがある。別の例として、特定の手首姿勢は、切開部を閉じるために切開部を縫合することのような手術を行うための最大の快適さ及び制御をもたらすことがあり、よって、外科医は、外科医が縫合手術を行うときにその手首姿勢を使用し得るよう身体に対して自分自身を位置付けることが自然なことがある。

【0031】

コンピュータ支援手術システムに指示して類似の手術を行うときに、（例えば、視野角及び詳細の、手首などの）同じ原理が適用されることがあるが、ユーザ、特にコンピュータ支援手術システムに初めてのユーザが、最適な視点（例えば、手術領域の最適なビューをもたらす視点、最適な手首姿勢に関連する視点など）を成功裡に達成することは、あまり直感的でないことがある。例えば、コンピュータ支援手術システムを用いて手術を行いながら手術領域のより詳細なビューを見ることを望むことがある外科医は、より良いビューを得るために、患者のより近くに自分の頭を簡単に動かせないことがある。むしろ、より最適な視点を得るために、外科医は、より意図的な一連の行動を行わなければならないことがある。例えば、外科医は、フットペダルを押して、システムを、ロボット器具が外科医の手の動きに従う或いは外科医の手の動きを模倣する手術モードから、外科医が（例えば、撮像デバイスをズームする、パンする、回転させる、及び／又は関節作動させるために）手ジェスチャを使用して撮像デバイスの向きを修正する撮像調整モードに切り替えることがある。外科医は、撮像調整モードにおいて撮像デバイスの向きの調整を行い、次に、自分の手を再位置決めし、特定の追加的な行為(actions)（例えば、ピンチ行為又は同等の行為）を行って、コンピュータ支援手術システムを手術モードに戻すことがある。

【0032】

熟練したユーザは、手術セッションの間に１秒毎又は２～３秒毎の頻度で撮像調整を快適に行うよう、このプロセスに非常に熟達していることがあるが、経験の浅いユーザは、これらの撮像調整手順にあまり快適でないことがある。その結果、たとえ新しい視点がより最適であるとしても、これらのユーザが１つの視点から別の視点に切り替える可能性はより低いことがある。加えて、経験の浅いユーザは、選択された視点が、何を見ることができるかを決定するだけでなく、使用されることがある手首姿勢、使用されることがある手の動きの感度、及び同等のことも決定する程度を、十分に認識していないことがある。よって、これらのユーザは、不注意に又は知らずに、次善の(最適未満の)(suboptimal)手首姿勢を使用することあり、或いはさもなければ最適な視点に関連する利益を十分に活用できないことがある。その結果、これらのユーザによって行われる様々な手術は、より最適な視点が使用される場合よりも、行うのがより困難なことがあり且つ／或いは時間がかかることがある。

【0033】

これらの挑戦を解決するために、本明細書に記載するシステム及び方法は、ユーザ（例えば、外科医など）を訓練及び指示して、より最適な視点を見出し、視点をより成功裡に使用して行われている手術の効率及び／又は有効性を向上させ、且つ同等のことを行うのを助ける。以下により詳細に記載するように、本明細書に記載するシステム及び方法は、臨床手術セッション中に並びに非臨床又は訓練手術セッション中に訓練及び実践を提供するのを助けるために使用されてよい。加えて、本明細書に記載するシステム及び方法は、それらが常に一貫してそれらの視点を更新して手術セッション中に最適に維持するので、コンピュータ支援手術システムの経験に富むユーザ（例えば、最適な視点を見出すことに既に熟達している熟練したユーザ）さえも容易化された視点の切替から利益を享受することがあるように、あまり最適でない視点からより最適な視点への切り替えをより容易にすることがある。従って、初心者及び熟練したユーザの両方にとって、本明細書に記載するシステム及び方法は、最終的には、より容易で、より効果的で、より効率的な手術の遂行、複雑なコンピュータ支援手術システムの学習曲線の減少、そして、医療関連システムの場合には、患者についての転帰の改善をもたらすのを助けることがある。

【0034】

次に、図面を参照して様々な実施形態をより詳細に記載する。本明細書に記載するシステム及び方法は、上述の利益並びに以下の記述によって明らかにされる様々な追加的及び／又は代替的な利益のうちの１つ以上を提供することがある。

【0035】

本明細書に記載する視点最適化システム及び方法は、コンピュータ支援手術システム（例えば、ロボット外科システムのようなコンピュータ支援医療システム）の一部として又はそれと共に作動することがある。よって、本明細書に記載する視点最適化システム及び方法の理解を促進するために、例示的なコンピュータ支援手術システムを次に記載する。記載する例示的なコンピュータ支援手術システムは、例示的なものであり、限定的なものでない。本明細書に記載する視点最適化システム及び方法は、本明細書に記載するコンピュータ支援手術システム及び／又は他の適切なコンピュータ支援手術システムと統合されてよく（例えば、それらに内蔵されてよく）、或いはさもなければそれらの一部として又はそれらと共に作動してよい。

【0036】

図１は、例示的なコンピュータ支援手術システム１００（「手術システム１００」）を図示している。上述したように、コンピュータ支援手術システムは、様々なタイプの用途において様々なタイプの手術を行うために使用されることがあるが、手術システム１００は、外科及び／又は非外科医療処置に関する手術を行う際の使用のために構成されたコンピュータ支援医療システムであると理解される。図示のように、手術システム１００は、操作システム１０２(manipulating system)と、ユーザ制御システム１０４と、互いに通信的に結合された補助システム１０６とを含んでよい。手術システム１００は、患者１０８の身体又は特定の実装に役立つことがある任意の他の身体でコンピュータ支援医療処置又は他のそのような処置を行うために医療チームによって利用されることがある。図示のように、医療チームは、第一の臨床医１１０－１（例えば、外科医又は他の医師）と、助手１１０－２と、看護師１１０－３と、第２の臨床医１１０－４（例えば、麻酔科医又は他の医師）とを含むことがあり、それらの全員を集合的に「チーム構成員１１０」と呼ぶことがあり、それらの各々は、手術システム１００を制御することがあり、手術システム１００と相互作用(対話)することがあり、或いは他の方法で手術システム１００のユーザであることがある。加えて、より少ない又は代替的なチーム構成員が、特定の実装に役立つことがあるように医療処置中に存在してよい。例えば、幾つかの医療処置のために、「臨床医１１０－１」は、医師でなくてよい。更に、非医療処置のためのチーム組成は一般的に異なり、非医療的役割を果たすメンバーの他の組み合わせを含む。

【0037】

図１は、最小侵襲外科処置のような進行中の医療処置を図示しているが、手術システム１００は、手術システム１００の正確性及び利便性から同様に利益を得ることがある開腹外科処置又は他のタイプの手術を行うために同様に使用されてよいことが理解されるであろう。例えば、探索撮像手術、訓練目的で使用される模擬医療処置、及び／又は他の手術のような手術が、手術システム１００を使用して行われてよい。加えて、手術システム１００を利用する任意の医療処置又は他の手術は、手術段階を含むことがあるだけでなく、術前、術後、及び／又は他のそのような手術段階も含んでよいことが理解されるであろう。

【0038】

図１に示すように、操作システム１０２は、複数の器具（例えば、外科器具、他の医療器具、又は他の器具など）が結合されることがある複数のマニピュレータアーム１１２（例えば、マニピュレータアーム１１２－１～１１２－４）を含んでよい。各器具は、任意の適切な外科ツール（例えば、組織相互作用機能を有するツール）、医療ツール、撮像デバイス（例えば、内視鏡）、感知器具（例えば、力感知器具）、診断器具、又は（例えば、患者１０８に少なくとも部分的に挿入されて患者１０８に対するコンピュータ支援医療処置を行うよう操作されることによる）患者１０８に対する外科処置のようなコンピュータ支援医療処置のために使用されることがある同等物によって実装されてよい。操作システム１０２は、４つのマニピュレータアーム１１２を含むものとして本明細書に図示され且つ記載されているが、操作システム１０２は、単一のマニピュレータアーム１１２又は特定の実装に役立つことがある任意の数のマニピュレータアームのみを含んでよいことが認識されるであろう。加えて、幾つかの例示的なシステムにおいて、特定の器具は、マニピュレータアームに結合されなくてよく、或いはマニピュレータアームによって制御されなくてよく、むしろ手持ち式であってよく、（例えば、外科医、他の臨床医、又は他の医療従事者によって）手動で制御されてよいことが理解されるであろう。例えば、このタイプの特定のハンドヘルドデバイスは、図１に示すマニピュレータアーム１１２に結合され且つ本明細書中の様々な例において記載されるコンピュータ支援器具と共に使用されてよく、或いはその代替として使用されてよい。

【0039】

マニピュレータアーム１１２及び／又はマニピュレータアーム１１２に取り付けられる器具は、生の（すなわち、補正されていない）運動学情報を生成するために使用される１つ以上の変位変換器、向きセンサ、及び／又は位置センサを含んでよい。手術システム１００の１つ以上のコンポーネント(構成要素)は、器具を追跡する（例えば、器具の位置を決定する）且つ／或いは器具を制御するために運動学情報を使用するように構成されてよい。

【0040】

ユーザ制御システム１０４は、臨床医１１０－１によるマニピュレータアーム１１２及びマニピュレータアーム１１２に取り付けられた器具の制御を容易にするように構成されてよい。外科処置のために、例えば、臨床医１１０－１は、外科医であってよい。この例において、臨床医１１０－１は、ユーザ制御システム１０４と相互作用(対話)して、マニピュレータアーム１１２及び器具を遠隔に移動又は操作して、外科処置又は他の医療処置に含まれる複数の手術を行ってよい。この目的を達成するために、ユーザ制御システム１０４は、臨床医１１０－１に、撮像デバイスによって特定の視点から取り込まれる患者１０８の身体の像（例えば、高精細３Ｄ像）を提供することがある。特定の例において、ユーザ制御システム１０４は、臨床医１１０－１が立体視撮像デバイスによって視点から取り込まれる身体の立体視像を見ることがある２つのディスプレイを有する立体ビューアを含んでよい。臨床医１１０－１は、像を利用して、マニピュレータアーム１１２に取り付けられた１つ以上の器具を用いて１つ以上の処置を行ってよい。

【0041】

器具の制御を容易にするために、ユーザ制御システム１０４は、マスタ制御装置のセットを含んでよい。これらのマスタ制御装置は、（例えば、ロボット及び／又は遠隔操作技術を利用することによって）器具の動きを制御するために臨床医１１０－１によって操作されてよい。マスタ制御装置は、臨床医１１０－１による多種多様な手、手首、及び指の動きを検出するように構成されてよい。このようにして、臨床医１１０－１は、１つ以上の器具を用いて処置を直感的に行うことがある。上述したように、マスタ制御装置ならびにフットペダル及びその他のような他の制御装置は、臨床医１１０－１が、外科処置に必要とされる手術を行うためにマニピュレータアーム１１２を制御することを可能にするだけでなく、手術が行われるときに、撮像デバイスの向き（例えば、向きのズーム、水平、平面、ピッチ、ヨー、及び／又は他の態様）を設定し且つ連続的に調整するために、撮像デバイスに関連する少なくとも１つのマニピュレータアーム１１２を制御することも可能にする。

【0042】

補助システム１０６は、手術システム１００の一次処理操作(primary processing operations)を行うように構成された１つ以上のコンピューティングデバイスを含んでよい。そのような構成において、補助システム１０６に含まれる１つ以上のコンピューティングデバイスは、操作システム１０２及び／又はユーザ制御システム１０４のような手術システム１００の様々な他の構コンポーネントによって行われる動作(operations)を制御及び／又は調整することがある。例えば、ユーザ制御システム１０４に含まれるコンピューティングデバイスは、補助システム１０６に含まれる１つ以上のコンピューティングデバイスを介して命令を操作システム１０２に送信することがある。別の例として、補助システム１０６は、マニピュレータアーム１１２のうちの１つに取り付けられた撮像デバイスによって取り込まれる像を表す画像データを受信して処理することがある。

【0043】

幾つかの例において、補助システム１０６は、ユーザ制御システム１０４で臨床医１１０－１に提供される画像への他のアクセスを持たないことがあるチーム構成員１１０に視覚的コンテンツを提示するように構成されてよい。この目的を達成するために、補助システム１０６は、１つ以上のユーザインターフェース、患者１０８の身体の像（例えば、２Ｄ又は３Ｄ像）、患者１０８及び／又は医療処置に関連する情報、及び／又は特定の実装に役立つことがある任意の他のコンテンツを表示するように構成される、ディスプレイモニタ１１４を含んでよい。幾つかの例において、ディスプレイモニタ１１４は、画像と同時に表示される追加的なコンテンツ（例えば、グラフィカルコンテンツ、コンテキスト情報など）と共に、身体の像を表示することがある。ディスプレイモニタ１１４は、チーム構成員１１０が（例えば、タッチジェスチャによって）相互作用(対話)して手術システム１００にユーザ入力を提供することがあるタッチスクリーンディスプレイによって実装されてよく、或いは特定の実装に役立つことがあるような任意の他のタイプのディスプレイスクリーンによって実装されてよい。

【0044】

以下に更に詳細に記載するように、視点最適化システムは、手術システム１００内に実装されてよく、或いは手術システム１００と共に作動してよい。例えば、特定の実施形態では、視点最適化システムが、（例えば、ユーザ制御システム１０４に含まれる立体視ビューアのようなディスプレイデバイスを使用する）ユーザ制御システム１０４、（例えば、ディスプレイモニタ１１４のようなディスプレイデバイスを使用する）補助システム１０６、又は他の適切なデバイスによって実装されてよい。

【0045】

操作システム１０２、ユーザ制御システム１０４、及び補助システム１０６は、任意の適切な方法で互いに通信的に結合されてよい。例えば、図１に示すように、操作システム１０２、ユーザ制御システム１０４、及び補助システム１０６は、特定の実施に役立つことがあるような任意の有線又は無線通信リンクを表すことがある制御ライン１１６を介して通信的に結合されてよい。この目的を達成するために、操作システム１０２、ユーザ制御システム１０４、及び補助システム１０６は、それぞれ、１つ以上のローカルエリアネットワークインタフェース、Ｗｉ－Ｆｉネットワークインタフェース、セルラインタフェースなどのような、１つ以上の有線又は無線通信インタフェースを含んでよい。

【0046】

図２は、以下に記載するように向きの様々な態様によって特徴付けられる様々な視点から身体の像を取り込むために本明細書に記載するシステム及び方法に従って使用されることがある例示的な撮像システム２００を図示している。図示のように、撮像システム２００は、撮像デバイス２０２と、コントローラ２０４とを含む。撮像システム２００は、特定の実装に役立つことがある追加的な又は代替的なコンポーネントを含んでよい。例えば、撮像システム２００は、様々な光及び／又は電気信号送信コンポーネント（例えば、ワイヤ、レンズ、光ファイバ、チョーク回路、導波管など）、電気ワイヤ及び／又は光ファイバを収容し且つ撮像デバイス２０２とコントローラ２０４とを相互接続するように構成されるケーブル、又は同等物を含んでよい。

【0047】

撮像デバイス２０２は、本明細書に記載する身体のうちのいずれかの身体の内部ビューのようなシーンの像を取り込むように構成される内視鏡又は類似のそのような撮像ツール（例えば、腹腔鏡など）によって実装されてよい。図２の例において、撮像デバイス２０２は、立体視である。しかしながら、他の例において、撮像デバイス２０２は、（例えば、２つの画像センサの代わりに１つの画像センサを含むことによって）平面視であってよい。加えて、内視鏡、腹腔鏡、及びその他のような撮像デバイスは、図２に関連して本明細書に記載する方法で身体の像を取り込んでよいが、他の例では、他の撮像技術（例えば、超音波撮像、可視光範囲外の撮像など）及び他のタイプの撮像デバイス又はデバイスの組み合わせを使用して、身体の像を取り込んでよいことが理解されるであろう。

【0048】

例えば、超音波撮像又は他のそのような技術は、撮像デバイスが超音波プローブを含む特定の例において使用されてよく、超音波プローブは、手術領域に挿入され、それ自体がマニピュレータアームに直接的に取り付けられるよりもむしろ、マニピュレータアームに取り付けられる器具を用いて操作されることがある。別の例として、ハイパースペクトル撮像技術及びツールを使用して、可視光スペクトル以外の電磁スペクトルの他の領域内の画像を取り込んでよい。これは、例えば、可視光を反射する外表面の下にあることがある構成（例えば、血管など）の撮像を容易にすることがある。同様に、赤外線、紫外線、又は他のハイパースペクトル撮像を行うことは、蛍光撮像剤を組織内に注入して、撮像剤の既知の代謝及び／又は分解パターンの故に異なるときに異なる構成を強調(ハイライト)する、撮像技法を可能にすることがある。そのような撮像技術は、単一の撮像システム（例えば、撮像システム２００）によって或いは異なる撮像システム（例えば、手術を行う医療チームが望むならば撮像システム２００と交換されてよい撮像システム）によって支持される異なるモダリティによって実装されてよい。

【0049】

図示のように、撮像デバイス２０２は、カメラヘッド２０６と、カメラヘッド２０６に結合され、カメラヘッド２０６から離れて延びる、シャフト２０８と、シャフト２０８の遠位端にある画像センサ２１０（すなわち、右側画像センサ２１０－Ｒ及び左側画像センサ２１０－Ｌ）と、照明チャネル２１２とを含む。次に、これらの要素の各々をより詳細に記載する。

【0050】

幾つかの例において、撮像デバイス２０２は、臨床医１１０－１のような外科チーム構成員によってコンピュータ及び／又はロボット支援を介して制御されてよい。例えば、カメラヘッド２０６は、コンピュータ支援手術システムのマニピュレータアーム（例えば、手術システム１００のマニピュレータアーム１１２のうちの１つ）に結合されてよく、ロボット及び／又は遠隔操作技術を用いて制御されてよい。

【0051】

シャフト２０８の遠位端は、撮像デバイス２０２によって撮像されるべき手術領域に位置付けられてよい。この構成において、撮像デバイス２０２は、解剖学的構造及び／又は身体の一部である或いは身体の近傍にある他の物体の像を取り込むために使用されてよい。様々な実装において、シャフト２０８は、（図２に示すように）剛性である。代替的に、シャフト２０８は、接合されてよく（例えば、ピッチ及び／又はヨー向き調整を可能にする関節機構を含んでよく）、且つ／或いはフレキシブル(可撓)であってよい。加えて、この例において、シャフト２０８の遠位端は、撮像デバイス２０２がシャフト２０８の軸の周りの物体（すなわち、真っ直ぐな物体）の像を取り込むように、シャフト２０８の軸に対して直交角度で終端するように示されているが、他の例において、シャフト２０８の遠位端は、シャフト２０８の軸に対して直交しない角度（例えば、３０°角度、４５°角度など）でテーパ付けられてよい。このようにして、撮像デバイス２０２は、シャフト２０８の軸からオフセットされた物体の像を取り込むことがあり、それによって、撮像デバイス２０２の視野が向けられることがある場所におけるより多くの柔軟性を可能にすることがある。

【0052】

画像センサ２１０は、それぞれ、電荷結合素子（「ＣＣＤ」）画像センサ、相補型金属酸化物半導体（「ＣＭＯＳ」）画像センサ、又は同等物のような、任意の適切な画像センサによって実装されてよい。幾つかの例では、図２に示すように、画像センサ２１０は、シャフト２０８の遠位端に位置付けられる。代替的に、画像センサ２１０は、シャフト２０８の近位端、カメラヘッド２０６の内側、又は外部撮像デバイス２０２の外側（例えば、コントローラ２０４の内側）により近く位置付けられてよい。これらの代替的な構成では、シャフト２０８及び／又はカメラヘッド２０６に含まれる光学系（例えば、レンズ、光ファイバなど）が、シーンからの光を画像センサ２１０に伝えることがある。

【0053】

画像センサ２１０は、光を検出する（例えば、取り込む、収集する、感知する、或いは他の方法で取得する）ように構成される。例えば、画像センサ２１０－Ｒは、右側の眺望(perspective)から光を検出するように構成され、画像センサ２１０－Ｌは、左側の眺望から光を検出するように構成される。画像センサ２１０によって検出される光は、例えば、視野内に位置する身体又は物体から反射する可視光、身体から反射するハイパースペクトル（すなわち、非可視）光、身体内の蛍光撮像剤によって生成される蛍光照明、又は特定の実装に役立つことがあるような任意の周波数を有する任意の他の光を含んでよい。以下に更に詳細に記載するように、画像センサ２１０は、検出される光を１つ以上の画像を表すデータに変換することがある。

【0054】

照明チャネル２１２は、１つ以上の光学コンポーネント（例えば、光ファイバ、光ガイド、レンズなど）によって実装されてよい。以下に記載するように、照明は、手術領域及びそこに含まれる物体を照明するために、照明チャネル２１２を介して提供されてよい。

【0055】

コントローラ２０４は、撮像デバイス２０２を制御する及び／又は撮像デバイス２０２とインタフェース接続するように構成されるハードウェア及びソフトウェアの任意の適切な組み合わせによって実装されてよい。例えば、コントローラ２０４は、補助システム１０６に含まれるコンピューティングデバイスによって少なくとも部分的に実装されてよい。

【0056】

コントローラ２０４は、カメラ制御ユニット（「ＣＣＵ」）２１４と、照明源２１６とを含む。コントローラ２０４は、特定の実装に役立つことがあるような追加的な又は代替的なコンポーネントを含んでよい。例えば、コントローラ２０４は、撮像デバイス２０２に含まれるコンポーネントに電力を供給するように構成された回路構成を含んでよい。幾つかの例において、ＣＣＵ２１４及び／又は照明源２１６は、代替的に、撮像デバイス２０２（例えば、カメラヘッド２０６）に含まれる。

【0057】

ＣＣＵ２１４は、画像センサ２１０の様々なパラメータ（例えば、アクティブ化時間(起動時間)、自動露出など）を制御するように構成される。以下に記載するように、ＣＣＵ２１４は、画像センサ２１０から画像データを受信して処理するように更に構成されてよい。ＣＣＵ２１４は、単一ユニットとして図２に示されているが、ＣＣＵ２１４は、代替的に、右側画像センサ２１０－Ｒを制御するように構成された第１のＣＣＵと、左側画像センサ２１０－Ｌを制御するように構成された第２のＣＣＵとによって実装されてよい。

【0058】

照明源２１６は、照明２１８を生成して放射するように構成されてよい。（本明細書では光とも呼ぶ）照明２１８は、照明チャネル２１２を経由してシャフト２０８の遠位端に進み、照明２１８はシャフト２０８の遠位端で出て、シーンを照明する。

【0059】

照明２１８は、１つ以上の周波数（例えば、色）成分を有する可視光又はハイパースペクトル光を含んでよい。照明２１８は、追加的に又は代替的に、（例えば、患者の血流に注入された蛍光撮像剤を励起して蛍光照明を放射し始めることによって）蛍光撮像剤による蛍光照明を誘発するように構成された蛍光励起照明を含んでよい。幾つかの例において、蛍光励起照明は、赤外光領域（例えば、近赤外光領域）に波長を有する。単一の照明源２１６がコントローラ２０４に含まれるように示されているが、各照明源が異なる構成の照明を生成して放射するように構成された複数の照明源が、コントローラ２０４に含まれてよい。

【0060】

シーンの１つ以上の画像を取り込むために、コントローラ２０４（又は任意の他の適切なコンピューティングデバイス）は、照明源２１６及び画像センサ２１０をアクティブ化してよい。アクティブ化されている間に、照明源２１６は、照明２１８を放射し、照明２１８は、照明チャネル２１２を介して、手術領域に進む。画像センサ２１０は、身体の解剖学的構造又は身体の近傍の他の物体の１つ以上の表面から反射される照明２１８を検出する。照明２１８が蛍光励起照明を含む場合、画像センサ２１０は、追加的に又は代替的に、蛍光励起照明によって誘発される蛍光照明を検出することがある。

【0061】

画像センサ２１０（及び／又は撮像デバイス２０２に含まれる他の回路構成）は、感知した光をシーンの１つ以上の画像を表す画像データ２２０に変換してよい。例えば、画像センサ２１０－Ｒは、右側眺望から取り込まれる画像を表す画像データ２２０－Ｒを出力し、画像センサ２１０－Ｌは、左側眺望から取り込まれる画像を表す画像データ２２０－Ｌを出力する。画像データ２２０は、任意の適切なフォーマットを有してよく、任意の適切な方法で画像センサ２１０からＣＣＵ２１４に送信されてよい。

【0062】

ＣＣＵ２１４は、画像データ２２０を処理（例えば、パケット化、フォーマット化、符号化(エンコード)など）し、処理済み画像データ２２２（例えば、画像データ２２０－Ｒに対応する処理済み画像データ２２２－Ｒ及び画像データ２２０－Ｌに対応する処理済み画像データ２２２－Ｌ）を出力してよい。処理済み画像データ２２２は、画像プロセッサ（図示せず）に送信され、画像プロセッサは、処理済み画像データ２２２は、（例えば、ビデオストリーム及び／又は１つ以上の静止画像の形態において）１つ以上のディスプレイデバイス上で表示するために処理済み画像データ２２２を準備してよい。例えば、画像プロセッサは、画像データ２２２に基づいて、ユーザ制御システム１０４の立体視ビューア又は補助システム１０６のディスプレイモニタ１１４のような１つ以上のディスプレイデバイス上で表示するために、１つ以上のフルカラー画像、グレースケール画像、及び／又は蛍光画像を生成してよい。

【0063】

撮像システム２００は、上述の方法で身体の像を取り込むときに、撮像システムは、特定の視点から画像を取り込んでよい。ユーザの好み、どの手術が任意の所与のときに行われるか、及び様々な他の要因に基づいて、像を取り込む視点が、視点の向きの１つ以上の態様を調整することによって調整されることが望ましいことがある。

【0064】

例示のために、図３は、（撮像システム２００内の）撮像デバイス２０２が身体３０２の像を取り込む例示的な視点３００を示している。上述のように、手術セッション内の手術は、生きている人間の患者の身体、死体、人間でない被検体（例えば、動物又は同等物）の身体、又は別のそのような生物学的身体を含むが、これらに限定されない、様々なタイプの身体に関して（例えば、内で）行われてよい。幾つかの例において、手術がその上で又はその内側で行われる身体は、これらの他のタイプの身体のうちの１つの身体の解剖学的部分のみであってよい。例えば、遺体は、身体から分離された臓器又は完全な生物学的身体から取られた他の身体部分、人工訓練治具（例えば、人工臓器又は他の身体部分）、又は訓練、実験、及び／又は（例えば、現実又はエクステンデッドリアリティ訓練システムを使用する）他のそのような目的のために使用される仮想身体であってよい。更に他の例では、手術システム１００に類似するコンピュータ支援手術システムが、エンジン又は他の複雑なシステムのような複雑な電気的又は機械的システムの本体内で検査又は修理操作を行うのに有用なことがある。更に別の例として、コンピュータ支援手術システムが、法の執行又は（例えば、危険な爆発装置を検査し且つ無効化する、密閉空間などでの監視を実施するなどの）監視の文脈において、及び／又は任意の他の文脈において又は特定の実装に役立つことがあるような任意の他の技術と共に使用されてよい。

【0065】

本明細書で使用するとき、視点３００のような（「撮像デバイス視点」とも呼ぶ）撮像デバイスの「視点」は、位置、向き、構成、解像度、及び同等物の様々な態様の組み合わせを指すことがあり、それらは共に協力して、撮像デバイスが特定の時間の瞬間に何の画像を取り込むかを画定してよい。図３は、撮像デバイス２０２の位置、向き、構成、解像度などに変更が加えられると、視点３００が相応して調整されることを示唆するために撮像デバイス２０２のシャフトに沿って延びる矢印として、視点３００を描いている。

【0066】

視点３００は、撮像デバイス２０２の位置、向き、構成、解像度、及びその他の様々な態様によって画定されてよい。ここで記載するように、これらの態様の各々は、視点３００の向きの異なる態様又は異なるタイプの向き３０４（例えば、向き３０４－１～３０４－５）として本明細書において言及される。

【0067】

図示のように、視点３００のズーム向き３０４－１は、撮像デバイス２０２のシャフトの長手軸に沿う視点３００の見かけの位置に関する。よって、例えば、ズーム向き３０４－１に対する調整は、調整されていない初期ズーム向き３０４－１と比較して、より大きく（より近く）又はより小さく（より遠く）見える像をもたらすことがある。特定の実装において、ズーム向き３０４－１に対する調整は、取り込まれている身体３０２の部分により近く又は取り込まれている身体３０２の部分から遠く離れて撮像デバイス２０２を物理的に移動又はスライドすることによって行われてよい。本明細書では、そのようなズーム調整を光学ズーム調整と呼ぶことがある。他の実施形態において、調整は、撮像デバイス２０２の物理的向きを物理的に移動又は調整することなく行われてよい。例えば、ズーム調整は、レンズ、レンズ構成、又は撮像デバイス２０２の他の光学的態様を内部的に変化させることによって、或いは撮像デバイス２０２によって取り込まれる画像データにデジタルズーム操作を適用することによって、光学的に行われてよい。

【0068】

視点３００の水平向き３０４－２は、撮像デバイス２０２のシャフトの長手軸（すなわち、図３に図示する座標系に従ったｚ軸）に沿う撮像デバイス２０２の回転に関する。従って、例えば、水平向き３０４－１における１８０°の調整は、０°の水平向きと比較して、上下逆の像をもたらす。特定の実装において、水平向き３０４－１に対する調整は、撮像デバイス２０２を物理的に回転させることによって行われてよい一方で、他の実施形態において、そのような調整は、撮像デバイス２０２の物理的向きを物理的に移動又は調整することなく行われてよい。例えば、水平調整は、撮像デバイス２０２によって取り込まれる画像データをデジタル的に操作又は処理することによって行われてよい。

【0069】

視点３００の平面向き３０４－３は、取り込まれている身体３０２の平面に対する撮像デバイスの位置に関する。よって、平面向き３０４－３は、撮像デバイス２０２を長手軸に直角に（すなわち、図３に示す座標系に従ってｘ－ｙ平面に平行に）左、右、上又は下にパンすることによって調節されてよい。平面向き３０４－３を調整されるとき、身体の像はスクロールするので、身体の異なる部分が、平面向き３０４－３に対する調整が以前よりも行われた後の画像データによって描かれる。

【0070】

上述のように、撮像デバイス２０２の特定の実装は、接合されてよく、フレキシブルであってよく、或いはさもなければ撮像デバイス２０２の長手軸から離れる方向において像を取り込むよう関節作動する能力を有してよい。加えて、撮像デバイス２０２の特定の実装が剛性で真っ直ぐであるとしても、撮像デバイスが真っ直ぐ前方以外の方向において像を取り込むことを同様に可能にするように、角度付きビュー（例えば、上下３０°角度付きビューなど）のための設定が利用可能であってよい。従って、撮像デバイス２０２のこれらの実装のいずれについても、法線軸（すなわち、図示の座標系のｙ軸）に沿う撮像デバイスのヘッディングに影響を及ぼすヨー向き３０４－４、並びに横軸（すなわち、図示の座標系のｘ軸）に沿う撮像デバイスの傾斜に影響を及ぼすピッチ向き３０４－５も、調整可能なことがある。

【0071】

様々な向き３０４を明示的に記載したが、撮像デバイス２０２が身体３０２の像をどのように取り込むかの様々な他の態様が、特定の実装における撮像デバイス２０２の向きの調整可能な態様として同様に含まれてよいことが理解されるであろう。

【0072】

視点３００に基づいて、撮像デバイス２０２は、身体３０２の特定の視野３０６を取り込むように示されている。視野３０６は、撮像デバイス２０２の視点３００の様々な向き３０４が調整されるに応じて、様々な方法で変化する場合があること（例えば、横から横に動く、より大きくなる或いはより小さくなるなど）が理解されるであろう。

【0073】

図４は、コンピュータ支援手術システム（例えば、手術システム１００）の手術セッション中に撮像デバイス視点（例えば、撮像デバイス２０２の視点３００）の最適化を容易にする例示的な視点最適化システム４００（「システム４００」）を図示している。図４に示すように、システム４００は、限定されるものではないが、選択的にかつ互いに通信的に結合される貯蔵施設４０２及び処理施設４０４を含んでよい。設備４０２及び４０４は、それぞれ、ハードウェア及び／又はソフトウェアコンポーネント（例えば、プロセッサ、メモリ、通信インタフェース、プロセッサによる実行のためにメモリに格納される命令など）を含んでよく、或いはそれらによって実装されてよい。幾つかの例において、設備４０２及び４０４は、特定の実装に役立つことがあるような複数の装置及び／又は複数の場所の間に分散されてよい。

【0074】

上述のように、システム４００は、特定の実装において、（例えば、補助システム１０６、ユーザ制御システム１０４などと一体化されることによって）、手術システム１００によって実装されてよく、操作システム１００と一体化されてよく、或いは手術システム１００に組み込まれてよい。他の実装において、システム４００は、手術システム１００とは別個の（しかしながら、手術システム１００に通信的に結合された）コンピューティングデバイスに組み込まれてよい。ここで、設備４０２及び４０４の各々をより詳細に記載する。

【0075】

格納設備４０２は、本明細書に記載する機能性のいずれかを行うために処理設備４０４によって使用される実行可能データを維持（例えば、格納）することがある。例えば、格納設備４０２は、本明細書に記載する機能性のいずれかを行うために処理設備４０４によって実行されることがある命令４０６を格納することがある。命令４０６は、任意の適切なアプリケーション、ソフトウェア、コード、及び／又は他の実行可能データインスタンスによって実装されてよい。格納設備４０２は、処理設備４０４によって受信される、生成される、管理される、使用される、且つ／或いは送信される任意のデータを維持することもある。

【0076】

処理設備４０４は、コンピュータ支援手術システムの手術セッション中に撮像デバイスの視点を最適化すること（又は最適化を容易にすること）に関連する様々な処理関数を行う（例えば、行うよう格納設備４０２に格納される命令４０６を実行する）ように構成されてよい。本明細書で使用するとき、手術セッションとは、ユーザ（例えば、臨床医１１０－１）がコンピュータ支援手術システム（例えば、手術システム１００）に指示して本明細書に記載する任意のタイプの身体に対して１つ以上の手術を行う任意のセッションを指すことがある。例えば、特定の手術セッションは、人間若しくは動物の患者に対して行われる外科処置、そのような外科処置の前若しくは後に行われる撮像若しくは探索処置、又は同等の処置を含む、臨床セッションであることがある。他の例において、手術セッションは、死体又は人工身体に対して行われる訓練処置を含む、或いはエクステンデッドリアリティ環境内のエクステンデッドリアリティ（例えば、仮想現実又は拡張現実）身体を含む、非臨床セッションであることがある。

【0077】

処理設備４０４は、撮像デバイスの視点の最適化を任意の適切な方法で容易にすることがある。例えば、一例において、処理設備４０４は、手術セッションに関連した状態を識別することがあり、手術セッションの間に、手術システム１００は、身体に対して複数の手術を行う一方で、（手術システム１００に含まれることがある）撮像デバイス２０２は、手術セッション中にディスプレイデバイス上に表示するための像を提供する。例えば、撮像デバイスは、第１の視点から身体の像を提供することがある。以下に更に詳細に記載するように、識別された状態は、ユーザが手術システム１００に指示して複数の手術、手術自体、又は同等のことを行うことに関連する任意の適切な状態であってよい。識別された状態に基づいて、処理設備４０４は、第１の視点とは異なる撮像デバイスのための第２の視点を画定してよい。特に、第２の視点は、複数の手術に含まれる手術について第１の視点よりもより最適であるように画定されてよい。次に、処理機能４０４は、ディスプレイ装置に指示して本明細書に記載する方法のいずれかにおいて第２の視点のしるし(indication)を表示してよい。

【0078】

別のより具体的な例として、処理設備４０４は、上述の例で記載したような手術セッション中に、ユーザが、第１の視点に関連する第１の手首姿勢を使用して、コンピュータ支援操作システムに指示して、複数の手術に含まれる手術を行うことを決定することがある。例えば、処理設備４０４は、ユーザが、次善の手首姿勢を使用して、縫合を実施するために組織を通じて針を駆動するような手術(操作)を行っていると決定することがある。処理設備４０４は、第１の手首姿勢よりも手術の遂行を指示するためにより最適な第２の手首姿勢に関連する第２の視点を画定してよい。例えば、処理設備４０４は、組織を通じて針を駆動する特定の方向についてより中立な（例えば、ユーザの手首のぎこちない曲げ(bending)又は伸ばし作業(reaching)の必要がより少ない）手首姿勢に関連付けられるように、第２の視点を画定してよい。第２の視点は、（例えば、より中立な手首姿勢を達成するように）、例えば、第１の視点の水平方向とは異なる水平方向を有するような任意の適切な方法で画定されてよい。

【0079】

ディスプレイデバイスが第１の視点から身体の像を表示している間に、処理設備４０４は、ディスプレイデバイスに指示して、第２の視点の水平方向を示すレチクルオーバーレイグラフィック(reticle overlay graphic)を第１の視点からの身体の表示される像と統合してよい。次に、第２の視点の水平方向を示すレチクルオーバーレイグラフィックの統合に応答して、処理設備４０４は、ユーザが第１の視点から身体の像を見る代わりに第２の視点から身体の画像を見ることを選択することを示すユーザ入力を受信してよい。このユーザ入力に応答して、処理設備４０４は、ディスプレイデバイスに指示して、第１の視点から身体の像を表示することから、第２の視点から身体の像を表示することに切り替えてよい。

【0080】

例示のために、図５Ａは、手術システム１００（又は、他の例では、手術システム１００に類似する別のコンピュータ支援手術システム）が、身体３０２に対して複数の手術を行う一方で、（手術システム１００内に含まれることがある）撮像デバイス２０２が、異なる例示的な視点３００（例えば、視点３００－１及び３００－２）から身体３０２の像を取り込む、例示的な手術セッション５００を示している。より具体的には、図５Ａは、撮像デバイス２０２の位置を示す側面眺望から、切開が行われた本体３０２の特定の部分と、切開に対する撮像デバイス２０２の遠位端の相対的な位置とを示している。図示のように、様々な器具５０２、５０４、及び５０６が、手術部位で身体３０２に対して１つ以上の手術を行うために使用されている。例えば、器具５０２及び５０４は、主として、行われている手術を促進するために組織及び／又はツールを操作するために使用されることがある一方で、器具５０６は、組織の特定の部分を経路外に保持するために或いはさもなければ手術の遂行を容易にするために使用されることがある。

【0081】

図５Ａにおいて、撮像デバイス２０２の遠位端は、（実線を用いて示す）時間の第１の瞬間及び（点線を用いて示す）時間の第２の後の瞬間で示されている。図示のように、撮像デバイス２０２は、時間の第1の瞬間に第１の視点３００－１を有し、時間の第２の瞬間に第２の視点３００－２を有する。視点３００－１及び３００－２の各々の後に示す小さな矢印は、Ｘ、Ｙ、及びＺ次元を有するように示される三次元（「３Ｄ」）座標系に対するその視点についての水平向き（すなわち、撮像デバイス２０２が長手軸に沿ってどのように回転させられるか）を示している。より具体的には、視点３００－１の水平向きは、上向きの正のＸ次元を有するように示されている一方で、視点３００－２の水平向きは、上向きの正のＹ寸法を有するように示されている。それぞれの水平向きが異なる視点３００－１及び３００－２と共に、視点３００－１から３００－２へのズーム向きも調整されて示されている。何故ならば、視点３００－２は、身体３０２の組織により近い（すなわち、光学的にズームインされている）からである。

【0082】

図５Ｂは、手術セッション５００の間に視点３００－１及び３００－２から取り込まれた像を表示する例示的なディスプレイデバイスを図示している。具体的には、視点３００－１から撮像デバイス２０２によって取り込まれた像５０８－１は、時間の第１の瞬間にディスプレイデバイス５１０で表示される一方で、視点３００－２から撮像デバイス２０２によって取り込まれた像５０８－２は、撮像デバイス２０２の視点が調整された（すなわち、ズームインされて９０度回転された）ときに、時間の第２の瞬間にディスプレイデバイス５１０で表示される。像５０８－１及び５０８－２に何が描かれており、それらが互いにどのように異なるかを明確にするのを助けるために、図５Ａに含まれる同じ座標系が図５Ｂの画像５０８－１及び５０８－２の各々と並んで示されていることにも留意のこと。両方の場合において、Ｚ次元は、ｚ軸が撮像デバイススクリーンから真っ直ぐに出てくる（すなわち、この例における撮像デバイス２０２の長手軸と平行である）と理解されるべきであることを示すために、ドット表記によって図示されている。しかしながら、Ｘ次元は、像５０８－１において上向きとして図示されているが、視点３００－１から視点３００－２への水平向きに対する９０°調整は、像５０８－２において上向きのＹ次元をもたらすように示されている。

【0083】

図５Ｂにおいて、ディスプレイデバイス５１０は、矩形の平面視ディスプレイスクリーンとして図示されている。例えば、図１に関連して上述した手術システム１００を再度参照すると、補助システム１０６のディスプレイモニタ１１４は、特定の実装においてそのようなディスプレイデバイス５１０を実装することがある。同じ又は他の実装において、ディスプレイデバイス５１０は、追加的に又は代替的に、他のタイプのディスプレイスクリーンによって実装してよいことも理解されるであろう。例えば、ディスプレイデバイス５１０は、臨床医１１０－１が操作システム１０２に指示して身体３０２に対して手術を行うときに臨床医１１０－１によって見られるものとして上述されたユーザ制御システム１０４の立体視ディスプレイスクリーンによって実現されてよい。

【0084】

上述のように、あまり最適でない視点からより最適な視点に切り替えることは、手術が行われている手術領域の改良されたビューという有意な利益よりも更に多くの利益をもたらすことがある。例えば、既述のように、次善の視点が、比較的不自然で、不快で、又は非効率な手首姿勢と関連付けられるときに、より自然で、快適で、効率的な手首姿勢が、より最適な視点によって可能にされることがある。

【0085】

例示のために、図５Ｃは、ユーザ（例えば、臨床医１１０－１など）が視点３００－１及び３００－２からの像をそれぞれ見ながら手術を行うために使用する、例示的な手首姿勢５１２－１及び５１２－２を示している。手首姿勢５１２－１及び５１２－２の各々について、左手首及び右手首は、それぞれ、器具５０２及び５０４のポーズ(poses)を模倣するよう提示される(posed)（すなわち、位置付けられる、方向付けられる）。よって、ひとたび手術システム１００が通常手術モードになると、器具５０２は追従し、ユーザの左手及び手首によって方向付けられるように構成されることがある一方で、器具５０４は追従し、ユーザの右手及び手首によって方向付けられるように構成されることがある。しかし、図５Ｃに図示するように、器具が像５０８－１において提示されるときに器具を方向付けるために必要とされる手首姿勢は、器具が像５０８－２において提示されるときに器具を方向付けるために必要とされる手首姿勢と有意に異なる。

【0086】

具体的には、図示のように、視点３００－１と関連付けられ、像５０８－１において提示されるように器具５０２及び５０４と関連付けられる、手首姿勢５１２－１は、特定のタスクのためには比較的不便で、不快で、非効率的な手首姿勢であることがある。例えば、左腕は、左手首が後方に有意な程度に曲げられた状態で、ぎこちなく戻される一方で、右腕は、右手首がやや不自然な程度に前方に曲げられた状態で、前方に伸ばされる。この手首姿勢は、特定の手術を行うためには許容可能であるか或いは望ましくさえもあるが、それは他の手術を行うためには次善であり且つ望ましくないことがある。従って、システム４００は、像５０８－２を表示することによって視点３００－２のしるしを表示するよう、視点３００－２を画定し、ディスプレイデバイス５１０に指示してよい。

【0087】

図示のように、このようにして、システム４００は、ユーザが、像５０８－２に示す手術領域のより詳細なビューを見ること並びにより快適で最適な手首姿勢を取ることを可能にすることがある。具体的には、図示のように、視点３００－２と関連付けられ且つ像５０８－２において提示される器具５０２及び５０４と関連付けられる手首姿勢５１２－２は、手首姿勢５１２－１よりも、特定の手術についてより最適な（例えば、より自然な、快適な、効率的な）手首姿勢であることがある。従って、そのような手術について、視点３００－２は、より最適な視点３００－１であることがある。

【0088】

図５Ａ～図５Ｃは、水平向き及びズーム向きの両方への変更を含む視点調整を図示しているが、システム４００は、本明細書に記載する任意の適切な向き（例えば、向き３０４のいずれか）を使用して、任意の適切な理由のために、任意の適切な方法で、第２の視点を画定してよいことが理解されるであろう。一例として、第２の視点は、遂行されている手術又は次に遂行されることが予想される手術に関連する動き(movements)のための直観的且つ自然な運動(motions)を容易にするように特に画定されてよい。例えば、手術が組織を通して針を駆動して組織の２つの部分を互いに縫合することを含むならば、より最適な視点は、手術が行われるときにユーザの手首及び手が高い強度と制御をもたらし得る角度で針が駆動されることを可能にするように画定されてよい。別の例として、第２の視点は、特定の手術のための適切なレベルのズームを達成し、それによって、ユーザが手術されている組織及び物体の満足のいく深さ知覚を利用するのを可能にするのに十分な程に近くズームインされる一方で、ユーザが手術されている領域の周りの適切な量のコンテキストを見ることを可能にするのに十分な程に遠くズームアウトされるように、画定されてよい。

【0089】

更に別の例として、システム４００は、ユーザが１つの器具を制御することと別の器具を制御することとの間の比較的便利な切り替えを可能にする水平向きを有する視点を画定してよい。例えば、ユーザが自分の右手を用いて器具５０４及び５０６を交互に制御する（例えば、どの器具が右手に従っているかの間であちこち切り替える）ならば、これらの器具のそれぞれをそれらの有意に異なるポーズにおいて方向付けるために必要とされる有意な手首姿勢の変更を常に行うことは、非効率的又は面倒なことがある。従って、システム４００は、より最適な視点が、器具５０４及び５０６の両方のポーズ並びに器具５０４及び５０６の両方を制御するのに必要な対応する手首姿勢を説明する視点であるように画定してよい。

【0090】

システム４００が撮像デバイスの視点を最適化するのを助けることによってどのようにして手術の遂行を容易化することがあるかについてのこれらの及び他の例をより良く例示するために、図６～図１１は、それぞれ、特定の手術に次善の第１の例示的な視点から画像を表示し、次に、特定の手術により最適な第２の例示的な視点から画像を表示する、ディスプレイデバイス５１０を図示している。具体的には、図６～図１１の各々は、図の左側のディスプレイデバイス５１０の描写上の第１の（次善の）視点からの画像を示す一方で、図の右側のディスプレイデバイス５１０の描写上に第２の（より最適な）視点からの画像を示している。加えて、特定の例において第1及び第２の視点の間で行われる、水平向き、ピッチ向き、ヨー向き、及びその他に対する調整を図示するのを助けるために、図６～１１における像の各描写は、像に描写されている器具及び身体３０２と相対的であると理解され、よって、第１及び第２の視点の間で一貫性を維持する、Ｘ、Ｙ、Ｚ座標を有する３Ｄ座標系を含む。

【0091】

図６は、次善であると理解される第１の視点から像６００－１を表示し、次に、第１の視点とは異なる水平方向を有し且つ第１の視点よりもより最適であると理解される第２の視点から像６００－２を表示する、ディスプレイデバイス５１０を図示している。上述のように、システム４００は、手術セッションに関連する識別された状態に基づいて第２の視点を画定してよく、この識別された状態は、行われている特定の手術（例えば、針を駆動することは、記載されている１つの例示的な手術である）に関することがある。システム４００は、任意の適切な方法で行われている手術又は行われようとしている手術を決定してよい。例えば、システム４００は、行われている手術又は行われようとしている手術を示す手動入力をユーザから受信してよく、或いは、システム４００は、ユーザによって行われている手術、シーケンスの一部として以前に行われた他の手術、又は同等のことに基づいて、手術を自動的に認識してよい。

【0092】

手術セッション中に進行中の又はやがて来ると決定される特定の手術に基づいて、システム４００は、ユーザの手首姿勢を分析し、相応して第２の視点を画定してよい。より具体的には、システム４００は、第１に、第１の視点に関連する第１の手首姿勢６０２－１を用いて手術システム１００に指示して特定の手術を行うと決定し、第２に、第１の視点の水平向きとは異なる水平向きを有する視点に関連する第２の手首姿勢６０２－２が手首姿勢６０２－１よりも特定の手術の遂行を指示するのにより最適であると決定することによって、手術セッションに関連する状態を識別してよい。システム４００は、ユーザがより最適な手首姿勢６０２－２の代わりに最善未満の手首姿勢６０２－１を使用しているこの状態を識別することに基づいて、システムは、第２の視点が手首姿勢６０２－２に関連する視点であると画定することによって、識別された状態に基づいて第２の視点を画定してよい。換言すれば、システム４００は、ユーザがより最適な手首姿勢６０２－２を取ることを可能にする視点である第２の視点を画定してよい。

【0093】

他の例において、システム４００は、他の適切な方法で手術セッションに関連する状態を識別してよく、或いは、その状態は、手術セッションに関連付けられるべき本明細書に記載する他の適切な要因に対応してよい。例えば、特定の実装では、手術セッションの状態を評価するときにユーザの現在の手首姿勢だけを説明するよりもむしろ、システム４００は、互いに対するユーザの両手の現在の空間的位置、制御されている器具に対するユーザの両手のコロケーション(co-location)状態、又は同等のことを更に説明することがある。コンピュータ支援手術システムの実装では、ユーザの両手と器具の共配向(co-orientation)が必要とされることがある（すなわち、手首姿勢、指の位置決め、及び同等のことが、ユーザによる器具制御の前に器具と配向的に整列させられるように、必要とされることがある）。しかしながら、これらの実装のうちの少なくとも一部において、両手及び器具のコロケーションが必要とされないことがある（すなわち、たとえ器具が３Ｄ空間で互いに比較的近いとしても或いはその逆であるとしても、ユーザの両手が３Ｄ空間内で互いに比較的離れていることがあるように、必要とされないことがある）。従って、システム４００は、より最適な視点を決定するときの手首姿勢及び手の向きに関するユーザの快適性及び利便性のみならず、互いに対するユーザの両手の各々の手の空間的場所及び届く範囲(reach)に関する快適性及び利便性も説明することがある。他の例では、以下により詳細に記載するように、識別された状態は、行われている特定の手術、ユーザの同一性又は既知の習慣（例えば、以前に観察された遂行の強さ及び弱さなど）、又は特定の実装に役立つことがある手術セッションに関連する任意の他の状態に関連することがある。

【0094】

ひとたびシステム４００が第２のより最適な視点を画定すると、システム４００は、ディスプレイデバイス５１０に指示して、特定の実装に役立つことがあるような任意の方法で第２の視点のしるしを表示してよい。

【0095】

一例として、システム４００は、ディスプレイデバイス５１０が第１の視点から身体３０２の像６００－１を表示している間に、第２の視点を示すグラフィカルオブジェクト(graphical object)を表示するようディスプレイデバイス５１０に指示することによって、第２の視点のしるしを表示するようディスプレイデバイス５１０に指示してよい。具体的には、グラフィカルオブジェクトは、第１の視点から身体３０２の表示される像と一体化されたオーバーレイグラフィック(overlay graphic)として表示されてよい。例示のために、図６は、身体３０２の像６００－１と一体化されたレチクルオブジェクト６０４(reticle object)を示している。レチクルオブジェクト６０４は、第２の視点を示すために使用されることがあるグラフィカルオブジェクトのタイプの一例であってよく、追加的なそのような例が以下に記載され且つ例示される。図示のように、レチクルオブジェクト６０４は、第２の視点の水平向きを示す。具体的には、この例では、第１の視点の水平向きを表す実線が、第２の視点の水平向きを表す点線と共に示されている。矢印は、実線からレチクル物体６０４内の点線を指して、第２の視点への調整をもたらす第１の視点の水平向きの反時計回りの調整を示している。レチクルオブジェクト６０４は、一例であるに過ぎず、他の例では、レチクルオブジェクトの他のタイプ又はスタイル（例えば、半透明十字線など）を使用して、特定の実装に役立つことがある第２の視点の水平向きを示してよいことが理解されるであろう。

【0096】

他の例において、システム４００は、ディスプレイデバイス５１０に指示して、他の方法で第２の視点のしるしを表示してよい。例えば、レチクルオブジェクト６０４のようなグラフィカルオブジェクトの表示を指示するよりもむしろ、システム４００は、ディスプレイデバイス５１０に指示して、像６００－１と共に像６００－２を表示してよい。例えば、システム４００は、ディスプレイデバイス５１０に指示して、像６００－１をオーバーレイする(overlaying)ピクチャ・イン・ピクチャ方式で、（例えば、像６００－１の表示をオーバーレイする或いは下に重ねる(underlaying)）異なる提示層上の半透明方式で、又は任意の他の適切な方法で、像６００－２を表示してよい。加えて、以下により詳細に記載するように、システム４００は、ディスプレイデバイス５１０に指示して、像６００－１を表示することを自動的に又は半自動的に中止し、像６００－１の代わりに像６００－２を表示し、それによって、撮像デバイス２０２を自動的に調整して、第２の視点から像６００－２を取り込むために、ユーザが撮像デバイス２０２をどのように手動で調整して第２の視点から像６００－２を取り込むかをユーザに示唆するよりもむしろ、第２の視点から像６００－２を取り込んでよい。

【0097】

手術を行うための関連する手首姿勢及び行われる特定の手術に関連する状態を識別することに加えて或いは代替として、システム４００は、身体３０２及び／又は器具５０２（及び図６～図１１に明示的に示されていない器具５０４及び５０６のような他の器具）に対する撮像デバイス２０２のポーズに関連する状態を識別してよい。例えば、システム４００によって識別される状態であって、画定される第２の視点が基づく状態は、撮像デバイス２０２の相対的なズーム向き、撮像デバイス２０２の相対的な平面向き、又は同等の向きに関する状態であってよい。図７及び図８は、それぞれ、これらのタイプの状態に基づいて画定された最適化された視点の例を図示している。

【0098】

具体的には、図７は、次善であると理解される第１の視点から像７００－１を表示し、引き続き、第１の視点とは異なるズーム向きを有し且つ特定の手術のために第１の視点よりもより最適であると理解される第２の視点から像７００－２を表示する、ディスプレイデバイス５１０を図示している。この例において、システム４００は、１）像７００－１を表示するときに、身体３０２に対する手術の遂行を描写するアクティブ像が、ディスプレイデバイス５１０によって第１の詳細レベルで描かれることを決定すること、及び２）第１の視点のズーム向きとは別個のズーム向きを有する視点から身体の像を表示することが、第１の詳細レベルよりも手術を行うのにより最適な第２の詳細レベルでアクティブ像を描かせることを決定することによって、状態を識別してよい。例えば、システム４００は、像７００－１を表示する第１の視点が、行われている特定の手術について、詳細さ、深さ知覚、器具感度などの最適なレベルを提供するにはあまりに遠くズームアウトされていると決定してよく、その結果、より最適な視点が、より大きな詳細レベルを提供するために更にズームインされるズーム向きを有する視点であると決定してよい。別の例として、システム４００は、第１の視点が、行われている手術の周りのコンテキストの適切なレベルを提供するにはあまりに近接してズームインされていると決定してよく、その結果、より最適な視点が、より低い詳細レベルを提供するためにズームアウトされるズーム向きを有すると決定してよい。

【0099】

いずれの場合にも、システム４００による識別された状態に基づいて第２の視点を画定することは、より最適なズーム向きを備える（例えば、状況が要求するように更にズームイン又はズームアウトされた）視点を画定することを含んでよい。具体的には、システム４００は、アクティブ像が手術を行うのにより最適な第２の詳細レベルで描かれるように、第２の視点が第１の視点のズーム向きとは別個のズーム向きを有する視点であるように画定してよい。

【0100】

図７に図示する例において、像７００－１は、比較的低い第１の詳細レベルで身体３０２に対する手術の遂行を描写するアクティブ像を描いている。本明細書で使用するとき、身体に対する手術の遂行を描写する「アクティブ像(active imagery)」は、手術が行われている領域及び（ユーザ焦点の領域のすぐ周囲の他の領域とは対照的に）ユーザが焦点を合わせている領域を描く像を指す。従って、手術の遂行中の任意の所与の瞬間におけるアクティブ像は、手術が行われている身体の一部分の像、並びに手術を行うために使用される器具及び／又は他の物体を含むことがある一方で、行われている手術に特に関係のない身体の他の部分及び／又は他の器具物体は除外されることがある。

【0101】

像７００－１によって図示される比較的低い第１の詳細レベルは、特定の手術を行うために次善であることがある。例えば、アクティブ像内の組織及び／又は物体に関するユーザの深さ知覚は、身体３０２から遠く離れたズーム向きから次善であることがあり、ユーザは、一般的に、最も効率的かつ効果的な方法で手術を行うための最適な量の詳細を知覚することができない。従って、システム４００は、ズーム向きが像７００－２に示されるような比較的高い第２の詳細レベルを提供するように調整される、第２の視点を画定してよい。このようにして、ユーザは、可視性、深さ知覚、及び何が手術部位で起きているかの理解を享受することがある。加えて、特定の例において、手術を行うために使用される器具（例えば、器具５０２など）は、より詳細な図でより感度が高くされてよく、それはユーザが複雑な動き及び詳細な作業をより容易に行うことを可能にすることがある。

【0102】

図６に関連して上述したように、ひとたびシステム４００が第２の視点を画定すると、システム４００は、ディスプレイデバイス５１０に指示して、様々な方法で第２の視点のしるしを表示させてよい。図７に示すように、ディスプレイデバイス５１０に指示して第２の視点のしるしを表示する１つの方法は、ディスプレイデバイス５１０に指示して、ディスプレイデバイス５１０が像７００－１を表示している間に、第２の視点を示すグラフィカルオブジェクトを表示することである。具体的には、図示のように、第２の視点を示すグラフィカルオブジェクトは、第２の視点のズーム向き及び平面向きのうちの少なくとも１つを示す境界ボックス７０２(バウンディングボックス)を含んでよい。上述のレチクルオブジェクト６０４と同様に、境界ボックス７０２は、像７００－１と一体化されたオーバーレイグラフィックとして表示されてよい。境界ボックス７０２に基づいて、ユーザは、撮像デバイス２０２の向きパラメータを手動で調整して、最適化された第２の視点に移動し、像７００－２を受信し始めてよく、或いは、幾つかの例では、本明細書に記載する任意の方法で最適化された視点に自動的に又は半自動的に調整してよい。

【0103】

図８は、次善であると理解される第１の視点から像８００－１を表示し、引き続き、第１の視点とは異なる平面向きを有する第２の視点であって、第１の視点よりもより最適であると理解される第２の視点から像８００－２を表示する、ディスプレイデバイス５１０を図示している。この例において、システム４００は、１）身体３０２に対する手術の遂行を描写するアクティブ像が、像８００－１を表示するときに、ディスプレイデバイス５１０によって提示される視野の第１の部分で描かれることを決定すること、及び２）第１の視点の平面向きとは別個の平面向きを有する視点から身体の像を表示することが、視野の第１の部分よりも手術を行うのにより最適な視野の第２の部分でアクティブ像を描かせることを決定することによって、状態を識別してよい。例えば、システム４００は、像８００－１が表示する第１の視点が、中心のような視野のより最適な部分においてよりむしろ、ディスプレイデバイス５１０によって提示される視野の隅又は側面においてアクティブ像を示すことを決定してよい。その結果、システム４００は、より最適な視点が、より中心にある視野の一部分においてアクティブ像を示す視点であると決定してよい。従って、システム４００による識別された状態に基づいて第２の視点を画定することは、アクティブ像を視野の中心により近く移動させるよう視点を画定することを含んでよい。具体的には、システム４００は、アクティブ像が手術を行うのにより最適な視野の第２の部分に描かれるように、第２の視点が第１の視点の平面向きとは別個の平面向きを有する視点であるように画定してよい。

【0104】

図８に図示する例において、像８００－１は、視野の隅付近のディスプレイデバイス５１０の視野の第１の部分で身体３０２に対する手術の遂行を描写するアクティブ像を描いている。具体的には、図８の上部の視野キーに示される視野８０２の異なる部分８０２－１～８０２－９を参照すると、像８００－１における手術の遂行を描写するアクティブ像は、視野８０２の部分８０２－１（すなわち、視野の左上隅）に大部分又は完全に表示されるように示されている。アクティブ像のこの位置決めは、特定の手術を行うのに次善であることがある。何故ならば、視野の中心付近（例えば、部分８０２－５又はその周辺）にアクティブ像を有することが理想的であることがあるからである。従って、システム４００は、アクティブ像を視野の中心８０２により近く、例えば、部分８０２－５において中心化されるように表示するために、平面向きが調整される、第２の視点を画定してよい。

【0105】

図６及び図７に関連して上述したように、ひとたびシステム４００が第２の視点を画定すると、システム４００は、ディスプレイデバイス５１０に指示して、様々な方法で第２の視点のしるしを表示してよい。例えば、像８００－１から像８００－２への完全な又は半自動的な変更が使用されてよく、或いは、ユーザが撮像デバイス２０２のパラメータを手動で調整して像８００－２に関連する第２の視点に再配向することを可能にするために、オーバーレイグラフィックが表示されてよい。図６に関連して上述したレチクルオブジェクト６０４は、水平向き調整を示すのに非常に効果的であり、図７に関連して上述した境界ボックス７０２は、（場合によっては比較的小さな平面向き調整を伴う）ズーム向き調整を示すのに同様に効果的であるが、これらのタイプのオーバーレイオブジェクトは、像８００－１の次善の視点から像８００－２のより最適な視点へ移動する図８に図示する平面向き調整にそれほど効果的に役立たないことがある。加えて、ピッチ向き調整、ヨー向き調整、及び／又は撮像デバイス２０２に対する他の向き調整は、同様に、レチクルオブジェクト６０４又は境界ボックス７０２のような二次元オーバーレイオブジェクトによって特に良く示されないことがある。

【0106】

従って、特定の例において、第２の視点を示すグラフィカルオーバーレイオブジェクトは、撮像デバイス２０２が異なる視点から身体３０２の像を提供するときに撮像デバイス２０２の視野に固定される第１の３Ｄ形状と、第２の視点のズーム向き、平面向き、水平向き、ピッチ向き、及びヨー向きのうちの少なくとも１つを示す第２の３Ｄ形状とを含んでよい。例えば、１つの３Ｄ形状は、撮像デバイス２０２自体に固定される（例えば、撮像デバイスがズーム、パン、関節作動などされるときに、撮像デバイスの前に浮んでいる）ように見える一方で、ターゲット３Ｄ形状は、第１の３Ｄ形状がターゲット３Ｄ形状に整合されるならば、撮像デバイス２０２が第２の視点（すなわち、より最適なターゲット視点）から像を取り込むように調整されるように、身体３０２に固定されてよい。

【0107】

例示のために、図９は、次善であると理解される第１の視点から像９００－１を表示し、引き続き、第１の視点の向きとは複数の点で異なる方向を有する第２の視点であって、第１の視点よりもより最適であると理解される第２の視点から像９００－２を表示する、ディスプレイデバイス５１０を示している。図９に示すように、第１の３Ｄ形状オーバーレイ９０２は、撮像デバイス２０２の視野（例えば、この例における視野の左下隅）に固定される。この例において、３Ｄ形状オーバーレイ９０２は、頂部から直接見た３Ｄピラミッド形状である。３Ｄピラミッド形状の右手側の面は、図示の明確さ及び向きのために陰影付きで示されている。加えて、図９は、表示されている像に固定され、画定された第２の視点を示す、第２の３Ｄ形状オーバーレイ９０４を示している。具体的には、示されるように、３Ｄ形状オーバーレイ９０４は、３Ｄ形状オーバーレイ９０２より小さく（例えば、形状を整列及び／又は整合させるために、ズーム向きがズームインされるべきことを示す）、３Ｄ形状オーバーレイ９０２に対してＸ、Ｙ、及びＺ軸の各々に沿って回転され（例えば、形状を整列させるために、水平向き、ピッチ向き、及びヨー向きが調整されるべきことを示す）、ディスプレイデバイス５１０の視野の異なる部分に描かれる（例えば、形状を整列させるために、平面向きが調整されるべきことを示す）。

【0108】

撮像デバイス２０２の向きの各々の異なる態様を調節することによって、３Ｄ形状オーバーレイ９０２は、３Ｄ形状オーバーレイ９０４と整列又は整合させられてよい。この整列が達成されるとき、撮像デバイス２０２は、システム４００が画定した第２のより最適な視点から像９００－２を取り込むように提示される。この例では、ズーム、平面、水平、ピッチ、及びヨー向きの各々は、３Ｄ形状オーバーレイ９０４と整合させるために３Ｄ形状オーバーレイ９０２を移動させるように調整されることがあるが、他の例では、撮像デバイス２０２の向きの任意の単一の態様、又は撮像デバイス２０２の向きのこれらの又は他の態様の任意の組み合わせは、３Ｄ形状オーバーレイを整合させるために調整されてよいことが理解されるであろう。

【0109】

上述のように、幾つかの例において、システム４００は、ディスプレイデバイス５１０に指示して、第１の視点から取り込んだ画像にオーバーレイされたグラフィカルオブジェクトを含まない方法で第２の視点のしるしを表示してよい。例えば、システム４００の特定の実装は、自動的又は半自動的に、第１の視点から像を表示することから第２の視点から像を表示することへの切り替えを容易にすることによって、ディスプレイデバイス５１０に指示して第２の視点を示すように構成されてよい。幾つかの実装では、例えば、ディスプレイデバイス５１０に指示して第２の視点のしるしを表示することは、１）ディスプレイデバイス５１０に指示して、（例えば、ディスプレイデバイス５１０が第１の視点から身体の像を表示している間に）第２の視点が画定されたというしるしを提示すること、２）システムのユーザが第１の視点から身体の像を見ることの代わりに第２の視点から身体の像を見ることを選択したことを示すユーザ入力を（例えば、第２の視点が画定されたというしるしを提示することに応答して）受信すること、及び３）ユーザ入力に応答して、ディスプレイデバイス５１０に指示して、第１の視点から身体の像を表示することから、第２の視点から身体の像を表示することに切り替えることを含んでよい。

【0110】

例示のために、図１０は、上記の図９に示す同じ第１及び第２の視点（すなわち、次善の第１の視点及び第２のより最適な視点）から像を表示するディスプレイデバイス５１０を示している。しかしながら、図１０は、３Ｄ形状オーバーレイ９０２及び９０４のようなグラフィカルオーバーレイオブジェクトによって第１の視点から第２の視点への手動切り替えを容易にすることよりもむしろ、システム４００が現在使用中の視点よりも第２のより最適な視点を画定したことを示すインジケータ１００２を図示している。インジケータ１００２は、特定の実施に役立つことがある任意の形態を取ってよい。例えば、インジケータ１００２は、ボタン、リンク、通知、警告、又は同等のものとして実装されてよい。よって、ユーザが第１の視点の代わりに第２の視点から身体の像を見ることを選択することを示すユーザ入力は、例えば、フットペダル又はボタン押下げ、手ジェスチャ、音声コマンド、又は任意の他の適切な形態のユーザによって、任意の適切な方法で提供されてよい。ひとたびユーザ入力が受信されると、システム４００は、撮像デバイス２０２の向きパラメータを自動的に調整して、像１０００－２に関連する第２のより最適な視点に移動してよい。幾つかの例において、システム４００は、手術システム１００が手術モード（すなわち、器具がユーザの手の動きに追従する或いはユーザの手の動きを真似るモード）にある間に視点が変化しないが、逆に手術システム１００が撮像調整モードにある間に変化するだけであることを保証することがある。

【0111】

他の例において、１つの視点から別の視点への変更は、最適な視点の選択を示す特定のユーザ入力を必要としないように、完全に自動的に行われてよい。特に、ユーザがシステムについてより多くの経験を得るにつれて、手動又は支援視点選択をどのように行うかを学習する前に、しばらくの間、自動的に選択された最適な視点を使用して、手術システム１００の器具を使用する手術を行う練習を得ることは、初心者ユーザにとって有用である。これらの例において、ディスプレイデバイス５１０に指示して第２の視点のしるしを表示することは、ディスプレイデバイス５１０に指示して、第２の視点の画定に応答して、第１の視点から身体の像を表示することから、第２の視点から身体の像を表示することに自動的に切り替えることを含んでよい。

【0112】

例示のために、図１１は、上記の図９及び図１０に示す同じ第１及び第２の視点（すなわち、次善の第１の視点及び第２のより最適な視点）から像を表示するディスプレイデバイス５１０を示している。しかしながら、図１１の例では、手動パラメータ調整を容易にするオーバーレイオブジェクトも、半自動パラメータ調整を容易にするインジケータも含まれていない。代わりに、システム４００は、ひとたび第２の視点が画定されると、ディスプレイデバイス５１０に指示して、像１１００－１から１１００－２に表示を自動的に切り替えてよいことが理解されるであろう。特定の例において、第１の視点から第２の視点への自動調整は、手術システム１００が撮像調整モードにあるときに行われるだけであり、手術システム１００が手術モードにあるときには行われない。例えば、ユーザは、手術モードにおいて手術を行い、次に、フットペダルを押して、自動撮像調整を行い、次に、自分の手首姿勢を再調整し、手術モードに戻り、自動的に選択された視点を用いて処置における次の手術を行ってよい。

【0113】

他の例において、システム４００は、他の方法でより最適な視点に切り替える際に、ユーザを容易にし、動機付け、或いは奨励してよい。例えば、システム４００が、第１の視点が非常に次善であること、又は第２の視点が現在の視点よりも有意により最適であることを決定するならば、システム４００は、手術システム１００に自動的に指示して、手術モードから撮像調整モードに切り替え、より最適な視点が選択されるまで、手術システムが手術モードに切り替わって戻ることを許容しなくてよい。例えば、システム４００は、ユーザ手術作モードにおいて身体に対する手術を続けることを可能にする前に、特定の閾値が撮像デバイス２０２の向きの態様のうちの１つ以上について満たされることを保証してよい。

【0114】

別の例として、システム４００は、撮像デバイス２０２の向きの各態様についての最適化尺度又は最適化スコアを提供することによって、最適化された視点の使用を容易化してよく或いは動機付けてよい。例えば、特定の手術の遂行中に、ズーム向きは、最適値の１０％内にあるように決定されてよい一方で、水平向きは、最適値から３０°よりも多く離れているように決定されてよい。これらの尺度は、訓練中にユーザを等級付けするために使用されてよく、（後述のように）ユーザの特定の視点選択の長所及び短所を後に分析する際の使用のためにデータベースに格納されてよく、或いは特定の実装に役立つことがある任意の方法で視点最適化を容易にするよう他の方法で使用されてよい。

【0115】

更に別の例として、システム４００は、従来的に行われることがあるように、逆にではなくむしろ、検出される手首姿勢に基づいて、視点を自動的に調整するように構成されてよい。具体的には、特定の従来的な実装において、ユーザは、手術システム１００が撮像調整モードにある間に視点を選択してよく、次に、手術モードに切り替えるために、ユーザは、選択された視点によって要求される手首姿勢に自分の手首姿勢を適合させ、手ジェスチャ（例えば、ピンチ(摘まみ)(pinch)又は同等のこと）を行って、器具がユーザの動きに追従する手術モードに入るように要求されてよい。幾つかの実装において、手術システム１００は、視点が選択された後に、ユーザが保持するマスタ制御装置を、特定の視点のための適切な位置に物理的に移動させることによって、このプロセスを容易化するように構成されてよい。従って、これらの従来的な方法において手首姿勢を選択された視点に適合させる代わりに、システム４００の特定の実装は、ユーザが自分の手首の一方又は両方についての手首姿勢を選択することを可能にしてよく、次に、その手首姿勢に完全に適合する或いは少なくともある程度まで手首姿勢に適合する視点を自動的に画定してよい。ひとたび撮像デバイスのパラメータがこの自動的に画定される視点から像を取り込むように設定されると、通知が、最適な視点が利用可能であることをユーザに知らせてよく、手ジェスチャ（例えば、ピンチ）を用いて、ユーザは、手術モードにおいて手術を行うことを進めてよい。

【0116】

図７～図１１に記載する際して、最適化された視点が、システム４００のような視点最適化システムによってひとたび画定されると、特定の手術の遂行をどのように容易化するかに関する、様々な例が開示されている。ユーザが次善の視点からより最適な視点に切り替えるのを容易化するための様々な方法も記載されている。これらの目的を達成するために、システム４００は、特定の実装に役立つことがある任意のソースから受け取る任意の情報を使用して、任意の方法で、最適化された視点を画定するように構成されてよい。

【0117】

例示のために、図１２は、システム４００が本明細書に記載される方法で撮像デバイスの視点の最適化を容易化することを可能にするために、システム４００に入力データを提供することがある、例示的な実体１２０２～１２０８(エンティティ)を示している。具体的には、図１２に示すように、ユーザ１２０２、専門家アドバイザ１２０４、自動視点推奨アルゴリズム１２０６、及び視点選択データストア１２０８は、それぞれ、システム４００の特定の実装に入力を提供することがある。次に、これらの実体がデータをシステム４００に提供して、現在選択されていることがある視点よりもより最適化された視点をシステム４００が画定することを可能にする様々な方法と共に、実体１２０２～１２０８の各々をより詳細に記載する。

【0118】

ユーザ１２０２は、ユーザによって行われている本明細書に記載する行為のいずれかを行ってよい。特定の例において、ユーザ１２０２は、医療処置を行う或いは手術システム１００を使用するよう訓練されている外科医のような臨床医（例えば、臨床医１１０－１）であってよい。他の例において、ユーザ１２０２は、外科医、手術システム１００の別のユーザ、又は別の類似のコンピュータ支援手術システム以外の外科チームの別の人であってよい。

【0119】

専門家アドバイザ１２０４は、システム４００に入力を提供するユーザ１２０２とは別の人であってもい。専門家アドバイザ１２０４は、何が１つの視点を特定の手術について次善にし、別の視点を特定の手術についてより最適にするかについて、十分な洞察を有すると考えられる、手術システム１００の経験豊富なユーザであってよい。例えば、ユーザ１２０２が手術システム１００を使用する訓練を受けている初心者の外科医であるならば、専門家アドバイザ１２０４は、手術システム１００を使用する経験が多い外科医、システムについてユーザ１２０２を訓練するインストラクタ、又は同等の人であってよい。幾つかの状況において（例えば、訓練セッション中に）、ユーザ１２０２は、手術システム１００を操作することがあり、１つの視点から別の視点に切り替えることを欲するときに、手術システム１００を「訓練モード」に置いてよく、ユーザ１２０２は、訓練モードの間に、自分が現在選択している視点を、専門家アドバイザ１２０４によって推奨される視点と比較してよい。この目的のために、複数の手術のうちの手術について第１の視点よりもより最適な第２の視点を画定することは、手術のための推奨される視点を（例えば、専門家アドバイザ１２０４による手術セッション中にリアルタイムで提供される入力に基づいて）特定すること、及び推奨される視点に基づいて第２の視点を画定することを含んでよい。

【0120】

自動視点推奨アルゴリズム１２０６は、専門家アドバイザ１２０４と同様の機能を実行することがあるが、人の労力を必要としないことがある。何故ならば、それは、システム４００、手術システム１００、又は別の適切なコンピューティングシステム上で作動するコンピュータアルゴリズムとして実装されるからである。より具体的には、自動視点推奨アルゴリズム１２０６は、手術セッション中にリアルタイムで手術特異的な視点推奨を生成するように構成されてよい。従って、自動視点推奨アルゴリズム１２０６を使用する特定の例において、複数の手術における手術について第１の視点よりもより最適な第２の視点を画定することは、手術について推奨される視点を（例えば、自動視点推奨アルゴリズム１２０６に基づいて）識別し、推奨される視点に基づいて第２の視点を画定することを含んでよい。

【0121】

視点選択データストア１２０８は、ユーザ特有及び／又は専門家特異的な視点選択データを追跡(トラッキング)し且つ格納するように構成される任意の適切なタイプのデータストア（例えば、データベース、データ格納設備など）として実装されてよい。例えば、上述したように、ユーザ１２０２が、時間の経過（例えば、訓練プログラムの経過、自分のキャリアの経過など）に亘って手術及び対応する視点選択タスクを行うときに、ユーザ１２０２によって行われる効果的な及びあまり効果的でない視点選択決定を表す視点選択データが、視点選択データストア１２０８に格納されてよい。このようにして、視点選択データストア１２０８に格納されるデータは、ユーザ１２０２が有することが知られている視点選択の長所及び短所を示すことがある。例えば、ユーザ１２０２は、適切なズーム向きを一貫して選択するが、特定のタスクについて適切な水平向きを見出すのに苦労することが知られている場合がある。従って、幾つかの例において、システム４００は、（他のユーザではなく）ユーザ１２０２が手術セッションを行っているという事実を説明するために、ユーザ１２０２の一般的なスキル及び経験レベルを説明するために、ユーザ１２０２の特定の傾向、長所、及び／又は弱点を説明するために、及びその他を説明するために、視点選択データストアから受信するデータを使用してよい。具体的には、これらの例において、手術セッションに関連する状態を識別することは、ユーザ１２０２（すなわち、第１の視点を選択したユーザ）の同一性(アイデンティティ)を決定することと、過去においてユーザ１２０２によって行われた視点選択を表すユーザ特異的なデータに（例えば、ユーザ１２０２の同一性に基づいて）アクセスすることとを含んでよい。次に、システム４００は、ユーザ４０２によって過去に行われた視点選択を表すユーザ特異的なデータに基づいて第２の視点を画定してよい。幾つかの例では、自動視点推奨アルゴリズム１２０６を、視点選択データストア１２０８から受信するデータと共に使用して、第２の視点を画定してよい。

【0122】

同じ又は他の例において、視点選択データストア１２０８は、特定の手術について専門家アドバイザ１２０４（又は他の専門家）によって推奨される視点を表す様々なタイプの視点選択データを格納してもよい。よって、複数の手術のうちの手術について第１の視点よりもより最適な第２の視点を画定することは、専門家アドバイザ１２０４によって過去に行われた視点選択を表すデータにアクセスすることと、専門家アドバイザ１２０４によって過去に行われた視点選択を表すアクセスされたデータに基づいて第２の視点を画定することとを含んでよい。システム４００は、（例えば、自動視点推奨１２０６と共に）このデータを使用して、現在選択されている視点が次善であるかどうか、及び専門家によって使用された履歴的視点が行われている特定の手術についてより最適であるかどうかを決定してよい。

【0123】

図１３は、コンピュータ支援手術システムの手術セッション中に撮像デバイス視点の最適化を容易にする例示的な方法１３００を図示している。図１３は、１つの実施形態に従った例示的な手術を図示するが、他の実施形態は、図１３に示す動作(operations)のうちのいずれかを省略、追加、順序変更、及び／又は修正してよい。図１３に示す操作の１つ以上は、システム４００のような視点最適化システム、システムに含まれる任意のコンポーネント、及び／又はそれらの任意の実装によって行われてよい。

【0124】

動作１３０２において、視点最適化システムは、手術セッションに関連する状態を識別しよてい。特定の例では、手術セッション中に、コンピュータ支援手術システムが、身体に対して複数の手術を行うことがある。加えて、手術セッション中に、コンピュータ支援手術システムに含まれる撮像デバイスは、第１の視点から身体の像を提供することがある。例えば、像は、手術セッション中にディスプレイデバイス上での表示のために提供されてよい。動作１３０２は、本明細書に記載する方法のいずれかで行われてよい。

【0125】

動作１３０４において、視点最適化システムは、複数の手術に含まれる手術について第１の視点よりもより最適である撮像デバイスについての第２の視点を画定してよい。例えば、視点最適化システムは、手術１３０２において識別される状態に基づいて第２の視点を画定してよい。動作１３０４は、本明細書に記載する方法のいずれかで行われてよい。

【0126】

動作１３０６において、視点最適化システムは、ディスプレイデバイスに指示して、動作１３０４で画定される第２の視点のしるしを表示すしてよい。動作１３０６は、本明細書に記載する方法のいずれかで実行されてよい。

【0127】

特定の実装において、本明細書に記載する１つ以上のプロセスは、少なくとも部分的に、非一時的なコンピュータ読取可能媒体において具現され且つ１つ以上のコンピューティングデバイスによって実行可能な命令として実装されてよい。一般的に、プロセッサ（例えば、マイクロプロセッサなど）は、非一時的なコンピュータ読取可能媒体（例えば、メモリなど）から命令を受信し、それらの命令を実行し、それによって、本明細書に記載する１つ以上のプロセスを含む１つ以上のプロセスを行う。そのような命令は、様々な既知のコンピュータ読取可能媒体のいずれかを用いて格納及び／又は送信されてよい。

【0128】

（プロセッサ読取可能媒体とも呼ぶ）コンピュータ読取可能媒体は、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られることがあるデータ（例えば、命令）を提供することに関与する任意の非一時的な媒体を含む。そのような媒体は、限定されるものではないが、不揮発性媒体及び／又は揮発性媒体を含む、多くの形態をとることがある。不揮発性媒体は、例えば、光学又は磁気ディスク及び他の永続的メモリを含むことがある。揮発性媒体は、例えば、典型的にはメインメモリを構成する、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）を含むことがある。コンピュータ読取可能媒体の一般的な形態は、例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクトディスク読出し専用メモリ（「ＣＤ－ＲＯＭ」）、デジタルビデオディスク（「ＤＶＤ」）、任意の他の光媒体、ランダムアクセスメモリ（「ＲＡＭ」）、プログラマブル読出し専用メモリ（「ＰＲＯＭ」）、電気的に消去可能なプログラマブル読出し専用メモリ（「ＥＰＲＯＭ」）、ＦＬＡＳＨ(登録商標）－ＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、又はコンピュータが読み取ることができる任意の他の有形媒体を含む

【0129】

図１４は、本明細書に記載するプロセスの１つ以上を行うように特に構成されることがある例示的なコンピューティングデバイス１４００を図示している。図１４に示すように、コンピューティングデバイス１４００は、通信インフラストラクチャ１４１０を介して通信的に接続される、通信インタフェース１４０２、プロセッサ１４０４、格納デバイス１４０６、及び入出力（「Ｉ／Ｏ」）モジュール１４０８を含むことがある。例示的なコンピューティングデバイス１４００を図１４に示しているが、図１４に示すコンポーネントは限定的であることを意図しない。他の実施形態では、追加的な又は代替的なコンポーネントが使用されてよい。次に、図１４に示すコンピューティングデバイス１４００のコンポーネントを追加的な詳細において記載する。

【0130】

通信インタフェース１４０２は、１つ以上のコンピューティングデバイスと通信するように構成されてよい。通信インタフェース１４０２の例は、（ネットワークインタフェースカードのような）有線ネットワークインタフェース、（ワイヤレスネットワークインタフェースカードのような）無線ネットワークインタフェース、モデム、オーディオ／ビデオ接続、及び任意の他の適切なインタフェースを含むが、これらに限定されない。

【0131】

プロセッサ１４０４は、一般的に、データを処理し、本明細書に記載する命令、プロセス、及び／又は動作のうちの１つ以上の実行を解釈、実行、及び／又は指示することができる、任意のタイプ又は形態の処理ユニットを表す。プロセッサ１４０４は、格納デバイス１４０６又は他のコンピュータ読取可能媒体に格納されることがある１つ以上のアプリケーション１４１２又は他のコンピュータ実行可能命令に従って動作の実行を指示することがある。

【0132】

格納デバイス１４０６は、１つ以上のデータ格納媒体、デバイス、又は構成を含んでよく、任意のタイプ、形態、及び組み合わせのデータ格納媒体及び／又はデバイスを利用してよい。例えば、格納デバイス１４０６は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性及び／又は揮発性データ格納ユニット、又はそれらの組み合わせもしくはサブコンビネーションを含むことがあるが、これらに限定されない。本明細書に記載するデータを含む電子データは、格納デバイス１４０６に一時的に及び／又は永久的に格納されてよい。例えば、プロセッサ１４０４に指示して本明細書に記載する動作のいずれかを行うように構成される１つ以上の実行可能アプリケーション１４１２を表すデータが、格納デバイス１４０６に格納されてよい。幾つかの例において、データは、格納デバイス１４０６内に存在する１つ以上のデータベースに配置されてよい。

【0133】

Ｉ／Ｏモジュール１４０８は、ユーザ入力を受信し、ユーザ出力を提供するように構成される、１つ以上のＩ／Ｏモジュールを含んでよい。１つ以上のＩ／Ｏモジュールを使用して、単一の仮想現実体験のための入力を受信してよい。Ｉ／Ｏモジュール１４０８は、入力及び出力能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含んでよい。例えば、Ｉ／Ｏモジュール１４０８は、キーボード又はキーパッド、タッチスクリーンコンポーネント（例えば、タッチスクリーンディスプレイ）、受信機（例えば、ＲＦ又は赤外線受信機）、運動センサ、及び／又は１つ以上の入力ボタンを含むが、これらに限定されない、ユーザ入力を取り込むための、ハードウェア及び／又はソフトウェアを含んでよい。

【0134】

Ｉ／Ｏモジュール１４０８は、グラフィックスエンジン、ディスプレイ（例えば、ディスプレイスクリーン）、１つ以上の出力ドライバ（例えば、ディスプレイドライバ）、１つ以上のオーディオスピーカ、及び１つ以上のオーディオドライバを含むが、これらに限定されない、出力をユーザに提示するための１つ以上のデバイスを含んでよい。特定の実施形態において、Ｉ／Ｏモジュール１４０８は、ユーザへの提示のために、グラフィカルデータをディスプレイに提供するように構成される。グラフィカルデータは、１つ以上のグラフィカルユーザインタフェース及び／又は特定の実装に役立つことがある任意の他のグラフィカルコンテンツを表すことがある。

【0135】

幾つかの例において、本明細書に記載する設備のいずれかは、コンピューティングデバイス１４００の１つ以上のコンポーネントによって実装されてよく、或いはコンピューティングデバイス１４００の１つ以上のコンポーネント内で実装されてよい。例えば、格納デバイス１４０６内に存在する１つ以上のアプリケーション１４１２は、プロセッサ１４０４に指示して、システム４００の処理設備４０４に関連する１つ以上のプロセス又は機能を実行するように構成されてよい。同様に、システム４００の格納設備４０２は、格納デバイス１４０６又はそのコンポーネントによって実装されてよい。

【0136】

呪術の記載では、添付の図面を参照して様々な例示的な実施形態を記載した。しかしながら、後続の請求項に示すような本発明の範囲から逸脱することなく、様々な修正及び変更がそれらに行われてよく、追加的な実施形態を実装されてよいが明らかであろう。例えば、本明細書に記載する１つの実施形態の特定の構成は、本明細書に記載する別の実施形態の構成と組み合わされてよく、或いは置換されてよい。従って、明細書及び図面は、限定的な意味ではなく、例示的な意味で考えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】