特表 2024-533475 統合手術ナビゲーション及び可視化システム、並びにその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】統合手術ナビゲーション及び可視化システム、並びにその方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240905BHJP

   A61B 90/20 20160101ALI20240905BHJP

【ＦＩ】

A61B34/20

A61B90/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024515931

(86)(22)【出願日】2022-09-13

(85)【翻訳文提出日】2024-05-01

(86)【国際出願番号】 US2022076349

(87)【国際公開番号】W WO2023039596

(87)【国際公開日】2023-03-16

(31)【優先権主張番号】63/243,659

(32)【優先日】2021-09-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523121048

【氏名又は名称】ディジタル サージェリー システムズ インコーポレイテッド ドゥーイング ビジネス アズ トゥルー ディジタル サージェリー

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】ミンネ、スティーブン

(72)【発明者】

【氏名】ポルチン、ジョージ シー

(72)【発明者】

【氏名】ラーブ、サイモン

(72)【発明者】

【氏名】フリードマン、ランダーロス アラン

(72)【発明者】

【氏名】ハンノート、ノーマン

(72)【発明者】

【氏名】ラーキン、マイケル

(72)【発明者】

【氏名】カヌスキー、トーマス

(72)【発明者】

【氏名】コティアン、サラブ

(57)【要約】

統合された手術ナビゲーション及び可視化のための新しく革新的なシステム及び方法が開示される。例示的なシステムは、移動性を提供する単一のカートと、立体視デジタル手術顕微鏡と、手術ナビゲーションモジュール及び手術可視化モジュールを収容して共同で実行し、且つ、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティング装置（例えば、単一のコンピューティング装置を含む）と、単一の統一ディスプレイと、プロセッサと、メモリと、を備える。一実施形態において、システムは、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御し、ユーザ入力に応答して手術部位のナビゲーションを提供し、単一の統一ディスプレイを介して手術部位の可視化を提供し、単一の統一ディスプレイを介してナビゲーション情報及び手術の可視化を統合することによって、可視化をリアルタイムで同期させ得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

統合手術ナビゲーション及び可視化システムであって、
移動性を提供する単一のカートと、
立体視デジタル手術顕微鏡と、
手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行し、且つ、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティング装置と、
単一の統一ディスプレイと、
プロセッサと、
コンピュータ実行可能命令を記憶するメモリと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
ユーザ入力に応答して手術部位のナビゲーションを提供させ、
前記単一の統一ディスプレイを介して前記手術部位の可視化を提供させる、
統合手術ナビゲーション及び可視化システム。

【請求項2】

前記手術ナビゲーションモジュール及び前記手術可視化モジュールを収容し共同で実行することが、通信待ち時間及び接続リスクを低減する、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項3】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術ナビゲーションモジュール及び前記デジタル手術顕微鏡の起動を実行させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項4】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術部位の前記可視化を前記手術部位の前記ナビゲーションとリアルタイムで同期させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項5】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、統合されたナビゲーション情報及び顕微鏡手術部位可視化を、前記統一ディスプレイを介して提供することによって前記可視化を同期させる、
請求項４に記載の統合手術ナビゲーション及び可視化システム。

【請求項6】

前記立体視デジタル手術顕微鏡は、ナビゲーションターゲット部材を備えない顕微鏡ヘッドを含む、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項7】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
立体視ビュー内でライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面において提供させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項8】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
所定の基準を有する前記立体視デジタル手術顕微鏡の位置を制御させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項9】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を受け付けさせる、
請求項８に記載の統合手術ナビゲーション及び可視化システム。

【請求項10】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせることによって前記立体視デジタル手術顕微鏡の前記位置を制御させる、
請求項９に記載の統合手術ナビゲーション及び可視化システム。

【請求項11】

前記デジタル手術顕微鏡の前記所定の基準が、ＮＩＣＯポート又は脊椎拡張器器具の中心軸と準連続的に準リアルタイムで合わされる、
請求項９に記載の統合手術ナビゲーション及び可視化システム。

【請求項12】

前記立体視デジタル手術顕微鏡は、Ｎ－カメラ立体視デジタル手術顕微鏡を備え、Ｎは２以上である、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項13】

前記１つ以上のコンピューティング装置は、さらに、ローカライザを収容し共同で実行し、
前記システムは、
方向調整ハンドルと、
ローカライザ内のナビゲーションターゲット照明装置と、
をさらに備える、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項14】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記立体視デジタル手術顕微鏡の焦点の使用を介した患者の非接触位置合わせを促させ、
前記患者の前記非接触位置合わせに関連するユーザ入力を受け付けさせる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。

【請求項15】

前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、写真計測又は立体計測を介した前記非接触位置合わせに関連する前記ユーザ入力を受け付けさせる、
請求項１４に記載の統合手術ナビゲーション及び可視化システム。

【請求項16】

１つ以上のプロセッサを有するコンピューティングシステムにおいて手術ナビゲーション及び手術可視化を統合するための方法であって、
前記コンピューティングシステムの起動を実行して、前記コンピューティングシステムに付随する手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップと、
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップと、
ユーザ入力に応答して手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
前記単一の統一ディスプレイを介してナビゲーション情報及び前記手術の前記可視化を統合することによって、前記可視化をリアルタイムで同期させるステップと、
を含む、
手術ナビゲーション及び手術可視化を統合するための方法。

【請求項17】

立体視デジタル顕微鏡による手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を、前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせるステップと、
をさらに含む、
請求項１６に記載の方法。

【請求項18】

手術ナビゲーション及び手術可視化を統合するためのコンピュータ実行可能プログラミング命令を格納した、コンピューティング装置上で使用するための非一時的なコンピュータ可読媒体であって、
前記コンピュータ実行可能プログラミング命令は、
前記コンピューティングシステムの起動を実行して、前記コンピューティングシステムに付随する手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップと、
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップと、
ユーザ入力に応答して手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
前記単一の統一ディスプレイを介してナビゲーション情報及び前記手術の前記可視化を統合することによって、前記可視化をリアルタイムで同期させるステップと、
を含む、
非一時的なコンピュータ可読媒体。

【請求項19】

前記コンピュータ実行可能プログラミング命令は、
立体視デジタル顕微鏡による手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせるステップと、
をさらに含む、
請求項１８に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権の主張）
本願は、２０２１年９月１３日に出願された、出願番号が６３／２４３，６５９である米国仮特許出願の優先権及び利益を主張し、この米国仮特許出願は、その全体が参照により本明細書に組み込まれる。

【0002】

（技術分野）
本開示の特定の態様は、概して、手術システムに関し、具体的には、統合された手術ナビゲーション及び可視化のためのシステム及び方法に関する。

【背景技術】

【0003】

手術ナビゲーションは、ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ；コンピュータ断層撮影）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ；磁気共鳴撮像）、及びＤＴＩ（ｄｉｆｆｕｓｉｏｎ ｔｅｎｓｏｒ ｉｍａｇｉｎｇ；拡散テンソルイメージング）モダリティからのボリュメトリック患者データを使用して、外科医をターゲット手術部位に向かって、及びターゲット手術部位を通して誘導することによって、患者の転帰を改善することができる。手術ナビゲーションシステムは、物理的な患者をボリュメトリック患者データに位置合わせし（ｒｅｇｉｓｔｅｒ）、ナビゲートされたポインタなどの所定の手術器具の患者データ内の現在位置を、該器具が生きている患者の上又は内部に位置している間に表示することを可能にし得る。手術顕微鏡による手術の可視化は、神経外科手術、整形外科手術、再建手術などの、小さな構造の可視化が必要とされる多くの手術で使用され得る。

【0004】

現在の手術ナビゲーションシステム（例えば、ＭＥＤＴＲＯＮＩＣ社のＳＴＥＡＬＴＨ及びＢＲＡＩＮＬＡＢ社のＣＵＲＶＥ）は、手術可視化システム（例えば、ＺＥＩＳＳ社のＫＩＮＥＶＯ及びＬＥＩＣＡ社のＯＨシリーズ）と分離しており別個であることが多い。手術ナビゲーションと手術可視化との間のいかなる統合も、一般的に制限されている。例えば、いくつかのシステムは、顕微鏡ビューのナビゲーションを顕微鏡焦点の位置を示すためのツールとして含むことによって、ナビゲーションの機能と可視化の機能とを組み合わせている。いくつかのシステムは、顕微鏡視野をボリュメトリック患者データ上に示し、又は、ボリュメトリック患者データビューを、眼球画像導入を介して顕微鏡の視野に位置合わせし、得られたビューを外部モニタに表示する。例えば、ＭＥＤＴＲＯＮＩＣ社のＳＴＥＡＬＴＨ及びＢＲＡＩＮＬＡＢ社のＣＵＲＶＥなどのナビゲーションシステムは、特定の顕微鏡（例えば、ＺＥＩＳＳ社のＫＩＮＥＶＯ及びＬＥＩＣＡのＯＨシリーズ）と任意に統合され得る。いくつかの製造業者（例えば、ＳＴＲＹＫＥＲ社及びＳＹＮＡＰＴＩＶＥ社）は、分離したナビゲーションシステムと顕微鏡システムとが、１つの製品としてパッケージ化されるものの、分離したデバイスであり続ける商業契約を結ぶことができる。

【0005】

このような対になったシステム（例えば、手術ナビゲーションシステム及び手術可視化システム）の個々の構成要素の別個である性質は、セットアップ及び使用における困難をもたらし得る。このような困難のせいで、このようなシステムが使用されなかったり、十分に活用されなかったりすることがしばしばある。このような困難は、スペースが限られている手術室にとって多すぎる物理的機器を有する（「多すぎる備品」）こと、対になったシステムの個々の構成要素を相互に接続したり、電源に接続したりするために必要なケーブルが過剰であること、対になったシステムの個々の構成要素を通信的且つ機能的に接続する際の技術的困難性、及び、統合された機能性のために手術構成要素と可視化構成要素とを較正する際の困難性を含むものの、これらに限定されない。

【0006】

本開示の様々な実施形態は、上記の欠点の１つ以上に対処する。

【発明の概要】

【課題を解決するための手段】

【0007】

本開示は、統合手術ナビゲーション及び可視化システムのための新しく革新的なシステム及び方法を提供する。

【0008】

一例では、統合手術ナビゲーション及び可視化システムが開示される。システムは、移動性を提供する単一のカートと、立体視デジタル手術顕微鏡と、手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行し、且つ、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティングデバイス（例えば、単一のコンピューティングデバイスを含む）と、単一の統一ディスプレイと、プロセッサと、メモリと、を備える。さらに、システムは、立体視デジタル手術顕微鏡から、Ｎが２以上である、Ｎ－カメラデジタル手術顕微鏡への拡張の基盤を提供し得る。メモリは、プロセッサによって実行されると、システムに１つ以上のステップを実行させるコンピュータ実行可能命令を記憶する。例えば、システムは、ユーザ入力に応答して手術部位のナビゲーションを提供し、単一の統一ディスプレイを介して手術部位の可視化を提供し得る。システムは、手術ナビゲーションモジュール及びデジタル手術顕微鏡の起動も実行し得る。さらに、システムは、手術部位の可視化を手術部位のナビゲーションとリアルタイムで同期させ得る。例えば、システムは、統合されたナビゲーション情報及び顕微鏡手術部位可視化を、統一ディスプレイを介して提供し得る。追加的に、又は代替的に、システムは、立体視ビュー内でライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面において提供し得る。

【0009】

少なくとも１つの態様において、システムは、所定の基準（例えば、光軸）を有する立体視デジタル手術顕微鏡の位置を制御し得る。例えば、デジタル手術顕微鏡の所定の基準は、ＮＩＣＯポート又は脊椎拡張器器具の中心軸と準連続的に準リアルタイムで合わされる。追加的に、又は代替的に、システムは、手術部位のナビゲーションのための予め計画された軌道に関連するユーザ入力を受け付け得、システムは、デジタル手術顕微鏡の所定の基準を予め計画された軌道と合わせることによって立体視デジタル手術顕微鏡の位置を制御し得る。

【0010】

少なくとも１つの実施形態において、システムは、患者位置合わせのフィデューシャルマッチング、ランドマークマッチン、及びトレース法に使用するためのナビゲートされたプローブの代わりに、デジタル手術顕微鏡の焦点の使用を介した（例えば、患者の）非接触位置合わせを提供し得る。例えば、システムは、患者の非接触位置合わせを促し、患者の非接触位置合わせに関連するユーザ入力を受け付け得る。システムは、写真計測又は立体計測を介した非接触位置合わせに関連するユーザ入力を受け付け得る。

【0011】

さらに、システムは、（例えば、手術ナビゲーションモジュール及び手術可視化モジュールをコンピューティングシステムに収容し共同で実行することによって）通信待ち時間及び接続リスクを低減することと、（例えばナビゲーション及び可視化のための）２つのシステムを、両方のシステムのワークフローが正しく、且つ、同期して動作するように接続する必要性を除去又は低減し、２つのシステムを相互に接続するために必要な、あらゆるワークフローのステップ（複数可）を除去又は削減することと、２つのシステム間の物理的なケーブル配線又はその他の通信接続要件を除去又は削減することと、２つの別個のシステムと比較して電源ケーブル要件を削減することと、見通しの問題を緩和することと、を含むものの、これらに限定されない、複数の利点を与え得る。

【0012】

一例では、１つ以上のプロセッサを有するコンピューティングデバイスによって実行される方法が、コンピューティングシステムの起動を実行して、コンピューティングに付随する手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップと、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップと、ユーザ入力に応答して手術部位のナビゲーションを提供するステップと、単一の統一ディスプレイを介して手術部位の可視化を提供するステップと、単一の統一ディスプレイを介してナビゲーション情報及び手術の可視化を統合することによって、可視化をリアルタイムで同期させるステップと、を含み得る。方法は、立体視デジタル顕微鏡による手術部位のナビゲーションのための予め計画された軌道に関連するユーザ入力をコンピューティングシステムによって受け付けるステップと、デジタル手術顕微鏡の所定の基準を予め計画された軌道と合わせるステップと、をさらに含み得る。

【0013】

一例では、コンピュータシステム上で使用するための非一時的なコンピュータ可読媒体が開示される。非一時的なコンピュータ可読媒体は、コンピュータ実行可能プログラミング命令を格納し得、このコンピュータ実行可能プログラミング命令は、プロセッサに、本明細書に記載された１つ以上のステップ又は方法を実行させ得る。

【図面の簡単な説明】

【0014】

【図1】図１は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムの例示的な手術環境を示す図である。

【図2】図２は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムの例示的なパイプラインを示すフロー図である。

【図3】図３は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムを起動するための例示的な処理を示すフロー図である。

【図4A】図４Ａは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。

【図4B】図４Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。

【図5】図５は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な較正オブジェクトを示す図である。

【図6】図６は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な画角を示す図である。

【図7】図７は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な焦点基準フレーム較正のための例示的な方法を示すフロー図である。

【図8】図８は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な例示的な軌道計画を示す図である。

【図9】図９は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムのディスプレイのスクリーンショットであり、ローカライザの視野も示す。

【図10】図１０は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムのディスプレイの別のスクリーンショットであり、ローカライザの視野も示す。

【発明を実施するための形態】

【0015】

本開示は、一般に、手術部位で使用される統合手術ナビゲーション及び可視化システムに関する。少なくとも１つの実施形態は、手術ナビゲーションデバイス及び多用途デジタル手術顕微鏡の複数の機能を提供する単一の医療デバイスを含む。単一の医療デバイスを使用することは、ＯＲ（ｏｐｅｒａｔｉｎｇ ｒｏｏｍ；手術室）の設置面積の削減を助ける。この削減は、ほとんどの手術に必要な多数の医療デバイスのせいで既に混雑している、ほとんどの手術室において重要である。

【0016】

少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、すぐに使用できるようにシームレスにレンダリングされている。例えば、統合システムは、単一の電源コード、及び／又は、電源によってシームレスに給電され得る。統合システムがプラグインされ、電源がオンになると、統合システムは使用可能な状態になり得る。シームレスな起動手順により、２つの別個のシステムを煩わしいケーブルで接続する必要性と、２つの別個のシステムを問題が起きやすい無線通信で接続する必要性と、２つの別個のシステムを相互に接続するために必要な、あらゆるワークフロー関連ステップ（複数可）と、２つの別個のシステムを、両方のシステムのワークフローが正しく、且つ、同期して動作するように接続する必要性と、多要素システムの１つの部品に対する更新が、組み合わせシステムの機能性を損なうリスクと、が除去され得る。

【0017】

少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、単一の、及び／又は、集中化されたコンピュータシステムを含み得る。例えば、可視化ソフトウェアモジュール及び手術ナビゲーションソフトウェアモジュールが、同一のコンピュータに内在し、該コンピュータ内部で実行され、これにより、通信待ち時間及び接続リスクを低減し得る。この構成により、スペースが限られている可能性のある手術室に複数の機器を配置する必要性が除去され得る。設置面積が狭く、遠隔の、及び／又は、分離したローカライザモジュールが省略されることにより、見通しの問題が緩和され得る。

【0018】

少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、分離したナビゲーションターゲットを顕微鏡のヘッド（例えば、「顕微鏡ヘッド」）に追加する必要性を除去し得る。このようなナビゲーションターゲットは、一般的に、手術可視化を専門とする製造業者（例えば、顕微鏡会社）ではなく、手術ナビゲーションを専門とする製造業者によって製造されるため、この必要性を除去することは、より効率的な製造及び組み立てを助ける。この必要性を除去することは、ナビゲーションカメラから顕微鏡ナビゲーションターゲットまでの見通しの問題を低減することを助け、統合されたナビゲーション情報及び手術部位可視化を統一表示領域上で提供することを助ける。

【0019】

さらに、統合手術ナビゲーション及び可視化システムは、立体視ビュー内でライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面で提供することを助け得る。この構成は、外科医が実際の手術部位からオーバーレイを見るときに目の焦点を合わせ直す必要があるという問題を低減し得る。

【0020】

さらに、統合手術ナビゲーション及び可視化システムは、蛍光光源（複数可）とのナビゲーションＩＲ（ｉｎｆｒａｒｅｄ；赤外線）光源の干渉を除去し得る。顕微鏡蛍光及びナビゲーション光は、一般的に、同一又は類似の光波長を使用し得、これにより蛍光の有用性及び有効性が制限される。

【0021】

さらに、統合手術ナビゲーション及び可視化システムは、ユーザが計画した仮想切開、及び／又は、他のアプローチパターン、及び／又は、経路を描き得、これらは、患者の皮膚上の物理的マークのように除去される（ひいては無用になる）代わりに、手術アプローチの時間全体にわたってユーザの制御下で任意に持続する。例えば、統合手術ナビゲーション及び可視化システムは、ユーザが計画した仮想開頭術計画を描き得、この計画は、開頭術が進行するにつれて除去される代わりに、手術アプローチの時間全体にわたってユーザの制御下で任意に持続し得る。別の例として、統合手術ナビゲーション及び可視化システムは、ユーザが計画した軌道計画を描き得、この計画は、手術アプローチの時間全体にわたってユーザの制御下で任意に持続し得る。このようなガイダンスは、例えば手術が進行するに従ってエラーを修正するために、更新可能であってもよい。

【0022】

さらに、統合手術ナビゲーション及び可視化システムは、ユーザが、外科手術中の様々な時点でのデジタル手術顕微鏡の所望の姿勢を指定する計画された中間地点を患者データに追加することを可能にしてもよい。

【0023】

さらに、統合手術ナビゲーション及び可視化システムは、ロボット空間を患者空間に結び付け得る。この結び付けは、ユーザ選択の下で、デジタル手術顕微鏡の光軸を、ＮＩＣＯポートの中心軸又は脊椎拡張器器具の中心軸などの空間内に配置されたナビゲートされたベクトルと準連続的に準リアルタイムで合わせること、ユーザ選択の下で、デジタル手術顕微鏡の光軸を予め計画された軌道と合わせること、及び／又は、ユーザ選択の下で、デジタル手術顕微鏡の光軸を器具若しくは器具形状の一部と連続的に、若しくは、実質的に連続的に合わせること、を含むものの、これらに限定されない、一連の追加的な新しく、且つ、非自明な特徴を提供する。

【0024】

さらに、統合手術ナビゲーション及び可視化システムは、２－カメラ立体視デジタル手術顕微鏡の概念を、Ｎが２以上であるＮ－カメラデジタル手術顕微鏡に拡張するための基盤を提供し得る。

【0025】

Ｉ． 手術環境
図１は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムの例示的な手術環境１００を示す図である。図１に示すように、環境１００は、統合手術ナビゲーション及び可視化システム１０１を含む。統合手術ナビゲーション及び可視化システム１０１は、ロボットアーム１２０に取り付けられたＤＳＭ（ｄｉｇｉｔａｌ ｓｕｒｇｉｃａｌ ｍｉｃｒｏｓｃｏｐｅ；デジタル外科用顕微鏡）ヘッド１１０を含み得る。ロボットアームのリーチを増すために、ロボットアーム１２０を、伸長プラットフォーム（「ダイビングボード」）１３０に取り付けてもよい。統合手術ナビゲーション及び可視化システムを使用できる向きの範囲を拡張するために、ＤＳＭヘッド１１０を「汎用」カプラ１４０に取り付けてもよく、このカプラ１４０は、ロボットアームの端部を超えた１つ以上の追加の自由度を提供し得る。

【0026】

力トルクセンサ１５０は、ロボットアーム－ＤＳＭヘッドの組み合わせに組み込まれ得る。力トルクセンサ１５０は、ユーザが、（例えば、従来の顕微鏡のように）物理的動作を用いてＤＳＭヘッドに任意の姿勢をとらせることを可能にし得る。例えば、ユーザは、ＤＳＭヘッドの一部分若しくは複数の部分、又は、ロボットアームに取り付けられるか、若しくは他の方法で連結されたハンドルを物理的に把持することができ、ヘッドを所望の姿勢に向けることができる。力トルクセンサ１５０は、物理的入力を検出することができる。ソフトウェア制御モジュールが、力トルクセンサの出力を、意図された姿勢の変化に変換できる。同一の、又は、追加の制御モジュールが、そのようなユーザの意図を、一連のロボット姿勢変化に変換することができ、この一連のロボット姿勢変化は、ロボットにストリーミングされて該変化を生じさせ得る。

【0027】

統合手術ナビゲーション及び可視化システム１０１は、カート１５４をさらに含み得る。カート１５４は、ロボットアーム及びダイビングボードのための支持構造を提供することができる。さらに、カート１５４は、ＥＰＵ（ｅｍｂｅｄｄｅｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ；組み込み処理ユニット）１６０及びＰＭＵ／ＵＰＳ（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｕｎｉｔ ｗｉｔｈ ｕｎｉｎｔｅｒｒｕｐｔｉｂｌｅ ｐｏｗｅｒ ｓｕｐｐｌｙ；無停電電源を備えた電力管理ユニット）１６２を含み得る。ＥＰＵ１６０は、ＤＳＭヘッドと通信して、コマンドを送信し、コマンド応答、画像及びステータスデータを受信することができる。ＰＭＵ／ＵＰＳ１６２は、システム１０１のための電力を管理することができる。ＵＰＳ（ｕｎｉｎｔｅｒｒｕｐｔｉｂｌｅ ｐｏｗｅｒ ｓｕｐｐｌｙ；無停電電源）１６２は、必要に応じて位置を変更するために短時間だけカートのプラグを抜くオプションをユーザに提供することができる。ＰＭＵ／ＵＰＳ１６２は、病院で停電が発生した場合に、短時間でバックアップ機器に移行するオプションを外科医に提供することもできる。

【0028】

画像は、デジタル手術顕微鏡の光学系及び画像センサ電子機器（図示せず）によって撮像され、ＥＰＵに送信され、処理されて３Ｄ（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ；３次元）立体視ディスプレイ１７０に送信され得る。３Ｄ立体視ディスプレイは、多関節ディスプレイ取り付けアーム１８０に取り付けられ得、その姿勢は、ディスプレイ姿勢調整ハンドル１８２によって制御され得、例えば、ユーザが、最適な視聴品質及び快適さのための姿勢をディスプレイにとらせることを可能にする。いくつかの実施形態では、ローカライザも、手術部位の視野を撮像するためのカメラを具備し得る。さらに、デジタル手術顕微鏡によって撮像された画像データを表示するディスプレイ１７０が、図９及び図１０に関連して以下でさらに説明するように、（例えば、オーバーレイとして）ローカライザの視野も表示し得る。

【0029】

外科医１９０は、３Ｄメガネ１９２を着用して３Ｄ立体視ディスプレイを見てもよい。３Ｄメガネ１９２は、外科医に手術部位１９４の３Ｄ立体視ビューを見せ得る。デジタル手術顕微鏡のズーム及びフォーカス光学系は、ユーザによって制御され得、ある作動距離（例えば、２００ｍｍ（ｍｉｌｌｉｍｅｔｅｒｓ；ミリメートル）～４５０ｍｍ）及び倍率（例えば、３倍～１１倍）の範囲にわたって手術部位の３Ｄ立体視合焦ビューを提供し得る。いくつかの実施形態において、３Ｄメガネは、受動的であり、メガネの左右それぞれのレンズ上の偏光フィルムが、ディスプレイ上の１つおきのラインに貼り付けられた偏光フィルムそれぞれと共役関係にある（例えば、左側のメガネのレンズは、ディスプレイの偶数番目のラインを通過し、奇数番目のラインをブロックし、逆もまた同様である）。いくつかの実施形態において、３Ｄメガネは、能動的シャッタ型であり、左目が例えばディスプレイに表示された１つおきの時系列フレームを通過し、残りをブロックし、右目が補間を行うようにディスプレイに同期されている。いくつかの実施形態において、３Ｄディスプレイは、「メガネフリー」であってもよく、３Ｄメガネを必要とせずに３Ｄ表示をユーザに提供し得る。

【0030】

本明細書で使用される場合、「作動距離」及び「焦点」は、互換的に使用され得る。さらに、システム１０１のユーザインタフェースは、作動距離を可変パラメータとして参照し得る。所望の作動距離が変更されると、焦点距離が変化するように光学系が移動する。従って、顕微鏡と焦点面との間の距離は変化し得、その距離は、概して作動距離であるとみなし得る。

【0031】

ナビゲーションローカライザ２００は、多関節ローカライザ取り付けアーム２０２に取り付けられ得る。ナビゲーションローカライザ２００は、ローカライザ姿勢調整ハンドル２０４によってユーザが姿勢をとらせることが可能であってもよい。

【0032】

ナビゲーション－追跡可能患者基準ターゲット２３０は、患者クランプ（例えば、「Ｍａｙｆｉｅｌｄ」クランプ）２４０に剛性的に取り付けられ得る。患者クランプ２４０は、患者２５０がいる手術ベッド２４２の近傍に取り付けられ得る。患者クランプ２４０は、患者の解剖学的構造の領域が患者基準アレイに対して移動することを回避することができる。

【0033】

ＤＳＭナビゲーションターゲット（例えば、「ｓｈｅｌｌ」及び「ｈｅｌｍｅｔ」から派生した「ｓｈｅｌｌｍｅｔ」）２１０を追加することにより、デジタル手術顕微鏡に、（例えば、ローカライザによって追跡可能にすることによって）ローカライザとの互換性を持たせることができる。図中で概略的に示された再帰反射型スフィア、又は、本明細書中の他の箇所で説明する画像に基づくコーナーターゲットなどの様々な形式のナビゲーションターゲットが、システムと共に使用され得る。

【0034】

いくつかの実施形態では、ローカライザも、手術部位の視野を撮像するためのカメラを具備し得る。さらに、デジタル手術顕微鏡によって撮像された画像データを表示するディスプレイ１７０が、図９及び図１０に関連して以下でさらに説明するように、（例えば、オーバーレイとして）ローカライザの視野も表示し得る。

【0035】

ローカライザは、互換性のあるデバイス（すなわち、追跡可能なデバイス、ナビゲーションターゲット）の、ある基準フレームにおける姿勢を、その表示空間内で検出し得る。ローカライザは、この情報を、このような情報の要求に応答して準リアルタイム態様で（例えば、「ポーリング」方式で毎秒１５回）、又は、要求が無くとも一定のレートで（「ブロードキャスト」方式）、ＥＰＵに供給し得る。一般的に、基準フレームは、ローカライザの基準フレームであり得、この基準フレーム内で姿勢が報告される。但し、いくつかの実施態様では、異なる基準フレームからの姿勢を報告するために事前計算が実行され得る。

【0036】

頭蓋骨などの関連する硬い患者の解剖学的構造は、クランプ２４０に取り付けられるか、又は、クランプ２４０を介してアクセス可能である。本明細書に記載されたシステム及び方法は、準備ワークフローの一部として、患者の解剖学的構造の位置合わせ手順を通じてユーザを誘導し得る。この位置合わせ手順は、関連する患者の解剖学的構造に、直接的又は間接的に、剛性的に取り付けられたナビゲーションターゲットに対する患者データ２７０の姿勢を決定することができる。

【0037】

ＩＩ． システムパイプライン
図２は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのための例示的なパイプライン４００を示すフロー図である。さらに、パイプライン４００は、統合手術ナビゲーション及び可視化システム１０１において、手術可視化及びナビゲーション情報が、どのように生成され、取得され、処理され、表示されるかについての１つ以上の例を説明する。パイプライン４００に付随する処理は、略線形であるものとして図示されているが、１つ以上の処理が、同時に、又は、ここで示されている順序と異なる順序で行われ得ることが理解されるであろう。

【0038】

パイプライン４００は、（例えば、画像データストリームの一部としての）手術部位の画像取得（ブロック４０２）で開始し得る。手術部位の画像取得は、手術部位画像取得モジュールにおいて、又は、手術部位画像取得モジュールによって実行され得る。光源（複数可）、ズーム及びフォーカス光学系、画像センサ、並びに全てのサポート電子機器、ソフトウェア、ファームウェア及びハードウェアを含む、フル機能の立体視デジタル手術顕微鏡の例示的な画像取得モジュールは、米国特許第１０，２９９，８８０合明細書及び米国特許第１０，３３４，２２５号明細書にさらに記載されており、これらの全体は、参照により本明細書に組み込まれる。この画像取得モジュールは、手術部位画像データストリーム４１０を生成し得、この手術部位画像データストリーム４１０は、顕微鏡処理ユニット４２０及び付随する手術部位画像処理モジュール４３０に伝達され得る。画像は、ユーザによって動画として認識されるのに十分なだけ高いフレームレート、例えば６０フレーム／秒（ｆｐｓ）で撮像され処理され得る。この場合、画像は、「画像データストリーム」とみなし得る。２個カメラ立体視デジタル手術顕微鏡が説明されている場合、その概念は、Ｎが２以上であるＮ個カメラデジタル手術顕微鏡に拡張可能であり得ることを理解されたい。

【0039】

手術部位画像プロセッサは、手術部位画像取得モジュールから受信した画像データ４１０を処理し得、処理画像データストリーム４４０を生成し得る。処理画像データストリーム４４０は、レンダリング装置モジュール４５０に送信され得、より具体的には、描画、配置及び混合モジュール４６０に送信され得る。レンダリング装置モジュール４５０は、カメラ較正情報４６４も受信し得、このカメラ較正情報４６４は、オフライン処理において生成され得る。カメラ較正情報を生成するための方法及びシステムは、米国特許第９，５５２，６６０号明細書及び米国特許第１０，０１９，８１９号明細書にさらに記載されており、これらの全体は、参照により本明細書に組み込まれる。カメラ較正情報は、立体視デジタル手術顕微鏡の「アイ（ｅｙｅ）」ごとに生成され得る。カメラ較正は、後述する適切なナビゲーションデータとともに、レンダリングされたオーバーレイオブジェクトが、手術部位画像取得モジュールによって撮像されたオブジェクトと同様の視点、サイズ（倍率）、及び姿勢で映るようにレンダリング装置モジュールの仮想カメラをセットアップするオプションをレンダリング装置モジュールに提供し得る。例えば、患者の頭蓋骨の一部及び皮膚のレンダリングされたオーバーレイが、デジタル手術顕微鏡を通じた同じ部分のライブビューと同様の視点及び姿勢で映り得る。

【0040】

このような組み合わせは、描画、配置及び混合モジュール４６０において継続し得、描画、配置及び混合モジュール４６０では、手術部位処理画像データストリーム４４０が、患者データオーバーレイ４７０、任意の器具姿勢４８０を有するＭＰＲ（ｍｕｌｔｉｐｌａｎａｒ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；多平面再構成）ビュー、及びセグメント化情報４９０と組み合わされ得、生の立体視レンダリング画像ストリーム４９２になり得る。生の立体視レンダリング画像ストリーム４９２は、立体視／平面視表示ディスプレイモジュール５００へ送信され得る。立体視／平面視表示ディスプレイモジュール５００は、生の立体視レンダリング画像ストリーム４９２を、必要に応じて、立体視ディスプレイ（複数可）５２０によって必要とされる最終立体視ディスプレイ出力データストリーム５１０に変換し得る。異なる立体視ディスプレイは、異なる最終立体視データフォーマットを必要とし得、ディスプレイ準備モジュールは、それを提供し得る。追加的に、又は代替的に、１つ以上の平面視ディスプレイ５４０があってもよい。平面視ディスプレイ５４０に関連付けられた様々なデータフォーマット５３０も、ディスプレイ準備モジュールによる構成を介して提供され得る。

【0041】

上述の数段落では、ライブ手術部位画像ストリームの取得、その処理、ナビゲーションモジュール出力との組み合わせ、及びその表示について説明した。ナビゲーションモジュール出力は、以下のように形成される。

【0042】

ローカライザ５５０は、センシングデバイスを備え得、このセンシングデバイスは、このセンシングデバイスの視野に対して視認可能な特定のシーンを有する。シーンは、デバイスの設計及びデバイスの姿勢に依存し得る。いくつかの実施形態において、ローカライザ５５０は、１つ以上のナビゲートされた器具に通信クエリ５６０を送信し得る。シーン内に存在し得るナビゲートされた器具は、例えば、第１のナビゲートされた器具５７０、第２のナビゲートされた器具５８０、及び／又は、特定の数までのそのような器具５９０を含み得る。いくつかの実施形態におけるそのような通信クエリは、赤外光を、一定のレベルで、又は、既知のパルスレート、及び／若しくは、シーケンスでシーンに向けて指向させることを含み得る。他のいくつかの実施形態において、クエリは、ナビゲートされたターゲット（複数可）上に形成された高コントラストのパターンを照明する上で周囲の可視光に依存するなど、受動的な性質のものであってもよい。（例えば、オンとオフとを切り替えることによる、又は、特定の波長を選択することによる）この赤外光の制御は、デジタル手術顕微鏡の蛍光機能との照明干渉を回避することを助ける。

【0043】

通信クエリは、各ナビゲートされた器具から応答６００として送り返され得る。応答は、ローカライザによって受信され得、ナビゲートされた器具ごとに器具情報及び姿勢情報６１０として送信され得る。ローカライザは、これらのクエリ、及び／又は、応答を、１５Ｈｚ（Ｈｅｒｔｚ；ヘルツ）～３０Ｈｚなどのリアルタイム又は略リアルタイムのレートで、送信／受信サイクルとして実行し得る。各器具の姿勢情報は、全ての器具について共通の空間において決定され得る。例えば、ローカライザの剛性構成に対する座標基準フレームの原点及び向きが、使用される共通の空間であってもよい。器具及び姿勢情報６３０は、器具姿勢計算モジュール６２０によって受信され得る。

【0044】

オフライン処理において、患者データ取得デバイス（ＣＴ、ＭＲＩなど）６４０を使用して、患者２５０の関連する解剖学的構造をスキャンし、取得された患者データ６５０を生成し得る。取得された患者データは、任意に、患者データ中央記憶装置６６０に記憶され得る。患者データは、（例えば、中央記憶装置６７０から）ナビゲーションプロセッサ６８０へ送信され得る。或いは、患者データは、患者データ６７２として取得装置６４０から前記プロセッサに直接送信されてもよい。

【0045】

ナビゲーションプロセッサ、顕微鏡処理ユニット、及び全ての他の主要構成要素それぞれの物理的位置は、実施形態に応じて異なり得ることが理解されよう。一般に、顕微鏡処理ユニット４２０及びナビゲーションプロセッサ６８０は、組み込み処理ユニット１６０内にあってもよいが、これは必須要件ではない。例えば、ナビゲーションプロセッサは、組み込み処理ユニットを収容し得るカートから離れて、ナビゲーションカメラと同一のハウジングの内部に物理的に配置され得る。

【0046】

患者データ処理モジュール６９０は、患者データを、システムの他の部分における様々なモジュールによって必要とされるフォーマット（複数可）へ、処理患者データ７００として処理し得る。

【0047】

このパイプラインに付随する処理の相対的なタイミングについては、図４Ａ及び図４Ｂに関連してさらに説明する。後述するように、ユーザ７１０は、ユーザ計画作成、セグメント化、及び位置合わせ入力７２０を介して、ソフトウェアに、これらの各ワークフローステップを実行するように指示し得る。患者位置合わせモジュール７３０は、ユーザに指示し、ユーザ入力を受け付けて患者位置合わせ情報７４０を生成し得る。位置合わせ情報７４０は、処理患者データ７００と患者基準ナビゲーションターゲット２３０との間の姿勢関係を記述し得る。

【0048】

処理患者データ７００の使用は、多平面再構成ビュー生成装置７５０が多平面ビュー７８０を生成する間も継続し得る。多平面ビュー７８０は、ユーザが計画作成モジュール７６０を使用して（手術ナビゲーションシステムにおける標準機能と同様に）切開、アプローチ、及び対象のパターン及び軌道を生成することを支援し得る。いくつかの実施形態では、３Ｄビュー生成装置が、例えば患者データの３Ｄ表現を生成することによって、そのような試みにおいてユーザをさらに支援し得る。３Ｄ表現のビューは、所望の姿勢、及び／又は、スケールに基づいて調整され得る。

【0049】

多平面ビュー７８０、及び／又は、患者データの任意の３Ｄ表現は、ユーザがセグメント化モジュール７７０を使用してセグメント化ジオメトリ７９０を生成することを支援し得る。例えば、患者の病変が、患者の脳の何らかの特定の場所に位置する腫瘍である場合、セグメント化モジュール７７０は、セグメント化ジオメトリが腫瘍のサイズ、形状、及び姿勢を表すように患者データ内の腫瘍を分離するオプションをユーザに提供する。

【0050】

カメラ較正情報４６４、器具姿勢情報６３０、多平面再構成ビュー７８０、患者データの３Ｄ表現、及びセグメント化ジオメトリ７９０のうち１つ以上が、仮想シーン管理装置８００へ供給され得る。仮想シーン管理装置８００は、患者データオーバーレイ４７０、任意の器具姿勢４８０を有する多平面再構成ビュー、並びに、描画、配置及び混合モジュール４６０によって様々な方法で使用可能なセグメント化情報４９０の表現を、ユーザによって構成されたとおりに生成し得る。

【0051】

例えば、オーバーレイは、オン／オフのオプションが利用可能な状態で、デジタル手術顕微鏡の光軸に沿ってある距離だけ離れて表示され得る。追加的に、又は代替的に、光軸に沿った前記の距離は、ユーザによって制御可能であってもよく、これにより、患者の解剖学的構造のある部分における患者データの「Ｘ線ビジョン」が可能になる。

【0052】

オーバーレイが従来の光学顕微鏡に導入される既存の従来システムでは、オーバーレイディスプレイの焦点面が明確に単一の平面であるのに対し、シーンのビューは多くの焦点距離の類似集合である。このような従来のシステムでは、ユーザは、しばしば、実際の手術部位を見ることとオーバーレイを見ることとを切り替える際に、目の焦点を合わせ直すことを強いられる。さらに、その単一のオーバーレイ表示面の知覚された位置は、しばしば、一般的な手術部位シーンから大幅に離れて、例えば部位の数センチメートル上に位置している。しかし、本明細書に記載されたシステム及び方法は、オーバーレイ情報が、実際の手術部位の立体視ビューと同一の表示焦点面上に提示されることを可能にし得る。

【0053】

実際の手術部位の立体視ビューの単一の表示焦点面（例えば、立体視ディスプレイの平面）が存在し得るものの、ユーザは、それでもなお、人間の視覚系の驚異により、完全な、又は、知覚的に完全な、多くの焦点距離の類似集合を知覚し得る。

【0054】

この例にさらに加えて、３つの多平面再構成ビューのうち１つ以上（又は全て）に加えて３Ｄ表現をメインディスプレイ画面の側部に任意に表示することにより、ライブ手術ビューを、ナビゲーション情報とともに、１つのディスプレイにおいて統合してもよい。この統合は、可視化システムとナビゲーションシステムとを交互に見ることをユーザにしばしば強い、システム間の大きな情報負荷が精神的に加わる既存の複数デバイスシステムと比較した場合のさらに他の利点である。

【0055】

ＩＩＩ． システム準備
図３は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムを起動するための例示的な処理３００を示すフロー図である。例えば、統合ナビゲーション及び可視化システムのユーザは、処理３００に示されるシステム準備ステップに従うように訓練され得る。ステップ８５０において、ユーザは、統合ナビゲーション及び可視化システムを病院の主電源に（例えば、壁のソケットにプラグ接続することによって）プラグ接続し得る。ステップ８６０において、ユーザは、（例えば、「オン」スイッチをオンにすることによって）システムの電源をオンにし得る。ステップ８７０において、ユーザは、システムの使用を開始し得る。システムの電源を入れた後のワークフローのステップについては、図４Ａ及び図４Ｂに関連して、さらに後述する。

【0056】

図３に示すように、統合ナビゲーション及び可視化システムの起動が比較的容易であることにより、ナビゲーション及び可視化のための従来の複数構成要素システムと比べた場合の統合手術ナビゲーション及び可視化システムの大きな利点がもたらされ、これは、統合手術ナビゲーション及び可視化システムが、様々なセットアップステップ又は起動処理を実行する必要性を除去するか、又は、不要にするからである。例えば、図３に示すように、病院の主電源にプラグ接続するために単一の電源プラグが必要とされ得るのに対し、従来の複数構成要素システムでは、通常、そのような接続が少なくとも２つは必要となり得る。さらに、ユーザがナビゲーションシステムと可視化システムとを物理的に接続する必要が無い。これに対して、従来の複数構成要素システムは、通常、分離したナビゲーションシステムと可視化システムとの間で何らかの形式の接続を必要とし得る。さらに、ナビゲーションシステムと可視化システムとの間でワークフローの同期を行う必要が無い。これに対して、従来の複数構成要素システムは、何らかの形式の、そのようなワークフローの同期を必要とし得る。

【0057】

ＩＶ． システムワークフロー
図４Ａ及び図４Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。統合手術ナビゲーション及び可視化システム上のソフトウェアアプリケーションは、パイプラインのソフトウェア部分を実行し得、ユーザが従うべきワークフローを提供し得る。ワークフローの様々な部分がワークフローコマンド及び制御モジュールにおいて実施され得る一方、他の部分はソフトウェアの外部及びシステムの外部で実行され得る。このような部分は、システム使用の全体像を提供するために提示され得る。

【0058】

明確性のために、ワークフローコマンド及び制御モジュールは、データ取得、処理及び表示パイプライン４００には示されていない。実施されたワークフローが本明細書で説明される。このワークフローは、略線形の形態であるものとして説明されているが、いくつかの処理が、同時に、及び／又は、ここで示されている順序と異なる順序で発生し得ることが理解されるであろう。

【0059】

ワークフローは、手術室のセットアップ（「手術室セットアップ」）９００から開始され得、手術室のセットアップ９００では、機器、器具、及び付属品が手術室に持ち込まれ得る。このような機器、器具、及び付属品は、統合手術ナビゲーション及び可視化システム、患者クランプ（複数可）、ナビゲーション器具、手術器具、並びに麻酔装置を含み得るものの、これらに限定されない。患者セットアップワークフローステップ９０２とみなされる一群のワークフローステップが、手術室スタッフによって実施され得る。これらのステップは、ステップ９１０における洗浄で開始され得、この洗浄では、無菌野に入るスタッフが自らの事前洗浄を行い、無菌衣を着用する。加えて、いくつかの予備的な患者の洗浄が、この時点で実行され得る。

【0060】

ステップ９２０において、患者が、覚醒した状態で手術室に搬入され得る。その後、ステップ９３０が、患者の準備９３０を含み得、患者の準備９３０は、手術部位近傍における除毛と、近傍の領域のさらなる滅菌と、を含み得る。ステップ９４０において、患者が手術位置に移動され得、ステップ９５０において、麻酔科医が患者に麻酔を施し得る。

【0061】

患者に関連するナビゲーションセットアップの一部は、ステップ９６０で実行され得る。いくつかの態様では、患者の関連する解剖学的構造が、ナビゲーション基準ターゲットに対して剛性的に固定され得る。例えば、神経外科手術では、患者の頭蓋骨が、Ｍａｙｆｉｅｌｄクランプ内に剛性的に固定され得、ナビゲーション基準ターゲットが、このクランプに剛性的に固定される。ナビゲーションプローブなどの付属品は、この時点で、例えば、これらを滅菌キットから取り除いて滅菌テーブル上に載置し、外科医が利用できるようにすることによって、利用可能とされ得る。

【0062】

ワークフローは、本明細書において計画作成及び手術室セットアップ９６２と称される一連のステップへ進み得る。計画作成及び手術室セットアップ９６２に付随するステップのうちステップ９６４は、通常、例えば滅菌する必要が無い機器を有する手術室の非無菌野において行われ得る。

【0063】

ユーザは、ステップ９７０に進み得、ステップ９７０において、統合手術ナビゲーション及び可視化システム上のソフトウェアアプリケーションを使用して、患者データ中央記憶装置から患者情報及び患者画像データをインポートする。いくつかの態様において、患者データ中央記憶装置は、ＰＡＣＳ／ＨＩＳ／ＲＩＳ９８０と総称される、ＰＡＣＳ（ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ；画像アーカイブ通信システム）、ＨＩＳ（ｈｏｓｐｉｔａｌ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ；病院情報システム）、又はＲＩＳ（ｒａｄｉｏｌｏｇｙ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ；放射線科情報システム）のうち１つ以上を備え得る。患者情報及び患者画像データは、病院イーサネットなどの通信インタフェースを介して、フォーマット済み患者データ９９０として提供され得る。患者情報、及び／又は、患者画像データは、１つ以上のオプション（例えば、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）、ＨＬ７（Ｈｅａｌｔｈ Ｌｅｖｅｌ）など）を使用してフォーマットされ得る。

【0064】

ステップ１０００において、外科医プロファイルがインポートされ得る。或いは、例えば外科医プロファイルが存在しない場合、外科医プロファイルが作成され得る。決定ステップ１０１０において、ナビゲーション計画が存在する場合、ステップ１０２０において、ユーザが、ローカル記憶装置１０３０から既存の患者計画（セグメント化された解剖学的構造及び軌道情報）をロードし得る。しかし、ナビゲーション計画が存在しない場合、決定ステップ１０４０において、ユーザが、現場計画作成が必要であるか否かを決定し得る。ナビゲーション計画が存在しない場合、及び／又は、現場計画作成が不要である場合、ステップ１０５０において基準画像がロードされ得る。ナビゲーション計画作成が必要であるか、又は望ましい場合、ステップ１０６０において、ナビゲーション計画作成が実行され得る。ナビゲーション計画作成のための追加のステップは、例えば、（例えば、ＭＲＩをＣＴに位置合わせするための）画像モダリティの共同位置合わせ若しくは融合、ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ；関心領域）の指定、１つ以上の領域のセグメント化、（頭蓋神経外科手術の場合における）開頭手術若しくは他のアプローチの指定、並びに軌道計画作成を含み得る。ステップ１０７０において、ナビゲーション計画作成が、例えば主任外科医によって検証され得る。

【0065】

ステップ１０８０において、手術室のレイアウトが決定され得る。手術室のレイアウトは、統合手術及びナビゲーション可視化システムの位置、及び／又は、向きと、手術中の様々な段階において様々な手術室機器にどのような姿勢をとらせるかと、を含み得る。

【0066】

ステップ１０９０において、統合手術ナビゲーション及び可視化システムが、患者がいる手術室テーブルの近傍に運ばれ得る。デジタル手術顕微鏡ヘッドは、今のところ、無菌野から遠ざけておいてもよい。現在のワークフローステップ中に必要とされる、関連するナビゲートされた器具をローカライザが「見る」（例えば、ローカライザの視野内で受信する）ことができるようにローカライザに姿勢をとらせることができる。例えば、位置合わせ中、ローカライザは、ナビゲートされたハンドプローブ及びナビゲートされた患者基準ターゲットを見る必要があり得る。

【0067】

ステップ１１００において、ユーザは、患者が位置合わせの準備を済ませていることを確認し得る。ステップ１１１０において、ユーザは、ローカライザが位置合わせに必要な器具を追跡していることを確認し得る。いくつかの実施形態において、これらの器具は、ナビゲートされたハンドプローブを含み得、追跡は、ナビゲートされた患者基準ターゲットの位置を特定することを含み得る。他の実施形態において、追跡は、デジタル手術顕微鏡上のナビゲートされたターゲット（複数可）と、ナビゲートされた患者基準ターゲットとの位置を特定することを含み得る。

【0068】

ステップ１１２０において、患者位置合わせが実行され得る。手術ナビゲーション可視化システムでは、様々な形態の位置合わせが利用可能であり得る。選択された位置合わせは、手術の種類、患者の体位、及び／又は、患者の状態を含むものの、これらに限定されない、複数の変数の関数であり得る。利用可能な患者位置合わせの形態は、例えば、フィデューシャルマッチング、ランドマークマッチング、及びトレースを含み得る。

【0069】

フィデューシャルマッチングでは、ボリュームスキャンが（例えば、ＣＴ又はＭＲＩによって）実行される前に、フィデューシャルが患者に（例えば、貼り付けによって）取り付けられ得る。フィデューシャルは、患者に取り付けられたままであってもよい。この場合、実際の物理的フィデューシャルの位置が、ボリュームスキャン内の位置とマッチングされ得る。実際の患者の上のフィデューシャルの位置の特定は、いくつかの実施形態ではナビゲートされたプローブの先端を使用して実行され得、他の実施形態ではデジタル手術顕微鏡の焦点を使用して実行され得る。

【0070】

ランドマークマッチングでは、実際の患者の上の物理的ランドマーク（例えば、目尻）が、ボリュームスキャンデータ内の対応するランドマークとマッチングされ得る。フィデューシャルの位置と同様に、実際の患者の上のランドマークの位置の特定は、いくつかの実施形態ではナビゲートされたプローブの先端を使用して実行され得、他の実施形態ではデジタル手術顕微鏡の焦点を使用して実行され得る。

【0071】

トレースでは、ユーザが、ナビゲートされたプローブを使用して、ユーザの解剖学的構造の固有の形状を有する部分（例えば、目の下の領域の一部を含む鼻梁の鞍部）の上をトレースするようにソフトウェアによって指示され得る。追加的に、又は代替的に、デジタル手術顕微鏡の焦点は、領域を動き回るロボットと組み合わせて使用され得、この場合、オートフォーカス機構が、患者の解剖学的構造の表面に留まる手段を提供する。

【0072】

患者位置合わせの他の形態は、レーザーを使用した非接触位置合わせと、写真計測／立体計測を使用した非接触位置合わせとを含み得る。

【0073】

ステップ１１３０において、外科医が、患者データを検討し得、位置合わせを検証し得る。位置合わせが十分に正確でない（例えば、類似性閾値を満たさない）場合、決定ステップ１１４０が、ステップ１１２０に戻って位置合わせステップ（複数可）を繰り返すためのロジックを提供する。位置合わせが十分に正確である（例えば、類似性閾値を満たす）場合、又は十分に正確になった後、ワークフローがステップ１１４２へ進み、このステップ１１４２は、ほとんどの場合、手術室の無菌野で行われる。

【0074】

患者及びデジタル手術顕微鏡を無菌野での使用に向けて準備するために、ステップ１１５０は、患者及びデジタル手術顕微鏡を１つ以上の滅菌ドレープで覆うことを含む。必要に応じて、適切な開口が、デジタル手術顕微鏡に合わされ得る。例えば、レンズ窓が、デジタル手術顕微鏡の光学系の主入口に合わされ得る。外科的侵入が行われる患者の領域は、患者ドレープを通して露出させられ得る。患者の皮膚は、消毒液で滅菌され得る。

【0075】

ステップ１１２０において上述した先の患者位置合わせは、非無菌野において、ドレープで覆われていない患者及びクランプと、非滅菌のナビゲートされたプローブを使用して行われ得る。クランプがドレープで覆われておらず非無菌であったため、患者基準ナビゲートターゲットは非無菌であるとみなし得る。従って、ステップ１１６０において、このターゲット、及び／又は、（例えば、使用されている場合には）ナビゲートされたプローブが、無菌の同等物と置き換えられ得る。

【0076】

図４Ａ及び図４Ｂのワークフローを参照すると、１１６０以降のステップに関して、手術の主要部分が開始され得る。ステップ１１７０では、計画を使用して、切開点、及び／又は、経路が、患者の上において、マーキングされるか、又は他の方法で示され得る。統合手術ナビゲーション及び可視化システムの利点は、これらの切開点、及び／又は、経路を、患者に物理的にマーキングする代わりに、ライブビュー上のオーバーレイとして仮想的に描画し得ることである。物理的マークが、アプローチ中に最初に剥がされるか、又は他の方法で位置をずらされる（そして見えなくなる）皮膚の最外層にあるため、すぐに除去されるのに対し、このような点、及び／又は、経路はアプローチ全体を通じて持続し得るので、これは非常に有用である。

【0077】

切開及びアプローチは、ステップ１１８０において、患者の切開により開始し得る。このワークフローにおけるステップの一部は、頭蓋神経外科手術に特有であるかもしれないが、多くの一般的な手術に適用され得る。ステップ１１８０において、開頭手術が開始される。統合手術ナビゲーション及び可視化システムの他の利点は、開頭手術の形状を予め計画し、外科医が「数字で切断し（ｃｕｔ ｂｙ ｎｕｍｂｅｒｓ）」、画面上に描画されたとおりに経路を切断器具でなぞるだけで済むように、予め計画した開頭手術の形状をライブ画像上のオーバーレイとして仮想的に描画する能力を含み得る。このオーバーレイは、任意にユーザの制御下で、アプローチの時間全体にわたって持続する。

【0078】

ステップ１１９０において、（例えば、頭蓋神経外科手術の一部として）硬膜が開かれ得る。ステップ１２００において、デジタル手術顕微鏡ヘッドが、患者の手術部位が存在する場所に移動され得る。いくつかの態様では、このステップが、図４Ａ及び図４Ｂに示すワークフローにおいてより早い段階で行われ得、例えば、皮膚切開及び開頭手術ステップのための仮想オーバーレイを提供する。

【0079】

ステップ１２１０では、手術の大部分が実行され得る。統合手術システムのさらなる利点が明らかになる。例えば、計画された軌道が、ユーザの要求に応答して多平面再構成ビュー上に描画され得る。ロボットアームが、ユーザの要求の下で、デジタル手術顕微鏡の光軸を移動させ、予め計画された軌道に合わせるように命令され得る。追加的に、又は代替的に、そのような合わせ（ａｌｉｇｎｍｅｎｔ）は、デジタル手術顕微鏡の光軸を、脊椎拡張器器具の軸又はＮＩＣＯポートの軸などの何らかのベクトルと準連続的に準リアルタイムで合わせるために使用され得る。これにより、外科医は、手術の間中、姿勢を変える可能性がある、そのような軸の下に有用なビューを維持するために顕微鏡を手動で配置する必要から解放され得る。

【0080】

追加的に、又は代替的に、ステップ１２１０で、ナビゲートされたオーバーレイを使用して、外科医が、患者の解剖学的構造内で「自分がどこにいるのかを知る」ことを可能にし得る。さらに、ナビゲートされたオーバーレイを使用し、外科医が、未だ除去されていない患者の物理的構造の下に残っている可能性がある患者の解剖学的構造の患者ボリュームデータ部分から描画することによって「Ｘ線ビジョン」を得ることを可能にし得る。

【0081】

セグメント化が、例えば腫瘍の３Ｄ形状及び姿勢を特定するために使用される場合、そのような３Ｄ形状は、ユーザの制御下で、ある程度の精度の範囲内で正しい視点、姿勢、及びスケールで描画され得、ライブ画像ストリームと混合され得る。この特定により、未だ切除されていない組織の何れの部分が「腫瘍」又は「非腫瘍」である可能性があるかを外科医が識別することが可能になり得る。

【0082】

手術の主要部分（例えば、腫瘍切除又は動脈瘤クランプ）が完了した後、ステップ１２２０において、硬膜が閉じられ得、頭皮が縫合され得る。ステップ１２３０において、デジタル手術顕微鏡ヘッドおよびカートが運び去られ得る。ステップ１２４０において、手術が完了し得る。

【0083】

ステップ１２５０で、手術中に記録された画像、及び／又は、動画が、（例えば、ローカルに、ＰＡＣＳ（ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ；画像アーカイブ及び通信システム）１２６０に、手術中に記録された画像、及び／又は、動画用のローカル記憶装置１２７０に）記憶され得る。

【0084】

Ｖ． カメラの較正
図５は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な較正オブジェクトを示す図である。

【0085】

OpenCV cv::calibrateCameraなどの標準的なカメラ較正法を使用して、立体視デジタル手術顕微鏡の２つのカメラアイのそれぞれについて以下の内部カメラパラメータが決定され得る：主点（cx,cy）；及び焦点距離（fx,fy）。

【0086】

cv::calibrateCamera処理は、コンピュータビジョンで検出可能なサブオブジェクトを含むターゲットに対する各カメラアイの複数の姿勢で較正ターゲットのスナップショット画像を撮像することによって実現され得る。いくつかの実施形態におけるサブオブジェクトは、互いに対して固有であり得、ひいては、較正ターゲット全体に対する各サブオブジェクトの位置が既知であり得る。

【0087】

いくつかの態様において、cv::calibrateCameraは、同時解決処理を使用して、カメラの各姿勢において、内部カメラパラメータに加えて外部カメラパラメータを決定し得る。前記外部パラメータは、較正ターゲットの予め定められた基準フレームに対する各カメラアイの３次元並進及び３次元回転で構成される：
Tx,Ty,Tz（例えば、原点からの較正基準フレームの各軸に沿った並進）；及び
Rx,Ry,Rz（例えば、較正基準フレームの各軸周りの回転）。

【0088】

外部パラメータは、較正処理で使用するためのスナップショット画像を生成するために使用される複数の姿勢のそれぞれについて、較正ターゲット基準フレームに対する各カメラアイの各固有の姿勢に固有であり得る。これに対し、内部パラメータは、そのような画像全てにわたって一定に保たれるように制約され得る。

【0089】

この概念は、Ｎが２以上であるＮ個カメラデジタル手術顕微鏡に拡張可能であり得る。

【0090】

ナビゲートされた較正オブジェクト１３００が作成され得、このナビゲートされた較正オブジェクト１３００は、ナビゲーションカメラ２００によって追跡可能なナビゲーションターゲット１３１０に加えて、ナビゲーションターゲットの基準フレーム内に既知の位置及び回転で（すなわち、既知の姿勢で）配置された、コンピュータビジョンで検出可能なサブオブジェクト１３２０を備える。

【0091】

ナビゲーションカメラによって追跡可能なナビゲーションターゲット２１０が、カメラの各光学系に共通する何らかの物理的フレームに剛性的に貼り付けられ得る。いくつかの実施形態では、ローカライザに対するデジタル手術顕微鏡ヘッドの姿勢の広い範囲にわたって常に少なくとも１つのターゲットをローカライザ（すなわち、ナビゲーションカメラ）が「見る」ことができるように、１つ以上のそのような追加のターゲットをフレームの周囲に様々に配置され得る。

【0092】

ナビゲートされた較正オブジェクトは、立体視デジタル手術顕微鏡のビュー内に配置され得る。

【0093】

立体視デジタル手術顕微鏡は、所定のズーム及び焦点距離に設定され得る。さらに、立体視デジタル手術顕微鏡は、ナビゲートされた較正オブジェクトを視野内に留め、各姿勢において各カメラアイの画像を記録しつつ、ナビゲートされた較正オブジェクトに対するＮ個の姿勢を通じて動かされ得る。

【0094】

立体視デジタル手術顕微鏡における視差は、画面上の所定の点又は領域について、所定の点、領域、又は画面上の点におけるシーンの特徴に関する左右のカメラアイの間の間隔のピクセルの数として定義され得る。例えば、視差が測定される点として画面の中心が選択され得、左のカメラアイの画面上の中心は、不規則な形状の三角形の左下隅などのシーンの特徴を見ている可能性がある。

【0095】

同一の特徴が、右のカメラアイの画面上の中心から５ピクセル右に映ると（例えば、ユーザ入力を介して、又はOpenCV cv::matchTemplate()などのコンピュータビジョンパターンマッチングを介して自動的に）決定され得る。この場合の視差は、「＋５ピクセル」であり得る。画面の中心軸周りの何れの方向が正符号であり何れの方向が負符号であるかは、任意に、且つ、予め決定され得る。

【0096】

立体視デジタル手術顕微鏡は、システムが「概ね良好な焦点」にあるときに、ズーム及び作動距離の動作範囲全体にわたって、各カメラアイについての画面の中心における視差がゼロピクセルか又はそれに近い値になるように較正され得る。いくつかの実施形態では、画面上の他の点、及び／又は、他の視差の値が使用され得る。

【0097】

較正で使用されるＮ個のポーズでの画像の取得中、ナビゲートされた較正オブジェクトのビューは、任意に、視差が最小化されるなど、「焦点が合っている」メトリクスが最適化されるようにロボットを動作させることによって、概ね良好な焦点に維持され得る。ロボットの動作は、フィードバックループにより制御され得る。フィードバックループは、測定されたパラメータ視差を継続的に監視し得、測定結果を使用して、立体視デジタル手術顕微鏡が、顕微鏡の推定された光軸に沿って、ナビゲートされた較正オブジェクトに近づいたり遠ざかったりするようにロボットアームを駆動し、それによって測定されたパラメータの視差を調整し得る。

【0098】

ナビゲーションカメラ２００（「ローカライザ」とも称される）は、ナビゲーションカメラ２００のビュー内のナビゲートされたターゲット（「器具」とも称される）を継続的に撮像し得る。その後、ナビゲーションプロセッサ６８０が、そのような各器具の何らかの基準フレームにおける姿勢を計算し得、前記の器具姿勢情報を組み込み処理ユニットに報告し得る。使用される基準フレームは、「ローカライザ基準フレーム」と称され得、通常、立体視ローカライザカメラが使用される場合におけるカメラの２つのアイを結ぶ線の中点などの、ローカライザカメラ上の便利で賢明な何れかの場所で姿勢をとらされ得る。例えば、基準フレームの１つの軸が前記の線と合わされ得、別の軸がローカライザカメラの前面から直角に外側へ延び得、第３の軸が右手直交座標系を成すように向けられ得る。

【0099】

較正スナップショット画像が記録されるロボットの（ひいては立体視デジタル手術顕微鏡の）各姿勢において、ナビゲートされた較正オブジェクトと、デジタル手術顕微鏡上のナビゲートされたターゲット（複数可）とのそれぞれの器具姿勢情報も記録され、後で使用するために較正スナップショット画像に索引付けられ得る。

【0100】

これらの姿勢は、同次変換行列として表され得、１つの基準フレームを他の基準フレームに変換し得る。このような行列の命名は、複数の行列の「連鎖」を可能にするように選択され得、この場合、一連の行列の乗算の最終結果が、右端に記載された基準フレームの、左端に記載された基準フレームへの変換をもたらし得、内側の名称が必ず一致する。この命名及び表現により、例えば計算が正しいことを確認するための、迅速な一目で分かる検証が可能になる。

【0101】

空間「B」から空間「A」への変換は、A_T_Bと「逆に」記述され、「空間Bから空間Aへの変換は、A_T_B:BからA」と発音され得る。

【0102】

この命名により、空間名の「内側」の対を並べることによって、変換を容易に「連鎖」させることを可能にし得る。最終的な変換は、空間名の「外側」の対であり得る。

【0103】

【数1】

【0104】

行列A_T_Bの逆行列は、B_T_Aと記述され得る。例えば：
calPattern_T_calRefFrame = calRefFrame_T_calPattern.inverse() (1.1)

【0105】

カメラ較正では、カメラが、基準フレームを有するピンホールとしてモデル化され得、基準フレームの原点はピンホールであり得る。カメラは、ピンホールの一側にシーンがあり、ピンホールの他側にセンサがあるように配置され得る。数学的に単純化するために、センサが概念的にシーンと同じ側に移動され得る。ピンホールは、「アイポイント」、「カメラアイ」、又は「投影中心」と様々に称され得る。

【0106】

ローカライザ基準フレーム内のナビゲートされた較正オブジェクトの姿勢は、以下のように表記され得る：
localizer_T_calTarget (2.1)

【0107】

複数のターゲットが（例えば、可能なカメラ姿勢の範囲にわたって視認性を向上させるために）デジタル手術顕微鏡上で使用される場合、デジタル手術顕微鏡上の複数のナビゲートされたターゲットの姿勢は、単一のナビゲートされたターゲットが使用される場合と同じ方法で報告され得る。例えば、ローカライザ基準フレーム内の単一の代表的な姿勢は、以下のように報告され得る：
localizer_T_camTarget (2.2)

【0108】

この報告は、必ずしも単なる表記上の便宜であるとは限らない。複数のナビゲートされたターゲットがデジタル手術顕微鏡上で使用される場合、１つのターゲットが主ターゲットとして選択され得、他のターゲットの位置がその主ターゲットに対して決定され得る。この場合、ナビゲーションプロセッサが、そのような単一の器具姿勢を計算し、器具姿勢情報ストリーム内で報告し得る。

【0109】

カメラ較正処理で使用される各スナップショットは、較正オブジェクトの何らかの予め定められた基準フレームに対するカメラアイの姿勢を提供し得、この基準フレームは、通常、較正オブジェクトで使用される何らかの較正パターンの一部である。この場合、カメラアイの姿勢（すなわち、外部パラメータ）が、その較正パターンに対して決定され得、以下のように表記され得る：
calPattern_T_camEye (2.3)
ここで、「camEye」は、投影中心の基準フレームの位置及び向き（すなわち、「姿勢」）と、デュアルカメラ立体視デジタル手術顕微鏡の所定の単一のカメラについての光学系全体の理想化されたピンホールカメラモデルの座標系と、を表す。

【0110】

簡単のために、較正オブジェクト基準フレームは、較正オブジェクトに取り付けられた、ナビゲートされた基準フレームと一致するものとみなされ得る。従って、較正オブジェクトに取り付けられた、ナビゲートされたターゲット（の基準フレーム）に対する較正パターンの姿勢は、以下のように表記され得る：
calTarget_T_calPattern (2.4)

【0111】

いくつかの実施形態において、これは、１３３０のように、較正パターンの基準フレームを、較正オブジェクトに取り付けられたナビゲーションターゲットの基準フレームと一致させることによって恒等にされる。

【0112】

較正パターンに対する、それぞれの関連するカメラアイ姿勢を有する所定の単一の較正画像について、デジタル手術顕微鏡上の単一の代表的なナビゲートされたオブジェクトに対する所定のカメラアイの姿勢は、上述したように計算され得る（例えば、逆記法、行列「連鎖」法など）：
式３： camTarget_T_camEye = camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calPattern * calPattern_T_camEye

【0113】

このような較正画像と、それぞれの関連するカメラ姿勢と、がＮ個存在し得るため、camTarget_T_camEyeの実現値がＮ個算出され得る。測定ノイズ及びシステム誤差の影響を低減するために、camTarget_T_camEyeのＮ個の実現値を平均して、カメラアイごとに最終的なcamTarget_T_camEyeを求め得る。

【0114】

いくつかの実施形態では、calTarget_T_calPatternを設計により恒等行列とすることで、式を単純化し得る。

【0115】

Tx,Ty,Tz並進は、それぞれ線形的に平均化され得る。

【0116】

回転Rx,Ry,Rzは、例えば、角度集合を四元数に変換し、何れも両極ではないことを確認し、例えばMarkely式方法を使用して解くことによって平均化され得る。

【0117】

上述のステップが完了した後、システム較正が完了したと見なし得る。

【0118】

典型的なオフライン処理では、患者をボリュメトリックにスキャンすることにより、ある基準フレーム（例えば、スキャンデバイスの基準フレーム）における関連する患者の解剖学的構造の三次元サンプリングがもたらされ得る。

【0119】

患者クランプに取り付けられた、ナビゲートされたターゲットは、「患者基準ターゲット」とも称され得る。患者基準ターゲットは、システムの実行時使用中に、較正処理中に、較正オブジェクトに取り付けられた、ナビゲートされたターゲットが果たした役割と同様の役割を果たす。

【0120】

患者位置合わせ処理を実行することにより、患者基準ターゲットに対する、関連する患者の解剖学的構造の姿勢の情報を得ることができ、この情報は、以下のように表記される：
patientTarget_T_patientData (2.5)

【0121】

カメラアイが患者データ内のどこを見ているかを求めること
上述した情報の組み合わせを使用して、システムのランタイム使用中に、立体視デジタル手術顕微鏡の各カメラアイが患者データ内のどこを見ているかを決定し得る。最新のコンピュータグラフィックスシステムでは、この構成の逆関数が計算され得る。この場合、立体視デジタル手術顕微鏡の各カメラアイにおける患者データの姿勢は、以下のように決定される：
式４：camEye_T_patientData = camEye_T_camTarget * camTarget_T_localizer * localizer_T_patientTarget * patientTarget_T_patientData

【0122】

上述した式は、コンピュータグラフィックスレンダリング装置の設定の「モデルビュー」部分であり得、この式は、モデル（例えば、患者データ）がどのように見られるべきかを記述する。

【0123】

コンピュータグラフィックスシステムの投影行列を使用して、シーン内の点がどのようにディスプレイ画面に投影されるかを記述し得る。カメラ較正処理は、シーン内の点がカメラの画像センサにどのように投影されるかを決定することと同様であり得る。カメラ較正の結果として得られるカメラ内部パラメータは、投影行列の作成に直接使用され得る。

【0124】

いくつかのコンピュータグラフィックスシステム（例えば、OpenGL）において、最終的な投影処理は、中間空間（例えば、正規化デバイス座標空間）へのマッピングも含み得る。これは、上述した投影行列を取得し、別の行列を事前に乗算することで実現し得る。その結果は、同じく投影行列と称され得、以下に説明するように、視野を直接操作する機会を提供し得る。簡単のために、この結果は、結合投影行列と称され得る。

【0125】

画像センサの幅と高さとの比率に関連して、「焦点距離」として知られるカメラ内部パラメータがカメラの画角を記述し得、投影行列において直接使用され得る。

【0126】

これに対する改善である任意の明示的視野較正が、いくつかの実施形態で使用され得る。任意の明示的視野較正は、本明細書で説明するように、追加の焦点距離較正を必要とし得る。

【0127】

目盛りを有する定規などの較正された測定器具が、この測定器具の画像が画面の関連する寸法（例えば、画面の水平幅）と合い、ひいてはこの寸法を測定し得るようにシーン内に配置され得る。

【0128】

カメラは、何らかのズーム及び作動距離設定に設定され得る。カメラヘッドを機械的に動かすことによって定規に焦点を合わせ得る。画面の幅（例えば、焦点面での水平視野）が、定規から直接読み取られ得る。

【0129】

この処理は、複数の光学的設定（例えば、合計３６回の測定の各範囲にわたる６つのズーム及び６つの作動距離）にわたって繰り返され得る。結果は、本明細書で説明するパラメータ化処理の各曲線にフィットし、これによりズーム及び作動距離の範囲全体にわたる（この例では）水平視野の正確な測定値を提供し得る。

【0130】

この処理の自動化を支援するために、パターンが測定器具として使用され得る。パターンは、コンピュータビジョン処理によって検出及び測定され得る。例えば、平板が、略対称のチェッカーボード画像で装飾され得る。チェッカーボード画像の各特徴の寸法は、設計、及び／又は、測定によって既知であり得る。何らかの非対称な特徴又は他の特徴を追加して、板の中心がカメラビュー内に計画どおりに維持されるようにコンピュータビジョン処理に加えてロボット制御を支援し得る。

【0131】

広いズーム範囲にわたって正確な較正を提供するために、様々なサイズを有する複数のパターンが任意に使用され得る。

【0132】

従来のカメラ較正も、較正処理が実行された際の光学的パラメータ設定におけるシステムの光学的歪みの測定値を提供し得る。歪み係数の組が求められ得、いくつかの実施形態では、このような光学的歪みを補正するために使用され得る。いくつかの実施形態では、そのような歪み補正が、視野較正方法を改善するために使用され得る。さらに、いくつかの実施形態では、そのような歪み補正を使用して、オーバーレイの精度（例えば、ライブビューとどの程度一致するか）を向上し得る。

【0133】

コンピュータグラフィックスレンダリング装置の投影行列のための視野決定を改善するために明示的視野較正処理が使用され得る実施形態では、立体視デジタル手術顕微鏡の各カメラアイの焦点面までの距離を計算することが必要になり得る。カメラアイごとのこの距離の決定については、図７に関連して本明細書で説明する。

【0134】

図６は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な画角を示す図である。焦点距離から画角が計算され得る。この角度は、投影行列内の項を計算するために必要となり得、図６に示すように、三角法によって求められ得る。

【0135】

例えば、カメラの投影中心（カメラの「アイポイント」とも称される）２６２０から焦点面２６３０までの、光軸２６４０に沿った焦点距離２６１０を測定することによって半角２６００を求め得る。追加の視野較正により、焦点面での視野の測定値（例えば、水平方向の幅）が提供され得る。このような距離の半分が、マーカ２６５０として示されている。半角２６００の正接は、距離２６５０を距離２６４０で除算したものである。次いで、逆正接関数を使用して、「半視野角」を計算し得る。半視野角を使用して、結合投影行列の特定の行列要素を以下のように直接計算し得る：
行列要素(0,0) = 1.0 / tan(halfHorizontalFieldOfViewAngle)、及び
行列要素(1,1) = 1.0 / tan(halfVerticalFieldOfViewAngle)、
ここで、水平視野と垂直視野とが、センサの（又は、同等に、カメラの較正で使用される画像の）幅と高さとの比率によって関係付けられていることに留意されたい。

【0136】

上述したcamEye_T_patientDataは、先に決定されたカメラ内部情報を使用する投影行列と組み合わされて、デジタル手術顕微鏡の視野及び焦点深度内にある実際の患者の関連する患者の解剖学的構造の任意の部分の（一般的にはボリュメトリックな）患者データからの複製表現の忠実なレンダリングを提供する。さらに、このレンダリングは、デジタル手術顕微鏡の各アイにおいて有効であり、それによって、そのような表現の立体視レンダリングが可能になる。

【0137】

レンダリングは、それぞれが何らかの許容範囲内で正しい位置、向き及びスケールで立体視デジタル手術顕微鏡上のライブ患者ビューに位置合わせされ得る。さらに、３次元内のレンダリングの視点も、何らかの許容範囲内でライブビューと一致する。

【0138】

これらの特徴は、適切なユーザインタフェース制御とともに、ユーザが、切開を行うことなく患者の「内部を見る」ことを可能にする。これらの特徴は、同様に、ユーザが、例えば、病変に対する治療を提供する過程で、切開を行い、病変に対する外科的アプローチを行っている場合に、自身が現在いる場所の「前方を見る」ことを可能にする。

【0139】

さらに、これらの特徴により、ユーザがこれらの機能それぞれを立体視することが可能になり、これは、空間認識を大幅に向上させ得、より直感的である。

【0140】

さらに、これらの特徴により、ライブ手術部位ビューと同じディスプレイ上で（一般的にはボリュメトリックな）患者データを利用することが可能になり、それによって、ナビゲーションデバイスと手術可視化デバイスとの間で遷移する際に複雑な３次元ビューを記憶しなければならないという認知的負荷が低減される。上述した統合手術ナビゲーション及び可視化システムは、両方のデバイスを内蔵しており、それらをより大きな全体に統合している。

【0141】

ＶＩ． デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する、視覚的に関連する基準フレームの姿勢を較正すること
デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する、視覚的に関連する基準フレームの姿勢を決定するために、分離した較正が実行され得る。例えば、この視覚的に関連する基準フレームは、立体視デジタル手術顕微鏡の各アイの画面中心であり得る。

【0142】

較正は、各カメラアイによって撮像された画像それぞれが前記画面中心において最適な光学焦点、又はその近傍に位置するように顕微鏡の光学的パラメータを設定することによって実行され得る。光学系は、光学系が、所定の作動距離設定で、顕微鏡から何らかの距離だけ離れた空間内の点に焦点を合わせるように設計及び調整され得る。

【0143】

さらに、光学系は、所定の顕微鏡の光学的パラメータの組で「焦点が合っている」場合に、立体視デジタル手術顕微鏡のアイの画面中心が、何らかの許容範囲内で空間内の同じ点を撮像するように設計及び調整され得る。

【0144】

各カメラアイの各画面中心に投影されるシーン内の点は、顕微鏡の「焦点」と称される。従って、この分離した較正は、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対するカメラの焦点の位置を部分的に決定する。

【0145】

焦点面が存在し得、「焦点基準フレーム」を定義するための原点及び座標系が、この焦点面に割り当てられ得る。これは、焦点に加えて、「上」及び「右」ベクトルも再定義し得、この「上」及び「右」ベクトルは、画面上のカメラ画像（複数可）の方向付けを可能にし得る。

【0146】

物理的には、焦点面が純粋に平面ではない可能性がある（例えば、わずかに湾曲している可能性がある）ものの、簡単のために、及び、説明を容易にするために、焦点面を２次元平面とみなし得る。いくつかの実施形態において、焦点基準フレームの原点は、較正されたカメラの画面中心における位置とみなし得、焦点基準フレームの姿勢は、焦点基準フレームが顕微鏡の所定の光学的設定における光軸に直交して方向付けられ、焦点基準フレームのＸ軸が、画像センサの水平方向に沿って、右方向が正の向きとなるように延び、焦点基準フレームのＹ軸が、画像センサの垂直方向に沿って、下方向が正の向きとなるように延びるような姿勢である。実際には、好ましいグラフィックスシステム、システム要件、ユーザの好みなどに合わせて、軸方向の追加の「反転」及び原点位置のオフセットがあり得る。

【0147】

従って、この分離した較正は、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する顕微鏡の「焦点基準フレーム」の姿勢を決定し得る。

【0148】

立体視デジタル手術顕微鏡の焦点は、立体視デジタル手術顕微鏡の構成要素である単一のカメラ（すなわち、各「アイ」）それぞれについて同一にされ得、画面上の軸は一致するか、又は略一致し得るため、アイごとに分離した焦点基準フレーム較正を実行する必要がない場合がある。このような実施形態では、立体視デジタル手術顕微鏡全体に対して１回の較正しか実行されない場合がある。

【0149】

図７は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な焦点基準フレーム較正のための例示的な方法を示すフロー図である。

【0150】

ステップ２０００において、ナビゲートされた較正オブジェクトがシーン内に設定され得る。較正オブジェクトは、顕微鏡の視覚的に関連する基準フレームをナビゲートされた較正オブジェクトの基準フレームに合わせることを（例えば、ナビゲートされた較正オブジェクト上の十字線又は他の合わせ補助を介して）支援するための１つ以上の構造（例えば、十字線）を含み得る。追加的に、又は代替的に、画面上の中心及び軸をグラフィックモジュールによって画面上に描画して、オペレータが画面上の中心を較正オブジェクト合わせ構造（複数可）に合わせることを支援し得る。

【0151】

ステップ２０１０で、ナビゲーションターゲットがカメラに物理的に貼り付けられ得る。ステップ２０２０で、顕微鏡が、所望のズーム倍率及び作動距離設定に設定され得る。ステップ２０３０で、ローカライザ追跡が開始され得る。ローカライザは、各追跡可能なナビゲーションターゲットの存在を検出し、ローカライザ空間における各追跡可能なナビゲーションターゲットの姿勢を決定し得る。いくつかの態様において、これらのターゲットは、デジタル手術顕微鏡上のナビゲートされた較正オブジェクト及び代表的なナビゲートされたターゲットを含み得る。

【0152】

ステップ２０４０で、顕微鏡可視化が開始され得る。ステップ２０５０で、顕微鏡が、ナビゲートされた較正ターゲットに対して姿勢をとらされ得る（又は、ナビゲートされた較正ターゲットが、顕微鏡に対して姿勢をとらされ得る）。

【0153】

２０６０で、顕微鏡が、較正オブジェクト合わせ構造に焦点を合わせ得る。例えば、この構造は、十字線を備え得る。行列計算を簡単にし、行列計算における誤差を低減するために、十字線を較正オブジェクトのナビゲートされたターゲットの原点に配置し、十字線のＸ軸及びＹ軸をそれぞれ前記ターゲットのＸ軸及びＹ軸と一致させ得る。十字線は、２次元であってもよい；仮想Ｚ軸も、較正オブジェクトのナビゲートされたターゲットの対応する軸と一致するとみなし得る。

【0154】

ステップ２０７０で、顕微鏡が、画面上の十字線を較正ターゲットの十字線と合わせるために任意に方向付けられ得る。例えば、焦点基準フレームが必要以上の情報を提供する場合、このステップは省略され得る。いくつかの実施形態では、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する焦点の位置のみを決定し、前記ターゲットに対する焦点基準フレーム全体の向きまでも決定しなくても十分であり得る。

【0155】

顕微鏡の向きを変更すると、それにより顕微鏡の最適な焦点が変化し得るため、必要に応じて、焦点に加えて、較正ターゲット十字線に対する画面上の十字線の相対位置（すなわち、合わせ）及び向きを最適化するためにステップ２０８０で繰り返しが実行され得る。

【0156】

ローカライザの読み取り値localizer_T_camTarget及びlocalizer_T_calTargetが、ステップ２０９０で記録され得る。ノイズ低減及びシステムエラー低減の実施として、ステップ２１００で、ナビゲートされた較正ターゲットに対する顕微鏡のある数の（例えば、Ｎ＝２５）異なる姿勢において全体的な測定を繰り返すことが望ましい場合がある。

【0157】

ステップ２１１０で、関数camTarget_T_focalRefFrameが、以下のように解かれ得る：
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_calTarget * calTarget_T_focalRefFrame
ここで、いくつかの実施形態におけるcalTarget_T_focalRefFrameは、行列の乗算を簡単にし、行列の乗算における誤差を低減するために設計により恒等である。この場合、単純化された式は、以下のようになる：
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_focalRefFrame

【0158】

これらのＮ個の解は、camTarget_T_focalRefFrameの最終値を決定するために、本明細書の他の箇所で説明されているように行列平均化を使用して平均化され得る。

【0159】

より完全な較正のために、この処理が、ステップ２１２０で、ある数のズーム及び作動距離の設定において、そのようなパラメータそれぞれの動作範囲にわたって繰り返され得る。曲線が、関連する出力パラメータの組それぞれに入力パラメータの関数としてフィットされ得る。この処理は、パラメータ化と称され得る。出力パラメータの組は、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する焦点の姿勢であり得る。入力パラメータは、カメラ制御モジュールからのズーム及び作動距離設定を含み得る。

【0160】

上述したcamTarget_T_camEye関数及びcamTarget_T_focalRefFrame関数を使用して、立体視デジタル手術顕微鏡の各カメラアイに対する焦点基準フレームの姿勢が、以下によって決定され得る：
camEye_T_focalRefFrame =
camEye_T_camTarget * camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calCoordSys * calCoordSys_T_focalRefFrame
ここで、calTarget_T_calCoordSysは、較正オブジェクトのナビゲートされたターゲットと任意の座標系との間の変換を可能にし得、calCoordSys_T_focalRefFrameは、その座標系と焦点基準フレームとの間の変換を可能にし得る。これらの行列は、両方とも、設計により恒等行列であり得る。この場合、式は、以下のように単純化され得る：
camEye_T_focalRefFrame = camEye_T_camTarget * camTarget_T_localizer * localizer_T_focalRefFrame

【0161】

ＶＩＩ． ロボットにより顕微鏡の光軸を所定のベクトルに合わせる
いくつかの実施形態では、デジタル手術顕微鏡ヘッド１１０が、ロボットアーム１２０に取り付けられ得る。ロボットアーム１２０は、顕微鏡処理ユニット４２０内のロボット制御モジュール８２０によって制御され得る。ロボットの基部に対するロボットのエンドエフェクタの（関節角度などの）姿勢を計算するために必要なロボットの関節の物理的特徴は、全ての、又は、大部分のロボットの関節について、設計、及び／又は、較正、及び／又は、実行時のリアルタイム測定によって知られ得る。ロボットの基部に対するロボットのエンドエフェクタの姿勢を計算するためのさらなる物理的特性（例えば、関節を接続するリンクの公称長、並びに、荷重下及び姿勢変化時の撓み）は、設計、及び／又は、較正、及び／又は、リアルタイム測定によって知られ得る。この場合、ロボットの基部に対するロボットのエンドエフェクタ（ロボット自体の最も遠位のアクティブな関節又はリンク）の姿勢は、継続的にリアルタイムで知られ得、以下のように表記され得る：
robotBase_T_robotEEff

【0162】

カプラ１４０、力トルクセンサ１５０などの全ての拡張部の物理的特性も、ロボットエンドエフェクタに対する、例えば１５０の遠位端「制御点」の姿勢が知られるように、設計、及び／又は、較正、及び／又は、測定によって知られ、以下のように表記される：
EEff_T_controlPt

【0163】

さらに、取り付けデータム１５２に対するデジタル手術顕微鏡ヘッド上の代表的なナビゲートされたターゲット２１０の姿勢が、設計、及び／又は、測定によって知られており、この取り付けデータム１５２の基準フレームは、カメラヘッドの前方のロボットアセンブリ上の１５０などの最も遠位の基準フレームに一致して嵌合するように設計されている。前記姿勢の情報に対するさらなる改善が、任意に、測定によって行われ得る。

【0164】

従って、制御点１５０に対するデジタル手術顕微鏡上の代表的なナビゲートされたターゲット２１０の姿勢が知られ得、以下のように表記され得る：
controlPt_T_camTarget

【0165】

これらの変換及び上述の事前変換を使用して、ロボットの基部に対する各カメラアイの姿勢が、以下のように計算され得る：
robotBase_T_camEye = robotBase_T_robotEEff * robotEEff_T_controlPoint * controlPt_T_camTarget * camTarget_T_camEye

【0166】

robotEEff_T_camEye関係は、「ハンド－アイ」姿勢関係と称されることがある。追加的に、又は代替的に、このハンド－アイ姿勢関係は、OpenCVのcv::calibrateHandEye法などの既知の較正方法を使用して求められ得、上記の計算は、以下のように書き換えられ得る：
robotBase_T_camEye =
robotBase_T_robotEEff * robotEEff_T_camEye

【0167】

ロボットの基部に対する焦点基準フレームの姿勢は、上述のcamEye_T_focalRefFrame関数を用いて求められる：
式８：robotBase_T_focalRefFrame =
robotBase_T_camEye * camEye_T_focalRefFrame

【0168】

ローカライザ空間におけるロボットの基部の姿勢
ローカライザ空間におけるロボットの基部の姿勢は、以下の関数を用いて求められ得る：
localizer_T_robotBase =
localizer_T_camTarget * camTarget_T_controlPoint *controlPoint_T_robotEEff * robotEEff_T_robotBase

【0169】

計画作成段階１０６０の間に、外科医が外科手術を実行することを補助するために、有用な機能が患者データ空間に追加され得る。これらの特徴は、外科的切開の「数字で切断する」パターン、アプローチベクトル（例えば、軌道計画）、及びアプローチ中間地点であって、該アプローチ中間地点においてデジタル手術顕微鏡が進捗を確立し評価するために繰り返し姿勢をとらされ得るアプローチ中間地点を含むものの、これらに限定されない。

【0170】

頭蓋手術における外科的切開は、開頭手術と称される場合がある。計画作成段階１０６０の間に、ユーザが、任意に、所望の切開の輪郭を指定し得る。重要なことに、従来の手術では、このようなアプローチは、手術用マーキングペンを使用して実際のユーザの皮膚の上に指定されるため、（手術の最初のステップの１つである）皮膚の最初の層の除去が行われるときに破壊される。

【0171】

上述した統合システムは、ユーザが、そのような切開計画を患者データ内に仮想的に描画することを可能にする。この場合、この切開計画は、ユーザの制御下で、皮膚の除去の後も、切開段階全体にわたって表示され得る。さらに、切開計画は、患者を切開することの３次元的な性質に対処し得る。例えば、単純な線画の代わりに、計画を、マルチレイヤー、及び／又は、３次元にして、どのように３次元表面に切り込むかを外科医に示すことができる。

【0172】

図８は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な例示的な軌道計画を示す図である。軌道計画は、任意に、患者データ空間２７０に追加され得る。軌道は、患者データ空間内の経路であって、該経路に沿って手術が進行することをユーザが所望する経路を含み得る。例えば、頭蓋神経外科医は、脳の重要な部分を避け、より容易に通過できる領域を優先する、動脈瘤に向かう軌道を計画し得る。軌道が複雑である場合、この軌道を、より容易に表現及び実現される分離したより小さな軌道に（例えば、区分的に線形に）分割してもよい。追加的に、又は代替的に、患者に対する所望のカメラの姿勢を示す中間地点がユーザによって患者データ空間に追加され得る。本発明で許容されるロボット空間、カメラ空間、及び患者空間の接続により、そのような中間地点は、手術中の任意の時点において参照され得る。さらに、そのような切開、軌道、及び中間地点の計画作成は、手術中の任意の時点において更新、及び／又は、拡張され得る。

【0173】

上述した統合システムの利点は、この統合システムが、可視化が軌道に沿って焦点を合わせ、任意で軌道における「次のステップ」に焦点を合わせるように可視化を調整するオプションをユーザに提供することである。この調整された可視化は、外科医に進むべき経路を示し、実際に、外科医がこの経路を進むための場所を顕微鏡がちょうど見るように顕微鏡に姿勢をとらせる。この機能を提供するための少なくとも１つの例を以下に説明する。

【0174】

軌道計画は、患者データ空間における変換として表され得る：
patientData_T_trajPlan (2.9)

【0175】

軌道計画は、ベクトル２５００を表し得、外科手術中の「次の」ステップにおいて軌道がこのベクトル２５００に沿って進み得る。主ベクトル２５００の周りの向きも指定されるように、軌道を完全な基準フレームとして表すことが好都合である（但し、任意である）可能性がある。この向きは、２つの他の軸２５１０及び２５２０として表され得る。これにより、ユーザが、患者、外科医、及び顕微鏡の配置を軌道計画に組み込むことが可能になる。このような指定がなければ、制御アルゴリズムは、解かれた動きのための賢明な向きについて「最良の推測」を行うだけでよい。例えば、軌道計画に対する顕微鏡ヘッドの正しい向きを確保するために、患者のジオメトリの閉め出しが優先されるような規則が選択され得る。最小限の動き、ロボットの関節の制限、「外から中を見る」向きなどの追加の制約が追加され得る。

【0176】

上述の説明により、ロボット制御モジュール８２０が、デジタル手術顕微鏡ヘッドに、デジテル手術顕微鏡ヘッドが軌道計画経路に沿って見るように、さらに、デジタル手術顕微鏡ヘッドがその経路に沿った進行の「次のステップ」に焦点を合わせるように姿勢をとらせることを可能にし得る。まず、ローカライザ空間における軌道計画が、以下のように決定される：
localizer_T_trajPlan =
localizer_T_patientTarget * patientTarget_T_patientData * patientData_T_trajPlan
ここで、右辺の各行列は、上述したとおりである。この場合、ロボットの基部に対する軌道計画の姿勢が、以下のように求められる：
robotBase_T_trajPlan =
robotBase_T_localizer * localizer_T_trajPlan

【0177】

さらに、軌道計画は、患者データ空間内で姿勢を定義する他の手段と、前記姿勢に一致するように、又は前記姿勢を追跡するように命令されたロボットと、によって置き換えられ得る。本発明により、カメラ空間、ローカライザ空間、及びロボット空間の接続が可能になるので、そのような姿勢定義は、複数の手段によって実現され得、この複数の手段は、以下を含むものの、これらに限定されない：器具２５２などのナビゲートされた器具に姿勢をとらせること；軸であって、当該軸に対して合わせが行われる軸は、そのような器具のナビゲートされたターゲット空間内部で任意に定義され得る；又は、ユーザの頭部の姿勢であり、それにより、ナビゲートされたターゲットがユーザの頭部に、例えば３Ｄメガネ１９２に直接的又は間接的に接続されている場合に、頭部の追跡を可能にする。そのようなカメラの姿勢制御は、ユーザの頭部の何らかの開始位置に対して相対的であり得る（例えば、プッシュボタンの押下、又は「頭部追跡オン」という音声コマンドなどの何らかの起動動作が行われたことに応答して初期化される）。

【0178】

さらに、姿勢定義を実現するために、例えば手術器具に取り付けられたコンピュータビジョンで追跡可能なパターンの姿勢を使用してもよい。上述した頭部追跡と同様に、何らかのユーザ起動機能により、カメラヘッドの姿勢は、追跡可能なパターンの姿勢を変更することによって制御され、カメラの姿勢の変化は、ユーザ起動時に測定された何らかの開始姿勢から計算される。起動機能によっては、これは、顕微鏡の姿勢のハンズフリー制御を提供し得る。追加的に、又は代替的に、脊椎手術中の単一の椎骨などの患者の解剖学的構造の局所部分に取り付けられたナビゲーションカメラで追跡可能なターゲットの姿勢。椎骨の動きを追跡することにより、システムは、椎骨に対する一貫したビューを外科医に提供する。これは、問題の解剖学的構造に大きな動きを引き起こす手術中のステップを実行する場合に特に有用である。例えば、椎骨が動くにつれて、外科医が椎弓切除手術を行っている場所と同一の場所を同一の方向で常に撮像するようにカメラの姿勢が更新され得る。

【0179】

姿勢定義を実現するために、他のナビゲートされた器具の姿勢を使用してもよい。例えば、手術部位の明瞭なビューをユーザへ提供するためにカメラに継続的に姿勢をとらせ、例えば主器具の遠位端を見せ、及び／又は、通常は可視化を妨げる前記器具のシャフトの撮像を回避し得る。

【0180】

焦点基準フレームは、軌道計画基準フレームと一致させられ得る。デジタル手術顕微鏡の光軸が軌道計画の主軸に沿って見ており、任意で軌道計画の原点に焦点を合わせるようにロボットを駆動するために、ロボットの基部の空間における軌道計画の姿勢が、ロボットの基部に対するデジタル手術顕微鏡の焦点基準空間の姿勢と等しくなるように、以下のように設定され得る：
robotBase_T_focalRefFrame = robotBase_T_trajPlan
これは、以下の式を用いて別の方法で求められる：
robotBase_T_trajPlan = robotBase_T_focalRefFrame =
robotBase_T_robotEEff * robotEEff_T_controlPoint * controlPoint_T_camTarget * camTarget_T_camEye * camEye_T_focalRefFrame

【0181】

上記の式から、ロボット姿勢robotBase_T_robotEEffは、軌道計画と一致する必要があり得、以下のように、標準的な行列数学を使用して式の左辺のrobotBase_T_robotEEff関数を分離することにより計算される：
robotBase_T_robotEEff =
robotBase_T_trajPlan * trajPlan_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff
さらに、焦点基準フレームは、軌道計画に一致することが望ましいため、例えば、
robotBase_T_trajPlan = robotBase_T_focalRefFrame
以下が得られる：
robotBase_T_robotEEff =
robotBase_T_focalRefFrame * focalRefFrame_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff

【0182】

上記の式は、軌道計画と、デジタル手術顕微鏡及び患者基準フレームの現在の姿勢と、が与えられると、軌道計画に一致するロボットの姿勢を提供し得る。

【0183】

上記の式を満たす関節姿勢の組を決定するために逆運動学ルーチンが実行され、当該関節姿勢の組がロボット制御モジュール８２０へ送信され得、その後、ロボット制御モジュール８２０が、当該姿勢の組に向かって段階的に進み得る。

【0184】

焦点基準フレームを軌道計画基準フレームとの一致に向かって動かすために必要な、所望の姿勢の組に向かったロボットの動きの間に、何らかのパラメータが変化する可能性があるため、robotBase_T_robotEEffの計算と、その基礎となるこの計算を可能にする式と、の定期的な更新が計算され得、ロボット制御モジュールの動きの「目標」が計算され得る。

【0185】

このような更新は、例えば、手術器具又は他の追跡可能な器具に取り付けられたナビゲーションターゲットなどの任意の基準フレームの動的な追跡を提供し得る。例えば、Medtronic MetRxなどの脊椎拡張器には、ナビゲートされたターゲットが取り付けられ得、ロボットは、MetRx器具セットのシャフトの中心を追跡し得、これにより、顕微鏡に、ユーザからのいかなる直接入力も必要とせずに、「管の下」を継続的に撮像させる。

【0186】

軌道は、本質的には経路であるため、軌道計画は、以下のような多くのことを表し得る：所望の手術アプローチ；シャントの設置経路；所望の椎弓根スクリューの向き；及び／又は、脊椎手術の設置経路。

【0187】

本明細書に記載された様々な実施形態により、ユーザ制御の下で軌道を画面上に描画することが可能になり、この軌道は、システムの慎重な較正処理により、ライブ手術ビューに対して正しい位置、向き、サイズ、及び視点で表示される。

【0188】

例えば、この技術を使用して軌道を修正することができる。患者は、「最良の患者位置合わせ」時に、実際のマークと仮想マークとによりマークされ得る。患者ナビゲーションターゲットに対する患者の将来の動き（それによって位置合わせ精度が低下する）は、実際のマークと仮想マークとを視覚的に再度合わせることによって補正され得る。このように適用された補正は、軌道計画（複数可）にも適用され得、それによって前記計画（複数可）が補正される。

【0189】

例えば、圧力変化及び重力により患者の脳がずれる場合にも、この技術を使用して軌道を補正することができる。補正は、ユーザによって手動で、又は、自動化された脳ずれ補正アルゴリズムの下で、計画に適用され得る。これにより、この補正は、軌道計画全般について説明したように、システムによって使用され得る。

【0190】

ＶＩ． 統合手術ナビゲーション及び可視化システムのためのディスプレイ
上述したように、統合手術ナビゲーション及び可視化システムは、ディスプレイ（例えば、３Ｄ立体視ディスプレイ１７０）を備え得る。ディスプレイは、外科医、及び／又は、医療スタッフが最適且つ快適に見ることができるように（例えば、関節式ディスプレイ取り付けアーム１８０上に）取り付けられ得、このディスプレイの姿勢は（例えば、ディスプレイ姿勢調整ハンドル１８２によって）制御可能であり得る。図９は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムのディスプレイのスクリーンショットであり、ローカライザの視野も示す。図９に示すように、ディスプレイは、デジタル手術顕微鏡の視野９０２の画像ストリームを出力する。いくつかの実施形態では、例えば、ローカライザ（例えば、ナビゲーションローカライザ２００）がカメラを含む場合、ディスプレイは、ローカライザの視野（「ローカライザビュー」９０４）も出力し得る。図示したように、ローカライザは、患者基準フレームのナビゲーションターゲットを（例えば、ローカライザの視野内で）十分に撮像して処理することにより、ローカライザに、患者基準フレーム「Ｒｅｆ」９０６にラベルを付けさせることができる。但し、ローカライザが、（例えば、ＤＳＭカメラヘッドにラベルが付けられていないため）ＤＳＭカメラヘッドのナビゲーションターゲットを十分に撮像して処理することができない可能性がある。図９に示すように、ローカライザビュー９０４は、手術部位（例えば、ＤＳＭカメラヘッドの視野）をより目立つように示すために、ディスプレイの隅に向かって折り畳まれ得る。

【0191】

図１０は、本開示の例示的な実施形態に係る、ローカライザビューを示す、統合ナビゲーション及び可視化システムのディスプレイの別のスクリーンショットである。図９のスクリーンショットと同様に、図１０のスクリーンショットは、ＤＳＭカメラヘッドの視野１００２の画像ストリームと、ローカライザビュー１００４の画像ストリームとを出力しているディスプレイ（例えば、立体視ディスプレイ１７０）を示す。図１０は、ローカライザビュー１００４の画像ストリームの設定がコントロールバー１００６を介して調整され得ることも示す。例えば、ユーザは、画像ストリームの他の側面のうちで、ズームイン又はズームアウトし、焦点を増加又は減少させ、白色光レベルを増加又は減少させることができる。

【0192】

本明細書に記載された、開示された方法及び手順の全ては、１つ以上のコンピュータプログラム又は構成要素を使用して実装され得ることが理解されるであろう。これらの構成要素は、任意の従来のコンピュータ可読媒体又は機械可読媒体上の一連のコンピュータ命令として提供され得、このコンピュータ可読媒体又は機械可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気ディスク若しくは光ディスク、光メモリ、又は他の記憶媒体などの揮発性メモリ又は不揮発性メモリを含む。この命令は、ソフトウェア又はファームウェアとして提供され得、及び／又は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、若しくは任意の他の同様のデバイスなどのハードウェア構成要素に、全体的に、又は部分的に実装され得る。命令は、１つ以上のプロセッサによって実行されるように構成され得、この１つ以上のプロセッサは、一連のコンピュータ命令を実行するときに、開示された方法及び手順の全て又は一部を実行するか、又は、実行を可能にする。

【0193】

本明細書に記載された例示的な実施形態に対する様々な変更及び修正が当業者には明らかであることを理解されたい。このような変更及び修正は、本発明の主題の精神及び範囲から逸脱することなく、且つ、その意図された利点を損なうことなく行われ得る。従って、そのような変更及び修正は、添付された特許請求の範囲によって包含されることが意図されている。これらの態様の何れかが相互排他的である限りにおいて、そのような相互排他性は、そのような態様が明示的に記載されているか否かにかかわらず、そのような態様と任意の他の態様との組み合わせをいかなる形でも制限するものではないことを理解されたい。これらの態様の何れも、制限無しに、システム、方法、装置、デバイス、媒体などとして特許請求され得る。

【0194】

（付記）
（付記１）
統合手術ナビゲーション及び可視化システムであって、
移動性を提供する単一のカートと、
立体視デジタル手術顕微鏡と、
手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行し、且つ、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティング装置と、
単一の統一ディスプレイと、
プロセッサと、
コンピュータ実行可能命令を記憶するメモリと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
ユーザ入力に応答して手術部位のナビゲーションを提供させ、
前記単一の統一ディスプレイを介して前記手術部位の可視化を提供させる、
統合手術ナビゲーション及び可視化システム。

【0195】

（付記２）
前記手術ナビゲーションモジュール及び前記手術可視化モジュールを収容し共同で実行することが、通信待ち時間及び接続リスクを低減する、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0196】

（付記３）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術ナビゲーションモジュール及び前記デジタル手術顕微鏡の起動を実行させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0197】

（付記４）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術部位の前記可視化を前記手術部位の前記ナビゲーションとリアルタイムで同期させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0198】

（付記５）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、統合されたナビゲーション情報及び顕微鏡手術部位可視化を、前記統一ディスプレイを介して提供することによって前記可視化を同期させる、
付記４に記載の統合手術ナビゲーション及び可視化システム。

【0199】

（付記６）
前記立体視デジタル手術顕微鏡は、ナビゲーションターゲット部材を備えない顕微鏡ヘッドを含む、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0200】

（付記７）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
立体視ビュー内でライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面において提供させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0201】

（付記８）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
所定の基準を有する前記立体視デジタル手術顕微鏡の位置を制御させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0202】

（付記９）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を受け付けさせる、
付記８に記載の統合手術ナビゲーション及び可視化システム。

【0203】

（付記１０）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせることによって前記立体視デジタル手術顕微鏡の前記位置を制御させる、
付記９に記載の統合手術ナビゲーション及び可視化システム。

【0204】

（付記１１）
前記デジタル手術顕微鏡の前記所定の基準が、ＮＩＣＯポート又は脊椎拡張器器具の中心軸と準連続的に準リアルタイムで合わされる、
付記９に記載の統合手術ナビゲーション及び可視化システム。

【0205】

（付記１２）
前記立体視デジタル手術顕微鏡は、Ｎ－カメラ立体視デジタル手術顕微鏡を備え、Ｎは２以上である、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0206】

（付記１３）
前記１つ以上のコンピューティング装置は、さらに、ローカライザを収容し共同で実行し、
前記システムは、
方向調整ハンドルと、
ローカライザ内のナビゲーションターゲット照明装置と、
をさらに備える、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0207】

（付記１４）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記立体視デジタル手術顕微鏡の焦点の使用を介した患者の非接触位置合わせを促させ、
前記患者の前記非接触位置合わせに関連するユーザ入力を受け付けさせる、
付記１に記載の統合手術ナビゲーション及び可視化システム。

【0208】

（付記１５）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、写真計測又は立体計測を介した前記非接触位置合わせに関連する前記ユーザ入力を受け付けさせる、
付記１４に記載の統合手術ナビゲーション及び可視化システム。

【0209】

（付記１６）
１つ以上のプロセッサを有するコンピューティングシステムにおいて手術ナビゲーション及び手術可視化を統合するための方法であって、
前記コンピューティングシステムの起動を実行して、前記コンピューティングシステムに付随する手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップと、
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップと、
ユーザ入力に応答して手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
前記単一の統一ディスプレイを介してナビゲーション情報及び前記手術の前記可視化を統合することによって、前記可視化をリアルタイムで同期させるステップと、
を含む、
手術ナビゲーション及び手術可視化を統合するための方法。

【0210】

（付記１７）
立体視デジタル顕微鏡による手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を、前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせるステップと、
をさらに含む、
付記１６に記載の方法。

【0211】

（付記１８）
手術ナビゲーション及び手術可視化を統合するためのコンピュータ実行可能プログラミング命令を格納した、コンピューティング装置上で使用するための非一時的なコンピュータ可読媒体であって、
前記コンピュータ実行可能プログラミング命令は、
前記コンピューティングシステムの起動を実行して、前記コンピューティングシステムに付随する手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップと、
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップと、
ユーザ入力に応答して手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
前記単一の統一ディスプレイを介してナビゲーション情報及び前記手術の前記可視化を統合することによって、前記可視化をリアルタイムで同期させるステップと、
を含む、
非一時的なコンピュータ可読媒体。

【0212】

（付記１９）
前記コンピュータ実行可能プログラミング命令は、
立体視デジタル顕微鏡による手術部位の前記ナビゲーションのための予め計画された軌道に関連するユーザ入力を前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と合わせるステップと、
をさらに含む、
付記１８に記載の非一時的なコンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】