▶ ディジタル サージェリー システムズ インコーポレイテッド ドゥーイング ビジネス アズ トゥルー ディジタル サージェリーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-16
(54)【発明の名称】自動ナビゲートデジタル手術顕微鏡
(51)【国際特許分類】
A61B 34/20 20160101AFI20231109BHJP
【ＦＩ】
A61B34/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023520467
(86)(22)【出願日】2021-10-01
(85)【翻訳文提出日】2023-05-25
(86)【国際出願番号】 US2021053181
(87)【国際公開番号】W WO2022072835
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】63/243,659
(32)【優先日】2021-09-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/086,310
(32)【優先日】2020-10-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523121048
【氏名又は名称】ディジタル サージェリー システムズ インコーポレイテッド ドゥーイング ビジネス アズ トゥルー ディジタル サージェリー
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】ポルチン、ジョージ シー
(57)【要約】
統合手術ナビゲーション及び可視化システムにおける自動ナビゲーションのための新しく革新的なシステム及び方法が開示される。例示的なシステムは、運動性を提供する単一のカートと、手術可視化カメラ及びローカライザを備える立体視デジタル手術顕微鏡と、手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行する、１つ以上のコンピューティングデバイス（例えば単一の電源接続によって電力供給される、単一のコンピューティングデバイスを含む）であって、ローカライザが、手術ナビゲーションモジュールに対応し、手術可視化カメラが、手術可視化モジュールに対応する、コンピューティングデバイスと、単一の統一ディスプレイと、プロセッサと、メモリと、を備える。このシステムは、手術可視化カメラへの患者に対応する患者データの変換を生成し、手術可視化カメラ及びローカライザを較正し、単一の統一ディスプレイを介して手術部位の可視化を提供し、ユーザ入力に応答して手術部位のナビゲーションを提供し得る。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
統合手術ナビゲーション及び可視化システムであって、運動性を提供する単一のカートと、
手術可視化カメラ及びローカライザを備える立体視デジタル手術顕微鏡と、
手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行する１つ以上のコンピューティングデバイスであって、前記ローカライザが、前記手術ナビゲーションモジュールに対応し、前記手術可視化カメラが、前記手術可視化モジュールに対応し、前記１つ以上のコンピューティングデバイスが、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティングデバイスと、
単一の統一ディスプレイと、
プロセッサと、
コンピュータ実行可能命令を記憶するメモリと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術可視化カメラへの患者に対応する患者データの変換を生成させ、
前記手術可視化カメラ及び前記ローカライザを較正させ、
前記単一の統一ディスプレイを介して手術部位の可視化を提供させ、
ユーザ入力に応答して前記手術部位のナビゲーションを提供させる、
統合手術ナビゲーション及び可視化システム。
【請求項2】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を実行させることによって、前記手術可視化カメラへの前記患者に対応する患者データの前記変換を生成させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項3】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行わせる、
請求項２に記載の統合手術ナビゲーション及び可視化システム。
【請求項4】
前記患者位置登録は、前記患者の前記ターゲット位置への前記患者に対応する前記患者データの変換を含む、請求項３に記載の統合手術ナビゲーション及び可視化システム。
【請求項5】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成させ、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成させる、
請求項４に記載の統合手術ナビゲーション及び可視化システム。
【請求項6】
前記手術ナビゲーションモジュール及び前記手術可視化モジュールを収容し共同で実行することが、通信待ち時間及び接続リスクを低減する、請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項7】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、統合ナビゲーション情報及び顕微鏡手術部位可視化を、前記統一ディスプレイを介して提供することによって、前記手術部位の前記可視化を前記手術部位の前記ナビゲーションとリアルタイムで同期させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項8】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、全てのビューについて同一の焦点面において前記手術部位の前記可視化にオーバーレイするナビゲーション情報を提供させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項9】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、所定の基準を有する前記立体視デジタル手術顕微鏡の位置を制御させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項10】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、前記手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行させることによって、前記立体視デジタル手術顕微鏡の前記位置を制御させる、
請求項９に記載の統合手術ナビゲーション及び可視化システム。
【請求項11】
前記デジタル手術顕微鏡の前記所定の基準が、ＮＩＣＯポートの中心軸又は脊椎拡張器と準連続的に準リアルタイムで位置合わせする、請求項９に記載の統合手術ナビゲーション及び可視化システム。
【請求項12】
方向調整ハンドルと、前記ローカライザ内のナビゲーションターゲット照明デバイスと、
をさらに備える、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項13】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、前記立体視デジタル手術顕微鏡の焦点の使用を介した、前記患者の前記患者位置登録を行わせるようにユーザに促すステップと、
前記患者の前記患者位置登録を行わせるために、前記立体視デジタル手術顕微鏡の前記焦点の前記使用に対応するユーザ入力を受け付けるステップであって、前記ユーザ入力は、タッチレスである、ステップと、
を実行させる、
請求項１に記載の統合手術ナビゲーション及び可視化システム。
【請求項14】
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、前記焦点の前記使用に対応する前記ユーザ入力を、写真測量又は立体写真測量を介して受け付けさせる、請求項１３に記載の統合手術ナビゲーション及び可視化システム。
【請求項15】
１つ以上のプロセッサを有するコンピューティングシステムにおいて手術ナビゲーション及び手術可視化を統合するための方法であって、前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、前記手術ナビゲーションモジュール及び手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
方法。
【請求項16】
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を含む、
請求項１５に記載の方法。
【請求項17】
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
をさらに含む、
請求項１６に記載の方法。
【請求項18】
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップであって、立体視デジタル顕微鏡による手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を、前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行することによって、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップをさらに含む、
請求項１５に記載の方法。
【請求項19】
手術ナビゲーションと手術可視化とを統合するためのコンピュータ実行可能プログラミング命令を格納している、コンピューティングデバイスで使用するための非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能プログラミング命令は、前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、当該手術ナビゲーションモジュール及び当該手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
非一時的なコンピュータ可読媒体。
【請求項20】
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
を含む、
請求項１９に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、２０２０年１０月１日に出願された、発明の名称が「AUTO-NAVIGATING DIGITAL SURGICAL MICROSCOPE」であり、出願番号が６３／０８６，３１０である米国仮特許出願の優先権を主張し、その開示は参照によりその全体が本明細書に組み込まれる。本願は、２０２１年９月１３日に出願された、発明の名称が「INTEGRATED SURGICAL NAVIGATION AND VISUALIZATION SYSTEM, AND METHODS THEREOF」であり、出願番号が６３／２４３，６５９である米国仮特許出願の優先権も主張し、その開示は参照によりその全体が本明細書に組み込まれる。
本願は、２０２０年１０月１日に出願された、発明の名称が「AUTO-NAVIGATING DIGITAL SURGICAL MICROSCOPE」であり、出願番号が６３／０８６，３１０である米国仮特許出願の優先権を主張し、その開示は参照によりその全体が本明細書に組み込まれる。本願は、２０２１年９月１３日に出願された、発明の名称が「INTEGRATED SURGICAL NAVIGATION AND VISUALIZATION SYSTEM, AND METHODS THEREOF」であり、出願番号が６３／２４３，６５９である米国仮特許出願の優先権も主張し、その開示は参照によりその全体が本明細書に組み込まれる。
【0002】
（技術分野）
本開示の特定の態様は、一般に、手術システムに関し、特に、統合された手術ナビゲーション及び可視化の自動ナビゲーションのためのシステム及び方法に関する。
本開示の特定の態様は、一般に、手術システムに関し、特に、統合された手術ナビゲーション及び可視化の自動ナビゲーションのためのシステム及び方法に関する。
【背景技術】
【0003】
手術ナビゲーションは、ＣＴ（computed tomography；コンピュータ断層撮影）、ＭＲＩ（magnetic resonance imaging；磁気共鳴撮像）及びＤＴＩ（diffusion tensor imaging；拡散テンソルイメージング）モダリティからのボリュメトリック患者データを使用して、外科医をターゲット手術部位に向かって、及びそれを通して誘導することによって、患者の転帰を改善することができる。手術ナビゲーションシステムは、物理的な患者をボリュメトリック患者データに位置合わせし、ナビゲートされたポインタなどの所定の手術器具の患者データ中の現在位置を、当該器具が生きた患者の上又は中に位置している間に表示することを可能にすることができる。
【0004】
現在、業界には様々なナビゲーションデバイスが存在する。従来の設計の一例では、ナビゲーションデバイスが、ＮＩＲ（near infrared light；近赤外光）パルスのパターンを、典型的には立体視ナビゲーションカメラのフレーム露出に同期されたシーンに投影する。ＮＩＲ光が、仮想基準フレーム内の既知の場所に取り付けられた多数の再帰反射器によって反射されるか、或いは、ＮＩＲ ＬＥＤが、ハードワイヤーを介して、又は、ローカライザからのフラッシュを「見て」ＮＩＲ ＬＥＤの即時発光をトリガすることに受光器を使用することよって、ナビゲーションカメラのフレーム露出に同期されたターゲット内で使用される。
【0005】
手術顕微鏡を用いた手術可視化は、小さな構造の可視化が必要な、神経外科手術、整形外科手術、及び再建手術などの多くの手術で使用することができる。手術可視化システムは、デジタル手術顕微鏡が備えるカメラを含み得る。しかし、可視化デバイスとナビゲーションデバイスとをより密接に提携させたいという要望を含む、手術可視化システムを手術ナビゲーションシステムとより密接に統合したいという要望がある。
【0006】
今日の手術ナビゲーションシステム（例えばMEDTRONICのSTEALTHやBRAINLABのCURVE）は、手術可視化システム（例えばZEISSのKINEVOやLEICAのOH SERIES）と分離しており別個であることが多い。手術ナビゲーションと手術可視化との間のいかなる統合も、一般的に制限されている。例えば、いくつかのシステムは、顕微鏡視野のナビゲーションを顕微鏡焦点の位置を示す器具として含むことによって、ナビゲーションと可視化の機能を組み合わせる。いくつかのシステムは、顕微鏡視野をボリュメトリック患者データ上に示し、又は、ボリュメトリック患者データビューを、眼球画像導入を介して顕微鏡の視野に位置合わせし、得られたビューを外部モニタ内に表示する。例えば、MEDTRONICのSTEALTHやBRAINLABのCURVEなどのナビゲーションシステムは、特定の顕微鏡（例えばZEISSのKINEVOやLEICAのOH SERIES）と任意に統合することができる。いくつかの製造業者（例えばSTRYKERやSYNAPTIVE）は、分離したナビゲーションと顕微鏡システムとが、１つの製品としてパッケージ化されるものの、分離したデバイスであり続ける商業契約を結ぶことができる。
【0007】
このような対をなすシステム（例えば手術ナビゲーションシステムと手術可視化システム）の個々のコンポーネントの別個である性質は、設定及び使用における困難をもたらし得る。このような困難は、しばしば、このようなシステムの不使用又は利用不足につながる。このような困難は、スペースが限られている手術室にとって多すぎる物理的機器（「多すぎる備品」）があること、対をなすシステムの個々のコンポーネントを互いに接続し、電源に接続するために必要なケーブルの過剰、対をなすシステムの個々のコンポーネントを通信的及び機能的に接続することの技術的困難性、及び統一された機能性のために手術及び可視化コンポーネントを較正することの困難性を含むものの、これらに限らない。
【0008】
さらに、統合手術ナビゲーション及び可視化システムにおいて自動ナビゲーション機能を提供したいという要望がある。
【0009】
本開示の様々な実施形態は、上記の欠点の１つ以上に対処する。
【発明の概要】
【課題を解決するための手段】
【0010】
本開示は、統合手術ナビゲーション及び可視化システムにおける自動ナビゲーションのための新しく革新的なシステム及び方法を提供する。自動ナビゲート統合手術ナビゲーション及び可視化システムは、手術計画作成、患者位置登録、手術ナビゲーション、及びロボット位置決めによる可視化の全てを、既存のソリューションに必要な貴重なフロアスペースの６０％しか占めない単一のカートベース手術室アプライアンスで提供する。既存のデジタル手術ロボット顕微鏡（例えば手術可視化デバイス）をナビゲーション機能で拡張することには、ワンクリック自動患者位置登録、精度の向上、使いやすさの向上、外科医の精神的負担の低減、手術室の設置面積の大幅な削減、視線の問題によるダウンタイムの短縮、侵襲の少ない手術を可能にすること、患者の露出時間の全体的な短縮、及び患者の転帰の改善を含む、従来の手術ナビゲーションと比較した多くの利点がある。
【0011】
一例において、自動ナビゲート及び統合手術ナビゲーション及び可視化システムが開示される。本システムは、運動性を提供する単一のカートと、立体視デジタル手術顕微鏡と、手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行し、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティングデバイス（例えば単一のコンピューティングデバイスを含む）と、単一の統一ディスプレイと、プロセッサと、メモリと、を備える。本システムは、手術ナビゲーションモジュールに対応するローカライザ（例えばナビゲーションカメラ又はデバイス）と、立体視デジタル手術顕微鏡に取り付けられ、手術可視化モジュールに対応する手術可視化カメラと、を更に含み得る。さらに、本システムは、立体視デジタル手術顕微鏡から、Ｎが２以上であるＮ－カメラデジタル手術顕微鏡に拡張するための基盤を提供し得る。
【0012】
いくつかの態様において、手術ナビゲーションモジュール（例えばナビゲーションデバイス）は、立体視デジタル手術顕微鏡のＤＳＭ（digital surgical microscope；デジタル手術顕微鏡）ヘッドに統合され得る。ＤＳＭヘッド、及び／又は、立体視デジタル手術顕微鏡は、ロボットアームに取り付けられ得る。単一のカートは、単一の統一ディスプレイ（例えばブームで取り付けられた３Ｄ立体視ディスプレイ）に加えて、ロボットアームを支持し得る。さらに、又は、代わりに、単一のカートは、ユーザ入力のための、マストで取り付けられたタッチ画面を支持し得る。追加ディスプレイも任意で接続することができる。手術ナビゲーションモジュール（例えばナビゲーションデバイス）は、シーン内の手術ナビゲーションモジュールによって見ることができる、ある基準又はターゲットに対するＤＳＭヘッドの６ＤｏＦ（6 degrees of freedom；６自由度）位置及び方向情報を提供し得る。統合手術ナビゲーション及び可視化システムの他の部分は、ある倍率の範囲（例えば、１倍～９倍）及びある作動距離の範囲（例えば２００ｍｍ～４５０ｍｍ）にわたって立体視的な可視化を提供し得る。
【0013】
手術ナビゲーション、及び／又は、可視化の目的は、外科医が最も効果的で損傷の少ない方法で手術を完了できるように、外科手術中に患者の解剖学的構造の周囲に外科医を誘導することを含み得る。
【0014】
患者の解剖学的構造は、一般的に、ＣＴ（コンピュータ断層撮影）マシン又はＭＲＩ（磁気共鳴画像）マシンなどのデバイス内でスキャンされ、結果は、解剖学的構造の画像「スライス」のスタックであって、当該スタックから３Ｄ解剖学的構造を再構成し診察することができるスタックなどのフォーマットで記憶されてきた。
【0015】
従って、手術ナビゲーションの目的は、患者データと、ナビゲーションプローブ、及び／又は、デジタル手術顕微鏡の光軸などの様々なオブジェクトと、の間の様々なレベルの相対位置及び方向情報の１つのビュー又は複数のビューを提供することによって達成され得る。
【0016】
メモリは、コンピュータ実行可能命令であって、プロセッサによって実行されると、システムに１つ以上のステップを実行させるコンピュータ実行可能命令を記憶する。例えば、システムは、手術可視化カメラへの患者に対応する患者データの変換を生成し、手術可視化カメラ及びローカライザを較正し、ユーザ入力に応答して手術部位のナビゲーションを提供し、単一の統一ディスプレイを介して手術部位の可視化を提供し得る。
【0017】
いくつかの態様において、手術可視化カメラへの患者に対応する患者データの変換を生成することは、単一のズーム及び作動距離において、手術可視化カメラ及びローカライザそれぞれに対応する各カメラアイについて、手術可視化カメラへのローカライザの第１の変換（例えばcamEye＿T＿localizer）を生成することと、ズーム及び作動距離の範囲にわたって、手術可視化カメラ及びローカライザそれぞれに対応する各カメラアイについて、手術可視化カメラへのローカライザの第２の変換（例えばcamEye＿T＿localizer）を生成することと、手術可視化カメラへのローカライザの第１の変換及び手術可視化カメラへのローカライザの第２の変換を使用して、患者のターゲット位置への患者データの変換（例えば患者のターゲット位置に対する患者の関連する患者の解剖学的構造の姿勢（例えばpatientTarget＿T＿patientData））を決定するために患者の患者位置登録を行うことと、患者のターゲット位置への患者データの変換を使用して、ローカライザへの患者のターゲット位置の変換（例えばlocalizer＿T＿patientTarget）を生成することと、ローカライザへのターゲット位置の変換に基づいて、手術可視化カメラへの患者に対応する患者データの変換（例えばcamEye＿T＿patientData）を生成することと、の１つ以上を含み得る。
【0018】
本システムは、手術ナビゲーションモジュール及びデジタル手術顕微鏡の起動も行い得る。さらに、システムは、手術部位の可視化を手術部位のナビゲーションとリアルタイムで同期させ得る。例えば、システムは、統合されたナビゲーション情報及び顕微鏡手術部位可視化を、統一ディスプレイを介して提供し得る。さらに、又は、代わりに、システムは、ライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面において立体視で提供し得る。
【0019】
少なくとも1つの態様において、システムは、所定の基準（例えば光軸）を有する立体視デジタル手術顕微鏡の位置を制御し得る。例えば、デジタル手術顕微鏡の所定の基準は、ＮＩＣＯポートの中心軸又は脊髄拡張器と準連続的に準リアルタイムで位置合わせする。さらに、又は、代わりに、システムは、手術部位のナビゲーションについて予め計画された軌道に対応するユーザ入力を受け付け得、システムは、デジタル手術顕微鏡の所定の基準を予め計画された軌道と位置合わせすることによって、立体視デジタル手術顕微鏡の位置を制御し得る。
【0020】
少なくとも1つの実施形態において、システムは、患者位置登録のフィデューシャルマッチング、ランドマークマッチング、及びトレース法における使用のために、ナビゲートされたプローブの代わりにデジタル手術顕微鏡の焦点の使用を介した（例えば患者の）タッチレス位置登録を提供し得る。例えば、システムは、患者のタッチレス位置登録を促し、患者のタッチレス位置登録に対応するユーザ入力を受け付け得る。システムは、写真測量又は立体写真測量を介してタッチレス位置登録に対応するユーザ入力を受け付け得る。
【0021】
さらに、システムは、（例えば手術ナビゲーションモジュール及び手術可視化モジュールをコンピューティングシステムに収容し共同で実行することによって）通信待ち時間及び接続リスクを低減することと、（例えばナビゲーション及び可視化のための）２つのシステムを、両方のワークフローが正確に、かつ、同期して動作するように接続する必要性を除去又は低減することと、２つのシステムを互いに接続するために必要な、あらゆるワークフローのステップ（複数可）を除去又は低減することと、物理ケーブル又は２つのシステム間の他の通信接続要件を除去又は低減することと、２つの別個のシステムと比較して電源ケーブル要件を低減することと、視線の問題を緩和することと、を含むいくつかの利点を与え得るものの、これらに限らない。
【0022】
一例において、１つ以上のプロセッサを有するコンピューティングデバイスによって実行される方法は、コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させることを含み得、手術ナビゲーションモジュール及び手術可視化モジュールは、コンピューティングシステムに共同で収容されコンピューティングシステムによって共同で実行され、当該方法は、手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成することと、手術可視化カメラと手術ナビゲーションモジュールに対応するローカライザとを較正することと、ユーザ入力に応答して手術部位のナビゲーションを提供することと、単一の統一ディスプレイを介して手術部位の可視化を提供することと、を含み得る。
【0023】
本方法は、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御することを含み得る。本方法は、コンピューティングシステムによって、立体視デジタル顕微鏡による手術部位のナビゲーションについて予め計画された軌道に対応するユーザ入力を受け付けることと、デジタル手術顕微鏡の所定の基準を予め計画された軌道と位置合わせされることと、をさらに含み得る。
【0024】
一例において、コンピュータシステム上で使用するための非一時的なコンピュータ可読媒体が開示されている。非一時的なコンピュータ可読媒体は、コンピュータ実行可能プログラミング命令を格納し得、本明細書に記載されている１つ以上のステップ又は方法をプロセッサに実行させ得る。
【0025】
開示された方法及び装置の追加の特徴及び利点は、以下の発明を実施するための形態及び図面に記載されており、これらから明らかになるであろう。本明細書に記載された特徴及び利点は、全てを網羅するものではなく、特に、多くの追加の特徴及び利点が、図面及び記載に鑑みて当業者にとって明らかになるであろう。さらに、本明細書で使用される文言は、主として読みやすさと説明の目的のために選択されたものであって、発明の対象の範囲を限定するものではないことに留意されたい。
【図面の簡単な説明】
【0026】
【図1A】本開示の例示的な実施形態に係る分離した別個のナビゲーション及び可視化システムを示す図である。
【図1B】本開示の例示的な実施形態に係る、自動ナビゲーションを備えた統合手術ナビゲーション及び可視化システムの例示的な手術環境を示す図である。
【図1C】本開示の例示的な実施形態に係る、（例えば統合手術ナビゲーション及び可視化システムにおける）オブジェクト及び患者の解剖学的構造の相対姿勢を決定するための例示的な処理を示すフロー図である。
【図1D】本開示の非限定的な実施形態に係る、例示的なピンホールカメラ垂直視野角を示す図である。
【図2】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのための例示的なパイプラインを示すフロー図である。
【図3】本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムを起動するための例示的な処理を示すフロー図である。
【図4A】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。
【図4B】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。
【図5A】本開示の例示的な実施形態に係る、原点及び軸を設定する例示的な較正基準フレームを示す図である。
【図5B】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な較正オブジェクトを示す図である。
【図6】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な画角を示す図である。
【図7】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な焦点基準フレーム較正のための例示的な方法を示すフロー図である。
【図8】本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な例示的な軌道計画を示す図である。
【発明を実施するための形態】
【0027】
本開示は、一般に、手術部位内で使用される統合手術ナビゲーション及び可視化システムにおける自動ナビゲーションに関する。上述したように、手術可視化デバイス（例えばデジタル手術顕微鏡カメラ）がナビゲーションデバイス（例えばローカライザ）を統合するといった、手術可視化システムを手術ナビゲーションシステムとより良く統合したいという要望がある。例えば、顕微鏡ヘッドに取り付けられ、可視スペクトルで動作し、シーン内の単純なパターン（Aprilタグ、Arucoパターン、チェッカーボード／チェスボード、オフセット円パターンなど）を見る立体視カメラは、立体視ローカライザよりも大幅に優れた精度を提供することができる。立体視カメラを、本明細書に記載された様々な実施形態で説明するように可視化カメラとナビゲーションカメラの両方を顕微鏡ヘッドに統合することによって得られる、より近い距離に、適切な光学系と共に取り付けたときにも精度は向上する。顕微鏡ヘッドに取り付けられ、可視スペクトルで動作する平面視カメラは、立体視バージョンと比較して低減された製造コスト及び計算要件で、ほぼ同じ情報を提供することができる。このようなカメラの何れかを（適合する光学系、照明、及び反射器又は発光器と共に）近赤外光で動作させることで、より複雑で高価な機器の代わりに、シーン照明に対する堅牢性などの性能指標を高めることができる。さらに、手術ナビゲーションカメラ（例えばローカライザ）と手術可視化カメラアイとの間の距離、及び／又は、角度が小さいことに加えて、手術ナビゲーションカメラ（例えばローカライザ）とナビゲーションターゲットとの間の距離がより小さいことにより、（例えばナビゲーションと可視化との間の同期に関する）エラーがさらに低減され得る。さらに、手術ナビゲーション（例えばローカライザ）及び可視化デバイスの両方を含み得る顕微鏡ヘッドをより患者の近くに配置することは、エラーをさらに低減し得る。
【0028】
いくつかの実施形態において、手術ナビゲーションシステム（例えばローカライザ）は、ナビゲーションデバイスがＤＳＭ（デジタル手術顕微鏡）ヘッドに統合できる要件（例えばサイズ、重量、及び作動距離や視野などの光学パラメータ）を満たすことを補助する他のデバイスを介して、手術可視化システム（例えば立体視デジタル手術顕微鏡）に統合され得る。これらの他のデバイスは、シーン内のある基準に対する６ＤｏＦ位置及び方向情報も提供し得る。例は、Intel RealSenseなどの深度カメラ、又はProjector（TI picoDLP）などの構造化ライト及びイメージセンサ（標準ＣＭＯＳ平面視カメラ）を含む。
【0029】
米国特許第１０，２９９，８８０号明細書は、参照によりその全体が本明細書に組み込まれ、ナビゲーション機能を有するデジタル手術ロボット顕微鏡ヘッドを開示している。当該特許明細書で開示されている例示的な立体視カメラは、微細手術アプリケーションのためのフルレンジでオペレータに依存しない方向性を有するデジタル立体視プラットフォームを構成する。米国特許第１０，２９９，８８０号明細書において開示されたデジタル手術ロボット顕微鏡をナビゲーション機能で拡張することには、ワンクリック自動患者位置登録、精度の向上、使いやすさの向上、外科医の精神的負担の低減、手術室の設置面積の大幅な削減、視線の問題によるダウンタイムの短縮、侵襲の少ない手術を可能にすること、患者の露出時間の全体的な短縮、及び患者の転帰の改善を含む、従来の手術ナビゲーションと比較した多くの利点がある。
【0030】
少なくとも１つの実施形態は、手術ナビゲーションデバイス及び多用途デジタル手術顕微鏡の複数の機能を提供する単一の医療デバイスを含む。単一の医療デバイスの使用は、OR（operating room；手術室）の設置面積を削減することを助ける。この削減は、多くの手術に必要な多数の医療デバイスのせいで既に混雑している、多くの手術室において重要である。
【0031】
少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、すぐに使用できるようにシームレスにレンダリングされている。例えば、統合システムは、単一の電源コードによってシームレスに給電され得る。統合システムがプラグインされ、電源が入れられると、統合システムは、使用可能な状態になり得る。シームレスな起動手順は、煩わしいケーブルで２つの別個のシステムを接続する必要性と、問題が起きやすい無線通信で２つの別個のシステムを接続する必要性と、２つの別個のシステムを互いに接続するために必要な、あらゆるワークフロー関連のステップ（複数可）と、２つの別個のシステムを、両方のワークフローが正確に、かつ、同期して動作するように接続する必要性と、複数コンポーネントシステムの１つの部品の更新が、組み合わせたシステムの機能性を損なうリスクと、を除去し得る。
【0032】
少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、単一の、及び／又は、集中型コンピュータシステムを含み得る。例えば、可視化及び手術ナビゲーションソフトウェアモジュールは、同一のコンピュータ内にあり、当該同一のコンピュータの内部で実行し、これにより、通信待ち時間及び接続リスクを低減し得る。この構成は、スペースが限られている可能性のある手術室に複数の機器を配置する必要性を除去し得る。より狭い設置面積と、遠隔の、及び／又は、分離したローカライザモジュールの除去とは、視線の問題を緩和し得る。
【0033】
少なくとも１つの実施形態において、統合手術ナビゲーション及び可視化システムは、顕微鏡のヘッド（例えば「顕微鏡ヘッド」）に分離したナビゲーションターゲットを追加する必要性を除去し得る。このようなナビゲーションターゲットは、一般的に、手術可視化を専門とする製造業者（例えば顕微鏡会社）によってではなく、手術ナビゲーションを専門とする製造業者によって製造されるため、この必要性の除去は、より効率的な製造及び組み立てを作り出すことを助ける。この必要性の除去は、ナビゲーションカメラから顕微鏡ナビゲーションターゲットまでの視線の問題を低減することを助け、統合されたナビゲーション情報及び手術部位可視化を統一表示領域で提供することを助ける。
【0034】
さらに、統合手術ナビゲーション及び可視化システムは、ライブ手術ビューにオーバーレイするナビゲーション情報を、全てのビューについて同一の焦点面において立体視で提供することを助け得る。この構成は、外科医が実際の手術部位からオーバーレイを見ながら目の焦点を合わせ直さなければならないという問題を低減し得る。
【0035】
さらに、統合手術ナビゲーション及び可視化システムは、ナビゲーションIR（infrared;赤外線）光源の蛍光光源（複数可）との干渉を除去し得る。顕微鏡の蛍光及びナビゲーション光は、一般的に、同一又は類似の光波長を使用しており、蛍光の有用性及び有効性を制限し得る。
【0036】
さらに、統合手術ナビゲーション及び可視化システムは、患者の皮膚上の物理的マークのように除去される（そして、これにより、役に立たなくなる）のではなく、手術アプローチの時間を通してユーザの制御下で任意に存続する、ユーザによって計画された仮想切開、及び／又は、他のアプローチパターン、及び／又は、経路を描き得る。例えば、統合手術ナビゲーション及び可視化システムは、ユーザによって計画された仮想開頭手術計画であって、開頭手術が進行するにつれて除去されるのではなく、手術アプローチの時間を通してユーザの制御下で任意に存続し得る仮想開頭手術計画を描くことができる。他の例として、統合手術ナビゲーション及び可視化システムは、ユーザによって計画された軌道計画であって、手術アプローチの時間を通してユーザの制御下で任意に存続し得る軌道計画を描き得る。このようなガイダンスは、また、例えば手術が進行するにつれて任意のエラーを修正するために更新可能でもあり得る。
【0037】
さらに、統合手術ナビゲーション及び可視化システムは、外科手術中の様々なポイントにおけるデジタル手術顕微鏡の所望の姿勢を特定する計画されたウェイポイントをユーザが患者データへ追加することを可能にし得る。
【0038】
さらに、統合手術ナビゲーション及び可視化システムは、ロボット空間を患者空間に接続し得る。この接続は、ＮＩＣＯポートの中心軸又は脊髄拡張器の中心軸などの空間内に配置された、ナビゲートされたベクトルとの、ユーザーオプション下の準リアルタイムで準連続的なデジタル手術顕微鏡の光軸の位置合わせ、予め計画された軌道との、ユーザーオプション下のデジタル手術顕微鏡の光軸の位置合わせ、及び／又は、器具若しくは器具形状の一部との、連続的な、又は、実質的に連続的な、ユーザーオプション下のデジタル手術顕微鏡の光軸の位置合わせを含むものの、これらに限らない、一連の追加の新しく、かつ、自明ではない特徴を提供する。
【0039】
さらに、統合手術ナビゲーション及び可視化システムは、２－カメラ立体視デジタル手術顕微鏡のコンセプトを、Ｎが２以上であるＮ－カメラデジタル手術顕微鏡に拡張する基盤を提供し得る。
【0040】
いくつかの実施形態において、統合手術ナビゲーション及び可視化システムは、可視化デバイスに統合されたナビゲーションデバイスを備え得る。例えば、デジタル手術顕微鏡ヘッドは、ナビゲーションデバイスと可視化デバイスとの両方を備え得る。
【0041】
さらなる実施形態において、統合手術ナビゲーション及び可視化システムは、デジタル手術顕微鏡のための自動ナビゲーションを提供し得る。自動ナビゲーションは、デジタル手術顕微鏡に取り付けられた可視化カメラへの患者に対応する患者データの変換によって促進され得る。
【0042】
Ｉ. 手術環境
図１Ａは、例えば従来の手術環境１００Ａで使用されるような、分離した異なるナビゲーション及び可視化システムを示す図である。これに対し、図１Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムの例示的な手術環境１００Ｂを示す図である。図１Ａ及び図１Ｂに示すように、本開示の例示的な手術環境１００Ｂは、統合手術ナビゲーション及び可視化システム１０１Ｃを含むのに対し、従来の環境１００Ａは、一般的に、手術可視化システム１０１Ｂとは分離した異なる手術ナビゲーションシステム１０１Ａを含む。いくつかの態様において、分離した手術ナビゲーションシステム１０１Ａ及び手術可視化システム１０１Ｂは、ケーブル１６６を介して通信可能に接続され、手術中の拡張現実のための限られたオプションを提供し得る。図１Ｂの統合手術ナビゲーション及び可視化システム１０１Ｃ、及び／又は、図１Ａの従来の手術可視化システム１０１Ｂは、ロボットアーム１２０に取り付けられたＤＳＭ（デジタル手術顕微鏡）ヘッド１１０を含み得る。ロボットアームのリーチを増すために、ロボットアーム１２０は、拡張プラットフォーム（「ダイビングボード」）１３０に取り付けられ得る。統合手術ナビゲーション及び可視化システムが使用され得る方向の範囲を拡張するために、ＤＳＭヘッド１１０は、ロボットアームの端部を超えて１つ以上の追加の自由度を提供し得る「汎用」カプラー１４０に取り付けられ得る。
図１Ａは、例えば従来の手術環境１００Ａで使用されるような、分離した異なるナビゲーション及び可視化システムを示す図である。これに対し、図１Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムの例示的な手術環境１００Ｂを示す図である。図１Ａ及び図１Ｂに示すように、本開示の例示的な手術環境１００Ｂは、統合手術ナビゲーション及び可視化システム１０１Ｃを含むのに対し、従来の環境１００Ａは、一般的に、手術可視化システム１０１Ｂとは分離した異なる手術ナビゲーションシステム１０１Ａを含む。いくつかの態様において、分離した手術ナビゲーションシステム１０１Ａ及び手術可視化システム１０１Ｂは、ケーブル１６６を介して通信可能に接続され、手術中の拡張現実のための限られたオプションを提供し得る。図１Ｂの統合手術ナビゲーション及び可視化システム１０１Ｃ、及び／又は、図１Ａの従来の手術可視化システム１０１Ｂは、ロボットアーム１２０に取り付けられたＤＳＭ（デジタル手術顕微鏡）ヘッド１１０を含み得る。ロボットアームのリーチを増すために、ロボットアーム１２０は、拡張プラットフォーム（「ダイビングボード」）１３０に取り付けられ得る。統合手術ナビゲーション及び可視化システムが使用され得る方向の範囲を拡張するために、ＤＳＭヘッド１１０は、ロボットアームの端部を超えて１つ以上の追加の自由度を提供し得る「汎用」カプラー１４０に取り付けられ得る。
【0043】
本開示のいくつかの実施形態では、力トルクセンサ１５０が、（例えば統合手術ナビゲーション及び可視化システム１０１Ｃの）ロボットアーム－ＤＳＭヘッドの組み合わせに組み込まれ得る。力トルクセンサ１５０は、ユーザが、（例えば従来の顕微鏡のように）物理的な動作を用いてＤＳＭヘッドに任意の姿勢をとらせることを可能にし得る。例えば、ユーザは、ＤＳＭヘッドの、ある一部分又は複数の部分、又は、ロボットアームに取り付けられ、若しくは他の方法で連結されたハンドルを物理的に把持することができ、ヘッドを所望の姿勢へ向けることができる。力トルクセンサ１５０は、物理的入力を検出することができる。ソフトウェア制御モジュールが、力トルクセンサの出力を、意図された姿勢の変化へ変換することができる。同一の、又は、追加の制御モジュールが、このようなユーザの意図を、一連のロボット姿勢の変化へ変換することができ、当該変化はロボットにストリーミングされて効果を生じ得る。
【0044】
統合手術ナビゲーション及び可視化システム１０１、及び／又は、従来の手術可視化システム１０１Ｂは、カート１５４をさらに含み得る。カート１５４は、ロボットアーム及びダイビングボードのための支持構造を提供することができる。さらに、カート１５４は、ＥＰＵ（embedded processing unit；組み込み処理ユニット）１６０と、ＰＭＵ／ＵＰＳ（power management unit with uninterruptible power supply；無停電電源を有する電源管理ユニット）１６２と、を含み得る。ＥＰＵ１６０は、ＤＳＭヘッドと通信し、コマンドを送信し、コマンド応答と画像とステータスデータとを受信することができる。ＰＭＵ／ＵＰＳ１６２は、システム１０１のための電力を管理することができる。ＵＰＳ（無停電電源）１６２は、必要に応じて再配置するために短時間だけカートのプラグを抜くオプションをユーザに提供することができる。ＰＭＵ／ＵＰＳ１６２は、病院の電源が故障した場合にバックアップ機器に移行するための短い時間を持つためのオプションを外科医に提供することもできる。
【0045】
画像は、デジタル手術顕微鏡の光学系及び画像センサ電子機器（図示せず）によって撮像され、ＥＰＵに送られ、処理されて３Ｄ（three-dimensional；３次元）立体視ディスプレイ１７０に送られ得る。３Ｄ立体視ディスプレイ１７０は、多関節ディスプレイ取り付けアーム１８０に取り付けられ得、その姿勢は、例えば、ユーザが最適な視聴品質及び快適さのためにディスプレイに姿勢をとらせることを可能にするために、ディスプレイ姿勢調整ハンドル１８２によって制御され得る。
【0046】
外科医１９０は、３Ｄ立体視ディスプレイを見るために３Ｄメガネ１９２を着用し得る。３Ｄメガネ１９２は、外科医が手術部位１９４の３Ｄ立体視ビューを見ることを提供し得る。デジタル手術顕微鏡のズーム及び焦点光学系は、ユーザによって制御され得、ある作動距離（例えば２００ｍｍ（millimeters；ミリメートル）～４５０ｍｍ）及び倍率（例えば３倍～１１倍）の範囲にわたって手術部位の３Ｄ立体視合焦ビューを提供することができる。いくつかの実施形態において、３Ｄメガネは、パッシブであり、メガネの左右それぞれのレンズ上の偏光フィルムが、ディスプレイ上の１つおきのラインに貼り付けられた偏光フィルムそれぞれと共役関係にある（例えば、左メガネレンズはディスプレイの偶数ラインを通過し、奇数ラインをブロックし、逆もまた同様である）。いくつかの実施形態において、３Ｄメガネは、左目が例えばディスプレイに表示された１つおきの時系列フレームを通過し、残りをブロックし、右目が補完を行うように、ディスプレイに同期されたアクティブシャッタタイプである。いくつかの実施形態において、３Ｄディスプレイは、「メガネフリー」であってもよく、３Ｄメガネを必要とせずに３Ｄディスプレイをユーザに提供し得る。
【0047】
本明細書で使用される場合、「作動距離」と「焦点」は、交換可能に使用され得る。さらに、統合システム１０１Ｃのユーザインタフェースは、作動距離を可変パラメータとして参照し得る。所望の作動距離に変更が加えられると、光学系は、焦点距離が変化するように動作する。これにより、顕微鏡と焦点面との間の距離は変化し得、その距離は、一般に、作動距離であるとみなし得る。
【0048】
統合手術ナビゲーション及び可視化システム１０１Ｃ、及び／又は、従来の手術ナビゲーションシステム１０１Ａは、ナビゲーションカメラ（「ナビゲーションローカライザ」又は「ローカライザ」）２００を含み得る。例えば、図１Ａに示す従来の手術ナビゲーションシステム１０１Ａにおいて、ナビゲーションローカライザ２００は、多関節ローカライザ取り付けアーム２０２に取り付けられ得る。ナビゲーションローカライザ２００は、ローカライザ姿勢調整ハンドル２０４によってユーザが姿勢をとらせることが可能であってもよい。
【0049】
ナビゲーション追跡可能な患者基準ターゲット２３０は、患者クランプ（例えば、「Mayfield」クランプ）２４０に剛性的に取り付けることができる。患者クランプ２４０は、患者２５０がいる手術ベッド２４２の近傍に取り付けられ得る。患者クランプ２４０は、患者の解剖学的構造の領域が患者基準アレイに対して動くことを避け得る。
【0050】
デジタル手術顕微鏡は、ＤＳＭナビゲーションターゲット（例えば「shell」と「helmet」とから派生した「shellmet」）２１０の追加により、（例えば、ローカライザによって追跡可能にされることによって）ローカライザと互換性があるようにすることができる。様々なスタイルのナビゲーションターゲットが、図中で模式的に示された再帰反射型スフィア、又は、本明細書中の他の箇所で説明される画像ベースのコーナーターゲットなどのシステムと共に使用され得る。
【0051】
ローカライザは、その表示空間内の互換デバイス（すなわち、追跡可能なデバイス、ナビゲーションターゲット）の、ある基準フレームにおける姿勢を検出し得る。ローカライザは、この情報を、このような情報の要求に応答して準リアルタイム方式（例えば「ポーリング」方式で毎秒１５回）で、又は、要求が無くとも一定の速度で（「ブロードキャスト」方式）で、ＥＰＵに提供し得る。一般的に、基準フレームであって、当該基準フレーム内で姿勢が報告されている基準フレームは、ローカライザの基準フレームであり得る。但し、いくつかの実施態様では、異なる基準フレームから姿勢を報告するために、事前計算が行われ得る。
【0052】
頭蓋骨などの関連する硬い患者の解剖学的構造は、クランプ２４０に取り付けられるか、又は、クランプ２４０を介してアクセスし得る。本明細書に記載されたシステム及び方法は、準備ワークフローの一部として、患者の解剖学的構造位置合わせ処置を通じてユーザを誘導し得る。この位置合わせ処置は、関連する患者の解剖学的構造に、直接的又は間接的に、剛性的に取り付けられたナビゲーションターゲットに対する患者データ２７０の姿勢を決定することができる。
【0053】
いくつかの態様において、統合手術ナビゲーション及び可視化システム１０１は、ロボットアーム１２０に取り付けられ得るＤＳＭヘッド１０２に統合されたナビゲーションシステムを備え得る。カート１５４は、ロボットアーム１２０に加えて、ブームに取り付けられた３Ｄ立体視ディスプレイ（例えば３Ｄ立体視ディスプレイ１７０）と、マストに取り付けられた、ユーザ入力のためのタッチ画面１７１と、を支持し得る。追加のディスプレイも任意に接続することができる。
【0054】
統合手術ナビゲーション及び可視化システム１０１は、シーン内のナビゲーションデバイスによって見ることができる、ある基準又はターゲットに対するヘッドの６ＤｏＦ（６自由度）位置及び方向情報を提供し得る。デジタル手術顕微鏡は、ある倍率の範囲（一般的には１倍～９倍）及びある作動距離の範囲（一般的には２００ｍｍ～４５０ｍｍ）にわたって立体視的な可視化を提供し得る。
【0055】
手術ナビゲーションの目的は、外科医が最も効果的で損傷の少ない方法で手術を完了できるように、外科手術中に患者の解剖学的構造の周囲に外科医を誘導することを含み得る。患者の解剖学的構造は、一般的に、ＣＴ（コンピュータ断層撮影）マシン又はＭＲＩ（磁気共鳴画像）マシンなどのデバイス内でスキャンされ、結果は、解剖学的構造の画像「スライス」のスタックであって、当該スタックから３Ｄ解剖学的構造を再構成して診察することができるスタックなどのフォーマットで記憶される。従って、上述の目的は、患者データと、ナビゲーションプローブ、及び／又は、デジタル手術顕微鏡の光軸などの様々なオブジェクトと、の間の様々なレベルの相対位置及び方向情報の１つのビュー又は複数のビューを提供することによって達成できる。
【0056】
ＩＩ. ナビゲーションの複雑さのレベル
手術ナビゲーションの複雑さには様々なレベルがあり得、レベルに応じてコストと利点が増加する。複雑さの各レベルは、カメラの較正における複雑さの増加を伴い得るものの、それぞれがより多くのナビゲーション情報（又は、より使用が容易なこのような情報）を証明する。
手術ナビゲーションの複雑さには様々なレベルがあり得、レベルに応じてコストと利点が増加する。複雑さの各レベルは、カメラの較正における複雑さの増加を伴い得るものの、それぞれがより多くのナビゲーション情報（又は、より使用が容易なこのような情報）を証明する。
【0057】
ナビゲーションの単純な形態は、ナビゲーションプローブの先端などの単一の点の患者データにおける位置を、このようなビュー内で提供することであり得る。次の複雑さのレベルは、ベクトルをデータ内で示すことを含み得、ベクトルは、線であって、当該線に沿ってナビゲーションプローブの軸が延在する線を表し得る。次の複雑さのレベルは、そのベクトルに関するプローブの正しい方向を示すことを含み得る。
【0058】
次の複雑さのレベルにおいては、手術ナビゲーションが可視化と統合され得る。
【0059】
例えば、より高いレベルの複雑さは、デジタル手術顕微鏡のための方向を有するベクトルを提供することであり得、プローブベクトルが顕微鏡の光軸になる。プローブの先端は、顕微鏡の焦点となり得、方向情報は、顕微鏡のオンスクリーンディスプレイの「上」方向（例えば顕微鏡ディスプレイの垂直方向）に関連し得る。この複雑さのレベルにおいては、デジタル手術顕微鏡のオンスクリーンライブビューとほぼ同じ患者の３Ｄデータの所定の２次元「スライス」のビューが可能である。
【0060】
本明細書に記載されている様々な実施形態で達成される、ナビゲーションのより高い複雑さのレベルは、患者のスキャンデータの、このような２次元「スライス」のレンダリングをライブ顕微鏡画像上にオーバーレイし、レンダリングの可視特徴をライブビュー内のこれらに対応する特徴と、ある程度の精度で位置合わせさせ、患者の解剖学的構造の現在の物理的サーフェスの下の構造を見るための「Ｘ線ビジョン」を目的として、「スライス」の光軸に沿った移動を可能にすることである。本明細書に記載されている様々な実施形態において同じく達成される、ナビゲーションのさらに高い複雑さのレベルは、患者のスキャンデータの３次元レンダリングを（２次元ディスプレイに対してではあるが）ライブビューの上で提供し、対応する特徴を位置合わせさせることである。
【0061】
ＩＩＩ． オブジェクト及び患者の解剖学的構造の相対姿勢の決定
手術ナビゲーションの複雑さの各レベルは、あるオブジェクトの他のオブジェクトに対する相対位置、及び／又は、方向の決定を含み得る。一実施形態において、本明細書に記載されている最も高い手術ナビゲーションの複雑さのレベルは、記載されている全ての複雑さのレベルを含み得る。従って、説明を容易にするために、最も高いレベルが（例えば、図１Ｃを介して）説明される。
手術ナビゲーションの複雑さの各レベルは、あるオブジェクトの他のオブジェクトに対する相対位置、及び／又は、方向の決定を含み得る。一実施形態において、本明細書に記載されている最も高い手術ナビゲーションの複雑さのレベルは、記載されている全ての複雑さのレベルを含み得る。従って、説明を容易にするために、最も高いレベルが（例えば、図１Ｃを介して）説明される。
【0062】
図１Ｃは、本開示の例示的な実施形態に係る、（例えば統合手術ナビゲーション及び可視化システム（例えば、高い複雑さのレベル）において）オブジェクト及び患者の解剖学的構造の相対姿勢を決定するための例示的な処理１００Ｃを示すフロー図である。一実施形態において、処理１００Ｃは、ナビゲーションデバイスをデジタル手術顕微鏡ヘッド（１０２Ｃ）に統合することから開始され得る。さらに、ナビゲーションデバイス及びデジタル手術顕微鏡カメラ（複数可）は、それぞれ、又は、まとめて較正され得る（それぞれ、ステップ１０４Ｃ及び１０６Ｃ）。但し、手術ナビゲーションと可視化とを既に統合したシステムが本明細書に記載されているため、ステップ１０２Ｃ～１０６Ｃは、省略され得る（例えばマーカ１０７Ｃによって示されるように）。統合手術ナビゲーション及び可視化システムの場合、処理１００Ｃは、図１Ｃに示される後続のステップで開始され得る。
【0063】
例えば、処理１００Ｃは、統合手術ナビゲーション及び可視化システムのナビゲーションコンポーネントが、ナビゲーションコンポーネント基準フレームとデジタル手術顕微鏡カメラ（複数可）の基準フレームとの間の相対位置及び方向情報（「姿勢」情報とも呼ばれる）を決定することから始まり得る（ステップ１０８Ｃ）。このステップは、任意に、上述した較正ステップと組み合わせ得る。
【0064】
患者は、クランプなどの固定された剛性構造内に位置決めされ得る（ステップ１１０Ｃ）。クランプ上のターゲットは、ターゲットが、統合手術ナビゲーション及び可視化システムと対応する方法とによって、リアルタイムで、又は、ほぼリアルタイムで検出可能であり得るように、姿勢を提供され得る。
【0065】
固定された剛性構造（例えばクランプ）上のターゲット（複数可）基準フレーム（複数可）に対する、術前、周術期、及び／又は、術中の（一般的には3d）患者のデータスキャンの患者の解剖学的構造の姿勢が決定され得る（ステップ１１２Ｃ）。患者のクランプに剛性的に固定された較正ターゲットを含むことによって、このステップは、ナビゲーションデバイスの基準フレームとデジタル手術顕微鏡カメラ（複数可）の基準フレームとの間の相対姿勢の決定と任意に組み合わせ得る。さらに、又は、代わりに、ステップ１１２Ｃは、デジタル手術顕微鏡カメラ（複数可）の較正と組み合わせられ得る。較正ターゲットは、ナビゲーションターゲットとして使用され得る。
【0066】
ステップ１１４Ｃにおいて、ナビゲーションターゲットに対するＤＳＭカメラの姿勢が（例えばリアルタイムで、又は、ほぼリアルタイムで）決定され得る。例えば、統合手術ナビゲーション及び可視化システムのナビゲーションコンポーネントは、リアルタイムで、又は、ほぼリアルタイムでクランプ上のターゲットを見て、ナビゲーションターゲットに対するデジタル手術顕微鏡カメラ（複数可）の最新の姿勢を提供するために使用され得る。従って、前のステップで収集されたデータを使用して、患者データに対するデジタル手術顕微鏡カメラ（複数可）の姿勢が計算され得る。
【0067】
ステップ１１６Ｃにおいて、外科医が使用するための患者データが、ライブ手術ビューと並んで、又は、ライブ手術ビュー上にオーバーレイされて、上述した手術ナビゲーションの様々な複雑さのレベルでレンダリングされ得る。
【0068】
ＩＶ． ナビゲーションデバイス
ナビゲーションデバイスは、シーン内のナビゲーションデバイスによって見ることができる、ある基準又はターゲットに対するヘッドの６ＤｏＦ（６自由度）位置及び方向情報を提供し得る。ナビゲーションデバイスは、ＵＳＢウェブカメラなどの標準的な撮像デバイスを使用して実現され得る。この平面視カメラは、シーンを見て、シーン画像をデジタル形式で、シーンに存在する全てのナビゲーションターゲットを検出するために標準的な画像処理技術を使用する主情報処理部モジュールに提供するために使用され得る。さらなる標準的な画像処理技術が、カメラ基準フレームに対する所定のナビゲーションターゲットの６ＤｏＦ位置及び方向情報を計算するために使用され得る。
ナビゲーションデバイスは、シーン内のナビゲーションデバイスによって見ることができる、ある基準又はターゲットに対するヘッドの６ＤｏＦ（６自由度）位置及び方向情報を提供し得る。ナビゲーションデバイスは、ＵＳＢウェブカメラなどの標準的な撮像デバイスを使用して実現され得る。この平面視カメラは、シーンを見て、シーン画像をデジタル形式で、シーンに存在する全てのナビゲーションターゲットを検出するために標準的な画像処理技術を使用する主情報処理部モジュールに提供するために使用され得る。さらなる標準的な画像処理技術が、カメラ基準フレームに対する所定のナビゲーションターゲットの６ＤｏＦ位置及び方向情報を計算するために使用され得る。
【0069】
ナビゲーションデバイスに使用されるカメラ（複数可）の解像度は、精度に影響を与え得る。例えば、より高い解像度のカメラは、より低い解像度のカメラと比較して、所定の測定空間のための、より高い解像度の位置及び方向の測定を提供することができる。測定空間は、より高い空間周波数で測定され得る。例えば、水平方向に１９２０ピクセルを有し、１．９２メートル（１９２０ｍｍ）の幅の空間を測定するイメージセンサを使用するカメラは、その空間を１９２０ピクセル／１９２０ｍｍ＝１ピクセル／ｍｍでサンプリングする。水平方向に３８４０ピクセルを有するセンサを備えるカメラは、その空間を３８４０ピクセル／１９２０ｍｍ＝２ピクセル／ｍｍでサンプリングする。光学系がセンサのピクセルサイズと適合するように正しく設計されている場合、この空間サンプリング解像度は、カメラに使用されているセンサの解像度に正比例し向上する。
【0070】
OpenCV::cornerSubPix()で使用されるようなサブピクセル解像度技術は、低解像度カメラ及び既知の（又はアルゴリズムを適合しやすい）ターゲットパターンについて、この解像度を劇的に向上させることができるが、高解像度カメラに対しても使用でき、それによって高解像度カメラの利点を保持することができる。
【0071】
ここでいうナビゲーションカメラの視野とは、水平方向と垂直方向との両方においてカメラで見ることができる角度スパンを意味する。その３次元領域内の使用可能な領域は、カメラ光学系の被写界深度であって、当該被写界深度において、アイテムが、十分に焦点が合っており使用可能である被写界深度に関連する。使用可能な領域のこの定義について「被写界深度」という用語を使用するかもしれないが、これは、人間の視聴者によって使用可能と考えられる可能性がある画像よりもぼやけている画像をターゲット検出コンピュータ視覚アルゴリズムが成功裡に使用できることが多いため、従来のイメージングとは若干異なり得る。
【0072】
視野は、デバイスの全ての用途に適応するのに十分な大きさである必要があり得、ナビゲーションターゲットは、常にビュー内にあることが要求され得る。さらに、ワークフローの要件が、システムが、ナビゲーションプローブなどの器具であって、一般的に顕微鏡で当該器具を見ることなく使用される器具の使用をサポートすることを要求する。このようなプローブは、ナビゲーションシステムへの患者位置登録後、患者の開腹前に、最適な手術アプローチを決定するために使用される。いくつかのシステムは、位置登録ステップを実行するためにプローブの使用を要求する。本願のナビゲーションシステムは、位置登録のためにプローブを使用することに対する改善を提供する。
【0073】
カメラ較正のために光学系システムをモデリングする一般的で最も簡単な方法は、ピンホールモデルであって、当該ピンホールモデルにおいてカメラが単純なピンホールカメラとしてモデル化されるピンホールモデルである。但し、ピンホールカメラは無限の被写界深度を有するため、これは、実際のシステムと完全には一致しない。つまり、シーン内の全てのオブジェクトが、当該オブジェクトのカメラからの距離にかかわらず、常に焦点が合っている。実際のカメラでは、領域であって、当該領域において、オブジェクトが、十分に焦点が合う、使用可能な領域が視野内にあり、その範囲の外のオブジェクトは、ぼやけ過ぎて使用できない。
【0074】
【0075】
アプリケーションのための視野、被写界深度、及びカメラ解像度の最適値を決定するために、トレードスペースが構築される。それぞれが、システムの使いやすさとターゲットの位置及び方向の測定精度とに影響を与え、カメラ解像度は、製品のコスト及び計算負荷に直接影響を与える。
【0076】
システムの堅牢性を高めるために、パルスＬＥＤなどの光源が、ナビゲーションカメラデバイスに任意に追加される。照明は、シーンに対向しており、当該照明が、シーン内のアイテム、特にナビゲーションターゲットに反射したときのみ、ナビゲーションカメラによって見られる。光学フィルタリングが、カメラレンズの前に（及び任意でＬＥＤの前に）任意に追加され、これらのフィルタは、所望のスペクトル以外の光が除去されるように、使用される照明の波長に適合されている。
【0077】
さらに、照明は、カメラが不要背景照明を除去できるように、ナビゲーションカメラセンサに同期したパターンで任意にパルス化される。例えば、ＬＥＤが、ナビゲーションカメラの偶数フレーム（フレーム０、フレーム２、フレーム４など）の露光時間についてオフにされ、奇数フレーム（フレーム１、フレーム３など）についてオフにされ、ＯＦＦフレームが、その最も近いＯＮフレーム（例えば直前に到着したＯＮフーム）から減算される。この「光同期法による背景抑制」は、背景照明を抑制し、ほぼＬＥＤ光源の反射のみを見せる。
【0078】
この方法は、ナビゲーションターゲット以外のオブジェクトからのＬＥＤ光源の反射という問題に悩まされている。しかし、先験的に知られているターゲットパターンを、その結果得られたナビゲーションカメラ画像から検出する画像処理により、この方法は、それでも十分に機能する。
【0079】
さらなる堅牢性が、スペクトルの異なる領域からエネルギーによって刺激されると電磁スペクトルのある領域で蛍光を発するターゲットを任意に使用することによって達成される。光源と、光源に必要な任意の光学系及び光学フィルタとは、スペクトルの刺激領域を生成してシーンに投影するように設計されており、ターゲットは、この刺激を吸収してスペクトルの発光領域を放出するように設計されており、カメラの前の光学フィルタは、スペクトルの発光領域だけを通すように設計されている。上述した「光同期法による背景抑制」と併用された場合、その結果得られたナビゲーションカメラ画像は、ほぼナビゲーションターゲットの画像のみを含み、ナビゲーションターゲット以外のオブジェクトからのナビゲーションＬＥＤの光刺激の反射が、大きく抑制される。
【0080】
Ｖ． システムパイプライン
図２は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのための例示的なパイプライン４００を示すフロー図である。さらに、パイプライン４００は、手術可視化及びナビゲーション情報が、統合手術ナビゲーション及び可視化システム１０１において生成され、取得され、処理され、表示される方法の１つ以上の例を説明する。パイプライン４００に関連する処理は、ほぼリニアであるものとして示されているが、１つ以上の処理は、同時に、及び／又は、ここで提示されている順序とは異なる順序で起こり得ることが理解されるであろう。
図２は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのための例示的なパイプライン４００を示すフロー図である。さらに、パイプライン４００は、手術可視化及びナビゲーション情報が、統合手術ナビゲーション及び可視化システム１０１において生成され、取得され、処理され、表示される方法の１つ以上の例を説明する。パイプライン４００に関連する処理は、ほぼリニアであるものとして示されているが、１つ以上の処理は、同時に、及び／又は、ここで提示されている順序とは異なる順序で起こり得ることが理解されるであろう。
【0081】
パイプライン４００は、手術部位の画像取得（ブロック４０２）（例えば画像データストリームの一部として）で開始し得る。手術部位の画像取得は、手術部位画像取得モジュールで起こるか、又は、手術部位画像取得モジュールによって実行され得る。光源（複数可）、ズーム及び焦点光学系、画像センサ、及び全てのサポート電子機器、ソフトウェア、ファームウェア並びにハードウェアを含む、フル機能の立体視デジタル手術顕微鏡の例示的な画像取得モジュールは、米国特許第１０，２９９，８８０号明細書及び米国特許第１０，３３４，２２５号明細書にさらに記載されており、それらの全体は、参照により本明細書に組み込まれる。この画像取得モジュールは、手術部位画像データストリーム４１０を生成し得、これは、顕微鏡処理ユニット４２０及び関連する手術部位画像処理モジュール４３０に伝達され得る。画像は、ユーザによって動画として認識されるのに十分なだけ高いフレームレート、例えば６０フレーム／秒（fps）で撮像され処理され得る。従って、画像は、「画像データストリーム」であるとみなし得る。２－カメラ立体視デジタル手術顕微鏡が説明される場合、その概念は、Ｎが２以上であるＮ－カメラデジタル手術顕微鏡に拡張可能であり得ることが理解されるであろう。
【0082】
手術部位画像処理部は、手術部位画像取得モジュールから受信した画像データ４１０を処理し、処理済み画像データストリーム４４０を生成し得る。処理済み画像データストリーム４４０は、レンダリング部モジュール４５０に、より具体的には、描画、配置及びブレンドモジュール４６０に送信され得る。レンダリング部モジュール４５０は、オフライン処理において生成され得るカメラ較正情報４６４も受信し得る。カメラ較正情報を生成するための方法及びシステムは、米国特許第９，５５２，６６０号明細書及び米国特許第１０，０１９，８１９号明細書にさらに記載されており、その全体は参照により本明細書に組み込まれる。カメラ較正情報は、立体視デジタル手術顕微鏡の「目」ごとに生成され得る。カメラ較正は、レンダリング部モジュールに、レンダリングされたオーバーレイオブジェクトが、後述する適切なナビゲーションデータとともに、手術部位画像取得モジュールによって撮像されたオブジェクトと同様の視点、サイズ（倍率）、及び姿勢で現れるように、当該レンダリング部モジュールの仮想カメラをセットアップするオプションを提供し得る。例えば、患者の頭蓋骨及び皮膚の一部のレンダリングされたオーバーレイは、デジタル手術顕微鏡を通した同じ部分のライブビューと同様の視点及び姿勢で現れ得る。
【0083】
このような組み合わせは、描画、配置及びブレンドモジュール４６０において継続し得、手術部位処理済み画像データストリーム４４０は、患者データオーバーレイ４７０と、任意の器具姿勢４８０を有するＭＰＲ（multiplanar reconstruction；他平面再構成）ビューと、セグメンテーション情報４９０と、に組み合わされ、生の立体視レンダリング画像ストリーム４９２にすることができる。生の立体視レンダリングされた画像ストリーム４９２は、立体視／平面視ディスプレイ準備モジュール５００に送信され得る。立体視／平面視ディスプレイ準備モジュール５００は、生の立体視レンダリング画像ストリーム４９２を、必要に応じて、立体視ディスプレイ（複数可）５２０によって必要とされる最終立体視ディスプレイ出力データストリーム５１０に変換し得る。異なる立体視ディスプレイは、ディスプレイ準備モジュールが提供し得る、異なる最終立体視データフォーマットを必要とし得る。さらに、又は、代わりに、１つ以上の平面視ディスプレイ５４０があってもよい。平面視ディスプレイ５４０に関連する様々なデータフォーマット５３０は、ディスプレイ準備モジュールによる構成を介しても提供され得る。
【0084】
先の数段落では、ライブ手術部位画像ストリームの取得、その処理、及びナビゲーションモジュール出力との組み合わせ、及びその表示について述べた。ナビゲーションモジュール出力は、以下のように形成される。
【0085】
ローカライザ５５０は、センシングデバイスであって、当該センシングデバイスの視野にとって視認可能な特定のシーンを有するセンシングデバイスを備え得る。シーンは、デバイスの設計及びデバイスの姿勢に依存し得る。いくつかの実施形態において、ローカライザ５５０は、通信クエリ５６０を１つ以上のナビゲートされた器具に送信し得る。シーンに存在し得る、ナビゲートされた器具は、例えば、１番目のナビゲートされた器具５７０、２番目のナビゲートされた器具５８０、及び／又は、特定の数番目までの、そのような器具５９０を含み得る。いくつかの実施形態における、そのような通信可能なクエリは、赤外光を、一定のレベルで、又は、既知のパルスレート並びに／若しくはシーケンスにおいてシーンに向かって、向けることを含み得る。いくつかの他の実施形態において、クエリは、周囲の可視光に依存してナビゲートされたターゲット（複数可）上に形成された高コントラストパターンを照らすことなどの、受動的性質のものであり得る。この赤外光の（例えば、オン／オフを切り替えることによる、又は、特定の波長を選択することによる）制御は、デジタル手術顕微鏡の蛍光機能との照明干渉を避けることを助け得る。
【0086】
通信クエリは、各ナビゲートされた器具から応答６００として送り返され得る。応答は、ローカライザによって受信され得、各ナビゲートされた器具の器具情報及び姿勢情報６１０として送信され得る。ローカライザは、これらのクエリ、及び／又は、応答を、送信／受信サイクルとして、リアルタイムで、又は、１５ヘルツ（Hz）～３０ヘルツなどの、ほぼリアルタイムのレートで実行し得る。各器具の姿勢情報は、全ての器具について共通の空間において決定され得る。例えば、ローカライザの剛性特徴に対する座標基準フレームの原点及び方向が、使用される共通の空間であり得る。器具及び姿勢情報６３０は、器具姿勢計算モジュール６２０によって受信され得る。
【0087】
オフライン処理において、患者データ取得デバイス（ＣＴ、ＭＲＩなど）６４０が、患者２５０の関連する解剖学的構造をスキャンし、取得された患者データ６５０を生成するために使用され得る。取得された患者データは、任意に、患者データ中央記憶部６６０に記憶され得る。患者データは、（例えば中央記憶部６７０から）ナビゲーション処理部６８０に送信され得る。或いは、患者データは、患者データ６７２として取得デバイス６４０から当該処理部に直接送信され得る。
【0088】
ナビゲーション処理部、顕微鏡処理ユニット、及び全ての他の主要コンポーネントそれぞれの物理的位置は、実施形態によって異なり得ることが理解されよう。一般に、顕微鏡処理ユニット４２０及びビゲーション処理部６８０は、組み込み処理ユニット１６０にあってもよいが、これは必須要件ではない。例えば、ナビゲーション処理部は、組み込み処理ユニットを収容し得るカートから離れた、ナビゲーションカメラと同一のハウジングの内部に物理的に配置され得る。
【0089】
患者データ処理モジュール６９０は、患者データを、システムの他の部分における様々なモジュールによって必要とされるフォーマット（複数可）に、処理済み患者データ７００として処理し得る。
【0090】
このパイプラインに関連する処理の相対的なタイミングが、図４Ａ及び図４Ｂに関連して、さらに説明される。後述するように、ユーザ７１０は、ユーザの計画作成、セグメンテーション及び位置合わせ入力７２０を介してソフトウェアに指示し、これらの各ワークフローステップを実行させ得る。患者位置登録モジュール７３０は、ユーザに指示し、ユーザ入力を受け付け、患者位置登録情報７４０を生成し得る。位置登録情報７４０は、処理済み患者データ７００と患者基準ナビゲーションターゲット２３０との間の姿勢関係を記述し得る。
【0091】
処理済み患者データ７００の使用は、複数面再構成ビュー生成部７５０が複数面ビュー７８０を生成するのに伴って継続し得る。複数面ビュー７８０は、ユーザが、開口、アプローチ及びオブジェクトのパターン及び軌道を生成するために計画作成モジュール７６０を使用することを（手術ナビゲーションシステムにおける標準的な機能として）補助し得る。いくつかの実施形態において、３Ｄビュー生成部は、例えば患者データの３Ｄ表現を生成することによって、そのような試みにおいてユーザをさらに補助し得る。３Ｄ表現のビューは、所望の姿勢、及び／又は、スケールに基づき調整することができる。
【0092】
複数面ビュー７８０、及び／又は、患者データの任意の３Ｄ表現は、ユーザが、セグメント化されたジオメトリ７９０を生成するためにセグメンテーションモジュール７７０を使用することを補助し得る。例えば、患者の病理が、患者の脳の、ある特定の場所に位置する腫瘍である場合、セグメンテーションモジュール７７０は、ユーザに、セグメント化されたジオメトリがサイズ、形状及び姿勢において腫瘍を表すように、患者データ内の腫瘍を分離するオプションを提供する。
【0093】
カメラ較正情報４６４、器具姿勢情報６３０、複数面再構成ビュー７８０、患者データの３Ｄ表現、及びセグメント化されたジオメトリ７９０のうち１つ以上が、仮想シーン管理部８００に提供され得る。仮想シーン管理部８００は、患者データオーバーレイ４７０と、任意の器具姿勢４８０を有する複数面再構成ビューと、描画、配置及びブレンドモジュール４６０によって様々な方法で使用可能なセグメンテーション情報４９０の表現とを、ユーザによって構成されたとおりに生成し得る。
【0094】
例えば、オーバーレイは、デジタル手術顕微鏡の光軸に沿った距離において表示され得、オン／オフのオプションが利用可能であってもよい。さらに、又は、代わりに、当該光軸に沿った距離は、ユーザによって制御可能であり得、患者の解剖学的構造の、ある部分の下における患者データの「Ｘ線ビジョン」を可能にする。
【0095】
オーバーレイが従来の光学顕微鏡に導入される既存の従来システムにおいて、オーバーレイディスプレイの焦点面は、明確に１つの単一平面であるのに対して、シーンのビューは、多くの焦点距離の類似集合である。このような従来のシステムにおいて、ユーザは、しばしば、実際の手術部位を見ることとオーバーレイを見ることとを切り替える際に、目の焦点を合わせ直すことを強いられる。さらに、その１つの単一のオーバーレイ表示面の知覚された位置は、しばしば、一般的な手術部位シーンから大きく離れた位置、例えば部位の数センチメートル上に位置している。しかし、本明細書に記載されたシステム及び方法は、オーバーレイ情報が、実際の手術部位の立体視ビューと同一の表示焦点面上に提示されることを可能にし得る。
【0096】
実際の手術部位の立体視ビューの単一の表示焦点面（例えば立体視ディスプレイの平面）が存在し得るものの、ユーザは、それでも、人間の視覚系の驚異に起因する多くの焦点距離の、完全な、又は、知覚的に完全な、類似集合を知覚し得る。
【0097】
さらなる例として、３つの複数面再構成ビュー及び３Ｄ表現のうち１つ以上（又は全て）がメインディスプレイ画面の側部に任意に表示され得、それによって、ライブ手術ビューが、１つのディスプレイにおいて、ナビゲーション情報と統合される。この統合は、しばしば可視化システムとナビゲーションシステムとを交互に見ることをユーザに強い、システム間の大きな情報負荷が精神的に加わる既存のマルチデバイスシステムと比較した、さらに他の利点である。
【0098】
ＶＩ． システム準備
図３は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムを起動するための例示的な処理３００を示すフロー図である。例えば、統合ナビゲーション及び可視化システムのユーザは、処理３００に示されるシステム準備ステップに従うように訓練され得る。ステップ８５０において、ユーザは、統合ナビゲーション及び可視化システムを病院の主電源に（例えば壁のソケットに接続することによって）接続することができる。ステップ８６０において、ユーザは、システムの電源を（例えば「オン」スイッチを入れることによって）入れ得る。ステップ８７０において、ユーザは、システムの使用を開始し得る。システムの電源を入れた後のワークフローステップが、図４Ａ及び図４Ｂに関連して、さらに後述される。
図３は、本開示の例示的な実施形態に係る、統合ナビゲーション及び可視化システムを起動するための例示的な処理３００を示すフロー図である。例えば、統合ナビゲーション及び可視化システムのユーザは、処理３００に示されるシステム準備ステップに従うように訓練され得る。ステップ８５０において、ユーザは、統合ナビゲーション及び可視化システムを病院の主電源に（例えば壁のソケットに接続することによって）接続することができる。ステップ８６０において、ユーザは、システムの電源を（例えば「オン」スイッチを入れることによって）入れ得る。ステップ８７０において、ユーザは、システムの使用を開始し得る。システムの電源を入れた後のワークフローステップが、図４Ａ及び図４Ｂに関連して、さらに後述される。
【0099】
統合ナビゲーション及び可視化システムの起動が比較的容易であることは、図３に示すように、様々なセットアップステップ又は起動処理を実行する必要性を統合手術ナビゲーション及び可視化システムが除去し、又は、不要にするため、ナビゲーション及び可視化のための従来のマルチコンポーネントシステムと比べた統合手術ナビゲーション及び可視化システムの大きな利点を与える。例えば、図３に示すように、病院の主電源に接続するために単一の電源プラグが必要とされ得るのに対し、従来のマルチコンポーネントシステムは、少なくとも２つのそのような接続を一般的に必要とし得る。さらに、ナビゲーションシステムと可視化システムとの間の物理的な接続をユーザが行う必要がない。これに対して、従来のマルチコンポーネントシステムは、一般的に、分離したナビゲーションシステムと可視化システムとの間に何らかの形式の接続を必要とし得る。さらに、ナビゲーションシステムと可視化システムとの間のワークフローの同期を行う必要がない。これに対して、従来のマルチコンポーネントシステムは、何らかの形式の、このようなワークフローの同期を必要とし得る。
【0100】
ＶＩＩ． システムワークフロー
図４Ａ及び図４Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。統合手術ナビゲーション及び可視化システム上のソフトウェアアプリケーションは、パイプラインのソフトウェア部分を実行し得、ユーザが従うべきワークフローを提供し得る。ワークフローの様々な部分が、ワークフローコマンド及び制御モジュールにおいて実施され得る一方、他の部分は、ソフトウェアの外部及びシステムの外部で実行され得る。このような部分は、システム使用の全体像を提供するために提示され得る。
図４Ａ及び図４Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムのために実行される例示的なワークフローを示すフロー図である。統合手術ナビゲーション及び可視化システム上のソフトウェアアプリケーションは、パイプラインのソフトウェア部分を実行し得、ユーザが従うべきワークフローを提供し得る。ワークフローの様々な部分が、ワークフローコマンド及び制御モジュールにおいて実施され得る一方、他の部分は、ソフトウェアの外部及びシステムの外部で実行され得る。このような部分は、システム使用の全体像を提供するために提示され得る。
【0101】
明確性のために、ワークフローコマンド及び制御モジュールは、データ取得、処理及び表示パイプライン４００に示されていない。実施されたワークフローは、本明細書において説明される。このワークフローは、ほぼリニアな形式で記載されているが、いくつかの処理は、同時に、及び／又は、ここで提示されている順序とは異なる順序で起こり得ることが理解されるであろう。
【0102】
ワークフローは、機器、器具、及び付属品が、手術室に持ち込まれ得る、手術室のセットアップ（「手術室セットアップ」）９００から開始され得る。そのような機器、器具、及び付属品は、統合手術ナビゲーション及び可視化システム、患者クランプ（複数可）、ナビゲーション器具、手術器具、及び麻酔器具を含み得るものの、これらに限らない。患者セットアップワークフローステップ９０２とみなされる一群のワークフローステップが、手術室スタッフによって実施され得る。これらのステップは、無菌領域に入るスタッフが自らの事前洗浄及び無菌衣の着用を行う、手洗い９１０から開始され得る。さらに、いくつかの予備的な患者の洗浄が、この時点で実行され得る。
【0103】
ステップ９２０において、患者が、覚醒した状態で手術室に搬入され得る。その後、ステップ９３０は、手術部位付近における除毛及び近傍の領域のさらなる滅菌を含み得る、患者準備９３０を含み得る。ステップ９４０において、患者が手術位置に移動され得、ステップ９５０において、麻酔科医が患者に麻酔をかけ得る。
【0104】
患者に関連するナビゲーションセットアップの一部は、ステップ９６０で実行され得る。いくつかの態様において、関連する患者の解剖学的構造が、ナビゲーション基準ターゲットに対して剛性的に固定され得る。神経外科手術では、例えば、患者の頭蓋骨が、Mayfieldクランプと、クランプに剛性的に固定されたナビゲーション基準ターゲットと、に剛性的に固定され得る。ナビゲーションプローブなどの付属品は、この際に、例えば、これらを滅菌キットから取り出して無菌テーブルの上に置き、外科医が利用できるようにすることによって、利用可能にされ得る。
【0105】
ワークフローは、本明細書において計画作成及び手術室セットアップ９６２と呼ばれる一連のステップに進み得る。計画作成及び手術室セットアップ９６２に関連するステップのうち、ステップ９６４は、一般的に、例えば滅菌する必要がない機器を有する、手術室の非無菌領域において起こり得る。
【0106】
ユーザは、ステップ９７０において患者情報及び患者画像データを患者データ中央記憶部からインポートするために統合手術ナビゲーション及び可視化システム上のソフトウェアアプリケーションを使用することに進み得る。いくつかの態様において、患者データ中央記憶部は、ＰＡＣＳ／ＨＩＳ／ＲＩＳ９８０と総称される、ＰＡＣＳ（picture archiving and communication system；画像アーカイブ及び通信システム）、ＨＩＳ（hospital information system；病院情報システム）、又はＲＩＳ（radiology information system；放射線科情報システム）のうち１つ以上を備え得る。患者情報及び患者画像データは、病院イーサネットなどの通信インターフェースを介して、フォーマット済みの患者データ９９０として提供され得る。患者情報、及び／又は、患者画像データは、１つ以上のオプション（例えば、DICOM（Digital Imaging Communication in Medicine）、HL7（Health Level）など）を使用してフォーマットされ得る。
【0107】
ステップ１０００において、外科医プロファイルがインポートされ得る。或いは、外科医プロファイルは、例えば外科医プロファイルが存在しない場合、作成され得る。決定ステップ１０１０において、ナビゲーション計画が存在する場合、ステップ１０２０において、ユーザが、既存の患者計画（セグメント化された解剖学的構造及び軌道情報）をローカルストレージ１０３０からロードし得る。しかし、ナビゲーション計画が存在しない場合、ユーザが、オンサイト計画作成が必要であるか否かを、決定ステップ１０４０において決定し得る。ナビゲーション計画が存在しない場合、及び／又は、オンサイト計画作成が特に必要とされない場合、基準画像がステップ１０５０においてロードされ得る。ナビゲーション計画作成が、要求されるか、又は、所望される場合、ステップ１０６０において、ナビゲーション計画作成が実行され得る。ナビゲーション計画作成のための追加のステップは、例えば、（例えば、ＭＲＩをＣＴに位置合わせするための）画像モダリティの共同位置合わせ又は融合、ＲＯＩ（region of interest；関心領域）の指定、１つ以上の領域のセグメンテーション、開頭手術（頭蓋神経外科手術の場合）若しくは他のアプローチの指定、及び軌道計画作成などを含み得る。ステップ１０７０において、ナビゲーション計画作成が、例えば先導外科医によって、確認され得る。
【0108】
ステップ１０８０において、手術室のレイアウトが決定され得る。手術室のレイアウトは、統合手術及びナビゲーション可視化システムの位置決め、及び／又は、方向と、手術室機器の様々な部分が、手術中の様々な段階において、どのような姿勢をとるべきかと、を含み得る。
【0109】
ステップ１０９０において、統合手術ナビゲーション及び可視化システムは、患者がいる手術室テーブルの近くに運ばれ得る。デジタル手術顕微鏡ヘッドは、今のところ、無菌領域から遠ざけておかれ得る。ローカライザは、当該ローカライザが、現在のワークフローステップ中に必要とされる、関連するナビゲートされた器具を「見る」（例えば、当該ローカライザの視野内で受信する）ことができるように姿勢をとらされ得る。例えば、位置合わせ中、ローカライザは、ナビゲートされたハンドプローブ及びナビゲートされた患者基準ターゲットを見る必要があり得る。
【0110】
ステップ１１００において、ユーザは、患者が位置登録の準備を済ませていることを確認し得る。ステップ１１１０において、ユーザは、ローカライザが位置登録に必要な器具を追跡していることを確認し得る。いくつかの実施形態において、これらの器具は、ナビゲートされたハンドプローブを含み得、追跡は、ナビゲートされた患者基準ターゲットの位置を特定することを含み得る。他の実施形態において、追跡は、デジタル手術顕微鏡上のナビゲートされたターゲット（複数可）と、ナビゲートされた患者基準ターゲットと、の位置を特定することを含み得る。
【0111】
ステップ１１２０において、患者位置登録が実行され得る。位置登録の様々な形態が、手術ナビゲーション可視化システムにおいて利用可能であり得る。選択された位置登録は、手術の種類、患者の位置、及び／又は、患者の状態を含むものの、これらに限らない、いくつかの変数からなる関数であり得る。利用可能な患者位置登録の形態は、例えば、フィデューシャルマッチング、ランドマークマッチング、及びトレースを含み得る。
【0112】
フィデューシャルマッチングでは、ボリュームスキャンが（例えばＣＴ又はＭＲＩによって）行われる前に、フィデューシャルが患者に（例えば貼付によって）追加され得る。フィデューシャルは、患者の上に存置され得る。そして、実際の物理的フィデューシャルの位置が、ボリュームスキャンにおける位置とマッチングされ得る。実際の患者の上のフィデューシャルの位置の特定は、いくつかの実施形態においてはナビゲートされたプローブの先端を使用して、他の実施形態においてはデジタル手術顕微鏡の焦点を使用して、行われ得る。
【0113】
ランドマークマッチングでは、実際の患者の上の物理的ランドマーク（例えば、目尻）を、ボリュームスキャンデータ内の対応するランドマークとマッチングさせることができる。フィデューシャルの位置と同様に、実際の患者の上のランドマークの位置の特定は、いくつかの実施形態においてはナビゲートされたプローブの先端を使用して、他の実施形態においてはデジタル手術顕微鏡の焦点を使用して、行われ得る。
【0114】
トレースにおいて、ユーザは、ナビゲートされたプローブを使用して、ユーザの解剖学的構造のユニークな形状を有する部分（例えば目の下の領域の一部を含む鼻梁の鞍部）の上をトレースするようにソフトウェアによって指示され得る。さらに、又は、代わりに、デジタル手術顕微鏡の焦点は、患者の解剖学的構造のサーフェスに留まる手段を提供するオートフォーカス機構を有する、領域を動き回るロボットと組み合わせて使用し得る。
【0115】
患者位置登録の他の形態は、レーザを使用したタッチレス位置登録と、写真測量／立体写真測量を使用したタッチレス位置登録と、を含み得る。
【0116】
ステップ１１３０において、外科医が、患者データをレビューし得、位置登録を確認し得る。位置登録が十分に正確でない（例えば類似性閾値を満たさない）場合、決定ステップ１１４０は、位置登録ステップ（複数可）を繰り返すためにステップ１１２０に戻るためのロジックを提供する。位置登録が十分に正確である（例えば類似性閾値を満たす）場合、ワークフローは、ほとんどの場合において手術室の無菌領域で起こるステップ１１４２に進む。
【0117】
患者とデジタル手術顕微鏡とを、無菌領域における使用に向けて準備するために、ステップ１１５０は、患者及びデジタル手術顕微鏡を１つ以上の無菌ドレープで覆うことを含む。適切な開口が、必要に応じて、デジタル手術顕微鏡に対して位置合わせされ得る。例えば、レンズ窓が、デジタル手術顕微鏡の光学系主入口に位置合わせされ得る。外科的侵入が生じることとなる患者の領域は、患者ドレープを通して露出させられ得る。患者の皮膚は、消毒液で滅菌され得る。
【0118】
ステップ１１２０において上述した先の患者位置登録は、非無菌である可能性があるナビゲートされたプローブに加えて、ドレープで覆われていない患者及びクランプを伴う、非無菌領域で起こった可能性がある。クランプがドレープで覆われておらず、非無菌であったため、患者基準ナビゲートされたターゲットは、非無菌であるとみなし得る。従って、ステップ１１６０において、このターゲット、及び／又は、ナビゲートされたプローブ（例えば使用されている場合）は、無菌の同等品によって置換され得る。
【0119】
図４Ａ及び図４Ｂのワークフローを参照すると、１１６０以降のステップに関連して、手術の主要部分が開始され得る。ステップ１１７０において、計画を用いて、切開点、及び／又は、経路が、患者の上に、マーキングされるか、又は、他の方法で表示され得る。統合手術ナビゲーション及び可視化システムの利点は、患者に物理的にマーキングする代わりに、これらの切開点、及び／又は、経路を、ライブビュー上のオーバーレイとして、仮想的に描き得ることである。物理的なマークが、アプローチ中に最初に剥がされる、又は、位置がずらされる（そして視界から外れる）、皮膚の最外層にあるため、すぐに除去されるのに対し、このような点、及び／又は、経路は、アプローチ全体を通じて存続し得るので、これは、非常に有用である。
【0120】
開口及びアプローチは、ステップ１１８０において、患者の切開で開始され得る。このワークフローのステップのいくつかは、頭蓋神経外科手術に特有であり得るものの、多くは、多くの一般的な手術に適用され得る。ステップ１１８０において、開頭手術が開始される。統合手術ナビゲーション及び可視化システムの他の利点は、開頭手術の形状を予め計画し、それを、ライブ画像上のオーバーレイとして、外科医が、「数字単位で切り」、画面上に描画されたとおり切削器具で経路を辿るだけでよいように、仮想的に描画する能力を含み得る。このオーバーレイは、任意にユーザの制御下で、アプローチの時間全体にわたって存続する。
【0121】
ステップ１１９０において、（例えば頭蓋神経外科手術の一部として）硬膜が開かれ得る。ステップ１２００において、デジタル手術顕微鏡ヘッドが、患者の手術部位が存在する場所に移動され得る。いくつかの態様において、このステップは、例えば皮膚切開及び開頭ステップのための仮想オーバーレイを提供するために、図４Ａ及び図４Ｂに示すワークフロー内の、より早い段階で起こり得る。
【0122】
ステップ１２１０において、手術の大部分が実行され得る。統合手術システムのさらなる利点が明らかになる。例えば、計画された軌道が、ユーザ要求に応答して、複数面再構成ビュー上に描画され得る。ロボットアームが、デジタル手術顕微鏡の光軸を移動させ、予め計画された軌道と位置合わせされるように、ユーザの要求の下で命令され得る。さらに、又は、代わりに、このような位置合わせは、デジタル手術顕微鏡の光軸を、準連続的に準リアルタイムで、脊髄拡張器の軸又はＮＩＣＯポートの軸などの、いくつかのベクトルと位置合わせするために使用され得る。従って、外科医は、手術の間中、姿勢を変え得る、そのような軸の下に、有用な視界を維持するために顕微鏡を手動で配置する必要から解放され得る。
【0123】
さらに、又は、代わりに、ステップ１２１０において、ナビゲートされたオーバーレイが、外科医が、患者の解剖学的構造内において「どこにいるのかを知る」ことを可能にするために使用され得る。さらに、ナビゲートされたオーバーレイは、未だ除去されていない患者の身体的構造の下に残っている可能性のある、患者の解剖学的構造の患者ボリュームデータの部分から描画することによって、外科医が「Ｘ線ビジョン」を有することを可能にするために使用され得る。
【0124】
セグメンテーションが、例えば腫瘍の３Ｄ形状及び姿勢を特定するために使用される場合、そのような３Ｄ形状は、ユーザ制御下で、ある精度内において正しい視点、姿勢、及びスケールで描写され得、ライブ画像ストリームとブレンドされ得る。この特定は、外科医が、未だ切除されていない組織の何れの部分が「腫瘍である」又は「腫瘍ではない」可能性があるかを識別することを可能にし得る。
【0125】
手術の主要部分（例えば腫瘍切除又は動脈瘤クランプ）が完了した後、ステップ１２２０において、硬膜が閉じられ、頭皮が縫合され得る。ステップ１２３０において、デジタル手術顕微鏡ヘッド及びカートが、運び去られ得る。ステップ１２４０において、手術が完了し得る。
【0126】
ステップ１２５０において、手術中に記録された画像、及び／又は、動画が、（例えば、ローカルに、ＰＡＣＳ（画像アーカイブ及び通信システム）１２６０において、手術中に記録された画像、及び／又は、動画のためのローカルストレージ１２７０において）記憶され得る。
【0127】
ＶＩＩ． カメラ較正
ナビゲーションカメラの視野内のターゲットの位置及び方向情報（「姿勢」情報とも呼ばれる）を決定するために、ナビゲーションカメラを較正する必要があり得る。実際の視野上のオブジェクトの正確なレンダリングを提供するために、デジタル手術顕微鏡カメラ（複数可）が較正され得る。
ナビゲーションカメラの視野内のターゲットの位置及び方向情報（「姿勢」情報とも呼ばれる）を決定するために、ナビゲーションカメラを較正する必要があり得る。実際の視野上のオブジェクトの正確なレンダリングを提供するために、デジタル手術顕微鏡カメラ（複数可）が較正され得る。
【0128】
平面視カメラについては、ターゲットの幾何学的情報も既知であり得、立体視カメラは、さらなる入力なしに絶対測定を行うことができる。平面視カメラ及び立体視カメラのための較正処理は、その中核において、少なくともほぼ同じであり得、立体視カメラは、いくつかの追加ステップを必要とする。
【0129】
較正のための少なくとも１つの高レベルの手順は、画像を取得することと、カメラパラメータを解くことと、任意に、シーン内のオブジェクト（複数可）の３Ｄモデルを解くことと、を含み得る。
【0130】
ナビゲーションカメラの較正とデジタル手術顕微鏡カメラ（複数可）の較正とのそれぞれについて、画像内に特別較正ターゲットを追加することによって、シーンのスケールが決定され得、２つのカメラ空間が、精度を高めるような方法で結びつけられ得る。
【0131】
ａ． 画像を取得する
一実施形態において、較正は、多数（すなわちＮ）のスナップショット（例えば、Ｎ＝５０）であって、各スナップショットにおいてシーン内の何らかのオブジェクトがわずかに異なる姿勢をとっている多数のスナップショットを撮像することから開始され得る。姿勢の変化は、ロボットを制御して、デジタル手術顕微鏡ヘッドをオブジェクトに関してＮ個の異なる姿勢に動かし、各姿勢でスナップショットを撮像することによって達成され得る。
一実施形態において、較正は、多数（すなわちＮ）のスナップショット（例えば、Ｎ＝５０）であって、各スナップショットにおいてシーン内の何らかのオブジェクトがわずかに異なる姿勢をとっている多数のスナップショットを撮像することから開始され得る。姿勢の変化は、ロボットを制御して、デジタル手術顕微鏡ヘッドをオブジェクトに関してＮ個の異なる姿勢に動かし、各姿勢でスナップショットを撮像することによって達成され得る。
【0132】
スナップショット（例えば画像）は、それぞれ、各スナップショットのファイル名を固有にするのに十分な高い解像度を有するタイムスタンプによってラベリングされ得る。このような識別情報は、任意に、各画像のメタデータに埋め込まれ得る。
【0133】
上述したように撮像されるシーン内のオブジェクトについての要件は、使用されるカメラ較正アプローチのタイプによって異なり得る。
【0134】
ｂ． カメラパラメータを解く
カメラパラメータを解くことは、写真測量、及び従来の較正オブジェクト法などの、１つ以上のアプローチを含み得る。
カメラパラメータを解くことは、写真測量、及び従来の較正オブジェクト法などの、１つ以上のアプローチを含み得る。
【0135】
少なくとも１つの実施形態において、写真測量が、カメラパラメータを解くために使用され得る。写真測量の場合、オブジェクトは、画像取得が行われている間、その形状を保持し（「剛性」である、と我々が呼ぶもの）、オブジェクトのサーフェス上に分散した、アルゴリズムが最小数の画像において検出できる、最小数の、アルゴリズムに適した「特徴」を有する、任意のオブジェクトであり得る。但し、シーンのスケールは、ランダムなオブジェクトからは必ずしも決定され得ない。スケールは、手動で、又は、自動化された方法で、スケールオブジェクトをシーンに挿入することによって設定される必要があり得る。
【0136】
スナップショット姿勢は、最小数の特徴が複数の画像において見つかり得るようにオーバーラップし得、各画像は、最小数のそのような特徴を有し得る（但し、全ての画像にわたって同一の特徴とは限らない）。特徴は、ＳＩＦＴ（scale invariant feature transform；スケール不変特徴変換）などの複数の特徴検出モデルの何れかを使用して、各画像において検出され得る。このようにして検出された特徴は、それぞれ、特徴「記述子」を使用して特徴付けられ得、これにより、同一の特徴を複数の画像において検出し、それが同一の特徴であることアルゴリズムが認識することが可能になる。
【0137】
そのような特徴それぞれの、関連画像におけるピクセル位置は、特徴記述子とともに記録され得る。このピクセル位置は、シーン内の特徴が、見られたシーンを、このように取得された画像に変換するセンサ平面に、カメラ構造を介して、どのように投影されるかの決定を補助するために、カメラ較正において使用され得る。
【0138】
画像取得の時間にわたってオブジェクトが「剛性」であると仮定すると、アルゴリズムに、動かない特徴の所定の組の複数の姿勢からのビューがこのように供給される。これは、取得された画像の組にわたって、異なる特徴の組（一般的には、継続的に変化する、そのような組）について繰り返され得る。この情報は、カメラモデルにおけるパラメータを解くために使用され得る。画像を取得し、カメラパラメータを解くための上述したステップは、簡単のために、本明細書において「カメラ較正」と呼ばれることがある。
【0139】
このように撮像されたシーンの３Ｄモデルも、計算され得る。任意のオブジェクト（対既知の構造の較正オブジェクト）を使用する能力により、ワールドシーンのスケールは、写真測量を使用するカメラ較正において、この時点では不明である。スケールは、取得中に撮像された画像の少なくともいくつかに、既知の寸法のオブジェクトを含めることにより設定される。オブジェクトは、その後、手動で、又は、自動で、３Ｄモデルおよび対応するモデルポイントにおいて、求められ得る。
【0140】
較正基準フレームの原点及び軸は、例えば、Ｘ軸とＹ軸とを定義するために使用される線形直交特徴を有する平面オブジェクトを含むことによって、同様の方法で設定される。Ｚ軸は、Ｘ軸とＹ軸とのベクトル積を使用して、画像に示すように慣習に従って右手座標系で暗黙的に定義される。原点及び軸を設定する例示的な較正基準フレームが、図５Ａに示されている。
【0141】
（従来の較正オブジェクト法）
既知の構造の較正オブジェクトが使用され、その構造を構成する特徴が処理アルゴリズムによって検出され得る場合、取得された画像間で画像のオーバーラップは必要ない可能性があり、OpenCV::calibrateCameraなどの従来の較正オブジェクト法が使用され得る。処理の他の部分は、写真測量の当該部分とほぼ同様である。
既知の構造の較正オブジェクトが使用され、その構造を構成する特徴が処理アルゴリズムによって検出され得る場合、取得された画像間で画像のオーバーラップは必要ない可能性があり、OpenCV::calibrateCameraなどの従来の較正オブジェクト法が使用され得る。処理の他の部分は、写真測量の当該部分とほぼ同様である。
【0142】
図５Ｂは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な較正オブジェクトを示す図である。
【0143】
OpenCV cv::calibrateCameraなどの標準的なカメラ較正法を使用して、以下の内部カメラパラメータが、立体視デジタル手術顕微鏡の２つのカメラアイそれぞれについて決定され得る：主点（cx、cy）；及び焦点距離（fx、fy）。
【0144】
cv::calibrateCamera処理は、較正ターゲットのスナップショット画像を、コンピュータビジョンで検出可能なサブオブジェクトを含むターゲットに対する各カメラアイの複数の姿勢で撮像することによって実現され得る。いくつかの実施形態におけるサブオブジェクトは、互いに対して固有であり得、従って、較正ターゲット全体に対する各サブオブジェクトの位置は、既知であり得る。
【0145】
いくつかの態様において、cv::calibrateCameraは、カメラの各姿勢において、外部カメラパラメータに加えて内部カメラパラメータを決定するための同時解決処理を使用し得る。当該外部パラメータは、較正ターゲットの予め定められた基準フレームに対する各カメラアイの３次元並進及び３次元回転から構成される：
Tx、Ty、Tz（例えば原点からの較正基準フレームの各軸に沿った並進）；及び
Rx、Ry、Rz（例えば較正基準フレームの各軸を中心とした回転）。
Tx、Ty、Tz（例えば原点からの較正基準フレームの各軸に沿った並進）；及び
Rx、Ry、Rz（例えば較正基準フレームの各軸を中心とした回転）。
【0146】
外部パラメータは、較正処理で使用するためのスナップショット画像を生成するために使用される複数の姿勢のそのようなものそれぞれについて、較正ターゲット基準フレームに対する各カメラアイの固有の姿勢それぞれに固有であり得る。これに対し、内部パラメータは、そのような画像全てにわたって一定のままであるように制約され得る。
【0147】
この概念は、Ｎが２以上であるＮ－カメラデジタル手術顕微鏡に拡張可能であり得る。
【0148】
ナビゲーションターゲットの基準フレーム内に既知の位置及び回転で（すなわち既知の姿勢で）配置されたコンピュータビジョンで検出可能なサブオブジェクト１３２０に加えて、ナビゲーションカメラ２００によって追跡可能なナビゲーションターゲット１３１０を備える、ナビゲートされた較正オブジェクト１３００が作成され得る。
【0149】
ナビゲーションカメラによって追跡可能なナビゲーションターゲット２１０が、カメラの各光学系システムに共通する、何らかの物理的フレームに強固に貼り付けられ得る。いくつかの実施形態では、１つ以上の追加のそのようなターゲットが、ローカライザ（すなわちナビゲーションカメラ）が、ローカライザに対するデジタル手術顕微鏡ヘッドの姿勢の広い範囲にわたって、少なくとも１つのターゲットを常に「見る」ことができるように、フレームに関して様々に配置され得る。
【0150】
ナビゲートされた較正オブジェクトは、立体視デジタル手術顕微鏡の視界内に配置され得る。
【0151】
立体視デジタル手術顕微鏡は、所定のズーム及び焦点距離に設定され得る。さらに、立体視デジタル手術顕微鏡は、ナビゲートされた較正オブジェクトを視野内に維持しつつ、各姿勢においてカメラアイごとに画像を記録しながら、ナビゲートされた較正オブジェクトに対するＮ個の姿勢を通して動かされ得る。
【0152】
立体視デジタル手術顕微鏡における視差は、所定のオンスクリーンの点又は領域について、オンスクリーンの点におけるシーンの所定の点、領域又は特徴に関する左右のカメラアイ間の間隔のピクセルの数として定義され得る。例えば、画面の中心が、視差が測定される点として選択され得、左のカメラアイのオンスクリーン中心は、不規則な形状の三角形の左下隅などのシーンの特徴を見ている可能性がある。
【0153】
同一の特徴が、右のカメラアイのオンスクリーン中心から５ピクセルだけ右に現れていると（例えばユーザ入力を介して、又は、OpenCV cv::matchTemplate()などのコンピュータビジョンパターンマッチングを介して自動的に）決定され得る。この場合の視差は、「＋５ピクセル」であり得る。画面の中心軸に関する何れの方向が正負の符号であるかの決定は、任意であってよく、予め決められていてもよい。
【0154】
立体視デジタル手術顕微鏡は、ズーム及び作動距離の動作範囲全体にわたって、カメラアイごとの画面の中心における視差が、システムが「概ね良好な焦点」にあるときに、ゼロピクセル又はその近くになるように、較正され得る。いくつかの実施形態では、画面上の他の点を使用し得、及び／又は、視差の他の値を使用し得る。
【0155】
較正に使用されるＮポーズでの画像の取得中、ナビゲートされた較正オブジェクトのビューは、任意に、視差が最小化されるなど、「焦点内」メトリックが最適化されるまで、ロボット動作を介して、概ね良好な焦点に維持され得る。ロボット動作は、フィードバックループを介して制御され得る。フィードバックループは、測定されたパラメータ視差を継続的に監視し得、立体視デジタル手術顕微鏡が、顕微鏡の推定された光軸に沿って、ナビゲートされた較正対象物に対して近づくか、又は、遠ざかり、それによって測定された視差を調整するようにロボットアームを駆動するために測定値を使用し得る。
【0156】
ナビゲーションカメラ２００（「ローカライザ」とも呼ばれる）は、その視界内のナビゲートされたターゲット（「器具」とも呼ばれる）を継続的に撮像し得る。ナビゲーション処理部６８０が、続いて、そのような各器具の何れかの基準フレームにおける姿勢を計算し得、当該器具姿勢情報を組み込み処理ユニットに報告し得る。使用される基準フレームは、「ローカライザ基準フレーム」と呼ばれ得、一般的に、立体視ローカライザカメラが使用される場合にカメラの２つのアイを結ぶ線の中点などの、ローカライザカメラ上の便利で賢明な何れかの場所で姿勢をとり得る。例えば、基準フレームの１つの軸は、当該線と位置合わせされ得、他の軸は、ローカライザカメラの前面から外側に直交して指し、第３の軸は、右手直交座標系を満たすように配向され得る。
【0157】
較正スナップショット画像が記録されるロボットの（従って立体視デジタル手術顕微鏡の）各姿勢において、ナビゲートされた較正オブジェクトと、デジタル手術顕微鏡上のナビゲートされたターゲット（複数可）との、それぞれの器具姿勢情報も記録され、後で使用するために較正スナップショット画像に索引付けされ得る。
【0158】
これらの姿勢は、同次変換行列として表され得、１つの基準フレームを他の基準フレームに変換可能であり得る。このような行列の名称は、複数の行列の「連鎖」を可能にするように選択され得、連続する行列の乗算の最終結果は、左端に挙げられた基準フレームへの右端に挙げられた基準フレームの変換をもたらし得、内側の名称は、一致する必要があり得る。この名称及び表現は、例えば計算が正しいことを確実にするために、一目で迅速に確認することを可能にする。
【0159】
空間「B」から空間「A」への変換は、A_T_Bと「逆」に記述され得、「空間Bから空間Aへの変換は、A_T_B：BからA」と発音され得る。
【0160】
この名称は、空間名の「内側」の対を並べることによって、容易に変換の「連鎖」をすることを可能にし得る。最終的な変換は、空間名の「外側」の対であり得る。
【0161】
【数1】
【0162】
行列A_T_Bの逆行列は、B_T_Aと記述され得る。例えば：
calPattern_T_calRefFrame = calRefFrame_T_calPattern.inverse() (1.1)
calPattern_T_calRefFrame = calRefFrame_T_calPattern.inverse() (1.1)
【0163】
カメラ較正において、カメラは、基準フレームを有するピンホールとしてモデル化され得、その原点は、ピンホールであり得る。カメラは、シーンが、ピンホールの一方の側に現れ、センサが、ピンホールの他方の側に現れるように配置され得る。数学的な簡略化のため、センサは、概念的にシーンと同じ側に移動させられ得る。ピンホールは、「アイポイント」、「カメラアイ」、又は「投影中心」と様々に呼ばれる。
【0164】
ローカライザ基準フレームにおけるナビゲートされた較正オブジェクトの姿勢は、以下のように表記され得る：localizer_T_calTarget (2.1)
【0165】
複数のターゲットが（例えば、可能なカメラ姿勢の範囲にわたって視認性を改善するために）デジタル手術顕微鏡上で使用される場合、デジタル手術顕微鏡上の複数のナビゲートされたターゲットの姿勢は、単一のナビゲートされたターゲットが使用される場合と同じ方法で報告され得る。例えば、ローカライザ基準フレームにおける単一の代表的な姿勢は、以下のように報告され得る：localizer_T_camTarget (2.2)
【0166】
この報告は、必ずしも表記の便宜だけではない可能性がある。複数のナビゲートされたターゲットがデジタル手術顕微鏡上で使用される場合、１つのターゲットが主要ターゲットとして選択され得、他のターゲットの位置は、その主要ターゲットに対して決定され得る。従って、ナビゲーション処理部は、器具姿勢情報ストリームにおいて、単一のそのような器具姿勢を計算し、報告し得る。
【0167】
カメラ較正処理で使用される各スナップショットは、較正オブジェクトの何れかの予め定められた基準フレームに対するカメラアイの姿勢を提供し得、これは、一般的に、較正オブジェクトにおいて使用される、何らかの較正パターンの一部である。従って、カメラアイの姿勢（すなわち外部パラメータ）は、その較正パターンに対して決定され得、以下のように表記され得る： calPattern_T_camEye (2.3)
ここで、「camEye」は、投影中心と、デュアルカメラ立体視デジタル手術顕微鏡の所定の単一のカメラの光学系システム全体の理想化されたピンホールカメラモデルの座標系と、の基準フレームの位置及び方向（すなわち「姿勢」）を示す。
ここで、「camEye」は、投影中心と、デュアルカメラ立体視デジタル手術顕微鏡の所定の単一のカメラの光学系システム全体の理想化されたピンホールカメラモデルの座標系と、の基準フレームの位置及び方向（すなわち「姿勢」）を示す。
【0168】
簡単のために、較正オブジェクト基準フレームは、較正オブジェクトに取り付けられた、ナビゲートされたターゲットの基準フレームと一致するように取られ得る。較正オブジェクトに取り付けられた、ナビゲートされたターゲット（の基準フレーム）に対する較正パターンの姿勢は、従って、以下のように表記され得る：
calTarget_T_calPattern (2.4)
calTarget_T_calPattern (2.4)
【0169】
いくつかの実施形態において、これは、１３３０のように、較正パターンの基準フレームを、較正オブジェクト上に取り付けられたナビゲーションターゲットの基準フレームに一致させることによって、恒等とされる。
【0170】
較正パターンに対する、関連する各カメラアイの姿勢を有する、所定の単一の較正画像について、デジタル手術顕微鏡上の単一の代表的なナビゲートされたターゲットに対する所定のカメラアイの姿勢は、上述したように計算され得る（例えば逆記法、行列「連鎖」法など）：
式３：camTarget_T_camEye = camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calPattern * calPattern_T_camEye
式３：camTarget_T_camEye = camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calPattern * calPattern_T_camEye
【0171】
このような較正画像と、関連する各カメラアイの姿勢とが、Ｎ個存在し得るため、計算されたcamTarget＿T＿camEyeはＮ回発生し得る。測定ノイズ及びシステムエラーの影響を低減するために、camTarget_T_camEyeのＮ回の発生を平均して、カメラアイごとに最終的なcamTarget_T_camEyeを求め得る。
【0172】
いくつかの実施形態において、calTarget＿T＿calPatternは、設計によって恒等行列にされ、式を単純化し得る。
【0173】
Tx、Ty、Tzの並進は、それぞれ線形に平均される。
【0174】
回転Rx、Ry、Rzの平均化は、例えば、角度集合を四元数に変換し、何れも両極ではないことを確認し、例えばMarkely型の方法を用いて解くことによって行われ得る。
【0175】
上記のステップが完了した後、システム較正が完了したと見なし得る。
【0176】
一般的にはオフラインな処理において、患者がボリュメトリックにスキャンされ、その結果、ある基準フレーム（例えばスキャニングデバイスの基準フレーム）における、関連する患者の解剖学的構造の３次元サンプリングがもたらされ得る。
【0177】
患者クランプに取り付けられた、ナビゲートされたターゲットは、「患者基準ターゲット」とも呼ばれ得る。患者基準ターゲットは、システムのランタイム使用中、較正オブジェクトに取り付けられた、ナビゲートされたターゲットが較正処理中に果たした役割と同様の役割を果たす。
【0178】
患者位置登録処理が実行され得、その結果、患者基準ターゲットに対する、関連する患者の解剖学的構造の姿勢の情報がもたらされ、以下のように表記される：
patientTarget_T_patientData (2.5)
patientTarget_T_patientData (2.5)
【0179】
患者データにおいてカメラアイがどこを見ているかを求めること
上述した情報の組み合わせは、立体視デジタル手術顕微鏡の各カメラアイが、システムのランタイム使用中、患者データにおいて、それぞれどこを見ているかを決定するために使用され得る。最新のコンピュータグラフィックスシステムでは、この構成の逆関数が計算され得る。従って、立体視デジタル手術顕微鏡の各カメラアイにおける患者データの姿勢は、以下のように決定される：
式４：camEye_T_patientData = camEye_T_camTarget * camTarget_T_localizer * localizer_T_patientTarget * patientTarget_T_patientData
上述した情報の組み合わせは、立体視デジタル手術顕微鏡の各カメラアイが、システムのランタイム使用中、患者データにおいて、それぞれどこを見ているかを決定するために使用され得る。最新のコンピュータグラフィックスシステムでは、この構成の逆関数が計算され得る。従って、立体視デジタル手術顕微鏡の各カメラアイにおける患者データの姿勢は、以下のように決定される：
式４：camEye_T_patientData = camEye_T_camTarget * camTarget_T_localizer * localizer_T_patientTarget * patientTarget_T_patientData
【0180】
上述した式は、コンピュータグラフィックスレンダリング部の設定の「モデルビュー」部分であり得、この式は、モデル（例えば患者データ）がどのように見られるかを記述する。
【0181】
コンピュータグラフィックスシステムの射影行列は、シーン内の点がどのようにディスプレイ画面に射影されるかを記述するために使用され得る。カメラ較正処理は、シーン内の点がカメラのイメージセンサにどのように射影されるかを決定することと同様であり得る。カメラ較正から得られるカメラのイントリンシックは、射影行列を作成する際に直接使用され得る。
【0182】
いくつかのコンピュータグラフィックスシステム（例えばOpenGL）において、最終的な射影処理は、中間空間（例えば正規化デバイス座標空間）へのマッピングも含み得る。これは、上述した射影行列を取り、他の行列を予め乗算することによって達成され得る。この結果も射影行列と呼ばれ得、次に説明するように、視野を直接操作する機会を提供し得る。簡単のために、この結果を、結合射影行列と呼び得る。
【0183】
イメージセンサの幅と高さの比率に関連して、「焦点距離」として知られているカメラの内部パラメータが、カメラの画角を記述し得、射影行列において直接使用され得る。
【0184】
任意の明示的視野較正は、これを改善し、いくつかの実施形態において使用され得る。任意の明示的視野較正は、本明細書で説明されるように、追加の焦点距離較正を必要とし得る。
【0185】
目盛りを有する定規などの較正された測定器具が、その画像が、画面の関連する寸法（例えば画面の水平幅）と位置合わせされ、従って測定し得るように、シーン内に配置され得る。
【0186】
カメラは、あるズーム及び作動距離の設定に設定され得る。カメラヘッドを機械的に動かすことによって、定規に焦点を合わせ得る。画面幅（例えば焦点面における水平視野）は、定規から直接読み取られ得る。
【0187】
この処理は、複数の光学的設定（例えば合計３６回の測定の各範囲にそれぞれまたがる、６つのズーム及び６つの作動距離）にわたって繰り返され得る。この結果は、本明細書に記載されているようなパラメータ化処理における各曲線にフィットされ得、これにより、ズーム及び作動距離の範囲全体にわたる（この例では）水平視野の正確な測定値を提供する。
【0188】
この処理の自動化を補助するために、パターンが測定器具として使用され得る。このパターンは、コンピュータビジョン処理によって検出及び測定され得る。例えば、平板が、ほぼ対称なチェッカーボード画像によって装飾され得る。チェッカーボード画像の各特徴の寸法は、設計、及び／又は、測定によって知り得る。いくつかの非対称性又は他の特徴が、板の中心が名目的にカメラ視野内に保持されるように、ロボット制御に加えてコンピュータビジョン処理を補助するために追加され得る。
【0189】
異なるサイズを有する、複数のパターンが、広いズーム範囲にわたって正確な較正を提供するために、任意に使用され得る。
【0190】
従来のカメラ較正も、光学的パラメータ設定であって、当該光学的パラメータ設定において較正処理が実行された光学的パラメータ設定におけるシステムの光学的歪みの測定値を提供することができる。歪み係数の組が求められ得、いくつかの実施形態において、そのような光学的歪みを補正するために使用され得る。いくつかの実施形態において、そのような歪み補正は、視野較正法を改善するために使用され得る。さらに、いくつかの実施形態では、そのような歪み補正が、オーバーレイの精度（例えばライブビューとどの程度一致するか）を改善するために使用され得る。
【0191】
コンピュータグラフィックスレンダリング部の射影行列についての視野決定を改善するために明示的視野較正処理が使用され得る実施形態では、立体視デジタル手術顕微鏡の各カメラアイの焦点面までの距離を計算することが要求され得る。カメラアイごとのこの距離の決定は、図７Ｃに関連して、本明細書において議論されるであろう。
【0192】
図６は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な画角を示す図である。焦点距離により、画角が計算され得る。この角度は、射影行列中の項を計算するために必要とされ得、図６に示すように、三角法によって求められ得る。
【0193】
例えば、半角２６００が、カメラの投影中心（カメラ「アイポイント」とも呼ばれる）２６２０から焦点面２６３０までの、光軸２６４０に沿った焦点距離２６１０を測定することによって求められ得る。追加の視野較正が、焦点面における視野（例えば水平方向の幅）の測定値を提供することができる。そのような距離の半分が、マーカ２６５０として示されている。半角２６００の正接は、距離２６５０を距離２６４０で除算したものである。次に、逆正接関数が、「半視野角」を計算するために使用され得る。半視野角は、結合射影行列の特定の行列要素を次のように直接計算するために、以下のように使用され得る：
行列要素 (0,0) = 1.0 / tan(halfHorizontalFieldOfViewAngle)、及び
行列要素（1,1）＝1.0／tan（halfVerticalFieldOfViewAngle）、
ここで、水平画角と垂直画角が、センサの（又は、同等に、カメラ較正で使用される画像の）幅と高さの比率によって関連付けられていることに留意されたい。
行列要素 (0,0) = 1.0 / tan(halfHorizontalFieldOfViewAngle)、及び
行列要素（1,1）＝1.0／tan（halfVerticalFieldOfViewAngle）、
ここで、水平画角と垂直画角が、センサの（又は、同等に、カメラ較正で使用される画像の）幅と高さの比率によって関連付けられていることに留意されたい。
【0194】
上述したcamEye＿T＿patientDataは、先に決定されたカメラ内部情報を使用する射影行列と組み合わせて、デジタル手術顕微鏡の視野及び焦点深度内にある、実際の患者の、関連する患者の解剖学的構造の任意の部分の（一般的にはボリュメトリックな）患者データからの複製表現の忠実なレンダリングを提供する。さらに、このレンダリングは、デジタル手術顕微鏡のアイそれぞれにおいて有効であり、それによって、そのような表現の立体視レンダリングが可能になる。
【0195】
このレンダリングは、立体視デジタル手術顕微鏡上のライブ患者ビューに、それぞれの、ある許容範囲内において正しい位置、方向、及びスケールで、位置合わせされ得る。さらに、レンダリング部の３次元における視点も、ある許容誤差内においてライブビューに一致する。
【0196】
これらの特徴は、適切なユーザインタフェース制御とともに、ユーザが、切開を行うことなく、患者の「内部を見る」ことを可能にする。これらの特徴は、同様に、ユーザが、例えば切開を行い、病理に対する手術アプローチを、当該病理に対する治療を提供する過程において実行している場合に、現在いる場所の「前方を見る」ことを可能にする。
【0197】
さらに、これらの特徴は、これらの各機能それぞれがユーザによって立体視されることを可能にし、これは、空間認識を大幅に向上させ得、より直感的である。
【0198】
さらに、これらの特徴は、ライブ手術部位ビューと同じディスプレイ上で（一般的にはボリュメトリックな）患者データを使用することを可能にし、それにより、ナビゲーションデバイスと手術可視化デバイスとの間で移行する際に、複雑な３次元ビューを記憶しなければならない、という認知負荷を低減する。上述した統合手術ナビゲーション及び可視化システムには、両方のデバイスが組み込まれており、それらをより大きな全体に統合している。
【0199】
ＩＸ． デジタル手術顕微鏡のカメラ基準フレームを求める
カメラ較正の間、デジタル手術顕微鏡カメラ基準フレームは、その原点がピンホールカメラモデルの「ピンホール」に位置するように定義され得る。この位置は、カメラの「投影中心」とも呼ばれ得る。ナビゲーションデバイスの基準フレームに対するデジタル手術顕微鏡カメラ（複数可）の光学中心（複数可）の基準フレームの姿勢を知ることは、手術ナビゲーションの主目的である、患者データに対するデジタル手術顕微鏡の姿勢を解くことができる点で重要であり得る。
カメラ較正の間、デジタル手術顕微鏡カメラ基準フレームは、その原点がピンホールカメラモデルの「ピンホール」に位置するように定義され得る。この位置は、カメラの「投影中心」とも呼ばれ得る。ナビゲーションデバイスの基準フレームに対するデジタル手術顕微鏡カメラ（複数可）の光学中心（複数可）の基準フレームの姿勢を知ることは、手術ナビゲーションの主目的である、患者データに対するデジタル手術顕微鏡の姿勢を解くことができる点で重要であり得る。
【0200】
そのような姿勢が相当の精度で知られており、カメラの光学的パラメータが十分に良好にモデル化されている場合、本明細書に記載されている、最も高いレベルの手術ナビゲーションが提供され得る。本明細書に記載されたシステム及び方法は、その最も高いレベルの手術ナビゲーションを開示する。
【0201】
ナビゲーションによって提供される非常に重要な機能のうち１つは、「ここはどこか、どこへ行くのか、近くに何があるのか？」という質問に答えることである。これは、患者データに対するデジタル手術顕微鏡カメラ（複数可）の姿勢を決定する（カメラの固有パラメータも知りながら）ことと同等であり得る。本セクションは、カメラと患者データとの間の外在的関係、すなわち、両者の間の姿勢を決定することに焦点を合わせる。
【0202】
ＤＳＭ（デジタル手術顕微鏡）カメラ（複数可）と患者データとの間の姿勢を計算するために必要とされる計算は、４×４同次変換行列を使用して、所定の基準フレームの対の間の相対姿勢を、システム全体について、そのような基準フレームの連鎖を通じて計算する。本明細書において、「変換」、「変換行列」、「４×４同次変換行列」、「行列」、「姿勢」、及び「相対位置及び方向」という用語は、互換的に使用される。
【0203】
このような４×４同次変換行列について、ここで使用される用語は、以下のとおりである：基準フレームA内の点を取り、それらを基準フレームBに変換する４×４同次変換行列は、B_T_Aと記述され、「AからB」と発音されるように「逆」に読まれる。
【0204】
例えば、行列dsmCam＿T＿patientDataは、「患者データからＤＳＭカメラ」と「逆」に読まれ（略語が完全に発音される場合）、従って、患者データ空間内の点は、ＤＳＭカメラ空間内の同一の点の位置を与えるために、この行列を予め乗算され得る：
P｜DSM = dsmCam_T_patientData * P｜PATIENT DATA
P｜DSM = dsmCam_T_patientData * P｜PATIENT DATA
【0205】
基準フレームAから基準フレームBへの４×４同次変換行列は、基準フレームBから基準フレームAへの変換の逆行列であり、その逆も同様であることにも留意されたい。従って：
dsmCam_T_patientData = patientData_T_dsmCam.inverse() 及び
patientData_T_dsmCam = dsmCam_T_patientData.inverse()
dsmCam_T_patientData = patientData_T_dsmCam.inverse() 及び
patientData_T_dsmCam = dsmCam_T_patientData.inverse()
【0206】
１つの基準フレームから他の基準フレームに変換するためには、２つの物理的位置の間に複数の異なるルートが存在するのと同様に、中間基準フレームを通じて変換することが可能である。これは、例えば、以下のように記述される：
dsmCam_T_navCam = dsmCam_T_navTarget * navTarget_T_navCam
これは、「navCam基準フレームからdsmCam基準フレームへの変換（式の左辺）は、navTarget基準フレームからdsmCam基準フレームへの変換が予め乗算された、navCam基準フレームからnavTarget基準フレームへの変換に、に等しい」ことを示している。
dsmCam_T_navCam = dsmCam_T_navTarget * navTarget_T_navCam
これは、「navCam基準フレームからdsmCam基準フレームへの変換（式の左辺）は、navTarget基準フレームからdsmCam基準フレームへの変換が予め乗算された、navCam基準フレームからnavTarget基準フレームへの変換に、に等しい」ことを示している。
【0207】
内側の名称（navTarget）が式の右辺で一致し、最も外側の名称（dsmCam及びnavCam）が、右辺に現れる順番で、左辺の最終結果になっていることに留意されたい。これが重要であり、変換名を「逆」に記述するのは、このためである。
【0208】
これらを、このような方法で記述することにより、式を読み書きすることや、それが必要なものであることを知ることが非常に容易になる。この連鎖は、内側の名称が一致する限り、以下のように無限に拡張することができる：
F_T_A = F_T_E * E_T_D * D_T_C * C_T_B * B_T_A
F_T_A = F_T_E * E_T_D * D_T_C * C_T_B * B_T_A
【0209】
ａ． オンヘッドナビゲーションカメラの計算
デジタル手術顕微鏡カメラ（複数可）と患者データとの間の相対姿勢を決定するために、オンヘッドナビゲーションカメラ法は、以下の工程を含み得る：
（１）デジタル手術顕微鏡カメラ（複数可）とナビゲーションカメラとの間の相対姿勢を（任意にオフラインで）決定する工程。これは、ここでは、「カメラ位置合わせ」と呼ばれる。デジタル手術顕微鏡カメラとナビゲーションカメラとの間の相対姿勢の例示的な模式的モデル及び計算を、図７Ａに示す。
（２）患者データとナビゲーションターゲットとの間の相対姿勢を周術期に決定する工程。これは、本明細書において、簡単のために、「患者位置登録」と呼ばれ得る。
（３）患者に（一般的には、骨構造を介して、直接的に、又は、間接的に）剛性的に固定された、シーン内のナビゲーションターゲットとの間の相対姿勢をランタイム時に決定する工程。患者上のシーン内のナビゲーションターゲットとの間の相対姿勢の例示的な模式的モデル及び計算を、図７Ｂに示す。
デジタル手術顕微鏡カメラ（複数可）と患者データとの間の相対姿勢を決定するために、オンヘッドナビゲーションカメラ法は、以下の工程を含み得る：
（１）デジタル手術顕微鏡カメラ（複数可）とナビゲーションカメラとの間の相対姿勢を（任意にオフラインで）決定する工程。これは、ここでは、「カメラ位置合わせ」と呼ばれる。デジタル手術顕微鏡カメラとナビゲーションカメラとの間の相対姿勢の例示的な模式的モデル及び計算を、図７Ａに示す。
（２）患者データとナビゲーションターゲットとの間の相対姿勢を周術期に決定する工程。これは、本明細書において、簡単のために、「患者位置登録」と呼ばれ得る。
（３）患者に（一般的には、骨構造を介して、直接的に、又は、間接的に）剛性的に固定された、シーン内のナビゲーションターゲットとの間の相対姿勢をランタイム時に決定する工程。患者上のシーン内のナビゲーションターゲットとの間の相対姿勢の例示的な模式的モデル及び計算を、図７Ｂに示す。
【0210】
図７Ａに示すように、デジタル手術顕微鏡カメラとナビゲーションカメラとの間の相対姿勢の計算は、「ナビゲーションカメラ＜－＞ＤＳＭカメラ変換計算（オフライン）」と表示されているオフラインステップ７００Ａを含み得る。ステップ７００Ａは、カメラ位置合わせステップであり、デジタル手術顕微鏡カメラ（複数可）とナビゲーションカメラとの間の相対姿勢を決定する。「ナビゲーションカメラ＜－＞ＤＳＭカメラ変換計算（オフライン）」のステップ７００Ａは、以下のように計算され得る：
dsmCam_T_navCam = dsmCam_T_navTarget * navTarget_T_navCam,
ここで、dsmCam_T_navCamは、ナビゲーションカメラの基準フレームに対するデジタル手術顕微鏡カメラ（複数可）の基準フレームの位置を記述するカメラ位置合わせ結果であり；dsmCam_T_navTargetは、ナビゲーションターゲットに対するデジタル手術顕微鏡カメラ（複数可）の姿勢であり、カメラ位置合わせの間に、カメラ較正、及び／又は、写真測量を介して決定され；navTarget_T_navCamは、ナビゲーションカメラから見たナビゲーションターゲットの姿勢であり、OpenCV::findChessboardCornersなどのアルゴリズムを使用し、OpenCV::solvePnPと連携して、全てのフレーム（又は、使用可能な計算能力に応じて、フレームのサブセット）においてナビゲーションターゲットの重要な特徴を求め、これらの画像位置を取得して、ナビゲーションカメラ較正情報と共に、ナビゲーションターゲットの姿勢情報を決定することにより、フレームごとに解かれる。
dsmCam_T_navCam = dsmCam_T_navTarget * navTarget_T_navCam,
ここで、dsmCam_T_navCamは、ナビゲーションカメラの基準フレームに対するデジタル手術顕微鏡カメラ（複数可）の基準フレームの位置を記述するカメラ位置合わせ結果であり；dsmCam_T_navTargetは、ナビゲーションターゲットに対するデジタル手術顕微鏡カメラ（複数可）の姿勢であり、カメラ位置合わせの間に、カメラ較正、及び／又は、写真測量を介して決定され；navTarget_T_navCamは、ナビゲーションカメラから見たナビゲーションターゲットの姿勢であり、OpenCV::findChessboardCornersなどのアルゴリズムを使用し、OpenCV::solvePnPと連携して、全てのフレーム（又は、使用可能な計算能力に応じて、フレームのサブセット）においてナビゲーションターゲットの重要な特徴を求め、これらの画像位置を取得して、ナビゲーションカメラ較正情報と共に、ナビゲーションターゲットの姿勢情報を決定することにより、フレームごとに解かれる。
【0211】
図７Ｂに示すように、患者上のシーン内のナビゲーションターゲットとの間の相対姿勢の計算は、「患者データ＜－＞ＤＳＭカメラ変換計算（ランタイム）」と表示されているステップ７００Ｂを含み得る。ステップ７００Ｂは、デジタル手術顕微鏡カメラ（複数可）と患者データとの間の相対姿勢の計算を指し、実際の患者に対するデジタル手術顕微鏡カメラ（複数可）の方向及び位置と同一の方向及び位置から患者データの表現をレンダリングするために必要な、最終的な単一の行列結果であり得る。これは、手術用拡張現実を可能にする。
【0212】
立体視デジタル手術顕微鏡カメラの場合、カメラアイの分離を考慮して、さらなる微細な変換が求められ、式中で使用される。患者データの他の領域（例えば現在見ているものよりも深いスライス）を任意にレンダリングするために、Ｚ軸に沿った並進などの追加の単純な変換が求められ、式中で使用される。
【0213】
従って、ステップ７００Ｂの「患者データ＜－＞ＤＳＭカメラ変換計算（ランタイム）」は、以下の変換を介して実行され得る：
dsmCam_T_patientData =
dsmCam_T_navCam * navCam_T_navTarget * navTarget_T_patientData
ここで、dsmCam＿T＿patientDataは、上述したように、患者データをレンダリングするために必要な、最終的な単一の行列であり；dsmCam＿T＿navCamは、「ナビゲーションカメラからＤＳＭカメラ」変換であり、本明細書の他の箇所で説明したカメラ位置合わせステップを介して求められ；navCam＿T＿navTargetは、本明細書の他の箇所で説明したように、ナビゲーションカメラから見たナビゲーションターゲットの姿勢であり；navTarget＿T＿patientDataは、ナビゲーションターゲットに対する患者の解剖学的構造の姿勢を記述する変換出力であり、本明細書の他の箇所で説明した患者位置登録ステップ中に決定される。
dsmCam_T_patientData =
dsmCam_T_navCam * navCam_T_navTarget * navTarget_T_patientData
ここで、dsmCam＿T＿patientDataは、上述したように、患者データをレンダリングするために必要な、最終的な単一の行列であり；dsmCam＿T＿navCamは、「ナビゲーションカメラからＤＳＭカメラ」変換であり、本明細書の他の箇所で説明したカメラ位置合わせステップを介して求められ；navCam＿T＿navTargetは、本明細書の他の箇所で説明したように、ナビゲーションカメラから見たナビゲーションターゲットの姿勢であり；navTarget＿T＿patientDataは、ナビゲーションターゲットに対する患者の解剖学的構造の姿勢を記述する変換出力であり、本明細書の他の箇所で説明した患者位置登録ステップ中に決定される。
【0214】
ｂ． 従来のナビゲーションカメラの計算
本明細書で開示されたシステム及び方法においてデジタル手術顕微鏡カメラ（複数可）の姿勢を計算するために必要とされる方法は、少なくとも、本明細書で開示された、改善された方法が、より少ない項を使用するため、従来のリアルタイムアプリケーションで使用される従来の数学的方法に対する改善である。項が増えるほど、不正確性が増す。本開示で開示された方法では、右辺に３つの項しかない。従来の計算は、右辺に４つの項を有する：
dsmCam_T_patientData =
dsmCam_T_dsmTarget * dsmTarget_T_localizer * localizer_T_patientRefFrm * patientRefFrm_T_patientData
ここで、dsmCam＿T＿patientDataは、上述したように、患者データをレンダリングするために必要な最終的な単一の行列であり；dsmCam＿T＿dsmTargetは、デジタル手術顕微鏡ヘッド上に取り付けられたＩＲターゲットからデジタル手術顕微鏡カメラ（複数可）への変換であり、本開示の他の箇所で説明したように、ナビゲーション較正プレート及び処理を使用して求められ；dsmTarget＿T＿localizerは、ナビゲーションローカライザカメラ空間内の、顕微鏡ヘッド上のＩＲターゲットの姿勢である、localizer＿T＿dsmTargetの逆であり；localizer＿T＿patientRefFrmは、ナビゲーションローカライザカメラ空間内の（例えばクランプに取り付けられた）患者基準フレームＩＲターゲットの姿勢であり；patientRefFrm＿T＿patientDataは、患者の解剖学的構造を定位置に保持するクランプ（又は同等品）に取り付けられたナビゲーションターゲットに対する患者の解剖学的構造の姿勢を記述する変換出力であり、本開示の他の箇所で説明した患者位置登録ステップ中に決定される。
本明細書で開示されたシステム及び方法においてデジタル手術顕微鏡カメラ（複数可）の姿勢を計算するために必要とされる方法は、少なくとも、本明細書で開示された、改善された方法が、より少ない項を使用するため、従来のリアルタイムアプリケーションで使用される従来の数学的方法に対する改善である。項が増えるほど、不正確性が増す。本開示で開示された方法では、右辺に３つの項しかない。従来の計算は、右辺に４つの項を有する：
dsmCam_T_patientData =
dsmCam_T_dsmTarget * dsmTarget_T_localizer * localizer_T_patientRefFrm * patientRefFrm_T_patientData
ここで、dsmCam＿T＿patientDataは、上述したように、患者データをレンダリングするために必要な最終的な単一の行列であり；dsmCam＿T＿dsmTargetは、デジタル手術顕微鏡ヘッド上に取り付けられたＩＲターゲットからデジタル手術顕微鏡カメラ（複数可）への変換であり、本開示の他の箇所で説明したように、ナビゲーション較正プレート及び処理を使用して求められ；dsmTarget＿T＿localizerは、ナビゲーションローカライザカメラ空間内の、顕微鏡ヘッド上のＩＲターゲットの姿勢である、localizer＿T＿dsmTargetの逆であり；localizer＿T＿patientRefFrmは、ナビゲーションローカライザカメラ空間内の（例えばクランプに取り付けられた）患者基準フレームＩＲターゲットの姿勢であり；patientRefFrm＿T＿patientDataは、患者の解剖学的構造を定位置に保持するクランプ（又は同等品）に取り付けられたナビゲーションターゲットに対する患者の解剖学的構造の姿勢を記述する変換出力であり、本開示の他の箇所で説明した患者位置登録ステップ中に決定される。
【0215】
Ｘ． 精度の向上
ａ. システム内のデバイスの数を削減することにより精度を向上させる
ナビゲーションデバイスは、顕微鏡ヘッドに統合され得、これにより、ヘッドと共に剛性的に動かされ得る。従って、ヘッドの動きを決定するためにターゲットが必要ない可能性がある。これは、ナビゲーション計算パスにおけるデバイスの数を削減し得、それにより、それらの余分なデバイスにより導入される不正確性を除去することによって精度を向上させる。
ａ. システム内のデバイスの数を削減することにより精度を向上させる
ナビゲーションデバイスは、顕微鏡ヘッドに統合され得、これにより、ヘッドと共に剛性的に動かされ得る。従って、ヘッドの動きを決定するためにターゲットが必要ない可能性がある。これは、ナビゲーション計算パスにおけるデバイスの数を削減し得、それにより、それらの余分なデバイスにより導入される不正確性を除去することによって精度を向上させる。
【0216】
例えば、例示的な従来の手術ナビゲーションシステムを示す図１Ａは、３つのデバイスに基づいている：赤外光ターゲット（「角」）を有する光学顕微鏡、遠隔ローカライザ、及び患者基準フレーム（３つのデバイス）。これに対し、自動ナビゲート統合手術ナビゲーション及び可視化システムを示す図１Ｂは、ナビゲーションデバイスで拡張されたデジタル手術顕微鏡と患者基準フレームという２つのデバイスのみを備える。
【0217】
患者データに対するデジタル手術顕微鏡カメラ（複数可）のリアルタイムの姿勢を計算するために必要とされる計算は、従来のソリューションアプリケーションと比較して精度が向上する理由を示している：行列の乗算に含まれる項が１つ少なくなっている。これは、その項が記述する物理的又は仮想的なメカニズムによってもたらされる不正確性が除去されたことを意味する。これは、不正確性を低減させ、つまり、これは精度を向上させ、或いは、これは、精度を向上させる。
【0218】
ｂ． 較正から手順までの時間を大幅に短縮することで精度を向上させる
さらに、ナビゲーションカメラを較正し、デジタル手術顕微鏡カメラ（複数可）を較正し、dsmCam＿T＿navCamを計算するための、本開示で議論された方法は、手術の際に実行され得、それにより、従来のナビゲーションデバイスの最新の実行中較正から手術の前までに経過した時間において入り込み得る不正確性が除去される。
さらに、ナビゲーションカメラを較正し、デジタル手術顕微鏡カメラ（複数可）を較正し、dsmCam＿T＿navCamを計算するための、本開示で議論された方法は、手術の際に実行され得、それにより、従来のナビゲーションデバイスの最新の実行中較正から手術の前までに経過した時間において入り込み得る不正確性が除去される。
【0219】
但し、自動ナビゲート統合手術ナビゲーション及び可視化システムは、このような較正及び計算を、所望により、手術の際ではなく、実行中においても可能にすることに留意されたい。これは、手術の際のシステムセットアップ中の計算時間を多少削減する。
【0220】
ｃ． 患者位置登録
位置合わせステップは、patientRefFrm_T_patientDataの計算を実行する。患者術前データが、取り入れられ、管理され、患者が、準備され、較正／ナビゲーションターゲットが装着され、サーフェスデータに対してスキャンされ、当該サーフェスデータは、続いて、術前データに対して整合される。
位置合わせステップは、patientRefFrm_T_patientDataの計算を実行する。患者術前データが、取り入れられ、管理され、患者が、準備され、較正／ナビゲーションターゲットが装着され、サーフェスデータに対してスキャンされ、当該サーフェスデータは、続いて、術前データに対して整合される。
【0221】
ｄ． 患者スキャンデータ
ｉ．データの取り入れ及び再構成
患者スキャン（複数可）からのデータは、システムに取り入れられ、３Ｄデータの場合は、データの３Ｄ（ボリュメトリック）レンダリングに加えて、２Ｄレンダリングにも便利なデータフォーマットに配置される。
ｉ．データの取り入れ及び再構成
患者スキャン（複数可）からのデータは、システムに取り入れられ、３Ｄデータの場合は、データの３Ｄ（ボリュメトリック）レンダリングに加えて、２Ｄレンダリングにも便利なデータフォーマットに配置される。
【0222】
ｉｉ． ３Ｄスキャンデータからのサーフェス抽出
患者の皮膚に概ね対応するサーフェスが、３Ｄスキャンデータから抽出される。このサーフェスは、ライブ患者データから抽出された類似のサーフェスと位置合わせするために使用される。
患者の皮膚に概ね対応するサーフェスが、３Ｄスキャンデータから抽出される。このサーフェスは、ライブ患者データから抽出された類似のサーフェスと位置合わせするために使用される。
【0223】
ｉｉｉ． 異なるモダリティの位置合わせ
ＣＴやＭＲＩなどの異なるモダリティが、患者スキャンデータを生成するために使用される。上述した位置合わせは、ライブ患者スキャンからのデータと、１つのモダリティスキャン（一般的にはＣＴ）からのデータと、を位置合わせする。追加のモダリティを使用するためには、そのモダリティもライブ患者データに位置合わせされる必要があり得る。この位置合わせステップは、他のモダリティを、ライブ患者データに直接、又は、既に位置合わせされたモダリティに位置合わせすることによって、位置合わせするモダリティ位置合わせモジュールの使用を任意に含む。
ＣＴやＭＲＩなどの異なるモダリティが、患者スキャンデータを生成するために使用される。上述した位置合わせは、ライブ患者スキャンからのデータと、１つのモダリティスキャン（一般的にはＣＴ）からのデータと、を位置合わせする。追加のモダリティを使用するためには、そのモダリティもライブ患者データに位置合わせされる必要があり得る。この位置合わせステップは、他のモダリティを、ライブ患者データに直接、又は、既に位置合わせされたモダリティに位置合わせすることによって、位置合わせするモダリティ位置合わせモジュールの使用を任意に含む。
【0224】
ｅ． 患者準備
（「定位置に固定する」と記載され得る）患者の位置決め及びクランピングは、一般的には患者が麻酔をかけられた後に、従来の手術ナビゲーションと同様に進行する。患者は、手術のために適切に位置決めされ、関連する解剖学的構造が、可能な限り定位置に固定される。次に、較正／ナビゲーションターゲット（複数可）が、患者の解剖学的構造に、一般的には骨性構造に、その構造に取り付けられたクランプを介して、（例えば、頭蓋手術の場合、患者の頭蓋骨を定位置に保持するMayfieldクランプなどのクランプに、又は、脊椎手術の場合、患者の脊椎に）取り付けられる。
（「定位置に固定する」と記載され得る）患者の位置決め及びクランピングは、一般的には患者が麻酔をかけられた後に、従来の手術ナビゲーションと同様に進行する。患者は、手術のために適切に位置決めされ、関連する解剖学的構造が、可能な限り定位置に固定される。次に、較正／ナビゲーションターゲット（複数可）が、患者の解剖学的構造に、一般的には骨性構造に、その構造に取り付けられたクランプを介して、（例えば、頭蓋手術の場合、患者の頭蓋骨を定位置に保持するMayfieldクランプなどのクランプに、又は、脊椎手術の場合、患者の脊椎に）取り付けられる。
【0225】
ｆ． ライブ患者データの周術期スキャン
患者準備の後、デジタル手術顕微鏡カメラ（複数可）及びナビゲーションカメラ（複数可）が使用され、患者位置登録及びナビゲーションを可能にするために、ライブ患者データが収集される。
患者準備の後、デジタル手術顕微鏡カメラ（複数可）及びナビゲーションカメラ（複数可）が使用され、患者位置登録及びナビゲーションを可能にするために、ライブ患者データが収集される。
【0226】
ｇ． 画像取得
実際の患者のサーフェスは、ロボットを患者の周りで多くの姿勢で動かして、各スナップショットについて患者の解剖学的構造の関連する部分をデジタル手術顕微鏡カメラ（複数可）の視野内に維持しながら、各姿勢でスナップショットを撮像することによって撮像される。患者の解剖学的構造を視野内に維持することは、以下の手段のうち１つ、又は、それらのうち一部若しくは全ての組み合わせを介して達成される：
●画像取得中に取得空間の周囲において周囲のオペレータがロボットを手動で「駆動」する。
●ソフトウェアを使用して、顕微鏡を、概ね、（患者の位置及び手術に適切な）患者に対して既知の開始構成において位置決めし方向付けるようにオペレータに指示し、その後、ロボットを、予め規定された経路を通って移動し、球状の範囲にわたって患者の非常に大きな割合を占める患者の関連する解剖学的構造を撮像するように、ソフトウェアを介して制御する。
●球の中心点を計算し、顕微鏡ヘッドを、顕微鏡の焦点を、ある許容誤差（例えば「ロック対ターゲット」の許容誤差）内で、球の中心と一致するように保ちながら、その球の周りで移動させる。
●ディープラーニングを使用して、患者の解剖学的特徴を、取得中に撮像されたた画像から抽出し、ロボットの位置及び方向を、十分なカバレッジを達成するために制御する。
実際の患者のサーフェスは、ロボットを患者の周りで多くの姿勢で動かして、各スナップショットについて患者の解剖学的構造の関連する部分をデジタル手術顕微鏡カメラ（複数可）の視野内に維持しながら、各姿勢でスナップショットを撮像することによって撮像される。患者の解剖学的構造を視野内に維持することは、以下の手段のうち１つ、又は、それらのうち一部若しくは全ての組み合わせを介して達成される：
●画像取得中に取得空間の周囲において周囲のオペレータがロボットを手動で「駆動」する。
●ソフトウェアを使用して、顕微鏡を、概ね、（患者の位置及び手術に適切な）患者に対して既知の開始構成において位置決めし方向付けるようにオペレータに指示し、その後、ロボットを、予め規定された経路を通って移動し、球状の範囲にわたって患者の非常に大きな割合を占める患者の関連する解剖学的構造を撮像するように、ソフトウェアを介して制御する。
●球の中心点を計算し、顕微鏡ヘッドを、顕微鏡の焦点を、ある許容誤差（例えば「ロック対ターゲット」の許容誤差）内で、球の中心と一致するように保ちながら、その球の周りで移動させる。
●ディープラーニングを使用して、患者の解剖学的特徴を、取得中に撮像されたた画像から抽出し、ロボットの位置及び方向を、十分なカバレッジを達成するために制御する。
【0227】
ｈ． 較正ターゲット（複数可）
１つ以上の較正ターゲットが、一般的には間接的に、例えばクランプ上に取り付けることによって、患者の解剖学的構造に剛性的に取り付けられる。この較正ターゲットは、少なくとも少数のスナップショットに現れる必要があり得る。較正ターゲットは、任意に、ナビゲーションターゲットとしても使用される。
１つ以上の較正ターゲットが、一般的には間接的に、例えばクランプ上に取り付けることによって、患者の解剖学的構造に剛性的に取り付けられる。この較正ターゲットは、少なくとも少数のスナップショットに現れる必要があり得る。較正ターゲットは、任意に、ナビゲーションターゲットとしても使用される。
【0228】
ｉ． 写真測量
患者位置登録画像取得中に撮像された画像は、以下の工程を実行する写真測量モジュールに送られ、当該写真測量モジュールは、一般的に、この順序又は同様の順序でこれらの工程を実行するが、いくつかのステップは、異なる順序で、又は、他のステップと並行して実行され得る：
●ＳＩＦＴなどの特徴記述メカニズムを使用した、各画像における特徴検出
●画像取得時に患者に対する顕微鏡ヘッドの「近い」姿勢から撮像された画像中の特徴を相関させる。これは、画像のピクセルの数に比べて比較的疎な点の集合である。
○代替的解決法は、較正された立体視デジタル手術顕微鏡カメラを使用して、はるかに密度の高いデータセットである、一致したステレオピクセル対ごとにサーフェスポイントを抽出することであり；これによって、ある姿勢で撮像されたステレオスナップショットごとに抽出されたサーフェスは、後に、他の姿勢で撮像されたステレオスナップショットから抽出されたサーフェスと共に、単一のより大きな全体にスティッチされる。
●取得における画像ごとのカメラ外部モデルに対するソルバーベースの解決法
●この時に任意で：全画像にわたって統一された、単一のカメラ内部モデルに対するソルバーベースの解決法
○これが良好に機能するための要件は、デジタル手術顕微鏡カメラ（複数可）を、画像取得全体を通じて、一定のズーム及び作動距離の設定に保つことである。
○このステップは、手術よりもある期間（数日、数週間、数ヶ月、数年でも）だけ前に、任意にオフラインで実行され得る。
●スケールと基準フレームの原点と方向の指定
○スケールは、既知の距離だけ互いに離れて配置された２つのAprilタグなどの、既知の寸法の、容易に検出される特徴を介して求められる。
○基準フレームの原点と方向は、較正ターゲット（複数可）を介して求められ；２本の直交する線に沿った、方向性のある特徴の組が、２つの軸を決定することを可能にし；第３の軸は、右手座標系において（左手座標系が代わりに使用され得る）、最初の２つの積を使用して決定される。
○患者基準フレームの原点と方向は、求められたばかりの基準フレームと一致するように指定される。
○較正ターゲットと異なるナビゲーションターゲットが使用される場合、両方に存在する十分な特徴が、２つの基準フレーム（較正及びナビゲーションターゲット）間の変換が写真測定の結果から計算され得るように、デジタル手術顕微鏡カメラ（複数可）又はナビゲーションカメラ（この時点においてナビゲーションカメラを再較正する場合）の何れかによって撮像されることが必要であり得る。
●特徴抽出ステップにより表現された比較的疎なデータセットに対して、患者の解剖学的構造の３Ｄモデルを生成する。これは、ライブ患者データに対するサーフェス抽出ステップである。
○立体視ピクセルマッチングアプローチが使用される場合、モデル生成は、大幅に精度が高い。
○スパースモデルの場合、モデルメッシュを「高密度化」する後続ステップが行われる。
●カメラ較正情報と患者の解剖学的構造の３Ｄモデルとを含むデータをメインアプリケーションへエクスポートする
●この手順は、追加のアイ分離値が任意に追加された立体視デジタル手術顕微鏡の左のアイと右のアイのそれぞれについて同様に進行する。
●この手順は、単一のズーム及び作動距離の設定において、例えば中距離ズーム設定において、実行される。ズーム及び作動距離のフルレンジにわたって機能するために、２つの方法のうち何れかが使用される：
○ズーム及び作動距離の空間を有限の値の組み合わせに分割し、可能な値の組み合わせごとに較正を行う「ブルートフォース」法。デジタル手術顕微鏡の光学系は、従って、これらの値でのみ動作するように制約される。
○単一のズーム（例えば中距離ズーム値）を選択し、作動距離の範囲にわたって作動距離のサンプリングに対して較正を繰り返す「計算及び補間」法。これらは、中間的な作動距離については補間される。ズーム値は、カメラの主点の周りで視野を変化させる（実質的に画像を拡大縮小する）ことによって組み込まれる。拡大縮小の量は、視野をズームモータカウントに対応付ける、分離した較正ステップによって決定される。
患者位置登録画像取得中に撮像された画像は、以下の工程を実行する写真測量モジュールに送られ、当該写真測量モジュールは、一般的に、この順序又は同様の順序でこれらの工程を実行するが、いくつかのステップは、異なる順序で、又は、他のステップと並行して実行され得る：
●ＳＩＦＴなどの特徴記述メカニズムを使用した、各画像における特徴検出
●画像取得時に患者に対する顕微鏡ヘッドの「近い」姿勢から撮像された画像中の特徴を相関させる。これは、画像のピクセルの数に比べて比較的疎な点の集合である。
○代替的解決法は、較正された立体視デジタル手術顕微鏡カメラを使用して、はるかに密度の高いデータセットである、一致したステレオピクセル対ごとにサーフェスポイントを抽出することであり；これによって、ある姿勢で撮像されたステレオスナップショットごとに抽出されたサーフェスは、後に、他の姿勢で撮像されたステレオスナップショットから抽出されたサーフェスと共に、単一のより大きな全体にスティッチされる。
●取得における画像ごとのカメラ外部モデルに対するソルバーベースの解決法
●この時に任意で：全画像にわたって統一された、単一のカメラ内部モデルに対するソルバーベースの解決法
○これが良好に機能するための要件は、デジタル手術顕微鏡カメラ（複数可）を、画像取得全体を通じて、一定のズーム及び作動距離の設定に保つことである。
○このステップは、手術よりもある期間（数日、数週間、数ヶ月、数年でも）だけ前に、任意にオフラインで実行され得る。
●スケールと基準フレームの原点と方向の指定
○スケールは、既知の距離だけ互いに離れて配置された２つのAprilタグなどの、既知の寸法の、容易に検出される特徴を介して求められる。
○基準フレームの原点と方向は、較正ターゲット（複数可）を介して求められ；２本の直交する線に沿った、方向性のある特徴の組が、２つの軸を決定することを可能にし；第３の軸は、右手座標系において（左手座標系が代わりに使用され得る）、最初の２つの積を使用して決定される。
○患者基準フレームの原点と方向は、求められたばかりの基準フレームと一致するように指定される。
○較正ターゲットと異なるナビゲーションターゲットが使用される場合、両方に存在する十分な特徴が、２つの基準フレーム（較正及びナビゲーションターゲット）間の変換が写真測定の結果から計算され得るように、デジタル手術顕微鏡カメラ（複数可）又はナビゲーションカメラ（この時点においてナビゲーションカメラを再較正する場合）の何れかによって撮像されることが必要であり得る。
●特徴抽出ステップにより表現された比較的疎なデータセットに対して、患者の解剖学的構造の３Ｄモデルを生成する。これは、ライブ患者データに対するサーフェス抽出ステップである。
○立体視ピクセルマッチングアプローチが使用される場合、モデル生成は、大幅に精度が高い。
○スパースモデルの場合、モデルメッシュを「高密度化」する後続ステップが行われる。
●カメラ較正情報と患者の解剖学的構造の３Ｄモデルとを含むデータをメインアプリケーションへエクスポートする
●この手順は、追加のアイ分離値が任意に追加された立体視デジタル手術顕微鏡の左のアイと右のアイのそれぞれについて同様に進行する。
●この手順は、単一のズーム及び作動距離の設定において、例えば中距離ズーム設定において、実行される。ズーム及び作動距離のフルレンジにわたって機能するために、２つの方法のうち何れかが使用される：
○ズーム及び作動距離の空間を有限の値の組み合わせに分割し、可能な値の組み合わせごとに較正を行う「ブルートフォース」法。デジタル手術顕微鏡の光学系は、従って、これらの値でのみ動作するように制約される。
○単一のズーム（例えば中距離ズーム値）を選択し、作動距離の範囲にわたって作動距離のサンプリングに対して較正を繰り返す「計算及び補間」法。これらは、中間的な作動距離については補間される。ズーム値は、カメラの主点の周りで視野を変化させる（実質的に画像を拡大縮小する）ことによって組み込まれる。拡大縮小の量は、視野をズームモータカウントに対応付ける、分離した較正ステップによって決定される。
【0229】
ナビゲーションカメラは、また、任意に、この時点において、それが再較正され得るように、及び／又は、行列dsmCam＿T＿navCamが、数日、数週間、数ヶ月、数年などの期間であって、当該期間中に較正及び／又は計算が劣化している可能性がある期間だけ前ではなく、手順に非常に近いこの時点において（再）計算され得るように、撮像を行うことに留意されたい。
【0230】
ｊ． 位置合わせのためにプローブを使用する
従来のビゲーションと同様に、ナビゲートされたプローブを、患者のサーフェスをトレースするために使用することは、位置合わせの目的のために患者のサーフェスを抽出する任意の手段である。プローブに取り付けられたナビゲーションターゲットに対するプローブの先端は、他の箇所で説明した較正及び確認ステップ中に求められ、この先端は、特定の「トレース」時間の間、ソフトウェアによってユーザに示された患者上の予め定められた一般関心領域にわたって追跡される。
従来のビゲーションと同様に、ナビゲートされたプローブを、患者のサーフェスをトレースするために使用することは、位置合わせの目的のために患者のサーフェスを抽出する任意の手段である。プローブに取り付けられたナビゲーションターゲットに対するプローブの先端は、他の箇所で説明した較正及び確認ステップ中に求められ、この先端は、特定の「トレース」時間の間、ソフトウェアによってユーザに示された患者上の予め定められた一般関心領域にわたって追跡される。
【0231】
ナビゲーションモジュールによって報告されるプローブの位置は、サーフェス特徴抽出のために十分に高い解像度でサーフェス経路をサンプリングするために十分なレートでサンプリングされ得る。
【0232】
ｋ． サーフェスを位置合わせする
このステップでは、ライブ患者データのサーフェスの撮像された部分の全て又は一部が、術前データ中の患者のサーフェスの撮像された部分の全て又は一部とマッチング（位置合わせ又は位置合わせとも呼ばれる）される。この処理により、変換patientRefFrm_T_patientDataが得られる。
このステップでは、ライブ患者データのサーフェスの撮像された部分の全て又は一部が、術前データ中の患者のサーフェスの撮像された部分の全て又は一部とマッチング（位置合わせ又は位置合わせとも呼ばれる）される。この処理により、変換patientRefFrm_T_patientDataが得られる。
【0233】
２つのサーフェスは、一般的に、共通の座標系を共有しないし、これが実現可能であるわけでもない。従って、２つの座標系間の変換が決定され得る。
【0234】
２つの座標系間の変換を決定することは、まず、各データセットのレンダリングを、ソフトウェア可視化モジュールを使用して、「互いに近く」なるように任意に操作することによって達成される。この操作の間に使用された、あらゆる変換は記録され、最終的な変換の一部となる。
【0235】
次のステップは、いくつかの周知の位置合わせアルゴリズム、及び／又は、ある誤差最小化について最適な２つのデータセット間の変換を計算する「反復最接近点」（ＩＣＰ；iterative closest point）などの技術のうち１つを使用することである。
【0236】
変換探索アルゴリズムは、一般的に、並進及び回転のみを検索し、スケールを無視するように制約されるが、この２つのデータセットの生成に関与する様々なデバイスの較正の差異により、小さいスケールの範囲にわたる探索が有用である場合がある。
【0237】
出力は、較正ターゲットに対する患者データの姿勢を記述する変換行列である。較正ターゲットと異なるナビゲーションターゲットが使用される場合、２つのターゲット間の姿勢は、この出力の計算に含まれる。
【0238】
従って、システムの他の部分が、ナビゲーションターゲット（複数可）に対するデジタル手術顕微鏡カメラ（複数可）の位置及び方向を決定可能とされ、カメラ内部パラメータが、その現在のズーム及び作動距離について知られている場合、システムは、患者のライブビューの上に患者データのビューをレンダリング可能とされる。これは、手術用拡張現実である。
【0239】
ｌ． 術中の患者データの更新
ナビゲーションターゲット（複数可）に対する実際の患者の姿勢についての患者スキャンデータ位置合わせの同じ処理が、手術中に生成され得る術中ＭＲＩなどの、新しい、又は、更新されたデータを位置合わせするために使用される。
ナビゲーションターゲット（複数可）に対する実際の患者の姿勢についての患者スキャンデータ位置合わせの同じ処理が、手術中に生成され得る術中ＭＲＩなどの、新しい、又は、更新されたデータを位置合わせするために使用される。
【0240】
ｍ． ナビゲーション
上述したセットアップステップに続いて、システムは、ユーザに手術ナビゲーションを提供する準備が整った状態となる。自動ナビゲートデジタル手術顕微鏡が、患者の解剖学的構造に剛性的に取り付けられたナビゲーションターゲット又はターゲットＸＸをナビゲーションデバイスが見ることを可能にし、手術に関連する患者の解剖学的構造の領域をデジタル手術顕微鏡カメラ（複数可）が見ることを可能にするために配置される。ナビゲーションデバイスのデータ出力は、生で、又は、処理済みの形で、主情報処理部モジュールに伝達される。生の場合、処理は、主情報処理部モジュールにおいて実行される。関心データは、リアルタイムに、又は、ほぼリアルタイムに更新される、変換navCam＿T＿navTargetの値である。
上述したセットアップステップに続いて、システムは、ユーザに手術ナビゲーションを提供する準備が整った状態となる。自動ナビゲートデジタル手術顕微鏡が、患者の解剖学的構造に剛性的に取り付けられたナビゲーションターゲット又はターゲットＸＸをナビゲーションデバイスが見ることを可能にし、手術に関連する患者の解剖学的構造の領域をデジタル手術顕微鏡カメラ（複数可）が見ることを可能にするために配置される。ナビゲーションデバイスのデータ出力は、生で、又は、処理済みの形で、主情報処理部モジュールに伝達される。生の場合、処理は、主情報処理部モジュールにおいて実行される。関心データは、リアルタイムに、又は、ほぼリアルタイムに更新される、変換navCam＿T＿navTargetの値である。
【0241】
この入力と、さらには、デジタル手術顕微鏡カメラ（複数可）からの、当該カメラ（複数可）の現在のズーム及び作動距離設定に関する入力、加えて、上述した、ランタイム計算で必要とされる情報により、システムは、手術用拡張現実を提供可能とされる。
【0242】
ｎ． 器具の使用
ナビゲートされた器具は、外科医の器具ボックスの重要な部分である。ナビゲートされたプローブは、最も一般的に使用される、そのような器具であり、それは、一般的に、ナビゲーションカメラによって検出され得るナビゲーションターゲットが貼り付けられた、鈍く尖った金属棒から構成されている。これは、「何がどこにあるか」を素早く決定するために使用される。
ナビゲートされた器具は、外科医の器具ボックスの重要な部分である。ナビゲートされたプローブは、最も一般的に使用される、そのような器具であり、それは、一般的に、ナビゲーションカメラによって検出され得るナビゲーションターゲットが貼り付けられた、鈍く尖った金属棒から構成されている。これは、「何がどこにあるか」を素早く決定するために使用される。
【0243】
較正ステップが、プローブのナビゲーションターゲットに対するプローブ先端位置を決定するために使用される；このステップは、しばしば確認ステップの機能も果たす：最初の較正後、システムは、器具のターゲットを単に認識し、その先端が、許容誤差内で、当該先端があるはずの位置とシステムが考える位置にあることを確認することができる。顕微鏡は、一般的に、プローブが使用される場合、少なくとも直接同時には、使用されない。
【0244】
ｏ． 器具の使用のために顕微鏡を位置決めする
ナビゲーションカメラは、器具のナビゲーションターゲット（複数可）を常に見ることができる必要があり得る。外科医がプロービング中に顕微鏡を必要としない場合、ユーザは、ロボットアームのプリセット位置であって、顕微鏡ヘッドを、術野から外して、しかし、器具上のナビゲーションターゲット（複数可）に加えて患者の解剖学的構造に取り付けられたターゲット（複数可）をナビゲーションカメラが依然として見ることができるような十分な近さ及び方向で、配置するプリセット位置を選択する。
ナビゲーションカメラは、器具のナビゲーションターゲット（複数可）を常に見ることができる必要があり得る。外科医がプロービング中に顕微鏡を必要としない場合、ユーザは、ロボットアームのプリセット位置であって、顕微鏡ヘッドを、術野から外して、しかし、器具上のナビゲーションターゲット（複数可）に加えて患者の解剖学的構造に取り付けられたターゲット（複数可）をナビゲーションカメラが依然として見ることができるような十分な近さ及び方向で、配置するプリセット位置を選択する。
【0245】
ＤＳＭロボットアーム及びヘッドは、全ての必要なナビゲーションターゲット（複数可）をナビゲーションカメラが依然として見ることができるように傾けられた状態で、術野の側方に離れ得る。
【0246】
ｐ． 器具を較正する
器具を較正すること（器具を確認することと呼ばれることもある）は、器具のナビゲーションターゲットに対する器具先端の位置を特定するタスクである。これは、ナビゲーションターゲット（又は較正ターゲット）に対する既知の位置を提供し、器具先端を、その既知の位置に配置するようにユーザに指示することによって達成される。ナビゲーションデバイスは、当該ナビゲーションデバイスがシーン内で見た各ターゲットの姿勢を常時更新しており、それにより、ターゲット間の相対姿勢の並進成分が、ナビゲーションターゲットからの器具先端のオフセットを表す。
器具を較正すること（器具を確認することと呼ばれることもある）は、器具のナビゲーションターゲットに対する器具先端の位置を特定するタスクである。これは、ナビゲーションターゲット（又は較正ターゲット）に対する既知の位置を提供し、器具先端を、その既知の位置に配置するようにユーザに指示することによって達成される。ナビゲーションデバイスは、当該ナビゲーションデバイスがシーン内で見た各ターゲットの姿勢を常時更新しており、それにより、ターゲット間の相対姿勢の並進成分が、ナビゲーションターゲットからの器具先端のオフセットを表す。
【0247】
器具先端の配置を容易にするために、「既知の位置」は、物理的な「ディボット」であって、器具先端が、当該ディボットにはめ込まれ得、その先端の周りを器具が回動されることを可能にしつつ、名目的に同じ位置に保持され得る、ディボットの底とされる。ソフトウェアは、例えばボタンの手動クリックを要求することによって、ユーザが器具先端をディボット内で定位置に配置するときを示すようにユーザに指示する。
【0248】
手動クリック法に対する改善は、器具ナビゲーションターゲットと、確認に使用されるターゲットと、の間の並進オフセットの大きさを、ソフトウェアにおいて連続的に監視することである。この大きさが、確認処理中の所定の時間にわたって、ある許容誤差内で変化しない場合、ユーザが先端を「ディボット」内に保持していると推定することができる。但し、ディボットの外で静止している器具の姿勢も、較正ターゲットに対する並進の大きさが不変である。
【0249】
この処理のさらなる改善として、ユーザが、器具（及び、それにより、そのナビゲーションターゲット）を、ある角度の範囲にわたって、器具先端が「ディボット」に配置された状態を保持しつつ回動させるように指示され；これは、相対姿勢における角度の変化をもたらすものの、並進の大きさは、比較的不変である。これは、ユーザが器具を確認しようとしているか否かを決定する、より堅牢な方法である。
【0250】
上述した手順は、器具ナビゲーションターゲットからの器具先端の並進オフセットのみを提供する。器具の方向を知ることが重要な場合、確認デバイスのナビゲーションターゲットに対する器具ナビゲーションターゲットの方向を補強する構造が提供される。
【0251】
このデータは、器具較正ステップが無い、後の器具使用のために器具定義ファイル内に記憶され得るが、器具は、使用又は取り扱いによって変形され得るため、確認ステップが、一般に、各使用の開始前、例えば手術の開始時に必要とされる。ユーザは、任意に、手術中の任意の時点において器具を再確認し得る。
【0252】
ｑ． プローブとしてのカメラ
本明細書中のステップが示すように、患者データに対するデジタル手術顕微鏡カメラ（複数可）の位置及び方向が知られている。これは、顕微鏡が、ナビゲーションプローブと全く同じ機能：ナビゲーションデータ中で「どこを見ているのか？」を示すことを提供するために任意に使用され得ることを意味する。
本明細書中のステップが示すように、患者データに対するデジタル手術顕微鏡カメラ（複数可）の位置及び方向が知られている。これは、顕微鏡が、ナビゲーションプローブと全く同じ機能：ナビゲーションデータ中で「どこを見ているのか？」を示すことを提供するために任意に使用され得ることを意味する。
【0253】
ｒ． 手術用拡張現実
手術ナビゲーションが説明したように可能とされると、システムは、上述した手術ナビゲーションの複雑さのレベル全てにおいて、手術用拡張現実を提供する準備が整った状態になる。そのような拡張を提示するためのメカニズムは、手術、外科医の好み、データの利用可能性並びに品質、及び位置合わせ結果ごとに異なる。
手術ナビゲーションが説明したように可能とされると、システムは、上述した手術ナビゲーションの複雑さのレベル全てにおいて、手術用拡張現実を提供する準備が整った状態になる。そのような拡張を提示するためのメカニズムは、手術、外科医の好み、データの利用可能性並びに品質、及び位置合わせ結果ごとに異なる。
【0254】
ｓ． システムディスプレイ上の患者データ
患者データは、外科医の好みに基づいて、様々な方法で表示される：
●主可視化ディスプレイを手術部位のライブビューと共有する。
●外科医の視野の近くにある自らのディスプレイ上で。
●オン／オフ及び不透明度をユーザが指定できるオプションと共に、手術部位のライブビュー上にオーバーレイされて。
患者データは、外科医の好みに基づいて、様々な方法で表示される：
●主可視化ディスプレイを手術部位のライブビューと共有する。
●外科医の視野の近くにある自らのディスプレイ上で。
●オン／オフ及び不透明度をユーザが指定できるオプションと共に、手術部位のライブビュー上にオーバーレイされて。
【0255】
示された拡張と、それらのデータ表現で使用される方法とは、以下を含むものの、これらに限らない：
【0256】
ｉ． データ中の先端及びベクトル
「先端及びベクトルを表示」オプションがソフトウェアにおいて選択されると、ナビゲーションカメラの視野内にある、較正され、確認された（デジタル手術顕微鏡カメラ（複数可）を含む）器具それぞれの先端が、一意的に彩色された、ドットなどの注記によって、患者空間内に表示される。用語集が、器具の種類に、いわば「ドットを繋ぐ」ために任意に含まれる。
「先端及びベクトルを表示」オプションがソフトウェアにおいて選択されると、ナビゲーションカメラの視野内にある、較正され、確認された（デジタル手術顕微鏡カメラ（複数可）を含む）器具それぞれの先端が、一意的に彩色された、ドットなどの注記によって、患者空間内に表示される。用語集が、器具の種類に、いわば「ドットを繋ぐ」ために任意に含まれる。
【0257】
或いは、小さなテキスト注釈がドットの近くに描画され、器具に関する関連情報を提供する。線であって、当該線に沿って器具の主要な直線的特徴（例えばデジタル手術顕微鏡カメラ（複数可）の光軸）が延在し、一端が先端にある線も任意に描画される。
【0258】
ｉｉ． 器具の方向
いくつかの器具では、ナビゲーションターゲットに対する器具の方向が知られている。これにより、方向を組み込んだ注記を患者データ中に描画することができると共に、器具が患者の解剖学的構造をどのように「見て」いるかにオンスクリーンで方向付けられたデータを描画することができる。デジタル手術顕微鏡の場合、この方向付けは、ライブビューに対応付けられ、「ここはどこ？」という質問に答える心象を外科医が得るために必要な複雑さを低減している。これは、ナビゲーション使用中の外科医の精神的負担を低減する。
いくつかの器具では、ナビゲーションターゲットに対する器具の方向が知られている。これにより、方向を組み込んだ注記を患者データ中に描画することができると共に、器具が患者の解剖学的構造をどのように「見て」いるかにオンスクリーンで方向付けられたデータを描画することができる。デジタル手術顕微鏡の場合、この方向付けは、ライブビューに対応付けられ、「ここはどこ？」という質問に答える心象を外科医が得るために必要な複雑さを低減している。これは、ナビゲーション使用中の外科医の精神的負担を低減する。
【0259】
ｉｉｉ． 経路予測
線であって、当該線に沿って器具の主要な直線的特徴が延在する線は、任意に、現在の器具先端の前方まで延び、器具の今後の経路を予測することができる。例えば、脊椎手術中に椎弓根スクリューを挿入する場合、スクリュー先端の現在の位置に加えて、それがさらに挿入される際のそれの予測経路が表示される。これは、スクリューが椎弓根によって完全に捉えられ、例えば脊髄柱に突き刺さらないことを確実にするために必要な、重要な情報である。
線であって、当該線に沿って器具の主要な直線的特徴が延在する線は、任意に、現在の器具先端の前方まで延び、器具の今後の経路を予測することができる。例えば、脊椎手術中に椎弓根スクリューを挿入する場合、スクリュー先端の現在の位置に加えて、それがさらに挿入される際のそれの予測経路が表示される。これは、スクリューが椎弓根によって完全に捉えられ、例えば脊髄柱に突き刺さらないことを確実にするために必要な、重要な情報である。
【0260】
ｉｖ． オーバーレイ
デジタル手術顕微鏡カメラ（複数可）の光学的パラメータが較正中に求められ、患者データに対する姿勢が既知であるため、患者データの（任意に立体視的な）３Ｄレンダリングは、ライブビューの上に任意にレンダリングされる。
デジタル手術顕微鏡カメラ（複数可）の光学的パラメータが較正中に求められ、患者データに対する姿勢が既知であるため、患者データの（任意に立体視的な）３Ｄレンダリングは、ライブビューの上に任意にレンダリングされる。
【0261】
さらに、レンダリングされるデータを選択するために使用されるパラメータが、外科医に対する価値を最適化するように制御され得る。例えば、予め計画されたアプローチコリドーが、アプローチの現在見える部分と隣の数ミリメートルのみが表示されるように、（任意に立体視に）３Ｄでレンダリングされ得る。他の例として、２Ｄスライスが、患者の内部に何があるかを外科医がはっきりと見ることができるよう、様々なレベルで、光軸に沿って、焦点に対してレンダリングされ得る。
【0262】
これは、本明細書に記載された自動ナビゲート統合手術ナビゲーション及び可視化システムに高い価値を付加する；これは、実質的に「Ｘ線」ビジョンであり、外科医が、患者の中を、切開が存在しない場所、又は、外科医がまだ暴露していない場所でも、見ることを可能にする。
【0263】
ＸＩ． デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する、視覚的に関連する基準フレームの姿勢を較正する
分離した較正が、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する、視覚的に関連する基準フレームの姿勢を決定するために実行され得る。例えば、この視覚的に関連する基準フレームは、立体視デジタル手術顕微鏡の各アイの画面中心であり得る。
分離した較正が、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する、視覚的に関連する基準フレームの姿勢を決定するために実行され得る。例えば、この視覚的に関連する基準フレームは、立体視デジタル手術顕微鏡の各アイの画面中心であり得る。
【0264】
較正は、各カメラアイによって撮像された各画像が、当該画面中心において最適な光学的焦点、又はその近くに位置するように、顕微鏡の光学的パラメータを設定することによって実行され得る。光学系は、所定の作動距離設定において、ある距離だけ顕微鏡から離れた空間内の点に光学系が焦点を合わせるように設計及び調整され得る。
【0265】
さらに、光学系は、立体視デジタル手術顕微鏡のアイの画面中心が、所定の顕微鏡光学的パラメータの設定において「焦点が合っている」場合に、ある許容誤差内で空間内の同じ点を撮像するように設計及び調整され得る。
【0266】
各カメラアイの画面中心に投影されるシーン内の点は、顕微鏡の「焦点」と呼ばれる。これにより、この分離した較正は、部分的に、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対するカメラの焦点の位置を決定する。
【0267】
焦点面であって、「焦点基準フレーム」を定義するための原点及び座標系を当該焦点面に割り当て得る焦点面が存在し得る。これは、オンスクリーンのカメラ画像（複数可）の方向付けを可能にし得る「上」及び「右」ベクトルに加えて、焦点を再定義し得る。
【0268】
物理的に、焦点面は、完全に平面ではない可能性がある（例えば、それは、わずかに湾曲している可能性がある）ものの、焦点面は、簡単にし、説明を容易にするために、２次元平面であると見なされ得る。焦点基準フレームの原点は、いくつかの実施形態において、較正されたカメラの画面中心の位置とみなされ得、この焦点基準フレームの姿勢では、当該焦点基準フレームが、顕微鏡の所定の光学的設定において光軸に直交して方向付けられ、そのＸ軸が、イメージセンサの水平方向に沿って、右方向が正の向きとなるように延び、そのＹ軸が、イメージセンサの垂直方向に沿って、下方向が正の向きとなるように延びている。実際には、好ましいグラフィックシステム、システム要件、ユーザの好みなどに合わせて、軸方向の追加の「反転」や原点位置のオフセットがあり得る。
【0269】
これにより、この分離した較正は、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する顕微鏡の「焦点基準フレーム」の姿勢を決定し得る。
【0270】
立体視デジタル手術顕微鏡の焦点は、その構成要素である単一のカメラ（すなわち各「アイ」）それぞれについて同一とされ得、オンスクリーン軸は、一致するか、ほぼ一致し得るため、アイごとに分離した焦点基準フレーム較正を実行する必要がない可能性がある。このような実施形態では、立体視デジタル手術顕微鏡全体について、１回の較正しか行われない可能性がある。
【0271】
図７Ｃは、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な焦点基準フレーム較正のための例示的な方法を示すフロー図である。
【0272】
ステップ２０００において、ナビゲートされた較正オブジェクトが、シーン内に設定され得る。較正オブジェクトは、ナビゲートされた較正オブジェクトの基準フレームに対する、顕微鏡の視覚的に関連する基準フレームの位置合わせを（例えば、ナビゲートされた較正オブジェクト上の、十字線又は他の位置合わせ補助を介して）補助するために、１つ以上の構造（例えば十字線）を含み得る。さらに、又は、代わりに、オンスクリーンの中心及び軸が、オペレータがオンスクリーン中心を較正オブジェクトの位置合わせ構造（複数可）に対して位置合わせすることを補助するために、グラフィックモジュールによってオンスクリーンに描画され得る。
【0273】
ステップ２０１０において、ナビゲーションターゲットが、カメラフィジカルに取り付けられ得る。ステップ２０２０において、顕微鏡が、所望のズーム倍率及び作動距離設定に設定され得る。ステップ２０３０において、ローカライザの追跡が開始され得る。ローカライザは、それが見ることのできるシーンにおいて、各追跡可能なナビゲーションターゲットの存在を検出し、ローカライザ空間における各追跡可能なナビゲーションターゲットの姿勢を決定し得る。いくつかの態様において、それらのターゲットは、ナビゲートされた較正オブジェクトと、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットと、を構成し得る。
【0274】
ステップ２０４０において、顕微鏡可視化が開始され得る。ステップ２０５０において、顕微鏡が、ナビゲートされた較正ターゲットに対して（又はその逆）姿勢をとらされ得る。
【0275】
２０６０において、顕微鏡が、較正オブジェクト位置合わせ構造に焦点を合わせられ得る。例えば、この構造は、十字線から構成され得る。行列計算を単純化し、誤差を低減するために、十字線は、較正オブジェクトのナビゲートされたターゲットの原点に配置され得、そのＸ軸及びＹ軸は、当該ターゲットのＸ軸及びＹ軸にそれぞれ一致し得る。十字線は、２次元であり得る；仮想Ｚ軸も、較正オブジェクトのナビゲートされたターゲットの対応する軸と一致するとみなし得る。
【0276】
ステップ２０７０において、顕微鏡が、オンスクリーンの十字線を較正ターゲットの十字線と位置合わせするために任意に方向付けられ得る。このステップは、例えば、焦点基準フレームが必要以上の情報を提供する場合、省略され得る。いくつかの実施形態では、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する焦点の位置のみを決定し、当該ターゲットに対する焦点基準フレーム全体の方向までも決定しないことで十分であり得る。
【0277】
顕微鏡の方向を変えると、その最適な焦点が変わり得るため、較正ターゲット十字線に対するオンスクリーン十字線の相対位置（すなわち位置合わせ）及び方向に加えて焦点を最適化するために、必要に応じてステップ２０８０で反復が実行され得る。
【0278】
ローカライザ読み取り値localizer＿T＿camTarget及びlocalizer＿T＿calTargetが、ステップ２０９０において記録され得る。ノイズ低減及びシステムエラー低減の実施として、ステップ２１００において、ナビゲートされた較正ターゲットに対する、顕微鏡の、ある数（例えばＮ＝２５）の異なる姿勢において全体的な測定を繰り返すことが望ましい可能性がある。
【0279】
ステップ２１１０において、関数camTarget_T_focalRefFrameが、以下のように解かれ得る：
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_calTarget * calTarget_T_focalRefFrame
ここで、いくつかの実施形態におけるcalTarget_T_focalRefFrameは、行列の乗算を単純化し、行列の乗算におけるエラーを低減するために、設計により恒等である。従って、単純化された式は、以下のようになる：
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_focalRefFrame
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_calTarget * calTarget_T_focalRefFrame
ここで、いくつかの実施形態におけるcalTarget_T_focalRefFrameは、行列の乗算を単純化し、行列の乗算におけるエラーを低減するために、設計により恒等である。従って、単純化された式は、以下のようになる：
camTarget_T_focalRefFrame =
camTarget_T_localizer * localizer_T_focalRefFrame
【0280】
これらＮ個の解は、camTarget＿T＿focalRefFrameの最終値を決定するために、本明細書の他の箇所で説明されているように行列平均化を使用して平均化され得る。
【0281】
より完全な較正のために、この処理が、ステップ２１２０において、複数のズーム及び作動距離の設定で、そのような各パラメータの動作範囲にわたって繰り返され得る。入力パラメータの関数として、各関連する出力パラメータセットについて曲線がフィットされ得る。この処理は、パラメータ化と呼ばれ得る。出力パラメータセットは、デジタル手術顕微鏡上の代表的なナビゲートされたターゲットに対する焦点の姿勢であり得る。入力パラメータは、カメラ制御モジュールからのズーム及び作動距離の設定を含み得る。
【0282】
上述したcamTarget＿T＿camEye及びcamTarget＿T＿focalRefFrame関数を使用して、立体視デジタル手術顕微鏡の各カメラアイに対する焦点基準フレームの姿勢、以下のように決定され得る：
camEye_T_focalRefFrame =
camEye_T_camTarget * camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calCoordSys * calCoordSys_T_focalRefFrame
ここで、calTarget_T_calCoordSysは、較正オブジェクトのナビゲートされたターゲットと任意の座標系との間の変換を可能にし得、calCoordSys_T_focalRefFrameは、その座標系と焦点基準フレームとの間の変換を可能にし得る。これらの行列の両方は、設計により、恒等行列であり得る。 従って、式は、以下のように単純化できる：
camEye_T_focalRefFrame =
camEye_T_camTarget * camTarget_T_localizer * localizer_T_focalRefFrame
camEye_T_focalRefFrame =
camEye_T_camTarget * camTarget_T_localizer * localizer_T_calTarget * calTarget_T_calCoordSys * calCoordSys_T_focalRefFrame
ここで、calTarget_T_calCoordSysは、較正オブジェクトのナビゲートされたターゲットと任意の座標系との間の変換を可能にし得、calCoordSys_T_focalRefFrameは、その座標系と焦点基準フレームとの間の変換を可能にし得る。これらの行列の両方は、設計により、恒等行列であり得る。 従って、式は、以下のように単純化できる：
camEye_T_focalRefFrame =
camEye_T_camTarget * camTarget_T_localizer * localizer_T_focalRefFrame
【0283】
ＸＩＩ． 所定のベクトルに対する顕微鏡光軸のロボット位置合わせ
いくつかの実施形態において、デジタル手術顕微鏡ヘッド１１０は、ロボットアーム１２０上に取り付けられ得る。ロボットアーム１２０は、顕微鏡処理ユニット４２０内のロボット制御モジュール８２０によって制御され得る。ロボットベースに対するロボットエンドエフェクタの姿勢を計算するために必要とされる、ロボット関節の物理的特性（関節角度など）は、全ての、又は、ほとんどのロボット関節について、設計によって、及び／又は、較正によって、及び／又は、ランタイム中のリアルタイム測定によって、知られ得る。ロボットベースに対するロボットエンドエフェクタの姿勢を計算するための、さらなる物理的特性（関節を接続するリンクの、公称長及び負荷時並びに姿勢変化時の撓みなど）は、設計によって、及び／又は、較正によって、及び／又は、リアルタイム測定によって、知られ得る。従って、ロボットベースに対するロボットエンドエフェクタ（ロボット自体の、最も遠位のアクティブな関節又はリンク）の姿勢は、継続的にリアルタイムで知られ得、以下のように表記され得る：
robotBase_T_robotEEff
いくつかの実施形態において、デジタル手術顕微鏡ヘッド１１０は、ロボットアーム１２０上に取り付けられ得る。ロボットアーム１２０は、顕微鏡処理ユニット４２０内のロボット制御モジュール８２０によって制御され得る。ロボットベースに対するロボットエンドエフェクタの姿勢を計算するために必要とされる、ロボット関節の物理的特性（関節角度など）は、全ての、又は、ほとんどのロボット関節について、設計によって、及び／又は、較正によって、及び／又は、ランタイム中のリアルタイム測定によって、知られ得る。ロボットベースに対するロボットエンドエフェクタの姿勢を計算するための、さらなる物理的特性（関節を接続するリンクの、公称長及び負荷時並びに姿勢変化時の撓みなど）は、設計によって、及び／又は、較正によって、及び／又は、リアルタイム測定によって、知られ得る。従って、ロボットベースに対するロボットエンドエフェクタ（ロボット自体の、最も遠位のアクティブな関節又はリンク）の姿勢は、継続的にリアルタイムで知られ得、以下のように表記され得る：
robotBase_T_robotEEff
【0284】
カプラー１４０及び力トルクセンサ１５０などの、全ての拡張部の物理的特性も、ロボットエンドエフェクタに対する、例えば１５０の遠位端「制御点」の姿勢が知られるように、設計によって、及び／又は、較正によって、及び／又は、測定によって知られ、以下のように表記される：
EEff_T_controlPt
EEff_T_controlPt
【0285】
さらに、カメラヘッドの前方のロボットアセンブリ上の１５０などの、その取り付けデータムが、最も遠位の基準フレームの基準フレームと一致して嵌合するように設計されている、基準フレーム上の取り付けデータム１５２に対する、デジタル手術顕微鏡ヘッド上の代表的なナビゲートされたターゲット２１０の姿勢が、設計によって、及び／又は、測定によって、知られる。当該姿勢の情報に対する、さらなる改善は、任意に、測定によって行われ得る。
【0286】
従って、制御点１５０に対するデジタル手術顕微鏡上の代表的なナビゲートされたターゲット２１０の姿勢が知られ得、以下のように表記され得る：
controlPt_T_camTarget
controlPt_T_camTarget
【0287】
これらと、上述した事前変換と、により、ロボットベースに対する各カメラアイの姿勢が、以下のように計算され得る：
robotBase_T_camEye =
robotBase_T_robotEEff * robotEEff_T_controlPoint * controlPt_T_camTarget * camTarget_T_camEye
robotBase_T_camEye =
robotBase_T_robotEEff * robotEEff_T_controlPoint * controlPt_T_camTarget * camTarget_T_camEye
【0288】
robotEEff_T_camEye関係は、「ハンド－アイ」姿勢関係と呼ばれる場合がある。さらに、又は、代わりに、このハンド－アイ姿勢関係は、OpenCVのcv::calibrateHandEye法などの、既知の較正技術を使用して発見され得、上述の計算は、以下のようにリワークされ得る：
robotBase_T_camEye =
robotBase_T_robotEEff * robotEEff_T_camEye
robotBase_T_camEye =
robotBase_T_robotEEff * robotEEff_T_camEye
【0289】
ロボットベースに対する焦点基準フレームの姿勢は、上述したcamEye_T_focalRefFrame関数を使用して求められる：
式８：robotBase_T_focalRefFrame =
robotBase_T_camEye * camEye_T_focalRefFrame
式８：robotBase_T_focalRefFrame =
robotBase_T_camEye * camEye_T_focalRefFrame
【0290】
ローカライザ空間におけるロボットベースの姿勢
ローカライザ空間におけるロボットベースの姿勢は、以下の関数を用いて求められ得る：
localizer_T_robotBase =
localizer_T_camTarget * camTarget_T_controlPoint *
controlPoint_T_robotEEff * robotEEff_T_robotBase
ローカライザ空間におけるロボットベースの姿勢は、以下の関数を用いて求められ得る：
localizer_T_robotBase =
localizer_T_camTarget * camTarget_T_controlPoint *
controlPoint_T_robotEEff * robotEEff_T_robotBase
【0291】
計画作成フェーズ１０６０の間、有用な特徴が、外科医が外科手術を実行することを補助するために、患者データ空間に追加され得る。これらの特徴は、外科的開口部「カットバイナンバー（cut by numbers）」パターン、アプローチベクトル（例えば軌道計画）、及び、アプローチウェイポイントであって、当該アプローチウェイポイントにおいて、デジタル手術顕微鏡が、進捗を確立し評価するために繰り返し姿勢をとらされ得るアプローチウェイポイントを含むものの、これらに限らない。
【0292】
頭蓋手術における外科的開口は、開頭手術と呼ばれ得る。計画作成フェーズ１０６０の間、ユーザは、任意に、所望の開口部の輪郭を指定することができる。決定的に、従来の手術において、そのようなアプローチは、外科用マーキングペンを使用して実際のユーザの皮膚上で指定され、従って、皮膚の最初の層が除去されるとき（これは、手術の最初のステップの１つである。）に破壊される。
【0293】
上述した統合システムは、ユーザが、そのような開口部計画を患者データ内に仮想的に描画することを可能にする。そして、この開口部計画は、開口フェーズの全体について、例えば、皮膚の除去を超えて、ユーザの制御下で表示され得る。さらに、開口計画は、患者を開口することの３次元的な性質に対処することができる。例えば、単純な線画の代わりに、この計画は、マルチレイヤー、及び／又は、３次元であり、３次元サーフェスに、どのように切り込むかを外科医に示すことができる。
【0294】
図８は、本開示の例示的な実施形態に係る、統合手術ナビゲーション及び可視化システムに適用可能な例示的な軌道計画を示す図である。軌道計画が、任意に、患者データ空間２７０内に追加され得る。この軌道は、患者データ空間内の経路であって、当該経路に沿ってユーザが手術を進行させることを所望する経路を構成し得る。例えば、頭蓋神経外科医は、動脈瘤に向かう軌道であって、脳の重要な部分を避け、より容易に通過できる領域を優先する軌道を計画し得る。軌道が複雑な場合、それは、分離した、より小さい、複数の軌道であって、より容易に（例えば、区分的線形について）表現され達成され得る、複数の軌道に分割され得る。さらに、又は、代わりに、患者に対する所望のカメラ姿勢を示すウェイポイントが、ユーザによって患者データ空間内に追加され得る。本明細書に記載されたシステム及び方法において可能とされる、ロボット空間、カメラ空間、及び患者空間の結合により、そのようなウェイポイントは、手術中の任意の時点において参照され得る。さらに、このような開口部、軌道、及びウェイポイント計画は、手術中の任意の時点において、更新、及び／又は、増加され得る。
【0295】
上述した統合システムの利点は、それが、ユーザに、可視化を、それが軌道に沿って焦点を合わされ、任意に、軌道の「次のステップ」に焦点を合わされるように調整するオプションを提供することである。この調整された可視化は、進むべき経路を外科医に示し、それをするための場所をちょうど見るように顕微鏡に実際に姿勢をとらせる。この機能を提供するための少なくとも１つの例が、以下に説明される。
【0296】
軌道計画は、患者データ空間における変換として表され得る：patientData_T_trajPlan (2.9)
【0297】
軌道計画は、ベクトル２５００であって、外科手術の「次の」ステップにおいて軌道が当該ベクトル２５００に沿って進み得るベクトル２５００を主に表現し得る。軌跡を、第一のベクトル２５００の周りの方向も指定されるように、完全な基準フレームとして表現することが好都合である（但し、任意である）可能性がある。この方向は、２つの他の軸２５１０及び２５２０として表現され得る。これは、ユーザが、患者、外科医、及び顕微鏡の位置決めを軌道計画に組み込むことを可能にする。このような指定がなければ、制御アルゴリズムは、解決された動きのための賢明な方向について「最善の推測」を行いさえすればよい。例えば、軌道計画に対する顕微鏡ヘッドの正しい方向を確実にするため、患者ジオメトリの締め出しが好まれるように規則が選択され得る。最小限の動き、ロボットの関節限界、及び「外から中を見る」方向などの追加の制約が追加され得る。
【0298】
上記の説明は、ロボット制御モジュール８２０が、デジタル手術顕微鏡ヘッドに、それが、軌道計画経路に沿って見るように、さらに、それが、その経路に沿った進行の「次のステップ」に焦点を合わせられるように姿勢をとらせることを可能にし得る。まず、ローカライザ空間における軌道計画が、以下のように決定される：
localizer_T_trajPlan =
localizer_T_patientTarget * patientTarget_T_patientData * patientData_T_trajPlan,
ここで、右辺の各行列は、上述したとおりである。次に、ロボットベースに対する軌道計画の姿勢は、以下のように求められ得る：
robotBase_T_trajPlan =
robotBase_T_localizer * localizer_T_trajPlan
localizer_T_trajPlan =
localizer_T_patientTarget * patientTarget_T_patientData * patientData_T_trajPlan,
ここで、右辺の各行列は、上述したとおりである。次に、ロボットベースに対する軌道計画の姿勢は、以下のように求められ得る：
robotBase_T_trajPlan =
robotBase_T_localizer * localizer_T_trajPlan
【0299】
さらに、軌道計画は、患者データ空間内で姿勢を定義する他の手段によって置き換えられ得、ロボットは、当該姿勢に一致するように、又は、当該姿勢を追跡するように、指令される。本明細書で説明された様々な実施形態は、カメラ空間、ローカライザ空間、及びロボット空間の結合を提供するため、このような姿勢定義は、器具２５２などのナビゲートされた器具に姿勢をとらせること、軸であって、当該軸に対して位置合わせが行われ、そのような器具のナビゲートされたターゲット空間内で任意に定義され得る軸、又は、ユーザの頭部の姿勢を含むものの、これらに限らない複数の手段によって達成され得、それにより、ナビゲートされたターゲットが、直接的に、又は、間接的にユーザの頭部に、例えば３Ｄ眼鏡１９２に、接続する場合に頭部追跡が可能とされる。カメラの、このような姿勢制御は、ユーザの頭の、ある開始位置に対して相対的であり得る（例えば、プッシュボタンの押下、又は「頭部追跡オン」という音声コマンドなどの、ある起動動作が行われた際に初期化される）。
【0300】
さらに、例えば手術器具上に取り付けられたコンピュータビジョンで追跡可能なパターンの姿勢も、姿勢定義を達成するために使用され得る。上述した頭部追跡と同様に、あるユーザ起動機能により、カメラヘッドの姿勢が、追跡可能なパターンの姿勢を変更することによって制御され、カメラの姿勢の変化は、ユーザ起動の際に測定された、ある開始姿勢から計算される。起動機能によっては、これは、顕微鏡の姿勢のハンズフリー制御を提供し得る。さらに、又は、代わりに、脊椎手術中の単一の椎骨などの、患者の解剖学的構造の局所部分に取り付けられた、ナビゲーションカメラで追跡可能なターゲットの姿勢。椎骨の動きを追跡することにより、システムは、椎骨に対する一貫したビューを外科医に提供する。これは、当該解剖学的構造の大きな動きを引き起こす、手術中のステップを実行するときに特に有用である。例えば、椎骨が動くにつれて、カメラの姿勢が、外科医が椎弓切除手術を行っている同一の場所を、同一の方向で、常に撮像しているように更新され得る。
【0301】
他のナビゲートされた器具の姿勢も、姿勢定義を達成するために使用され得る。例えば、カメラが、例えば一次器具の遠位端を示す、及び／又は、一般に可視化を妨げる当該器具のシャフトの撮像を回避する、手術部位のクリアなビューをユーザに提供するために、継続的に姿勢をとらされ得る。
【0302】
焦点基準フレームは、軌道計画基準フレームに一致させられ得る。デジタル手術顕微鏡の光軸が、軌道計画の主軸に沿って見え、任意に軌道計画の原点に焦点を合わせるように、ロボットを駆動するために、ロボットベースの空間における軌道計画の姿勢が、ロボットベースに対するデジタル手術顕微鏡の焦点基準空間の姿勢に等しくなるように、以下のように設定され得る：
robotBase_T_focalRefFrame = robotBase_T_trajPlan
これは、以下を使用する他の方法において求められる：
robotBase_T_trajPlan = robotBase_T_focalRefFrame =
robotBase_T_robotEEff * robotEEff_T_controlPoint *
controlPoint_T_camTarget * camTarget_T_camEye *
camEye_T_focalRefFrame
robotBase_T_focalRefFrame = robotBase_T_trajPlan
これは、以下を使用する他の方法において求められる：
robotBase_T_trajPlan = robotBase_T_focalRefFrame =
robotBase_T_robotEEff * robotEEff_T_controlPoint *
controlPoint_T_camTarget * camTarget_T_camEye *
camEye_T_focalRefFrame
【0303】
上記の式から、ロボット姿勢robotBase_T_robotEEffは、以下のように、式の左辺のrobotBase_T_robotEEff関数を分離するために、標準的な行列数学を使用して計算された軌道計画に一致する必要があり得る：
robotBase_T_robotEEff =
robotBase_T_trajPlan * trajPlan_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff
さらに、焦点基準フレームは、軌道計画に一致させられることが望まれるので、例えば、
robotBase_T_trajPlan = robotBase_T_focalRefFrame
以下のようになる：
robotBase_T_robotEEff =
robotBase_T_focalRefFrame * focalRefFrame_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff
robotBase_T_robotEEff =
robotBase_T_trajPlan * trajPlan_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff
さらに、焦点基準フレームは、軌道計画に一致させられることが望まれるので、例えば、
robotBase_T_trajPlan = robotBase_T_focalRefFrame
以下のようになる：
robotBase_T_robotEEff =
robotBase_T_focalRefFrame * focalRefFrame_T_camEye * camEye_T_camTarget * camTarget_T_controlPoint * controlPoint_T_robotEEff
【0304】
上記の式は、軌道計画と、デジタル手術顕微鏡及び患者基準フレームの現在の姿勢と、が与えられると、軌道計画に一致するロボットの姿勢を提供し得る。
【0305】
上記の式を満たす関節姿勢の組を決定するために逆運動学ルーチンが実行され、当該関節姿勢の組がロボット制御モジュール８２０に送信され得、そして、ロボット制御モジュール８２０が、当該姿勢の組に向かって段階的に進み得る。
【0306】
いくつかのパラメータが、焦点基準フレームを軌道計画基準フレームと一致するまで動かすために必要な、所望の姿勢の組に向かうロボットの運動中に変化し得るため、robotBase_T_robotEEffの計算の定期的な更新と、その基礎となる、可能とする式と、が計算され得、ロボット制御モジュールの動きの「目標」。
【0307】
そのような更新は、例えば、手術器具又は他の追跡可能な器具に取り付けられたナビゲーションターゲットなどの、任意の基準フレームの動的追跡を提供し得る。例えば、Medtronic MetRxなどの脊椎拡張器には、ナビゲートされたターゲットが取り付けられ得、ロボットは、MetRx 器具セットのシャフトの中心を追跡し得、これにより、ユーザからの、いかなる直接の入力も必要とすることなく、「管の下」を継続的に撮像するために顕微鏡を提供する。
【0308】
軌道は、本質的には、経路であるため、軌道計画は、以下のような多くのものを表現し得る：所望の手術アプローチ；シャント設置経路；所望の椎弓根スクリューの方向、及び／又は、脊椎手術のための設置経路。
【0309】
本明細書に記載された様々な実施形態は、軌道がユーザ制御下でオンスクリーンに描画され、システムの慎重な較正処理により、ライブ手術ビューに対して正しい位置、方向、サイズ、及び視点で表示されることを可能にする。
【0310】
例えば、軌道は、この技術を使用して補正され得る。患者は、「最良の患者位置登録」時に、実際のマークと仮想のマークとによりマークされ得る。患者のナビゲーションターゲットに対する患者の将来の動き（それによって位置登録精度を低下させる）は、実際のマークと仮想のマークを視覚的に再び位置登録することによって補正され得る。このように適用された補正は、軌道計画（複数可）にも適用し得、それによって当該計画（複数可）を補正する。
【0311】
軌道は、例えば、患者の脳が圧力変化及び重力により移動する場合にも、この技術を使用して補正し得る。補正は、ユーザによって手動で、又は、自動化された脳移動補正アルゴリズムの下で、計画に適用され得る。補正は、次に、一般的な軌道計画について説明したように、システムによって使用され得る。
【0312】
本明細書に記載された、開示された方法及び手順の全ては、１つ以上のコンピュータプログラム又はコンポーネントを使用して実装され得ることが理解されるであろう。これらのコンポーネントは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気若しくは光ディスク、光メモリ、又は、他の記憶媒体などの、揮発性又は不揮発性メモリを含む、任意の、従来のコンピュータ可読媒体又は機械可読媒体上の一連のコンピュータ命令として提供され得る。この命令は、ソフトウェア又はファームウェアとして提供され得、及び／又は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、又は、任意の他の同様のデバイスなどのハードウェアコンポーネントにおいて、全体的に、又は、部分的に実装され得る。命令は、１つ以上のプロセッサであって、一連のコンピュータ命令を実行するときに、開示された方法及び手順の全て又は一部を実行し、又は、実行を容易にする、１つ以上のプロセッサによって実行されるように構成され得る。
【0313】
本明細書に記載された例示的な実施形態に対する、様々な変更及び変形が、当業者にとっては明らかであることを理解されたい。そのような変更及び変形は、本発明の対象の精神及び範囲から逸脱することなく、かつ、その意図された利点を損なうことなく、行ない得る。従って、そのような変更及び変形は、添付された特許請求の範囲によって包含されることが意図されている。
【0314】
（付記）
（付記１）
統合手術ナビゲーション及び可視化システムであって、
運動性を提供する単一のカートと、
手術可視化カメラ及びローカライザを備える立体視デジタル手術顕微鏡と、
手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行する１つ以上のコンピューティングデバイスであって、前記ローカライザが、前記手術ナビゲーションモジュールに対応し、前記手術可視化カメラが、前記手術可視化モジュールに対応し、前記１つ以上のコンピューティングデバイスが、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティングデバイスと、
単一の統一ディスプレイと、
プロセッサと、
コンピュータ実行可能命令を記憶するメモリと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術可視化カメラへの患者に対応する患者データの変換を生成させ、
前記手術可視化カメラ及び前記ローカライザを較正させ、
前記単一の統一ディスプレイを介して手術部位の可視化を提供させ、
ユーザ入力に応答して前記手術部位のナビゲーションを提供させる、
統合手術ナビゲーション及び可視化システム。
（付記１）
統合手術ナビゲーション及び可視化システムであって、
運動性を提供する単一のカートと、
手術可視化カメラ及びローカライザを備える立体視デジタル手術顕微鏡と、
手術ナビゲーションモジュール及び手術可視化モジュールを収容し共同で実行する１つ以上のコンピューティングデバイスであって、前記ローカライザが、前記手術ナビゲーションモジュールに対応し、前記手術可視化カメラが、前記手術可視化モジュールに対応し、前記１つ以上のコンピューティングデバイスが、単一の電源接続によって電力供給され、これにより手術室の設置面積を削減する、１つ以上のコンピューティングデバイスと、
単一の統一ディスプレイと、
プロセッサと、
コンピュータ実行可能命令を記憶するメモリと、
を備え、
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術可視化カメラへの患者に対応する患者データの変換を生成させ、
前記手術可視化カメラ及び前記ローカライザを較正させ、
前記単一の統一ディスプレイを介して手術部位の可視化を提供させ、
ユーザ入力に応答して前記手術部位のナビゲーションを提供させる、
統合手術ナビゲーション及び可視化システム。
【0315】
（付記２）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を実行させることによって、前記手術可視化カメラへの前記患者に対応する患者データの前記変換を生成させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を実行させることによって、前記手術可視化カメラへの前記患者に対応する患者データの前記変換を生成させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0316】
（付記３）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行わせる、
付記２に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行わせる、
付記２に記載の統合手術ナビゲーション及び可視化システム。
【0317】
（付記４）
前記患者位置登録は、前記患者の前記ターゲット位置への前記患者に対応する前記患者データの変換を含む、
付記３に記載の統合手術ナビゲーション及び可視化システム。
前記患者位置登録は、前記患者の前記ターゲット位置への前記患者に対応する前記患者データの変換を含む、
付記３に記載の統合手術ナビゲーション及び可視化システム。
【0318】
（付記５）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成させ、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成させる、
付記４に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成させ、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成させる、
付記４に記載の統合手術ナビゲーション及び可視化システム。
【0319】
（付記６）
前記手術ナビゲーションモジュール及び前記手術可視化モジュールを収容し共同で実行することが、通信待ち時間及び接続リスクを低減する、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記手術ナビゲーションモジュール及び前記手術可視化モジュールを収容し共同で実行することが、通信待ち時間及び接続リスクを低減する、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0320】
（付記７）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
統合ナビゲーション情報及び顕微鏡手術部位可視化を、前記統一ディスプレイを介して提供することによって、前記手術部位の前記可視化を前記手術部位の前記ナビゲーションとリアルタイムで同期させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、さらに、
統合ナビゲーション情報及び顕微鏡手術部位可視化を、前記統一ディスプレイを介して提供することによって、前記手術部位の前記可視化を前記手術部位の前記ナビゲーションとリアルタイムで同期させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0321】
（付記８）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
全てのビューについて同一の焦点面において前記手術部位の前記可視化にオーバーレイするナビゲーション情報を提供させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
全てのビューについて同一の焦点面において前記手術部位の前記可視化にオーバーレイするナビゲーション情報を提供させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0322】
（付記９）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
所定の基準を有する前記立体視デジタル手術顕微鏡の位置を制御させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
所定の基準を有する前記立体視デジタル手術顕微鏡の位置を制御させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0323】
（付記１０）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行させることによって、前記立体視デジタル手術顕微鏡の前記位置を制御させる、
付記９に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行させることによって、前記立体視デジタル手術顕微鏡の前記位置を制御させる、
付記９に記載の統合手術ナビゲーション及び可視化システム。
【0324】
（付記１１）
前記デジタル手術顕微鏡の前記所定の基準が、ＮＩＣＯポートの中心軸又は脊椎拡張器と準連続的に準リアルタイムで位置合わせする、
付記９に記載の統合手術ナビゲーション及び可視化システム。
前記デジタル手術顕微鏡の前記所定の基準が、ＮＩＣＯポートの中心軸又は脊椎拡張器と準連続的に準リアルタイムで位置合わせする、
付記９に記載の統合手術ナビゲーション及び可視化システム。
【0325】
（付記１２）
方向調整ハンドルと、
前記ローカライザ内のナビゲーションターゲット照明デバイスと、
をさらに備える、
付記１に記載の統合手術ナビゲーション及び可視化システム。
方向調整ハンドルと、
前記ローカライザ内のナビゲーションターゲット照明デバイスと、
をさらに備える、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0326】
（付記１３）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記立体視デジタル手術顕微鏡の焦点の使用を介した、前記患者の前記患者位置登録を行わせるようにユーザに促すステップと、
前記患者の前記患者位置登録を行わせるために、前記立体視デジタル手術顕微鏡の前記焦点の前記使用に対応するユーザ入力を受け付けるステップであって、前記ユーザ入力は、タッチレスである、ステップと、
を実行させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、
前記立体視デジタル手術顕微鏡の焦点の使用を介した、前記患者の前記患者位置登録を行わせるようにユーザに促すステップと、
前記患者の前記患者位置登録を行わせるために、前記立体視デジタル手術顕微鏡の前記焦点の前記使用に対応するユーザ入力を受け付けるステップであって、前記ユーザ入力は、タッチレスである、ステップと、
を実行させる、
付記１に記載の統合手術ナビゲーション及び可視化システム。
【0327】
（付記１４）
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、前記焦点の前記使用に対応する前記ユーザ入力を、写真測量又は立体写真測量を介して受け付けさせる、
付記１３に記載の統合手術ナビゲーション及び可視化システム。
前記コンピュータ実行可能命令は、前記プロセッサによって実行されると、前記統合手術ナビゲーション及び可視化システムに、前記焦点の前記使用に対応する前記ユーザ入力を、写真測量又は立体写真測量を介して受け付けさせる、
付記１３に記載の統合手術ナビゲーション及び可視化システム。
【0328】
（付記１５）
１つ以上のプロセッサを有するコンピューティングシステムにおいて手術ナビゲーション及び手術可視化を統合するための方法であって、
前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、前記手術ナビゲーションモジュール及び手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
方法。
１つ以上のプロセッサを有するコンピューティングシステムにおいて手術ナビゲーション及び手術可視化を統合するための方法であって、
前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、前記手術ナビゲーションモジュール及び手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
方法。
【0329】
（付記１６）
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を含む、
付記１５に記載の方法。
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
を含む、
付記１５に記載の方法。
【0330】
（付記１７）
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
をさらに含む、
付記１６に記載の方法。
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
をさらに含む、
付記１６に記載の方法。
【0331】
（付記１８）
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップであって、
立体視デジタル顕微鏡による手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を、前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行することによって、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップをさらに含む、
付記１５に記載の方法。
所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップであって、
立体視デジタル顕微鏡による手術部位の前記ナビゲーションについて予め計画された軌道に対応するユーザ入力を、前記コンピューティングシステムによって受け付けるステップと、
前記デジタル手術顕微鏡の前記所定の基準を前記予め計画された軌道と位置合わせするステップと、
を実行することによって、所定の基準を有する立体視デジタル手術顕微鏡の位置を制御するステップをさらに含む、
付記１５に記載の方法。
【0332】
（付記１９）
手術ナビゲーションと手術可視化とを統合するためのコンピュータ実行可能プログラミング命令を格納している、コンピューティングデバイスで使用するための非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能プログラミング命令は、
前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、当該手術ナビゲーションモジュール及び当該手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
非一時的なコンピュータ可読媒体。
手術ナビゲーションと手術可視化とを統合するためのコンピュータ実行可能プログラミング命令を格納している、コンピューティングデバイスで使用するための非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能プログラミング命令は、
前記コンピューティングシステムの起動を行い、手術ナビゲーションモジュール及び手術可視化モジュールを起動させるステップであって、当該手術ナビゲーションモジュール及び当該手術可視化モジュールは、前記コンピューティングシステムに共同で収容され、前記コンピューティングシステムによって実行される、ステップと、
前記手術可視化モジュールに対応する手術可視化カメラへの手術部位における患者に対応する患者データの変換を生成するステップと、
前記手術可視化カメラ及び前記手術ナビゲーションモジュールに対応するローカライザを較正するステップと、
ユーザ入力に応答して前記手術部位のナビゲーションを提供するステップと、
単一の統一ディスプレイを介して前記手術部位の可視化を提供するステップと、
を含む、
非一時的なコンピュータ可読媒体。
【0333】
（付記２０）
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
を含む、
付記１９に記載の非一時的なコンピュータ可読媒体。
前記手術可視化カメラへの前記患者データの前記変換を生成するステップは、
単一のズーム及び作動距離において、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第１の変換を生成するステップであって、前記各カメラアイが、前記統合手術ナビゲーション及び可視化システムのランタイム使用中に前記患者のターゲット位置を見ている、ステップと、
ズーム及び前記作動距離の範囲にわたって、前記手術可視化カメラ及び前記ローカライザそれぞれに対応する各カメラアイについて、前記手術可視化カメラへの前記ローカライザの第２の変換を生成するステップであって、前記各カメラアイが、前記ランタイム使用中に前記患者の前記ターゲット位置を見ている、ステップと、
前記手術可視化カメラへの前記ローカライザの前記第１の変換及び前記手術可視化カメラへの前記ローカライザの前記第２の変換を使用して、前記患者の前記ターゲット位置に対する、前記患者の関連する患者の解剖学的構造の姿勢を決定するために前記患者の患者位置登録を行うステップと、
前記患者の前記ターゲット位置への前記患者データの前記変換を使用して、前記ローカライザへの前記患者の前記ターゲット位置の変換を生成するステップと、
前記ローカライザへの前記ターゲット位置の前記変換に基づいて、前記手術可視化カメラへの前記患者に対応する前記患者データの変換を生成するステップと、
を含む、
付記１９に記載の非一時的なコンピュータ可読媒体。
【図1A】
【図1B】
【図1C】
【図1D】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【国際調査報告】