特表2024-525733手術前及び手術中のシーンの画像データを表示する方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-12
(54)【発明の名称】手術前及び手術中のシーンの画像データを表示する方法及びシステム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240705BHJP
【ＦＩ】
A61B34/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024501766
(86)(22)【出願日】2022-07-13
(85)【翻訳文提出日】2024-03-12
(86)【国際出願番号】 US2022036931
(87)【国際公開番号】W WO2023287862
(87)【国際公開日】2023-01-19
(31)【優先権主張番号】63/221,428
(32)【優先日】2021-07-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521002305
【氏名又は名称】プロプリオ インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(74)【代理人】
【識別番号】100141553
【弁理士】
【氏名又は名称】鈴木 信彦
(72)【発明者】
【氏名】パウエル イヴ マリア
(72)【発明者】
【氏名】フィオレッラ デヴィッド リー
(72)【発明者】
【氏名】ファーリー カミーユ チェリ
(72)【発明者】
【氏名】フランツィ デヴィッド
(72)【発明者】
【氏名】ミクレット ニコラス マシュー
(72)【発明者】
【氏名】ジョーンズ アダム ガブリエル
(57)【要約】
媒介現実イメージングシステム、方法及びデバイスを本書で開示する。いくつかの実施形態において、イメージングシステムは、（i）手術のシーンの手術中の画像データを実質的にリアルタイムに取り込む、（ii）シーンの中で器具を追跡するように構成されるカメラアレイを含む。イメージングシステムは、シーンにおける患者の一部に対応するメディカルスキャンデータなどの手術前の画像データを受け取る及び／又は記憶するように、さらに構成される。イメージングデバイスは、手術前の画像データを手術中の画像データへ重ね合わせ、手術前の画像データ及び器具の表示を、ヘッドマウントディスプレイのようなユーザインターフェイス上に表示することができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ユーザインターフェイス上に３次元（３Ｄ画像データ）を表示する方法であって、前記３Ｄ画像データを物理的なシーンに重ね合わせることと、
前記物理的なシーンを通して機器を追跡することと、
前記３Ｄ画像データ及び前記機器の表示を前記ユーザインターフェイス上に表示することと、
前記３Ｄ画像データの断面図を表示することとを含む、方法。
【請求項2】
前記方法は、前記機器の追跡された位置に基づいて前記３Ｄ画像データに対する前記断面図の位置を決定することをさらに含む、請求項１に記載の方法。
【請求項3】
前記断面図を表示することは、前記機器の長軸に直交して方向付けられる前記断面図を表示することを含む、請求項２に記載の方法。
【請求項4】
前記方法は、カメラアレイを使って前記物理的なシーンの画像データを取り込むことと、
前記カメラアレイからの前記画像データに基づいて、仮想カメラの視野に対応する仮想画像を合成することと、
前記仮想カメラの前記視野に基づいて、前記３Ｄ画像データに対する前記断面図の位置を決定することとをさらに含む、請求項１に記載の方法。
【請求項5】
前記断面図の前記位置を決定することは、前記仮想カメラの前記視野から予め決められた距離となるように前記位置を決定することを含む、請求項４に記載の方法。
【請求項6】
前記断面図の前記位置を決定することは、前記３Ｄ画像データに対して所定の深度となるように前記位置を決定することを含む、請求項４に記載の方法。
【請求項7】
前記断面図を表示することは、前記仮想カメラの前記視野に平行に方向付けられた前記断面図を表示することを含む、請求項４に記載の方法。
【請求項8】
前記３Ｄ画像データの断面図を表示することは、前記３Ｄ画像データにおいて表されるオブジェクトの内面の物理的な形状を表示することを含む、請求項１に記載の方法。
【請求項9】
前記３Ｄ画像データはコンピュータ断層撮影（ＣＴ）データを含み、前記３Ｄ画像データは患者の脊柱の一部である、請求項１に記載の方法。
【請求項10】
３次元（３Ｄ）画像データをユーザインターフェイス上に表示する方法であって、表面を定める前記３Ｄ画像データを物理的なシーンに重ね合わせることと、
前記物理的なシーンの中で機器を追跡することと、
前記３Ｄ画像データ及び機器の表示を前記ユーザインターフェイス上に表示することと、
前記機器及び前記表面の間の距離を計算することと、
前記ユーザインターフェイス上の前記距離を表示することとを含む、方法。
【請求項11】
前記距離を計算することは前記距離をリアルタイムで計算することを含み、前記距離を表示することは前記リアルタイムの距離を表示することを含む、請求項１０に記載の方法。
【請求項12】
前記距離は、前記機器の長軸方向軸に沿った前記機器の先端と前記３Ｄ画像データの前記表面との間の距離である、請求項１０に記載の方法。
【請求項13】
前記表面は前記３Ｄ画像データの内部表面である、請求項１０に記載の方法。
【請求項14】
前記表面は前記３Ｄ画像データの外部表面である、請求項１０に記載の方法。
【請求項15】
前記方法は、前記機器と前記表面との間の前記距離の計算の前に、前記機器と前記表面との間の既知の距離を受け取ることをさらに含む、請求項１０に記載の方法。
【請求項16】
前記距離は、前記３Ｄ画像データの表面下の前記機器の先端の深度である、請求項１０に記載の方法。
【請求項17】
前記方法は、前記距離に基づいて、前記機器が前記３Ｄ画像データの前記表面を破損し得る可能性及び／又は予測される場所を決定することと、
前記可能性及び／又は前記予測される場所の表示を表示することとをさらに含む、請求項１０に記載の方法。
【請求項18】
前記表示を表示することは、前記ユーザインターフェイス上で前記３Ｄ画像データの一部を強調することを含む、請求項１７に記載の方法。
【請求項19】
前記機器は手術用の器具、手術用の移植物、又は手術用の移植物に結合した手術用の器具である、請求項１０に記載の方法。
【請求項20】
前記方法は、前記距離に基づいて、前記機器は前記３Ｄ画像データの前記表面を破損したことを決定することと、
前記機器が前記３Ｄ画像データの前記表面を破損したことの表示を表示することとをさらに含む、請求項１０に記載の方法。
【請求項21】
３次元（３Ｄ）画像データをユーザインターフェイス上に表示することを含む方法であって、表面を定める前記３Ｄ画像データを物理的なシーンへ重ね合わせることと、
前記物理的なシーンを通して機器を追跡することと、
前記３Ｄ画像データ及び前記機器の表示を前記ユーザインターフェイス上に表示することと、
前記機器と前記表面との間の距離を計算することと、
前記距離が予め定められた閾値より小さいときに、表示を前記ユーザインターフェイス上に表示することとを含む、方法。
【請求項22】
前記表示を表示することは、前記ユーザインターフェイス上で前記３Ｄ画像データの一部を強調表示すること、及び／又は前記インターフェイス上で前記機器の表示の一部を強調表示することを含む、請求項２１に記載の方法。
【請求項23】
前記表示は、前記機器が前記３Ｄ画像データの前記表面を破損し得る可能性及び／又は予測される場所を示す、請求項２１に記載の方法。
【請求項24】
前記表示は、前記機器が前記３Ｄ画像データの前記表面を破損したことを示す、請求項２１に記載の方法。
【請求項25】
前記機器は手術用の器具、手術用の移植物、又は手術用の移植物に結合した手術用の器具である、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連する出願の相互参照）
本出願は、２０２１年７月１３日に出願された米国仮出願第６３/２２１，４２８号対する優先権の利益を主張し、よってその全体が参照によって組み込まれる。
本出願は、２０２１年７月１３日に出願された米国仮出願第６３/２２１，４２８号対する優先権の利益を主張し、よってその全体が参照によって組み込まれる。
【0002】
本技術は一般的に、手術前の医療画像（例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ）などの、あらかじめ取り込まれた画像データを表示する方法及びシステムに関する。
【背景技術】
【0003】
媒介現実システムにおいて、画像処理システムは、状況を表す視覚情報を加える、減らす及び／又は変更する。手術の用途のために、媒介現実システムは、より効率良くかつ正確に外科的なタスクを実施することにおいて、外科医に、外科医を助ける文脈情報とともに望まれる視野から手術部位を見ることを可能にすることができる。手術を実施するとき、外科医はコンピュータ断層撮影（ＣＴ）スキャン画像などの手術前の患者の解剖学的構造の３次元画像に頻繁に頼る。しかしながら、画像を手術に関する手順に容易に結び付けることができないために、このような手術前の画像の有用性は限られる。例えば、手術前のセッションにおいて画像が取り込まれたために、手術前の画像において取り込まれた相対的な解剖学的構造上の位置は、手術に関する手順の間のそれらの実際の位置と異なることがある。そのうえ、手術中に手術前の画像を利用するために、外科医は手術部位と手術前の画像のディスプレイに彼らの注意を分割しなければならない。手術前の画像の異なる層の間で操作することは、作業から外科医の集中を逸らす際立った注意をまた要求する。
【0004】
本技術は概して、媒介現実の観測者へのシーンのリアルタイム又は準リアルタイムの３次元（３Ｄ）仮想視野を生成する及び手術前の医療画像（例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ）などの以前に取り込まれた画像データを３Ｄ仮想視野へ重ね合わせるための方法及びシステムに関する。
【0005】
本開示の多くの様態は、下記の図を参照してより良く理解することができる。図の構成要素は一定の縮尺にすることを必要としない。代わりに、本発明の原理を明確に図示することに重点を置いている。
【図面の簡単な説明】
【0006】
【図1】本技術の実施形態による、イメージングシステムの概要図である。
【図6A】本技術の実施形態による、３Ｄ画像を通じて近づける、挿入する、動かす機器を図示する。
【図6B】本技術の実施形態による、３Ｄ画像を通じて近づける、挿入する、動かす機器を図示する。
【図6C】本技術の実施形態による、３Ｄ画像を通じて近づける、挿入する、動かす機器を図示する。
【図6D】本技術の実施形態による、３Ｄ画像を通じて近づける、挿入する、動かす機器を図示する。
【図7A】本技術の実施形態による、異なるスライス面を含む異なる３Ｄ画像データを図示する。
【図7B】本技術の実施形態による、異なるスライス面を含む異なる３Ｄ画像データを図示する。
【図7C】本技術の実施形態による、異なるスライス面を含む異なる３Ｄ画像データを図示する。
【図7D】本技術の実施形態による、異なるスライス面を含む異なる３Ｄ画像データを図示する。
【図8】本技術の実施形態による、半透明で示される椎骨の３Ｄ画像データの拡大図である。
【図10A】本技術の追加の実施形態による、３Ｄ画像データ、並びに３Ｄ画像データを通じて近づける、挿入する及び動かす機器を図示する。
【図10B】本技術の追加の実施形態による、３Ｄ画像データ、並びに３Ｄ画像データを通じて近づける、挿入する及び動かす機器を図示する。
【図10C】本技術の追加の実施形態による、３Ｄ画像データ、並びに３Ｄ画像データを通じて近づける、挿入する及び動かす機器を図示する。
【図10D】本技術の追加の実施形態による、３Ｄ画像データ、並びに３Ｄ画像データを通じて近づける、挿入する及び動かす機器を図示する。
【図11A】本技術の実施形態による、患者の椎骨の略図である。
【図11B】本技術の実施形態による、患者の椎骨の略図である。
【図12】本義鬱の実施形態による、シーンの変化の後の物理的なシーンの深度情報を更新するプロセス又は方法のフロー図である。
【図14A】本技術の実施形態による、挿入菅の３Ｄ表示のオーバーレイを図示する３Ｄ画像データの軸方向、矢状、冠状の個々の断面図である。
【図14B】本技術の実施形態による、挿入菅の３Ｄ表示のオーバーレイを図示する３Ｄ画像データの軸方向、矢状、冠状の個々の断面図である。
【図14C】本技術の実施形態による、挿入菅の３Ｄ表示のオーバーレイを図示する３Ｄ画像データの軸方向、矢状、冠状の個々の断面図である。
【発明を実施するための形態】
【0007】
本技術の様態は、一般的に、手術の手順や関連する方法における使用などのための、画像誘導ナビゲーションシステム（例えば、拡張現実イメージングシステム、仮想現実イメージングシステム、媒介現実システム）へ向けられる。以下のいくつかの実施形態において、例えば、イメージングシステムは、（ｉ）手術のシーンの手術中の画像データ（例えば、ライトフィールドデータ及び／又は深度データ）を取り込むように構成される複数のカメラを含むカメラアレイ、及び（ｉｉ）カメラアレイに通信可能に結合された処理装置を含む。カメラアレイは、手術のシーンを通して１又は複数の器具（例えば、機器）を追跡するように構成される１又は複数の追跡装置を、さらに含むことができる。処理装置は、少なくともカメラのサブセットからの画像データに基づいて、リアルタイムの又は準リアルタイムにおけるシーンの仮想視野に対応する３次元（３Ｄ）仮想画像を合成する／生成するように構成することができる。処理装置は、外科医又はイメージングシステムの他のオペレーターなどの観察者によって見ることのために、ディスプレイ装置（例えば、ヘッドマウントディスプレイ（ＨＭＤ））に、３Ｄ仮想画像を出力することができる。イメージングシステムは、手術前の画像データを受け取る及び／又は記憶するように、さらに構成される。手術前の画像データは、背骨の手術の手順中の患者の脊柱などの、シーンにおける患者の一部に対応する、メディカルスキャンデータ（例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ）とすることができる。
【0008】
処理装置は、例えば、手術前及び手術中の画像データの両方を表す３Ｄデータセットにおいて、可視の基準マーカー及び／又は他の特徴点を重ね合わせること／又は合わせることによって、手術前の画像データを、手術中の画像データに重ね合わせることができる。処理装置は、手術前の画像をディスプレイ装置に、器具の表示とともに、さらに表示することができる。これは、外科医などのユーザが、手術中の基本的な患者の３Ｄ解剖学的構造、及び３Ｄ解剖学的構造に対する器具の位置を同時に見るようにすることができる。
【0009】
いくつかの実施形態において、処理は、器具の位置及び／又は（例えば、ユーザによって装着されたＨＭＤ及び／又はイメージングシステムによって生成された仮想カメラの位置及び方向に基づく）ユーザのビューに基づいて、手術前の画像データの断面図を表示することができる。いくつかの実施形態において、処理装置は器具と手術前の画像データの表面との間の距離（例えば、深度）を計算するように構成される。いくつかの実施形態において、距離をディスプレイ装置に表示し、リアルタイムで更新することができる。いくつかの実施形態において、ディスプレイ装置は、距離が予め定められた閾値よりも小さいときに、例えば、器具が患者の解剖学的構造を破り得る、及び／又は患者の解剖学的構造を破ったという指示をユーザへ提供するなどの仮想の指示を提供することができる。
【0010】
本技術の複数の実施形態の具体的な詳細を、図１-１４Ｃを参照しながら、本明細書で説明する。本技術は、しかしながら、これらの具体的な詳細のいくつかを無しに実施することができる。場合によっては、カメラアレイ、ライトフィールドカメラ、画像再構成、重ね合わせプロセス、ユーザインターフェイスなどに頻繁に関連付けられるよく知られた構造及び技術は、本技術を不明瞭にしないために詳細を示さない。以下の説明で使用される専門用語は、本開示の一定の特定の実施形態の詳細な説明とともに使用されるとはいえ、そのもっとも広く合理的な意味で解釈されることを意図する。一定の用語さえ以下で強調されることがあるが、任意の専門用語は、この発明の詳細な説明の項におけるように明白かつ明確に定められる任意の制限された手法で解釈さえることを意図する。
【0011】
その上、背骨の手術のシーンの手術前の画像データ及び／又は手術中の画像データを表示することの文脈において頻繁に説明されるとはいえ、本技術の方法及びシステムは、他の形式の画像データを表示するために使用することができる。例えば、本技術のシステム及び方法は、予め取り込まれたデータ及びリアルタイムの画像の融合を含む、シーンの媒介現実のビューを生成するために、シーンの任意の予め取り込まれた画像データを表示するように、より一般的に使用することができる。
【0012】
添付の図は、本技術の実施形態を描き、その範囲を制限することを意図しない。描かれた要素は、一定の縮尺で描写されることを必要とせず、種々の要素は、可読性を向上するために、任意に拡大され得る。構成要素の詳細は、本技術を作成する及び使用する方法の完璧な理解に対して詳細が不必要であるので、詳細を除くために、図において抽象化され得る。図において示される詳細、寸法、角度又は他の特徴は、本開示の特定の実施形態の単なる例証である。よって、他の実施形態は、本技術の本質及び範囲から逸れることなく、他の寸法、角度及び特徴を有することができる。
【0013】
本明細書で提供する表題は、ただ便宜上のものであり、開示される内容を制限するように解釈されるべきでない。引用によって本明細書へ組み込まれる任意の要素が本開示と対立する範囲で、本開示が制御する。
【0014】
（Ｉ．イメージングシステムの選択された実施形態）
図１は、本技術の実施形態による、イメージングシステム１００（「システム１００」）の概要図である。いくつかの実施形態において、システム１００は、合成拡張現実システム、仮想現実イメージングシステム、拡張現実イメージングシステム、媒介現実イメージングシステム、及び／又は非没入型のコンピューテーショナルイメージングシステムとすることができる。図示された実施形態において、システム１００は、１又は複数のディスプレイ装置１０４、１又は複数の入力コントローラー１０６及びカメラアレイ１１０に通信可能に結合された、処理装置１０２を含む。他の実施形態において、システム１００は、追加の、より少数の又は異なる構成要素を包含することができる。いくつかの実施形態において、システム１００は、それぞれがその全体の参照によって本明細書へ組み込まれる、（ｉ）「CAMERA ARRAY FOR A MEDIATED-REALITY SYSTEM」と題され、２０１９年９月２７日に出願された米国特許出願第１６／５８６，３７５号、及び／又は（ｉｉ）「METHODS AND SYSTEMS FOR IMAGING A SCENE, SUCH AS A MEDICAL SCENE, AND TRACKING OBJECTS WITHIN THE SCENE」と題され、２０２０年５月１２日に出願された米国特許出願第１５／９３０，３０５号において開示されたそれらの媒介現実イメージングシステムに、一般的に類似又は同一であるいくつかの特徴を含み得る。
図１は、本技術の実施形態による、イメージングシステム１００（「システム１００」）の概要図である。いくつかの実施形態において、システム１００は、合成拡張現実システム、仮想現実イメージングシステム、拡張現実イメージングシステム、媒介現実イメージングシステム、及び／又は非没入型のコンピューテーショナルイメージングシステムとすることができる。図示された実施形態において、システム１００は、１又は複数のディスプレイ装置１０４、１又は複数の入力コントローラー１０６及びカメラアレイ１１０に通信可能に結合された、処理装置１０２を含む。他の実施形態において、システム１００は、追加の、より少数の又は異なる構成要素を包含することができる。いくつかの実施形態において、システム１００は、それぞれがその全体の参照によって本明細書へ組み込まれる、（ｉ）「CAMERA ARRAY FOR A MEDIATED-REALITY SYSTEM」と題され、２０１９年９月２７日に出願された米国特許出願第１６／５８６，３７５号、及び／又は（ｉｉ）「METHODS AND SYSTEMS FOR IMAGING A SCENE, SUCH AS A MEDICAL SCENE, AND TRACKING OBJECTS WITHIN THE SCENE」と題され、２０２０年５月１２日に出願された米国特許出願第１５／９３０，３０５号において開示されたそれらの媒介現実イメージングシステムに、一般的に類似又は同一であるいくつかの特徴を含み得る。
【0015】
図示された実施形態において、カメラアレイ１１０は、異なる視野からのシーン１０８の画像（例えば、第一の画像データ）を取り込むようにそれぞれが構成される（第一のカメラとして参照されることもある、カメラ１１２ａ－１１２ｎとして個々に識別される）複数のカメラ１１２を含む。シーン１０８は、例えば、手術中又は別の医療手順中の患者を含むことがある。他の実施形態において、シーン１０８は、別の形式のシーンとすることができる。カメラアレイ１１０は、シーン１０８を通して及び／又はシーン１０８においてオブジェクトの動作及び／又は方向を追跡するために、先端１０９を含む機器１０１（例えば、手術機器又は器具）などの１又は複数のオブジェクトの位置データを取り込むように構成される（追跡装置１１３ａ－１１３ｎとしてここに識別される）ハードウェア１１３を追跡する複数の専用オブジェクトをさらに含む。いくつかの実施形態において、カメラ１１２及び追跡装置１１３は、それぞれに対して固定された場所及び方向（例えば、姿勢）に位置する。例えば、カメラ１１２及び追跡装置１１３は、予め定められて固定された場所及び方向において、取り付け構造（例えば、フレーム）によって／に対して構造的に安定し得る。いくつかの実施形態において、隣接するカメラ１１２が重複するシーン１０８のビューを共有するように、カメラ１１２が位置付けられ得る。一般的に、シーン１０８の全ての又は選ばれた部分の明瞭かつ正確な取り込みを最大にするように、カメラ１１２の位置が選ばれ得る。同様に、隣接する追跡装置１１３が、シーン１０８の重複するビューを共有するように、追跡装置１１３が位置することができる。したがって、カメラ１１２及び追跡装置１１３の全て又はサブセットは、位置及び方向などの外因性のパラメータを持ちうる。
【0016】
いくつかの実施形態において、カメラアレイ１１０のカメラ１１２は、（閾値の一時的エラー内で）シーン１０８の画像を同時に取り込むために、同期される。いくつかの実施形態において、カメラ１１２の全て又はサブセットは、シーン１０８から発しているライトフィールドについての情報（例えば、シーン１０８における光線の強度についての情報、さらに光線が空間を進行している方向についての情報）を取り込むように構成されるライトフィールド、プレノプティック、ＲＧＢ及び／又はハイパースペクトルカメラとすることができる。それゆえに、いくつかの実施形態に、カメラ１１２によって取り込まれた画像は、シーン１０８の表面形状を表す深度情報をエンコードすることができる。いくつかの実施意形態において、カメラ１１２は実質的に同一である。他の実施形態において、カメラ１１２は、異なる種類の複数のカメラを含むことができる。例えば、カメラ１１２の異なるサブセットは、焦点距離、センサーの種類、光学要素などのような、異なる固有のパラメータを有することができる。カメラ１１２は、電荷結合素子（ＣＣＤ）及び／又はcomplementary metal-oxide semiconductor（ＣＭＯＳ）画像センサー及び関連する光学部品を有することができる。このような光学部品は、より大きなマクロレンズ、マイクロレンズアレイ、プリズム及び／又は負レンズと組み合わせて、レンズ付きの又は露出した個々の画像センサーを含む種々の構成を含むことができる。例えば、カメラ１１２は、各々が自身の画像センサー及び光学部品を有する、独立したライトフィールドカメラとすることができる。他の実施形態として、カメラ１１２のいくつか又は全ては、共通の画像センサーを共有するマイクロレンズアレイ（ＭＬＡ）の独立したマイクロレンズレット（例えば、レンズレット、レンズ、マイクロレンズ）を包含することができる。
【0017】
いくつかの実施形態において、追跡装置１１３は、各々が他の追跡装置１１３と比較して異なる視野からシーン１０８の画像を取り込むように構成される赤外線（ＩＲ）カメラなどのイメージングデバイスとする。よって、追跡装置１１３及びカメラ１１２は、異なるスペクトル感受性（例えば、赤外線対可視光線）を有することができる。いくつかの実施形態において、追跡装置１１３は、機器１０１に結合されたマーカー１１１などの、シーン１０８における複数の光学マーカー（例えば、基準マーカー、マーカーボール）の画像データを取り込むように構成される。
【0018】
図示された実施形態において、カメラアレイ１１０は、深度センサーをさらに含む。いくつかの実施形態において、深度センサー１１４は、（ｉ）構造化光パターンを、シーン１０８上へ／中へ投影するように構成される１又は複数のプロジェクター１１６、及び（ｉｉ）プロジェクター１１６によってシーン１０８上へ投影される構造化光を含むシーン１０８の第二の画像データを取り込むように構成される（第二のカメラとしても参照される）１又は複数の深度カメラ１１８を含む。プロジェクター１１６及び深度カメラ１１８は、同様の波長において操作することができ、いくつかの実施形態において、カメラ１１２と異なる波長において操作することができる。例えば、カメラ１１２は、第一の画像データを、可視スペクトルにおいて取り込むことができるが、一方で深度カメラ１１８は、第二の振動データを、赤外線スペクトルにおいて取り込むことができる。いくつかの実施形態において、深度カメラ１１８は、カメラ１１２の解像度よりも低い解像度を有する。例えば、深度カメラ１１８は、カメラ１１２の解像度の７０％、６０％、５０％、４０％、３０％、又は２０％よりも低い解像度を有することができる。他の実施形態において、深度センサー１１４は、シーン１０８の表面形状の決定のために、他の種類の専用の深度検出ハードウェア（例えば、ＬｉＤＡＲ検出器）を含むことができる。他の実施形態において、カメラアレイ１１０は、プロジェクター１１６及び／又は深度カメラ１１８を省くことができる。
【0019】
図示された実施形態によって、処理装置１０２は、画像処理装置１０３（例えば、画像プロセッサ、画像処理モジュール、画像処理ユニット）、重ね合わせ処理装置１０５（例えば、重ね合わせプロセッサ、重ね合わせ処理モジュール、重ね合わせ処理ユニット）、及び追跡処理装置１０７（例えば、追跡プロセッサ、追跡処理モジュール、追跡処理ユニット）を含む。画像処理装置１０３は、（ｉ）カメラ１１２によって取り込まれた第一の画像データ（例えば、ライトフィールド画像、ハイパースペクトル画像、ライトフィールド画像データ、ＲＧＢ画像）、及び深度センサー１１４から深度情報（例えば、深度カメラ１１８によって取り込まれた第二の画像データ）を受け取る、及び（ｉｉ）仮想カメラ視野に応じたシーン１０８の３次元（３Ｄ）出力画像を合成する（例えば、生成する、再構成する、描写する）ために、画像データ及び深度情報を処理する。出力画像は、仮想カメラ視野に対応する任意の位置及び方向に配置されるカメラによって取り込まれるだろうセンサー１０８の画像の推定に、対応することができる。いくつかの実施形態において、画像処理装置１０３は、さらに、カメラ１１２及び／又は深度カメラ１１８に対する較正データを受け取る及び／又は記憶するように、さらに画像データ、深度情報、及び．又は構成データに基づいて出力画像を合成するように、構成される。より具体的には、深度情報及び較正データは、仮想カメラ視野から見えるようなシーン１０８の３Ｄ（又は立体的な２Ｄ）描写として出力画像を合成するために、カメラ１１２からの画像とともに使用される／組み合わされることができる。いくつかの実施形態において、画像処理装置１０３は、「SYNTHESIZING AN IMAGE FROM A VIRTUAL PERSPECTIVE USING PIXELS FROM A PHYSICAL IMAGER ARRAY WEIGHTED BASED ON DEPTH ERROR SENSITIVITY」と題され、２０１９年６月２８日に出願された米国特許出願第１６／４５７，７８０号において開示され、その全体の参照によって本明細書へ組み込まれる任意の方法を使用して、出力画像を合成することができる。他の実施形態において、画像処理装置１０３は、深度センサー１１４からの深度情報を使用すること無しに、カメラ１１２によって取り込まれた画像のみに基づいて、仮想カメラ視野を生成するように構成される。例えば、画像処理装置１０３は、１又は複数のカメラ１１２によって取り込まれた異なる画像の間に挿入することによって、仮想カメラ視野を生成することができる。
【0020】
画像処理装置１０３は、カメラアレイ１１０におけるカメラ１１２のサブセット（例えば、２又はそれ以上）によって取り込まれた画像から、出力画像を合成することが可能で、全てのカメラ１１２からの画像は必ずしも利用されない。例えば、与えられた仮想カメラ視野に対して、処理装置１０２は、仮想カメラ視野が最も厳密に合致するように位置付けられ、方向付けられたカメラ１１２のうちの２つから立体的な組み合わせを選択することができる。いくつかの実施形態において、画像処理装置１０３（及び／又は深度センサー１１４）は、共通の起点に対するシーン１０８の各表面の点への深度を推定し、シーン１０８の表面形状を表す点群及び／又は３Ｄメッシュを生成するように構成される。例えば、いくつかの実施形態において、深度センサー１１４の深度カメラ１１８は、シーン１０８の深度情報を推定するために、プロジェクター１１６によってシーン１０８上に投影された構造化光を検出することができる。いくつかの実施形態において、画像処理装置１０３は、深度センサー１１４によって収集された情報を利用しながら又は利用せず、ライトフィールド対応、ステレオブロックマッチング、測光調和、対応、デフォーカス、ブロックマッチング、テクスチャ補助ブロックマッチング、構造化光などのような技法を使用するカメラ１１２からの複数視点画像から、深度を推定することができる。他の実施形態において、深度は、別の波長において前記の方法を実施するカメラ１１２の特化したセットによって、獲得されることがある。
【0021】
いくつかの実施形態において、重ね合わせ処理装置１０５は、患者の３次元体積の画像データ（３Ｄ画像データ）などの、以前に取り込まれた画像データを受け取る及び／又は記憶されるように構成される。画像データは、例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ、核磁気共鳴画像法（ＭＲＩ）スキャンデータ、超音波画像、Ｘ線透視画像、並びに／若しくは他の医療用又は他の画像データを含むことができる。重ね合わせ処理装置１０５は、さらに、手術前の画像データを、カメラ１１２及び／又は深度センサー１１４によって、例えば、１又は複数の、２つの間の変換／変質／マッピングを決定することにより、取り込まれたリアルタイムの画像に重ね合わせるように構成される。処理装置１０２（例えば、画像処理装置１０３）は、次に、手術前の画像データが、仮想視野の変化と同時に、コマ送りベースでリアルタイム又は準リアルタイムのシーン１０８の出力画像と位置を合わせる（例えば、オーバーレイする）ことができるように、１又は複数の変換を、手術前の画像データに適用することができる。つまり、画像処理装置１０３は、例えば、外科医がシーン１０８における手術部位、及び手術中の患者の３Ｄの解剖学的構造を同時に見ることを可能にする媒介現実のビューを与えるために、手術前の画像データを、シーン１０８のリアルタイムの出力画像と融合することができる。いくつかの実施形態において、重ね合わせ処理プロセス１０５は、「METHODS AND SYSTEMS FOR REGISTERING PREOPERATIVE IMAGE DATA TO INTRAOPERATIVE IMAGE DATA OF A SCENE, SUCH AS A SURGICAL SCENE」と題され、２０２１年１月４日に出願された米国特許出願第１７／１４０，８８５号において開示され、その全体の参照によって本明細書へ組み込まれる任意の方法を使用することによって、以前に取り込まれた画像データを、リアルタイムの画像に重ね合わせることができる。
【0022】
いくつかの実施形態において、追跡処理装置１０７は、追跡装置１１３によって取り込まれた位置データを処理して、シーン１０８の周辺のオブジェクト（例えば、機器１０１）を追跡することができる。例えば、追跡処理装置１０７は、２又はそれ以上の追跡装置１１３によって取り込まれた２Ｄ画像におけるマーカー１１１の位置を決定することができ、２Ｄ位置データの三角測量によって、マーカー１１１の３Ｄ位置を計算することができる。より具体的には、いくつかの実施形態において、追跡装置１１４は、取り込まれた画像におけるマーカー１１１の中心などの、取り込まれた画像からの位置データの決定のための専用の処理ハードウェアを含む。追跡装置１１３は次に、マーカー１１１の３Ｄ位置を決定するために、位置データを、追跡処理装置１０７へ送信することができる。他の実施形態において、追跡処理装置１０７は、追跡装置１１３から未加工の画像データを受け取ることができる。手術の用途において、例えば、追跡されるオブジェクトは、手術機器、移植物、フィジシャンアシスタントの手又は腕、及び／又は自身に取り付けられたマーカー１１１を有する別のオブジェクトを包含することがある。いくつかの実施形態において、処理装置１０２は、追跡されるオブジェクトを、シーン１０８から独立しているように認識することができ、例えば、オブジェクトを強調すること、オブジェクトをラベル付けすること及び／又は透明性をオブジェクトに適用することによって追跡されるオブジェクトを区別するために、視覚効果を３Ｄ出力画像に適用することができる。
【0023】
いくつかの実施形態において、処理装置１０２に起因する機能、画像処理装置１０３、重ね合わせ処理装置１０５、及び／又は追跡処理装置１０７は、２又はそれ以上の実際の装置によって、実際上実装され得る。例えば、いくつかの実施形態において、（示されない）同期コントローラーは、プロジェクター１１６によって表示される画像を制御し、高速の、マルチフレームの、マルチカメラの構造化された光スキャンを可能にするために、カメラ１１２とプロジェクター１１６との間の同期を確実にするように、同期信号をカメラ１１２へ送ることができる。加えて、このような同期コントローラーは、カメラアレイ１１０のカメラのカメラ較正に特化した構造化された光スキャン、カメラのセッティング及びカメラ較正データのパラメータなどのハードウェア特化構成を記憶するパラメータサーバとして操作することができる。同期コントローラーは、ディスプレイ装置１０４を制御するディスプレイコントローラーから、独立した実際の装置に実装され得る、又は装置は一緒に統合され得る。
【0024】
処理装置１０２は、プロセッサ、及びプロセッサによって実施されるときに、本明細書で説明するような、処理装置１０２に起因する機能を実行する命令を記憶する非一時的コンピュータ可読記憶媒体を包含することができる。要求されないとはいえ、本技術の様態及び実施形態は、例えばサーバ又はパーソナルコンピュータなどの汎用コンピュータによって実行されるルーチンなどの、コンピュータ実行可能命令の一般的な文脈において説明され得る。当業者は、本技術は、インターネットアプライアンス、手持ち装置、ウェアラブルコンピュータ、セルラーフォン又はモバイルフォン、マルチプロセッサシステム、マイクロプロセッサベース又はプログラム可能家電、セットトップボックス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどの他のコンピュータシステム構成で実施することができると認識するであろう。本技術は、以下で詳述する１又は複数のコンピュータ実行可能命令を実施するように特定の用途でプログラムされる、設計される又は構成される専用コンピュータ又はデータプロセッサにおいて具体化され得る。さらに、本明細書で一般に使用される「「コンピュータ」の用語（又は似た用語）は、プロセッサ及びネットワーク通信回路などの他の構成要素を有するゲームデバイス、カメラ又は他の電子機器などの家電用品を含むネットワークと通信する能力のある任意のデータプロセッサ又は任意のデバイスと同様に任意の上記のデバイスを指す。
【0025】
本技術は、また、通信ネットワークを通して、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）又はインターネットなどの遠隔処理装置によってタスク又はモジュールが実施される分散コンピューティング環境において実践することができる。分散コンピューティング環境において、プログラムモジュール又はサブルーチンは、ローカル又は遠隔メモリ記憶装置の両方に置かれ得る。以下で説明する本技術の様態は、チップ（例えば、ＥＥＰＲＯＭ又はフラッシュメモリチップ）として格納された磁気的に及び光学的に可読の並びに取り外し可能のコンピュータディスクを含むコンピュータ可読メディア上に記憶される又は配布されることがある。代わりに、本技術の様態は、インターネット上で又はネットワーク（無線ネットワークを含む）上で、電子的に分散され得る。当業者は、本技術の一部は、対応する部分はクライアントコンピュータ上に存在する一方で、サーバコンピュータ上に存在できることを認識するであろう。本技術の様態に特化するデータのデータ構造及び送信は、また、本技術の範囲内に含まれる。
【0026】
仮想カメラ視野は、カメラの位置及び回転のユーザによる変化に基づく仮想カメラ視野を更新する入力コントローラー１０６によって制御される。仮想カメラ視野に対応する出力画像は、ディスプレイ装置１０４へ出力され得る。いくつかの実施形態において、画像処理装置１０３は、カメラアレイ１１０を物理的に動かすことなく異なる３Ｄ出力画像を生成するために、仮想カメラの（例えば、入力コントローラーからの入力に基づく）視野、被写界深度（例えば、アパーチャー）、焦点面、及び／又は別のパラメータを変化させることができる。ディスプレイ装置１０４は、出力画像（例えば、ソーン１０８の合成された３Ｄ描写）を受け取り、１又は複数の観察者によって見られるための出力画像を表示するように構成される。いくつかの実施形態において、処理装置１０２は、ディスプレイ装置１０４の観察者によって知覚されるように（例えば、少なくともカメラアレイ１１０のフレームレートくらい早く）実質的にリアルタイムで仮想視野に対応する出力画像を生成するために、入力コントローラー１０６からの入力を受け取る及び処理する、並びにカメラアレイ１１０から取り込まれた画像を処理することができる。
【0027】
そのうえ、ディスプレイ装置１０４は、任意の（ｉ）シーン１０８内の追跡されるオブジェクト（例えば、手術用の器具）、及び／又は（ｉｉ）重ね合わされた又は重ね合わせを解除された手術前の画像データの仮想視野の画像の上／中にグラフ表示することができる。つまり、例えば、システム１００は、情報をカメラ１１２によって取り込まれたシーン１０８の「通過する」画像の上にオーバーレイして位置を合わせることによって、（例えば、ディスプレイ装置１０４を介して）拡張されたデータをシーン１０８へ混合することができる。そのうえ、システム１００は、変調現実体験を作成することが可能で、カメラ１１２によって取り込まれるシーン１０８は、シーン１０８のライトフィールド画像日時を使用して再構成され、機器は、追跡装置１１３からの情報を介して、再構成されたシーンにおいて仮想的に表される。加えて又は代わりに、システム１００は、オリジナルのシーン１０８を取り除き、手術前に取り込まれた画像データの重ね合わされた及び代表的な配置に完全に置き換えることができ、それによって、ユーザのタスクに関係のないシーン１０８における情報を取り除く。
【0028】
ディスプレイ装置１０４は、例えば、ヘッドマウントディスプレイ装置、モニター、コンピュータディスプレイ、及び／又は別のディスプレイ装置を包含することができる。いくつかの実施形態において、入力コントローラー１０６及びディスプレイ装置１０４は、ヘッドマウントディスプレイへ統合され、入力コントローラー１０６は、ヘッドマウントディスプレイ装置の位置及び方向を検出するモーションセンサーを包含する。仮想視野が、ヘッドマウントディスプレイ装置１０４を装着した観察者によって見られうる視野に対応するように、基準フレームで計算された深度（例えば、深度センサー１１４によって計算されたような）においてヘッドマウントディスプレイ装置１０４の位置及び方向に対応するために、仮想カメラ視野を次に得ることができる。よって、このような実施形態において、ヘッドマウントディスプレイ装置１０４は、ヘッドマウントディスプレイ装置１０４無しに観測者によって見られうるように、シーン１０８のリアルタイムの描写を提供することができる。代わりに、入力コントローラー１０６は、観察者に、ディスプレイ装置１０４によって表示される仮想視野の手動制御を可能にするユーザ制御の制御装置（例えば、マウス、ポインティングデバイス、ハンドヘルドコントローラー、動作認識コントローラーなど）を包含することができる。
【0029】
図２は、本技術の実施形態による、手術の用途で手術システム１００を用いる手術環境の透視図である。図示された実施形態において、カメラアレイ１１０は、シーン１０８（例えば、手術部位）の上方に位置付けられ、ワークステーション２２４に操作可能に結合される動作可能なアーム２２２によって支えられる／位置付けられる。いくつかの実施形態において、アーム２２２は、カメラアレイ１１０を位置付けるように手動で動かすことができるが、他の実施形態においては、アーム２２２は、入力コントローラー１０６（図１）及び／又は別のコントローラーに反応して、ロボット的に制御され得る。図示された実施形態において、ディスプレイ装置１０４は、ヘッドマウントディスプレイ装置（例えば、仮想現実ヘッドセット、拡張現実ヘッドセットなど）とする。ワークステーション２２４は、処理装置１０２、ディスプレイ装置１０４、入力コントローラー、カメラアレイ１１０及び／又は図１に示されるシステム１００の他の構成要素の種々の機能を制御するためのコンピュータを含むことができる。よって、いくつかの実施形態において、処理装置１０２及び入力コントローラー１０６は、ワークステーション２２４にそれぞれ統合される。いくつかの実施形態において、ワークステーション２２４は、種々の構成機能を実施するためのユーザインターフェイス、ディスプレイ装置１０４上のディスプレイの映し出された画像、及び／又は他の有用な視覚画像／指示を表示することができる二次ディスプレイ２２６を含む。他の実施形態において、システム１００は、より多くの又はより少ないディスプレイ装置を含むことができる。例えば、ディスプレイ装置１０４及び二次ディスプレイ２２６に加えて、システム１００は、ディスプレイ装置１０４を装着するユーザが見ることができる別のディスプレイ（例えば、医療グレードコンピュータモニター）を含むことができる。
【0030】
図２Ｂは、本技術の実施形態による、４つのカメラ１１２を図示するシステム１００の一部の等角図である。システム１００の他の構成要素（例えば、カメラアレイ１１０の他の部分、処理装置１０２など）は、明快にするために、図２Ｂに示さない。図示される実施形態において、カメラ１１２の各々は、視野２２７、及び焦点軸２２９を有する。さらに、深度センサー１１４は、シーン１０８の一部に位置を合わせた視野２２８を有し得る。カメラ１１２は、イメージングボリュームをともに定めるために視野２２７がシーン１０８の一部に位置を合わせ、少なくとも部分的に互いを重ねるように方向付けられることがある。いくつかの実施形態において、いくつかの又は全ての視野２２７、２２８が、少なくとも部分的に重なる。例えば、図示された実施形態において、視野２２７、２２８は、シーン１０８に置かれる患者（例えば、人間の患者）の脊柱２０９の一部を含む共通の測定領域へ向けて集中する。いくつかの実施形態において、カメラ１１２は、さらに、焦点軸２２９がシーン１０８の共通の点へ集中するように、方向付けられる。本技術のいくつかの様態において、焦点軸２２９の集中／位置合わせは、カメラ１１２の間の差異の測定値を、概して最小化することができる。いくつかの実施形態において、カメラ及び深度センサー１１４は、互いに対して固定して位置付けられ（例えば、共通のフレームに堅く取り付けられる）、互いに対するカメラ１１２及び深度センサー１１４の位置が知られる、及び／又は較正プロセスを介してすぐに決定される。他の実施形態において、システム１００は、異なる数のカメラ１１２を含むことができる、及び／又はカメラ１１２は、互いに異なって位置付けることができる。いくつかの実施形態において、例えば、脊柱２０９をスキャンするように視野２２７、２２８を動かすために、（例えば、図２のアーム２２２を介して）カメラアレイ１１０を動かすことができる。
【0031】
図１－２Ｂを一緒に参照すると、本技術のいくつかの様態において、システム１００は、ユーザ（例えば、外科医）にシーン１０８の向上された「ボリュメトリックインテリジェンス」を提供するシーン１０８のデジタル化されたビューを生成することができる。例えば、デジタル化されたシーン１０８は、彼らデジタル化された画像を見ていないかのように（例えば、彼らがヘッドマウントディスプレイを装着していないかのように）彼らがシーン１０８を効果的に見るように、視野、方向及び／又は彼らの視点からユーザへ与えられ得る。しかしながら、デジタル化されたシーン１０８は、例えば、手術のワークフローを容易にするために、ユーザに彼らのビューをデジタル的に回転させる、拡大させる、切り取る又は別の方法で向上させる。さらに、ＣＴスキャンなどの最初の画像データは、外科医がそれらのデータセットを一緒に見ることができるようにするために、シーン１０８の画像上に位置を合わされ、オーバーレイされることがある。このような融合されたビューは、外科医が、手術で露出しない骨及び／又は組織の領域などの物理的なシーン１０８において不明瞭となることがある手術部位の様態を見ることができるようにすることがある。
【0032】
（ＩＩ．ユーザインターフェイスの選択された実施形態、並びに関連する方法及びシステム）
図３は、本技術の実施形態による、ディスプレイ装置１０４（例えば、ヘッドマウントディスプレイ装置）及び／又は二次ディスプレイ２２６を介してシステム１００のユーザが見ることができる、ユーザインターフェイス（例えば、ディスプレイ）３３０を図示する。図示された実施形態において、ユーザインターフェイス３３０は、手術のシーンなどの物理的なシーン３０８の３Ｄビュー（「３Ｄビュー３３２」）を表示する主要なビューポート又はパネル３３２を含む。図示された実施形態において、物理的なシーン３０８は、動的基準フレーム（ＤＲＦ）マーカー３３４、及び医療機器などの機器３０１（例えば、器具、オブジェクト）を含む。図１－２Ｂを加えて参照すると、カメラアレイ１１０は、ＤＲＦマーカー３３４及び器具３０１を追跡する及び／又は描くことができる。以下でさらに詳細に説明するように、ＤＲＦマーカー３３４部分は、物理的なシーン３０８と依然に取り込まれた３Ｄ画像データとの間の重ね合わせを動的に更新するように使用され得る。他の実施形態において、重ね合わせは、ＤＲＦマーカーに頼ること無しに、他の適する重ね合わせ方法を使用して継続して維持され得る。画像処理装置１０３は、機器３０１の３Ｄ表示を、３Ｄビュー３３２におけるインターフェイス３３０に描写することができ、さらにいくつかの実施形態において、ＤＲＦマーカー３３４の３Ｄ表示を表示することもできる。よって、ＤＲＦマーカー３３４及び／又は機器３０１は、３Ｄオブジェクトとして、３Ｄビュー３３２のユーザインターフェイス上でリアルタイム又は準リアルタイムでシーン３０８を通して動かされ、表され、及び更新され得る。いくつかの実施形態において、３Ｄビュー３３２は、カメラ１１２によって取り込まれ、画像処理装置１０３によって処理された他の画像データを含むことがある。例えば、シーン３０８は手術のシーンで、３Ｄビュー３３２は、カメラアレイ１１０の２又はそれ以上のカメラ１１２によって取り込まれた画像から画像処理装置１０３によって合成された（例えば、患者の脊柱の３Ｄ表示を含む）出力画像を含む／表示することができる。よって、３Ｄビュー３３２は、カメラアレイ１１０によって取り込まれた物理的なシーン３０８についての追加の情報を表示することができる。
図３は、本技術の実施形態による、ディスプレイ装置１０４（例えば、ヘッドマウントディスプレイ装置）及び／又は二次ディスプレイ２２６を介してシステム１００のユーザが見ることができる、ユーザインターフェイス（例えば、ディスプレイ）３３０を図示する。図示された実施形態において、ユーザインターフェイス３３０は、手術のシーンなどの物理的なシーン３０８の３Ｄビュー（「３Ｄビュー３３２」）を表示する主要なビューポート又はパネル３３２を含む。図示された実施形態において、物理的なシーン３０８は、動的基準フレーム（ＤＲＦ）マーカー３３４、及び医療機器などの機器３０１（例えば、器具、オブジェクト）を含む。図１－２Ｂを加えて参照すると、カメラアレイ１１０は、ＤＲＦマーカー３３４及び器具３０１を追跡する及び／又は描くことができる。以下でさらに詳細に説明するように、ＤＲＦマーカー３３４部分は、物理的なシーン３０８と依然に取り込まれた３Ｄ画像データとの間の重ね合わせを動的に更新するように使用され得る。他の実施形態において、重ね合わせは、ＤＲＦマーカーに頼ること無しに、他の適する重ね合わせ方法を使用して継続して維持され得る。画像処理装置１０３は、機器３０１の３Ｄ表示を、３Ｄビュー３３２におけるインターフェイス３３０に描写することができ、さらにいくつかの実施形態において、ＤＲＦマーカー３３４の３Ｄ表示を表示することもできる。よって、ＤＲＦマーカー３３４及び／又は機器３０１は、３Ｄオブジェクトとして、３Ｄビュー３３２のユーザインターフェイス上でリアルタイム又は準リアルタイムでシーン３０８を通して動かされ、表され、及び更新され得る。いくつかの実施形態において、３Ｄビュー３３２は、カメラ１１２によって取り込まれ、画像処理装置１０３によって処理された他の画像データを含むことがある。例えば、シーン３０８は手術のシーンで、３Ｄビュー３３２は、カメラアレイ１１０の２又はそれ以上のカメラ１１２によって取り込まれた画像から画像処理装置１０３によって合成された（例えば、患者の脊柱の３Ｄ表示を含む）出力画像を含む／表示することができる。よって、３Ｄビュー３３２は、カメラアレイ１１０によって取り込まれた物理的なシーン３０８についての追加の情報を表示することができる。
【0033】
３Ｄビュー３３２は、物理的なシーン３０８へ重ね合わされる以前に取り込まれた３Ｄ画像データ３３６をさらに含む／表示することができる。いくつかの実施形態において、以前に取り込まれた３Ｄ画像データ３３６（「３Ｄ画像データ３３６」例えば、最初の画像データ）は、手術前の画像データである。例えば、図示された実施形態において、３Ｄ画像データ３３６は、コンピュータ断層撮影（ＣＴ）スキャンデータ、核磁気共鳴画像法（ＭＲＩ）スキャンデータ、超音波画像データ、Ｘ線透過像データ並びに／若しくは他の医療又は他の画像データなどの、患者の椎骨の３Ｄ幾何データ及び／又は容積測定データを含む。いくつかの実施形態において、以前に取り込まれた３Ｄ画像データ３３６は、手術中に取り込むことができる。例えば、以前に取り込まれた３Ｄ画像データ３３６は、手術室の患者が取り込まれた、２Ｄ又は３ＤのＸ線像、Ｘ線透過像、ＣＴ画像、ＭＲＩ画像など、及びそれらの組み合わせを包含することがある。いくつかの実施形態において、以前に取り込まれた３Ｄ画像データ３３６は、点群、３次元（３Ｄ）メッシュ、及び／又は別の３Ｄデータセットを包含する。いくつかの実施形態において、以前に取り込まれた３Ｄ画像データ３３６は、（例えば、各椎骨ベースでセグメント化された）患者の脊柱のいくつか又は全てのセグメント３ＤＣＴスキャンデータを包含する。
【0034】
以下にさらに詳細に述べるように、図示された実施形態において、３Ｄ画像データ３３６は、断面図に表示される。３Ｄ画像データ３３６は、適する重ね合わせプロセスを使用して物理的なシーン３０８へ重ね合わされ得る。いくつかの実施形態において、３Ｄ画像データ３３６は、３Ｄ画像データ３３６及び物理的なシーン３０８の両方の対応する点を比較することによって、物理的なシーン３０８へ重ね合わされ得る。例えば、ユーザは機器３０１を、予め計画された患者の椎骨上のスクリューの進入点などの画像データ３３６の認識された点に対応する物理的なシーン３０８の点に触れさせることができる。システム１００は次に、点を比較することによって、３Ｄ画像データ３３６及び物理的な晩ね３０８の間の重ね合わせの変換を生成することができる。
【0035】
いくつかの実施形態において、３Ｄ画像データ３３６は、ＤＲＦマーカー３３４を使用して、物理的なシーン３０８へさらに重ね合わされることがある。図１－２Ｂを加えて参照して、例えば、重ね合わせプロセスは、ＤＲＦマーカー３３４を患者の椎骨に取り付けることと、追跡装置１１３を使用してＤＲＦマーカー３３４（例えば、そこへ取り付けられたマーカーボール）を設置することと、物理的なシーン３０８におけるＤＲＦマーカー３３６の位置及び方向に基づいて、３Ｄ画像データ３３６と物理的なシーン３０８との間の追加の位置合わせの変換を背性することとを含むことがある。ＤＲＦマーカー３３４は、それゆえに、ユーザが機器３０１を椎骨へ押し込むときなど、物理的なシーン３０８が変化するときに、重ね合わせを更新するために使用されることがある。よって、重ね合わせの後に、３Ｄ画像データ３３６は、３Ｄビュー３３２における物理的なシーン３０８に位置を合わせられる。よって、例えば、機器３０１、ＤＲＦマーカー３３４、及び３Ｄ画像データ３３６は、物理的なシーン３０８に存在する３Ｄ画像データ３３６に対応する機器３０１、ＤＲＦマーカー３３４及び実際のオブジェクト（例えば、患者の椎骨）として、３Ｄビュー３３２に表される。
【0036】
図示された実施形態において、ユーザインターフェイス３３０は、異なる２Ｄビュー（それぞれ、「第一から第三の２Ｄビュー３３８ａ－ｃ」）それぞれが表示する複数の追加の二次ビューポート又はパネル３３８をさらに含む。図示された実施形態において、主要なビューポート３３２は、二次ビューポート３３８よりも大きいが、他の実施形態において、ビューポイント３３２、３３８が、ユーザインターフェイス３３０に沿ってユーザインターフェイス３３０に異なるサイズ及び／又は相対位置を有することができる。いくつかの実施形態において、３Ｄ画像データ３３６は、複数の２Ｄ画像から生成された３Ｄモデルのセグメント化された部分とすることができる。例えば、３Ｄモデルは患者の脊柱の容積測定表示とすることがあり、３Ｄ画像データ３３６は無関係の情報及びノイズを取り除いた脊柱のセグメント化された３Ｄ形状とすることがある。よって、２Ｄビュー３３８は、３Ｄ画像データ３３６に対応する２Ｄ画像の各々とすることができる。例えば、図示された実施形態において、第一の２Ｄビュー３３８ａは、患者の脊柱の２Ｄ軸のＣＴビュー、第二の２Ｄビュー３３８ｂは、患者の脊柱の２Ｄ矢状ＣＴビュー、及び第三の２Ｄビュー３３８ｃは、患者の脊柱の２Ｄ冠状ＣＴビューとすることがある。本技術のいくつかの様態において、２Ｄビュー３３８は、ユーザが、データにおける所定の点（例えば、機器３０１の先端３４３）の水平の、垂直の及び深度の位置の明確な理解を提供する手法で、データの空間的表示を三角測量することを可能にする。
【0037】
いくつかの実施形態において、２Ｄビュー３３８は、セグメント化された３Ｄ画像３３６に対応する２Ｄ画像の一部の周囲の輪郭３３９を、それぞれ含むことがある。よって、例えば、輪郭３９９は、３Ｄビュー３３２に示される患者の椎骨のセグメント化された３Ｄ画像に対応する２Ｄビュー３３８に示される、それぞれの椎骨の周囲に広がることができる。いくつかの実施形態において、機器３０１はまた、２Ｄビュー３３８において示されることがある。例えば、機器３０１の先端３４３は、第三の２Ｄビュー３３８において、十字線として表される。いくつかの実施形態において、機器３０１の先端３４３の投影がユーザにとって見ることが困難である場所で、先端３４３の仮想表示は椎骨の２Ｄ冠状ビューにおけるユーザにより関連することがある。他の実施形態において、ユーザインターフェイス３３０は、より多くの、より少ない及び／又は異なるビューを含むことができる。例えば、図１及び２Ａを加えて参照すると、３Ｄビュー３３２及び２Ｄビュー３３８は、二次ディスプレイ２２６上に表示されることがあるが、３Ｄビュー３３２のみは、ディスプレイ装置１０４（例えば、ヘッドマウントディスプレイ）上に与えられる。
【0038】
いくつかの実施形態において、ユーザインターフェイス３３０は、（個別に第一から第五のアイコン３４２ａ－ｅとしてそれぞれ識別される）複数のアイコン３４２を含む情報及び／又はオプションバー３４０を含むことができる。図示された実施形態において、第三のアイコン３４２ｃは「軌跡を編集する」オプションを表示し、第四のアイコン３４２ｄは「ルーラー」オプションを表示し、第五のアイコン３４２ｅは「ビュー」オプションを表示する。いくつかの実施形態において、ユーザは、第三から第五のアイコン３４２ｃ－ｅへ、それらの関連する機能を引き起こすために、ユーザ入力（例えば、脚ペダルの押下、タッチスクリーンへのセッション、頭の動作、マウスのクリックなど）を提供することができる。例えば、第三のアイコン３４２ｃへのユーザ入力は、図１３Ａ及び１３Ｂを参照しながら以下で詳細に述べるように、３Ｄ画像データ３３６に対する移植物（例えば、スクリュー）又は器具のための予め計画された軌跡や、機器３０１から投影された起動などの軌跡が、３Ｄビュー３３２及び／又は２Ｄビュー３３８に重ねることができる。第四のアイコン３４２ｄへのユーザ入力は、図４Ａ－５Ｆを参照しながら以下で詳細に述べるように、ルーラーを３Ｄビュー３３２及び／又は２Ｄビュー３３８に重ねることができる。同様に、第五のアイコン３４２ｅへのユーザ入力は、（例えば、軸方向のビューから矢状方向のビューへなど）３Ｄビュー３３２の視野を変化させる、及び／又は種々のビューポート３３２、３３８の間のビューを交換することができる。図示された実施形態において、第一のアイコン３４２ａは、表示されたセグメント化された椎骨に対応する椎骨のレベルなどの、３Ｄ画像データ３３６についての情報を表示することができる。第二のアイコン３４２ｂは、ミリメータで測定された正確度などのような、３Ｄ画像データ３３６の物理的なシーン３０８への重ね合わせについての情報を表示することができる。他の実施形態において、情報及び／又はオプションバー３４０は、他の種類の情報を表示する、又は他の機能を引き起こすアイコンを含むことができる。
【0039】
図４Ａ－４Ｃは、本技術の実施形態による、３Ｄビュー３３２におけるルーラー４４４の表示を含む図３のユーザインターフェイス３３０を図示する。より具体的には、図４Ａ－４Ｃは、椎骨にスクリュー（例えば、椎弓根スクリュー）を埋め込むなどの、器具３０１を使用する手術の手順の異なる段階の間のルーラー４４４を図示する。よって、いくつかの実施形態において、機器３０１は、ドリル、スクリュードライバーなどとすることがある。脊柱の手術の文脈において述べられるとはいえ、ルーラー４４４は、他の手順の間もユーザインターフェイス３３０に実装され、表示され得る。
【0040】
図４Ａを参照すると、ルーラー４４４の表示は、例えば、第二のアイコン３４２ｂに関連するユーザ入力を介して引き起こされ得る。いくつかの実施形態において、ユーザは、例えば、３Ｄ画像データ３３６に対して機器３０１の先端３４３を、初期化点（例えば、進入点、起点）へ位置付けることによって、ルーラー４４４の位置を選択する／初期化することができる。例えば、ユーザは、第一に機器３０１を物理的なシーン３０８の物理的な椎骨の近くに位置付け、次に、ルーラー４４４を３Ｄ画像データ３３６に対して初期化及び配置するための第二のアイコン３４２ｂを起動して、機器３０１の先端３４３から広がるようにすることができる。いくつかの実施形態において、先端３４３の位置は、ルーラー４４４が初期化されるとき、３Ｄ画像データ３３６の表面に対して、零距離などの既知の距離におけるとすることがある。よって、初期化点は、３Ｄ画像データ３３６の表面上とすることがある。他の実施形態において、初期化点は、３Ｄ画像データ３３６の表面の上又は下とすることがある。
【0041】
図示された実施形態において、ルーラー４４４は、長軸４４５、長軸４４５に沿って位置を合わされた複数の深度インジケーター４４６、及び長軸４４５に沿って位置を合わされた複数の幅インジケーター４４７を含む。いくつかの実施形態において、長軸４４５は、機器３０１の長軸に位置を合わされることがあり、初期化点における機器３０１の先端３４３の位置に対応する３Ｄ画像データ３３６の表面上の点で開始することがある。他の実施形態において、長軸４４５の位置及び方向は、機器３０１を使用することなく、手動で又は自動的に選択されることがある。例えば、長軸４４５は、スクリュー又は他の移植物の配置のために予め計画された（例えば、手術前の）計画に基づいて選択されることがある。
【0042】
深度インジケーター４４６は、３Ｄ画像データ３３６からの深度などの、初期化点からの深度を示す長軸４４５に沿って配置されるハッシュマーク又は他のインジケーターとすることがある。本技術のいくつかの様態において、深度インジケーター４４６は、機器３０１の先端３４３の位置からよりも、３Ｄ画像データ３３６の表面からの深度を示す。幅インジケーター４４７は長軸４４５に沿って配置される同心３Ｄ、又は他のインジケーターとすることがあり、ある自紙系チアにおいて、深度インジケーター４４６よりも長軸４４５の表面の起点に近く位置付けることがある。いくつかの実施形態において、幅インジケーター４４７は、ユーザが３Ｄ画像データ３３６によって表される椎骨の現実のサイズ及び解剖学的構造に対して、可能性のあるスクリュー又は移植物のサイズを視覚化することを可能にするために、異なるスクリュー又は他の移植物の異なる幅に対応することができる。ルーラー４４４によって提供される測定の尺度は、３Ｄ画像データ３３６に組み込まれた尺度の情報に基づくことがある。
【0043】
いくつかの実施形態において、ルーラー４４４はさらに、ルーラー４４４が選択された又は初期化された場所で、表面の初期化点（例えば、起点、器具の進入点）に対する機器３０１の先端３４３の深度（例えば、距離）を示す深度読出し４４８を含むことがある。図示された実施形態において、機器３０１の先端３４３は、（例えば、椎骨の表面上の）表面の起点に位置付けるために、深度読出し４４８は、深度ゼロ（例えば、「０ｍｍ」）を示す。
【0044】
いくつかの実施形態において、機器３０１並びに／若しくはルーラー４４４の全て又は一部は、１又は複数の２Ｄビュー３３８に表示されることがある。図示された実施形態において、例えば、機器３０１及びルーラー４４４の長軸４４５は、第一の２Ｄビュー３３８ａ、第二のビュー３３８ｂに表示される。よって、本技術のいくつかの様態において、システム１００は、任意の個々のビューを乱雑にすること無しに、及び／又は読むことができないビューを描写すること無しにユーザに望まれる量の情報を提供するために、ユーザインターフェイス３３０上の３Ｄビュー３３２及び２Ｄビュー３３８の相対的なサイズに基づいて、ルーラー４４４のより多くの又はより少ない（例えば、さらに詳細に又は詳細でない）構成要素を選択的に表示することができる。
【0045】
図４Ｂは、機器３０１が椎骨へ部分的に挿入された後のユーザインターフェイス３３０を図示し、図４Ｃは、機器３０１が椎骨へさらに挿入された後のユーザインターフェイス３３０を図示する。図４Ａ及び４Ｃを一緒に参照すると、図４Ａで示すようなルーラー４４４の初期化の後に、機器３０１は、３Ｄ画像データ３３６に対して固定したままにしておく（例えば、位置を固定される）ことができるルーラー４４４に対して動くことができる。よって、ルーラー４４４の位置は３Ｄ画像データ３３６に相対してロックされることがある。機器３０１の先端３４３の深度が、３Ｄ画像データ３３６の表面に対して増加し、物理的なシーン３０８における対応する実際の椎骨の表面は、３Ｄ画像データ３３６へ重ね合わされるにつれて、深度読出し４４８は、椎骨の表面に対する機器３０１の先端３４３のリアルタイムの深度（例えば、図４Ｂの「３２ｍｍ」、及び図４Ｃの「４５ｍｍ」）を表示することができる。よって、本技術のいくつかの様態において、ルーラー４４４は、ユーザインターフェイス上で３Ｄ画像データ３３６の表面及び物理的なシーン３０８における対応する実際の解剖学的構造に対する機器３０１の深度のリアルタイムのフィードバックをユーザへ提供する。
【0046】
いくつかの実施形態において、ルーラー４４４の位置をロックすることに加えて又はその代わりに、ユーザインターフェイス３３０は、手術前に手順を計画する間に事前に選択された、又は手順の間にリアルタイムで選択された位置などにおいて、３Ｄ画像データ３３６に対する機器３０１の別の視覚表示を提供することができる。本技術のいくつかの様態において、これはユーザに、機器３０１に対して望まれる位置を視覚化させて、彼らが、手順の間に表示された視覚表示に機器３０１の位置合わせを維持することを試みる（例えば、ユーザが、機器３０１で圧力を適用するように）ことができる。
【0047】
よって、本技術のいくつかの様態において、ルーラー４４４及び深度インジケーター４４８は、物理的なシーン３０８に重ね合わされた手術前に獲得された３Ｄ画像データ３３６を指示して、追跡される機器３０１の高精度の経路指定を支援することによって、ユーザを助けることができる。加えて、ユーザを助けるためのこのような視覚要素の表現は、有用かつ乱雑でない表現をユーザに提供するために、視覚要素のサイズ、シーン３０８の（例えば、機器３０１の先端３４３の近くの）現在のノイズのレベルに基づいて、及び／又は他の要因に基づいて、不明瞭にされる又は明らかにされることがある。
【0048】
例えば、いくつかの実施形態において、ルーラー４４４は、より多くの又はより少ない情報インジケーターを含むことができる。図５Ａは、例えば、機器３０１の椎骨への進入の前に、追加の幅インジケーター４４７（例えば、図４Ａに示される３つの代わりに６つ）とともにルーラー４４４を図示する。いくつかの実施形態において、機器３０１の椎骨への進入の後に、幅インジケーター４４７の数は、３Ｄ画像データの形状に基づいてユーザに選択された、又は決定された適切な直径のみを表すために、減らされることがある。例えば、上位３つの適する幅インジケーターのみが、図４Ｂ及び４Ｃで図示されるように、示されることがある。図５Ｂはさらに、完全に省かれる深度インジケーター４４６及び幅インジケーター４４７とともにルーラー４４４を図示する。よって、視覚表示（例えば、幅インジケーター４４７）の数を選択的に減らすことによって、システム１００は、例えばユーザの集中を強めることを助けるために、ユーザインターフェイス３３０上の乱雑さを減らすことができる。いくつかの実施形態において、ユーザに情報を与える視覚表示の数は、椎骨に対する機器３０１の位置、並びに／若しくは椎骨のサイズ又は他の寸法に基づいて変化させることができる。例えば、幅インジケーター４４７は、３Ｄ画像データ３３６に対する機器３０１の計画された及び／又は投影された軌跡に沿う椎骨の測定された寸法に基づいて、シーン３０８の外形にフィットしないであろう寸法を不明瞭にすること／取り除くことなどによって省略することがある。
【0049】
上で詳述されるように、ユーザインターフェイス３３０は、例えば、（例えば、図３に示される第三のアイコン３４２Ｃへの）ユーザ入力に応じて、３Ｄビュー３３２の視野／方向を変えることができる。図５Ｃは、例えば、３Ｄビュー３３２を、図４Ａ－４Ｃで示されるものとは異なる視野から図示する。図示された実施形態において、３Ｄビュー３３２は、３Ｄ画像データ３３６及びルーラー４４４の冠状（例えば、上から下への）ビューを提供する。同様に、図５Ｄは、椎骨の２Ｄの軸方向のビューを表示する第一の主要なビューポート３３２、及び椎骨の３Ｄビューを表示する二次ビューポート３３８ａとともに、ユーザインターフェイス３３０を図示する。図示された実施形態において、ルーラー４４４は、深度インジケーター４４６、幅インジケーター４４７、及び深度読出し４４８を含む、２Ｄの軸方向のビューに表示されるが、ビューポート３３８ａの３Ｄビューにおいて、ルーラー４４４がより少ない視覚情報（例えば、長軸４４５のみ）とともに表示される。よって、システム１００は、特定のビューポート３３２、３３８（例えば、それらの相対的なサイズ）に基づいて、ユーザインターフェイス３３０上に表示される視覚情報の量を変化させることができる。
【0050】
図４－５Ｄの各々は、機器３０１の先端３４３から、機器３０１から離れて広がるルーラー４４４を図示する。他の実施形態において、ルーラー４４４は、図３に示す長軸Ｌのように、軸（例えば、軸）に沿って反対の方向に広がることがある。図５Ｅ及び５Ｆは、例えば、本技術の追加の実施形態による、図４Ａ－５Ｄのルーラー４４４及び機器３０１のビューである。図５Ｅ及び５Ｆをともに参照すると、ルーラー４４４は、先端３３４から始まって機器３０１の軸に沿って反転して投影され、機器３０１の軸に沿って深度インジケーター４４６を含む。図５Ｅに示すように、ルーラー４４４は、機器３０１の周囲に広がる幅インジケーター４４７を任意に含むことができる。本技術のいくつかの様態において、ルーラー４４４は図５Ｅおよび５Ｆに示すように、機器３０１が３Ｄ画像データ３３６内（図３－４Ｃの例えば患者の骨の内の）に位置づけられるときに、機器３０１の先端３４３から、例えば３Ｄ画像データ３３６の表面への深度の測定を提供するために、機器３０１の軸に沿って表示されることがある。
【0051】
図３を再び参照すると、いくつかの実施形態において、システム１００は、機器３０１の長軸Ｌに沿う機器３０１の先端３４３と３Ｄ画像データ３３６との間の距離を、リアルタイム又は準リアルタイムで計算して表示することができる。例えば、システム１００は、長軸Ｌに沿って先端３４３と３Ｄ画像データ３３６の交差点との間の距離を計算することができる。このような距離は、例えば、先端３４３から長軸Ｌに沿って３Ｄ画像データ３３６の外面（例えば、椎骨の表層の外面）への距離とすることがあり、機器３０１の先端３４３が表面に触れるまでの距離をユーザへ知らせることができる。また、例えば、この距離は、先端３４３から長軸Ｌに沿って３Ｄ画像データ３３６の内面（例えば、椎骨の表層の内面）への距離とすることができ、機器３０１が椎骨を破るまでの距離をユーザへ伝えることができる。
【0052】
他の実施形態において、距離は、別の場所から機器３０１へ／対して計算され得る。例えば、機器３０１が、移植物とつなぎ合わせる／接続するように構成されるドライバー又は他の道具であると、距離は機器３０１よりも移植物の先端から計算されることがある。いくつかの実施形態において、移植物のサイズは、手術計画から知られる、ユーザ入力（例えば、移植物の幅及び長さを指定する技術者）を介して決定される、及び／又はカメラアレイ１１０からの画像によって決定することできる。知られた又は決められた移植物のサイズに基づいて、移植物の先端を、移植物の知られた及び／又は決められたサイズ、並びに移植物に結合するように構成される機器３０１の先端３４３の位置に基づいて、決定することができる。
【0053】
よって、本技術のいくつかの様態において、システム１００は、先端３４３から３Ｄ画像データ３３６との交差点へ、仮想の巻尺を効果的に提供することができる。３Ｄ画像データ及び対応する交差点は、特定の組織の種類（例えば、皮膚、神経、筋肉、骨など）又は他種のオブジェクト（例えば、木、金属など）に対応することができる。例えば、骨における手術の手順の間、３Ｄ画像データ３３６は骨に対応し、システム１００は、経皮的な手順の間、機器３０１が患者の皮膚に触れるとき、皮膚上の現在の先端３４３の場所から骨への距離の指示を提供するために、先端３４３と骨の３Ｄ画像データ３３６の間の距離を計算することができる。いくつかの実施形態において、ユーザは、骨への皮膚を通ずる最短の軌跡を見つけるために、皮膚を横切って先端３４３を動かすことができる。同様に、３Ｄ画像データ３３６が皮膚に対応するとき、システム１００は、機器３０１が患者の皮膚へ接近する際に、先端３４３と皮膚の３Ｄ画像データとの間の距離を計算することができる。
【0054】
図３－４Ｃをともに参照すると、３Ｄ画像データ３３６は切断されたように、又は画面に平行に広がる面に沿って切断されたように表示される。図示される実施形態において、例えば、表示された椎骨の内面３３５（図３でグレーで示す）が、表示された椎骨の外部表面３３７（図３で青く示す）の一部とともに後ろの選択された面を見ることができるように、３Ｄ画像データ３３６は切断される。いくつかの実施形態において、３Ｄ画像データ３３６は、椎骨の「殻」を表す容積測定データを含み、内面３３５は、椎骨の実際の形状（例えば、深度、外郭）についての詳細を含む。いくつかの実施形態において、機器３０１の先端３４３の位置に対応するために、（例えば、ページへ広がる軸に沿う）切断面の位置／深度が選択されることがある。いくつかの実施形態において、機器３０１が動くにつれて、切断面が先端３４３とともに動くことがあり、他の実施形態において、ルーラー４４４が開始される図４の切断面は、機器３０１の先端３４３の位置に対応して、３Ｄ画像データ３３６の表面上の点に位置を合わせて維持することがある。つまり、切断面は、機器３０１の進入点に対して（例えば直交して）固定されたままにすることができる、又は機器３０１について動くことができる。
【0055】
より具体的には、例えば、図６Ａ－６Ｄは、本技術の実施形態による、３Ｄ画像データ３３６、及び接近する、進入する及び３Ｄ画像データ３３６を移動する（及び実際の椎骨に重ね合わされる）機器３０１を図示する。図６Ａ－６Ｄを参照すると、３Ｄ画像データ３３６は、最初は切断して部分的にのみ表示される又は表示されない（図６Ａ）が、器具が進入して（図６Ｂ）椎骨の中を通して動くにつれて（図６Ｃ及び６Ｄ）、次第に機器３０１と直交する面に沿って次第に切断している。本技術のいくつかの様態において、機器３０１が３Ｄ画像データに向かって／の中を動くにつれて、３Ｄ画像データ３３６を動的に切断することは、機器３０１の位置に関係する文脈情報（例えば、椎骨の壁の簡易なビュー）をユーザに提供することができる。そのうえ、ヘッドマウントディスプレイ（例えば、図２のディスプレイ１０４）を介して３Ｄ画像データを見ているユーザのために、機器３０１を操作している間、３Ｄ画像データ３３６を示すように動的に切断することは、実施形態の向上したシーン、及び／又は体の動作と表示されている情報のより緊密な関連をユーザに提供することができ、それによって、少ない労力でより多くのインサイトをユーザへ提供する。
【0056】
他の実施形態において、切断面の位置は、器具の位置と独立して決定される／選択されることがある。図７Ａ－７Ｄは、本技術の実施形態による、異なる説顔面を含む３Ｄ画像データ３３６を図示する。そのうえ、図示された実施形態において、切断面は、機器３０１の長軸に対して、直交ではなく斜めの角度とする。いくつかの実施形態において、このような斜めの切断面は、ユーザにとってより多くの視野を図示することができ、手順の間に３Ｄ画像データ３３６の視野の（例えば、冠状方向の、軸方向の、矢状方向の）より少ない変化を可能にする。
【0057】
他の実施形態において、切断面の位置及び／又は方向は、他の手法で決定することができる。例えば、図１及び２Ａを参照すると、システム１００は、シーン１０８に対するディスプレイ装置１０４の位置に基づいて、切断面の位置及び／又は方法を自動的に選択することがある。例えば、ディスプレイ装置１０４がヘッドマウントディスプレイの場合は、ヘッドマウントディスプレイデバイスを装着するユーザ（例えば、外科医）の頭部の位置に対応するように切断面の位置及び／又は方向が選択される。いくつかの実施形態において、ディスプレイ装置１０４は、ユーザの目を追跡するためのアイトラッカーを含むことがあり、切断面の位置及び／又は方向が、ユーザの目のビューの方向に基づいて決定することがある。
【0058】
いくつかの実施形態において、システム１００によって生成される１又は複数の仮想カメラの位置に基づいて、切断面を決定することができる。いくつかのこのような実施形態において、切断面は、仮想カメラの面と平行（例えば、仮想カメラからの画像を形成するピクセルのグリッドと平行）となるように、及び３Ｄ画像データに対して及び／又は仮想カメラに対して予め決定された距離に位置を合わせる。仮想カメラが動く（例えば、ユーザ入力、ユーザの頭の追跡などを介する）とき、例えば、３Ｄ画像データ３３６の周囲の動いている切断ビューをユーザに提供するために、切断面も３Ｄ空間を移動することができる。いくつかの実施形態において、ユーザは（例えば、ユーザインターフェイス３３０上のアイコン、スライダー、又は他の機能を介して）、３Ｄが画像データ３３６に対する切断面の予め決定された距離を設定する３Ｄ画像データ３３６の切断の割合を選択することができる。例えば、０％の切断において、３Ｄ画像データ３３６が全く切断していないように切断面を省くことができ、３０％の切断において、切断面は、仮想カメラに直交し、３Ｄ画像データの表面（例えば、仮想カメラに最も近い表面）からの３Ｄ画像データ３３６の長さにわたっての３０％に位置付けることができ、５０％の切断において、切断面は、画僧カメラに直交し、３Ｄ画像データ３３６の表面（例えば、仮想カメラに最も近い表面）からの３Ｄ画像データ３３６の長さにわたっての５０％に位置付けることができ、１００％の切断は、３Ｄ画像データの全体を透明に又は半透明に示すことができる（例えば、以下の図８で示すように）。よって、切断面は、仮想カメラが位置及び／又は方向において変化するように方向を変化させるまでの間、３Ｄ画像データ３３６の内部の望まれる量を明らかにするために、３Ｄ画像データ３３６に対して固定した深度に位置付けられることがある。
【0059】
図６Ａ－７Ｄでさらに示すように、いくつかの実施形態において、切断された３Ｄ画像データ３３６部分は、半透明に（例えば、準透明「影のように」）示されることがある。図８は、本技術の実施形態による、半透明に示される椎骨の３Ｄ画像データ８３６の拡大された図解である。いくつかの実施形態において、半透明のビューは、ユーザが追加の切断又はビューの変化を必要とすること無く、椎骨の輪郭及び外形を見ることができるようにする。よって、このような半透明のビューは、目的の境界の周囲でユーザにいくつかの情報を覗き見させる間、例えば、曲率などの重要な情報などの関係のない情報を取り除くことができ、境界は、ユーザが代わりの視覚角度から覗き見ること無しに、視覚的に可視化するまでとする。
【0060】
図９Ａ－９Ｃは、本技術の追加の実施形態による、ディスプレイ装置１０４（ヘッドマウントディスプレイ装置）及び／又は二次ディスプレイ２２６を介してシステム１００のユーザが見ることができるユーザインターフェイス（例えば、ディスプレイ）９３０を図示する。最初に図９Ａを参照すると、ユーザインターフェイス９３０は、図３－５Ｄを参照しながら上記で詳述したユーザインターフェイス３３０に類似又は同一のいくつかの機能を含み得る。例えば、図示された実施形態において、ユーザインターフェイス９３０は、機器９０１を含む物理的なシーン９０８の３Ｄビュー９３２及び（第一から第三の別々の２Ｄビュー９３８ａ－ｃとしてそれぞれが識別された）複数の２Ｄビュー９３８を含む。以前に取り込まれた画像データ（例えば、ＣＴスキャンデータ）は、シーン９０８に重ね合わされ、３Ｄ画像データ９３６として３Ｄビュー９３２上に表示される。２Ｄビュー９３８は、３Ｄ画像データ９３６に対応する２Ｄ画像を各々表示することができる。
【0061】
図示された実施形態において、３Ｄ画像データ９３６は、椎骨９５０を含む患者の脊柱の容積測定データを含む。さらに、機器９０１は、手順の間に椎骨５９０へ挿入されるように示される。いくつかの実施形態において、機器９０１はスクリュー（例えば、椎弓根スクリュー）、ドリル、及び／又はスクリュー又は他の埋め込み可能な装置を椎骨９０５に埋め込むための手順で使用される別の器具とすることができる。いくつかの実施形態において、機器９０１が椎骨９５０の壁９３５に近いかどうかを認めることは、機器９０１を操作し、ユーザインターフェイス９３０を見るユーザ（例えば、外科医）にとって困難となることがある。つまり、例えば、方向に基づいて機器９０１の先端９４３が椎骨９５０の壁９３５の外側を破りそうであるかどうかを認めること、及び画像の手術部位の内又は外に出現していることがある機器９０１の動作又は位置付けなどの３Ｄ画像データ９３６の視野を見ることは、ユーザにとって時には困難となることがある。
【0062】
従って、図示された実施形態において、ユーザインターフェイス９３０は、機器９０１（例えば、先端９４３）が椎骨９５０の壁９３５から予め定められた距離の中にあるときに、３Ｄビュー９３２上に視覚指示を提供するように構成される深度又は破損インジケーター９５２を含む。より具体的には、図１の付加的な参照とともに、処理装置１０２は、（i）追跡装置１１３からの情報によって機器９０１を追跡する、（ii）３Ｄ画像データ９３６の壁９３５の表面形状からの機器９０１の距離を計算する、（iii）計算された距離を、予め定められた距離と比較することができる。図示された実施形態において、破損インジケーター９５２は、壁９３５上などの３Ｄ画像データ９３６上に重ねられた強調表示（例えば、開かい強調表示）を含む。破損インジケーター９５２の位置は、ユーザが機器９０１を動かし続ける場合、機器９０１が椎骨９５０を破りそうである場所を示すことができる。いくつかの実施形態において、強調表示は、機器９０１が壁９３５に近づいて／遠ざかって動く際の輝度、色、及び／又は別の特性を増加させる／減少させることができる。
【0063】
他の実施形態において、破損インジケーター９５２は他の種類の視覚的な合図を含むことができる。図９Ｂにおいて、例えば、破損インジケーター９５２は、機器９０１の先端９４３上などの機器９０１上の強調表示を包含する。いくつかの実施形態において、機器９０１上の強調表示は、３Ｄ画像データ９３６の壁９３５の最も近い部分（例えば、潜在的な破損の潜在的な出口点又はエリア）に対する機器９０１の方向性を示すことができる。同様に、図９Ｃにおいて、破損インジケーター９５２は、機器９０１の先端９４３及び３Ｄ画像データ９３６の壁９３６の両方の上での強調表示を含むことができる。従って、本技術のいくつかの様態において、システム１００は破損インジケーター９５２の異なる視覚的な合図を介し、３Ｄビュー９３２を利用して、リアルタイムの深度フィードバックをユーザへ提供することができる。本技術のいくつかの様態において、深度情報を３Ｄ画像データ９３６上に重ねることは、深度及び位置付けを決定するために２Ｄビュー９３８などの異なる有利な点からの複数の投影を参照するユーザの必要性を減らすことができる。
【0064】
図１０Ａ－１０Ｄは、本技術の実施形態による、３Ｄ画像データ１０３６、並びに３Ｄ画像データへ接近する進入する、及び中を動く機器１００１（並びに重ね合わされた実際の椎骨）を図示する。図１０Ａを最初に参照すると、機器１００１はまだ椎骨へ進入しておらず、破損インジケーター又は機器の起動が表示されない。図１０Ｂは、椎骨上の入力点に接触している機器１００１を図示する。図示された実施形態において、椎骨と機器１００１の接触の後に、システム１００は、投影された軌跡１０８０及び機器１００１が投影された軌跡１０８０に沿い続ける場合に破損が起こり得る３Ｄ画像データ１０３６の一部の強調表示を包含する破損インジケーター１０５２を表示することができる。本技術のいくつかの様態において、投影された軌跡１０８０及び破損インジケーター１０５２は、ユーザが経路及び経路に沿った解剖学的構造を見ることができるようにして、ユーザに、望まれる進入角度を選択させることを可能にすることがある。例えば、図１０Ｄは、破損インジケーター１０５２がより遠い３Ｄ画像データ１０３６の壁上に位置付けられるように、機器１００１における角度の変化を図示する。いくつかの実施形態において、破損インジケーター１０５２は、破れへの距離に基づいて減少されたサイズを有することがある（例えば、図１０Ｂにおけるよりも図１０Ｄのより小さいサイズを有している）。ユーザが図１０Ｂに示すものから進入角度を正していなかった場合などにために、図１０Ｃは、椎骨を破っている機器１００１を図示する。
いくつかの実施形態において、破損の後に（及び／又は破損のすぐ前に）、破損インジケーター１０５２は色、密度、輝度、サイズ及び／又は他の特性を変化させて、破損が起きた又は今にも起こることをユーザに示すことができる。よって、本技術のいくつかの様態において、破損インジケーター１０５２は、破損の場所及び可能性の予測、及び／又は破損が起こる際の指示（例えば、破損の検出）を提供することができる。
いくつかの実施形態において、破損の後に（及び／又は破損のすぐ前に）、破損インジケーター１０５２は色、密度、輝度、サイズ及び／又は他の特性を変化させて、破損が起きた又は今にも起こることをユーザに示すことができる。よって、本技術のいくつかの様態において、破損インジケーター１０５２は、破損の場所及び可能性の予測、及び／又は破損が起こる際の指示（例えば、破損の検出）を提供することができる。
【0065】
図１－１０Ｄをともに参照すると、いくつかの実施形態において、物理的なシーンの外形は、ユーザインターフェイス上に表示される以前に取り込まれた画像データに対して変化することができる。例えば、手術の手順の間に、外科医は骨又は組織の一部を取り除くことがある。特に、脊柱の手術の手順の間に、外科医はハードウェア又は他の移植物を配置する前に、椎骨の一部を頻繁に取り除く。骨又は組織を取り除く後に、シーンの実際の外形は、骨又は組織の領域のＣＴデータなどの以前に取り込まれた画像データと正確に一致しない。つまり、例えば、手術の手順の前に生成される３Ｄビュー３３２、９３２及び又は２Ｄビュー３３８、９３８に表される患者の椎骨の画像は、手順の間の椎骨の実際の外形に対応しないことがある。よって、以前に取り込まれた画像データから計算される深度情報は、シーンの外形を正確に表さないことがある。
【0066】
より具体的には、図１１Ａ及び１１Ｂは、本技術の実施形態による、表面１１６２を有する患者の椎骨１１６０の略図である。図７Ｂに示すように、外科医は、椎骨１１６０の１１６４部分を取り除いて、椎骨１１６０の表面１１６２を変化させることがある。深度測定が、１１６４部分が取り除かれる前に椎骨１１６０のＣＴデータ又は他の以前に取り込まれた画像データに基づいて計算される場合、深度測定は、椎骨１１６０の現実の深度に対応しないことがある。よって、例えば、深度測定は、椎骨１１６０から取り除かれた１１６４部分の寸法に対応するエラーＥを持つことができる。
【0067】
図１２は、本技術の実施形態による、シーンの変化した後の（例えば、患者の解剖学的構造を含む）物理的なシーンの深度情報を更新するためのプロセス又は方法１２７０のフロー図である。方法１２７０のいくつかの特徴は、図解のための図１－２Ｂに示すシステム１００の文脈において説明されるが、当業者は、方法１２７０は本書で説明された他の適するシステム及び／又は装置を使用して実行できることがすぐに理解するであろう。同様に、参照は本明細書では手術前の画像データ、手術中の画像データ及び手術のシーンとしたが、方法１２７０は他のシーンについての他の種類の情報とともに使用することができる。
【0068】
ブロック１２７１において、方法１２７０は、オブジェクトの手術前の画像データを取り込むことを含む。上で詳述したように、手術前の画像データは、例えば、コンピュータ断層撮影（ＣＴ）スキャンデータ、核磁気共鳴画像法（ＭＲＩ）スキャンデータ、超音波画像、Ｘ線透過像などの患者の３次元体積を表すメディカルスキャンデータとすることがある。いくつかの実施形態において、手術前の画像データは、点群又は３Ｄメッシュを包含することができる。オブジェクトは患者の椎骨、脊柱、膝、及び／又は頭蓋骨などとすることができる。
【0069】
ブロック１２７２において、方法１２７０は、例えば、カメラアレイ１１０から、シーン１０８のオブジェクトの手術中の画像データを受け取ることを含む。手術中の画像データは、カメラ１１２及び．又は深度カメラ１１８によって取り込まれたシーン１０８における、リアルタイム又は準リアルタイムの患者の画像を含むことができる。いくつかの実施形態において、手術中の画像データは、（i）カメラ１１２からのライトフィールド画像、及び／又は（ii）エンコードされたシーン１０８についての深度情報を含む
深度カメラ１１８からの画像を含む。いくつかの実施形態において、手術前の画像データは、手術中の画像データの少なくともいくつかの特徴に対応する。例えば、シーン１０８は、脊柱を部分的に露出する脊柱の手術中の患者を含み得る。手術前の画像データは、手術の前に撮影され、少なくとも脊柱の一部の完全な３Ｄデータセットを包含する患者の脊柱のＣＴスキャンデータを含み得る。よって、手術前の画像データの種々の椎骨又は他の特徴は、カメラ１１２、１１８からの画像データに表される患者の脊柱部分に対応することができる。他の実施形態において、シーン１０８は、膝の手術、頭蓋骨ベースの手術などの別の種類の手術が行われている患者を含むことがあり、手術前の画像データは、特定の手術の手順に関係する靭帯、骨、肉及び／又は他の解剖学的構造のＣＴ又は他のスキャンデータを含むことがある。
深度カメラ１１８からの画像を含む。いくつかの実施形態において、手術前の画像データは、手術中の画像データの少なくともいくつかの特徴に対応する。例えば、シーン１０８は、脊柱を部分的に露出する脊柱の手術中の患者を含み得る。手術前の画像データは、手術の前に撮影され、少なくとも脊柱の一部の完全な３Ｄデータセットを包含する患者の脊柱のＣＴスキャンデータを含み得る。よって、手術前の画像データの種々の椎骨又は他の特徴は、カメラ１１２、１１８からの画像データに表される患者の脊柱部分に対応することができる。他の実施形態において、シーン１０８は、膝の手術、頭蓋骨ベースの手術などの別の種類の手術が行われている患者を含むことがあり、手術前の画像データは、特定の手術の手順に関係する靭帯、骨、肉及び／又は他の解剖学的構造のＣＴ又は他のスキャンデータを含むことがある。
【0070】
ブロック１２７３において、方法１２７０は、例えば、手術中の画像データと手術前の画像データの間の変換／マッピング／変質を確実にするために、手術前の画像データを手術中の画像データへ重ね合わせることを含み、これらのデータセットは同じ座標系で表されることがある。重ね合わせは、広範囲の重ね合わせ及び／又は１又は複数の精密な（例えば、局所的な）重ね合わせを含むことができる。いくつかの実施形態において、方法１２７０は、「METHODS AND SYSTEMS FOR REGISTERING PREOPERATIVE IMAGE DATA TO INTRAOPERATIVE IMAGE DATA OF A SCENE, SUCH AS A SURGICAL SCENE」と題され、２０２１年１月４日に出願され、その全体が引用により本明細書へ組み込まれる、国特許出願第１７／１４０，８８５号において開示される任意の方法を使用して、手術前の画像データを手術前の画像データに重ね合わせることを含み得る。
【0071】
ブロック１２７４において、方法１２７０はオブジェクトの寸法における変化を検出することを含む。いくつかの実施形態において、システム１００は、（例えば、カメラ１１２によって取り込まれるライトフィールド画像データに基づいて、）深度カメラ１１８及び／又はカメラ１１２によって取り込まれた深度の変化のような、寸法における変化を検出することができる。例えば、図１１Ａ及び１１Ｂを参照すると、いくつかの実施形態において、システム１００は、１１６４部分の除去のために表面１１６２の外形が変化したことを、自動的に検出することができる。
【0072】
ブロック１２７５において、方法１２７０は、検出された寸法の変化に基づいて後続のオブジェクトの深度測定を更新することを含む。いくつかの実施形態において、システム１００は、オブジェクトの寸法の変化を反映するように手術前の画像データを更新することができる。例えば、手術前の画像データは３Ｄメッシュを包含する場合に、システム１００は、手術中の寸法の変化を反映するようにメッシュを更新することができる。このような実施形態において、３Ｄメッシュに基づく後続の深度測定は寸法の変化を反映するであろう。また、システム１００は、例えば、機器３０１が寸法の位置の変化の近く（例えば、取り除かれた領域）に位置づけられるときに図４Ａ－５Ｂに示す深度読出し４４８が正しいゼロ深度を示すように、オブジェクトの寸法が変化した場所で得られた任意の深度測定を単に「ゼロにする」ことがある。したがって、本技術のいくつかの様態において、方法１２７０は、深度測定及び／又は手術前の画像データを、手術中の解剖学的構造における変化をより正確に表すように更新することを含み得る。
【0073】
加えて又は代わりに、方法１２７０は、オブジェクトの検出された寸法の変化に基づいて手術計画を更新することを含み得る。例えば、手術の移植物（例えば、椎弓根スクリュー）のために予め定められた進入点は、変化した寸法のエリアを避けるために変化し得る。同様に、移植物の寸法（例えば、長さ、幅）及び／又は進入角度は、検出された寸法の変化に基づいて更新され得る。
【0074】
図１３Ａ及び１３Ｂはそれぞれ、本技術の辞し形態による、手術前の計画情報のオーバーレイを図示する図３のユーザインターフェイス３３０上の３Ｄ画像データ３３６の軸方向の断面図及び斜めの断面図である。図１３Ａ及び１３Ｂをともに参照すると、手術前の計画情報は、椎骨内の移植物１３９１（例えば、椎弓根スクリュー）のための軌跡１３９０を含み得る。図示された実施形態において、手術前の計画情報は、（第一の進入角度インジケーター１３９２ａ及び第二の進入角度１３９２ｂとしてそれぞれ識別される）１又は複数の進入角度インジケーター１３９２をさらに含む。図１３でよく見られたように、進入角度インジケーター１３９２は、軌跡１３９０と同軸の１又は複数の円又は輪を含むことがある。作業において、機器３０１及び移植物１３９１を起動１３９０に沿う正しい（予め選択した）角度へ方向付けるために、ユーザは機器３０１を進入角度インジケーター１３９２と位置を合わせることができる。軌跡１３９０は及び進入角度インジケーターは、３Ｄ画像データ３３６に対して固定する（例えば、ロックする、又は据え付ける）ことがあり、いくつかの実施形態において、移植物を配置する手順の間にユーザによって調節されることがある。いくつかの実施形態において、軌跡１３９０及び進入角度インジケーター１３９２は、２Ｄビュー３３８の１又は複数において表示されることもある。
【0075】
図示された実施形態において、軌跡１３９０は、椎骨の中に終点１３９４を持つ。ユーザインターフェイス３３０は、終点１３９４の所定の目標深度（「４０．０ｍｍ」）に対する移植物の深度（例えば、距離）を示す深度読出し１３９６をさらに表示することがある。深度はリアルタイム又は準リアルタイムで更新されることがある。図１３Ａにおいて、移植物１３９１は、機器１３０１を使用して椎骨の中で第一の深度（「２２．５ｍｍ」）へ進められる。図１３Ｂに示すように、深度読出し１３９６は、移植物１３９１の深度が移植物１３９１の予め定められた目標深度（例えば、「４０．０ｍｍ」）と一致する及び／又は超過するときに、警告（例えば、より大きなフォント、変化した色など）を提供することがある。
【0076】
移植物１３９１の挿入の間、断面図は、破損を避けるのを助けるために、ユーザに移植物１３９１と椎骨の壁との間の間隔の大きさを決めさせることがある。そのうえ、いくつかの実施形態において、軌跡１３９０のユーザのビューを乱す又は妨げないために、深度読出し１３９６は３Ｄ画像データ３３６の壁に固定されることがある。
【0077】
図１４Ａ－１４Ｃは、本技術の実施形態による、それぞれ図３の３Ｄ画像データ３３６の軸方向の、矢状方向の、及び冠状方向の断面図であり、移植物１４０２の３Ｄ表示のオーバーレイを図示する。図１４Ａ－１４Ｃをともに参照すると、図示された実施形態において、移植物は椎弓根スクリューなどのスクリューとする。いくつかの実施形態において、移植物１４０２の３Ｄ表示は、（例えば、手術前の計画に基づいて）手術前に又は手術中に３Ｄ画像データ３３６に重ねられることがある。手術中に位置付けられるとき、移植物１４０２の３Ｄ表示の位置は、ユーザが選択した進入点に基づく、及び／又は機器３０１の追跡された位置に基づく（図３）。例えば、図１を追加で参照すると、追跡装置１１４は機器３０１を追跡することができ、システム１００は移植物１４０２の３Ｄ表示を、移植物の既知のサイズ（例えば、幅及び長さ）及び移植物に対する機器３０１の標準の位置付けに基づいて位置づけることができる。本技術のいくつかの様態において、移植物１４０２の３Ｄ表示を手術中に（例えば、移植物の実際の配置の後に）重ねることは、移植物の配置における破損を探すためにユーザに椎骨を診査させることがある。本技術の追加の様態において、移植物１４０２の３Ｄ表示を手術前に重ねることは、手順が始まる前にユーザを目標の配置まで誘導するのを助けることができる。さらに、断面図は視野の変化の必要をより少なくしてユーザに移植物の配置を観測させることができる。
【0078】
（追加の例）
次の例は、本技術の複数の実施形態の例証である。
［例１］
ユーザインターフェイスに３次元（３Ｄ）画像データを表示する方法であって、
３Ｄ画像データを物理的なシーンに重ね合わせることと、
機器を前記物理的なシーンの中で追跡することと、
前記３Ｄ画像データ及び機器の表示を前記ユーザインターフェイス上に表示することと、
前記３Ｄ画像データの断面図を表示することとを含む、方法。
［例２］
前記方法は、前記機器の追跡された位置に基づいて前記３Ｄ画像データに対する前記断面図の位置を決定することをさらに含む、例１に記載の方法。
［例３］
前記機器の長軸に直交して方向付けられる前記断面図を表示することを含む前記断面図を表示することである、例２に記載の方法。
［例４］
前記方法は、
カメラアレイを用いて前記物理的なシーンの画像データを取り込むことと、
前記カメラアレイからの前記画像データに基づいて、仮想カメラの視野に対応する仮想画像を合成することと、
前記仮想カメラの前記視野に基づいて、前記委３Ｄ画像データに対する前記断面図の位置を決定することとを含む、例１－３に記載のうちの任意の１つの方法。
［例５］
前記断面図の前記位置を決定することは、前記仮想カメラの前記視野から予め決められた距離となるように前記位置を決定することを含む、例４に記載の方法。
［例６］
前記断面図の前記位置を決定することは、前記３Ｄ画像データに対して所定の深度となるように前記位置を決定することを含む、例４に記載の方法。
［例７］
前記断面図を表示することは、前記仮想カメラの前記視野に平行に方向付けられる前記断面図を表示することを含む、例４－６に記載のうちの任意の１つの方法。
［例８］
前記３Ｄ画像データの前記断面図を表示することは、前記３Ｄ画像データに表されるオブジェクトの内面の物理的な形状を表示することを含む、例１－７に記載のうちの任意の１つの方法。
［例９］
前記オブジェクトは椎骨である、例８に記載の方法。
［例１０］
前記３Ｄ画像データはコンピュータ断層撮影（ＣＴ）データを含み、前記３Ｄ画像データは患者の脊柱の一部である、例１－９に記載の方法。
［例１１］
ユーザインターフェイスに３次元（３Ｄ）画像データを表示する方法であって、
表面を定める前記３Ｄ画像データを物理的なシーンへ重ね合わせることと、
機器を前記物理的なシーンの中で追跡することと、
前記３Ｄ画像データ及び前記機器の表示を前記ユーザインターフェイス上に表示することと、
前記機器と前記表面との間の距離を計算することと、
前記ユーザインターフェイス上に前記距離を表示することとを含む、方法。
［例１２］
前記距離を計算することはリアルタイムの前記距離を計算することを含み、前記距離を表示することは、前記リアルタイムの距離を表示することである、例１１に記載の方法。
［例１３］
前記距離は、前記機器の先端と前記３Ｄ画像データの前記表面との間の前記機器の長軸に沿った距離である、例１１又は例１２に記載の方法。
［例１４］
前記表面は、前記３Ｄ画像データの内面である、例１１-１３に記載のうちの任意の１つの方法。
［例１５］
前記表面は、前記３Ｄ画像データの外面である、例１１-１３に記載のうちの任意の１つの方法。
［例１６］
前記方法は、前記機器と前記表面との間の前記距離を計算する前に、前記機器と前記表面との間の既知の距離を受け取ることをさらに含む、例１１-１５に記載のうちの任意の１つの方法。
［例１７］
前記既知の距離はゼロである、例１６に記載の方法。
［例１８］
前記距離は、前記３Ｄ画像データの前記表面の下の前記機器の先端の深度である、例１１-１７に記載のうちの任意の１つの方法。
［例１９］
前記方法は、前記機器が前記３Ｄ画像データの前記表面を破り得る可能性及び／又は予測される場所の指示を表示することをさらに含む、例１１-１８に記載のうちの任意の１つの方法。
［例２０］
前記方法は、前記距離に基づいて、可能性及び／前記予測される場所を決定することをさらに含む、例１９に記載の方法。
［例２１］
前記指示を表示することは、前記ユーザインターフェイス上の前記３Ｄ画像データの一部を強調表示することを含む、例１９又は例２０に記載の方法。
［例２２］
前記機器は手術用の器具である、例１１-２１に記載のうちの任意の１つの方法。
［例２３］
前記機器は手術用の移植物である、例１１-２１に記載のうちの任意の１つの方法。
［例２４］
前記機器は手術用の移植物に結合された手術用の器具である、例１１－２１に記載のうちの任意の１つの方法。
［例２５］
前記方法は、前記機器が前記３Ｄ画像データの前記表面を破ったことの指示を表示することをさらに含む、例１１－２１に記載のうちの任意の１つの方法。
［例２６］
前記方法は、前記距離に基づいて、前記機器が前記３Ｄ画像データの前記表面を破ったことを決定することをさらに含む、例２５に記載の方法。
［例２７］
３次元（３Ｄ）画像データをユーザインターフェイス上に表示する方法であって、
表面を定める前記３Ｄ画像データを物理的なシーンに重ね合わせることと、
前記物理的なシーンの中で機器を追跡することと、
前記３Ｄ画像データ及び前記機器の表示を、前記ユーザインターフェイス上に表示することと、
前記機器と前記表面との間の距離を計算することと、
前記距離が予め定められた閾値よりも小さいときに、指示をユーザインターフェイス上に表示することとを含む、方法。
［例２８］
前記指示を表示することは、ユーザインターフェイス上の前記３Ｄ画像データの一部を強調することを含む、例２７に記載の方法。
［例２９］
前記指示を表示することは、前記ユーザインターフェイス上の前記機器の前記表示の一部を強調することを含む、例２７及び例２８に記載の方法。
［例３０］
前記指示は、前記機器が前記３Ｄ画像データの前記表面を破り得る可能性及び／又は予測される場所を示す、例２７－２９に記載のうちの任意の１つの方法。
［例３１］
前記指示は、前記機器が前記３Ｄ画像データのっ前記表面を破ったことを示す、例２７－２９に記載のうちの任意の１つの方法。
［例３２］
前記機器は手術用の器具である、例２７－３１に記載のうちの任意の１つの方法。
［例３３］
前記機器は手術用の移植物である、例２７－３１に記載のうちの任意の１つの方法。
［例３４］
前記機器は、手術用の移植物に結合した手術用の器具である、例２７－３１に記載のうちの任意の１つの方法。
［例３５］
オブジェクトの手術前の３次元（３Ｄ）画像データを更新する方法であって、
前記手術前の３Ｄ画像データを前記オブジェクトに重ね合わせることと、
前記オブジェクトの前記手術前の３Ｄ画像データを取り込むことと、
前記深度データにおいて、前記オブジェクトの寸法の変化を検出することと、
前記検出された寸法の変化に基づいて、前記手術前の３Ｄ画像データを更新することとを含む、方法。
［例３６］
前記オブジェクトの前記寸法の変化を検出することは、前記オブジェクトの一部が取り除かれているのを検出することを含む、例３５に記載の方法。
［例３７］
前記手術前の３Ｄ画像データは３Ｄメッシュを含み、前記手術前の３Ｄ画像データを更新することは、前記寸法の変化を反映するために前記３Ｄメッシュを更新することを含む、例３５又は例３６に記載の方法。
［例３８］
イメージングシステムであって、
手術中の画像データを取り込むように較正される複数のカメラを含むカメラアレイと、
１又は複数のプロセッサによって実行されるときに、前記イメージングシステムに例１－３７のうちの任意の１つを含むオペレーションを実行させる命令を記憶する、非一時的のコンピュータ可読の記憶媒体とを含むイメージングシステム。
［例３８］
１又は複数のプロセッサによって実行されるときに、イメージングシステムに例１－３７のうちの任意の１つを含むオペレーションを実行させる命令を記憶する非一時的のコンピュータ可読の記憶媒体。
次の例は、本技術の複数の実施形態の例証である。
［例１］
ユーザインターフェイスに３次元（３Ｄ）画像データを表示する方法であって、
３Ｄ画像データを物理的なシーンに重ね合わせることと、
機器を前記物理的なシーンの中で追跡することと、
前記３Ｄ画像データ及び機器の表示を前記ユーザインターフェイス上に表示することと、
前記３Ｄ画像データの断面図を表示することとを含む、方法。
［例２］
前記方法は、前記機器の追跡された位置に基づいて前記３Ｄ画像データに対する前記断面図の位置を決定することをさらに含む、例１に記載の方法。
［例３］
前記機器の長軸に直交して方向付けられる前記断面図を表示することを含む前記断面図を表示することである、例２に記載の方法。
［例４］
前記方法は、
カメラアレイを用いて前記物理的なシーンの画像データを取り込むことと、
前記カメラアレイからの前記画像データに基づいて、仮想カメラの視野に対応する仮想画像を合成することと、
前記仮想カメラの前記視野に基づいて、前記委３Ｄ画像データに対する前記断面図の位置を決定することとを含む、例１－３に記載のうちの任意の１つの方法。
［例５］
前記断面図の前記位置を決定することは、前記仮想カメラの前記視野から予め決められた距離となるように前記位置を決定することを含む、例４に記載の方法。
［例６］
前記断面図の前記位置を決定することは、前記３Ｄ画像データに対して所定の深度となるように前記位置を決定することを含む、例４に記載の方法。
［例７］
前記断面図を表示することは、前記仮想カメラの前記視野に平行に方向付けられる前記断面図を表示することを含む、例４－６に記載のうちの任意の１つの方法。
［例８］
前記３Ｄ画像データの前記断面図を表示することは、前記３Ｄ画像データに表されるオブジェクトの内面の物理的な形状を表示することを含む、例１－７に記載のうちの任意の１つの方法。
［例９］
前記オブジェクトは椎骨である、例８に記載の方法。
［例１０］
前記３Ｄ画像データはコンピュータ断層撮影（ＣＴ）データを含み、前記３Ｄ画像データは患者の脊柱の一部である、例１－９に記載の方法。
［例１１］
ユーザインターフェイスに３次元（３Ｄ）画像データを表示する方法であって、
表面を定める前記３Ｄ画像データを物理的なシーンへ重ね合わせることと、
機器を前記物理的なシーンの中で追跡することと、
前記３Ｄ画像データ及び前記機器の表示を前記ユーザインターフェイス上に表示することと、
前記機器と前記表面との間の距離を計算することと、
前記ユーザインターフェイス上に前記距離を表示することとを含む、方法。
［例１２］
前記距離を計算することはリアルタイムの前記距離を計算することを含み、前記距離を表示することは、前記リアルタイムの距離を表示することである、例１１に記載の方法。
［例１３］
前記距離は、前記機器の先端と前記３Ｄ画像データの前記表面との間の前記機器の長軸に沿った距離である、例１１又は例１２に記載の方法。
［例１４］
前記表面は、前記３Ｄ画像データの内面である、例１１-１３に記載のうちの任意の１つの方法。
［例１５］
前記表面は、前記３Ｄ画像データの外面である、例１１-１３に記載のうちの任意の１つの方法。
［例１６］
前記方法は、前記機器と前記表面との間の前記距離を計算する前に、前記機器と前記表面との間の既知の距離を受け取ることをさらに含む、例１１-１５に記載のうちの任意の１つの方法。
［例１７］
前記既知の距離はゼロである、例１６に記載の方法。
［例１８］
前記距離は、前記３Ｄ画像データの前記表面の下の前記機器の先端の深度である、例１１-１７に記載のうちの任意の１つの方法。
［例１９］
前記方法は、前記機器が前記３Ｄ画像データの前記表面を破り得る可能性及び／又は予測される場所の指示を表示することをさらに含む、例１１-１８に記載のうちの任意の１つの方法。
［例２０］
前記方法は、前記距離に基づいて、可能性及び／前記予測される場所を決定することをさらに含む、例１９に記載の方法。
［例２１］
前記指示を表示することは、前記ユーザインターフェイス上の前記３Ｄ画像データの一部を強調表示することを含む、例１９又は例２０に記載の方法。
［例２２］
前記機器は手術用の器具である、例１１-２１に記載のうちの任意の１つの方法。
［例２３］
前記機器は手術用の移植物である、例１１-２１に記載のうちの任意の１つの方法。
［例２４］
前記機器は手術用の移植物に結合された手術用の器具である、例１１－２１に記載のうちの任意の１つの方法。
［例２５］
前記方法は、前記機器が前記３Ｄ画像データの前記表面を破ったことの指示を表示することをさらに含む、例１１－２１に記載のうちの任意の１つの方法。
［例２６］
前記方法は、前記距離に基づいて、前記機器が前記３Ｄ画像データの前記表面を破ったことを決定することをさらに含む、例２５に記載の方法。
［例２７］
３次元（３Ｄ）画像データをユーザインターフェイス上に表示する方法であって、
表面を定める前記３Ｄ画像データを物理的なシーンに重ね合わせることと、
前記物理的なシーンの中で機器を追跡することと、
前記３Ｄ画像データ及び前記機器の表示を、前記ユーザインターフェイス上に表示することと、
前記機器と前記表面との間の距離を計算することと、
前記距離が予め定められた閾値よりも小さいときに、指示をユーザインターフェイス上に表示することとを含む、方法。
［例２８］
前記指示を表示することは、ユーザインターフェイス上の前記３Ｄ画像データの一部を強調することを含む、例２７に記載の方法。
［例２９］
前記指示を表示することは、前記ユーザインターフェイス上の前記機器の前記表示の一部を強調することを含む、例２７及び例２８に記載の方法。
［例３０］
前記指示は、前記機器が前記３Ｄ画像データの前記表面を破り得る可能性及び／又は予測される場所を示す、例２７－２９に記載のうちの任意の１つの方法。
［例３１］
前記指示は、前記機器が前記３Ｄ画像データのっ前記表面を破ったことを示す、例２７－２９に記載のうちの任意の１つの方法。
［例３２］
前記機器は手術用の器具である、例２７－３１に記載のうちの任意の１つの方法。
［例３３］
前記機器は手術用の移植物である、例２７－３１に記載のうちの任意の１つの方法。
［例３４］
前記機器は、手術用の移植物に結合した手術用の器具である、例２７－３１に記載のうちの任意の１つの方法。
［例３５］
オブジェクトの手術前の３次元（３Ｄ）画像データを更新する方法であって、
前記手術前の３Ｄ画像データを前記オブジェクトに重ね合わせることと、
前記オブジェクトの前記手術前の３Ｄ画像データを取り込むことと、
前記深度データにおいて、前記オブジェクトの寸法の変化を検出することと、
前記検出された寸法の変化に基づいて、前記手術前の３Ｄ画像データを更新することとを含む、方法。
［例３６］
前記オブジェクトの前記寸法の変化を検出することは、前記オブジェクトの一部が取り除かれているのを検出することを含む、例３５に記載の方法。
［例３７］
前記手術前の３Ｄ画像データは３Ｄメッシュを含み、前記手術前の３Ｄ画像データを更新することは、前記寸法の変化を反映するために前記３Ｄメッシュを更新することを含む、例３５又は例３６に記載の方法。
［例３８］
イメージングシステムであって、
手術中の画像データを取り込むように較正される複数のカメラを含むカメラアレイと、
１又は複数のプロセッサによって実行されるときに、前記イメージングシステムに例１－３７のうちの任意の１つを含むオペレーションを実行させる命令を記憶する、非一時的のコンピュータ可読の記憶媒体とを含むイメージングシステム。
［例３８］
１又は複数のプロセッサによって実行されるときに、イメージングシステムに例１－３７のうちの任意の１つを含むオペレーションを実行させる命令を記憶する非一時的のコンピュータ可読の記憶媒体。
【0079】
本技術の実施形態の上記の詳述は、技術を網羅する又は上で開示する明確な形態に制限するように意図しない。本技術の特定の実施形態及び例は、例証を目的に上で説明されたが、当業者が認識するであろうことのように、本技術範囲の中で種々の等価の変更が可能である。例えば、ステップが所定の順番で示されたが、別の実施形態は異なる順番でステップを実施することがある。本明細書で説明する種々の実施形態は、さらに実施形態を提供するために組み合されることもある。
【0080】
先述の事項から、本技術の特定の実施形態は、例証を目的に門明細書で説明したが、良く知られた構造及び機能は、本技術の実施形態の説明を不必要に不明瞭にすることを避けるために、詳細に示さなかった又は説明しなかったことが認識されるであろう。文脈が許すところでは、単数の又は複数の用語は複数又は単数の用語を含みうる。
【0081】
そのうえ、「or」の語が、２又はそれ以上のアイテムのリストへの参照における他の項目から排他的な単体の項目のみを意味すると明確に制限されない限りは、このようなリストにおける「or」の使用は、（ａ）リストの任意の単体の項目、（ｂ）リストの全ての項目、又は（ｃ）リストの項目の任意の組み合わせを含むとして解釈されるべきである。そのうえ、「含んでいる」の用語は少なくとも列挙された特徴を含むことを意味し、任意のより多くの同じ特徴及び／又は追加の種類の特徴を排除しないように全体で使用される。特定の実施形態は、例示を目的として本明細書で説明したが、本技術から逸脱することなく種々の変更が行われ得ることが、また理解されるであろう。さらに、本技術のいくつかの実施形態に関連付けられる利点をそれらの実施形態の文脈において説明したが、他の実施形態もまたこのような利点を示すことがあり、さらに全てではない実施形態は、本技術の範囲に属するためにこのような利点を示すことを必然的に必要とする。よって、本開示及び関連付けられる技術は、本明細書で明確に示さない又は説明しない他の実施形態を包含し得る。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14A】
【図14B】
【図14C】
【国際調査報告】