ホーム > 特許ランキング > ノバラッド コーポレーション
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】拡張現実ディスプレイにおける医療画像の位置合わせ
(51)【国際特許分類】
G06T 19/00 20110101AFI20240215BHJP
A61B 34/20 20160101ALI20240215BHJP
【ＦＩ】
G06T19/00 600
A61B34/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023540143
(86)(22)【出願日】2021-12-29
(85)【翻訳文提出日】2023-08-22
(86)【国際出願番号】 US2021065558
(87)【国際公開番号】W WO2022147161
(87)【国際公開日】2022-07-07
(31)【優先権主張番号】17/138,558
(32)【優先日】2020-12-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
(71)【出願人】
【識別番号】519300183
【氏名又は名称】ノバラッド コーポレーション
(74)【代理人】
【識別番号】100089875
【弁理士】
【氏名又は名称】野田 茂
(72)【発明者】
【氏名】ギビー ウェンデル アーレン
(72)【発明者】
【氏名】クヴェトコ スティーブン トッド
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050BA12
5B050CA07
5B050DA05
5B050DA10
5B050EA05
5B050EA06
5B050EA07
5B050EA18
5B050EA19
5B050EA27
5B050FA02
5B050FA09
5B050FA14
5B050GA08
(57)【要約】
画像データセットを人の身体と共存させるためのＡＲヘッドセットについて説明する。身体の一部分の画像データセットは、識別され得る。画像データセットは、解剖学的場所を識別するための仮想解剖学的マーカを含むことができる。空間的場所は、ＡＲヘッドセットの視野内の物理的ポインタオブジェクトを使用して識別され得る。物理的ポインタオブジェクトを使用して識別される可視解剖学的特徴の空間的場所は、記録され得る。位置登録は、物理的ポインタオブジェクトが人の身体の可視解剖学的特徴に位置するという入力に基づいてトリガされ得る。更に、画像データセットは、画像データセット内の仮想解剖学的マーカを基準として、可視解剖学的特徴について記録された空間的場所を使用して、人の身体と位置合わせされ得る。
【特許請求の範囲】
【請求項1】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法であって、前記人の前記身体の一部分の前記画像データセットを取得することであって、前記画像データセットは、解剖学的場所を識別するための仮想解剖学的マーカを含み、前記画像データセットは、医療撮像デバイスによって取り込まれたものである、取得することと、
前記ＡＲヘッドセットの光学センサの視野内の物理的ポインタオブジェクトを使用して空間的場所を識別することと、
前記物理的ポインタオブジェクトが前記人の前記身体の可視解剖学的特徴に位置するという入力に部分的に基づいて、前記物理的ポインタオブジェクトを使用して識別される可視解剖学的特徴の空間的場所を位置登録することと、
前記画像データセット内の前記仮想解剖学的マーカを基準として、前記可視解剖学的特徴について記録された前記空間的場所を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、方法。
【請求項2】
医療専門家によって制御されるコンピューティングデバイスを使用して、前記画像データセット内の前記仮想解剖学的マーカについて位置を定義することを更に含む、請求項１に記載の方法。
【請求項3】
前記空間的場所は、点、曲線、追跡された領域、又は追跡された三次元（３Ｄ）形状のうちの少なくとも１つである、請求項１に記載の方法。
【請求項4】
前記物理的ポインタオブジェクト上のポインタ又は先端は、前記空間的場所を識別するために使用される、請求項１に記載の方法。
【請求項5】
仮想ポインタは、前記物理的ポインタオブジェクトから延在され、前記物理的ポインタオブジェクトによって制御され、前記仮想ポインタの先端は、前記空間的場所を定義する、請求項１に記載の方法。
【請求項6】
前記ＡＲヘッドセットを使用して、前記人の前記身体に視覚的にオーバーレイされた前記画像データセットを表示することを更に含む、請求項１に記載の方法。
【請求項7】
前記物理的ポインタオブジェクトの空間的位置を識別することは、前記ＡＲヘッドセットの前記光学センサを使用して三次元（３Ｄ）空間的位置を識別することを更に含む、請求項１に記載の方法。
【請求項8】
前記物理的ポインタオブジェクトは、前記ＡＲヘッドセットが前記物理的ポインタオブジェクトの前記空間的位置を決定することを可能にするために、前記物理的ポインタオブジェクト上に光学コードを有する、請求項１に記載の方法。
【請求項9】
前記物理的ポインタオブジェクトは、物理的ワンド、針、トロカール、又はポインティング先端を有する物理的オブジェクトである、請求項１に記載の方法。
【請求項10】
前記ワンドの空間的位置は、前記ワンド上の光学コードを使用して、前記ＡＲヘッドセットによって認識され得る、請求項９に記載の方法。
【請求項11】
前記物理的ポインタオブジェクトの先端の空間的場所は、前記物理的ポインタオブジェクトの縁部を検出することによって認識される、請求項１に記載の方法。
【請求項12】
前記物理的ポインタオブジェクトは、前記ＡＲヘッドセットによって識別される医療専門家の指である、請求項１に記載の方法。
【請求項13】
仮想ポインタが指から延在され、前記仮想ポインタの遠位端が前記指によって制御され、前記仮想ポインタの前記遠位端は、前記物理的ポインタオブジェクトの前記先端を表す、請求項９に記載の方法。
【請求項14】
蛍光透視撮像デバイスを使用して、物理的ポインタオブジェクトの先端の空間的場所を識別することを更に含み、前記物理的ポインタオブジェクトの前記先端は、前記可視解剖学的特徴に触れている、請求項１に記載の方法。
【請求項15】
少なくとも２つの蛍光透視画像を使用して、人の身体内の非可視解剖学的特徴の場所を識別することと、前記物理的ポインタオブジェクトの先端を前記人の前記身体に挿入して、前記解剖学的特徴に触れることと、
前記物理的ポインタオブジェクトの前記先端の場所を前記空間的場所として位置登録することと、
前記画像データセット内の前記仮想解剖学的マーカを基準として、前記非可視解剖学的特徴について記録された前記空間的場所を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、
を更に含む、請求項１に記載の方法。
【請求項16】
前記画像データセット内の前記仮想解剖学的マーカは、円、線、曲線、スプライン、点、十字線、平面、コールアウト、二次元グラフィックオブジェクト、又は三次元グラフィックオブジェクトのうちの少なくとも１つである、請求項１に記載の方法。
【請求項17】
前記人の前記身体上の１つ以上の光学コードを使用して、前記人の前記身体について前記画像データセットを自動的に取り出すことを更に含む、請求項１に記載の方法。
【請求項18】
前記物理的ポインタオブジェクトの光学コードは、前記光学コードに埋め込まれたデータ又は値を含む、請求項１に記載の方法。
【請求項19】
前記物理的ポインタオブジェクトの光学コードは、医療器具タイプ、医療器具モデル、医療器具バージョン、又は医療器具製造業者のうちの少なくとも１つを定義する埋め込みデータを含む、請求項１に記載の方法。
【請求項20】
前記物理的ポインタオブジェクトの光学コードは、各物理的ポインタオブジェクトに対する一意のコードを含む、請求項１に記載の方法。
【請求項21】
前記物理的ポインタオブジェクトの光学コード内の値は、仮想医療手順ソフトウェア、位置合わせソフトウェア、又はナビゲーションソフトウェアのうちの少なくとも１つに対するライセンス供与を確認するために使用される、請求項１に記載の方法。
【請求項22】
前記物理的ポインタオブジェクトの光学コード内の値は、仮想医療手順ソフトウェア、位置合わせソフトウェア、又はナビゲーションソフトウェアのうちの少なくとも１つに対するライセンス供与又は支払いを確認するために、追加の医療器具の光学コードとともに使用される、請求項１に記載の方法。
【請求項23】
物理的ポインタオブジェクトを使用して空間的場所を識別することは、第１の空間配向における前記物理的ポインタオブジェクトのための第１の仮想平面を生成することと、
第２の空間配向における前記物理的ポインタオブジェクトのための第２の仮想平面を生成することと、
第３の空間配向における前記物理的ポインタオブジェクトのための第３の仮想平面を生成することと、
前記第１の仮想平面、前記第２の仮想平面及び前記第３の仮想平面の交点を計算することと、を更に含み、前記第１の仮想平面、前記第２の仮想平面及び前記第３の仮想平面の前記交点は、前記空間的場所を定義する、請求項１に記載の方法。
【請求項24】
物理的ポインタオブジェクトを使用して空間的場所を識別することは、第１の空間配向における前記物理的ポインタオブジェクトのための第１の仮想線を生成することと、
第２の空間配向における前記物理的ポインタオブジェクトの第２の仮想線を生成することと、
前記第１の仮想線及び前記第２の仮想線の交点を計算することと、を更に含み、前記第１の仮想線及び前記第２の仮想線の前記交点は、前記空間的場所を定義する、請求項１に記載の方法。
【請求項25】
前記物理的ポインタオブジェクト上のＩＲ反射器を更に備え、前記ＡＲヘッドセットは、前記物理的ポインタオブジェクトの前記場所を決定するために、前記ＩＲ反射器から反射するＩＲ光を投影する、請求項１に記載の方法。
【請求項26】
前記物理的ポインタオブジェクト上のＩＲ光源と、前記物理的ポインタオブジェクトの前記場所を決定するために使用される前記ＡＲヘッドセット上のＩＲセンサと、を更に備える、請求項１に記載の方法。
【請求項27】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるためのシステムであって、少なくとも１つのプロセッサと、
複数のデータ及び命令を記憶するためのデータストアを含む少なくとも１つのメモリデバイスと、を備え、前記命令は、実行されるときに、前記システムに、
前記人の前記身体の一部分の前記画像データセットを取得することであって、前記画像データセットは、医療撮像デバイスによって取り込まれる、取得することと、
前記画像データセット内の解剖学的特徴に関連付けられた仮想解剖学的マーカを識別することであって、前記仮想解剖学的マーカは、医療専門家によって定義されている、識別することと、
前記ＡＲヘッドセットの光学センサを使用して物理的ポインタワンドを識別することと、前記ＡＲヘッドセットの前記光学センサを使用して前記物理的ポインタワンドの空間的位置を追跡することと、
前記物理的ポインタワンドのポインタが視覚的解剖学的特徴に位置するという入力を受信することと、
前記視覚的解剖学的特徴における前記物理的ポインタワンドの先端の空間的場所を記録することと、
前記画像データセット内の前記仮想解剖学的マーカを基準として、前記物理的ポインタワンドの前記先端について記録された前記空間的場所を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を行わせる、システム。
【請求項28】
仮想ポインタは、前記物理的ポインタワンドから延在され、前記物理的ポインタワンドによって制御され、前記仮想ポインタの前記先端は、前記空間的場所を定義する、請求項２７に記載のシステム。
【請求項29】
前記物理的ポインタワンドは、前記物理的ポインタワンドの認識を可能にするために、前記物理的ワンド上に１つ以上の光学コードを有する、請求項２７に記載のシステム。
【請求項30】
前記物理的ポインタワンドの前記先端の前記空間的位置は、前記物理的ポインタワンドの光学コードを参照することによって決定される、請求項２７に記載のシステム。
【請求項31】
前記物理的ワンドの前記先端は、前記物理的ワンドの輪郭の少なくとも一部分を検出することによって認識される、請求項２７に記載のシステム。
【請求項32】
命令が組み込まれた非一時的機械可読記憶媒体であって、前記命令は、１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサにプロセスを行わせ、前記プロセスは、人の身体の一部分の画像データセットを取得することであって、前記画像データセットは、医療撮像デバイスによって取り込まれる、取得することと、
前記画像データセット内の解剖学的特徴に関連付けられた仮想解剖学的マーカを識別することであって、前記仮想解剖学的マーカは、医療専門家によって定義されている、識別することと、
拡張現実（ＡＲ）ヘッドセットのユーザの指を、前記ＡＲヘッドセットの光学センサを使用して、識別することと、
前記ＡＲヘッドセットの前記光学センサを使用して前記指の位置を追跡することと、前記ＡＲヘッドセットから、前記指の先端が可視解剖学的特徴を指しているという入力を受信することと、
前記可視解剖学的特徴での前記指の空間的場所を位置登録することと、前記画像データセット内の前記仮想解剖学的マーカを基準として、前記指について記録された前記空間的場所を使用して、前記画像データセットを前記人の前記身体と位置合わせすることと、を含む、非一次的機械可読記憶媒体。
【請求項33】
仮想ポインタは、前記ユーザの前記指から延在され、前記ＡＲヘッドセットを通して見ることができる、グラフィカルポインタである、請求項３２に記載の非一時的機械可読記憶媒体。
【請求項34】
前記指は、前記指の位置の認識を可能にするために前記指上に光学コードを有する、請求項３２に記載の非一時的機械可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【0001】
複合現実又は拡張現実は、物質的世界及び仮想コンピューティング世界の画像又はビューを複合現実世界に組み合わせることができるコンピューティング技術の領域である。複合現実では、物理的世界及び仮想世界からの人々、場所、及びオブジェクトが、ブレンドされた環境になる。ＶＲ（virtual reality、仮想現実）又はＡＲ（augmented reality、拡張現実）ヘッドセットの使用とともに、既存の商用又はカスタムソフトウェアを介して複合現実体験が提供され得る。
【0002】
拡張現実（Augmented reality、ＡＲ）は、物理的実世界環境の、生の直接的なビュー又は間接的なビューが、画像、音声、ビデオ、グラフィックス、又は他のデータなどの、コンピュータ生成感覚入力によって拡張又は補足される複合現実の例である。そのような拡張は、実世界の場所が見られているときに実行され得、拡張されたグラフィックは、可視環境要素との関連があるときに、実現され得る。高度なＡＲ技術（例えば、コンピュータビジョン及びオブジェクト認識を追加すること）の助けを借りて、ユーザの周囲の実世界に関する情報は、インタラクティブになり、及び／又は（例えば、コンピュータグラフィックオーバーレイを介して）デジタル的に修正され得る。
【0003】
ＡＲシステム又はＡＲヘッドセットを使用することにおいて直面する問題は、物理的オブジェクトの位置及び配向を高精度で識別することである。同様に、仮想要素の位置を実世界環境の生のビューにおける物理的オブジェクトと位置合わせすることは、困難であり得る。例えば、ＡＲヘッドセットを介して見たときに、仮想オブジェクトを物理的オブジェクトと位置合わせすることは、困難であり得、その理由は、仮想オブジェクトの発光又は明るさが、仮想オブジェクトを位置合わせすることになる、基となる現実オブジェクトを見えにくくさせるからである。仮想オブジェクトを物理的オブジェクトと概ね数センチメートル以内に位置合わせすることは、娯楽分野、及びより負担の少ないアプリケーションにとって有用であり得るが、ＡＲシステムの場合の位置決め及び位置合わせの解像度をより高めることは、科学的、工学的、及び医学的分野において望ましい場合がある。結果として、科学的、工学的、及び医学的分野において使用されるＡＲの位置決め及び位置合わせプロセスは、手動で行われ得、これは、時間がかかり、煩雑であり、かつ不正確であり得る。
【図面の簡単な説明】
【0004】
【図1A】患者の画像データセットが、画像データセット内の仮想解剖学的マーカと位置合わせする空間的場所を識別する物理的ポインタオブジェクトを使用して、患者の実際のビューに位置合わせされ得る例示的な拡張現実（ＡＲ）環境を図示する。
【図2】２Ｄバーコードを有する物理的ポインタオブジェクトの実施例を図示する。
【図3A】物理的ポインタオブジェクトを使用して識別される空間的場所を使用して患者の実際のビューと位置合わせされ得る患者又は人の画像データセットの例示的な上面図を図示する。
【図3B】物理的ポインタオブジェクト上で使用される複数の光学コードの例示的な上面図を図示する。
【図3C】位置登録されるべき点の周りで物理的ポインタオブジェクトを回転又は周回させる実施例を図示する。
【図3D】物理的ポインタオブジェクト及びＡＲヘッドセット上のカメラを使用して形成され得る仮想平面の実施例を図示する。
【図3E】物理的ポインタオブジェクトを使用して仮想平面を作成する実施例を図示する。
【図3F】物理的ポインティングデバイスが点の周りに回転され、空間点を位置登録するために使用される複数の平面が生成される実施例を図示する。
【図3G】患者の身体の皮膚の下の物理的解剖学的点を指し示す物理的ポインティングデバイスの実施例を図示する。
【図3H】二次元及び三次元画像データセット上にマークされた基準点又は解剖学的点を図示する。
【図3I】二次元及び三次元画像データセット上にマークされた基準点又は解剖学的点を図示する。
【図4A】医療専門家によって仮想解剖学的マーカが作成された人の身体の椎骨上の場所の断面図の実施例を図示する。
【図4B】仮想解剖学的マーカを有する人の脊椎領域における場所の例示的な断面側面図を図示する。
【図4C】仮想解剖学的マーカを有する人の脊椎領域における場所の例示的な後面図を図示する。
【図5】画像データセットにおいて医療専門家によって作成された仮想解剖学的マーカを、物理的ポインタオブジェクトによって識別される空間的場所に位置合わせすることを可能にするための物理的ポインティングオブジェクトの例示的な使用を図示する。
【図6】拡張現実（ＡＲ）ヘッドセットを使用して、物理的ポインタオブジェクトを使用して画像データセットを人の身体と共存させるための方法を示す。
【図7】拡張現実（ＡＲ）ヘッドセットを使用して、物理的ポインタワンドを使用して画像データセットを人の身体と共存させるための方法を図示する。
【図8】拡張現実（ＡＲ）ヘッドセットを使用して、物理的ポインタオブジェクトとして指を使用して画像データセットを人の身体と共存させるための方法を図示する。
【図9】画像データセットを人の身体に位置合わせするために用いられ得る例示的なシステムを図示する。
【図10】本技術を処理するコンピューティングシステムの実施例を図示するブロック図である。
【発明を実施するための形態】
【0005】
拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための技術が提供されている。本技術は、物理的ポインタオブジェクトを使用して、画像データセット内の仮想解剖学的マーカと位置合わせするための空間的場所を識別し得る。仮想解剖学的マーカは、医療専門家によって画像データセット内に作成又はマークされ得る。物理的ポインタオブジェクトは、物理的ポインタオブジェクト上に光学コードを有し得、光学コードは、物理的ポインタオブジェクトの場所、次に、ＡＲヘッドセットによって見られている三次元（three－dimensional、３Ｄ）空間内の物理的ポインタオブジェクトのポインタ又は点（例えば、先端）の場所を決定するために使用され得る。ＡＲヘッドセットは、医療手順中にＡＲヘッドセットのカメラの視界内にある１つ以上の光学コード（例えば、ＡｐｒｉｌＴａｇ、ＱＲコード、又は２Ｄ光学バーコード）を識別し得る。物理的ポインタオブジェクトは、医療専門家又はユーザのワンド、トロカール、針、又は指などのオブジェクトであり得る。
【0006】
画像データセットは、医療手順中に、仮想解剖学的マーカと、物理的ポインタオブジェクト上の先端又は点によって触れられるか又はマークされる、物理的ポインタオブジェクトを使用して識別される空間的場所とを位置合わせすることによって、人の身体と位置合わせされ得る。画像データセットは、非光学撮像法モダリティを使用して、人の身体の一部分の、以前に得られた画像であり得る。非光学撮像法モダリティの実施例は、ＭＲＩ（magnetic resonance imaging、磁気共鳴撮像法）モダリティ、ＣＴ（computed tomography、コンピュータ断層撮影）スキャンニングモダリティ、Ｘ線モダリティ、陽電子放出断層撮影（Positron Emission Tomography、ＰＥＴ）モダリティ、超音波モダリティ、蛍光モダリティ、赤外線サーモグラフィ（Infrared Thermography、ＩＲＴ）モダリティ、３Ｄマンモグラフィ、又は単一光子放出型コンピュータ断層撮影（Single－Photon Emission Computed Tomography、ＳＰＥＣＴ）スキャンモダリティなどであり得る。画像データセットは、物理的ポインタオブジェクトの先端によって定義される空間的場所又は物理的ポインタオブジェクトの先端から既知の距離で定義される空間的場所に位置合わせされる仮想解剖学的マーカ（例えば、画像可視マーカ）を使用して、人の身体に位置合わせされ得る。
【0007】
位置合わせという用語は、仮想解剖学的マーカ及び空間点が数ミリメートル以内に位置合わせされること、又は仮想解剖学的マーカの位置合わせが空間点から設定距離（例えば、表面下１ｃｍ）以内であり得ることを意味し得る。例えば、仮想解剖学的マーカは、物理的ポインタオブジェクトの先端と位置合わせされ得るが、仮想解剖学的マーカは、皮膚又は骨などの下に更に数ミリメートルであるように位置合わせされ得る。仮想解剖学的マーカは、ＡＲヘッドセットに視覚的に可視でない可能性がある、取り込まれた放射線医学画像又は画像データセットなどの非可視撮像法モダリティを使用して取り込まれたデータセットに追加され、見られるマーカ、タグ、又は表記である。
【0008】
図１は、患者又は人１０６の画像データセット１１６が、ＡＲヘッドセットの光学センサの視野内の物理的ポインタオブジェクト１１８を使用して識別される空間的場所を使用して、患者１０６の実際のビューと位置合わせされ得る拡張現実（ＡＲ）環境１００の実施例を図示する。例えば、空間的場所は、物理的ポインタオブジェクトを使用して識別される空間内のスポット、領域、又は形状であり得る。別の実施例では、標的場所又は標的領域は、空間的場所とみなされ得る。
【0009】
人の身体の一部分の画像データセットは、医療撮像デバイスを使用して取得され得、画像データセットは、解剖学的特徴を識別するための仮想解剖学的マーカを有し得る。一実施例では、画像可視マーカは、コンピュータグラフィックスを用いて仮想解剖学的マーカを作成するために、仮想マーキングツール及び仮想グラフィックスを用いて画像をマークする医療専門家によって作成又は配置され得る。例えば、画像データセット内の仮想解剖学的マーカについての場所は、医療専門家によって制御されるコンピューティングデバイス又はワークステーションを使用して、医療手順の前に定義され得る。画像データセット内の仮想解剖学的マーカは、ドット、円、線、曲線、スプライン、十字線、点、平面、コールアウト、二次元（two－dimensional、２Ｄ）グラフィックオブジェクト、又は三次元（３Ｄ）グラフィックオブジェクトである仮想グラフィカルマークであり得る。医療専門家又は他の個人は、患者の解剖学的特徴の形状など、位置合わせのために使用される曲線又は形状を追跡し得る。本明細書で使用される解剖学的特徴という用語は、人又は患者の任意の解剖学的態様を指し得、必ずしも一意の解剖学的特徴を指すわけではない。
【0010】
代替的に、画像データセットは、非光学撮像法モダリティを用いてヒトの身体の構造を取り込む、機械で取り込まれた画像内の仮想解剖学的マーカの表現で取り込まれ得る。例えば、画像可視コード、画像可視流体充填構造、容器若しくはカプセル内の画像可視流体（例えば、ＭＲＩビーズ若しくは球）、放射線密度マーカ（例えば、ＣＴ用放射線不透過性マーカ）、放射性同位元素、又は画像可視オブジェクト（例えば、画像可視材料）などの画像可視マーカを使用して、画像データセット内に仮想解剖学的マーカを作成し得る。上述のような他の撮像法モダリティでは、それぞれのモダリティ（ＭＲＩ、ＣＴ、核ベースの画像取得など）において取り込まれた画像内で可視である容器内に適切な造影剤を入れて提供し、仮想解剖学的マーカを作成することができる。
【0011】
物理的ポインタオブジェクト１１８は、金属ワンド、プラスチックワンド、トロカール、針、ポインティング先端を有する物理的オブジェクト、又は三次元（３Ｄ）空間内に検出可能なポインタ場所を有する別の医療ポインタであり得る。物理的ポインタオブジェクト１１８は、物理的ポインタオブジェクト１１８の空間的場所を識別するために、物理的ポインタ（例えば、ワンド又は指）に貼り付けられた光学コード１９９を有し得る。
【0012】
代替的に、光学コード１９９は、物理的ポインタオブジェクトのハンドル又は他の部分上に恒久的に印刷されるか、又はその中に形成され得る。例えば、光学コードは、射出成形又は３Ｄ印刷プロセス中に物理的ポインタオブジェクトのハンドル内に形成されて、光学コードの明るい部分を表す光学コードの凹部と、光学コードの暗い部分を表す光学コードの非凹部とを形成し得る（又はその逆）。更に、光学コードは、着色プラスチック、塗料又は同様の材料を使用して、物理的ポインタオブジェクトのハンドル上にエンボス加工され得る。物理的ポインタオブジェクト上の光学コード１９９はまた、光学コードとして可視ＡｐｒｉｌＴａｇ又は２Ｄバーコードを使用して、ＡＲヘッドセット１０８によって取り込まれたカメラ画像内で識別され得る。物理的ワンドの空間的場所は、光学コードを使用してＡＲヘッドセットによって認識され得る。代替構成では、物理的ポインタオブジェクトの先端の空間的場所は、最初に物理的ポインタオブジェクトの縁部を検出することによって認識され得る。物理的ポインタオブジェクトの縁部が分かると、物理的ポインタオブジェクトの先端又はポインタは、識別され得る。
【0013】
光学コードはまた、光学コードに埋め込まれたデータ及び／又は値を含み得る。一実施例では、埋め込まれたデータは、医療器具タイプ、医療器具モデル、医療器具バージョン、又は医療器具製造業者を定義する値であり得る。加えて、各物理的ポインタオブジェクトは、デバイスのための一意のコードを有し得る。物理的ポインタオブジェクトに対して一意のコードが認識されるときに、ＡＲヘッドセットは、物理的ポインタオブジェクトを使用する能力をロック解除し得、又はその物理的ポインタオブジェクトに対して事前記録されたナビゲーションソフトウェア若しくはガイダンスソフトウェアをロック解除し得る。光学コード内のデータはまた、正しい医療器具、正しい画像データセットファイル、及び正しい形状の医療器具が医療手順に使用されていることをチェックするために使用され得る。物理的ポインタオブジェクトの光学コード内の値は、仮想医療手順ソフトウェア若しくは位置合わせソフトウェアのライセンス供与又は支払いを確認するために使用され得、及び／又は正しいコードは、ナビゲーションソフトウェアシステムをロック解除し得る。物理的ポインタオブジェクトの光学コード内の値はまた、仮想医療手順ソフトウェア若しくは位置合わせソフトウェアのライセンス供与又は支払いを確認するために、他の医療器具（例えば、器具トレイなど）内の光学コードと組み合わせて使用され得、及び／又は正しいコードは、ナビゲーションソフトウェアシステムをロック解除し得る。光学コードに埋め込まれたデータ及び値は、格納されたデータ及び値におけるキー又は他の大いに役立つデータを保護するために、暗号化されたコード値又はデータであり得る。
【0014】
一実施例では、光学コード１９９は、ＡｐｒｉｌＴａｇ、線形バーコード、マトリックス二次元（２Ｄ）バーコード、Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ（ＱＲ）コード、Ｆｏｕｒｉｅｒ Ｔａｇ（例えば、Ｆｏｕｒｉｅｒ ｃｏｄｅを含む任意の光学コード）、又はそれらの何らかの組み合わせであり得る。ＡｐｒｉｌＴａｇは、拡張現実及び／又はカメラ較正のために有用である視覚的基準システムであり得る二次元バーコードである。ＡｐｒｉｌＴａｇｓは、カメラ、センサ、又はＡＲヘッドセットに対するタグの３Ｄ位置、向き、及び識別情報を計算するために使用され得る。
【0015】
使用中、可視解剖学的特徴の空間的場所は、物理的ポインタオブジェクトの先端、ポインタ、又は他の点を使用して識別されるように記録され得る。空間的場所は、ＡＲヘッドセット１０８若しくは別のコンピュータデバイスへの入力を受信すると、物理的ポインタオブジェクトが人の身体の可視解剖学的特徴に位置するか、又はそれを指していることを示して記録され得る。更に、空間的場所は、点、曲線、追跡された二次元（２Ｄ）領域、又は追跡された三次元（３Ｄ）形状のうちの少なくとも１つとして定義され得る。したがって、物理的ポインタオブジェクトの空間的場所は、ＡＲヘッドセットの光学センサを使用して記録されるようなＸ、Ｙ、及びＺ座標（又は極座標）における三次元（３Ｄ）空間的場所を更に定義し得る。医療専門家は、曲線、領域、又は形状が追跡され始めたときにインジケータを提供し、曲線、領域、又は形状の追跡が完了したときに示すことができる。物理的ポインタオブジェクト上のタグの場所を知ることによって、先端（例えば、針先端又はポインタ先端）の場所は、任意の時点で計算され得る。次いで、画像データセット内の仮想解剖学的マーカを基準として、可視解剖学的特徴について記録された空間的場所を使用して、画像データセットを人の身体と位置合わせされ得る。結果として、画像データセットは、ＡＲヘッドセットを使用して、人の身体に視覚的にオーバーレイされるように表示され得る。
【0016】
環境１００は、物理的空間１０２（例えば、手術室、実験室など）、ユーザ１０４（例えば、医療専門家）、患者１０６、光学コード１９９を有する物理的ポインタオブジェクト１１８、及びコンピュータネットワーク１１０を介してサーバ１１２と通信するＡＲヘッドセット１０８を含み得る。仮想ユーザインターフェース１１４及び仮想カーソル１２２が、破線で示され、これらの仮想要素がＡＲヘッドセット１０８によって生成され、ＡＲヘッドセット１０８を介してユーザ１０４によって見ることができることを示している。
【0017】
画像データセット１１６は、非光学撮像法モダリティを使用して取り込まれ得る。画像データセットを取り込むために使用される非光学撮像法モダリティの一実施例は、ＭＲＩモダリティであり得る。別の例では、非光学画像又は画像データセットは、非光学撮像法モダリティの２つ以上の形態の組み合わせを含む画像又は画像データセットであってもよい（例えば、ともに組み合わされた２つ以上の画像、２つ以上の非光学画像の組み合わされたセグメント、ＭＲＩ画像と融合されたＣＴ画像など）。別個のモダリティ内の各画像データセットは、別個の画像データセット内に仮想解剖学的マーカを有し得、これにより、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、透視画像などを、ＡＲシステムビュー内の人の身体上の物理的ポインティングオブジェクトによって識別される空間点とともに位置合わせ及び／又は参照されることを可能にし得る。
【0018】
ＡＲヘッドセット１０８は、画像データセット１１６を用いて、（院内着又は布地１０７によって覆われた）患者１０６の実際のビューを拡張することができるＡＲコンピューティングシステムであり得る。例えば、ＡＲヘッドセット１０８は、骨（図１に図示されるような）、筋肉、臓器、腫瘍などの病理、リンパ節又は流体１０６ｂを含むが、これらに限定されない、患者１０６の１つ以上の３Ｄ画像データセットのビュー、又は放射線医学画像を用いて患者１０６の実際のビューを拡張するために、ユーザ１０４によって用いられ得る。
【0019】
ＡＲヘッドセット１０８により、画像データセット１１６（又は画像データセットの投射）が動的に再構築されることが可能になり得る。よって、ユーザ１０４が患者１０６の周辺を移動するときに、ＡＲヘッドセット１０８のセンサは、患者１０６に対するユーザ１０４の場所を決定し、画像データセットを使用して表示される患者の内部の解剖学的構造は、ユーザ１０４が患者に対して異なる配向を選択するときに、動的に再構築することができる。例えば、ユーザ１０４は、患者１０６の周りを歩いてもよい。次いで、ＡＲヘッドセット１０８は、患者１０６の１つ以上の取得された放射線医学画像又は画像データセット（ＭＲＩ、ＣＴスキャンなど）を用いて、患者１０６の実際のビューを拡張することができ、その結果、患者１０６ａ、及びその患者１０６ａの画像データセット１１６の両方は、任意の角度からユーザ１０４によって見られ得る（例えば、画像データセットからの投射された画像又はスライスもまた、表示することができる）。ＡＲヘッドセット１０８は、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ、Ｍｅｔａ Ｃｏｍｐａｎｙ ＭＥＴＡ ２、Ｅｐｓｏｎ ＭＯＶＥＲＩＯ、Ｇａｒｍｉｎ ＶＡＲＩＡ ＶＩＳＩＯＮ、Ｍａｇｉｃ ＬｅａｐのＭＡＧＩＣ ＬＥＡＰ １、又は他のＡＲヘッドセットの修正バージョンであり得る。
【0020】
ＡＲヘッドセット１０８によって生成された仮想ユーザインターフェース１１４は、患者１０６の画像データセット１１６から患者１０６の投射された内側の解剖学的構造の表示を変更するための選択肢を含むことができる。仮想ユーザインターフェース１１４は、ユーザ１０４にとって有用であり得る他の情報を含むことができる。例えば、仮想ユーザインターフェース１１４は、光学コードで識別されている患者又は医療用具１１８（例えば、医療器具、インプラントなど）に関する情報を含んでもよい。別の実施例では、仮想ユーザインターフェース１１４は、患者１０６に関するカルテ又は他の医療データを含み得る。いくつかの構成では、人の画像データ１１６又は取り込まれた放射線医学的なデータは、多量の画像データセット１１６を使用して、ＡＲヘッドセット１０８によって表示されて、その画像データから患者１０６ａの放射線医学的に取り込まれた解剖学的構造（例えば、骨１０６ｂ、組織、血管、流体など）を表示し得る。この画像データは、画像データの軸方向スライス、冠状スライス、矢状スライス、又は傾斜スライスを含むことができる。スライスは、深さ並びに高さ及び幅（例えば、ボクセルの１つ以上の層）を有する二次元（２Ｄ）スライス、三次元（３Ｄ）スライス、及び／又は四次元（four dimensional、４Ｄ）スライス（画像の時系列を有する３Ｄ画像）であってもよい。ユーザ１０４は、ハンドジェスチャ、音声コマンド、眼球運動、リモートコントロール（例えば、指クリッカ（finger clicker））、３Ｄマウス、ＶＲ棒（VR wand）、指センサ、触覚技術、又は他の制御方法を使用して仮想ユーザインターフェース１１４を制御することができる。
【0021】
物理的ポインタオブジェクトの細長いシャフト上のハンドルに対して遠位の遠位端点又は先端は、空間的場所を識別するために使用され得るが、任意の他の事前定義された点は、空間的場所を識別するために物理的ポインタオブジェクト上で使用され得る。例えば、物理的ポインタオブジェクトが三角形又は別の多角形である場合、物理的ポインタオブジェクトの点のうちの１つは、空間的場所を識別する先端として使用され得る。同様に、物理的ポインタオブジェクトは、立方体又は他の形状であり得、空間的場所を識別するために使用され得る立方体又は他の形状から延在する種々のサイズ又は色の複数のポインタが存在し得る。例えば、ポインタのサイズ又はポインタの色は、設定されている空間点に対応し得る。
【0022】
画像データセットは、人の身体上の１つ以上の光学コードを使用して、人の身体について自動的に取り出され得る。代替的に、画像データセットは、医療手順に必要とされる画像が物理的ポインタオブジェクトに関連付けられ得るので、物理的ポインタオブジェクト上の光学コードを使用して取り出され得る。
【0023】
一実施例では、患者１０６は、例えば、病院内の医療撮像室から病院内の手術室に移動され得る。次いで、ユーザ１０４（図１の医療専門家など）は、ＡＲヘッドセット１０８を使用して、物理的ポインティングオブジェクト１１８上の光学コード１９９の場所を決定し得る。次に、ＡＲヘッドセット１０８は、物理的ポインティングオブジェクト１１８上の光学コードに基づいて、患者１０６の画像データを自動的に取り出し得る。
【0024】
３Ｄ空間１０２内で光学コード１９９を検出した後、ＡＲヘッドセット１０８は、物理的ポインティングオブジェクト１１８の位置を自動的に計算し得る。この自動計算は、３Ｄ空間１０２内の光学コード１９９の感知された位置、及び／又は光学コード１９９の位置に対する物理的ポインティングオブジェクトの既知の固定位置に基づき得る。
【0025】
更なる構成では、仮想ポインタ又はグラフィカルポインタは、物理的ポインタオブジェクトから延在され、物理的ポインタオブジェクトによって制御され得、仮想ポインタのポインタ（例えば、先端）は、空間的場所を定義するために使用され得る。物理的ポインタオブジェクトは、ＡＲヘッドセットによって識別される医療専門家の指であり得る。例えば、医療専門家の指がＡＲヘッドセットによって物理的ポインタオブジェクトとして検出された場合、２Ｄ又は３Ｄにおける仮想線又は仮想オブジェクトは、医療専門家の指から離れるように延在され得る。仮想線又は仮想オブジェクトの遠位端は、空間的場所として識別される点、領域、又は形状の場所を定義するためのポインタとして使用され得る。同様に、仮想ポインタは、ワンド、ポインタ、トロカール、モバイルデバイス、ジョイスティック、又は別の物理的ポインタロッド若しくはポインタ構造から延在され得る。本実施例におけるように、指を識別することによって指から延在された仮想構造は、仮想レーザポインタとして使用され得る指からの仮想光線を作成し得る。これは、医療専門家が、空間点で使用されている解剖学的構造を見ることを可能にし、医療専門家は、選択された点に仮想的に触れ（例えば、狙いを定め、又は仮想的にオーバーレイする）、その点を空間的場所として位置登録することができる。
【0026】
代替構成では、ＡＲヘッドセットは、カーソルがＡＲヘッドセット内のユーザの頭部の位置決めによって制御される、物理的ポインタオブジェクトを伴わない仮想レーザポインタを有し得る。この仮想レーザポインタは、ユーザが仮想レーザポインタで指し示すことを可能にし得る。仮想レーザポインタが、マークされるべき空間点を識別する位置にあるときに、リモートコントロール又は他の入力デバイス（例えば、キーボード、マウス、トラックボール、スイッチなど）が、医療専門家が１つ以上の空間的場所をマークすることを可能にするように起動され得る。例えば、医療専門家は、基準１及び／又は基準２をマークし得る。同様に、純粋に仮想レーザポインタは、ジョイスティック、マウス、又はＡＲヘッドセットの視野内にない他の入力ポインティング制御デバイスによって制御され得る。
【0027】
一構成では、人の身体内の解剖学的特徴の場所は、蛍光透視撮像デバイスからの少なくとも２つの蛍光透視（すなわち、Ｘ線）画像を使用して識別され得る。人の身体内の解剖学的特徴の場所は、第１の蛍光透視画像を使用して医療専門家によって識別され得る。蛍光透視画像は、医療専門家が外部組織又は皮膚を通して見ることができないため、解剖学的特徴（例えば、棘突起、腸骨稜、大腿骨の上部など）を見つけるために使用される。この解剖学的特徴は、蛍光透視画像においてマークされ得る。物理的ポインタオブジェクトの先端は、人の身体内に挿入又は浸漬され、解剖学的特徴に触れ得る。例えば、物理的画像ポインタの先端は、他の組織の下にある棘突起に触れる場合がある。１つの蛍光透視画像は、解剖学的特徴がＸ及びＹ座標方向において識別されることを可能にし得、次いで、第２の蛍光透視画像は、Ｚ方向において解剖学的特徴を識別するために使用され得る。したがって、物理的ポインタオブジェクトの先端は、参照される三次元として、非可視解剖学的特徴（蛍光透視画像においてのみ見ることができる）に触れるように配列され得る。次いで、物理的ポインタオブジェクト（例えば、ワンド、鉗子、ポインタの先端の金属球など）の先端は、空間的場所として位置登録され得る。加えて、画像データセットは、画像データセット（例えば、ＭＲＩ画像、ＣＴスキャンなど）内の仮想解剖学的マーカを基準として、非可視解剖学的特徴について記録された空間的場所を使用して、人の身体と位置合わせされ得る。
【0028】
これは、先端が患者の組織内にあるときでさえも、物理的ポインタオブジェクトの先端の場所を識別することを可能にする。別の構成では、仮想針又はポインタは、針又はポインタの可視部分が患者の体外にあるが、針の先端が患者の体内にあり、可視ではないときに、生成され得る。物理的ポインタオブジェクト上の光学コードは、物理的ポインタオブジェクト全体のための場所を提供することができるので、患者内の実際の針の端部は、ＡＲヘッドセットを通した実際のビューにおいて可視ではないとしても、針の先端が（患者内の針の先端をシミュレートするオーバーレイとして）仮想的に投影され得る。したがって、仮想解剖学的マーカは、画像上にマークされ得、仮想針の先端の場所は、患者の実際のビュー（例えば、現実）を画像データセット（例えば、取り込まれた３Ｄ医療画像）と位置合わせ又は連合させるために使用され得る。
【0029】
本技術は、手術中に移動するマーカ又は基準の問題なしに、位置合わせの問題を克服する。具体的に、マーカ又は基準は、画像データセットの位置合わせを支援するために手術中に患者の身体上に配置され得るが、患者の皮膚又は他の組織が手術中に切り裂かれ又は切断されるときに、マーカ又は基準は、弛緩した皮膚、切開、組織の後退又は患者位置における変化（例えば、仰臥位又は腹臥位の間の移動）に起因して移動し、マーカ又は基準を変位させる可能性が高い。結果として、本技術は、手動位置登録、メッシュ三角形を使用して皮膚の曲率を一致させること、身体の外面上の光学コードの使用、又は身体上の他の様々なタグを使用する位置合わせ方法に存在し得るこの問題を克服するのに役立つ。対照的に、この技術は、患者の解剖学的構造の特定の部分（例えば、横突起又は後脊椎突起のうちの１つ）を識別するために使用され得、医療専門家は、その空間点に位置特定することができる。識別される空間点は、患者の身体のための基準又は固定参照点になり得る。上記のように、画像データセットは、画像データセット内の仮想解剖学的マーカを使用して、識別される空間点に位置合わせされ得る。一実施例では、医療専門家は、身体の通常露出している解剖学的構造（例えば、鼻の先端、耳の先端、脛の骨隆起、頭のこめかみ、頭蓋形状、腸骨稜など）にマークし得る。次いで、物理的ワンドは、医療専門家によって移動されて、スポットに触れ、仮想輪郭を追跡し、又は形状を追跡し得る。例えば、物理的ワンドを使用して、患者の頭部のこめかみから空間領域を追跡することができる。加えて、医療専門家は、手術及び皮膚切開の間に露出された解剖学的構造にマークし得る。結果として、マーキングは、手術前に見ることができる可視解剖学的構造、又は手術が進行した後にしか見ることができない可視解剖学的構造に対して生じ得る。
【0030】
繰り返すと、仮想解剖学的マーカは、物理的ポインタオブジェクトによって識別される空間点と位置合わせされるべき画像データセット内に作成され得る。仮想解剖学的マーカは、選択された空間点と位置合わせされ得る画像データセット内に作成された基準とみなされ得る。例えば、空間点は、ワンド又は指で空間点を指すか、又は空間点に触れることによって識別され得、次いで、識別される空間点は、現在選択されている仮想解剖学的マーカと位置合わせされ得る。したがって、基準は、画像データセット（例えば、３Ｄデータセット）において作成され得、物理的基準点は、身体上で識別される。位置合わせされた基準のこの組み合わせは、解剖学的基準参照システムを作成することができる。
【0031】
図２は、物理的ワンド２００又は物理的ポインタオブジェクトである物理的ポインタオブジェクトを図示する。物理的ワンド２００は、シャフト２０２の端部にポインタ２０４（例えば、先端）を有するシャフト２０２を有し得る。物理的ワンドは、この実施例のように、ヒトの手が保持するのに便利なループ又は他の構造を有するハンドル２０６を含み得る。しかしながら、物理的なワンド上のハンドルは、ヒトの手によって保持され得る任意の形状であり得る。例えば、ハンドル２０６は、ボール、ノブ、シャフトに垂直なロッド、単一ループ、又は別のハンドルタイプであり得る。物理的ワンド２００のハンドルは、ハンドル２０６上に光学コード２０８を有し得る。代替的に、光学コード２０８は、物理的ワンド２００又は物理的ポインタオブジェクトのシャフト上に配置され得る。光学コードは、光学カメラを使用して、ＡＲヘッドセットによって識別され得、光学コード２０８の場所は、ＡＲヘッドセットが視認している３Ｄ空間内の座標を割り当てられ得る。光学コードの場所が分かると、光学コード２００と物理的ワンドとの間の関係が予め定められているので、物理的ワンド２０８の場所及び配向も、分かる。加えて、光学コード２０８の場所を識別することは、ハンドル２０６、シャフト２０２、次いで、ポインタ２０４又は物理的ポインタオブジェクトの先端が識別されることを可能にする。
【0032】
図３Ａは、患者又は人３０４の画像データセット３０２が、ＡＲヘッドセットの光学センサの視野内の物理的ポインタオブジェクト３０６を使用して識別される空間的場所を使用して、患者の実際のビューと位置合わせされ得る拡張現実（ＡＲ）環境の実施例の上面図を図示する。人の身体の一部分の画像データセット３０２は、医療撮像デバイスを使用して取得され得、画像データセットは、解剖学的特徴を識別するための仮想解剖学的マーカ３１０を有し得る。一実施例では、仮想解剖学的マーカ３１０は、仮想マーキングツール（例えば、グラフィカルマーク）で画像をマークする医療専門家によって配置され得る。例えば、画像データセット内の仮想解剖学的マーカ３１０についての場所は、医療手順の前に医療専門家によって制御されるコンピューティングデバイス又はワークステーションを使用して定義され得る。画像データセット内の仮想解剖学的マーカ３１０は、ドット、線、曲線、十字線（図３Ｇ参照）、仮想マーカ、二次元領域、又は三次元グラフィックオブジェクトである仮想マーカであり得る。医療専門家又は他の個人は、患者の画像データセット３０２の仮想解剖学的マーカの対応する形状との位置合わせのために使用される点に触れるか、曲線を追跡するか、又は形状を追跡し得る。例えば、物理的ワンド又は仮想ワンドは、一度に１つのスポットを指し得るが、医療専門家は、画像データセット３０２内の仮想解剖学的マーカ３１０と位置合わせされ得る仮想ランドマークになる輪郭又は形状を追跡し得る。
【0033】
一構成では、物理的ポインタオブジェクト３０６は、物理的ポインタオブジェクト３０６のポインタ若しくは先端上又はその近くに反射ＩＲ（赤外線）マーカを有し得る。ＡＲヘッドセットは、ＡＲヘッドセットのＡＲ源から物理的ポインタオブジェクト３０６に向かってＩＲ光を投影することが可能であり得る。ＩＲ光の反射は、ＩＲ反射器によって定義される特定の場所をＡＲヘッドセットに提供することができる。代替的に、物理的ポインタオブジェクト３０６は、ＡＲヘッドセットのＩＲセンサによって位置登録され得るＩＲ光源を有し得る。ＡＲヘッドセットにおけるＩＲ信号の強度及び位置は、物理的ポインタオブジェクト３０６の場所及び／又は物理的ポインタオブジェクト３０６の先端若しくはポインティング構造を決定するために使用され得る。
【0034】
光学コード３０５はまた、画像データセット３０２において可視である光学コードの下の画像可視マーカを識別することができる。光学コード３０５は、参照によりその全体が本明細書に組み込まれる、２０１９年１１月１７日に出願された「Ｕｓｉｎｇ Ｏｐｔｉｃａｌ Ｃｏｄｅｓ ｗｉｔｈ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｉｓｐｌａｙｓ」と題する米国特許出願第１６／１９４，３３３号により詳細に記載されているように、画像データセット３０２を患者の身体と位置合わせするために使用され得る。
【0035】
図３Ｂは、複数の光学コード３０８ａ及びｂが物理的ポインタオブジェクト３０６上で使用され得ることを図示する。複数の光学コード３０８ａ及びｂを使用して、物理的ポインタオブジェクト及び／又は物理的ポインタオブジェクト３０６の先端、端部、ポインタ若しくはポインティング構造の場所を識別する精度を高め得る。ＡＲヘッドセットは、光タグ３０８ａ及びｂのサイズ並びに配向を取り込むことができる。これは、システム（例えば、ＡＲヘッドセット）が、ＡＲヘッドセットによって見られている３Ｄ空間内の物理的ポインタオブジェクト３０６（例えば、ワンド）の配向のより良好な推定を行うことを可能にする。一実施例では、３Ｄ空間内の線は、物理的ポインタオブジェクト３０６に取り付けられた光タグ３０８ａ及びｂの深さにおいて、光タグ３０８ａ及びｂの中心点を通って作成され得る。物理的ポインタオブジェクト３０６の長さは既知であるので、物理的ポインタオブジェクトの先端又はポイントは、決定され得る。
【0036】
図３Ｃは、空間点を決定するために単一の物理的ポインタオブジェクトを使用する精度が、位置登録されている空間点３１０の周りで物理的ポインタオブジェクト３０７を周回、歳差運動、又は回転させることによって更に高められ得ることを図示する。物理的ポインタオブジェクト３０７の２つ以上の空間的位置３１２ａ～ｄは、取り込まれ得る。物理的ポインタオブジェクトの回転は、左右に回転され得るか、又は任意の角度でＡＲヘッドセットに向かって、若しくはそこから離れて回転され得る。物理的ポインタオブジェクト３０７の場所は、１つ以上の光学コード３１１を使用して第１の位置３０７において識別され得る。仮想線は、物理的ポインタオブジェクトの各空間配向に対して作成され得（例えば、複数の空間的位置に対して複数の線が作成され得る）、その線は、位置登録される空間点３１０を識別するために使用され得る。２つ以上の光学コードの使用は、物理的ポインタオブジェクトの先端を見つけることを支援するために両方の点の間に線が引かれ得るので、１つのみの光学コードよりも高い精度を生成し得る。加えて、光学タグによって描写される点は、光学タグがＡＲヘッドセットに対して左右又は上下に移動されるにつれて、ＡＲヘッドセットの３Ｄ空間内でより正確であり得る。
【0037】
物理的ポインタオブジェクトは、第２の位置３１２ａに移動され得、物理的ポインタオブジェクトについての仮想線３０３は、再び決定され得る。物理的ポインタオブジェクトのこの移動は、物理的ポインタオブジェクトの先端又は点を移動させることなく、３１２ｂ～３１２ｄの複数回繰り返され得る。仮想線は、物理的ポインタオブジェクトの各空間配向について作成され得る。仮想線は、定義された距離だけ位置登録されている点を通って延在し得、又は線は、位置登録される点を通って無限に延在し得る。物理的ポインタオブジェクトがヒト患者の身体上で接触している場所に対して、物理的ポインタオブジェクト３０７が回転された後に、毎回、新しい仮想線は、物理的ポインタオブジェクト３０７のその空間的位置について計算され得る。
【0038】
複数の仮想線は、線のグループについて計算された仮想交点又は最良適合（例えば、近似）交点を有し得る。仮想交点又は近似された仮想交点は、医療専門家が位置登録したい空間点、及び仮想解剖学的マーカ３１０と位置合わせされる空間点とみなされ得る。仮想線の交点（又は交点の最も近い近似）は、次いで、計算され得、次いで、空間点であると決定される。したがって、空間点は、空間点を識別するために物理的ポインタオブジェクト及び仮想線の複数の位置を使用して、より正確に識別され得る。物理的ポインタオブジェクトについて複数の位置を取り込むことは、ＡＲヘッドセットに対して物理的ポインタオブジェクトを位置決めすることにおけるばらつきの問題を克服することができる（例えば、物理的ポインタオブジェクトが最初にあまりに遠く離れて位置決めされるか、右又は左にあまりに遠く離れて位置決めされるかなどは問題ではない）。
【0039】
光学タグがＡＲヘッドセットに対して左右又は上下に移動されるときに生成される仮想線を使用して、より高い精度の場所をより正確に決定することができるが、光学タグ３１１は、ＡＲヘッドセットからの深さ方向において精度が低くなる傾向がある。光学コードが深さのどこに位置するかを検出することは、光学コードのサイズによって部分的に実行されるが、これは、深さ解像度に関していくつかの制限を有する。これらの制限についての１つの理由は、ＡＲヘッドセットからの光学コードの深さを計算することが、タグのサイズを使用し得るが、画像認識ソフトウェアが、照明又は他の問題に起因して、ピクセルの数分の１だけオフである場合、物理的ポインタオブジェクト又はワンドの先端の位置登録は、ミリメートル単位でずれ得、これは、医療又は他の工学的設定において問題を引き起こし得る。空間点は、仮想線を使用して単一の位置又は複数の位置において物理的ポインタオブジェクトを使用して識別され得るが、光学コードを識別するときに光学コード、照明、ＡＲヘッドセット、光学、又はコンピューティングシステムを通して導入される任意の誤差は、より不正確な空間点をもたらし得る。結果として、仮想平面（以下に記載される）は、そのような深さ問題を正すために使用され得る。
【0040】
図３Ｄは、複数の角度から又は複数の空間的位置において見られる物理的ポインタオブジェクト上の光学コードと、ＡＲヘッドセット上のカメラの場所とを使用して形成され得る平面の実施例を図示する。平面を形成するために、ＡＲヘッドセットの３Ｄ空間において少なくとも３つの点が必要とされる。少なくとも３つの点は、正確に決定され得る。これらの点のうちの１つは、ＡＲヘッドセット内のカメラ３２２の３Ｄ位置（例えば、医療専門家の額の中央）である。加えて、光学コードの３Ｄ位置は、Ｘ、Ｙ、及びＺ座標において正確に決定され得るが、光学コード場所の深さは、深さ（例えば、Ｚ方向）においてそれほど正確ではない。したがって、３Ｄ平面３２５ａは、これらの３つの点を使用して計算され得る。光学コードからの点の深さが非常に正確でない（ミリメートル単位でずれる）場合であっても、光学コードの点は、依然として平面内にあるが、単に平面内でより遠く離れているだけなので、平面３２５ａは、依然として同じである。空間点を見つけるために平面を使用することは、線のみを使用するよりもはるかに正確である。ＡＲヘッドセット内のカメラ３２２の位置は、既知である。平面の第２の２つの点は、２つの光学コードの各々の上の点である。光学コードの中心（又は他の点）は、作成されている平面３２５内の２つの追加の点として使用され得る。平面は、平面を定義するために使用される３つの点によって作成される平面から無限に延在され得る（図３Ｄでは、平面を形成するために使用される３つの点を例示するために有限三角形平面が使用されているが）。
【0041】
平面を作成し、及び／又は物理的ポインタオブジェクトを患者３２９と接触させて保持する医療専門家は、平面の縁部を見ていてもよく、無限平面は、縁方向に医療専門家を通過又は二等分し得る。医療専門家は、第２のカメラ３２７によって例示されるように複数の角度から物理的ポインタオブジェクト３２８を見て、物理的ポインタオブジェクト上に光学コードを有する複数の平面を作成し得る。加えて、医療専門家は、複数の異なる平面を作成するために、様々な回転度（例えば、初期平面とは２０～９０度異なる）を通して、物理的ポインタオブジェクト３２８を左右に移動させ得る。これらの平面は、患者３２８の解剖学的特徴上（例えば、皮膚上、手術中の骨上、又は別の解剖学的特徴）にある物理的ポインタオブジェクトの枢動点で交差することができる。
【0042】
図３Ｄは、医療専門職が別の視点から物理的ポインタオブジェクトを見るか、又は物理的ポインタオブジェクトがある点を中心に回転されたときに作成される２つの他の平面３２５ｂ～ｃを図示する。３つ以上の平面３２５ａ～ｃの交点を計算することは、患者の身体とともに画像データセット内の仮想解剖学的マーカに位置合わせされ得る空間点をもたらす。少なくとも３つの平面は、空間点を計算するために使用されるが、より多くの平面は、空間点位置登録の精度を増加させ得る。他方では、物理的ポインタオブジェクトから作成された２つの仮想線は、空間点を識別し得る。
【0043】
本技術の平面を使用すると、光学コード間の間隔及び物理的ポインタオブジェクトの長さは、知られる必要がない。その代わりに、３つの既知の点は、点間の距離に関係なく平面に形成される。物理的ポインタオブジェクトを見ている医療専門家は、２０～３０個の平面を作成することができ、次いで、交差演算は、実行され得る。交差演算は、最適化計算を使用して、すべての平面からの最短距離である平面交点（例えば、使用可能な空間点）を計算し得る。
【0044】
一構成では、空間点は、物理的ポインタオブジェクトを使用して取得された１つ又は２つの線を用いて空間点を最初に計算することによって見つけられ得、それは良好な初期測定値である。次いで、数分後に、十分な平面が取り込まれたときに、より正確な空間点は、計算され、位置登録され得る。互いに実質的な角度で配向される少なくとも３つ以上の平面の使用は、交差の精度を増加させる。数度だけ離れている平面は、そのような平面が非常に正確な交差を提供するために互いに平行に近すぎ得るので、あまり正確ではない。相対角度が２０～９０度離れた平面が使用されるときに、より正確な交点は、計算され得る。理想的には、平面は、１つの点で交差するが、最良適合計算は、理想的な交差が利用可能でないときでさえも、空間点を決定するために実行され得る。一実施例では、平面を使用することによって見出されるようなＡＲヘッドセットによって見られる３Ｄ空間内の空間点の測定精度又は位置登録は、１０分の１ミリメートル又は更にそれ未満にされ得る。
【0045】
平面の使用は、ＡＲヘッドセットに対する、又は３Ｄ空間内の光学コードの深さを決定する精度の低下を正すのに役立つ。光学コードは、光学コードから反射される光の量に応じて、より大きく又はより小さく現れ得る。これは、コンピュータビジョンプロセスが黒と白との間の境界を見つけるために閾値を使用し得るからである。部屋がより明るい場合、より明るい領域は、閾値処理プロセスにより、より暗い領域を圧倒する。これは、見かけのサイズにおける変化のピクセルの数分の１をもたらし得る。結果として、光学コードは、どれだけの光が光学コードに当たっているかに応じて、１ミリメートルより大きく又は小さく現れ得る。光学コードの１ミリメートルのサイズ差は、１センチメートルの深さの差としてシステムに位置登録され得、これは、空間点の位置登録における測定の不正確さをもたし得る。光学コード上の照明は、手術室又は他のシナリオにおいて制御することが困難であり、したがって、コードの深さに依存することは、あまり有用ではない場合がある。しかしながら、光学タグの中心は、ＡＲカメラから光学タグの中心を通る光線を計算することによって、正確かつ角度に影響されない方法で計算され得る。空間点を見つけるために平面を使用することは、光学タグの深さにおける著しい誤差を正すことができる。ＡＲカメラからの光線に沿って移動される任意の光学タグは、依然として、光学タグ及びＡＲカメラの場所によって定義される同一平面内にある。したがって、平面を使用することは、空間点計算を光学コードの深さに対してより鈍感にする。
【0046】
図３Ｅは、第１の仮想ポインタ平面３３０を図示する。この第１の仮想ポインタ平面３３０は、物理的ポインタオブジェクト３０６上のＡＲカメラ場所及び１つ以上の光学コード３３２ａ及びｂを使用して作成され得る。図３Ｅからの平面は、医療専門家の視点又はＡＲヘッドセットカメラの視点から見られるように、縁部から見られる。ＡＲヘッドセットカメラは、図３Ｅの上にある。第１の仮想平面３３０は、ＡＲヘッドセットカメラからの点及び光学コードからの点を用いて作成され得、平面は、光学コード、ポインティング構造３０６（例えば、この場合、ロッド）、及び全体的な物理的ポインティングオブジェクトを通過し得る。
【0047】
第２の仮想平面３３４は、物理的ポインタオブジェクト３０６が、物理的ポインタオブジェクト３０６によって触れられている点３１０の周りを回転又は周回されるときに作成され得る。３つ以上の平面の間の交点は、医療専門家によって選択されている空間点を識別するために使用され得る。物理的ポインティングデバイス３０６は、医療専門家によって触れられている患者３０４上の点の周りの任意の数の回転又は周回位置に配置され得、仮想ポインタ平面は、物理的ポインティングデバイスの複数の空間的位置の各々について生成され得る。例えば、物理的ポインティングデバイスは、識別又は選択される空間点に対して任意の数の異なる角度（点の周りの複数の軸において０～３６０度の任意の配向）に配向され得る。
【0048】
図３Ｆは、点の周りで回転されている２つの光学コード３４２ａ及びｂを有する物理的ポインティングデバイス３４０の実施例を図示し、複数の仮想ポインタ平面は、ＡＲヘッドセット内のカメラの既知の場所及び光学コード３４２ａ及びｂの各々内の点を使用して生成される。次いで、複数の仮想ポインタ平面を使用して、位置登録又は選択されている空間点３４４を生成する。３つ以上の仮想ポインタ平面は、位置登録又は選択されている空間内の点で互いに交差し得、仮想ポインタ平面は、空間点３４４を計算するために使用され得る。平面の生成は、物理的ポインティングデバイスが移動されるときに（例えば、時間間隔で）自動的に、又は物理的ポインティングデバイスが所望の配向にあるときに医療専門家からの明示的な入力時にのみ、トリガされ得る。仮想ポインタ平面は、平面の数学的交差を作成するために、物理的ポインティングオブジェクトを通過し、ＡＲヘッドセット装着者から離れて、ＡＲヘッドセット装着者を通って上方、下方に無限に延在し得る。言い換えれば、平面は、数学的に無限の平面であることができ、又は平面は、必要な平面交差を提供するのに十分な大きさであり得る。
【0049】
図３Ｇは、患者の身体の皮膚の下の物理的解剖学的構造を指している物理的ポインティングデバイス３５０の例を図示する。図３Ｇは、物理的ポインティングデバイス３５０を使用して位置登録された空間点又は内部基準点３５２ａ～ｃ（例えば、Ｌ５、Ｔ１２、Ｔ８、Ｔ４）を更に図示する。図３Ｈは、画像データセット（例えば、Ｔ８及びＴ１２）上にマークされ、画像データセットの二次元ビューで例示された、仮想解剖学的マーカ又は基準点を図示する。図３Ｉは、図３Ｈ（例えば、Ｔ１２の後棘突起）に図示され、画像データセットの三次元ビューにおいてマークされる、仮想解剖学的マーカ又は基準点を図示する。
【0050】
図３Ｃ～図３Ｉに記載された要素とともに使用される方法の一実施例では、仮想平面（又は仮想線）を使用して空間的場所を識別する動作は、空間点を見つける動作を含み得る。１つの動作では、第１の空間配向における物理的ポインタオブジェクトのための第１の仮想平面が、生成され得る。仮想平面は、物理的ポインタオブジェクトの延長部、又は空間点を見つけるのを支援する仮想オブジェクトであり得る。例えば、仮想平面は、ＡＲヘッドセット内のカメラによって定義された点と、物理的ポインタオブジェクト上の又は物理的ポインタオブジェクトに関連付けられた光学コードからの点とを使用して形成された平面であり得る。
【0051】
別の動作は、第２の空間配向における物理的ポインタデバイスのための第２の仮想平面及び第３の仮想平面（又は第２の仮想線及び第３の仮想線）を生成することであり得る。少なくとも３つの仮想平面（又は２つの仮想線）が存在すると、第１の仮想平面、第２の仮想平面、及び第３の仮想平面の交点は、計算され得る。３つの仮想平面の交点は、空間的場所を定義する。仮想線の場合、少なくとも２つの線は、概して、空間点を識別するために使用される。このプロセスはまた、多くの仮想平面を用いて実行され得る。例えば、物理的ポインタオブジェクトの２０個の空間的位置は、取り込まれ得、次いで、各空間的場所についての仮想平面の仮想交点は、位置登録すべき空間的場所を見つけるために計算され得る。図４Ａは、画像データセット４１２ａ内の場所を識別するために医療専門家によって仮想解剖学的マーカ４１０が作成された人の身体の椎骨上の場所の断面図を図示しており、これは、物理的ポインタオブジェクトによって識別される空間的場所と位置合わせされ得る。例えば、仮想解剖学的マーカ４１０は、画像データセット内の緑色の円であり得る。
【0052】
図４Ｂは、物理的ポインタオブジェクトによって識別される空間的場所と位置合わせされているかもしれない画像データセット４１２ｂ内の場所を識別するために、医療専門家によって仮想解剖学的マーカ４２２が作成された人の脊椎領域内の場所の側面図を図示する。加えて、赤色の円４２０は、椎弓根スクリューが医療手順中に追跡する場所を見ることができる。
【0053】
図４Ｃは、物理的ポインタオブジェクトによって識別される空間的場所と位置合わせされ得る画像データセット４１２ｃ内の場所を識別するために、医療専門家によって仮想解剖学的マーカ４３０が作成された、人の脊椎領域内の場所の背面図を図示する。追加のマーカ４３２は、医療手順中に位置合わせツール及び椎弓根スクリューが適用される場所を示すために例示されている。
【0054】
物理的ポインタオブジェクトによって識別される空間点を使用して、画像データセットを患者の身体と位置合わせするプロセスは、多段階プロセスであり得る。３Ｄ画像又は多断面画像である画像データセットは、ワークステーション上で３Ｄ画像又は多断面画像として見られ得る。画像データセットは、所望の撮像法モダリティ（ＭＲＩ、ＣＴスキャンなど）を使用して以前に取り込まれたものであり得る。画像データセットを見ている医療専門家は、１つ以上の仮想解剖学的マーカ（例えば、基準参照点）を選択し、マークし得る。これらの仮想解剖学的マークは、医師が医療手順（例えば、手術）において識別することができる解剖学的構造を参照する。３Ｄ画像セット内のこれらのマーキングは、点、円、四角、２Ｄ平面、仮想３Ｄオブジェクトなどを使用してマークされ得る。
【0055】
画像データセットは、３Ｄ画像として見られることができ、ＡＲヘッドセットにおける画像オーバーレイとなる。画像データセットは、ＡＲヘッドセットを通して見られるときに、ホログラフィック画像と称され得、画像データセットは、患者に位置合わせされ得る。位置合わせは、仮想解剖学的マーカと、物理的ポインタオブジェクトによって定義される空間点とを使用して行い得る。画像データセットは、患者上に投影され、ＡＲヘッドセットを使用して見られることができる。
【0056】
図５は、物理的ポインタオブジェクト５１０によって識別される空間的場所を識別することを図示する。物理的ポインタオブジェクト５１０は、人の身体（死体が示される）の側面に対する物理的ワンド５１２によって例示されるように、物理的ポインティングオブジェクト上に光学コードを有し得る。この実施例では、脊椎は、露出され得、次いで、医療専門家又は観察者は、棘突起を見得る。医療専門家は、物理的ワンド、針、又は物理的ポインタオブジェクトを移動させることができ、物理的ワンド上の光学コードは、ＡＲヘッドセットによって位置登録され得る。光学コードは、物理的ワンドに固定され得る。物理的ポインタオブジェクトのこの位置登録は、ＡＲヘッドセットが、ワンド又は針のポインタ又は先端がＡＲヘッドセットの前の３Ｄ空間内のどこに位置するかを識別することを可能にする。次いで、物理的ポインタオブジェクトを使用して識別される空間的場所は、画像データセットの仮想解剖学的マーカと位置合わせされ得る。
【0057】
この技術は、手動位置合わせ、皮膚若しくは身体輪郭位置合わせ、患者上の光学コードを使用する位置合わせ、又は患者の身体上の光学コードに関連付けられた画像可視マーカを使用する、従来の既存の位置合わせ方法と比較して、位置合わせを改善し得る。この位置合わせ技術では、仮想解剖学的マーカは、画像データセット内の基準（例えば、仮想タグ）として使用され、仮想解剖学的マーカは、ＡＲヘッドセットを通して実際に見られることができる点、曲線、領域、又は構造と位置合わせされ得る。画像データセットと位置合わせされる空間的場所（例えば、物理的スポット）は、物理的ワンド、針、トロカール、仮想ワンド、仮想レーザポインタ、又は別の物理的若しくは仮想ポインタを使用することにより、従来の方法と比較して高い三次元精度で迅速に指定され得る。
【0058】
図６は、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を図示する。１つの動作は、ブロック６１０におけるように、人の身体の一部分の画像データセットを取得することであり得る。画像データセットは、解剖学的特徴を識別するための仮想解剖学的マーカを含むことができ、画像データセットは、医療撮像デバイスによって取り込まれ得る。仮想解剖学的マーカは、別個のコンピューティングデバイス又はワークステーションを使用して、医師又は別の医療専門家によって作成又はマークされ得る。
【0059】
別の動作は、ブロック６０４におけるように、ＡＲヘッドセットの光学センサの視野内の物理的ポインタオブジェクトの空間的場所を識別することであり得る。物理的ポインタオブジェクト上の光学コードは、ＡＲヘッドセットが物理的ポインタオブジェクトの空間的場所を決定することを可能にし得る。代替的に、物理的ポインタオブジェクトの場所は、既知の縁部及びオブジェクト検出プロセスを使用して物理的ポインタオブジェクトの縁部を検出することによって決定され得る。例えば、物理的ポインタオブジェクトの空間的場所は、ＡＲヘッドセットの光学センサによって検出される三次元（３Ｄ）場所であり得る。物理的ポインタオブジェクトは、物理的ワンド、針、トロカール、又はポインティング先端若しくはポインティング縁部を有する物理的オブジェクトであり得る。物理的ポインタオブジェクトはまた、ＡＲヘッドセットによって識別される人又は医療専門家の指であり得る。
【0060】
物理的ポインタオブジェクトを使用して識別される可視解剖学的特徴の空間的場所は、記録され得る。空間的場所は、物理的ポインタオブジェクト上のポインタ（例えば、先端）又はマークされた点を使用して識別され得る。空間的場所の位置登録は、ブロック６０６におけるように、物理的ポインタオブジェクトのポインタ又は先端が人の身体の可視解剖学的特徴の少なくとも一部分に位置するという入力（例えば、キーボード、マウスクリック、フットペダル起動、ＡＲヘッドセットへの手信号、音声コマンド、又は別の入力）に基づいて、開始され得る。空間的場所は、点、追跡された曲線、又は他の追跡された形状（例えば、２Ｄ又は３Ｄ）であり得る。
【0061】
画像データセットは、ブロック６０８におけるように、画像データセット内の仮想解剖学的マーカを基準として、可視解剖学的特徴について記録された空間的場所を使用して、人の身体と位置合わせされ得る。例えば、仮想解剖学的マーカは、空間的場所と同じ３Ｄ場所又は空間的場所からの任意のオフセットにあるように設定され得る。加えて、画像データセットは、ＡＲヘッドセットを使用して、人の身体上に視覚的にオーバーレイされ得る。
【0062】
図７は、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを人の身体と共存させるための方法を図示する。本方法は、少なくとも１つのプロセッサと、複数のデータ及び実行されるときにシステムに本方法を実行させる命令を記憶するためのデータストアを含む少なくとも１つのメモリデバイスとを使用して実装され得る。第１の動作は、ステップ７０２におけるように、人の身体の一部分の画像データセットを取得することであり得る。画像データセットは、医療撮像デバイスによって取り込まれ得る。
【0063】
別の動作は、ブロック７０４におけるように、画像データセット内の解剖学的特徴に関連付けられた仮想解剖学的マーカを識別することである。仮想解剖学的マーカは、医療手順の前に医療専門家によって定義され得る。加えて、物理的ポインタワンドは、ブロック７０６におけるように、ＡＲヘッドセットの光学センサを使用して識別され得る。物理的ポインタワンドは、物理的ポインタワンドの認識を可能にするために、物理的ワンド上に光学コードを有し得る。物理的ポインタワンドの先端又はポインタの空間的位置（例えば、空間座標）は、光学コードを参照することによって決定され得る。
【0064】
物理的ポインタワンドの空間的位置は、ブロック７０８におけるように、ＡＲヘッドセットの光学センサを使用して追跡され得る。ブロック７１０におけるように、物理的ポインタワンドの先端が視覚的解剖学的特徴に位置するという入力は、受信され得る。例えば、物理的ポインタワンドが所望の空間的場所にあることを示すために、ボタンが押され得、センサ（光学アイ）がトリガされ得る。視覚的解剖学的特徴における物理的ポインタワンドの先端の空間的場所は、ブロック７１２におけるように記録され得る。次いで、画像データセットは、ブロック７１４におけるように、画像データセット内の仮想解剖学的マーカを基準として、物理的ポインタワンドの先端について記録された空間的場所を使用して、人の身体と位置合わせされ得る。この位置合わせは、ＡＲヘッドセットを使用して観察者のためにＡＲヘッドセットにおいて生じる。
【0065】
一構成では、仮想ポインタ又はグラフィカルポイント延長部は、物理的ポインタオブジェクトから延在され、物理的ポインタオブジェクトによって制御され得、仮想ポインタの先端は、空間的場所を定義し得る。仮想ポインタは、ＡＲヘッドセットによってグラフィカルに生成され得、仮想ポインタは、物理的ポインタオブジェクトの１つ以上の軸又は点と位置合わせされ得、及び／又はそれによって制御され得る。例えば、仮想ポインタは、物理的ポインタオブジェクトのシャフトの長さ方向軸と位置合わせされ得る。
【0066】
図８は、物理的ポインティングオブジェクトとしてのユーザの指の使用を図示する。第１の動作は、ブロック８０２におけるように、人の身体の一部分の画像データセットを取得することであり得、画像データセットは、医療撮像デバイスによって取り込まれる。ブロック８０４におけるように、画像データセット内の解剖学的特徴に関連付けられた仮想解剖学的マーカは、識別され得る。仮想解剖学的マーカは、別個のコンピューティングデバイスを使用して、医療手順の前に（又は医療手順の間であっても）医療専門家によって定義され得る。
【0067】
拡張現実（ＡＲ）ヘッドセットのユーザの指は、ブロック８０６におけるように、ＡＲヘッドセットの光学センサを使用して識別され得る。指の位置は、ブロック８０８におけるように、ＡＲヘッドセットの光学センサを使用して追跡され得る。ブロック８１０におけるように、指が可視解剖学的特徴を指しているという入力は、ＡＲヘッドセットにおいて受信され得る。更に、可視解剖学的特徴における指の空間的場所は、記録され得る。次いで、画像データセットは、画像データセット内の仮想解剖学的マーカを基準として、指の先端について記録された空間的場所を使用して、人の身体と位置合わせされ得る。
【0068】
物理的ポインタオブジェクト又はワンドに関して記載されたように、仮想ポインタは、ユーザの指から延在され得、ＡＲヘッドセットを通して見ることができ得る。仮想ポインタは、ＡＲヘッドセットによって指から延在されるグラフィカルポインタであり得る。仮想ポインタの先端（又はグラフィカルポインタの端部）は、空間的場所を識別するために使用され得る。一実装形態では、指は、指の認識を可能にするために指上に光学コードを有し得る。
【0069】
先に考察されたように、画像データセットを、患者の身体内の解剖学的構造と位置合わせするための能力は、医療手順において多くの作業を実行するときに大いに役立つ。画像データセットが、以前に撮像された解剖学的構造又は実際のヒトの組織の近くでラインアップしない場合、その画像データセットは、医療手順の状況において、あまり役立たない。例えば、ヒトの組織（例えば、頭蓋骨内の撮像された孔）を表す画像データセットが実際のヒトの組織（例えば、頭蓋骨内の実際の孔）とともにラインアップしない場合、その画像データセットは、医療手順の状況において、ほとんど役立たない。場合によっては、粗雑に位置合わせされた画像セットは、シミュレーション又は訓練の目的に有用であり得るが、外科手順には有用ではない。対照的に、本技術は、医療関係者が高精度の医療手順において画像データセットを使用することを可能にすることができる程度の解像度で、ＭＲＩ、ＣＴ又はＰＥＴスキャンデータセットのための画像データセットの位置合わせを可能にする。
【0070】
図９は、拡張現実（ＡＲ）ヘッドセットを使用して、画像データセットを、ＡＲヘッドセットを通して見られている人の身体と共存させるために用いられ得る例示的なシステムを図示する。このシステム９００は、カメラデバイス９０２、拡張現実システム９２０、ディスプレイデバイス９３０、及び複数のデータベース又はデータストアを含み得る。システム９００はまた、ともに通信可能に結合され得る、１つ以上のプロセッサ、メモリ、ファイルシステム、通信ユニット、オペレーティングシステム、及びユーザインターフェースを含み得る。いくつかの実施形態では、システム９００は、例えば、デスクトップコンピュータ、サーバコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、組み込み型コンピュータ、ＡＲヘッドセット、ＶＲヘッドセット、コンピューティングクラスタなどであり得る。
【0071】
カメラデバイス９０２は、可視データを取り込むように構成され得る。一実施例では、カメラデバイス９０２を使用して、医療手順又は健康診断中に可視データを取り込み得る。カメラデバイス９０２によって取り込まれた可視データは、人の身体（又は身体の一部分）、光学コード、医療器具（例えば、医療器具、インプラント、及びその他のもの）の画像を含み得る。カメラデバイス９０２は、取り込まれた光学データを拡張現実システム９２０に送信し得る。システムはまた、表面センサ、光学センサ、赤外線センサ、Ｌｉｄａｒセンサ、又はＡＲシステムによって検出された実際のビュー又は実際のビューのマッピングを検出及び支援するための他のセンサを含むことができる。任意のオブジェクト又は表面を、手術室、患者、部屋、物理的形状、医療用具、又は任意の他の物理的な周囲又はオブジェクトについて検出することができる。
【0072】
拡張現実システム９２０は、画像処理エンジン９２２、基準及び位置合わせモジュール９２４、画像生成モジュール９２６、及び拡張ディスプレイバッファ９２８を含み得る。例えば、画像処理エンジン９２２は、カメラデバイス９０２から取り込まれた可視画像データを受信し、可視画像データを分析して、可視画像データ内の１つ以上の光学コード、オブジェクト、又は人々を識別し得る。複数の異なる技術を使用して、以下に限定されない、特徴抽出、セグメント化、縁部検出、及び／又はオブジェクト検出を含む可視画像データ内のオブジェクト又は人々を識別し得る。
【0073】
画像処理エンジン９２２は、画像内の物理的ポインタオブジェクト及び／又は患者の両方の身体に貼り付けられ得る光学コードを識別し得る。画像処理エンジン９２２が光学コード（例えば、ＡｐｒｉｌＴａｇ、２Ｄバーコード、ＱＲコード、及びその他のもの）を識別すると、画像処理ユニット９２２は、光学コードデータベース９４６にアクセスして、その光学コードと関連付けられた情報を取り出す。加えて、光学コードは、特定の患者、特定の手順、又は特定のオブジェクトと関連付けられ得る。
【0074】
いくつかの実施形態では、前述したように、基準及び位置合わせモジュール９２４は、画像処理エンジン９２２と連携して、互いに対して物理的ポインティングデバイスによって識別された空間的場所と画像データセットを参照及び位置合わせし得る。加えて、基準及び位置合わせモジュール９２４は、医療オブジェクトデータベース９４４内の光学コード情報を使用して、光学コードのサイズ及び形状、並びに識別情報を適切に識別することができる。物理的ポインティングオブジェクトの位置及び配向が決定されると、基準及び位置合わせコントローラ９２６は、放射線医学画像データ９４２内の任意の関連する放射線医学画像を、物理的ポインティングオブジェクトによって識別される空間的場所と位置合わせすることができる。いくつかの実施例では、放射線医学画像は、患者記録データベース９４０内の患者記録に基づいて放射線医学画像データベース９４２から受信される。
【0075】
画像生成モジュール９２６は、患者の身体の上部に重層化されているときに、グラフィカルデータ、物理的ポインティングオブジェクトに関連付けられた仮想レーザポインタ、仮想ツール、３Ｄ外科手術経路、腫瘤若しくは臓器の３Ｄ着色若しくは陰影付け、又は腫瘤、臓器、若しくは標的の強調表示を生成して、ディスプレイデバイス９３０内に表示することができる。いくつかの実施例では、この情報は、拡張ディスプレイバッファ９２８にロードされ得る。次いで、この情報は、ユーザに表示するためにディスプレイデバイス９３０（例えば、ＡＲヘッドセット）に送信され得る。
【0076】
一実施例では、患者データベース９４０は、複数の患者記録を含む。各患者記録は、患者に対して実行される１つ以上の医療手順を含むことができる。患者記録はまた、医療手順のためのメモ、指示又は計画を含むことができる。患者記録はまた、放射線医学画像データベース９４２内の１つ以上の放射線医学画像と関連付けられることができる。いくつかの実施例では、放射線画像は、物理的ポインティングデバイスによって識別された空間的場所を使用して、基準及び位置合わせモジュール９２６が画像データセットを患者の身体と適切に位置合わせすることを可能にする仮想解剖学的マーカの表現を含む。一実施例では、医療オブジェクトデータ９４４は、医療器具、インプラント、及び他のオブジェクトを含む医療用具を記載する情報を含む。
【0077】
いくつかの実施形態では、拡張現実システムは、サーバ上に位置し得、ＡＲヘッドセット若しくはディスプレイデバイス９３０に関連して機能することができる任意のコンピュータシステム又はコンピュータのクラスタであり得る。そのような実施形態では、サーバは、画像データをＡＲヘッドセットに伝達するか、又はＡＲヘッドセットからデータを受信するために、コンピュータネットワークを介してＡＲヘッドセットと通信するように構成され得る。
【0078】
図１０は、本技術のモジュールが実行され得るコンピューティングデバイス１０１０を図示する。本技術の高レベルの実施例が実行され得るコンピューティングデバイス１０１０が例示されている。コンピューティングデバイス１０１０は、メモリデバイス１０１２と通信する１つ以上のプロセッサ１０１２を含み得る。このコンピューティングデバイスは、コンピューティングデバイス内のコンポーネントのためのローカル通信インターフェース１０１８を含み得る。例えば、ローカル通信インターフェースは、ローカルデータバス及び／又は所望に応じて任意の関連するアドレス若しくは制御バスであってもよい。
【0079】
メモリデバイス１０１２は、プロセッサ１０１２によって実行可能なモジュール１０２４、及びモジュール１０２４のためのデータを含み得る。モジュール１０２４は、前述した機能を実行し得る。データストア１０２２はまた、プロセッサ１０１２によって実行可能であるオペレーティングシステムとともに、モジュール１０２４及び他のアプリケーションに関連するデータを記憶するためにメモリデバイス１０１２内に位置され得る。
【0080】
他のアプリケーションはまた、メモリデバイス１０１２に記憶され、プロセッサ１０１２によって実行可能であり得る。本明細書において考察されるコンポーネント又はモジュールは、ハイブリッドの方法を使用してコンパイル、解釈又は実行される高水準プログラミング言語を使用してソフトウェアの形態で実装され得る。
【0081】
コンピューティングデバイスはまた、そのコンピューティングデバイスによって使用可能であるＩ／Ｏ（input／output、入力／出力）デバイス１０１４へのアクセスを有し得る。Ｉ／Ｏデバイスの一例は、コンピューティングデバイスからの出力を表示するための利用可能なディスプレイ画面である。所望に応じて、他の既知のＩ／Ｏデバイスが、コンピューティングデバイスとともに使用され得る。ネットワーキングデバイス１０１６及び類似の通信デバイスは、コンピューティングデバイスに含まれ得る。このネットワーキングデバイス１０１６は、インターネット、ＬＡＮ、ＷＡＮ、又は他のコンピューティングネットワークに接続する有線又は無線ネットワーキングデバイスであり得る。
【0082】
メモリデバイス１０１２に記憶されているとして示されているコンポーネント又はモジュールは、プロセッサ１０１２によって実行され得る。「実行可能」という用語は、プロセッサ１０１２によって実行され得る形式のプログラムファイルを意味し得る。例えば、高水準言語のプログラムは、メモリデバイス１０１２のランダムアクセス部分にロードされプロセッサ１０１２によって実行され得るフォーマットで機械コードにコンパイルされ得、又はソースコードは、別の実行可能プログラムによってロードされ、プロセッサによって実行されるべきメモリのランダムアクセス部分に命令を生成するように解釈され得る。実行可能プログラムは、メモリデバイス１０１２の任意の部分又はコンポーネントに記憶され得る。例えば、メモリデバイス１０１２は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読出し専用メモリ（read only memory、ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ、メモリカード、ハードドライブ、光ディスク、フロッピーディスク、磁気テープ、又は任意の他のメモリコンポーネントであり得る。
【0083】
プロセッサ１０１２は、複数のプロセッサを表し得、メモリ１０１２は、処理回路に対して並列に動作する複数のメモリユニットを表し得る。これは、システム内の処理及びデータのために並列処理チャネルを提供し得る。ローカルインターフェース１０１８は、複数のプロセッサのうちのいずれかと複数のメモリとの間の通信を容易にするためのネットワークとして使用され得る。ローカルインターフェース１０１８は、負荷分散、大量データ転送、及び類似のシステムなどの通信を連携するために設計された追加のシステムを使用し得る。
【0084】
本明細書に記載されている機能ユニットのいくつかは、それらの実施の独立性をより特に強調するために、モジュールとしてラベル付けされている。例えば、モジュールは、カスタムＶＬＳＩ回路又はゲートアレイ、論理チップなどの既製の半導体、トランジスタ、又は他のディスクリートコンポーネントを含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのようなプログラマブルハードウェアデバイスに実装されてもよい。
【0085】
モジュールはまた、様々なタイプのプロセッサによる実行のためのソフトウェアに実装されてもよい。実行可能コードの識別されたモジュールは、例えば、オブジェクト、手順、又は機能として編成され得るコンピュータ命令の１つ以上のブロックを含んでもよい。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はなく、モジュールを構成し、論理的に一緒に結合されたときにモジュールについて述べられた目的を達成する異なる場所に記憶された異種の命令を含んでもよい。
【0086】
実際、実行可能コードのモジュールは、単一の命令、又は多くの命令であってもよく、異なるプログラムの間で、及びいくつかのメモリデバイスにまたがって、いくつかの異なるコードセグメントにわたって分散さえすることであってもよい。同様に、動作データは、本明細書ではモジュール内で識別され及び例示され得、任意の好適な形態で具現化され、任意の好適なタイプのデータ構造内に編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、又は異なるストレージデバイスにわたることを含めて異なる場所にわたって分散されてもよい。モジュールは、所望の機能を行うように動作可能なエージェントを含めて、受動的であっても又は能動的であってもよい。
【0087】
本明細書に記載の技術は、コンピュータ可読命令、データ構造、プログラムモジュール、又はその他のデータなどの情報を記憶するための任意の技術で実装された揮発性及び不揮発性、取り外し可能及び非取り外し可能媒体を含むコンピュータ可読記憶媒体に記憶されてもよい。コンピュータ可読記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）若しくは他の光学ストレージデバイス、磁気カセット、磁気テープ、磁気ディスクストレージデバイス若しくは他の磁気ストレージデバイス、又は所望の情報及び記載された技術を記憶するために使用され得る任意の他のコンピュータ記憶媒体が挙げられるが、これらに限定されない。
【0088】
本明細書に記載のデバイスはまた、デバイスが他のデバイスと通信することを可能にする通信接続又はネットワーキング装置及びネットワーキング接続を含むことができる。通信接続は、通信媒体の一例である。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、及び搬送波又は他の移送機構などの変調データ信号内の他のデータを具現化し、任意の情報配信媒体を含む。「変調データ信号」は、信号内の情報を符号化するような様態で設定又は変更されたその特性のうちの１つ以上を有する信号を意味する。限定ではなく例として、通信媒体には、有線ネットワーク又は直接配線接続などの有線媒体、及び音響、無線周波数、赤外線などの無線媒体並びに他の無線媒体が含まれる。本明細書で使用されるコンピュータ可読媒体という用語は、通信媒体を含む。
【0089】
図面に図示された例を参照し、本明細書では同じことを説明するために特定言語を使用した。それでもなお、それにより本技術の範囲の限定が意図されない、と理解されるであろう。本明細書に例示されている特徴の変更及び更なる修正、並びに本開示を所有する当業者が想到するであろう、本明細書に例示されている実施例の追加の適用は、本明細書の範囲内であると考えられるべきである。
【0090】
更に、説明された特徴、構造、又は特性は、１つ以上の実施例において、任意の好適な様態で組み合わされてもよい。先行する説明において、説明される技術の実施例の完全な理解を提供するために、様々な構成の実施例などの多数の具体的な詳細を提供した。しかしながら、当業者は、本技術が、具体的な詳細のうちの１つ以上を伴わずに、又は他の方法、コンポーネント、デバイスなどを伴って実践され得ることを認識するであろう。その他の場合、本技術の態様を不明瞭にすることを回避するために、周知の構造又は動作は、詳細には図示又は説明されていない。
【0091】
本主題は、構造的特徴及び／又は動作に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される主題は、必ずしも上記の特定の特徴及び動作に限定されないことを理解されたい。むしろ、上記の特定の特徴及び作用は、特許請求の範囲を実施する例示的な形態として開示されている。記載された技術の趣旨及び範囲から逸脱することなく、多数の改変及び代替の構成が考案され得る。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】