特表 2024-532643 実空間ナビゲーションのための拡張現実システム及びそれを用いた手術システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】実空間ナビゲーションのための拡張現実システム及びそれを用いた手術システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240903BHJP

   A61B 34/20 20160101ALI20240903BHJP

   A61M 5/42 20060101ALI20240903BHJP

   H04N 13/344 20180101ALI20240903BHJP

   H04N 13/361 20180101ALI20240903BHJP

【ＦＩ】

G06T19/00 600

A61B34/20

A61M5/42 520

G06T19/00 F

H04N13/344

H04N13/361

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2023566936

(86)(22)【出願日】2022-08-01

(85)【翻訳文提出日】2023-12-21

(86)【国際出願番号】 US2022039080

(87)【国際公開番号】W WO2023014667

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】63/228,171

(32)【優先日】2021-08-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】520332841

【氏名又は名称】ヒーズ アイピー ホールディングス エルエルシー

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】イン チャン

(72)【発明者】

【氏名】ユンーチン シャオ

(72)【発明者】

【氏名】ジュンーイン ライ

【テーマコード（参考）】

4C066

5B050

【Ｆターム（参考）】

4C066AA01

4C066BB01

4C066CC01

4C066FF05

4C066LL12

5B050AA02

5B050BA04

5B050BA06

5B050BA09

5B050BA12

5B050CA07

5B050DA01

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA06

(57)【要約】

【解決手段】
本開示は実空間ナビゲーションのための拡張現実システムに関する。拡張現実システムは、複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュールと、仮想画像が三次元実空間内の位置にあるとユーザによって知覚されるように、複数のナビゲーションランドマークのうちの１つに関連付けられた仮想画像を表示するための仮想画像表示モジュールと、を備えており、仮想画像は少なくとも１つの両眼画素によって構成され、両眼画素の各々は、ユーザの第１の網膜に投影される第１の光信号とユーザの第２の網膜に投影される第２の光信号とによって形成される。
【選択図】図２

【特許請求の範囲】

【請求項1】

実空間ナビゲーションのための拡張現実システムであって、
複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュールであって、前記複数のナビゲーションランドマークが、タスクを実行するための前記三次元実空間におけるタスク主体の目標位置又は目標方位に対応しているナビゲーションモジュールと、
仮想画像が前記三次元実空間内の前記位置にあるとユーザによって知覚されるように、前記複数のナビゲーションランドマークのうちの１つに関連付けられた前記仮想画像を表示するための仮想画像表示モジュールであって、前記仮想画像が少なくとも１つの両眼画素によって構成され、前記両眼画素の各々が前記ユーザの第１の網膜に投影される第１の光信号と前記ユーザの第２の網膜に投影される第２の光信号とによって形成される仮想画像表示モジュールと、を備え、
特定の水平座標及び垂直座標を有する前記少なくとも１つの両眼画素の各々の実空間において前記ユーザによって知覚される奥行き座標が、前記奥行き座標の知覚に特有な前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号をそれぞれ投影することによってレンダリングされる、実空間ナビゲーションのための拡張現実システム。

【請求項2】

前記第１の光信号及び第２の光信号が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず前記ユーザが前記奥行き座標を知覚するように、前記一対の指定位置にそれぞれ投影される、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項3】

前記一対の指定位置が第１の指定位置と第２の指定位置とを備え、前記第１の指定位置が前記第１の網膜上で固定された相対位置を有し、前記第２の指定位置が前記第２の網膜上で固定された相対位置を有する、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項4】

前記ユーザによって知覚される前記少なくとも１つの両眼画素の各々の奥行き座標の変化が、前記第１の指定位置と前記第２の指定位置との間の相対距離を変化させることによってレンダリングされる、請求項３に記載の実空間ナビゲーションのための拡張現実システム。

【請求項5】

前記第１の光信号及び第２の光信号が同一の画像情報を有する、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項6】

前記仮想画像表示モジュールが頭部ウェアラブルデバイスであり、前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記頭部ウェアラブルデバイスの位置に対して測定される、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項7】

前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記ナビゲーションモジュールに対して測定される、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項8】

前記仮想画像の前記少なくとも１つの両眼画素の前記実空間において前記ユーザによって知覚される前記垂直座標又は水平座標が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず、前記垂直座標又は水平座標に対応する垂直位置または水平位置を有する前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号を投影することによってレンダリングされる、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項9】

複数のアライメント基準点が前記タスク主体に割り当てられ、前記複数のアライメント基準点の各々の位置が前記ナビゲーションモジュールによって決定される、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項10】

前記ナビゲーションモジュールが、前記複数のナビゲーションランドマークのうちの１つに対する前記複数のアライメント基準点のうちの１つの空間的偏差をそれぞれ決定する、請求項９に記載の実空間ナビゲーションのための拡張現実システム。

【請求項11】

前記空間的偏差が第１の所定値より大きい又は第２の所定値より小さい場合に、前記仮想画像表示モジュールが視覚的刺激を前記ユーザに出力する、請求項１０に記載の実空間ナビゲーションのための拡張現実システム。

【請求項12】

前記仮想画像表示モジュールが、複数の左側光信号をそれぞれ投影する左側光信号プロジェクタ及び右側光信号プロジェクタを更に備える、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項13】

前記ナビゲーションモジュールが前記仮想画像表示モジュール上に設けられ、又は前記ナビゲーションモジュールが前記仮想画像表示モジュールとは別に設けられる屋内ポジショニングシステムである、請求項１に記載の実空間ナビゲーションのための拡張現実システム。

【請求項14】

患者に医療処置を実行するための拡張現実支援システムであって、
患者の診断情報に基づいて複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュールであって、前記複数のナビゲーションランドマークが、前記医療処置を実行するための前記三次元実空間における手術器具の目標位置又は目標方位に対応しているナビゲーションモジュールと、
仮想画像が前記三次元実空間内の前記位置にあるとユーザによって知覚されるように、前記複数のナビゲーションランドマークのうちの１つに関連付けられた前記仮想画像を表示するための仮想画像表示モジュールであって、前記仮想画像が少なくとも１つの両眼画素によって構成され、前記両眼画素の各々が前記ユーザの第１の網膜に投影される第１の光信号と前記ユーザの第２の網膜に投影される第２の光信号とによって形成される仮想画像表示モジュールと、を備え、
特定の水平座標及び垂直座標を有する前記少なくとも１つの両眼画素の各々の実空間において前記ユーザによって知覚される奥行き座標が、前記奥行き座標の知覚に特有な前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号をそれぞれ投影することによってレンダリングされる、拡張現実支援システム。

【請求項15】

前記第１の光信号及び第２の光信号が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず前記ユーザが前記奥行き座標を知覚するように、前記一対の指定位置にそれぞれ投影される、請求項１４に記載の拡張現実支援システム。

【請求項16】

前記一対の指定位置が第１の指定位置と第２の指定位置とを備え、前記第１の指定位置が前記第１の網膜上で固定された相対位置を有し、前記第２の指定位置が前記第２の網膜上で固定された相対位置を有する、請求項１５に記載の拡張現実支援システム。

【請求項17】

前記ユーザによって知覚される前記少なくとも１つの両眼画素の各々の奥行き座標の変化が、前記第１の指定位置と前記第２の指定位置との間の相対距離を変化させることによってレンダリングされる、請求項１６に記載の拡張現実支援システム。

【請求項18】

前記第１の光信号及び第２の光信号が同一の画像情報を有する、請求項１４に記載の拡張現実支援システム。

【請求項19】

前記仮想画像表示モジュールが頭部ウェアラブルデバイスであり、前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記頭部ウェアラブルデバイスの位置に対して測定される、請求項１４に記載の拡張現実支援システム。

【請求項20】

前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記ナビゲーションモジュールに対して測定される、請求項１４に記載の拡張現実支援システム。

【請求項21】

前記仮想画像の前記少なくとも１つの両眼画素の前記実空間において前記ユーザによって知覚される前記垂直座標又は水平座標が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず、前記垂直座標又は水平座標に対応する垂直位置または水平位置を有する前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号を投影することによってレンダリングされる、請求項１４に記載の拡張現実支援システム。

【請求項22】

前記診断情報が前記手術器具に設けられた医用画像装置から受信される、請求項１４に記載の拡張現実支援システム。

【請求項23】

前記手術器具が前記患者に挿入するための挿入部を備え、前記医用画像装置が前記挿入部の近傍に同軸上に設けられる、請求項１４に記載の拡張現実支援システム。

【請求項24】

前記医用画像装置が、前記患者の複数の生理学的特徴の各々の空間的位置に関する前記診断情報を提供する、請求項２２に記載の拡張現実支援システム。

【請求項25】

複数のアライメント基準点が前記手術器具に割り当てられ、前記複数のアライメント基準点の各々の位置が前記ナビゲーションモジュールによって決定される、請求項１４に記載の拡張現実支援システム。

【請求項26】

前記ナビゲーションモジュールが、前記複数のナビゲーションランドマークのうちの１つに対する前記複数のアライメント基準点のうちの１つの空間的偏差をそれぞれ決定する、請求項２５に記載の拡張現実支援システム。

【請求項27】

前記空間的偏差が第１の所定値より大きい又は第２の所定値より小さい場合に、前記仮想画像モジュールが視覚的刺激を前記ユーザに出力する、請求項２６に記載の拡張現実支援システム。

【請求項28】

前記医用画像装置が前記患者に関するリアルタイム情報を提供し、複数のナビゲーションランドマークの各々についての三次元実空間内の位置に対応する前記一連の空間座標が前記リアルタイム情報に従って設定される、請求項１４に記載の拡張現実支援システム。

【請求項29】

前記仮想画像表示モジュールが、複数の左側光信号をそれぞれ投影する左側光信号プロジェクタ及び右側光信号プロジェクタを更に備える、請求項１４に記載の拡張現実支援システム。

【請求項30】

前記ナビゲーションモジュールが前記仮想画像表示モジュール上に設けられ、又は前記ナビゲーションモジュールが前記仮想画像表示モジュールとは別に設けられる屋内ポジショニングシステムである、請求項１４に記載の拡張現実支援システム。

【請求項31】

前記複数のナビゲーションランドマークのうちの１つが対象オブジェクトに対して医療処置を行うための位置に関連付けられている、請求項１４に記載の拡張現実支援システム。

【請求項32】

前記医用画像装置が、前記複数のナビゲーションランドマークのうちの１つに対する前記複数のアライメント基準点のうちの１つの空間的偏差に関するリアルタイム情報を提供する、請求項１４に記載の拡張現実支援システム。

【請求項33】

前記手術器具が、前記実空間に対する前記手術器具の方位を決定するための方位検出モジュールを更に備える、請求項１４に記載の拡張現実支援システム。

【請求項34】

前記手術器具が、前記手術器具の前記患者への貫入深さを決定するための貫入深さ検出モジュールを更に備える、請求項１４に記載の拡張現実支援システム。

【発明の詳細な説明】

【関連出願】

【0001】

本出願は、２０２１年８月２日に出願された「針挿入を誘導するための複合現実感を有する装置及び方法」という発明の名称の仮出願６３／２２８，１７１号の優先権を主張する。

【技術分野】

【0002】

本発明は、拡張現実ベースのナビゲーションシステムに関し、より具体的には、ユーザがタスクを実行し完了するようにユーザを誘導する仮想画像を表示可能な拡張現実ベースのナビゲーションシステムに関する。本発明は更に、医療従事者が手術等の医療処置を実行し完了するように医療従事者を誘導するための拡張現実ベースのナビゲーションシステムに関する。

【背景技術】

【0003】

従来の実務では、医療従事者は、医療処置を実行するための参考として、コンピュータ画面上に表示される医療記録に頼る必要がある。医療従事者は患者とコンピュータ画面の間を行ったり来たりする必要があることが多く、これは面倒な場合がある。更に、医療処置の実行中に手術器具を操作するための正しい位置と経路の決定は、多くの場合、医療従事者の経験に大きく依存する。一例として、硬膜外麻酔のための脊椎領域内への硬膜外針の挿入は、側副組織への損傷を防ぐために、正確な挿入位置と硬膜外針の方位を必要とする。麻酔医は多くの場合、硬膜外針の挿入の位置と方位を決定するために、超音波撮像装置に頼る必要がある。しかし、超音波撮像装置を挿入部位に直接配置することはできず、むしろ挿入部位の側に配置されるので、画像の精度が望ましくないほど制限され、処置が失敗する可能性が高くなる。

【0004】

近年、多くの拡張現実支援医療処置が考え出されてきている。しかし、ユーザによって知覚される三次元仮想オブジェクトの位置を現実の物理空間に正確にマッピングすることに関する技術はまだ十分に開発されていない。それ故に、医療処置を支援するための拡張現実ベースのナビゲーションシステムは未だ実現されていない。

【0005】

更に、種々の奥行きを有する仮想画像を表示可能な現在の技術における導波路ベースの拡張現実／仮想現実ディスプレイの多くは、焦点競合(focal rivalry)の問題を抱えている。これは、ユーザの目が焦点を合わせている表示画面までの距離（ユーザの目からの距離）が、観察者によって知覚される仮想画像の奥行き知覚と一致しないという事実に起因する。これによりユーザは不快感を覚えるであろうし、ユーザは実際のオブジェクトと仮想画像に同時に焦点を合わせることができない場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の理由に基づいて、上記の問題を解決することができる実空間ナビゲーションのための新規な拡張現実システムが望まれている。

【課題を解決するための手段】

【0007】

本発明は、仮想／複合現実ディスプレイにおける焦点競合及び両眼転導順応対立(focal rivalry and vergence accommodation conflict)（ＶＡＣ）を克服することに関して、従来技術と比べて有利である。拡張現実又は複合現実の分野では、仮想画像の奥行き知覚と三次元効果は、多くの場合、視差画像技術を介してレンダリングされる。左目用と右目用の仮想オブジェクトの視差画像は、観察者の目から一定の距離にある画面上にそれぞれ表示されるが、この距離は、レンダリングされた仮想画像の見かけの点の奥行き知覚とは時間的に異なることがよくある。更に、仮想画像を実際のオブジェクトに重ね合わせて拡張現実又は複合現実を創出することを目的としている場合、実際のオブジェクトの奥行きと画面が観察者の目から異なる距離にあるので、画面によって変位した仮想画像と実際のオブジェクトは、観察者の目によって同時に焦点を合わせることができない。

【0008】

本発明は、ディスプレイ画面の使用を排除し、観察者の目の網膜上に画像を投影する直接網膜走査技術を実装する。その結果、観察者は固定画面を凝視する必要がない。また、仮想画像は両眼の自然視覚と一致する輻輳角(convergence angle)で観察者の目に投影される。換言すれば、仮想画像の奥行き知覚は、自然視覚における輻輳角と一致する。これにより、本発明では焦点競合とＶＡＣの両方が排除される。

【0009】

患者に医療処置を実行するための拡張現実支援システムは、患者の診断情報に基づいて複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュールであって、複数のナビゲーションランドマークが、医療処置を実行するための三次元実空間における手術器具の目標位置又は目標方位に対応しているナビゲーションモジュールと、仮想画像が三次元実空間内の位置にあるとユーザによって知覚されるように、複数のナビゲーションランドマークのうちの１つに関連付けられた仮想画像を表示するための仮想画像表示モジュールであって、仮想画像が少なくとも１つの両眼画素によって構成され、両眼画素の各々がユーザの第１の網膜に投影される第１の光信号とユーザの第２の網膜に投影される第２の光信号とによって形成される仮想画像表示モジュールと、を備える。仮想画像表示モジュールは、左側光信号プロジェクタと右側光信号プロジェクタとを備える。左側光信号プロジェクタ及び右側光信号プロジェクタは、光源としてレーザを用いていてよい。一実施形態では、左側光信号プロジェクタ及び右側光信号プロジェクタはレーザビーム走査プロジェクタ（ＬＢＳプロジェクタ）であり、ＬＢＳプロジェクタは、赤色光レーザ、緑色光レーザ、及び青色光レーザと、二色性結合器及び偏光結合器等の光色調整器と、二次元（２Ｄ）電気機械システム（「ＭＥＭＳ」）ミラー等の２Ｄ調整可能反射器と、を備えていてよい。２Ｄ調整可能反射器は、２つの一次元（１Ｄ）ＭＥＭＳミラー等の２つの１Ｄ反射器で置き換えることができる。一例として、ＬＢＳプロジェクタは、光信号を１つずつ順次生成して走査し、所定の解像度、例えばフレーム当たり１２８０×７２０画素で２Ｄ画像を形成する。従って、１つの画素に対して１つの光信号が生成され、一度に結合器に向けて投影される。

【0010】

特定の水平座標及び垂直座標を有する少なくとも１つの両眼画素の各々の実空間においてユーザによって知覚される奥行き座標は、第１の光信号の第１の網膜上への投影角度及び第２の光信号の第２の網膜上への投影角度にかかわらず、奥行き座標の知覚に特有な第１の網膜及び第２の網膜の表面上の一対の指定位置に第１の光信号及び第２の光信号をそれぞれ投影することによってレンダリングされる。

【0011】

本発明のある実施形態によると、仮想画像表示モジュールは頭部ウェアラブルデバイスであり、一連の空間座標、奥行き座標、水平座標、及び垂直座標は頭部ウェアラブルデバイスの位置に対して測定される。本発明の他の実施形態では、一連の空間座標、奥行き座標、水平座標、及び垂直座標はナビゲーションモジュールに対して測定される。仮想画像の少なくとも１つの両眼画素の実空間においてユーザによって知覚される垂直座標又は水平座標は、第１の光信号の第１の網膜上への投影角度及び第２の光信号の第２の網膜上への投影角度にかかわらず、垂直座標又は水平座標に対応する垂直位置または水平位置を有する第１の網膜及び第２の網膜の表面上の一対の指定位置に第１の光信号及び第２の光信号を投影することによってレンダリングされる。

【0012】

本発明のある実施形態によると、一対の指定位置は第１の指定位置と第２の指定位置とを備える。ユーザによって知覚される少なくとも１つの両眼画素の各々の奥行き座標の変化は、第１の指定位置と第２の指定位置との間の相対距離を変化させることによってレンダリングされる。

【0013】

本発明のある実施形態によると、手術器具は患者に挿入するための挿入部を備え、医用画像装置は挿入部の近傍に同軸上に設けられる。手術器具は、実空間に対する手術器具の方位を決定するための方位検出モジュールを更に備えていてよい。手術器具は、手術器具の患者への貫入深さを決定するための貫入深さ検出モジュールを更に備えていてよい。

【0014】

本発明のある実施形態によると、医用画像装置は、患者の複数の生理学的又は解剖学的特徴の各々の空間的位置に関する診断情報を提供してよい。医用画像装置は、患者に関するリアルタイム情報を提供してよい。医用画像装置は、複数のナビゲーションランドマークのうちの１つに対する複数のアライメント基準点のうちの１つの空間的偏差に関するリアルタイム情報を更に提供してよい。

【0015】

本発明のある実施形態によると、複数のアライメント基準点は手術器具に割り当てられ、複数のアライメント基準点の各々の位置はナビゲーションモジュールによって決定される。ナビゲーションモジュールは、複数のナビゲーションランドマークのうちの１つに対する複数のアライメント基準点のうちの１つの空間的偏差をそれぞれ決定する。仮想画像モジュールは、空間的偏差が第１の所定値より大きい又は第２の所定値より小さい場合に、視覚的刺激をユーザに出力してよい。

【図面の簡単な説明】

【0016】

【図1】図１は本発明の実施形態によるナビゲーションランドマークを示す。

【0017】

【図2】図２は本発明の実施形態によるナビゲーションランドマークの仮想画像及び実空間ナビゲーションのための拡張現実システムを示す。

【0018】

【図3A】図３Ａは本発明の実施形態によるナビゲーションランドマーク及び実空間ナビゲーションのための拡張現実システムを示す。

【0019】

【図3B】図３Ｂは本発明の実施形態による例示的な座標系を示す。

【0020】

【図4】図４は、本発明による自然な両眼視の原理を示す。

【0021】

【図5】図５は、本発明の実施形態により特定の水平及び垂直座標で種々の奥行き知覚をレンダリングする原理を示す。

【0022】

【図6】図６は本発明の実施形態により三次元実空間において多重両眼画素をレンダリングする原理を示す。

【0023】

【図7A】図７Ａは対応する空間座標を有する指定位置の対を含むルックアップテーブルを示す。

【0024】

【図7B】図７Ｂは光信号を所望の指定位置に正確に投影する方法を示す。

【0025】

【図8】図８は本発明の別の実施形態により三次元実空間において多重両眼画素をレンダリングする原理を示す。

【0026】

【図9A】図９Ａは本発明の例示的な実装を示す。

【0027】

【図9B】図９Ｂは本発明の例示的な実装を示す。

【0028】

【図10】図１０は本発明による実空間ナビゲーションのための拡張現実システムを実装する手術手順の例示的な実施形態を示す。

【0029】

【図11】図１１は本発明のある実施形態による例示的な手術器具を示す。

【発明を実施するための形態】

【0030】

以下の説明で用いる用語は、技術の特定の実施形態の詳細な説明と併せて用いられているとしても、最も広範で合理的な方法で解釈されることを意図している。以下では、特定の用語が強調される場合もあるが、制限された方法で解釈されることを意図した用語は、この詳細な説明の欄でそのように具体的に定義されるものとする。

【0031】

本発明では、ナビゲーションランドマークは、三次元空間における機器、用具、又は人間の手等の正確な操作を必要とするタスクを完了するようにユーザを誘導するために用いられ、そのような操作の例は医療処置又は歯科処置であってよい。場合によっては、ナビゲーションランドマークは、タスクを完了するために人間によって操作される機器の正しい位置又は方位を示す一連の空間座標であり、例えば（図１を参照）、ナビゲーションランドマークは、麻酔医が硬膜外麻酔の注射を行うための患者上の位置を示す座標を備えていてよい。ナビゲーションランドマークはまた、注射の正しい方位／角度を示すために、硬膜外針の先端の正確な位置や注射器の尾部を示す複数の座標を備えていてよい。図１を参照すると、ナビゲーションランドマークはＮＬ１、ＮＬ２…等として示されている。この例におけるナビゲーションランドマークの座標は、例えば患者の脊椎骨間の隙間の位置を示し得る患者の医用画像データに基づいて予め決定されてよい。ナビゲーションランドマークの座標は、神経系への損傷を回避しつつ患者の脊椎骨間の隙間に硬膜外針をうまく挿入するための硬膜外針挿入の適切な方位及び位置を示す。他のいくつかの例では、ナビゲーションランドマークは、歯科医が歯科インプラントを実行するための多重位置座標を示してよい。本発明では、拡張現実ベースのディスプレイは、ナビゲーションランドマークの位置に対応する仮想画像を表示し得るので、ユーザはタスクを実行するために三次元実空間内の正しい位置及び方位を見ることができる。当業者は、本発明が本発明の精神から逸脱することなく他の用途に適用できることを理解するであろう。

【0032】

以下、種々の状況に適用し得る実空間ナビゲーションのための拡張現実システムについて説明する。図２を参照すると、実空間ナビゲーションのための拡張現実システムは、ナビゲーションモジュール１００と仮想画像表示モジュール２００とを備える。ナビゲーションモジュール１００は、複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定する。より具体的には、ナビゲーションモジュール１００は、特定のタスクのためのナビゲーションランドマークの位置を決定する基準に関するデータを受信してよい。ナビゲーションモジュール１００は、前記データを基準点に対する実空間内の三次元座標に変換する。基準点は、座標系の原点（例えば、（０，０，０）の座標を有する）として指定される。一例として、ナビゲーションモジュール１００は、実施形態に応じて、仮想画像表示モジュール２００の点、実空間内の指定位置、又はナビゲーションモジュール１００の点等に基準点を設定してよい。複数のナビゲーションランドマークは、タスクを実行するための三次元実空間におけるタスク主体の目標位置又は目標方位に対応する。例えば、タスクが静脈麻酔薬の注射を行うことである場合、タスク主体は硬膜外注射針であってよい。他の種類の医療処置に対しては、タスク主体は、医療処置を実行するための対応するツールであってよい。いくつかの実施形態では、ナビゲーションモジュール１００は仮想画像表示モジュール２００上に設けられ、又はナビゲーションモジュール１００は仮想画像表示モジュール２００とは別に設けられる屋内ポジショニングシステムである。

【0033】

例示目的で、本発明によるナビゲーションモジュール１００は、ユーザの位置（原点がユーザの頭部ウェアラブルデバイスに設定されていない場合）、手術器具や手術部位の位置等、を決定するためのポジショニングユニットを備えていてよい。ポジショニングユニットは、ＧＰＳ（屋内又は屋外）、携帯電話ネットワーク、又は屋外ポジショニング方法のためのＷＩ－ＦＩで実装されてよい。ポジショニングユニットは、屋内ポジショニングのためのＵＷＢ、Ｂｌｕｅｔｏｏｔｈ、無線ネットワーク、又はビーコンで実装されてよい。ナビゲーションモジュール１００が頭部ウェアラブルデバイス上に設けられる実施形態では、ナビゲーションモジュール１００は奥行き感知ユニットを備えていてもよい。奥行き感知ユニットは、対象オブジェクト上の任意の点とユーザ（より具体的には、ユーザの両眼の間の中間点）との間の距離を測定するために用いられてよい。ユーザの手又は手術器具の位置が奥行き感知ユニットによって測定されてもよい。対象オブジェクト、手術器具、及び／又は手の動きを追跡するために、奥行きマップが用いられてよい。奥行きマップは、奥行き感知ユニット及び／又はカメラによって作成される。奥行きマップは更に、対象オブジェクト及び手をクラスタ化するために用いられる。奥行き感知ユニットは、奥行き感知カメラの形態で実装されてよい。奥行き感知カメラは、対象オブジェクトの二次元画像又は三次元リアルタイム画像をキャプチャし、カメラと対象オブジェクトの間の距離も奥行き感知ユニットによって決定することができる。ナビゲーションモジュール１００は、ユーザの位置及び方位の決定を支援するための慣性測定ユニット（ＩＭＵ）を更に備えていてよい。

【0034】

本発明のいくつかの実施形態では、仮想画像表示モジュール２００は、ユーザの視軸によってユーザの対象オブジェクトの選択を決定するための視線追跡ユニットを備えていてよい。ユーザの視線は視線追跡ユニットによって決定される。視線追跡は、視線追跡カメラ、又は目の動きの電気信号測定によって実現される。仮想画像表示モジュール２００は、手ジェスチャ認識ユニットを備えていてもよい。手ジェスチャ及び手の位置は、奥行き感知ユニット又はカメラによってキャプチャされてよい。奥行き感知ユニット又はカメラは、ハンドジェスチャに関する情報をハンドジェスチャ認識ユニットに提供し、ハンドジェスチャは次いでハンドジェスチャ認識ユニットによって認識される。仮想画像表示モジュール２００は、オブジェクト認識ユニットを更に備えていてよい。対象オブジェクトの画像及び位置は、奥行き感知ユニット又は奥行き感知カメラによってキャプチャされる。オブジェクト認識ユニットは、対象オブジェクトの画像に基づいて対象オブジェクトのオブジェクト認識を行う。場合によっては、オブジェクト認識ユニットは、手術器具、ユーザの手、及び患者を認識してよい。

【0035】

仮想画像表示モジュール２００は、ユーザがナビゲーション目的で複数のナビゲーションランドマークを視覚化するために、それらナビゲーションランドマークのいずれか１つに関連付けられた仮想画像を表示するように構成される。特に、仮想画像は、ユーザによって三次元実空間内の位置にあるように知覚される。一例として、本発明のユーザが医療処置を行っている場合、仮想画像は、患者上の手術器具の挿入位置を示す円形スポットであってよく、あるいは仮想画像は、図２に示すように、実際の手術器具の所望の位置又は方位を示す手術器具の仮想画像に似ていてよい。ナビゲーションランドマークは、三次元実空間内の点の座標として表されてよいが、ナビゲーションランドマークの視覚的表現は、ナビゲーションランドマークの座標を中心としていてよく、三次元空間内の小さな領域を占めており、あるいは仮想画像は、ナビゲーションランドマークの位置に基づいてレンダリングされてよい。従って、仮想画像は少なくとも１つの両眼画素で構成されてよい（図２に示すように）。網膜走査ベースの拡張表示システムに対しては、両眼画素の各々は、ユーザの第１の網膜に投影される第１の光信号と、ユーザの第２の網膜に投影される第２の光信号と、によって形成される。本発明は、ナビゲーションランドマークの仮想画像をレンダリングするために網膜走査技術を用いる。特定の実空間位置でユーザによって知覚されるように仮想画像及び両眼画素をレンダリングする方法について、以下で詳細に説明する。

【0036】

図３Ａを参照すると、本発明において、仮想画像表示モジュール２００は、第１の光信号発生器１０（例えば、右側光信号発生器）と、第１の結合器（例えば、右側結合器）と、第２の光信号発生器２０（例えば、左川光信号発生器）と、第２の結合器（例えば、左側結合器）と、を備える。第１の光信号発生器は第１の光信号を生成し、第１の結合器１１は、第１の光信号をユーザの第１の網膜に向けて方向を変えて、第１の画素ｐ１を表示する。同様に、第２の光信号発生器２０は第２の光信号を生成し、第２の結合器２１は、第２の光信号をユーザの第２の網膜に向けて方向を変えて、第２の画素ｐ２を表示する。

【0037】

仮想画像表示モジュールに含まれる第１及び第２の光信号プロジェクタ１０、２０は、光源としてレーザを用いていてよい。一実施形態では、第１及び第２の光信号プロジェクタ１０、２０はレーザビーム走査プロジェクタ（ＬＢＳプロジェクタ）であり、ＬＢＳプロジェクタは、赤色光レーザ、緑色光レーザ、及び青色光レーザと、二色性結合器及び偏光結合器等の光色調整器と、二次元（２Ｄ）電気機械システム（「ＭＥＭＳ」）ミラー等の２Ｄ調整可能反射器と、を備えていてよい。２Ｄ調整可能反射器は、２つの一次元（１Ｄ）ＭＥＭＳミラー等の２つの１Ｄ反射器で置き換えることができる。一例として、ＬＢＳプロジェクタは、光信号を１つずつ順次生成して走査し、所定の解像度、例えばフレーム当たり１２８０×７２０画素で２Ｄ画像を形成する。従って、１つの画素に対して１つの光信号が生成され、一度に結合器に向けて投影される。観察者がそのような２Ｄ画像を片方の目から見るためには、ＬＢＳプロジェクタは、残像の時間周期内、例えば１／１８秒以内に、各画素の光信号、例えば１２８０×７２０の光信号を連続的に生成する必要がある。従って、各光信号の継続時間は約６０．２８ナノ秒である。

【0038】

ユーザの第１の目と第２の目が第１の光信号と第２の光信号を知覚した後、人間の脳は、第１の光画素と第２の光画素の画像の融合を通じて両眼画素（例えば、ＢＰ１）の画像を作成する。両眼画素は、特定の三次元座標を有するようにユーザによって知覚される。本発明を説明する便宜上、座標系の原点は仮想画像表示モジュール２００（頭部ウェアラブルデバイスであってよい）の中心に設定されてよく、三次元座標は、頭部ウェアラブルデバイスに対する特定の水平座標、垂直座標、及び奥行き座標に対応する（図３Ｂに示すように）。

【0039】

ユーザによって知覚される三次元空間内の両眼画素の水平及び垂直位置は、第１の光信号及び第２の光信号がそれぞれ投影され受信される第１の網膜及び第２の網膜上の水平及び垂直位置に直接関係していることが容易に分かる。しかし、本発明は、ユーザによって知覚される両眼画素の奥行き位置もまた、第１の光信号及び第２の光信号がそれぞれ投影され受信される第１の網膜及び第２の網膜上の水平及び垂直位置に関連付けられていることを検討する。図４を参照すると、この図は、人間の自然な両眼視による、３Ｄ空間におけるオブジェクトの水平、垂直、及び奥行きの位置の知覚を示している。人間の視覚と網膜走査の原理を説明する便宜上、ユーザの第１の目及び第２の目の網膜はマトリックスとして描かれており、マトリックス要素の各々は網膜上の特定の水平及び垂直位置に対応する。自然視覚によれば、オブジェクトからの第１の右光インスタンスＲ１は、第１の網膜のマトリックス要素Ｒ２２に到達する。オブジェクトからの対応する第２の光インスタンスＬ１は、第２の網膜のマトリックス要素Ｌ２２に到達する。Ｒ１及びＬ１に含まれるオブジェクトの視差情報に加えて、ユーザの奥行き知覚は、第１の光インスタンスＲ１と第２の光インスタンスＬ１との間の輻輳角ＣＡ１にも依存する。観察者によって知覚されるオブジェクトの奥行きが増すにつれて、輻輳角は減少し、逆に、観察者によって知覚されるオブジェクトの奥行きが減少するにつれ、輻輳角は増加する。具体的には、図４に示すように、オブジェクトが位置ｐ１からｐ２に動かされると、輻輳角はＣＡ１からＣＡ２に変化し（ＣＡ２＞ＣＡ１）、一方、第１の光インスタンスを受け取る第１の網膜上の位置はＲ２２からＲ２３に変化し、第２の光インスタンスを受け取る第２の網膜上の位置はＬ２２からＬ１２に変化する。明らかに、オブジェクトの奥行き知覚は、観察者の目に入る第１の光インスタンスと第２の光インスタンスとの間の輻輳角（視差画像に加えて）に少なくとも部分的に関係している。自然視覚では、光の散乱により、オブジェクトの点から無数の第１の光インスタンス及び第２の光インスタンスが存在する可能性があるが、目の水晶体の効果により第１のインスタンス及び第２のインスタンスは全てそれぞれ単一の位置に収束するので、図４には単一のインスタンスのみが示されている。更に、図４によれば、第１の光インスタンスＲ１と第２の光インスタンスＬ１との間に形成される各輻輳角は、２つの網膜上で第１の光インスタンスＲ１と第２の光インスタンスＬ１との間に、対応する相対水平距離（ｄ１及びｄ２として示される）を有することが分かる。このように、ユーザによって知覚されるオブジェクトの奥行きは、第１の光インスタンスＲ１が第１の網膜上に投影される位置と、第２の光インスタンスＬ１が第２の網膜上に投影される対応する位置と、の間の相対的な水平距離に関連付けられているとみなすこともできる。換言すれば、オブジェクトがユーザによってより奥に知覚されるほど、第１の光信号を受信する網膜上の位置と第２の光信号を受信する網膜上の位置との間の相対的な水平距離は小さくなる。しかし、別の側面から、第１の光インスタンスと第２の光インスタンスとの間の相対距離は、瞳孔の前方領域に近い位置で測定することができる。この点に関して、より大きな輻輳角を形成する２の光インスタンス間の相対的な水平距離（オブジェクトは観察者により近い）は、より小さな輻輳角を形成する２つの光インスタンス間の相対的な水平距離（オブジェクトは観察者からより遠い）よりも小さくなることになる。つまり、実際のオブジェクトがユーザによってより奥に知覚されるほど、瞳孔に入る前に実際のオブジェクトの画像を形成している光インスタンス間の相対的な水平距離が大きくなる。上述の原理に基づいて、オブジェクトの奥行き知覚は、目に入る前に画像を形成している光インスタンス間の相対距離を変更することによって、又は光インスタンスを受け取る網膜上の位置間の相対距離を変更することによって、操作することができる。

【0040】

図５を参照すると、この図は、本発明により上述の原理に基づいて奥行き知覚をレンダリングするための方法を示している。図５は、第１の輻輳角ＣＡ１を有する第１の光信号Ｓ１及び第２の光信号Ｓ２の融合によって形成される第１の両眼画素ＢＰ１と、第２の輻輳角ＣＡ２を有する第３の光信号Ｓ３及び第４の光信号Ｓ４の融合によって形成される第２の両眼画素ＢＰ２と、を示している。第１の両眼画素ＢＰ１は、一対の指定位置Ｒ２２（第１の指定位置）及びＬ２２（第２の指定位置）に光信号を投影することによって描画される。第１の両眼画素ＢＰ１は、第２の両眼画素ＢＰ２よりも大きな奥行きを有する（すなわち、ユーザからより遠く離れている）ものとしてユーザによって知覚される。第２の両眼画素ＢＰ２は、一対の指定位置Ｒ３２（第１の指定位置）及びＬ１２（第２の指定位置）に光信号を投影することによって描画される。網膜上における第３の光信号Ｓ３と第４の光信号Ｓ４との間の水平距離（Ｒ３２とＬ１２の間の距離）は、網膜上での第１の光信号Ｓ１と第２の光信号Ｓ２との間の水平距離（Ｒ２２とＬ２２の間の距離）よりも大きい。図５に示すように、水平座標ｈ１及び垂直座標ｖ１で奥行き座標ｄ１を有する両眼画素をレンダリングするためには、Ｒ２２及びＬ２２の指定位置対に光信号を供給する必要があることが分かる。同じ水平座標ｈ１及び垂直座標ｖ１で奥行き座標ｄ２を有する両眼画素をレンダリングする必要がある場合、Ｒ３２及びＬ１２の指定位置対に光信号を供給する必要がある。従って、光信号を異なる第１の指定位置及び第２の指定位置に投影することによって、ユーザにより知覚される少なくとも１つの両眼画素の各々の奥行き座標の変化をレンダリングすることができる。

【0041】

上述の原理に基づいて、三次元座標系の原点が頭部ウェアラブルデバイスの中心に設定されるある実施形態では、特定の水平座標及び垂直座標を有する両眼画素の各々の実空間においてユーザによって知覚される奥行き座標は、第１の光信号及び第２の光信号を第１の網膜及び第２の網膜の表面上の一対の指定位置（例えば、Ｒ２２及びＬ２２又はＲ３２及びＬ１２）にそれぞれ投影することによってレンダリングされる。指定位置の各対は、ユーザに対して特定の奥行き座標の知覚をレンダリングする。上述の説明では、人間の両眼視のこの原理を説明するために３×３のマトリックスが用いられているが、網膜が３×３以上のマトリックス（例えば、１００×１００マトリックス又は１０００×１０００マトリックス）に分割できることは明らかである。更に、この例は、全ての奥行き座標について、第１の網膜上の指定位置及び第２の網膜上の対応する別の指定位置（指定位置の対）が存在し、それらの上に、ユーザが当該特定の奥行き座標で両眼画素を知覚することができるように光信号が投影され得るという考えを示すために用いられる。また、仮想画像の少なくとも１つの両眼画素の実空間においてユーザによって知覚される垂直座標又は水平座標は、第１の光信号の第１の網膜上への投影角度及び第２の光信号の第２の網膜上への投影角度にかかわらず、垂直座標又は水平座標に対応する垂直位置または水平位置を有する第１の網膜及び第２の網膜の表面上の一対の指定位置に第１の光信号及び第２の光信号を投影することによってレンダリングされる。光信号が網膜上の特定の位置に投影されている限り、人間の目は、網膜への入射光の角度にかかわらず、実空間内の対応する位置で両眼画素を認識することができる。

【0042】

更に、図６は両眼画素と両眼画素を形成する指定位置の対との間の関係を示す。この例では、第１の網膜及び第２の網膜がそれぞれ３６（６×６）個の指定位置に分割される。視覚の融合が生じるためには、右目に投影される画像と左目に投影される対応する画像が、同様の垂直位置（人間の目に対して）を有する必要があることが知られている。従って、指定位置の対は、実質的に同じ垂直位置（人間の目に対して）を有する必要がある。図６において、１つの光信号の光路延長線は、同じ行（すなわち、同じ垂直位置）上の対応する光信号の光路延長線と交差する。この前提条件に基づき、また垂直座標と水平座標を考慮すると、異なる三次元座標（ドットで示す）を有する合計で２１６（６×６×６）個の仮想両眼画素が作成され得る。

【0043】

図７Ａを参照すると、両眼画素について特定の垂直及び水平座標で奥行き座標をレンダリングするための指定位置の正しい対を仮想画像表示モジュール２００が迅速に識別するためのルックアップテーブルが構築されてよい。例えば、１から２１６までの番号を有する２１６個の仮想両眼画素は、第１の網膜上の３６（６×６）個の指定位置と第２の網膜上の３６（６×６）個の指定位置に光信号を投影することによって形成される。水平座標ｈ１、垂直座標ｖ１、及び奥行き座標ｄ１を有する最初の（第１の）の両眼画素ＢＰ（１）は、指定位置Ｒ（１１）及びＬ（１１）の対によってレンダリングされ、水平座標ｈ２、垂直座標ｖ２、及び奥行き座標ｄ２を有する２番目の（第２の）の両眼画素ＢＰ（２）は、指定位置Ｒ（１２）及び左画素Ｌ（１１）の対によってレンダリングされる。このように、実空間内の特定の三次元座標に両眼画素を表示するためには、ユーザの左目と右目に投影される光信号は、ルックアップテーブルの情報に基づいて、ユーザの網膜の表面上の対応する指定位置で受信される必要がある。

【0044】

実際には、観察者の網膜上の所望の指定位置に光信号を正確に投影するために、投影された光信号が瞳孔に入る位置が考慮すべき重要な要素である。換言すれば、第１及び第２の光信号が瞳孔に入る位置は、光信号が網膜上の正しい位置に入射して特定の空間的位置に両眼画素をレンダリングし得るように制御される必要がある。瞳孔が入射光信号を受け取る直前の領域もマトリックスとして見ることができ、この領域は、前述の網膜上の指定位置の領域と同様に、いくつかのサブユニット領域に分割することができる（図７Ｂを参照)。サブユニット領域ＳＡの各々は、網膜上の指定位置ＤＬに対応付けられている。従って、光信号が特定のサブユニット領域を介して特定の角度で瞳孔に入射すると、光信号を受け取る網膜上の対応する指定位置を予測することができる。ある実施形態では、光信号が網膜上の所望の指定位置で確実に受け取られ得るように、光信号が瞳孔に入る位置を決定するルックアップテーブルが構築されてもよい。一実施形態では、サブユニット領域と網膜の対応する指定領域との間の関係が図７Ｂに示されている。この例では、光信号が網膜上の指定位置Ｒ３２及びＬ１２の対で受け取られるためには、光信号は、瞳孔に入る前の領域の前のサブユニットＲ１２及びＬ３２を通過する必要がある。従って、観察者によって知覚される両眼画素の奥行きをある位置から別の位置に変更するために、光信号は、網膜上の目標指定位置に関連付けられたサブユニット領域ＳＡの異なる対を介して投影することができ、これにより、指定位置の目標対が光信号を受け取ることができる。

【0045】

更に、図８を参照すると、両眼画素の奥行き座標をレンダリングするための上記原理に基づいて、両眼画素の奥行き知覚は、ユーザの第１及び第２の目への第１及び第２の光信号の投影角度とは無関係である。特定の奥行き座標に対応する指定位置の対が光信号を受信する限り、第１の網膜上への第１の光信号の投影角度及び第２の網膜上への第２の光信号の投影角度にかかわらず、前記奥行き座標を有する両眼画素をレンダリングすることができる。上述した奥行き知覚をレンダリングする方法では、指定位置の各々は網膜上で固定された相対位置を有する。これは、指定位置をランダム又は人為的に割り当てることができないことを意味し、それらは人間の生理学と網膜の解剖学の結果である。光信号によって刺激されると、指定位置の各対は両眼画素に対して固有の三次元座標をレンダリングすることができ、指定位置の各対はユーザの網膜上に固有の位置を有する。更に、第１の光信号及び第２の光信号が人間の脳によって融合されて単一の両眼画素を生成するためには、第１の光信号及び第２の光信号に含まれる情報が実質的に同じである必要がある。

【0046】

三次元実空間内の特定の位置にあるようにユーザによって知覚され得る両眼画素をレンダリングする前述の方法により、仮想画像表示モジュール２００は、ナビゲーションランドマークに対応する三次元実空間内の特定の位置に画像を表示することができる（図９Ａ及び９Ｂに示すように）。ナビゲーションランドマークに対応する画像は、少なくとも１つの両眼画素から構成されていてよい。一例では、ナビゲーションランドマークの画像がユーザに対して表示され得るので、ユーザは、どこで（実際の三次元空間内のどこで）タスク（例えば、手術又は硬膜外針挿入）を実行すべきかを正確に知ることができる。ナビゲーションランドマークは、タスクを実行するための機器の正しい位置及び方位（例えば、手術又は硬膜外針挿入を実行するためのメス又は硬膜外針の方位）を表示することもできる。

【0047】

図１０を参照すると、以下は、本発明による実空間ナビゲーションのための拡張現実システムを実装する手術手順の例示的な実施形態である。この手術手順は以下のステップを備えていてよい。
（ｓ１）ナビゲーションモジュールは、患者、仮想画像表示モジュール、手術器具、及び医療従事者に対して実空間における統一グローバル座標系を割り当てる。仮想画像表示モジュール及び／又は医用画像装置は、統一グローバル座標系（例えば、垂直座標、水平座標、及び奥行き座標）に関して座標校正を実行する。
（ｓ２）医療従事者は、医用画像装置用いて患者の目標手術部位の近傍の一般領域にわたって画像化を実行する。医用画像装置は、磁気共鳴画像装置、ＣＴスキャン、又は超音波画像装置であってよい。画像データは、患者の目標手術部位の近傍の解剖学的特徴に関する一連の空間座標データに変換される。
（ｓ３）解剖学的特徴に関する一連の空間座標データは、患者の解剖学的構造の三次元モデルを構築するためにナビゲーションモジュールに送信される。
（ｓ４）ナビゲーションモジュールは、患者の解剖学的構造の三次元モデルに基づいて、３Ｄ実空間で手術器具を操作するための適切な位置及び角度（又は方位）を決定する。ナビゲーションモジュールは、手術手順を実行するための手術器具の位置及び角度（又は方位）に関連付けられる複数のナビゲーションランドマークを生成する。
（ｓ５）ナビゲーションランドマークに関連付けられた仮想画像は、仮想画像表示モジュール（例えば、頭部ウェアラブルデバイス）を介して医療従事者に表示される。
（ｓ６）医療従事者は、ナビゲーションのために手術器具を仮想画像と位置合わせすることができる。ナビゲーションモジュールは、手術器具とナビゲーションランドマークの間の偏差を決定し、医療従事者にフィードバックを与える。

【0048】

以下の説明では、本発明による実空間ナビゲーションのための拡張現実システムの応用を説明するための例として、硬膜外麻酔を引き続き用いる。

【0049】

拡張現実支援システムは、複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュール１００を備えていてよい。ナビゲーションランドマークは、患者の診断情報に基づいて定義される。例えば、診断情報は、患者の脊椎のリアルタイム超音波スキャン画像であってよく、これは脊椎骨及び脊椎骨間の隙間の位置を示す。複数のナビゲーションランドマークがナビゲーションモジュール１００によって定義されてよく、ナビゲーションランドマークは、医療処置（例えば、硬膜外麻酔）を実行するための三次元実空間における手術器具（例えば、硬膜外針）の目標位置又は目標方位に対応する。例えば、ナビゲーションランドマークは、硬膜外麻酔のために脊椎骨間の空間内に挿入されるべき硬膜外針に対する最良の位置及び方位を示してよい。

【0050】

仮想画像表示モジュール２００は、仮想画像が三次元実空間内の特定の位置にあるとユーザによって知覚されるように、複数のナビゲーションランドマークに関連付けられた仮想画像を表示する。この実施形態における仮想画像表示装置は、頭部ウェアラブルデバイスであってよい。ナビゲーションランドマーク及び仮想画像の座標（奥行き座標、水平座標、及び垂直座標）を表す座標系の原点は、頭部ウェアラブルデバイスの位置に設定される。この実施形態では、ナビゲーションモジュール１００は頭部ウェアラブルデバイス上に設けられてもよい。

【0051】

仮想画像は、硬膜外針を患者の体内に挿入する際に、医療従事者が硬膜外針を正しい方位で保持するように誘導するための矢印又は硬膜外針であってよい。仮想画像は少なくとも１つの両眼画素で構成され、前述したように、両眼画素の各々は、ユーザの第１の網膜に投影される第１の光信号とユーザの第２の網膜に投影される第２の光信号とによって形成される。いくつかの実施形態では、三次元空間内でユーザによって知覚される仮想画像の位置は、患者の体内に硬膜外針を挿入するための正しい位置と一致する。医療従事者が実際の硬膜外針の両端位置を医療従事者に見えるナビゲーションランドマークの２つの仮想画像に一致させて硬膜外針の正しい方位を得られるように、硬膜外針の両端の正しい位置を示す２つのナビゲーションランドマークの追加の２つの仮想画像が示されてもよい。

【0052】

本発明の代替的な実施形態では、医療従事者が実際の硬膜外針の位置及び方位を硬膜外針の仮想画像と一致させるために、仮想画像は硬膜外針に似ていてよい。医療従事者と医療従事者（頭部ウェアラブルデバイスを装着している）によって知覚される仮想画像との間の相対距離は、医療従事者の動き又は位置の変化に基づいて動的に調整されてよい。医療従事者によって知覚される仮想画像の相対的な方位も、医療従事者の位置の変化に応じて動的に調整することができる。これは、ナビゲーションランドマーク（又は仮想画像）の原点（頭部ウェアラブルデバイスの位置に設定されてよく、医療従事者と共に移動していてよい）に対する実空間における三次元座標を動的に計算する位置モジュールによって達成されてよく、次いで、仮想画像表示モジュール２００（すなわち、頭部ウェアラブルデバイス）は、医療従事者の位置の変化に基づいて仮想画像を動的に調整し、レンダリングする。この実施形態では、座標系の原点は、仮想画像表示モジュール２００（すなわち、頭部ウェアラブルデバイス）の位置に設定されてよい。しかし、前述したように、特にナビゲーションモジュール１００が頭部ウェアラブルデバイスに設けられていない場合には、座標系の原点は仮想画像表示モジュール２００の位置以外の位置に設定されてもよい。例えば、場合によっては、原点はナビゲーションモジュール１００に設定されてよく、ナビゲーションモジュール１００の位置は、手術が行われる部屋に対して固定されていてよい。にもかかわらず、ナビゲーションランドマーク及び頭部ウェアラブルデバイスの座標は、ナビゲーションモジュール１００に対して測定及び計算することができ、医療従事者によって知覚される仮想画像の位置は、座標系の原点と医療従事者（頭部ウェアラブルデバイスを装着している人）との間の相対位置に基づいて調整することができる。

【0053】

実際の硬膜外針と仮想画像との間の位置合わせを強化し、医療従事者がより正確に硬膜外麻酔を行えるようにするために、本発明のいくつかの実施形態では、ナビゲーションモジュール１００は、実際の硬膜外針上に複数のアライメント基準点を割り当ててよい。この実施形態では、ナビゲーションモジュール１００は、実際の硬膜外針の特徴を認識し、特定の特徴をアライメント基準点として割り当てるためのオブジェクト認識モジュールと、これらのアライメント基準点の位置を感知するための位置感知モジュールと、を更に備えていてよい。ナビゲーションランドマークは、アライメント基準点に関連付けられていてよい。すなわち、場合によっては、ナビゲーションランドマークは、硬膜外針の挿入中に実空間内でアライメント基準点が存在すべき正しい座標に関係する。ナビゲーションモジュール１００は、アライメント基準点の位置を対応するナビゲーションランドマークと比較して、それらの対応するナビゲーションランドマークに対するアライメント基準点の空間的偏差を決定可能であってよい。更に、仮想画像表示モジュール２００は、空間的偏差が許容空間的偏差の所定の上限よりも大きい場合に、医療従事者に警告する視覚的刺激を出力してよく、あるいは、仮想画像表示モジュール２００は、偏差が所定の下限値より小さい場合に、硬膜外針が挿入のための正しい経路上にあることを確認するための別の視覚的刺激を出力してもよい。

【0054】

本発明の一実施形態では、診断情報は、手術器具に設けられた医用画像装置から受信される。診断情報は、患者の複数の生理学的又は解剖学的特徴の各々の空間的位置を含んでいてよい。手術器具が硬膜外針である例では、ナビゲーションモジュール１００は、診断情報に基づいて硬膜外針の挿入を実行するための最良の経路を決定してよく、ナビゲーションモジュール１００は、硬膜外針の挿入を実行するための最良の経路に基づいてナビゲーションランドマークを定義する。正確で歪みのない診断情報を得るために、医用画像装置は硬膜外針の挿入部位にできるだけ近い位置でリアルタイムの撮像を行うことが好ましい。図１１を参照すると、この問題を解決するために、医用画像装置５０は、手術器具の挿入部４０（すなわち、硬膜外針）の近傍に同軸上に設けられてよい。更に、患者は常に静止しているとも限らないので（例えば、患者は体の姿勢を変える可能性がある）、医用画像装置５０は、患者に関する診断情報をリアルタイムで更新する必要があり、従って、ナビゲーションランドマークの位置に対応する空間座標は、それに応じてリアルタイムで構成される。一方、医用画像装置５０及び／又はナビゲーションモジュール１００は、ナビゲーションランドマークに対するアライメント基準点の空間的偏差に関するリアルタイム情報を提供してよい。

【0055】

本発明のいくつかの実施形態では、手術器具は、実空間に対する手術器具の方位を決定するための方位検出モジュール６０（図１０を参照）を更に備えていてよい。そして、方位検出モジュール６０は、ナビゲーションランドマークに対するアライメント基準点の空間的偏差を決定するために、手術器具の方位データをナビゲーションモジュール１００に提供する。一例として、方位検出モジュール６０はジャイロスコープであってよい。手術器具は、患者への手術器具の貫入深さを決定するための貫入深さ検出モジュールを備えていてもよい。一例として、深さ検出モジュールは、圧力センサ又は光学センサであってよい。貫入深さ検出モジュールは、手術器具が手術対象の表面（例えば、患者の皮膚）に対して適切な貫入深さに到達したかどうかを判定するために、実空間の三次元座標系における手術器具の位置を検出することを支援してよい。

【0056】

以下は、本発明による拡張現実支援システムを用いた硬膜外麻酔の実際の実装を示す例示的な実施形態である。これらの実施形態では、硬膜外針は患者に挿入するための挿入部分を備えており、医用画像装置は挿入部の近傍に同軸上に設けられる。

【0057】

第１の実施形態では、硬膜外麻酔は以下のステップを備えていてよい。
（１）硬膜外針は後退モードになっている。医用画像装置を備える硬膜外針は、患者の皮膚領域に動かされて、医用画像装置（例えば、環状超音波トランスデューサ又は３Ｄ超音波）から解剖学的構造の３Ｄ画像データ（診断情報）を取得すると共に、患者の解剖学的構造の３Ｄモデルを構築することができる。
（２）患者の解剖学的構造の３Ｄモデルを構築する。
（３）３Ｄ実空間内で硬膜外針を挿入するための適切な位置及び角度（又は方位）を決定する。位置及び角度は頭部ウェアラブルデバイスを介して医療従事者に表示される。
（４）医療従事者は、ナビゲーション用の頭部ウェアラブルデバイスによって、空間内で硬膜外針を硬膜外針の投影仮想画像に位置合わせすることができる。
（５）中央硬膜外針は手又は自動押圧デバイスによって挿入される。挿入中、硬膜外針の深さは医用画像装置（例えば、硬膜外針の先端近くの前部超音波トランスデューサ）によってモニタリングされる。指定された深さに達したら、中央硬膜外針が取り外される。
（６）注射器を硬膜外針に取り付ける。圧力センサ又は光学センサによって抵抗の喪失が検出されるまで、硬膜外針全体をより深く押し込む。

【0058】

第２の実施形態では、硬膜外麻酔は以下のステップを備えていてよい。
（１）医用画像装置（例えば、３Ｄ超音波スキャン）を用いて患者の皮膚領域をスキャンし、解剖学的構造の３Ｄ画像データを取得すると共に患者の３Ｄモデルを構築する。
（２）３Ｄ実空間内で硬膜外針の挿入のための適切な位置及び角度（又は方位）を決定する。位置及び角度は頭部ウェアラブルデバイスを介して医療従事者に表示される。医療従事者は、頭部ウェアラブルデバイスを用いてシミュレーション結果から硬膜外針の経路を確認することができる。
（３）頭部ウェアラブルデバイスは、ステップ（２）の結果に従って、好ましい挿入角度を有する皮膚上の好ましい挿入位置に硬膜外針の仮想画像を投影する。
（４）医療従事者は、頭部ウェアラブルデバイスによって３Ｄ空間内に投影された硬膜外針の仮想画像に硬膜外針を位置合わせすることができる。
（５）中央硬膜外針は手又は自動押圧デバイスによって挿入される。挿入中、硬膜外針の深さは医用画像装置（例えば、硬膜外針の先端近くの前部超音波トランスデューサ）によってモニタリングされる。指定された領域に達したら、中央硬膜外針が取り外される。
（６）注射器を硬膜外針に取り付ける。圧力センサ又は光学センサによって抵抗の喪失が検出されるまで、硬膜外針全体をより深く押し込む。

【0059】

第３の実施形態では、硬膜外麻酔は以下のステップを備えていてよい。
（１）医用画像装置（例えば、３Ｄ超音波スキャン）を用いて患者の皮膚領域をスキャンし、解剖学的構造の３Ｄ画像データを取得すると共に患者の３Ｄモデルを構築する。
（２）３Ｄ実空間内で硬膜外針の挿入のための適切な位置及び角度（又は方位）を決定する。位置及び角度は頭部ウェアラブルデバイスを介して医療従事者に表示される。医療従事者は、頭部ウェアラブルデバイスを用いてシミュレーション結果から硬膜外針の経路を確認することができる。
（３）医用画像装置を取り外す。頭部ウェアラブルデバイスは、ステップ（２）の結果に従って、好ましい挿入角度を有する皮膚上の好ましい挿入位置に硬膜外針の仮想画像を投影する。
（４）医療従事者は、頭部ウェアラブルデバイスによって３Ｄ空間内に投影された硬膜外針の仮想画像に硬膜外針を位置合わせすることができる。
（５）中央硬膜外針は手又は自動押圧デバイスによって挿入される。挿入中、硬膜外針の深さは医用画像装置（例えば、硬膜外針の先端近くの前部超音波トランスデューサ）によってモニタリングされる。指定された領域に達したら、中央硬膜外針が取り外される。
（６）注射器を硬膜外針に取り付ける。圧力センサ又は光学センサによって抵抗の喪失が検出されるまで、硬膜外針全体をより深く押し込む。

【0060】

実施形態の前述の説明は、当業者が主題を作成及び使用することを可能にするために提供されている。これらの実施形態に対する種々の修正は、当業者には容易に明らかなはずであり、ここに開示される新規な原理及び主題は、革新的な能力を用いることなく他の実施形態に適用されてよい。特許請求の範囲に記載された主題は、ここに示される実施形態に限定されることを意図するものではなく、ここに開示された原理及び新規な特徴と一致する最も広い範囲が与えられるべきである。追加の実施形態は、開示された主題の精神及び真の範囲内にあることが考慮される。従って、本発明は、添付の特許請求の範囲及びその均等の範囲内にある修正及び変形を包含することが意図されている。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【手続補正書】

【提出日】2024-08-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

患者に医療処置を実行するための拡張現実支援システムであって、
患者の診断情報に基づいて複数のナビゲーションランドマークの各々について三次元実空間内の位置に対応する一連の空間座標を決定するためのナビゲーションモジュールであって、前記複数のナビゲーションランドマークが、前記医療処置を実行するための前記三次元実空間における手術器具の目標位置又は目標方位に対応しているナビゲーションモジュールと、
仮想画像が前記三次元実空間内の前記位置にあるとユーザによって知覚されるように、前記複数のナビゲーションランドマークのうちの１つに関連付けられた前記仮想画像を表示するための仮想画像表示モジュールであって、前記仮想画像が少なくとも１つの両眼画素によって構成され、前記両眼画素の各々が前記ユーザの第１の網膜に投影される第１の光信号と前記ユーザの第２の網膜に投影される第２の光信号とによって形成される仮想画像表示モジュールと、を備え、
特定の水平座標及び垂直座標を有する前記少なくとも１つの両眼画素の各々の実空間において前記ユーザによって知覚される奥行き座標が、前記奥行き座標の知覚に特有な前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号をそれぞれ投影することによってレンダリングされる、拡張現実支援システム。

【請求項2】

前記第１の光信号及び第２の光信号が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず前記ユーザが前記奥行き座標を知覚するように、前記一対の指定位置にそれぞれ投影される、請求項１に記載の拡張現実支援システム。

【請求項3】

前記一対の指定位置が第１の指定位置と第２の指定位置とを備え、前記第１の指定位置が前記第１の網膜上で固定された相対位置を有し、前記第２の指定位置が前記第２の網膜上で固定された相対位置を有する、請求項２に記載の拡張現実支援システム。

【請求項4】

前記ユーザによって知覚される前記少なくとも１つの両眼画素の各々の奥行き座標の変化が、前記第１の指定位置と前記第２の指定位置との間の相対距離を変化させることによってレンダリングされる、請求項３に記載の拡張現実支援システム。

【請求項5】

前記第１の光信号及び第２の光信号が同一の画像情報を有する、請求項１に記載の拡張現実支援システム。

【請求項6】

前記仮想画像表示モジュールが頭部ウェアラブルデバイスであり、前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記頭部ウェアラブルデバイスの位置に対して測定される、請求項１に記載の拡張現実支援システム。

【請求項7】

前記一連の空間座標、前記奥行き座標、前記水平座標、及び前記垂直座標が前記ナビゲーションモジュールに対して測定される、請求項１に記載の拡張現実支援システム。

【請求項8】

前記仮想画像の前記少なくとも１つの両眼画素の前記実空間において前記ユーザによって知覚される前記垂直座標又は水平座標が、前記第１の光信号の前記第１の網膜上への投影角度及び前記第２の光信号の前記第２の網膜上への投影角度にかかわらず、前記垂直座標又は水平座標に対応する垂直位置または水平位置を有する前記第１の網膜及び第２の網膜の表面上の一対の指定位置に前記第１の光信号及び第２の光信号を投影することによってレンダリングされる、請求項１に記載の拡張現実支援システム。

【請求項9】

前記診断情報が前記手術器具に設けられた医用画像装置から受信される、請求項１に記載の拡張現実支援システム。

【請求項10】

前記手術器具が前記患者に挿入するための挿入部を備え、前記医用画像装置が前記挿入部の近傍に同軸上に設けられる、請求項９に記載の拡張現実支援システム。

【請求項11】

複数のアライメント基準点が前記手術器具に割り当てられ、前記複数のアライメント基準点の各々の位置が前記ナビゲーションモジュールによって決定される、請求項１に記載の拡張現実支援システム。

【請求項12】

前記医用画像装置が前記患者に関するリアルタイム情報を提供し、複数のナビゲーションランドマークの各々についての三次元実空間内の位置に対応する前記一連の空間座標が前記リアルタイム情報に従って設定される、請求項９に記載の拡張現実支援システム。

【請求項13】

前記仮想画像表示モジュールが、複数の左側光信号及び複数の右側光信号をそれぞれ投影する左側光信号プロジェクタ及び右側光信号プロジェクタを更に備える、請求項１に記載の拡張現実支援システム。

【請求項14】

前記複数のナビゲーションランドマークのうちの１つが対象オブジェクトに対して医療処置を行うための位置に関連付けられている、請求項１に記載の拡張現実支援システム。

【請求項15】

前記医用画像装置が、前記複数のナビゲーションランドマークのうちの１つに対する前記複数のアライメント基準点のうちの１つの空間的偏差に関するリアルタイム情報を提供する、請求項９に記載の拡張現実支援システム。

【国際調査報告】