特表 2022-509587 画像誘導手術のための追跡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-21

(54)【発明の名称】画像誘導手術のための追跡システム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20220114BHJP

   G06F 3/01 20060101ALI20220114BHJP

   G06T 19/00 20110101ALI20220114BHJP

【ＦＩ】

A61B34/20

G06F3/01 510

G06T19/00 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021524279

(86)(22)【出願日】2019-11-14

(85)【翻訳文提出日】2021-04-28

(86)【国際出願番号】 IB2019059770

(87)【国際公開番号】W WO2020109903

(87)【国際公開日】2020-06-04

(31)【優先権主張番号】16/200,144

(32)【優先日】2018-11-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】521188539

【氏名又は名称】オーグメディクス リミテッド

(74)【代理人】

【識別番号】100086461

【弁理士】

【氏名又は名称】齋藤 和則

(72)【発明者】

【氏名】ウルフ、スタート

(72)【発明者】

【氏名】エリメレック、ニザン

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA02

5B050BA09

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5E555AA63

5E555AA76

5E555BA04

5E555BA22

5E555BA38

5E555BB04

5E555BB22

5E555BB38

5E555BC01

5E555CA42

5E555CA44

5E555CB48

5E555CB72

5E555CB74

5E555DA08

5E555DA09

5E555DB53

5E555FA00

(57)【要約】

ディスプレイ（３０）を含む第１のヘッドマウント装置（２８）上に配置された第１の追跡装置（３４）を使用して、第１の視線からツールの一部（２２）および患者マーカー（３８）を追跡することを含む装置および方法が記載される。ツールの一部と患者マーカーは、２番目の追跡装置（３４´／６０）を使用して、第２の視線から追跡される。患者マーカーの一部とツールの一部の両方が第１の視線内にある場合、拡張現実画像は、第１の追跡装置から受信したデータに基づいて、かつ第２の追跡装置からのデータを使用せずに、第１のディスプレイ上に生成される。少なくとも患者マーカーの一部とツールの一部が両方共には第１の視線内にない場合、ツールの仮想画像および患者の解剖学的構造は、第２の追跡装置から受信したデータを使用して生成される。他の実施形態についても記載される。
【選択図】図１

【特許請求の範囲】

【請求項1】

患者の体の一部の内に配置されるように構成されたツールと共に使用するための方法であって：
第１の人により装着される第１のヘッドマウント装置上に配置される第１の追跡装置を使用して、前記ツールおよび前記患者の体の上に置かれた患者マーカーの一部を第１の視線から追跡するステップであって、前記第１のヘッドマウント装置は第１のヘッドマウントディスプレイを備えるステップと；
第２の追跡装置を使用して、前記ツールと前記患者の体の上に置かれた患者マーカーとの一部を第２の視線から追跡するステップと；
少なくとも１つのコンピュータプロセッサを使用して：
前記患者マーカーの少なくとも一部と前記ツールの一部が両方とも前記第１の視線内にある場合、前記第１の追跡装置から受信したデータに基づいて、かつ前記第２の追跡装置からのデータを使用せずに、前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、前記拡張現実画像は、（ｂ）前記患者の体に重ねられた（ａ）前記ツールおよび前記患者の解剖学的構造の仮想画像を有する、ステップと；
前記患者マーカーの少なくとも一部と前記ツールの一部が両方共には前記第１の視線内にない場合、少なくとも部分的に前記第２の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
を有する、ことを特徴とする方法。

【請求項2】

前記ツールの一部を追跡する前記ステップは、ツールマーカーを追跡するステップを有する、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記第２の追跡装置を使用して、前記ツールおよび前記患者の体の上に置かれた患者マーカーの一部を第２の視線から追跡する前記ステップは、静止位置に配置された前記第２の追跡装置を使用して、前記ツールと前記患者マーカーの少なくとも一部を追跡するステップを有する、ことを特徴とする請求項１に記載の方法。

【請求項4】

前記第１の追跡装置を使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡する前記ステップは、第１のカメラを使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップを有し、前記第２の追跡装置を使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップは、第２のカメラを使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップを有する、ことを特徴とする請求項１に記載の方法。

【請求項5】

少なくとも部分的に前記第２の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成する前記ステップは：
前記患者マーカーの一部が前記第１の視線内にあり、前記ツールの一部が前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウント装置に対する前記患者の体の位置を決定するステップと；そして
前記第１のヘッドマウント装置に対する前記患者の体の前記決定された位置に基づいて、前記患者の体に仮想画像を重ねるステップと；
を有する、ことを特徴とする請求項１に記載の方法。

【請求項6】

少なくとも部分的に前記第２の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成する前記ステップは：
前記ツールの一部が前記第１の視線内にあり、前記患者マーカーの一部が前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
を有する、ことを特徴とする請求項１－５のいずれか一項に記載の方法。

【請求項7】

前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成する前記ステップは、
前記患者マーカーの一部が前記第１の視線内にあったときに前記第１の追跡装置から受信したデータに基づいて決定された、前記第１のヘッドマウント装置に対する前記患者の体の位置に基づいて、前記患者の体上に前記仮想画像を重ねるステップをさらに有する、ことを特徴とする請求項６に記載の方法。

【請求項8】

前記患者の体上に前記仮想画像を重ねる前記ステップは、前記第１のヘッドマウント装置に配置された慣性測定ユニットを使用して、前記患者マーカーの一部が前記第１の視線内にあった時間と前記患者マーカーの一部が前記第１の視線内に無い時間との間の時間において、前記ヘッドマウント装置の動きを追跡するステップを有する、ことを特徴とする請求項７に記載の方法。

【請求項9】

少なくとも部分的に前記第２の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成する前記ステップは：
前記ツールの一部および前記患者マーカーの一部が共に前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、前記被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールと前記患者の解剖学的構造の仮想画像を生成するステップと；
を有する、ことを特徴とする請求項１－５のいずれか一項に記載の方法。

【請求項10】

前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成する前記ステップは、
前記患者マーカーの一部が前記第１の視線内にあったときに前記第１の追跡装置から受信したデータに基づいて決定された、前記第１のヘッドマウント装置に対する前記患者の体の位置に基づいて、前記患者の体の上に仮想画像を重ねるステップをさらに有する、ことを特徴とする請求項９に記載の方法。

【請求項11】

前記患者の体の上に仮想画像を重ねる前記ステップは、前記第１のヘッドマウント装置に配置された慣性測定ユニットを使用して、前記患者マーカーの一部が前記第１の視線内にあった時間と前記患者マーカーの一部が前記第１の視線内に無い時間との間の時間において、前記ヘッドマウント装置の動きを追跡するステップを有する、ことを特徴とする請求項１０に記載の方法。

【請求項12】

前記第２の追跡装置を使用して、前記ツールと前記患者マーカーとの少なくとも一部を前記第２の視線から追跡する前記ステップは、第２の人が着用する第２のヘッドマウント装置上に配置された第２の追跡装置を使用して前記第２の視線から前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップを有する、ことを特徴とする請求項１－５のいずれか一項に記載の方法。

【請求項13】

前記第２のヘッドマウント装置は、第２のヘッドマウントディスプレイを含み、前記方法は、前記第２のヘッドマウントディスプレイ上にさらなる拡張現実画像を生成するステップをさらに有する、ことを特徴とする請求項１２に記載の方法。

【請求項14】

患者の体の一部内に配置されるように構成されたツールと共に使用するための装置であって：
前記患者の体の上に配置されるように構成される患者マーカーと；
第１のヘッドマウントディスプレイと、第１の視線から前記ツールおよび前記患者マーカーの少なくとも一部を追跡するように構成される第１の追跡装置と、を備える第１のヘッドマウント装置と；
第２の視線から前記ツールおよび前記患者マーカーの少なくとも一部を追跡するように構成された第２の追跡装置と；そして
少なくとも１つのコンピュータプロセッサであって：
前記患者マーカーの少なくとも一部と前記ツールの一部が両方とも前記第１の視線内にある場合、前記第１の追跡装置から受信したデータに基づいて、かつ前記第２の追跡装置からのデータを使用せずに、前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、前記拡張現実画像は、（ｂ）前記患者の体に重ねられた（ａ）前記ツールおよび前記患者の解剖学的構造の仮想画像を有する、ステップと；
前記患者マーカーの少なくとも一部と前記ツールの一部が両方共には前記第１の視線内にない場合、少なくとも部分的に前記第２の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
を実行するように構成されるコンピュータプロセッサと；
を有することを特徴とする装置。

【請求項15】

前記ツールは、ツールマーカーを有し、前記第１および第２の追跡装置は、前記ツールマーカーを追跡することによって前記ツールの一部を追跡するように構成される、ことを特徴とする請求項１４に記載の装置。

【請求項16】

前記第１の追跡装置が第１のカメラを有し、前記第２の追跡装置が第２のカメラを有する、ことを特徴とする請求項１４に記載の装置。

【請求項17】

前記第２の追跡装置が、静止位置に配置された１つの追跡装置を有する、ことを特徴とする請求項１４に記載の装置。

【請求項18】

前記少なくとも１つのコンピュータプロセッサは、前記第２の追跡装置から受信されたデータに少なくとも部分的に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を以下のステップにより生成するように構成される、ことを特徴とする、請求項１４に記載の装置：
前記患者マーカーの一部が前記第１の視線内にあり、前記ツールの一部が前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウント装置に対する前記患者の体の位置を決定するステップと；そして
前記第１のヘッドマウント装置に対する前記患者の体の前記決定された位置に基づいて、前記患者の体に仮想画像を重ねるステップ。

【請求項19】

前記少なくとも１つのコンピュータプロセッサは、前記第２の追跡装置から受信されたデータに少なくとも部分的に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を以下のステップにより生成するように構成される、ことを特徴とする、請求項１４－１８のいずれか一項に記載の装置：
前記ツールの一部が前記第１の視線内にあり、前記患者マーカーの一部が前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップ。

【請求項20】

前記少なくとも１つのコンピュータプロセッサは、前記患者マーカーの一部が前記第１の視線内にあったときに前記第１の追跡装置から受信したデータに基づいて決定された、前記第１のヘッドマウント装置に対する前記患者の体の位置に基づいて、前記患者の体上に前記仮想画像を重ねることによって、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するように構成される、ことを特徴とする請求項１９に記載の装置。

【請求項21】

前記第１のヘッドマウント装置上に配置された慣性測定ユニットをさらに備え、前記少なくとも１つのコンピュータプロセッサは、前記患者マーカーの一部が前記第１の視線内にあった時間と前記患者マーカーの一部が前記第１の視線内に無い時間との間の時間において、前記慣性測定ユニットからのデータを使用して、前記ヘッドマウント装置の動きを追跡することにより、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するように構成される、ことを特徴とする請求項２０に記載の装置。

【請求項22】

前記少なくとも１つのコンピュータプロセッサは、前記第２の追跡装置から受信されたデータに少なくとも部分的に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を以下のステップにより生成するように構成される、ことを特徴とする、請求項１４－１８のいずれか一項に記載の装置：
前記ツールの一部および前記患者マーカーの一部が共に前記第１の視線内にないことに応答して：
前記第２の追跡装置から受信したデータを使用して、前記被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールと前記患者の解剖学的構造の仮想画像を生成するステップ。

【請求項23】

前記少なくとも１つのコンピュータプロセッサは、前記患者マーカーの一部が前記第１の視線内にあったときに前記第１の追跡装置から受信したデータに基づいて決定された、前記第１のヘッドマウント装置に対する前記患者の体の位置に基づいて、前記患者の体の上に仮想画像を重ねることによって、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するように構成される、ことを特徴とする請求項２２に記載の装置。

【請求項24】

前記第１のヘッドマウント装置上に配置された慣性測定ユニットをさらに備え、前記少なくとも１つのコンピュータプロセッサは、慣性測定ユニットからのデータを使用して、前記患者マーカーの一部が前記第１の視線内にあった時間と前記患者マーカーの一部が前記第１の視線内に無い時間との間の時間において、前記ヘッドマウント装置の動きを追跡することによって、前記仮想画像を前記患者の体に重ねるように構成される、ことを特徴とする請求項２３に記載の装置。

【請求項25】

前記第１のヘッドマウント装置は、第１の人が着用するように構成され、前記装置は、第２の人が着用するように構成された第２のヘッドマウント装置をさらに備え、前記第２の追跡装置は、前記第２のヘッドマウント装置上に配置される、ことを特徴とする請求項１４－１８のいずれか一項に記載の装置。

【請求項26】

前記第２のヘッドマウント装置が、第２のヘッドマウントディスプレイを備える、ことを特徴とする請求項２５に記載の装置。

【請求項27】

患者の体の一部内に配置されるように構成されたツールと共に使用するための方法であって：
第１の人により装着される第１のヘッドマウント装置上に配置される第１の追跡装置を使用して、前記ツールおよび前記患者の体の上に置かれた患者マーカーの一部を第１の視線から追跡するステップであって、前記第１のヘッドマウント装置は第１のヘッドマウントディスプレイを備えるステップと；
第２の人により装着される第２のヘッドマウント装置上に配置される第２の追跡装置を使用して、前記ツールと前記患者の体の上に置かれた患者マーカーとの一部を第２の視線から追跡するステップと；そして
少なくとも１つのコンピュータプロセッサを使用して、前記第２の追跡装置から受信したデータと組み合わされた前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、前記拡張現実画像は前記拡張現実画像が、（ｂ）前記患者の体に重ねられた（ａ）前記ツールおよび前記患者の解剖学的構造の仮想画像を有する、ステップと；
を有することを特徴とする方法。

【請求項28】

前記ツールの一部を追跡するステップは、前記ツールマーカーを追跡するステップを有する、ことを特徴とする請求項２７に記載の方法。

【請求項29】

前記第２のヘッドマウント装置が、第２のヘッドマウントディスプレイを含み、前記方法は、前記第２のヘッドマウントディスプレイ上にさらなる拡張現実画像を生成するステップをさらに有する、ことを特徴とする請求項２７に記載の方法。

【請求項30】

前記第１の追跡装置を使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップは、第１のカメラを使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップを有し、前記第２の追跡装置を使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップは、第２のカメラを使用して前記ツールおよび前記患者マーカーの少なくとも一部を追跡するステップを有する、ことを特徴とする請求項２７に記載の方法。

【請求項31】

前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップは：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウント装置に対する前記患者の体の位置を決定するステップと；そして
前記第１のヘッドマウント装置に対する前記患者の体の前記決定された位置に基づいて、前記患者の体に仮想画像を重ねるステップと；
を有する、ことを特徴とする請求項２７－３０のいずれか一項に記載の方法。

【請求項32】

患者の体の一部内に配置されるように構成されたツールと共に使用するための装置であって：
前記患者の体の上に配置されるように構成される患者マーカーと；
第１の人が着用するように構成された第１のヘッドマウント装置であって、第１のヘッドマウントディスプレイと、第１の視線から前記ツールおよび前記患者マーカーの少なくとも一部を追跡するように構成される第１の追跡装置と、を備える第１のヘッドマウント装置と；
第２の人が着用するように構成された第２のヘッドマウント装置であって、第２のヘッドマウントディスプレイと、第２の視線から前記ツールおよび前記患者マーカーの少なくとも一部を追跡するように構成される第２の追跡装置と、を備える第２のヘッドマウント装置と；そして
少なくとも１つのコンピュータプロセッサであって：
少なくとも１つのコンピュータプロセッサを使用して、前記第２の追跡装置から受信したデータと組み合わされた前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、前記拡張現実画像は前記拡張現実画像が、（ｂ）前記患者の体に重ねられた（ａ）前記ツールおよび前記患者の解剖学的構造の仮想画像を有する、ステップを実行するように構成されるコンピュータプロセッサと；
を有することを特徴とする装置。

【請求項33】

前記ツールは、ツールマーカーを有し、前記第１および第２の追跡装置は、前記ツールマーカーを追跡することによって前記ツールの一部を追跡するように構成される、ことを特徴とする請求項３２に記載の装置。

【請求項34】

前記第２のヘッドマウント装置が、第２のヘッドマウントディスプレイを備える、ことを特徴とする請求項３２に記載の装置。

【請求項35】

前記第１の追跡装置が第１のカメラを有し、前記第２の追跡装置が第２のカメラを有する、ことを特徴とする請求項３２に記載の装置。

【請求項36】

前記少なくとも１つのコンピュータプロセッサは、以下のステップによって、前記第１のヘッドマウントディスプレイ上に拡張現実画像を生成するように構成される、ことを特徴とする請求項３２－３５のいずれか一項に記載の装置：
前記第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対する前記ツールの位置を決定するステップと；
前記被験者の解剖学的構造に対する前記ツールの前記決定された位置に基づいて、前記第１のヘッドマウントディスプレイ上に前記ツールおよび前記患者の解剖学的構造の仮想画像を生成するステップと；
前記第１の追跡装置から受信したデータに基づいて、前記第１のヘッドマウント装置に対する前記患者の体の位置を決定するステップと；そして
前記第１のヘッドマウント装置に対する前記患者の体の前記決定された位置に基づいて、前記患者の体に仮想画像を重ねるステップ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に拡張現実システムに関し、具体的には、画像誘導手術を実行するために使用される拡張現実システムのための追跡システムに関する。

【背景技術】

【0002】

ヘッドマウントディスプレイは、拡張現実システムの一部として使用されることがある。ディスプレイは、拡張現実シーンを生成するために使用され、このシーンでは、ヘッドマウントディスプレイのユーザーに見られるシーンが、通常は拡張または補足されることによって変更される。変更はコンピュータによって生成され、そして通常、ユーザーがシーンを見つめている間に、リアルタイムのビデオおよび／または非リアルタイムの画像をユーザーに提示することを含む。

【0003】

幾つかの場合には、拡張現実システムは、医療処置の一部として、画像誘導手術を実行するために使用される。例えば、コンピュータで生成された画像は、処置を実行している医療専門家に提示され得る。画像はヘッドマウントディスプレイ上に提示され、その画像は、処置を受けている患者の解剖学的部分とアライメントされ得る。画像と患者の体とのいくらかのずれは許容できうるが、画像の満足のいく提示のためには、ずれは通常約２～３ｍｍを超えてはいけない。提示された画像と患者の解剖学的構造とのミスアライメントに対するそのような制限を考慮するために、患者の体またはその一部の位置が通常追跡される。

【0004】

幾つかの場合には、処置を実行するために使用されるツールの画像が、ヘッドマウントディスプレイに表示される画像に組み込まれる。ツールの画像を画像に組み込むために、画像および／または患者の解剖学的構造に対するツールの位置が正確に反映されるように、ツールまたはその一部の位置が、通常、追跡される。

【0005】

患者の体やツールの位置を追跡するために一般的に三角測量技術が使用される。そのような技術では、互いに対して既知の配置に配置された複数の画像化デバイスが、患者の体および／またはツール上のフィーチャ（マーカーなど）を検出するために使用される。次に、フィーチャの配置は、画像化デバイスの既知の配置、および各画像化デバイスによって検出されたフィーチャの配置の組み合わせを使用して導出される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第９，９２８，６２９号

【発明の概要】

【0007】

本発明のいくつかの実施形態によれば、第１の医療専門家（例えば、処置を行う外科医）は、第１のヘッドマウント装置を着用する。通常、ヘッドマウント装置には、１つまたは複数のヘッドマウントディスプレイが含まれる。いくつかの実施形態では、ヘッドマウントディスプレイは、一般に、参照により本明細書に組み込まれるベニシュティ（Ｂｅｎｉｓｈｔｉ）氏の米国特許第９，９２８，６２９号（特許文献１）に記載されているものと同様である。例えば、ヘッドマウントディスプレイは、医療専門家に拡張現実画像を表示するためなどに、コンピュータプロセッサによって制御されるコンバイナを含み得る。いくつかの実施形態では、（ａ）コンピュータで生成された画像がディスプレイの第１の部分に投影され、（ｂ）コンピュータで生成された画像が処置を受けている患者の解剖学的部分とアライメントされるように、ディスプレイの第２の部分を通して患者の解剖学的部分が見える状態で、画像がヘッドマウントディスプレイに表示される。通常、コンピュータで生成された画像には、患者の解剖学的構造の仮想画像に重ねられたツールの仮想画像が含まれる。いくつかの実施形態では、（たとえば、患者の解剖学的構造によって隠されているために）医療専門家には見えないツールの一部が、コンピュータで生成された画像に含まれる。

【0008】

典型的には、ヘッドマウント装置は、患者の体の一部（例えば、患者の背中）に対するヘッドマウント装置の配置および向き、および／または患者の体に対するツールの位置と向きの決定を容易にするように構成された追跡装置を備える。例えば、追跡装置は、患者マーカーおよび／またはツールマーカーを画像化するように構成された、カメラなどの画像取得装置を含み得る。典型的には、患者マーカーは、コンピュータプロセッサが、ヘッドマウントディスプレイ上に配置された単一の追跡装置から収集されたデータを使用して、患者の体の部分に対するヘッドマウント装置の配置および向きを決定するのに十分なデータを提供するように構成される。例えば、患者マーカーは、ヘッドマウント装置の追跡装置から見える、要素の配列を含み得、そしてそれは、患者マーカーに対するヘッドマウント装置の任意の配置および向きにおいて、要素の配列が、その場所と方向に固有の見え方を持つように構成される。このようにして、コンピュータプロセッサは、三角測量技術を使用することなく、患者の体の部分に対するヘッドマウント装置の配置および向きを決定することができる。通常、ヘッドマウント装置の追跡装置では単一のカメラが使用される。幾つかの実施形態では、カメラは高速度カメラである。たとえば、カメラは１秒あたり５０フレームを超えるフレームを取得しうる。

【0009】

通常、ヘッドマウントディスプレイ上に拡張現実画像を生成するために、コンピュータプロセッサは、患者の体の一部（例えば、患者の背中）に対するヘッドマウント装置の配置および向き、および／または患者の体の部分に対するツールの位置と向きを決定する。上記のように、一般に、患者マーカーは、ヘッドマウント装置に配置されている単一の追跡装置から収集されたデータを使用して、コンピュータプロセッサが患者の体の部分に対するヘッドマウント装置の配置および向きを決定するのに十分なデータを提供するように構成される。しかしながら、いくつかの実施形態では、少なくとも特定の条件下で、コンピュータプロセッサは、第１の医療専門家のヘッドマウントディスプレイ上に画像を生成するために、少なくとも１つの追加の追跡装置（すなわち、第１の医療専門家のヘッドマウント装置に含まれる追跡装置に追加される追跡装置）から受信される追跡データを組み込むように構成される。

【0010】

そのような実施形態では、コンピュータプロセッサは、第１の医療専門家のヘッドマウント装置に含まれる第１の追跡装置が患者マーカーおよび／またはツールマーカーおよび／またはそれらの一部との視線を失った場合に追加データを組み込むように構成される。例えば、コンピュータプロセッサは、処置に同席する追加の医療専門家（例えば、同行外科医または看護師）によって着用されるように構成された追加のヘッドマウント装置の追跡装置からデータを受信するように構成され得る。通常、追加のヘッドマウント装置は、一般に、第１のヘッドマウント装置と同様であり、追加のヘッドマウント装置の追跡装置は、一般に、第１のヘッドマウント装置の追跡装置と同様である。いくつかの実施形態では、患者マーカーの少なくとも一部およびツールの一部（例えば、ツールマーカー）が両方とも第１の追跡装置の視線内にある場合、コンピュータプロセッサは、第１の追跡装置から受信したデータに基づいて、かつ追加の追跡装置から受信したデータを使用せずに、ヘッドマウントディスプレイに拡張現実画像を生成する。患者マーカーの少なくとも一部とツールの一部が共には第１の追跡装置の視線内にない場合、コンピュータプロセッサは、少なくとも部分的に追加の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上に拡張現実画像を生成する。

【0011】

本発明の幾つかの実施形態によれば、患者の体の一部内に配置されるように構成されたツールと共に使用するための方法であって：第１の人により装着される第１のヘッドマウント装置上に配置される第１の追跡装置を使用して、ツールおよび患者の体の上に置かれた患者マーカーの一部を第１の視線から追跡するステップであって、第１のヘッドマウント装置は第１のヘッドマウントディスプレイを備えるステップと；第２の追跡装置を使用して、ツールと患者の体の上に置かれた患者マーカーとの一部を第２の視線から追跡するステップと；少なくとも１つのコンピュータプロセッサを使用して：患者マーカーの少なくとも一部とツールの一部が両方とも第１の視線内にある場合、第１の追跡装置から受信したデータに基づいて、かつ第２の追跡装置からのデータを使用せずに、第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、拡張現実画像は、（ｂ）患者の体に重ねられた（ａ）ツールおよび患者の解剖学的構造の仮想画像を有する、ステップと；患者マーカーの少なくとも一部とツールの一部が両方共には第１の視線内にない場合、少なくとも部分的に第２の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップと；を有する、ことを特徴とする方法が提供される。

【0012】

幾つかの実施形態では、ツールの一部を追跡するステップは、ツールマーカーを追跡するステップを有する。 幾つかの実施形態では、第２の追跡装置を使用して、ツールおよび患者の体の上に置かれた患者マーカーの一部を第２の視線から追跡するステップは、静止位置に配置された第２の追跡装置を使用して、ツールと患者マーカーの少なくとも一部を追跡するステップを有する。幾つかの実施形態では、第１の追跡装置を使用してツールおよび患者マーカーの少なくとも一部を追跡するステップは、第１のカメラを使用してツールおよび患者マーカーの少なくとも一部を追跡するステップを有し、第２の追跡装置を使用してツールおよび患者マーカーの少なくとも一部を追跡するステップは、第２のカメラを使用してツールおよび患者マーカーの少なくとも一部を追跡するステップを有する。

【0013】

幾つかの実施形態では、少なくとも部分的に第２の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップは：患者マーカーの一部が第１の視線内にあり、ツールの一部が第１の視線内にないことに応答して：第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対するツールの配置を決定するステップと；被験者の解剖学的構造に対するツールの決定された配置に基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップと；第１の追跡装置から受信したデータに基づいて、第１のヘッドマウント装置に対する患者の体の配置を決定するステップと；そして第１のヘッドマウント装置に対する患者の体の決定された配置に基づいて、患者の体に仮想画像を重ねるステップと；を有する。

【0014】

幾つかの実施形態では、少なくとも部分的に第２の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップは：ツールの一部が第１の視線内にあり、患者マーカーの一部が第１の視線内にないことに応答して： 第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対するツールの配置を決定するステップと；被験者の解剖学的構造に対するツールの決定された配置に基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップと；を有する。

【0015】

幾つかの実施形態では、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップは、患者マーカーの一部が第１の視線内にあったときに第１の追跡装置から受信したデータに基づいて決定された、第１のヘッドマウント装置に対する患者の体の位置に基づいて、患者の体上に仮想画像を重ねるステップをさらに有する。

【0016】

幾つかの実施形態では、患者の体上に仮想画像を重ねるステップは、第１のヘッドマウント装置に配置された慣性測定ユニットを使用して、患者マーカーの一部が第１の視線内にあった時間と患者マーカーの一部が第１の視線内に無い時間との間の時間において、ヘッドマウント装置の動きを追跡するステップを有する。

【0017】

幾つかの実施形態では、少なくとも部分的に第２の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップは：ツールの一部および患者マーカーの一部が共に第１の視線内にないことに応答して：第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対するツールの位置を決定するステップと；被験者の解剖学的構造に対するツールの決定された位置に基づいて、第１のヘッドマウントディスプレイ上にツールと患者の解剖学的構造の仮想画像を生成するステップと；を有する。

【0018】

幾つかの実施形態では、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップは、患者マーカーの一部が第１の視線内にあったときに第１の追跡装置から受信したデータに基づいて決定された、第１のヘッドマウント装置に対する患者の体の位置に基づいて、患者の体の上に仮想画像を重ねるステップをさらに有する。幾つかの実施形態では、患者の体の上に仮想画像を重ねるステップは、第１のヘッドマウント装置に配置された慣性測定ユニットを使用して、患者マーカーの一部が第１の視線内にあった時間と患者マーカーの一部が第１の視線内に無い時間との間の時間において、ヘッドマウント装置の動きを追跡するステップを有する。

【0019】

幾つかの実施形態では、第２の追跡装置を使用して、ツールと患者マーカーとの少なくとも一部を第２の視線から追跡するステップは、第２の人が着用する第２のヘッドマウント装置上に配置された第２の追跡装置を使用して第２の視線からツールおよび患者マーカーの少なくとも一部を追跡するステップを有する。幾つかの実施形態では、第２のヘッドマウント装置は、第２のヘッドマウントディスプレイを含み、方法は、第２のヘッドマウントディスプレイ上にさらなる拡張現実画像を生成するステップをさらに有する。

【0020】

本発明の幾つかの実施形態によれば、患者の体の一部内に配置されるように構成されたツールと共に使用するための装置であって：患者の体の上に配置されるように構成される患者マーカーと；第１のヘッドマウントディスプレイと、第１の視線からツールおよび患者マーカーの少なくとも一部を追跡するように構成される第１の追跡装置と、を備える第１のヘッドマウント装置と；第２の視線からツールおよび患者マーカーの少なくとも一部を追跡するように構成された第２の追跡装置と；そして少なくとも１つのコンピュータプロセッサであって：患者マーカーの少なくとも一部とツールの一部が両方とも第１の視線内にある場合、第１の追跡装置から受信したデータに基づいて、かつ第２の追跡装置からのデータを使用せずに、第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、拡張現実画像は、（ｂ）患者の体に重ねられた（ａ）ツールおよび患者の解剖学的構造の仮想画像を有する、ステップと；患者マーカーの少なくとも一部とツールの一部が両方共には第１の視線内にない場合、少なくとも部分的に第２の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップと；を実行するように構成されるコンピュータプロセッサと；を有することを特徴とする装置がさらに提供される。

【0021】

本発明の幾つかの実施形態によれば、患者の体の一部内に配置されるように構成されたツールと共に使用するための方法であって：第１の人により装着される第１のヘッドマウント装置上に配置される第１の追跡装置を使用して、ツールおよび患者の体の上に置かれた患者マーカーの一部を第１の視線から追跡するステップであって、第１のヘッドマウント装置は第１のヘッドマウントディスプレイを備えるステップと；第２の人により装着される第２のヘッドマウント装置上に配置される第２の追跡装置を使用して、ツールと患者の体の上に置かれた患者マーカーとの一部を第２の視線から追跡するステップと；そして少なくとも１つのコンピュータプロセッサを使用して、第２の追跡装置から受信したデータと組み合わされた第１の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、拡張現実画像は拡張現実画像が、（ｂ）患者の体に重ねられた（ａ）ツールおよび患者の解剖学的構造の仮想画像を有する、ステップと；を有することを特徴とする方法がさらに提供される。

【0022】

幾つかの実施形態では、ツールの一部を追跡するステップは、ツールマーカーを追跡するステップを有する。幾つかの実施形態では、第２のヘッドマウント装置が、第２のヘッドマウントディスプレイを含み、方法は、第２のヘッドマウントディスプレイ上にさらなる拡張現実画像を生成するステップをさらに有する。幾つかの実施形態では、第１の追跡装置を使用してツールおよび患者マーカーの少なくとも一部を追跡するステップは、第１のカメラを使用してツールおよび患者マーカーの少なくとも一部を追跡するステップを有し、第２の追跡装置を使用してツールおよび患者マーカーの少なくとも一部を追跡するステップは、第２のカメラを使用してツールおよび患者マーカーの少なくとも一部を追跡するステップを有する。

【0023】

幾つかの実施形態では、第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップは：第２の追跡装置から受信したデータを使用して、被験者の解剖学的構造に対するツールの配置を決定するステップと；被験者の解剖学的構造に対するツールの決定された配置に基づいて、第１のヘッドマウントディスプレイ上にツールおよび患者の解剖学的構造の仮想画像を生成するステップと；第１の追跡装置から受信したデータに基づいて、第１のヘッドマウント装置に対する患者の体の配置を決定するステップと；そして第１のヘッドマウント装置に対する患者の体の決定された配置に基づいて、患者の体に仮想画像を重ねるステップと；を有する。

【0024】

本発明の幾つかの実施形態によれば、患者の体の一部内に配置されるように構成されたツールと共に使用するための装置であって：患者の体の上に配置されるように構成される患者マーカーと；第１の人が着用するように構成された第１のヘッドマウント装置であって、第１のヘッドマウントディスプレイと、第１の視線からツールおよび患者マーカーの少なくとも一部を追跡するように構成される第１の追跡装置と、を備える第１のヘッドマウント装置と；第２の人が着用するように構成された第２のヘッドマウント装置であって、第２のヘッドマウントディスプレイと、第２の視線からツールおよび患者マーカーの少なくとも一部を追跡するように構成される第２の追跡装置と、を備える第２のヘッドマウント装置と；そして少なくとも１つのコンピュータプロセッサであって：少なくとも１つのコンピュータプロセッサを使用して、第２の追跡装置から受信したデータと組み合わされた第１の追跡装置から受信したデータに基づいて、第１のヘッドマウントディスプレイ上に拡張現実画像を生成するステップであって、拡張現実画像は拡張現実画像が、（ｂ）患者の体に重ねられた（ａ）ツールおよび患者の解剖学的構造の仮想画像を有する、ステップを実行するように構成されるコンピュータプロセッサと；を有することを特徴とする装置がさらに提供される。

【図面の簡単な説明】

【0025】

本発明は以下の図面を参照した、実施形態の詳細な説明により、より十分に理解されよう：

【図1】本発明のいくつかの実施形態による、患者に対して行われる画像誘導手術の概略図である。

【図2】本発明のいくつかの実施形態による、ヘッドマウント装置の概略図である。

【図3A-3B】本発明のいくつかの実施形態による、それぞれの医療専門家が着用するヘッドマウント装置のディスプレイの例の概略図である。

【図4A-4B】本発明のいくつかの実施形態による、患者マーカーと医療専門家の１人の追跡装置間の視線が少なくとも部分的に遮断されている場合の、それぞれの医療専門家が着用するヘッドマウント装置のディスプレイの例の概略図である。

【図5A-5B】本発明のいくつかの実施形態による、患者マーカーと医療専門家の１人の追跡装置間の視線が少なくとも部分的に遮断されている場合の、それぞれの医療専門家が着用するヘッドマウント装置のディスプレイの例の概略図である。

【図6A-6B】本発明のいくつかの実施形態による、患者マーカーと医療専門家の１人の追跡装置間の視線が少なくとも部分的に遮断されている場合の、それぞれの医療専門家が着用するヘッドマウント装置のディスプレイの例の概略図である。

【発明を実施するための形態】

【0026】

ここで、本発明のいくつかの実施形態に従って、患者２０に対して実行される画像誘導手術を組み込んだ医療処置の概略図である図１を参照する。図１に示される医療処置において、ツール２２は、患者の背中に対して動作を実行するために使用され、ツールは、患者の背中２７の切開２４を介して挿入される。しかしながら本明細書に記載される装置および技術は、必要な変更を加えて、患者の体に対して行われるあらゆる外科的処置で使用されうる。本発明のいくつかの実施形態による、ヘッドマウント装置２８の概略図である図２も参照される。

【0027】

幾つかの実施形態では、第１の医療専門家２６（たとえば、処置を実行する外科医）が第１のヘッドマウント装置２８を装着する。通常、ヘッドマウント装置には１つ以上のヘッドマウントディスプレイ３０が含まれる。幾つかの実施形態では、ヘッドマウントディスプレイは、一般に、参照により本明細書に組み込まれる、ベニシュティの米国特許第９，９２８，６２９号（特許文献１）に記載されているものと同様である。例えば、ヘッドマウントディスプレイは、拡張現実画像を医療専門家に表示するなど、コンピュータプロセッサ（例えば、以下に説明するコンピュータプロセッサ３２および／またはコンピュータプロセッサ４５）によって制御されるコンバイナを含み得る。いくつかの実施形態では、画像はヘッドマウントディスプレイ３０に提示され、（ａ）コンピュータ生成画像がプロジェクタ３１によってディスプレイの第１の部分３３に投影され、（ｂ）コンピュータ生成画像が処置を受けている患者の解剖学的部分とアライメントされ、患者の解剖学的部分は、ディスプレイの第２の部分３５を通して見ることができる。通常、コンピュータで生成された画像には、患者の解剖学的構造の仮想画像に重ねられたツールの仮想画像が含まれる。幾つかの実施形態では、（たとえば、患者の解剖学的構造によって隠されているために）医療専門家には見えないツールの一部が、コンピュータで生成された画像に含まれる。

【0028】

画像と患者の体との多少のずれは許容できるが、画像の満足できる提示には、通常、ずれが約２～３ｍｍを超えないようにする必要がある。提示された画像と患者の解剖学的構造とのミスアライメントに対するそのような制限を考慮に入れるために、ヘッドマウント装置に対する患者の体またはその一部の位置が通常追跡される。幾つかの場合には、処置を実行するために使用されるツールの画像が、ヘッドマウントディスプレイに表示される画像に組み込まれる。ツールの画像を画像に組み込むために、患者の解剖学的構造に対するツールの位置が正確に反映されるように、ツールまたはその一部（例えば、ツールマーカー）の位置は、通常追跡される。通常、患者の体に対するツールの決定された配置の誤差が２ｍｍ未満になるように、患者の体に対するツールの配置を決定することが望ましい。

【0029】

典型的には、ヘッドマウント装置２８は追跡装置３４を含み、追跡装置３４は、患者の体の一部（例えば、患者の背中）に対する、および／または、ツール２２に対する、ヘッドマウント装置２８の配置および向き、および／または患者の体の一部に対するツールの位置および向きの決定を容易にするように構成される。例えば、追跡装置は、患者マーカー３８および／またはツールマーカー４０を画像化するように構成されたカメラなどの画像取得装置３６を含み得る。典型的には、単一のカメラが、ヘッドマウント装置の追跡装置に使用される。幾つかの実施形態では、カメラは高速度カメラである。たとえば、カメラは１秒あたり５０フレームを超えるフレームを取得しうる。

【0030】

いくつかの実施形態では、追跡装置３４は、ヘッドマウント装置に取り付けられた光源４２を含む。光源は、通常、光がマーカーからカメラに向かって反射するように、患者マーカーおよび／またはツールマーカーを照射するように構成される。いくつかの実施形態では、画像取得装置３６は、光源によって生成される光と同様の波長の光のみを通過させるように構成されたフィルタを含むモノクロカメラである。例えば、光源は、赤外線光源（例えば、７００ｎｍ～１０００ｎｍの間（例えば、７００ｎｍ～８００ｎｍの間）の波長で光を生成する光源）であり得、カメラは、対応する赤外線フィルタを含みうる。いくつかの実施形態では、慣性測定ユニット４４（例えば、６自由度で測定するように構成された慣性測定ユニット）が、以下でさらに詳細に説明するように、ヘッドマウント装置上に配置される。いくつかの実施形態では、ヘッドマウント装置は、参照により本明細書に組み込まれるベニシュティの米国特許第９，９２８，６２９号（特許文献１）に記載されているように、可視スペクトルのシーンの画像を取得するように構成される追加のカメラ４３を含む。いくつかの実施形態では、ヘッドマウント装置２８は、例えば、参照により本明細書に組み込まれるベニシュティの米国特許第９，９２８，６２９号に記載されているような追加の構成要素を含む。

【0031】

通常、ディスプレイ３０上に拡張現実画像を生成するために、コンピュータプロセッサは、患者の体の一部（例えば、患者の背中）に対するヘッドマウント装置２８の配置および向き、および／または患者の体に対するツールの位置と向きを決定する。例えば、ヘッドマウント装置内に統合されたコンピュータプロセッサ４５は、前述の機能を実行することができる。代替的または追加的に、ヘッドマウント装置の外部に配置され、典型的にはヘッドマウント装置と無線通信するコンピュータプロセッサ３２を使用して、これらの機能を実行することができる。コンピュータプロセッサ３２は、典型的には、画像誘導手術を容易にするためにヘッドマウント装置と共に使用される処理システム５０の一部を構成する。いくつかの実施形態では、処理システムは、システムのオペレータに情報を出力するための出力装置５２（例えば、モニタなどのディスプレイ）、および／またはオペレータがシステムにデータを入力できるように構成された入力装置５４（ポインティング装置、キーボード、マウスなど）をさらに含む。一般に、本明細書の文脈において、コンピュータプロセッサが特定のステップを実行すると説明される場合、これらのステップは、外部コンピュータプロセッサ３２、および／またはヘッドマウント装置内に統合されたコンピュータプロセッサ４５によって実行され得る。

【0032】

いくつかの実施形態では、患者マーカーおよび／またはツールマーカーは、光源４２によって生成される光を反射するように構成された反射要素を含む。そのような幾つかの実施形態では、光源４２からの光を患者マーカーが配置されている関心領域に向けることによって、ヘッドマウント装置に対する被験者の身体の一部の配置および向き（例えば、被験者の背中）が追跡される。代替的または追加的に、被験者の身体の一部に対するツールの配置および向きは、光源４２からの光を、患者マーカーおよび／またはツールマーカーが配置されている関心領域に向けることによって追跡される。典型的には、画像取得装置３６は、光源に近接してヘッドマウント装置上に配置され、その結果、画像取得装置は、患者マーカーおよび／またはツールマーカーから再帰反射される光を捕捉するように構成される。上記のように、いくつかの実施形態では、画像取得装置は、光源によって生成される光と同様の波長の光のみを通過させるように構成されたフィルタを含むモノクロカメラである。このような実施形態の場合、カメラは通常、ツールマーカーおよび／または患者マーカーの反射要素を示すグレースケール画像を受信する。通常、コンピュータプロセッサは、画像取得装置によって取得された画像を分析することによって、ヘッドマウント装置に対する被験者の体の一部（例えば、被験者の背中）の配置を決定する。さらに典型的には、コンピュータプロセッサは、画像取得装置によって取得された画像を分析することによって、被験者の身体の一部に対するツールの配置および向きを決定する。

【0033】

患者マーカーおよび／またはツールマーカーを追跡するための上記の技術は、例として提示され、そしていくつかの実施形態では、患者マーカーおよび／またはツールマーカーを追跡するために代替の技術が使用されることに留意されたい。例えば、患者マーカーおよび／またはツールマーカーは、光吸収要素、および／または光発生要素を含み得、画像取得装置は、これら要素を検出することによって、患者マーカーおよび／またはツールマーカーを追跡するように構成され得る。代替的または追加的に、異なるタイプの検出器を使用して、患者マーカーおよび／またはツールマーカーを追跡することができる。

【0034】

通常、患者マーカーは、ヘッドマウントディスプレイ上に配置された単一の追跡装置から収集されたデータを使用して、コンピュータプロセッサが患者の体の一部に対するヘッドマウント装置の配置および向きを決定するのに十分なデータを提供するように構成される。例えば、患者マーカーは、ヘッドマウント装置の追跡装置に対して可視の要素配列を含み得、そしてそれは、患者マーカーに対するヘッドマウント装置の任意の配置および向きにおいて、要素の配列が、その配置と方向に固有の外観を持つように構成される。このようにして、コンピュータプロセッサは、三角測量技術を使用することなく、患者の体の部分に対するヘッドマウント装置の配置および向きを決定することができる。

【0035】

上記の段落で説明したように、一般に、患者マーカーは、ヘッドマウントディスプレイに配置された単一の追跡装置から収集されたデータを使用して、コンピュータプロセッサが患者の体の一部に対するヘッドマウント装置の配置および向きを決定するのに十分なデータを提供するように構成される。しかしながら、いくつかの実施形態では、少なくとも特定の状況下で、コンピュータプロセッサは、第１の医療専門家２６の第１のヘッドマウント装置２８のヘッドマウントディスプレイ３０上に画像を生成するために、追加の追跡装置（すなわち、第１の追跡装置３４に追加の追跡装置）から受信される追跡データを組み込むように構成される。

【0036】

いくつかのそのような実施形態では、追跡装置３４が患者マーカーおよび／またはツールマーカーおよび／またはその一部との視線を失った場合に、コンピュータプロセッサは追加のデータを組み込むように構成される。この例を図１に示し、これは、第１の医療専門家２６の右手が、患者マーカー３８に関して追跡装置３４の視線を遮っていることを示す。幾つかの実施形態では、このような場合コンピュータプロセッサは、例えば図１に示すような、処置に同席する追加の医療専門家２６´（例えば、同行する外科医、または看護師）により装着されるように構成される追加のヘッドマウント装置２８´の追跡装置３４´からデータを受信するように構成される。通常、追加のヘッドマウント装置２８´は、第１のヘッドマウント装置２８と概略同様であり、追加のヘッドマウント装置の追跡装置３４´は、一般に、第１のヘッドマウント装置のそれと概略同様である。いくつかの実施形態では、患者マーカーの少なくとも一部およびツールの一部（例えば、ツールマーカー）が両方とも第１の追跡装置３４の視線内にある場合、コンピュータプロセッサは、第１の追跡装置３４から受信したデータに基づき、かつ追跡装置３４´から受信したデータを使用しないで、ヘッドマウントディスプレイ３０上に拡張現実画像を生成する。少なくとも患者マーカーの一部およびツールの一部の両方が必ずしも第１の追跡装置３４の視線内にない場合、コンピュータプロセッサは、少なくとも部分的に第２の追跡装置３４´から受信したデータに基づいて、ヘッドマウントディスプレイ３０上に拡張現実画像を生成する。

【0037】

代替的または追加的に、ヘッドマウント装置に搭載されていない追跡装置６０が手術室に配置される。典型的には、追跡装置６０は、手術室内の静止位置に配置される。例えば、追跡装置６０は、天井に取り付けられ、壁に取り付けられ、および／または三脚などのスタンドに配置され得る。いくつかの実施形態では、追跡装置６０は、光源６２および画像取得装置６４を含み、これらは、光源４２および画像取得装置３６に関して上記で説明したものとほぼ同様の態様で機能する。

【0038】

ここで、図３Ａおよび３Ｂを参照する。図３Ａおよび３Ｂは、本発明のいくつかの実施形態による、それぞれの医療専門家２６´、２６が着用するヘッドマウント装置２８´、２８のディスプレイ３０´、３０の例の概略図である。図３Ａは、図１の患者の右側に示されている第２の医療専門家２６´のディスプレイ３０´の例を示し、図３Ｂは、図１の患者の左側に示されている第１の医療専門家２６のディスプレイ３０の例を示す。通常、ヘッドマウントディスプレイ３０およびヘッドマウントディスプレイ３０´のそれぞれで生成される画像は、実際の患者解剖学的構造とアライメントされた仮想患者の解剖学的構造と、仮想解剖学的構造とアライメントされた仮想ツールを示す拡張現実図である。上記のように、いくつかの実施形態では、仮想ツールおよび仮想解剖学的構造は、ヘッドマウントディスプレイ３０、３０´の第１の部分３３に表示され、実際の患者の解剖学的構造は、ヘッドマウントディスプレイ３０、３０´の第２の部分３５を通して見ることができる。幾つかの実施形態では、コンピュータプロセッサは２Ｄと３Ｄの両方でそのようなビューを生成するように構成される。このようなビューを生成するには、通常、仮想解剖学的構造を実際の患者の解剖学的構造に正しくアライメントするために、患者に対するヘッドマウント装置の配置と向きを追跡する必要がある。図３Ａおよび３Ｂは、各医療専門家の追跡装置３４が患者マーカーの明確な視線を有する場合に、それぞれのヘッドマウントディスプレイが通常どのように見えるかを示している。

【0039】

ここで、図４Ａおよび４Ｂを参照する。図４Ａおよび４Ｂは、本発明のいくつかの実施形態による、第１の医療専門家２６の追跡装置３４の視線が、患者マーカー３８に関して少なくとも部分的にブロックされている場合の、それぞれの医療専門家２６´、２６が着用するヘッドマウント装置２８´、２８のディスプレイ３０´、３０の例の概略図である。図４Ａは、図１の患者の右側に示されている第２の医療専門家２６´のディスプレイ３０´の例を示し、図４Ｂは、図１の患者の左側に示されている第１の医療専門家２６のディスプレイ３０の例を示す。

【0040】

幾つかのそのような実施形態では、コンピュータプロセッサは、第１の医療専門家２６のヘッドマウントディスプレイ３０に、第２の追跡装置３４´から受信したデータに基づいて決定される、第２の医療専門家２６´の仮想ビュー（すなわち、第２の医療専門家の仮想解剖学的構造および仮想ツールについてのビュー）を示す仮想画像を生成する。例えば、第２の医療専門家のビュー全体（仮想解剖学的構造および仮想ツールについてのビュー、ならびに実際の患者の解剖学的構造についてのビューの両方を含む）は、第１の医療専門家のヘッドマウントディスプレイ３０に表示され得る。そのような例を図４Ａおよび４Ｂに示し、図４Ａおよび４Ｂは、第２の医療専門家２６´のものと同じ全体のビューを表示する、第１の医療専門家２６のヘッドマウントディスプレイ３０を示している。

【0041】

ここで、図５Ａおよび５Ｂを参照する。図５Ａおよび５Ｂは、本発明のいくつかの実施形態による、第１の医療専門家２６の追跡装置３４の視線が、患者マーカー３８に関して少なくとも部分的にブロックされている場合の、それぞれの医療専門家２６´、２６が着用するヘッドマウント装置２８´、２８のディスプレイ３０´、３０の例の概略図である。図５Ａは、図１の患者の右側に示されている第２の医療専門家２６´のディスプレイ３０´の例を示し、図５Ｂは、図１の患者の左側に示されている第１の医療専門家２６のディスプレイ３０の例を示している。いくつかの実施形態では、患者マーカー３８に関して第１の医療専門家２６の追跡装置３４の視線が少なくとも部分的に遮断されている場合、第２の医療専門家の視線からの（ツールと解剖学的構造の）仮想画像が表示され、それが第１の医療専門家の頭に取り付けられたディスプレイ３０の全体を実質的に満たし、そして第１の医療専門家は、ディスプレイの透明部分を介して実際の患者の解剖学的構造を見ることはない。そのような実施形態の例は、図５Ａおよび５Ｂに示され、第１の医療専門家のヘッドマウントディスプレイ３０の部分３３内に表示されたヘッドマウントディスプレイ３０´からの仮想画像（図５Ａに示される）を示し、そして部分３３は、実質的に第１の医療専門家のヘッドマウントディスプレイ３０の全体を埋める（図５Ｂに表示）。

【0042】

ここで、図６Ａおよび６Ｂを参照する。図６Ａおよび６Ｂは、本発明のいくつかの実施形態による、第１の医療専門家２６の追跡装置３４の視線が、患者マーカー３８に関して少なくとも部分的にブロックされている場合の、それぞれの医療専門家２６´、２６が着用するヘッドマウント装置２８´、２８のディスプレイ３０´、３０の例の概略図である。図６Ａは、図１の患者の右側に示されている第２の医療専門家２６´のディスプレイ３０´の例を示し、図６Ｂは、図１の患者の左側に示されている第１の医療専門家２６のディスプレイ３０の例を示している。いくつかの実施形態では、追跡装置３４が患者マーカーの視線を失い、その結果、追跡装置３４を使用して、患者に対するヘッドマウント装置の配置および／または向きが所与のレベルの精度で決定することができない、ことを検出したことに応答して、コンピュータプロセッサは、被験者の仮想解剖学的構造内の仮想ツールの画像を生成するが、コンピュータ生成画像を実際の患者の解剖学的構造とアライメントすることは考慮しない。幾つかのそのような実施形態では、第１の医療専門家のディスプレイ３０の部分３３に生成される仮想画像は、第１の医療専門家の以前の既知の視線から引き続き表示されるが、解剖学的構造に対するツールの位置は追跡装置３４´から受信したデータに基づいて更新される。第１の医療専門家のディスプレイの第２の部分３５は透明に保たれ、第１の医療専門家が自身の現在の視線から患者の解剖学的構造を見ることができる。そのような実施形態の例は、６Ａおよび６Ｂに示されている。図６Ｂに示されるように、患者マーカーに対するヘッドマウント装置２８の配置の変化は追跡されずかつ考慮されていないので、これは、仮想画像（部分３３に示される）が（部分３５に示される）患者の体に対してわずかにミスアライメントする可能性がある。これに関して、一般に、第１の医療専門家は、ツールのナビゲーションのためには、患者の解剖学的構造の仮想画像に重ねられたツールの仮想画像を使用することに留意されたい。そのため、医療専門家は通常、ツールと患者の解剖学的構造の仮想画像が患者の解剖学的構造の自身のビューと一致していなくても、ツールをナビゲートし続けることができる。

【0043】

幾つかの実施形態では、上記の段落で説明したものと一般的に同様の手法が実行されるが、ヘッドマウントディスプレイ３０で画像を生成するために使用される追加の追跡データが、第２のヘッドマウント装置２８´の追跡装置３４´から受信されることに代って、またはそれに追加して、追跡装置６０から受信される。

【0044】

いくつかの実施形態では、追跡装置３４がツールマーカーの視線を失い、患者に対するツールの配置および／または向きを所与のレベルの精度で決定することができないことを検出したことに応答して、コンピュータプロセッサは、追跡装置３４´および／または追跡装置６０から受信したデータを使用して、患者に対するツールの配置を決定する。通常、仮想患者の解剖学的構造および現在の配置に示される仮想ツールを含む仮想画像は、ヘッドマウント装置２８のヘッドマウントディスプレイ３０´に表示され、患者に対するツールの現在の配置は、追跡装置３４´および／または追跡装置６０から受信したデータに基づいて決定されてきている。

【0045】

幾つかの実施形態では、コンピュータプロセッサは、患者マーカーとツールマーカーが追跡装置３４の視線内にある場合でも、第１のヘッドマウント装置２８のヘッドマウントディスプレイ３０上に画像を生成するために、追加の追跡装置（すなわち、追跡装置３４に追加される追跡装置）から受信される追跡データを組み込むように構成される。幾つかの実施形態では、コンピュータプロセッサは、追跡装置３４´から受信したデータおよび追跡装置３４から受信したデータの組み合わせを使用して、および／または追跡装置６０から受信したデータと追跡装置３４から受信したデータの組み合わせを使用して、患者に対するツールの配置を決定する。例えば、コンピュータプロセッサは、受信したデータの前述の組み合わせを使用して患者に対するツールの現在の平均（例えば、平均値）配置を決定することができ、そしてコンピュータプロセッサは、仮想解剖学的構造上の仮想ツールの画像をヘッドマウントディスプレイ３０上に生成することができ、そこではツールは決定された現在の位置に位置決めされている。

【0046】

幾つかの実施形態では、患者マーカー上の追跡要素の一部が不明瞭になり、追跡装置３４の視線内にない場合でも、コンピュータプロセッサは、追跡アルゴリズムを使用して（例えば、カルマンフィルタを使用して）マーカーを追跡することにより、患者に対するヘッドマウント装置の配置を追跡し続ける。通常、そのような場合、少なくとも患者マーカーが部分的に隠されている間、コンピュータプロセッサはマーカーを積極的に識別し続けることはない。むしろ、コンピュータプロセッサは、前述の追跡アルゴリズムを使用して、すでに識別されたマーカーを追跡し続ける。いくつかの実施形態では、患者マーカーの少なくとも一部が追跡装置３４の視線内にないように患者マーカーが不明瞭になった場合（例えば、部分的に不明瞭または完全に不明瞭になった場合）、コンピュータプロセッサは、慣性測定ユニット４４を使用して、追跡装置３４からのデータを使用して決定された患者マーカーの最後の位置と組み合わせて、ヘッドマウント装置に対する患者の配置を決定し続ける。

【0047】

本明細書に記載の本発明の実施形態は、コンピュータプロセッサ３２および／または４５などのコンピュータまたは任意の命令実行システムにより使用され、またはそれに接続されるプログラムコードを提供する、コンピュータ使用可能またはコンピュータ可読の媒体（例えば、非一過性コンピュータ可読媒体）からアクセス可能な、コンピュータプログラム製品の形をとることができる。本明細書の記載の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、機器、または装置によって使用され、またはそれらに接続するプログラムを含み、格納し、通信し、伝播し、または輸送することができる任意の装置であり得る。媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム（または機器または装置）または伝搬媒体であり得る。通常、コンピュータ使用可能またはコンピュータ可読媒体は、非一過性のコンピュータ使用可能またはコンピュータ可読媒体である。

【0048】

コンピュータ可読媒体の例には、半導体またはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、リジッド磁気ディスク、および光ディスクが含まれる。光ディスクの現在の例には、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク読み取り／書き込み（ＣＤ－Ｒ／Ｗ）、およびＤＶＤが含まれる。

【0049】

プログラムコードを格納および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサ（例えば、コンピュータプロセッサ３２および／または４５）を含む。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、バルクストレージ、および、実行中にコードをバルクストレージから取得しなければならない回数を減らすために少なくともいくつかのプログラムコードの一時ストレージを提供する、キャッシュメモリを含むことができる。システムは、プログラム記憶装置上の本発明の指示を読み取り、これらの指示に従って、本発明の実施形態の方法論を実行することができる。

【0050】

ネットワークアダプタをプロセッサに結合して、プロセッサを他のプロセッサ、リモートプリンタ、またはストレージ装置に、介在するプライベートネットワークまたはパブリックネットワークを介して結合できるようにできる。モデム、ケーブルモデム、イーサネットカードは、現在利用可能なネットワークアダプタのほんの一部である。

【0051】

本発明の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ ＋＋などのオブジェクト指向プログラミング言語と、Ｃプログラミング言語または同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書くことができる。

【0052】

本明細書に記載されるアルゴリズムは、コンピュータプログラム命令によって実行されうることが理解される。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、機械を生成し、それによりコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサ（例えば、コンピュータプロセッサ３２および／または４５）を介して実行される命令が、本明細書で記載されるアルゴリズムで指定された機能／行為を実施するための手段を作成する。これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能データ処理装置に特定の方法で機能するように指示することができる、コンピュータ可読媒体（例えば、非一過性コンピュータ可読媒体）に格納され得、その結果、コンピュータ可読媒体に格納される命令は、アルゴリズムで指定された機能／動作を実行する命令手段を含む製造品を生成する。コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理装置にロードされて、コンピュータまたは他のプログラム可能な装置上で一連の操作ステップを実行させて、コンピュータ実行プロセスを生成し、それによりコンピュータまたは他のプログラム可能な装置上で実行する命令は、本出願で記載されるアルゴリズムで指定された機能／行為を実施するためのプロセスを提供する。

【0053】

コンピュータプロセッサ３２および／またはコンピュータプロセッサ４５は、通常、特定目的コンピュータを製造するためにコンピュータプログラム命令でプログラムされたハードウェア装置である。例えば、図を参照して説明されたアルゴリズムを実行するようにプログラムされた場合、コンピュータプロセッサ３２および／または４５は、通常、特定目的画像生成コンピュータプロセッサとして機能する。典型的には、コンピュータプロセッサ３２および／または４５によって実行される本明細書に記載の動作は、実際の物理的物品であるメモリの物理的状態を、使用されるメモリの技術に応じて異なる磁気極性、電荷などを有するように変換する。幾つかの実施形態では、１つのコンピュータプロセッサによって実行されると記載されている操作は、複数のコンピュータプロセッサによって互いに組み合わされて実行される。

【0054】

本発明は、本明細書で特に示され、記載されたものに限定されないことが当業者によって理解されるであろう。むしろ、本発明の範囲は、上記の様々な特徴の組み合わせおよびサブ組合せの両方、ならびに前述の記載を読んだときに当業者に想起される先行技術にはないその変形および修正を含む。

【図1】

【図2】

【図3A-3B】

【図4A-4B】

【図5A-5B】

【図6A-6B】

【国際調査報告】