特許 7504942 拡張現実のグラフィック表現を表示するための表現装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】拡張現実のグラフィック表現を表示するための表現装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240617BHJP

   A61B 34/10 20160101ALI20240617BHJP

   G09G 5/00 20060101ALI20240617BHJP

   G09G 5/377 20060101ALI20240617BHJP

【ＦＩ】

G06T19/00 600

A61B34/10

G09G5/00 510A

G09G5/00 510V

G09G5/00 520V

G09G5/00 550C

G09G5/377 100

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2022079406

(22)【出願日】2022-05-13

(65)【公開番号】P2023004884

(43)【公開日】2023-01-17

【審査請求日】2022-11-18

(31)【優先権主張番号】10 2021 206 565.1

(32)【優先日】2021-06-24

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】516308401

【氏名又は名称】シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

(74)【代理人】

【識別番号】110003317

【氏名又は名称】弁理士法人山口・竹本知的財産事務所

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】アロイス レーゲンスブルガー

【審査官】淀川 滉也

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２９３０４１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０１０７８８８（ＵＳ，Ａ１）

【文献】特表２０２０－５０８８２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ａ６１Ｂ ３４／１０

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

拡張現実（ＡＲ）のグラフィック表現（Ｇ．ＡＲ）を表示（ＶＩＳＵ－Ｇ．ＡＲ）するための表現装置であり、
前記表現装置は、検出ユニット（ＲＵ）と、第１表示ユニット（ＶＩＳ．１）と、処理ユニット（２２）とを備え、
前記第１表示ユニット（ＶＩＳ．１）は、少なくとも部分的に透明に構成されており、
前記検出ユニット（ＲＵ）は、第２表示ユニット（ＶＩＳ．２）の表現面（ＶＩＳ．Ｓ）に対する前記第１表示ユニット（ＶＩＳ．１）の相対的位置決め（ＰＯＳ）を検出（ＣＡＰ－ＰＯＳ）するように、構成されており、
前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）は、グラフィック情報（ＧＩ）を表示（ＶＩＳＵ－ＧＩ）するように、構成されており、
前記処理ユニット（２２）は、
－前記第１表示ユニット（ＶＩＳ．１）と前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）との間の観察幾何（ＧＥＯ）を前記相対的位置決め（ＰＯＳ）に基づいて決定（ＤＥＴ－ＧＥＯ）し、
－データセット（ＤＳ）を受信（ＲＥＣ－ＤＳ）し、
－前記拡張現実（ＡＲ）を前記データセット（ＤＳ）に基づいて生成（ＧＥＮ－ＡＲ）し、そして、
－前記観察幾何（ＧＥＯ）に沿って前記拡張現実（ＡＲ）を前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）へ仮想マッピングすることにより前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を提供（ＰＲＯＶ－Ｇ．ＡＲ）する、
ように構成されており、
前記第１表示ユニット（ＶＩＳ．１）は、前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を、前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）と少なくとも部分的に重畳させて表示（ＶＩＳＵ－Ｇ．ＡＲ）するように、構成されており、
前記データセット（ＤＳ）は、第１医療画像データを有し、
前記処理ユニット（２２）は、前記拡張現実（ＡＲ）を前記第１医療画像データに基づいて生成するように、構成されており、
前記表現装置の動作状態においては、
－前記第２表示ユニット（ＶＩＳ．２）は、第２医療画像データのグラフィック表現を、前記グラフィック情報（ＧＩ）として、前記表現面（ＶＩＳ．Ｓ）に表示し、
前記第１医療画像データおよび前記第２医療画像データは、検査オブジェクト（３１）の少なくとも部分的に共通する検査領域（ＲＥ）のマッピングおよび／またはモデルを有し、
－前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）は、少なくとも部分的に前記第２医療画像データの前記グラフィック表現と重畳されており、
前記第１医療画像データは、前記検査オブジェクト（３１）を３次元的にマッピングおよび／またはモデリングし、
前記処理ユニット（２２）は、前記第２医療画像データの前記グラフィック表現に関して仮想窓（ＷＷ）を有する前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を提供するように、構成されている、
表現装置。

【請求項2】

前記処理ユニット（２２）は、相対的位置決め（ＰＯＳ）が変化した場合には、
－前記第１表示ユニット（ＶＩＳ．１）と前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）との間の前記観察幾何（ＧＥＯ）を繰り返し決定（ＤＥＴ－ＧＥＯ）し、そして、
－前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を、最後に決定された前記観察幾何（ＧＥＯ）に基づいて、提供（ＰＲＯＶ－Ｇ．ＡＲ）する、
ように構成されている、
請求項１に記載の表現装置。

【請求項3】

前記検出ユニット（ＲＵ）は、前記第１表示ユニット（ＶＩＳ．１）および前記第２表示ユニット（ＶＩＳ．２）から離間して配置されているか、少なくとも部分的に前記第１表示ユニット（ＶＩＳ．１）または前記第２表示ユニット（ＶＩＳ．２）へ組み込まれている、
請求項１に記載の表現装置。

【請求項4】

前記検出ユニット（ＲＵ）は、前記相対的位置決め（ＰＯＳ）を検出（ＣＡＰ－ＰＯＳ）する光学的および／または電磁的および／または音響的センサを有する、
請求項１に記載の表現装置。

【請求項5】

前記検出ユニット（ＲＵ）は、前記相対的位置決め（ＰＯＳ）を、前記第１表示ユニット（ＶＩＳ．１）および／または前記第２表示ユニット（ＶＩＳ．２）の物理的特徴に基づいて、および／または、前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）に可視的および／または不可視的に表示されるグラフィックマーカ構造（ＰＭ）に基づいて、検出（ＣＡＰ－ＰＯＳ）するように、構成されている、
請求項１に記載の表現装置。

【請求項6】

前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）は、前記拡張現実（ＡＲ）の少なくとも１つの仮想オブジェクトのグラフィック表現を有し、
前記検出ユニット（ＲＵ）は、前記相対的位置決め（ＰＯＳ）に基づいて観察パラメータを決定する、ように構成されており、
前記処理ユニット（２２）は、
－前記少なくとも１つの仮想オブジェクトを前記観察パラメータに基づいて決定するように、および／または、
－前記少なくとも１つの仮想オブジェクトの前記グラフィック表現の、分解能および／またはスケーリングおよび／またはサイズおよび／または位置決め、を前記観察パラメータに基づいて調整するように、構成されている、
請求項１に記載の表現装置。

【請求項7】

前記検出ユニット（ＲＵ）はさらに、
－前記表現装置の動作状態において前記第１表示ユニット（ＶＩＳ．１）を通して見ているユーザ（Ｕ）の、入力および／または識別を検出し、そして、
－前記観察パラメータを、さらに、前記ユーザ（Ｕ）の前記入力および／または前記識別に基づいて、決定するように、
構成されている、
請求項６に記載の表現装置。

【請求項8】

前記データセット（ＤＳ）は、前記グラフィック情報（ＧＩ）に関するパラメータを有しており、前記表現装置の動作状態において前記第２表示ユニット（ＶＩＳ．２）が当該グラフィック情報（ＧＩ）を前記表現面（ＶＩＳ．Ｓ）に表示し、
前記処理ユニット（２２）はさらに、前記拡張現実（ＡＲ）を前記パラメータに応じて生成（ＧＥＮ－ＡＲ）するように、構成されている、
請求項１に記載の表現装置。

【請求項9】

前記検査オブジェクト（３１）の前記共通する検査領域は、囲繞中空空間（ＨＯ）を含み、
前記仮想窓（ＷＷ）は、前記中空空間（ＨＯ）の囲繞部（ＶＷ）であって前記拡張現実（ＡＲ）を前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）への仮想マッピングについての仮想平面（ＶＰ）によって切断される囲繞部（ＶＷ）により、限定されている、
請求項１から８のいずれか１項に記載の表現装置。

【請求項10】

前記処理ユニット（２２）は、前記第２医療画像データにマッピングされた少なくとも１つのオブジェクト（ＧＩ．ＯＢ）の仮想継続部（Ｇ．ＶＦ）を有する前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を提供するように、構成されており、
前記第１表示ユニット（ＶＩＳ．１）は、前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）の外側および／または近傍に、前記仮想継続部（Ｇ．ＶＦ）を表示するように、構成されている、
請求項９に記載の表現装置。

【請求項11】

請求項１から８のいずれか１項に記載の表現装置と、第２表示ユニット（ＶＩＳ．２）と、医療撮像装置（ＭＤ）とを備えるシステムであって、
前記医療撮像装置（ＭＤ）は、前記第１医療画像データおよび／または前記第２医療画像データを記録するおよび／または提供するように、構成されており、
前記第２表示ユニット（ＶＩＳ．２）は、前記第２医療画像データのグラフィック表現を前記表現面（ＶＩＳ．Ｓ）に表示するように、構成されている、
システム。

【請求項12】

前記医療撮像装置（ＭＤ）は、少なくとも部分的に検査オブジェクト（３１）の検査領域（ＲＥ）に配置されるように、構成されている、
請求項１１に記載のシステム。

【請求項13】

拡張現実（ＡＲ）のグラフィック表現（Ｇ．ＡＲ）を提供（ＰＲＯＶ－Ｇ．ＡＲ）するための方法であって、
第２表示ユニット（ＶＩＳ．２）の表現面（ＶＩＳ．Ｓ）に対する第１表示ユニット（ＶＩＳ．１）の相対的位置決め（ＰＯＳ）は、検出ユニット（ＲＵ）を用いて、検出（ＣＡＰ－ＰＯＳ）され、
グラフィック情報（ＧＩ）は、前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）に表示（ＶＩＳＵ－ＧＩ）され、
前記第１表示ユニット（ＶＩＳ．１）と前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）との間の観察幾何（ＧＥＯ）は、前記相対的位置決め（ＰＯＳ）に基づいて、決定（ＤＥＴ－ＧＥＯ）され、
データセット（ＤＳ）は、受信（ＲＥＣ－ＤＳ）され、
前記拡張現実（ＡＲ）は、前記データセット（ＤＳ）に基づいて、生成（ＧＥＮ－ＡＲ）され、
前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）は、前記観察幾何（ＧＥＯ）に沿って前記拡張現実（ＡＲ）を前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）に仮想マッピングすることにより提供（ＰＲＯＶ－Ｇ．ＡＲ）され、
前記提供（ＰＲＯＶ－Ｇ．ＡＲ）は、前記第１表示ユニット（ＶＩＳ．１）を用いての、前記第２表示ユニット（ＶＩＳ．２）の前記表現面（ＶＩＳ．Ｓ）での前記グラフィック情報（ＧＩ）と少なくとも部分的に重畳した、前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）の表示（ＶＩＳＵ－Ｇ．ＡＲ）、を含み、
前記データセット（ＤＳ）は、第１医療画像データを有し、
処理ユニット（２２）は、前記拡張現実（ＡＲ）を前記第１医療画像データに基づいて生成し、
表現装置の動作状態においては、
－前記第２表示ユニット（ＶＩＳ．２）は、第２医療画像データのグラフィック表現を、前記グラフィック情報（ＧＩ）として、前記表現面（ＶＩＳ．Ｓ）に表示し、
前記第１医療画像データおよび前記第２医療画像データは、検査オブジェクト（３１）の少なくとも部分的に共通する検査領域（ＲＥ）のマッピングおよび／またはモデルを有し、
－前記第１表示ユニット（ＶＩＳ．１）は、前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を、少なくとも部分的に前記第２医療画像データの前記グラフィック表現と重畳させ、
前記第１医療画像データは、前記検査オブジェクト（３１）を３次元的にマッピングおよび／またはモデリングしたデータであり、
前記処理ユニット（２２）は、前記第２医療画像データの前記グラフィック表現に関して仮想窓（ＷＷ）を有する前記拡張現実（ＡＲ）の前記グラフィック表現（Ｇ．ＡＲ）を提供する、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実のグラフィック表現を表示するための表現装置、拡張現実のグラフィック表現を提供するためのシステムおよび方法に関する。

【背景技術】

【0002】

例えば検査オブジェクトの医療画像データの、医療情報をリアルに表現するために、拡張現実（英：augmented reality, AR）の表現が使用されることが増えている。その際、往々にして、現実のオブジェクトは、例えば医療オブジェクトおよび／または検査オブジェクトは、仮想データと、特に医療画像データおよび／または仮想オブジェクトと、重畳され、ディスプレイに表現される。高い没入感を有するリアルな表現のためには、仮想データと現実のオブジェクトとの間の正確なレジストレーション（重ね合わせ、位置合わせ）が必要とされる。

【0003】

拡張現実における検査オブジェクトの術前および／または術中における画像データのグラフィック表現は、インターベンション型のおよび／または外科的な手術の際に、医療スタッフを、例えば医師を、支援するために使用することができる。しかしこの場合往々にして、拡張現実を表現する装置によって表示されるべき画像データが、特にリアルタイムで、提供ユニットおよび／または医療撮像装置によって受信され、処理されなければならないことは、不利である。これは、特に、画像データを拡張現実を表現する複数の装置に、特に同時に、提供する場合に、利用可能な伝送帯域幅によって、不利に制限され得る。さらに、その結果、拡張現実を表現する装置を用いて表示すべき画像データの画質も不利に低減され得る。検査オブジェクトの、特に術中における、画像データの記録と、拡張現実におけるそれらの表示との間の遅延、および／または、画質の低下は、インターベンション型のおよび／または外科的な手術の際の、誤調整を導き得る。これにより、検査オブジェクトの負傷リスクが増加され得る。

【0004】

医療現場では、検査オブジェクトの３次元（３Ｄ）的に分解された画像データが医療スタッフの複数の観察者によって同時に観察され得ることが、頻繁に必要になる。この目的のために、例えば、医療スタッフによってウェアラブルな立体視フィルタ眼鏡と組み合わせた３Ｄモニタが使用可能である。ここで３Ｄモニタは、２つの立体視的な個別画像を提供することができ、当該個別画像は、医療スタッフの複数の観察者によって、フィルタ眼鏡を用いて立体視的に捕捉可能である。しかしここで、複数の、特にその時点での、観察者の観察点に対して立体視的な個別画像を適応できないこと、は不利である。その結果、特に観察点に依存して、３Ｄモニタで３次元的に分解された画像データを観察する際に、現実的でないおよび／または不十分な奥行き知覚が生じ得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明は、拡張現実の改善された適応を可能にするという課題に基づいている。

【課題を解決するための手段】

【0006】

本課題は、本発明に従い、独立請求項のそれぞれの対象により達成される。合目的な発展形態を含む有利な実施形態は、従属請求項の対象である。

【0007】

本発明は、第１の観点では、拡張現実のグラフィック表現を表示するための表現装置に関する。ここで、表現装置は、検出ユニットと、第１表示ユニットと、処理ユニットとを有する。さらに、第１表示ユニットは、少なくとも部分的に透明であるように形成されている。検出ユニットは、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めを検出するように、構成されている。その際、第２表示ユニットの表現面は、グラフィック情報を表示するように構成されている。処理ユニットは、第１表示ユニットと第２表示ユニットの表現面との間の観察幾何を相対的位置決めに基づいて決定するように、構成されている。また、処理ユニットは、データセットを受信するように、構成されている。さらに、処理ユニットは、拡張現実をデータセットに基づいて生成するように、構成されている。加えて、処理ユニットは、第２表示ユニットの表現面に観察幾何に沿って拡張現実を仮想マッピングすることにより拡張現実のグラフィック表現を提供するように、構成されている。さらに、第１表示ユニットは、拡張現実のグラフィック表現を第２表示ユニットの表現面と少なくとも部分的に重畳した状態で表示するように、構成されている。

【0008】

第２表示ユニットは、例えばスクリーンおよび／またはモニタおよび／またはプロジェクタおよび／または投影面を有してよい。ここで、第２表示ユニットの表現面は、投影面および／またはスクリーンの表示層（英：panel）および／またはモニタの表示層を含んでよい。特に、第２表示ユニットの表現面は、空間的に限定された、特には連続した、面を含み得て、それらにはグラフィック情報が表示可能である。ここで、第２表示ユニットの表現面は、少なくとも部分的に、特に全体的に、平坦に、特に平面的に、または湾曲して、延在してよい。グラフィック情報は、特に医療に関する、画像データおよび／またはテキスト情報、例えば、特に医療的な、オブジェクトの動作パラメータおよび／またはオブジェクトパラメータ、および／または医療画像データに関するメタデータを含んでよい。

【0009】

検出ユニットは、有利には、第１および第２表示ユニットの、特には第２表示ユニットの表現面の、空間的位置決めを検出するように、構成されていてもよい。第１および第２表示ユニットの空間的位置決めは、この場合、それぞれ、検出ユニットの座標系における第１および第２表示ユニットの空間的位置および／または姿勢を記述し得る。さらに、検出ユニットは、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めを第１および第２表示ユニットの検出された空間的位置決めに基づいて決定するように、構成されていてもよい。第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めは、有利には、第１表示ユニット、特に第１表示ユニットの座標系の原点と、第２表示ユニットの表現面、特に基準点、例えば表現面の中心点または隅角点との間の空間距離に関する情報を含み得る。さらに、相対的位置決めは、第２表示ユニットの表現面に対する、特には表現面の基準点における法線ベクトルに対する、第１表示ユニットの角度、特に視野角、に関する情報を含み得る。

【0010】

代替的に、検出ユニットは、第１または第２表示ユニットの、特には第２表示ユニットの表現面の、それぞれ他方の表示ユニットに対する空間的位置決めを検出するように、構成されていてもよい。この場合、検出ユニットは、第１または第２表示ユニットに関して定義されて配置されていてもよく、特には、第１または第２表示ユニットに固定されていてもよく、および／または、少なくとも部分的に、特には全体的に、第１または第２表示ユニットへ組み込まれていてもよい。これにより、検出ユニットは、第１表示ユニットに対する第２表示ユニットの表現面の相対的位置決めを直接検出するように、構成されていてもよい。この場合、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めは、第１表示ユニットの座標系における表現面の、特に３次元的な、空間的位置および調整を記述することができる。

【0011】

処理ユニットは、さらに、第１表示ユニット、特に１つまたは複数の視点、特に表現装置が動作状態にあるときに第１表示ユニットを通して見ているユーザの目と、第２表示ユニットの表現面と、の間の観察幾何を、相対的位置決めに基づいて、決定するように、構成されていてもよい。この場合、観察幾何は、第２表示ユニットの表現面と、第１表示ユニット、特にユーザの１つまたは複数の観察点との間の光路を、記述し得る。特に、観察幾何は、表現装置の動作状態においては、第２表示ユニットの表現面に表示されているグラフィック情報から、第１表示ユニットを通って、特に拡張現実のグラフィック表現を通って、１つまたは複数の観察点までの、特に第１表示ユニットを通して見ているユーザの目までの、光路を記述し得る。これにより、観察幾何は、第２表示ユニットに表示可能なグラフィック情報の、拡張現実のグラフィック表現との重畳観察の光路であって、ユーザの１つまたは複数の観察点に基づく光路、を記述し得る。

【0012】

処理ユニットは、有利には通信可能に、第１表示ユニットおよび検出ユニットと、例えば無線または有線で、接続されていてもよい。データセットの受信は、特に、コンピュータ可読データ記憶装置からの取り込みおよび／または読み出し、および／またはデータ記憶ユニット、例えばデータベースからの受信、を含んでよい。さらに、データセットは、医療撮像装置によって準備されていてもよい。このために、処理ユニットはインターフェースを有してもよい。

【0013】

データセットは、特には医療に関する画像データ、および／または、画像パラメータ、特にメタデータ、および／または、モデルデータ、特に患者モデルおよび／または器官モデルおよび／または組織モデル、および／または、モデルパラメータ、および／または、テキストデータ、例えば特に医療に関するオブジェクトの動作パラメータおよび／またはオブジェクトパラメータ、および／または、患者情報、例えば既往歴データおよび／または診断データ、および／または、生理学的情報、および／または、手続き上のデータ、例えば手術フェーズに関する情報、を含んでよい。

【0014】

処理ユニットは、有利には、少なくとも１つの仮想オブジェクト、特には複数の仮想オブジェクトを含む拡張現実を、データセットに基づいて生成するように、構成されていてもよい。この場合、拡張現実は、第１表示ユニットの座標系における、少なくとも１つの仮想オブジェクトの、特には複数の仮想オブジェクトの、特には２次元的なおよび／または３次元的な、仮想配置を含んでよい。有利には、処理ユニットは、少なくとも１つの仮想オブジェクトであって、幾何学的なおよび／または解剖学的なおよび／またはテクスチャ的なおよび／またはグラフィック的な、データセットの特徴、を有する仮想オブジェクト、を生成するように、構成されていてもよい。さらに、処理ユニットは、拡張現実を、特に少なくとも１つの仮想オブジェクトを、第２表示ユニットの表現面とレジストレーション（重ね合わせ、位置合わせ）するように、構成されていてもよい。

【0015】

処理ユニットは、さらに、拡張現実のグラフィック表現を、特に少なくとも１つの仮想オブジェクトのグラフィック表現を、拡張現実を、特に少なくとも１つの仮想オブジェクトを、第２表示ユニットの表現面へ、観察幾何に沿って、仮想マッピングすることによって、提給するように、構成されていてもよい。この場合、グラフィック表現は、特に、第１表示ユニットでの拡張現実の、２次元的なおよび／または３次元的な、特に立体視的な表現、を含み得る。この場合、拡張現実のグラフィック表現は、第１表示ユニットを通して見ているユーザにとって、仮想的に第２表示ユニットの表現面に配置されていてもよい。観察幾何に沿っての第２表示ユニットの表現面への拡張現実の仮想マッピングは、特に、観察幾何に沿っての第２表示ユニットの表現面での少なくとも１つの仮想オブジェクトの仮想的な配置を含み得る。さらに、拡張現実のグラフィック表現を提供するための仮想マッピングは、例えば、少なくとも１つの仮想オブジェクトの、第２表示ユニットの表現面への、観察幾何に沿った、仮想投影マッピング、および／または、レイトレーシング（英：ray-tracing）、および／または、写像行列に従う、特にカメラ行列に従うレンダリング、に基づいてよい。また、第２表示ユニットの表現面への拡張現実の仮想マッピングは、特にはその時点での、観察幾何に従った、少なくとも１つの仮想オブジェクトの仮想照明および／または仮想影を含み得る。さらに、処理ユニットは、仮想マッピングのステレオ視差（英：stereo disparity）を、観察幾何に応じて、第１表示ユニットによる拡張現実のグラフィック表現の立体視的な表示のために適応させるように、構成されていてもよい。追加的に、拡張現実のグラフィック表現は、コンテキスト情報を、例えば患者情報および／またはワークフロー指示を、含み得て、それらは、有利には、第２表示ユニットの表現面の外側に、特には表現面に隣接しておよび／または表現面と共に１つの平面内に、仮想的に配置されている。

【0016】

拡張現実のグラフィック表現の提供は、コンピュータ可読記憶媒体での保存、および／または、第１表示ユニットへの送信、を含み得る。

【0017】

第１表示ユニットは、有利には、拡張現実のグラフィック表現を、特には２次元的または３次元的に、表示するように、構成されていてもよい。特に、第１表示ユニットは、拡張現実のグラフィック表現を立体視的に表示するように、構成されていてもよい。第１表示ユニットは、有利には、現実の、特には対象の、オブジェクトを、特に第２表示ユニットの表現面を、拡張現実のグラフィック表現と、特には少なくとも１つの仮想オブジェクトのグラフィック表現と、少なくとも部分的に重畳させてディスプレイに、表現するように、構成されていてもよい。このために、第１表示ユニットは、例えば、スクリーンおよび／またはモニタおよび／またはプロジェクタおよび／または投影面を有し得る。有利には、第１表示ユニットは、眼鏡、特にスマートグラス、および／または、ヘルメット、特にヘッドマウントディスプレイ、として構成されてよい。さらに、第１表示ユニットは、携帯可能であるように、特にユーザにとってウェアラブルであるように、構成されていてもよい。この場合、第１表示ユニットは、有利には、ユーザの動きに、特にはユーザの頭部の動きに、追従してよい。さらに、第１表示ユニットは、少なくとも部分的に透明であるように、特には光透過型および／またはシースルー型であるように、構成されていてもよい。さらに、第１表示ユニットは、ユーザの視野内に配置されるように、構成されていてもよい

【0018】

提案される実施形態は、有利には、特にはその時点における、ユーザの観察幾何に、適応させた、拡張現実のグラフィック表現を表示することができる。ここで、拡張現実のグラフィック表現は、グラフィック情報を少なくとも部分的に重畳することができ、当該グラフィック情報は、第２表示ユニットがその表現面に表現装置の動作状態のときに表示するもの、である。さらに、第２表示ユニットは、表現装置が動作状態にあるときに、グラフィック情報を、拡張現実のグラフィック表現の表示に影響されずに、特に遅延することなく、および／または高画質で、第２表示ユニットの表現面に表示できる。

【0019】

提案される表現装置の別の有利な実施形態においては、処理ユニットは、相対的位置決めが変化した場合、第１表示ユニットと第２表示ユニットの表現面との間の観察幾何を、反復的に特定するように、構成されていてもよい。さらに、処理ユニットは、相対的位置決めが変化した場合、拡張現実のグラフィック表現を、最後に特定された観察幾何に基づいて、提供するように、構成されていてもよい。

【0020】

検出ユニットは、有利には、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めを反復的に、特には連続的に、検出するように、構成されていてもよい。さらに、処理ユニットは、第２表示ユニットの表現面に対する第１表示ユニットの最後に検出された相対的位置決めとそれ以前に検出された相対的位置決めとの間の偏差を、識別するように、構成されていてもよい。この場合、偏差の識別は、最後に検出された相対的位置決めとそれ以前に検出された相対的位置決めとの間の比較を、含み得る。さらに、処理ユニットは、観察幾何を、特に最後に検出された相対的位置決めに基づいて、反復的に決定するように、構成されていてもよい。加えて、処理ユニットは、拡張現実のグラフィック表現を、最後に特定された観察幾何に基づいて、提供するように、構成されていてもよい。特に、処理ユニットは、拡張現実のグラフィック表現を、第２表示ユニットの表現面への拡張現実の仮想マッピングによって、最後に特定された観察幾何に沿って、提供するように、構成されていてもよい。

【0021】

それにより、拡張現実のグラフィック表現は、有利には、特にはユーザの移動により、変化した相対的位置決めに、適応され得る。

【0022】

提案される表現装置の別の有利な実施形態においては、検出ユニットは、第１表示ユニットおよび第２表示ユニットから離して配置されていてもよい、または、少なくとも部分的に、特には完全に、第１表示ユニットまたは第２表示ユニットへ組み込まれていてもよい。

【0023】

第１変形例においては、検出ユニットは、第１および第２表示ユニットから離して、特には表現装置が動作状態にあるときに第１および第２表示ユニットが配置されている空間に対して、位置固定的に配置されていてもよい。有利には、検出ユニットはこの場合、第１および第２表示ユニットが、表現装置の動作状態において、検出ユニットの検出領域に配置されているように、配置されていてもよく、特には位置決めされていてもよい。これにより、検出ユニットは、その都度、第１および第２表示ユニットの空間的位置決めを、特には同時に、検出するように、構成されていてもよい。

【0024】

第２変形例においては、検出ユニットは、少なくとも部分的に第１表示ユニットに、または、少なくとも部分的に第２表示ユニットに、組み込まれていてもよい。この場合、検出ユニットは、第１または第２表示ユニットに対して、特には第２表示ユニットの表現面に対して、定義された、特には位置固定的な、配置を有していてもよい。有利には、検出ユニットは、表現装置が動作状態にあるときにそれぞれの他方の表示ユニットが検出ユニットの検出領域に配置されているように、少なくとも部分的に第１または第２表示ユニットに組み込まれていてもよい。これにより、検出ユニットは、第１表示ユニットと第２表示ユニットとの間の相対的位置決めを直接的に検出するように、構成されていてもよい。

【0025】

検出ユニットが第１表示ユニットから離して配置される場合、特に検出ユニットが少なくとも部分的に第２表示ユニットに組み込まれている場合、検出ユニットは、有利には、複数の、特には同種の又は異なる、表現装置の、それぞれの空間的位置決めを、特にはそれぞれの相対的位置決めを、特には同時に、検出するように、構成されていてもよい。

【0026】

提案される表現装置の別の有利な実施形態においては、検出ユニットは、相対的位置決めを検出する光学的なおよび／または電磁的なおよび／または音響的なセンサを有し得る。

【0027】

例えば、検出ユニットは、カメラとして構成された光学センサを有し得る、特には、２Ｄカメラ、および／または、全方位カメラ、および／または、３Ｄカメラ、特にはステレオカメラ、および／または、深度カメラ、および／または、飛行時間型カメラ（ＴＯＦカメラ）、を有し得て、当該カメラは、第１および／または第２表示ユニットを少なくとも部分的に、特には光学的に、検出するように、構成されている。さらに、検出ユニットは電磁センサを有し得て、当該電磁センサは第１および／または第２表示ユニットを、電磁波に基づいて、特には電磁波の変化および／または干渉に基づいて、位置特定するように、構成されていてもよい。電磁センサはさらに、特には検出ユニットが少なくとも部分的に第１または第２表示ユニットに組み込まれている場合には、検出ユニットの空間的位置決めを検出するジャイロセンサとして、構成されていてもよい。さらに、検出ユニットは、音響的な、特に超音波に基づく、センサを有し得て、当該センサは、所定の超音波音場を放射するように、そして、超音波音場の反射成分に基づいて相対的位置決めを検出するように、構成されている。有利には、検出ユニットは、信号を、第２表示ユニットの表現面に対する第１表示ユニットの検出された相対的位置決めに応じて、処理ユニットへ提給するように、構成されていてもよい。

【0028】

提案される実施形態は、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めの高精度な検出を可能とする。

【0029】

提案される表現装置の別の有利な実施形態においては、検出ユニットは、相対的位置決めを、第１および／または第２表示ユニットの物理的特徴に基づいて、および／または、第２表示ユニットの表現面に可視的および／または不可視的に表示されるグラフィックマーカ構造に基づいて、検出するように、構成されていてもよい。

【0030】

第１および／または第２表示ユニットの物理的特徴は、例えば輪郭および／または形状および／または材料特性および／またはテクスチャ、例えば反射率および／または吸収性を含み得る。さらに、第１および／または第２表示ユニットは、物理的な、特には２次元的または３次元的な、マーカ構造を有して得て、当該マーカ構造は、定義された配置で第１および／または第２表示ユニットに固定されている、および／または、少なくとも部分的に第１および／または第２表示ユニットに、例えば第１および／または第２表示ユニットの縁部および／またはフレーム部に、組み込まれている。有利には、検出ユニットは、それぞれのマーカ構造の空間的位置決めを、特には空間的位置および／または方向づけおよび／または姿勢を、検出するように、構成されていてもよい。

【0031】

代替的または追加的に、第２表示ユニットは、グラフィックマーカ構造を、特には人間のユーザにとって、可視的および／または不可視的に表示するように、構成されていてもよい。グラフィックマーカ構造は、有利には、特には第２表示ユニットの表現面に対して静止している、グラフィック位置マークの配置であって、例えば幾何形状および／または定義されたパターンのグラフィック位置マークの配置、を含み得る。検出ユニットは、有利には、表現装置の動作状態において第２表示ユニットの表現面に表示されるグラフィックマーカ構造を検出するように、構成されていてもよい。さらに、検出ユニットは、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めを、検出されたグラフィックマーカ構造に基づいて、特にはグラフィックマーカ構造の空間的位置決めに基づいて、検出するように、構成されていてもよい。

【0032】

第２表示ユニットは、グラフィックマーカ構造を可視的に、特には少なくとも部分的にグラフィック情報と重畳させて、および／または、少なくとも部分的にグラフィック情報へ組み込んで、表示するように、構成されていてもよい。

【0033】

代替的または追加的に、第２表示ユニットは、グラフィックマーカ構造を不可視的に表示するように、構成されていてもよい。この場合、グラフィックマーカ構造の表示は、有利には、人間のユーザによって認知可能な光スペクトルの外側の波長領域で、例えば赤外線の領域で、行われ得る。代替的または追加的に、第２表示ユニットは、グラフィックマーカ構造を、時間的および／または空間的にインターリーブしてグラフィック情報とともに表示するように、構成されていてもよい。時間的インターリーブは、この場合、グラフィック情報の表示の時間的シーケンス内でのグラフィックマーカ構造の、特には繰り返しの、表示を、記述することができる。ここで、第２表示ユニットは、グラフィックマーカ構造が人間のユーザにとって認識可能ではないように、グラフィックマーカ構造を、グラフィック情報の表示のシーケンス内においてまれにおよび／または短時間、表示するように、構成されていてもよい。グラフィック情報を伴うグラフィックマーカ構造の空間的にインターリーブされた表示は、例えば行毎および／または列毎に行われ得る。この場合、第２表示ユニットは、有利には、空間的にインターリーブされた表示におけるグラフィックマーカ構造が人間のユーザにとって認識可能ではないように、グラフィックマーカ構造の空間的分解能を設定するように、構成されていてもよい。有利には、第２表示ユニットは、グラフィックマーカ構造を、人間のユーザにとって認識可能なグラフィック情報への影響なしに表示するように、構成されていてもよい。

【0034】

提案される実施形態は、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めの格別に堅牢（ロバスト）でかつそのうえ高精度な検出を、可能とする。

【0035】

提案される表現装置の別の有利な実施形態では、拡張現実のグラフィック表現は、拡張現実の少なくとも１つの仮想オブジェクトのグラフィック表現を、有して得る。さらに、検出ユニットは、相対的位置決めに基づいて、観察パラメータを決定するように、構成されていてもよい。加えて、処理ユニットは、観察パラメータに基づいて、少なくとも１つの仮想オブジェクトを決定するように、構成されていてもよい。代替的にまたは追加的に、処理ユニットは、観察パラメータに基づいて、少なくとも１つの仮想オブジェクトのグラフィック表現の、分解能および／またはスケーリングおよび／またはサイズおよび／または位置決めを、適応させるように、構成されていてもよい。

【0036】

相対的位置決めに基づいて決定される観察パラメータは、有利には、観察幾何の１つまたは複数の特性を、特にはユーザ非固有に、記述してもよい。例えば、観察パラメータは、特にはその時点の、空間距離であって、第１表示ユニット、特には第１表示ユニットの座標系の原点、及び、第２表示ユニットの表現面、特には表現面の基準点、例えば中心点または隅角点、の間の空間距離、に関する情報を含み得る。さらに、観察パラメータは、第２表示ユニットの表現面に対する、特には表現面の基準点における法線ベクトルに対する、第１表示ユニットの角度、特には視野角、に関する情報を含み得る。更に、観察パラメータは、第２表示ユニットの表現面に対する第１表示ユニットの視野の空間的拡張、特にファン角（英：fan angle、独：Faecherwinkel）、に関する情報を含み得る。

【0037】

処理ユニットは、有利には、少なくとも１つの仮想オブジェクトを観察パラメータに基づいて決定するように、構成されていてもよい。この場合、少なくとも１つの仮想オブジェクトの決定は、例えば 、特にはコンテンツおよび／またはグラフィックに関する、データセットのフィルタリング、および／または、データセットの再構成、を含んでよい。データセットのフィルタリングは、例えば、データセットの要素および／または特徴および／または情報を、データセットの少なくとも１つの仮想オブジェクトを決定するための観察パラメータに基づいて、選択すること、を含み得る。代替的にまたは追加的に、処理ユニットは、少なくとも１つの仮想オブジェクトのグラフィック表現の、特には空間的および／または時間的な、分解能、および／または、スケーリング、および／または、サイズ、および／または、位置決め、を観察パラメータに基づいて、調整するように、構成されていてもよい。例えば、処理ユニットは、第１表示ユニットと第２表示ユニットの表現面との間の空間距離を増加させて、少なくとも１つの仮想オブジェクトのグラフィック表現の空間的分解能を減少させるように、構成されていてもよい。更に、処理ユニットは、例えばスケーリングを用いて、第１表示ユニットと第２表示ユニットの表現面との間の空間距離を増加させて、少なくとも１つの仮想オブジェクトのグラフィック表現を縮小させるように、構成されていてもよい。さらに、処理ユニットは、第２表示ユニットの表現面での少なくとも１つの仮想オブジェクトのグラフィック表現の、位置決め、特に位置および／または方向づけ、を、観察パラメータ、特には視野角、に応じて、調整するように、構成されていてもよい。処理ユニットは、さらに、少なくとも１つの仮想オブジェクトのグラフィック表現のさらに別の表現パラメータを、観察パラメータに基づいて、例えばフォントサイズおよび／または線の太さおよび／またはカラーコーディングおよび／またはグレー値コーディングに基づいて、調整するように、構成されていてもよい。

【0038】

提案される実施形態は、有利には、拡張現実の、特には少なくとも１つの仮想オブジェクトの、グラフィック表現の没入型かつリアルな表示を可能とし、当該表示では、第２表示ユニットの表現面との少なくとも部分的な重畳が可能である。

【0039】

提案される表現装置の別の有利な実施形態では、検出ユニットは、表現装置の動作状態において第１表示ユニットを通し見ているユーザの、入力および／または識別を、検出するように、構成されていてもよい。さらに、検出ユニットは、追加的にユーザの入力および／または識別に基づいて、特にユーザ固有に、観察パラメータを決定するように、構成されていてもよい。

【0040】

相対的位置決めを検出する検出ユニットのセンサは、有利には、ユーザの入力を検出するようにも、構成されていてもよい。代替的にまたは追加的に、検出ユニットは、さらなるセンサ、特には光学的および／または電磁的および／または音響的および／または触覚的なセンサ、を有してよく、当該センサは、ユーザの入力を検出するように、構成されていてもよい。検出ユニットは、有利には、入力手段に基づいて、ユーザの入力を検出するように、構成されていてもよい。入力手段は、例えば、ポインティングデバイス、例えばペンおよび／またはマーカ構造体、および／または、入力ユニット、例えばキーボード、および／または、ユーザの身体の一部、例えば手および／または指、および／または、光信号的および／または音響的信号、を含み得る。有利には、検出ユニットは、特には入力手段に基づいて、ユーザの入力を２次元空間的および／または３次元空間的に分解して検出するように、構成されていてもよい。特には、検出ユニットは、ユーザの入力を、例えば軌道および／またはジェスチャとして、逐一および／または時間分解して、検出するように、構成されていてもよい。

【0041】

ユーザの入力は、有利には、情報、特には少なくとも１つの入力パラメータ、を有していてもよく、当該情報は、少なくとも１つの仮想オブジェクトの決定、および／または、少なくとも１つの仮想オブジェクトのグラフィック表現の分解能および／またはスケーリングおよび／またはサイズおよび／または位置決めの適応、のための情報である。例えば、ユーザの入力は、少なくとも１つの仮想オブジェクトを決定するためのデータセットの要素および／または特徴および／または情報を選択するための基準、を有し得る。

【0042】

更に、検出ユニットは、ユーザの識別を検出するように、構成されていてもよい。検出ユニットは、相対的位置決めを検出する検出ユニットのセンサを用いて、および／または、さらなるセンサを用いて、ユーザの識別を検出するように、構成されていてもよい。ユーザの識別の検出は、例えば、生体的な特徴、例えば音声プロファイルおよび／または指紋、に基づいて、および／または、ユーザの入力に基づいて、および／または、識別媒体、例えばバーコードおよび／または無線周波数識別システム（英：radiofrequency identification, RFID）に基づいて、行われ得る。処理ユニットは、有利には、ユーザの識別に基づいて、役割を割り当てるように、構成されていてもよい。ユーザの様々な役割は、例えば、特には医療上の、処置の重要性および／またはインタラクションの程度および／またはそれぞれのユーザの専門的技能に基づいて、分類されていてもよい。

【0043】

処理ユニットは、ユーザの異なる識別、特には役割、に対して、拡張現実を少なくとも部分的に異ならせて生成するように、構成されていてもよい。さらに、処理ユニットは、ユーザの異なる識別、特には役割、に対して、拡張現実のグラフィック表現を少なくとも部分的に異ならせて提供するように、構成されていてもよい。検出ユニットは、有利には、追加的に、ユーザの識別、特には役割、に基づいて、観察パラメータを決定する、特には選択する、ように、構成されていてもよい。有利には、検出ユニットは、ユーザの分類された役割に対して、それぞれ少なくとも１つの観察パラメータを、コンピュータ可読データ記憶装置からの取り込みおよび／または読み出しによって、および／または、データ記憶ユニット、例えばデータベース、からの受信によって、決定してもよい。観察パラメータは、例えば、少なくとも１つの仮想オブジェクトを決定するためのデータセットの、要素および／または特徴および／または情報を選択するための基準であって、特にはユーザ固有のおよび／または役割固有の基準、を有し得る。代替的にまたは追加的に、観察パラメータは、少なくとも１つの仮想オブジェクトのグラフィック表現の、分解能および／またはスケーリングおよび／またはサイズおよび／または位置決めに関する命令であって、特にはユーザ固有および／または役割固有の命令、を有し得る。さらに、特にユーザ固有の、観察パラメータは、ユーザ固有のステレオ視差に関する情報、を有し得る。この場合、処理ユニットは、有利には、拡張現実のグラフィック表現を提給する仮想マッピングを、特には拡張現実のグラフィック表現の立体視的な表示のために、観察パラメータに基づいて、ユーザ固有のステレオ視差へ適応させるように、構成されていてもよい。

【0044】

提案される実施形態は、有利には、拡張現実の、特に少なくとも１つの仮想オブジェクトの、グラフィック表現の、ユーザ固有なおよび／またはコンテキスト依存な適応であって、特には手動での適応、を可能にすることができる。

【0045】

提案される表現装置の別の有利な実施形態は、データセットは、表現装置の動作状態において第２表示ユニットが表現面に表示するグラフィック情報に関するパラメータを、有し得る。この場合、処理ユニットはさらに、拡張現実をパラメータに応じて生成するように、構成されていてもよい。

【0046】

パラメータは、第２表示ユニットが表現装置の動作状態において表示するグラフィック情報に関する、オリジナル情報および／または表現情報、を有し得る。ここで、オリジナル情報は、例えば、グラフィック情報のソース、例えば、グラフィック情報を記録および／または提給する医療撮像装置、に関する情報を有し得る。特に、パラメータは、グラフィック情報に関するメタデータを有し得る。さらに、オリジナル情報は、グラフィック情報に関する記録パラメータおよび／または再構成パラメータを有し得る。さらに、オリジナル情報は、位置決め情報を有し得て、当該位置決め情報は、例えば、グラフィック情報のソースの、特には撮影および／または提給のための医療撮像装置の、例えば空間的位置および／または方向づけおよび／または姿勢および／または空間的な撮影領域、を記述する。表現情報は、さらに、グラフィック情報の表示に関する情報を有し得る、例えば、フレームレートおよび／または分解能および／または画像値のコーディング、例えばカラーコーディングまたはグレー値コーディング、を有し得る。

【0047】

処理ユニットは、さらに、パラメータに応じて拡張現実を生成するように、構成されていてもよい。特に、処理ユニットは、少なくとも１つの仮想オブジェクト、特には複数の仮想オブジェクト、をパラメータに応じて決定するように、構成されていてもよい。さらに、処理ユニットは、第１表示ユニットの座標系における、少なくとも１つの仮想オブジェクト、特に複数の仮想オブジェクト、の仮想的な配置をパラメータに応じて適応させるように、構成されていてもよい。これにより、さらに、第２表示ユニットの表現面での少なくとも１つの仮想オブジェクトのグラフィック表現の位置決めは、パラメータに応じて、調整され得る。特に、処理ユニットは、拡張現実、特に少なくとも１つの仮想オブジェクト、を、観察幾何及びパラメータに基づいて、グラフィック情報とともにレジストレーション（重ね合わせ、位置合わせ）するように、構成されていてもよい。処理ユニットは、さらに、拡張現実の、特に少なくとも１つの仮想オブジェクトの、グラフィック表現を、パラメータに応じて調整するように構成されていてもよい。

【0048】

これにより、動作状態において第２表示ユニットの表現面に表示されるグラフィック情報と少なくとも部分的に重畳した状態での、拡張現実のグラフィック表現の没入感を向上させることが可能になる。

【0049】

提案される表現装置の別の有利な実施形態では、データセットは、第１の医療画像データを有し得る。ここで、処理ユニットは、第１の医療画像データに基づいて、拡張現実を生成するように、構成されていてもよい。有利には、第２表示ユニットは、表現装置の動作状態では、第２医療画像データのグラフィック表現を、グラフィック情報として、表現面に表示してもよい。この場合、第１医療画像データおよび第２医療画像データは、検査オブジェクトの少なくとも部分的に共通する検査領域の、マッピングおよび／またはモデル、を有し得る。さらに、表現装置の動作状態では、拡張現実のグラフィック表現は、少なくとも部分的に、第２医療画像データのグラフィック表現と、重畳されていてもよい。

【0050】

第１医療画像データおよび／または第２医療画像データは、有利には、１つの医療撮像装置によって、または、様々な医療撮像装置によって、記録および／または提供されていてもよい。ここで、第１および／または第２医療画像データを記録する少なくとも１つの医療撮像装置は、例えば、医療Ｘ線装置、および／または、磁気共鳴システム（ＭＲＴ）、および／または、コンピュータ断層撮影システム（ＣＴ）、および／または、陽電子放射断層撮影システム（ＰＥＴ）、および／または、超音波装置、および／または、内視鏡、特には腹腔鏡および／または気管支鏡、および／または、カテーテル、として構成されていてもよい。この場合、第１および第２医療画像データは、それらの記録パラメータおよび／または再構成に関して、同一または相異なるものであってよい。さらに、第１および第２医療画像データは、互いにレジストレーションされていてもよい。

【0051】

有利には、第１医療画像データは、特には時間分解された、２次元的なまたは３次元的な空間的に分解されたマッピングであって、検査オブジェクトの少なくとも１つの第１検査領域の、例えば解剖学的領域のおよび／または臓器の、特には中空器官のおよび／または骨構造の、マッピング、を有し得る。さらに、第２医療画像データは、特には時間分解された、２次元的なまたは３次元的な空間的に分解されたマッピングであって、検査オブジェクトの少なくとも１つの第２検査領域の、例えば解剖学的領域のおよび／または臓器の、特には中空器官のおよび／または骨構造の、マッピング、を有し得る。第１および／または第２医療画像データは、例えばシーン、例えば外科用ビデオ、を有し得る。この場合、第１および第２検査領域は、少なくとも部分的に一致し得る。これにより、第１および第２医療画像データは、少なくとも部分的に、検査オブジェクトの共通する検査領域を、マッピングし得る。第１および／または第２医療画像データは、それぞれ、検査オブジェクトの、特には第１および／または第２検査領域の、対比されたマッピング（英：contrasted mapping、独：kontrastierte Abbildung）および／または分割されたマッピング（英：segmented mapping、独：segmentierte Abbildung）を有し得る。検査オブジェクトは、例えば、人間の患者、および／または、動物の患者、および／または、検査ファントム、であり得る。さらに、第１および第２医療画像データは、検査オブジェクトを、特には共通する検査領域を、異なる記録時点に対してまたは少なくとも部分的に同じ記録時点に対して、例えば術前および／または術中に、マップし得る。さらに、第１医療画像データは、第２医療画像データを記録するための、特には内視鏡および／またはカテーテルとして構成された医療撮像装置のマッピング、特には術中におけるマッピング、を有し得る、またその逆も同様である。

【0052】

代替的にまたは追加的に、第１および／または第２医療画像データは、それぞれの検査領域の、特には中空器官の、２Ｄモデルおよび／または３Ｄモデルを有し得る、特には、センターラインモデルおよび／またはボリュームモデル、例えばボリュームメッシュモデル（英：volume mesh model）、を有し得る。

【0053】

処理ユニットは、有利には、拡張現実を第１医療画像データに基づいて生成するように、構成されていてもよい。例えば、処理ユニットは、第１医療画像データにおいてマッピングされている、解剖学的オブジェクト、例えば組織領域および／または器官、特には中空器官、および／または、医療オブジェクト、例えば外科用および／または診断用機器および／またはインプラント、の分割および／または識別によって、少なくとも１つの仮想オブジェクトを決定するように、構成されていてもよい。少なくとも１つの仮想オブジェクトは、分割および／または識別された解剖学的および／または医療的オブジェクトの、例えばマッピングおよび／または仮想表現、例えば２Ｄモデルまたは３Ｄモデル、を有し得る。

【0054】

第２表示ユニットは、有利には、表現装置の動作状態において、第２医療画像データのグラフィック表現を、グラフィック情報として、表示するように、構成されていてもよい。さらに、処理ユニットは、拡張現実のグラフィック表現を以下のように提給するように、構成されていてもよい、すなわち、表現装置の動作状態において、第１表示ユニットによって表示さる拡張現実のグラフィック表現が、第２表示ユニットの表現面における第２医療画像データのグラフィック表現と、少なくとも部分的に重畳されるように、拡張現実のグラフィック表現を提供するように、構成されていてもよい。特に、処理ユニットは、拡張現実のグラフィック表現を以下のように提供するように、構成されていてもよい、すなわち、検査オブジェクトの少なくとも部分的に共通する領域が、拡張現実のグラフィック表現と第２医療画像データのグラフィック表現が重畳された状態で、合同的に配置されているように、拡張現実のグラフィック表現を提供するように、構成されていてもよい。特に、処理ユニットは、拡張現実のグラフィック表現を第２医療画像データのグラフィック表現と、相対的位置決めに基づいて、特には観察幾何に基づいて、レジストレーション（重ね合わせ、位置合わせ）するように、構成されていてもよい。

【0055】

提案される実施形態は、拡張現実のグラフィック表現を、第２表示ユニットの表現面に動作状態において表示される第２医療画像データのグラフィック表現と、少なくとも部分的に重畳して表示することを、可能にすることができる。この場合、第２医療画像データのグラフィック表現の表示は、特にはその画質および／または表示遅延に関して、拡張現実のグラフィック表現の表示から影響を受けないままでいることができる。

【0056】

提案される表現装置の別の有利な実施形態においては、第１画像データは、検査オブジェクトを、３次元的にマッピング（マップ化）することおよび／またはマッピング（モデル化）することができる。さらに、処理ユニットは、第２画像データのグラフィック表現に関して仮想窓を有する拡張現実のグラフィック表現を提供するように、構成されていてもよい。

【0057】

有利には、処理ユニットは、第２表示ユニットの表現面における、特には２次元の、関心領域を、特には第２医療画像データに関して、決定するおよび／または識別するように、構成されていてもよい。この場合、処理ユニットは、例えば、ユーザのさらなる入力に基づいて、および／または、幾何学的特徴、例えば輪郭および／または画像値および／またはコントラスト値、および／または、解剖学的特徴、例えば組織境界および／または血管壁、および／または、第２医療画像データのマーカ構造、に基づいて、関心領域を、決定するおよび／または識別するように、構成されていてもよい。有利には、関心領域は、第２表示ユニットの表現面の、特に連続的でありおよび／または空間的に限定された、少なくとも一部分、を記述してよく、当該一部分には、拡張現実のグラフィック表示における仮想窓を位置決めされ得る。

【0058】

仮想窓は、拡張現実のグラフィック表現の、空間的に限定されたおよび／または連続した、領域を表し得て、この領域は、第２表示ユニットの表現面と少なくとも部分的に重畳した状態において、第２医療画像データのグラフィック表現に対して仮想的な透過性を、有する。有利には、処理ユニットは、拡張現実のグラフィック表現を、特には少なくとも１つの仮想オブジェクトのグラフィック表現を、第２表示ユニットの表現面における関心領域に、配置するように、構成されていてもよい。処理ユニットは、有利には、仮想窓を、２次元的にまたは３次元的に、空間分解して提供するように、構成されていてもよい。仮想窓はさらに、第１医療画像データの少なくとも１つの、特には２次元的または３次元的に空間分解された、領域を有してよい。有利には、処理ユニットは、拡張現実のグラフィック表現を以下のように提給するように、構成されていてもよい、すなわち、検査オブジェクトの少なくとも部分的に共通する領域が、特には共通の幾何学的および／または解剖学的特徴が、拡張現実のグラフィック表現と、特には仮想窓と、第２医療画像データのグラフィック表現が重畳された状態で、合同的に配置されているように、拡張現実のグラフィック表現を提供するように、構成されていてもよい。処理ユニットはさらに、仮想窓を、特には第１医療画像データの領域を、特にはその時点の、観察幾何に応じて、適応させるように構成されていてもよい。さらに、処理ユニットは、仮想窓を、観察パラメータ、および／または、グラフィック情報に関する、特には第２医療画像データに関する、パラメータ、に応じて適応させるように、構成されていてもよい。観察幾何に応じた仮想窓の適応は、有利には、第２表示ユニットの表現面における、特には関心領域における、拡張現実の仮想マッピングであって、表現面に対して奥行き次元を有する拡張現実の仮想マッピング、を含み得る。この場合、拡張現実の、特には少なくとも１つの仮想オブジェクトの、表現面へのマッピングは、例えば、観察幾何に沿った、仮想投影マッピング、および／または、レイトレーシング（英：ray tracing）、および／または、写像行列に従うレンダリング、特には第１医療画像データを記録および／または提供する医療撮像装置の写像行列および／またはカメラ行列に従うレンダリング、に基づいていてもよい。さらに、奥行き次元（英：depth dimension、独：Tiefendimension）は、第２表示ユニットの表現面に対して、略垂直に延在し得る。特に、第２表示ユニットの表現面における関心領域は、透過性の空間領域を制限し得て、当該透過性は、拡張現実のグラフィック表現との、特には仮想窓との、重畳により、提供される。

【0059】

提案される実施形態は、有利には、第２表示ユニットの表現面で、仮想窓を通しての、拡張現実のグラフィック表現の第１医療画像データの没入的な観察を可能にすることができる。

【0060】

提案される表現装置の別の有利な実施形態においては、検査オブジェクトの共通する領域は、囲繞中空空間を含み得る。この場合、仮想窓は、中空空間の囲繞部であって、拡張現実の第２表示ユニットの表現面への仮想マッピングに関する仮想平面によって切断される囲繞部、により、限定されていてもよい。

【0061】

囲繞中空空間は、特には組織および／または構造および／または組織境界によって、空間的に限定された、特には液体で満たされた、検査オブジェクトの中空空間を、例えば中空器官を、表し得る。中空器官は、例えば、血管の一部、特には動脈または静脈、および／または、肺、および／または、腸、および／または、心臓、を含み得る。

【0062】

有利には、処理ユニットは、第２表示ユニットの表現面における関心領域を、特には第２医療画像データに関して、中空空間の囲繞部に基づいて決定するおよび／または識別するように、構成されていてもよい。拡張現実を第２表示ユニットの表現面に仮想マッピングする場合、中空空間の囲繞部は、特には第２表示ユニットの表現面に対して平行のまたは傾斜した、仮想平面によって、切断され得る。この場合、中空空間の切断された囲繞部は、特には閉じているかまたは破断している、輪郭を有し得る。処理ユニットは、有利には、中空空間の切断された囲繞部の輪郭を、特には拡張現実の仮想マッピングの際に、決定するおよび／または識別するように、構成されていてもよく、それは例えば画像値および／またはコントラスト値に基づいて行われる。有利には、処理ユニットは、関心領域を、特には連続した、面として、決定するおよび／または識別するように、構成されていてもよく、当該面は、切断された囲繞部の輪郭により境界付けされる。特に、切断された中空空間の輪郭は、透過性の空間領域を限定し得て、当該空間領域は、拡張現実のグラフィック表現とも、特には仮想窓との、重畳によって提供される。仮想窓を２次元的に構成する場合、処理ユニットは、仮想窓を、関心領域に対応させて、特には中空空間の切断された囲繞部によって、空間的に限定して決定するように、構成されていてもよい。仮想窓を３次元的に構成する場合、処理ユニットは、仮想窓を、追加的に表現面の奥行き次元に沿って、中空空間の囲繞部によって限定するように、構成されていてもよい。

【0063】

これにより、縁取られた中空空間のリアルな表現、及び、仮想窓を通してのその観察、が可能になる。

【0064】

提案される表現装置の別の有利な実施形態においては、処理ユニットは、第２画像データへマッピングされる少なくとも１つのオブジェクトの仮想継続部を有する拡張現実のグラフィック表現を提供するように、構成されていてもよい。さらに、第１表示ユニットは、第２表示ユニットの表現面の外側および／または近傍に、仮想継続部を表示するように、構成されていてもよい。

【0065】

有利には、処理ユニットは、第２医療画像データにおける少なくとも１つの、特には解剖学的および／または医療的および／または幾何学的な、オブジェクトを、識別するように、構成されていてもよく、それは、例えば、画像値および／またはコントラスト値および／またはマーカ構造および／または解剖学的アトラスに基づいて行われる。第２医療画像データにおける少なくとも１つのオブジェクトの識別は、例えば分割（セグメント化）を含み得る。さらに、処理ユニットは、第１医療画像データにおけるオブジェクトであって、少なくとも１つのオブジェクトに対応するオブジェクトを識別するように、構成されていてもよく、それは、例えば第１医療画像データと第２医療画像データとの間のレジストレーションに基づいて、および／または、画像値および／またはコントラスト値および／またはマーカ構造および／または解剖学的アトラスに基づいて、行われる。この場合、第１医療画像データにおける少なくとも１つの対応的なオブジェクトの識別は、例えば分割（セグメント化）を含み得る。有利には、処理ユニットは、さらに、対応するオブジェクトのマッピングおよび／または仮想表現、特にはモデル、を有する仮想継続部を、第１医療画像データに基づいて、決定するように、構成されていてもよい。さらに、処理ユニットは、仮想継続部が表現装置の動作状態において第２表示ユニットの表現面の外側および／または近傍に表示されるように、拡張現実を、第２表示ユニットの表現面に仮想的にマッピングするように、構成されていてもよい。この場合、仮想継続部は、第２表示ユニットの表現面と平行な面に配置されていてもよい、または、表現面に対して所定の角度で配置されていてもよい。

【0066】

これにより、拡張現実のグラフィック表現の、第２表示ユニットの表現面とレジストレーションされつつも、表現面によっては空間的に限定されてはいない表示、を可能とすることができる。

【0067】

本発明は、第２態様においては、提案される表現装置と、特には複数の提案される表現装置と、第２表示ユニットと、医療撮像装置と、を備えるシステムに関する。ここで、医療撮像装置は、第１医療画像データおよび／または第２医療画像データを記録および／または提供するように、構成されている。さらに、第２表示ユニットは、第２医療画像データのグラフィック表現を表現面に表示するように、構成されている。

【0068】

提案されるシステムの有利な点は、基本的に、拡張現実のグラフィック表現を表示するための提案される表現装置の有利な点に、対応する。ここで記載された特徴、有利な点、または、代替的な実施形態は、同様に、別の請求される対象にも適用可能であり、またその逆も同様である。

【0069】

提案される表現装置の別の有利な実施形態においては、医療撮像装置は、少なくとも部分的に検査オブジェクトの検査領域に配置されるように、構成されていてもよい。

【0070】

医療撮像装置は、例えば内視鏡として、特には腹腔鏡および／または気管支鏡として、および／または、カテーテルとして、構成されていてもよい。ここで、医療撮像装置の遠位部は、システムの作動状態においては、検査オブジェクト、特には検査オブジェクトの中空器官、に配置されていてもよい。さらに、医療撮像装置の遠位部は、第１および／または第２医療画像データを記録するように、構成されていてもよい。

【0071】

本発明は、第３態様においては、拡張現実のグラフィック表現を提供するための方法に関する。ここで、第２表示ユニットの表現面に対する第１表示ユニットの相対的位置決めは、検出ユニットを用いて検出される。さらに、グラフィック情報は、第２表示ユニットの表現面に表示される。さらに、第１表示ユニットと第２表示ユニットの表現面との間の観察幾何は、相対的位置決めに基づいて、決定される。さらに、データセットは、受信される。さらに、拡張現実は、データセットに基づいて生成される。さらに、拡張現実のグラフィック表現は、拡張現実を第２表示ユニットの表現面に観察幾何に沿って仮想マッピングすることにより、提供される。ここで、提供は、第１表示ユニットを用いて、拡張現実のグラフィック表現を、第２表示ユニットの表現面においてグラフィック情報と少なくとも部分的に重畳させて表示すること、を含む。

【0072】

提案される方法の有利な点は、基本的に、拡張現実のグラフィック表現を表示するための提案される表現装置の有利な点に、対応する。ここで記載された特徴、有利な点、または、代替的な実施形態は、同様に、別の請求される対象にも適用可能であり、またその逆も同様である。本発明に係る装置、特には表現装置および／またはシステムは、有利には、提案される方法の実施形態を実行するように、構成されていてもよい。

【0073】

本発明の実施形態例は、図面に示されており、以下においてより詳細に説明される。異なる図においては、同一の特徴に対しては、同一の参照符号が用いられている。

【図面の簡単な説明】

【0074】

【図1】図１は、拡張現実のグラフィック表現を表示するための表現装置の有利な実施形態の概略図を示す。

【図2】図２は、拡張現実のグラフィック表現を表示するための表現装置の別の有利な実施形態の概略図を示す。

【図3】図３は、拡張現実のグラフィック表現を表示するための表現装置の更に別の有利な実施形態の概略図を示す。

【図4】図４は、仮想窓を有する拡張現実の仮想マッピングの概略図を示す。

【図5】図５は、提案されるシステムの有利な実施形態の概略図を示す。

【図6】図６は、拡張現実のグラフィック表現を提供するための提案される方法の概略図を示す。

【発明を実施するための形態】

【0075】

図１には、拡張現実のグラフィック表現を表示するための、提案される表現装置の、有利な実施形態が概略的に示されている。表現装置は、検出ユニットＲＵと、第１表示ユニットＶＩＳ．１と、処理ユニット２２とを有し得る。この場合、第１表示ユニットＶＩＳ．１は、少なくとも部分的に透明であるように構成されていてもよい。さらに、検出ユニットＲＵは、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに対する第１表示ユニットＶＩＳ．１の相対的位置決めを検出するように構成されていてもよい。検出ユニットＲＵは、例えば、相対的位置決めを検出する光学的なおよび／または電磁的なおよび／または音響的なセンサを有し得る。さらに、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓは、グラフィック情報ＧＩを表示するように構成されていてもよい。第２表示ユニットＶＩＳ．２は、例えば、スクリーンおよび／またはモニタおよび／またはプロジェクタおよび／または投影面を有し得る。ここで、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓは、投影面および／またはスクリーンの表示層および／またはモニタの表示層を含んでよい。特に、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓは、限定された領域を含み得て、そこにはグラフィック情報ＧＩが表示可能である。ここで、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓは、少なくとも部分的に、特には全体的に、平坦に、特に平面的に、または湾曲して、延在してよい。グラフィック情報ＧＩは、特には医療に関する、画像データおよび／またはテキスト情報、例えば、動作パラメータ、および／または、特には医療に関する、オブジェクトのオブジェクトパラメータ、および／または、医療画像データに関するメタデータ、を含み得る。

【0076】

さらに、処理ユニット２２は、第１表示ユニットＶＩＳ．１と第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓとの間の観察幾何を、相対的位置決めに基づいて、決定するように、構成されていてもよい。処理ユニット２２はさらに、データセットを受信するように、構成されていてもよい。有利には、処理ユニット２２は、第１表示ユニットＶＩＳ．１と検出ユニットＲＵとに、例えば信号２２．Ｓを用いて、通信可能に接続されていてもよい。また、処理ユニット２２は、拡張現実をデータセットに基づいて生成するように、構成されていてもよい。さらに、処理ユニット２２は、拡張現実を第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに観察幾何に沿って仮想マッピングすることにより拡張現実のグラフィック表現Ｇ．ＡＲを提供するように、構成されていてもよい。

【0077】

第１表示ユニットＶＩＳ．１は、有利には、拡張現実のグラフィック表現Ｇ．ＡＲを第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓと少なくとも部分的に重畳させて、特に立体視的に、表示するように、構成されてよい。このために、第１表示ユニットＶＩＳ．１は、例えば、スクリーンおよび／またはモニタおよび／またはプロジェクタおよび／または投影面を有し得る。有利には、第１表示ユニットＶＩＳ．１は、眼鏡、特にはスマートグラス、および／またはヘルメット、特にヘッドマウントディスプレイとして、構成されていてもよい。さらに、第１表示ユニットＶＩＳ．１は、携帯可能であるように、特にユーザＵによってそのユーザＵの視野内でウェアラブルであるように、構成されていてもよい。

【0078】

この場合、検出ユニットＲＵは、少なくとも部分的に第１表示ユニットＶＩＳ．１に組み込まれていてもよい。さらに、検出ユニットＲＵは、第１表示ユニットＶＩＳ．１に対して定義された、特に位置固定された構成を有し得る。有利には、検出ユニットＲＵは、第２表示ユニットＶＩＳ．２が表現装置の動作状態では検出ユニットＲＵの検出領域に配置されているように、少なくとも部分的に第１表示ユニットＶＩＳ．１に組み込まれていてもよい。

【0079】

有利には、処理ユニット２２はさらに、相対的位置決めが変化する場合、第１表示ユニットＶＩＳ．１と第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓとの間の観察幾何を繰り返し決定するように、構成されていてもよい。加えて、処理ユニット２２は、相対的位置決めが変化する場合、拡張現実のグラフィック表現Ｇ．ＡＲを最後に決定された観察幾何に基づいて提供するように、構成されてよい。

【0080】

拡張現実のグラフィック表現Ｇ．ＡＲは、有利には、拡張現実の少なくとも１つの仮想オブジェクトのグラフィック表現を有し得る。この場合、検出ユニットＲＵは、観察パラメータを相対的位置決めに基づいて決定するように、構成されていてもよい。さらに、処理ユニット２２は、少なくとも１つの仮想オブジェクトを観察パラメータに基づいて決定するように、構成されていてもよい。代替的にまたは追加的に、処理ユニット２２は、少なくとも１つの仮想オブジェクトのグラフィック表現の分解能および／またはスケーリングおよび／またはサイズおよび／または位置決めを観察パラメータに基づいて適応させるように、構成されていてもよい。

【0081】

検出ユニットＲＵはさらに、表現装置の動作状態における第１表示ユニットＶＩＳ．１を通して見るユーザＵの入力および／または識別を検出するように、構成されていてもよい。加えて、検出ユニットＲＵは、観察パラメータを追加的にユーザＵの入力および／または識別に基づいて決定するように、構成されていてもよい。

【0082】

有利には、データセットは、表現装置の動作状態において第２表示ユニットＶＩＳ．２が表現面ＶＩＳ．Ｓに表示するグラフィック情報ＧＩに対するパラメータを有し得る。さらに、処理ユニット２２は、拡張現実をパラメータに応じて生成するように、構成されていてもよい。

【0083】

図２は、提案される表現装置の別の有利な実施形態の概略図を示す。この場合、検出ユニットＲＵは、第１表示ユニットＶＩＳ．１および第２表示ユニットＶＩＳ．２から離間して配置されていてもよく、特には表現装置の動作状態において第１表示ユニットＶＩＳ．１および第２表示ユニットＶＩＳ．２が配置されている空間に対して位置固定的に配置されていてもよい。有利には、検出ユニットＲＵは、第１表示ユニットＶＩＳ．１および第２表示ユニットＶＩＳ．２が表現装置の動作状態において検出ユニットＲＵの検出領域に配置されているように、配置されていてもよく、特に位置決めされていてもよい。加えて、検出ユニットＲＵは、相対的位置決めを第１表示ユニットＶＩＳ．１および第２表示ユニットＶＩＳ．２の物理的特徴に基づいて検出するように、構成されていてもよい。

【0084】

図３には、提案される表現装置の別の有利な実施形態が概略的に示されている。この場合、検出ユニットＲＵは、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに可視的および／または不可視的に表示されるグラフィックマーカ構造ＰＭに基づいて相対的位置決めを検出するように、構成されていてもよい。グラフィックマーカ構造ＰＭは、有利には、例えば幾何形状および／または定義されたパターンといったグラフィック位置マークの２次元的な配列であって、特には第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに対して静止している、２次元的な配列を含み得る。さらに、検出ユニットＲＵは、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに対する第１表示ユニットＶＩＳ．１の相対的位置決めを検出されたグラフィックマーカ構造に基づいて、特にはグラフィックマーカ構造ＰＭの空間的位置決めに基づいて検出するように、構成されていてもよい。

【0085】

図４は、仮想窓ＷＷを有する拡張現実ＡＲの仮想マッピングの概略図を示す。この場合、データセットは、第１医療画像データを有し得る。加えて、処理ユニット２２は、拡張現実ＡＲを第１医療画像データに基づいて生成するように、構成されていてもよい。更に、第２表示ユニットＶＩＳ．２は、表現装置の動作状態において第２医療画像データのグラフィック表現を表現面ＶＩＳ．Ｓに表示することができる。この場合、第１医療画像データおよび第２医療画像データは、検査オブジェクトの少なくとも部分的に共通する検査領域のマッピングおよび／またはモデルを、描写できる。有利には、第１医療画像データは、検査オブジェクトを３次元的に描写できる。さらに、拡張現実ＡＲのグラフィック表現Ｇ．ＡＲは、少なくとも部分的に第２医療画像データのグラフィック表現と重畳されていてもよい。さらに、処理ユニット２２は、第２画像データのグラフィック表現に関して仮想窓ＷＷを有する拡張現実ＡＲのグラフィック表現Ｇ．ＡＲを提供するように、構成されていてもよい。

【0086】

有利には、検査オブジェクトの共通する領域は、囲繞中空空間ＨＯ、例えば中空器官、を含み得る。中空器官は、例えば血管部分、特には動脈または静脈、および／または肺および／または腸および／または心臓、を含み得る。この場合、仮想窓ＷＷは、中空空間ＨＯの囲繞部ＶＷであって、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓへの拡張現実ＡＲの仮想マッピングにおいて仮想平面ＶＰによって切断される囲繞部ＶＷによって、限定されていてもよい。拡張現実ＡＲを第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに仮想マッピングする際、中空空間ＨＯの囲繞部ＶＷは、仮想平面ＶＰであって、特には第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに対して平行な、仮想平面ＶＰによって、切断され得る。ここで、切断された中空空間ＨＯの囲繞部ＶＷは、特には閉じているかまたは破断している、輪郭ＷＷ．Ｃを有してもよい。特に、中空空間ＨＯの切断された囲繞部ＶＷの輪郭ＷＷ．Ｃは、透明部分の空間領域を限定することができ、当該透明部分は拡張現実ＡＲのグラフィック表現Ｇ．ＡＲ、特には仮想窓ＷＷ、との重畳により提供される。有利には、処理ユニット２２は、仮想平面ＶＰにより切断された中空空間の囲繞部、特に輪郭ＷＷ．Ｃ、に対応させて、仮想窓ＷＷを空間的に限定して決定するように、構成されていてもよい。仮想窓ＷＷを３次元構成する場合、処理ユニット２２はそれに加えて、表現面ＶＩＳ．Ｓの奥行き次元に沿って中空空間ＨＯの囲繞部ＶＷを通って仮想窓ＷＷを限定するように、構成されていてもよい。説明のため、図４には、第１表示ユニット越しに見ているユーザＵの２つの例示的な観察位置Ｐ．１および観察位置Ｐ．２が示されている。この場合、拡張現実ＡＲのグラフィック表現Ｇ．ＡＲと重ね合わされた表示であって、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓにおける第２画像データのグラフィック表現の表示は、特にその時点における、視点位置Ｐ．１またはＰ．２に応じて、ユーザＵの相異なる視線方向ＶＤ．１またはＶＤ．２で、観察され得る。視線方向ＶＤ．１に対する限定光線ＶＤ．１Ｂおよび視線方向ＶＤ．２に対する限定光線ＶＤ２．Ｂは、表現面ＶＩＳ．Ｓの奥行き次元に沿って中空空間ＨＯの囲繞部ＶＷを通る仮想窓ＷＷの、特には視覚的な、限定を図解している。この場合、拡張現実ＡＲのグラフィック表現Ｇ．ＡＲを提供するための第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓにおける拡張現実ＡＲの仮想マッピングは、観察幾何に沿った、例えば仮想投影マッピング（英：virtual projection mapping）および／またはレイトレーシング（英：ray-tracing）および／または、写像行列（英：mapping matrix）に従うレンダリング、特には第１医療画像データを記録および／または提供するための医療撮像装置の写像行列および／またはカメラ行列に従うレンダリング、に基づいていてもよく、特にはユーザＵの観察位置Ｐ．１もしくはＰ．２および／または視線方向ＶＤ．１もしくはＶＤ．２に依存した状態で、基づいていてもよい。

【0087】

図５には、提案されるシステムが概略的に示されている。システムは、表現装置と、第２表示ユニットＶＩＳ．２と、医療撮像装置ＭＤとを有し得る。この場合、医療撮像装置ＭＤは、少なくとも部分的に、検査オブジェクト３１の、特には患者載置装置３２に配置されている検査オブジェクト３１の、検査領域ＲＥ内に、特には中空器官内に、配置されるように、構成されていてもよい。有利には、医療撮像装置ＭＤは、第１および／または第２医療画像データを記録および／または提供するように、構成されていてもよい。さらに、第２表示ユニットＶＩＳ．２は、第２医療画像データのグラフィック表現を表現面ＶＩＳ．Ｓに表示するように、構成されていてもよい。

【0088】

処理ユニット２２は、有利には、少なくとも１つの、第２画像データにおいてマッピングされる、特には解剖学的および／または医療的および／または幾何学的な、オブジェクトＧ．ＯＢの、仮想連続部Ｇ．ＶＦを有する拡張現実ＡＲのグラフィック表現Ｇ．ＡＲを提供するように、構成されていてもよい。図５には、一例として、中空器官が、少なくとも１つの第２画像データにおいてマッピングされるオブジェクトＧＩ．ＯＢとして、示されている。ここで、第１表示ユニットＶＩＳ．１は、仮想連続部Ｇ．ＶＦを第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓの外側および／またはそれと境を接して表示するように、構成されていてもよい。この場合、仮想連続部Ｇ．ＶＦは、有利には、医療オブジェクトおよび／または中空器官内の医療撮像装置ＭＤに対するグラフィックパスプラニング情報Ｇ．ＰＰを含み得る。

【0089】

図６には、拡張現実ＡＲのグラフィック表現Ｇ．ＡＲを提供ＰＲＯＶ－Ｇ．ＡＲするための提案される方法の有利な実施形態が、概略的に示されている。この場合、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに対する第１表示ユニットＶＩＳ．１の相対的位置決めＰＯＳは、検出ユニットＲＵを用いて、検出され得る。さらに、グラフィック情報ＧＩは、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに表示ＶＩＳＵ－ＧＩされ得る。さらに、第１表示ユニットＶＩＳ．１と第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓとの間の観察幾何ＧＥＯは、相対的位置決めＰＯＳに基づいて、決定ＤＥＴ－ＧＥＯされ得る。加えて、データセットＤＳが、受信ＲＥＣ－ＤＳされ得る。さらに、拡張現実ＡＲは、データセットＤＳに基づいて生成ＧＥＮ－ＡＲされ得る。さらに、拡張現実のグラフィック表現Ｇ．ＡＲは、観察幾何ＧＥＯに沿って第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓに拡張現実ＡＲを仮想マッピングすることにより、提供ＰＲＯＶ－Ｇ．ＡＲされ得る。この場合、提供ＰＲＯＶ－Ｇ．ＡＲは、第１表示ユニットＶＩＳ．１を用いて、第２表示ユニットＶＩＳ．２の表現面ＶＩＳ．Ｓにおけるグラフィック情報ＧＩと少なくとも部分的に重畳させて、拡張現実のグラフィック表現Ｇ．ＡＲを表示ＶＩＳＵ－Ｇ．ＡＲすることを含み得る。

【0090】

記載される図面に含まれる概略的な表現は、いかなる縮尺または寸法比も描写しない。

【0091】

最後に、上記で詳述した方法および装置は、本発明の範囲から逸脱することなく、当業者であれば多種多様な方法で修正することができる実施形態例にすぎないことを改めて指摘する。さらに、不定冠詞「ｅｉｎ」または「ｅｉｎｅ」（英語であれば不定冠詞「ａ」や「ａｎ」）の使用は、該当する特徴が複数存在する可能性もあることを排除するものではない。同様に、「ユニット」および「要素」という概念は、該当する構成要素が複数の協働するサブ構成要素からなることを排除するものではなく、これらサブ構成要素は、必要に応じて空間的に散在していてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】