特許 7566013 拡張現実における医療用ビューの配置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】拡張現実における医療用ビューの配置

(51)【国際特許分類】

   A61B 34/20 20160101AFI20241004BHJP

   G06T 19/00 20110101ALI20241004BHJP

【ＦＩ】

A61B34/20

G06T19/00 600

【請求項の数】 14

(21)【出願番号】P 2022515117

(86)(22)【出願日】2021-01-28

(65)【公表番号】

(43)【公表日】2023-04-20

(86)【国際出願番号】 EP2021051952

(87)【国際公開番号】W WO2022161610

(87)【国際公開日】2022-08-04

【審査請求日】2022-03-07

【前置審査】

(73)【特許権者】

【識別番号】514130426

【氏名又は名称】ブレインラボ アーゲー

(74)【代理人】

【識別番号】110001999

【氏名又は名称】弁理士法人はなぶさ特許商標事務所

(72)【発明者】

【氏名】クリスチャン シュマラー

(72)【発明者】

【氏名】ユリアーネ ヴァインツィール

(72)【発明者】

【氏名】オリバー フレイグ

【審査官】近藤 裕之

(56)【参考文献】

【文献】特表２０１５－５０４３２０（ＪＰ，Ａ）

【文献】特表２０１９－５１９２５７（ＪＰ，Ａ）

【文献】特表２０１７－５２３８１７（ＪＰ，Ａ）

【文献】国際公開第２０１８／１９２６４９（ＷＯ，Ａ１）

【文献】国際公開第２００８／０３６０５０（ＷＯ，Ａ２）

【文献】米国特許出願公開第２０１７／０１８６１５７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

拡張現実デバイス（７）によって提供される視野の再構成画像拡張を決定するコンピュータ実装の医療方法であって、
患者の身体部分（８）の少なくとも１つの３次元画像表現を記述する３Ｄ画像データを取得するステップ（Ｓ１１）と、
デバイス又は器具（１１）を含む少なくとも１つのオブジェクト（８、１１、１２）の空間位置と前記拡張現実デバイス（７）の空間位置とを記述するオブジェクト位置データを取得するステップ（Ｓ１２）と、
前記３Ｄ画像データに基づいて、前記３次元画像表現から計算される少なくとも１つの２次元再構成画像（９、１０）を記述する再構成画像データを決定するステップ（Ｓ１３）であって、前記３次元画像表現に対する前記少なくとも１つの２次元再構成画像の位置が、前記患者の身体部分（８）に対する前記デバイス又は器具（１１）の前記空間位置に基づいて決定されるステップと、
前記再構成画像データ及び前記オブジェクト位置データに基づいて、前記拡張現実デバイス（７）によって提供される前記視野内に表示される前記少なくとも１つの２次元再構成画像（９、１０）を描写する、画像拡張データを決定するステップ（Ｓ１４）であって、前記表示される少なくとも１つの２次元再構成画像（９、１０）の位置及び／又は少なくとも１つの方向が、
手術室の少なくとも一時的に静的な設置物の１つ又は複数の部位、
前記デバイス又は器具（１１）の１つ又は複数の部位、
可動式及び／又は電動式である、医療デバイス又は医療装置の１つ又は複数の部位、
１つ以上の解剖学的方向を含む、前記患者の人体の１つ又は複数の部位、
からなるグループから選択される前記少なくとも１つのオブジェクト（８、１１、１２）の前記空間位置に関して定義されるステップと、を含み、
前記少なくとも１つの２次元再構成画像は、前記患者の身体部分（８）に対する前記デバイス又は器具（１１）の前記空間位置に依存する、前記３次元画像表現の２次元スライスに基づいていることを特徴とする方法。

【請求項2】

前記３Ｄ画像データを取得するステップは、画像モダリティを用いて前記患者の身体部分の前記３次元画像データセットを生成すること、或いは、画像モダリティを用いて生成された前記患者の身体部分の前記３次元画像データセットを取得することを含み、前記画像モダリティが、ＣＴ画像モダリティ、ＭＲＩ画像モダリティ、超音波画像モダリティからなる群から選択されることを特徴とする請求項１記載の方法。

【請求項3】

前記画像データセットが、解剖学的アトラスから検索された人工画像データで登録及び補完されることを特徴とする請求項１又は２記載の方法。

【請求項4】

前記再構成画像データを取得するステップは、前記患者の身体部分（８）に対して移動可能であり、デバイス位置及び少なくとも１つのデバイス方向を規定するデバイス本体を有するデバイスを使用することを含み、更に、
前記患者の身体部分（８）の３次元画像表現に対する前記少なくとも１つの再構成画像（９、１０）の少なくとも１つの方向が、前記患者の身体部分（８）に対する前記少なくとも１つのデバイス方向に基づいて決定されることと、
前記患者の身体部分（８）の３次元画像表現に対する前記少なくとも１つの再構成画像（９、１０）の少なくとも１つの方向が、前記患者の少なくとも１つの解剖学的方向に基づいて決定されることと、
のうちの少なくとも１つを含むことを特徴とする請求項１から３のいずれか１項記載の方法。

【請求項5】

前記オブジェクト位置データは、
静的座標系内で、前記少なくとも１つのオブジェクト（８、１１、１２）の前記空間位置及び前記拡張現実デバイス（７）の前記空間位置を追跡するように適合された外部の医療追跡システムと、
前記拡張現実デバイスの前記空間位置に関して、前記拡張現実デバイス（７）に結合された座標系内で、前記少なくとも１つのオブジェクト（８、１１、１２）の前記空間位置を追跡するように適合された追跡システムと、
のうちの少なくとも１つを介して取得されることを特徴とする請求項１から４のいずれか１項記載の方法。

【請求項6】

前記画像拡張データを決定するステップは、前記少なくとも１つの２次元再構成画像（９、１０）の前記画像位置及び／又は前記少なくとも１つの画像方向を、前記少なくとも１つのオブジェクト（８、１１、１２）と位置合わせすることを含み、これによって、前記少なくとも１つの２次元再構成画像（９、１０）は、
前記少なくとも１つのオブジェクト（８、１１、１２）に関して予め定められた距離及び／又は予め定められた方向に、前記画像（９、１０）及び前記オブジェクト（８、１１、１２）が前記視野内で互いに妨げない位置に配置されることと、
予め定められた方向で、前記視野内の対応する実際の構造と一致する、又は前記対応する実際の構造に対して予め定められた量だけオフセットした、構造（１３）の表現を示すように配置されることと、
前記患者の解剖学的方向に対して平行又は垂直に配向された、少なくとも１つの方向ベクトルを備えた画像平面を有することと、
静的座標系の空間方向、重力ベクトル、手術室に割り当てられた座標系の垂直方向、又は手術室に割り当てられた座標系の水平方向に依存して配向された、少なくとも１つの方向ベクトルを備えた画像平面を有することと、
器具（１１）の本体又はデバイス本体によって定義される空間方向に依存して配向された、少なくとも１つの方向ベクトルを備えた画像平面を有することと、
のうちの少なくとも１つに該当し、
前記位置合わせが、前記拡張現実デバイス（７）によって提供される現在の前記視野に従って更新されることを特徴とする請求項１から５のいずれか１項記載の方法。

【請求項7】

前記少なくとも１つの再構成画像（９、１１）に示されるような、前記患者の人体（８）に割り当てられた少なくとも１つの解剖学的方向が、前記視野で見られるような、実際の前記患者の人体（８）に割り当てられた対応する解剖学的方向と平行であることを特徴とする請求項１から６のいずれか１項記載の方法。

【請求項8】

少なくとも２つの再構成画像（９、１１）が、前記拡張現実デバイス（７）によって提供される前記視野内で互いに対して位置合わせされ、１つ又は複数の再構成画像（９、１１）のペアが互いに対して方向付けられ、これによって、前記画像のペアの第１の再構成画像（９）の画像平面は、
前記画像のペアの第２の再構成画像（１０）の、画像平面の方向ベクトルと平行な方向ベクトルと、
前記画像のペアの第２の再構成画像（１０）の、画像平面の方向ベクトルと垂直な方向ベクトルと、
のうちの少なくとも１つを有することを特徴とする請求項１から７のいずれか１項記載の方法。

【請求項9】

前記少なくとも１つの再構成画像（９、１０）は、予め定められた又は調整可能な寸法を有する仮想画像フレーム（１４）に取り囲まれることを特徴とする請求項１から８のいずれか１項記載の方法。

【請求項10】

前記少なくとも１つの２次元再構成画像（９、１０）は、更に、前記拡張現実デバイス（７）に割り当てられた照準線に応じて、前記視野内に位置付けられる及び／又は方向付けられることを特徴とする請求項７から９のいずれか１項記載の方法。

【請求項11】

前記照準線と前記少なくとも１つの画像（９、１０）の画像平面との間の角度が予め定められた値以下になった場合に、前記少なくとも１つの２次元再構成画像（９、１０）の前記画像位置及び／又は前記少なくとも１つの画像方向が変更されることを特徴とする請求項１０記載の方法。

【請求項12】

コンピュータプログラムであって、該プログラムがコンピュータ（５）によって実行されるときに、該コンピュータ（５）に請求項１から１０のいずれか１項記載の方法を実行させる命令を含むコンピュータプログラム。

【請求項13】

少なくとも１つのプロセッサと、請求項１２に記載のプログラムが記録されたコンピュータ読み取り可能な少なくとも１つの記憶媒体（６）とを含むコンピュータ（５）であって、前記プログラムが前記少なくとも１つのプロセッサによって実行されることを特徴とするコンピュータ（５）。

【請求項14】

医療システム（４）であって、
ａ）請求項１３に記載の少なくとも１つのコンピュータ（５）と、
ｂ）少なくとも３Ｄ画像データを記憶する少なくとも１つの電子データ記憶デバイス（６）と、
ｃ）患者に対する医療処置の実施を支援するための拡張現実デバイス（７）と、を含み、
前記少なくとも１つのコンピュータは、
前記少なくとも１つの電子データ記憶デバイス（６）から、少なくとも前記３Ｄ画像データを取得するために、前記少なくとも１つの電子データ記憶デバイス（６）と、
前記画像拡張データに基づいて、前記拡張現実デバイス（３）の動作を制御するための制御信号を、前記拡張現実デバイス（３）に発行するために、前記拡張現実デバイス（３）と、に対して動作可能に結合されていることを特徴とする医療システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実デバイスによって提供される視野における再構成画像拡張を決定するためのコンピュータ実装方法、対応するコンピュータプログラム、そのようなプログラムを記憶するコンピュータ可読記憶媒体、及びそのプログラムを実行するコンピュータ、並びに電子データ記憶デバイスと前記コンピュータとを含む医療システムに関する。

【背景技術】

【0002】

近年、医療分野では、ここでは拡張現実とも呼ばれる複合現実が重要視されている。特に、患者に対する処置の実行を支援するため、又はそのような処置の計画を立てるために、医療従事者の視野に追加の情報が映し出される。これには、人間が知覚する物理的世界と正しい位置関係で、仮想オブジェクト情報をオーバーレイすることが含まれる場合がある。仮想オーバーレイがオペレータの視野内の物理的世界と正しく位置合わせされている場合、仮想オブジェクトと物理オブジェクトとは融合されているように見える。しかしながら、用途によっては、現実世界のオブジェクトと位置合わせされない、例えば視野内の仮想スクリーンなどの情報を提供することが望ましい場合がある。

【0003】

本発明は、ユーザの視野内に仮想オーバーレイを提供するアプローチを、人間工学の観点から改善することを目的とする。例えば、仮想オーバーレイを、その視野を乱すことなく、或いは仮想オーバーレイによって現実世界の対象領域を妨害することなく、ユーザによって容易に認識されるように視野内に配置することが望ましい。更に、本発明の目的は、例えば、仮想オーバーレイ内に示される仮想対応部分を有する医療器具又はデバイスを操作する際に、目と手の協応を改善するために、仮想オーバーレイによって提供される追加情報の知覚を改善することにある。

【0004】

本発明は、例えば、ブレインラボ アーゲーの製品である「Ｃｕｒｖｅ（登録商標）」及び「Ｋｉｃｋ（登録商標）」などの画像誘導手術用システム、及び／又はマジックリープ株式会社の製品である「Ｍａｇｉｃ Ｌｅａｐ Ｏｎｅ（登録商標）」などの拡張現実デバイスに関連して、医療従事者の視野を拡張することによって提供される支援を伴う、あらゆる医療処置に使用することが可能である。本発明の形態、実施例及び例示的なステップ、並びにそれらの実施形態は、以下に開示される。本発明の異なる例示的な特徴は、技術的に好都合で実現可能であれば如何なるときも、本発明に従って組み合わせることができる。

【発明の概要】

【0005】

（発明の例示的な短い説明）
以下では、本発明をこのセクションで説明した特徴又は特徴の組み合わせにのみ限定すると理解されてはならない、本発明の具体的な特徴の簡単な説明が行われる。

【0006】

開示された方法は、拡張現実デバイスによって提供される視野の再構成画像拡張を決定することを含み、視野内の少なくとも１つの２次元再構成画像の、画像位置及び／又は少なくとも１つの画像方向は、少なくとも１つのオブジェクトの空間位置、特に拡張現実デバイスと少なくとも１つのオブジェクトとの相対空間位置に依存する。

【0007】

（発明の概要）
このセクションでは、本発明の大まかな特徴について、例えば、本発明の可能な実施形態を参照しながら説明する。

【0008】

概して、本発明は、第１の形態において、拡張現実デバイスによって提供される視野内の再構成画像拡張を決定するコンピュータ実装の医療方法を提供することにより、前述の目的に到達する。この方法は、少なくとも１つのコンピュータ（例えば、少なくとも１つのコンピュータはナビゲーションシステムの一部である）の少なくとも１つのプロセッサで、その少なくとも１つのプロセッサによって実行される以下の例示的なステップを実行することを含む。

【0009】

（例えば第１の）例示的なステップでは、患者の身体部分の少なくとも１つの３次元画像データセットを描写する３次元画像データが取得される。

【0010】

（例えば第２の）例示的なステップでは、３Ｄ画像データに基づいて、少なくとも１つの２次元再構成画像を描写する再構成画像データが決定される。（例えば第３の）例示的なステップでは、少なくとも１つのオブジェクトの空間位置と拡張現実デバイスの空間位置とを記述する、オブジェクト位置データが取得される。

【0011】

（例えば第４の）例示的なステップでは、画像拡張データが、再構成画像データ及びオブジェクト位置データに基づいて決定され、これは、拡張現実デバイスによって提供される視野内の少なくとも１つの２次元再構成画像を記述し、少なくとも１つの２次元再構成画像の、画像位置及び／又は少なくとも１つの画像方向が、少なくとも１つのオブジェクトの空間位置に依存する。

【0012】

換言すれば、ユーザに提供される視野内に、患者の３次元画像データセットから計算／再構成された１つ以上の画像を表示することが本発明の目的であり、これらの画像の空間位置及び／又は空間方向は、少なくとも１つのオブジェクトの空間位置及び／又は空間方向、特に、拡張現実デバイスやその照準線（line of sight）に対する少なくとも１つのオブジェクトの空間位置に依存する。

【0013】

そうすることによって、ユーザが見る必要がある現実世界の重要な領域及びオブジェクトを妨害しない位置で、再構成画像を提供することができるだけでなく、それらの画像を現実世界に対して予測可能な位置及び／又は向きで提供することができる。更に、本発明は、特に、ユーザによって操作されるオブジェクトやデバイス又はそれらの一部が、仮想オーバーレイ、すなわち少なくとも１つの再構成画像においてと同様に現実において見られるときに、目と手の協応を容易にすることによって、人間工学の観点から改善された拡張現実ディスプレイを提供する。

【0014】

第１の形態に係る方法の一例において、３Ｄ画像データを取得することは、画像モダリティ（modality）を用いて患者の身体部分の３Ｄ画像データセットを生成すること、或いは、画像モダリティを用いて生成された患者の身体部分の３Ｄ画像データセットを取得することを含み、この画像モダリティは、ＣＴ画像モダリティ、ＭＲＩ画像モダリティ、超音波画像モダリティからなる群から選択される。

【0015】

このように、再構成画像は、任意の所望の画像モダリティによって取得された３次元データセットから算出することができる。更に、再構成画像は、複数の画像モダリティ、特に前述の画像モダリティのうちの２つ以上の画像モダリティによって取得された、画像情報から構成された画像情報を含んでもよい。

【0016】

更に、それらの画像モダリティの１つ以上によって取得された画像データセットは、特に解剖学的アトラス（anatomical atlas）から取得された人工画像データに登録され、それで補完されてもよい。例えば、画像（複数可）に示される関心のある解剖学的構造又はその一部は、その後、仮想オーバーレイでユーザに示される再構成画像において、容易に識別され強調表示されることができる。

【0017】

より具体的な例では、再構成画像データは、患者の身体部分に対して移動可能な、デバイス位置及び少なくとも１つのデバイス方向を規定するデバイス本体を有するデバイスの助けを借りて取得され、患者の身体部分の３次元画像表現に対する少なくとも１つの再構成画像の位置が、患者の身体部分に対するデバイス位置に基づいて決定され、特に、画像データセットに割り当てられた座標系における少なくとも１つの再構成画像の画像平面の位置ベクトルが、デバイス位置に基づいて決定され、及び／又は、患者の身体部分の３次元画像表現に対する少なくとも１つの再構成画像の少なくとも１つの方向が、患者の身体部分に対する少なくとも１つのデバイス方向に基づいて決定され、特に、画像データセットに割り当てられた座標系における少なくとも１つの再構成画像の画像平面の少なくとも１つの方向ベクトルが、少なくとも１つのデバイス方向に基づいており、及び／又は、患者の身体部分の３次元画像表現に対する少なくとも１つの再構成画像の少なくとも１つの方向が、患者の少なくとも１つの解剖学的方向（anatomical direction）、特に内側－外側方向、頭蓋－尾骨方向、及び／又は前－後方向に基づいて決定される。

【0018】

一般に、１つ以上の再構成画像は、患者の人体（anatomy）の３次元仮想画像表現の２次元「スライス」を表すことができ、３次元画像表現に対するかかるスライスの位置並びに方向は、ユーザによって操作可能なデバイスや器具、例えば手持ちポインタ器具や手術用具又は器具の助けによって選択される。例えば、患者の身体部分の３次元画像表現は、仮想オーバーレイにおいて後に表示されるべき１つ又は複数の画像又はスライスが、実際の患者に対して実際の医療器具を操作する、即ち動かすことによって選択されるように、実際の患者の人体に登録されてもよい。加えて又は代替的に、３次元表現に対するこれらの選択された画像の１つ又は複数の方向は、患者の人体によって定義される方向、すなわち１つ又は複数の解剖学的方向に依存してもよい。

【0019】

更に、３次元画像表現に対する選択された再構成画像の位置及び／又は向きは、以下のように定義されてもよい。３次元画像表現に対する画像平面の位置は、３次元画像表現に割り当てられた座標系の原点から延びる位置ベクトルによって定義されてもよい。更に、画像平面の向きは、互いに対して直交するように配向された２つの方向ベクトルによって定義されてもよく、ここで、少なくとも１つの方向ベクトルは、可動デバイスの長手方向軸に配向されていると定義されてもよく、及び／又は、少なくとも１つの方向ベクトルは、解剖学的方向に平行であるか、若しくは３次元画像表現に割り当てられた座標系内で定義される垂直方向若しくは水平方向に配向されていると定義されている。

【0020】

少なくとも１つのオブジェクトの空間位置、特に少なくとも１つのオブジェクトと拡張現実デバイスとの相対位置を決定するために、本発明のアプローチは、特に手術室に割り当てられる静的座標系内で、少なくとも１つのオブジェクトの及び拡張現実デバイスの空間位置を追跡するように適合された外部の医療追跡システムを利用してもよく、及び／又は、特に拡張現実デバイスに統合され、拡張現実デバイスの空間位置に対して及び拡張現実デバイスに結合された座標系内で、少なくとも１つのオブジェクトの空間位置を追跡するように適合された追跡システムを利用してもよい。

【0021】

この点に関して、光学的、電磁的、又は超音波的な機能原理によって追跡マーカを認識するように適合された、任意の医療追跡システムを使用することができる。更に、手術室内に静的に配置されてもよい、或いは、拡張現実デバイスに結合又は統合され、従って拡張現実デバイスと共に手術室内で移動されてもよい、１つ又は複数のカメラによって取得された画像の分析に基づいて、拡張現実デバイスに対する１つ又は複数のオブジェクトの位置、特に相対位置を決定することも考えられる。

【0022】

本発明のアプローチの更なる例では、以下の例の各々が、少なくとも１つのオブジェクトとして考慮されてもよい：
・手術室の少なくとも一時的に静的な設置物の１つ以上の部位（sections）、特に、手術室の壁、天井、床、それらの備品（furnishings）及び据え付け品（fixtures）を含む；
・医療デバイス又は器具、特にハンドガイド医療デバイス又は器具の１つ以上の部位、具体的に、上記で説明したように、３次元画像表現に関して少なくとも１つの再構成画像選択の位置及び／又は向きを規定するために使用される可動式のデバイス；
・特に可動式である、具体的に電動式である、医療デバイス又は医療装置の１つ又は複数の部位；
・１つ又は複数の解剖学的方向を含む患者の人体の１つ又は複数の部位。

【0023】

更に、少なくとも１つの再構成画像、すなわちその位置及び／又は方向は、少なくとも１つの２次元再構成画像が少なくとも１つのオブジェクトに対して予め定められた距離及び／又は予め定められた方向に、特に画像及びオブジェクトが視野内で互いに妨げない位置に配置されるように、拡張現実デバイスによって提供される視野内で位置合わせされてもよい。加えて又は代替的に、少なくとも１つの画像は、予め定められた方向、特に患者の内側－外側方向、頭蓋－尾骨方向、及び／又は前－後方向における対応する実際の構造に対してオフセットした位置で、構造の表現を示すように位置決めされる。更に、少なくとも１つの画像は、患者の解剖学的方向、特に内側－外側方向、頭蓋－尾骨方向、及び／又は前－後方向に依存して配向された、特にそれらの方向に配向された又はそれらの方向に対して垂直に配向された、少なくとも１つの方向ベクトルを有する画像平面を有していてもよい。更に、少なくとも１つの画像は、静的座標系の空間方向、特に手術室に割り当てられた座標系の重力ベクトル、垂直方向、及び／又は水平方向に依存して配向された、特にそれらの方向に配向された又はそれらの方向に対して垂直に配向された、少なくとも１つの方向ベクトルを有する画像平面を有していてもよい。更に、少なくとも１つの画像は、器具又はデバイスの本体によって定義される空間方向、特に医療器具の長手方向軸に依存して配向された、特にそれらの方向に配向された又はそれらの方向に対して垂直に配向された、少なくとも１つの方向ベクトルを有する画像平面を有してもよい。

【0024】

少なくとも１つの画像は、ユーザが画像から情報を取得するためにオブジェクトから目を逸らす必要がなく、かつ、画像がユーザのオブジェクトへの視線を妨げることがないように、オブジェクトの近くの視野内に配置されてもよい。更に、１つ以上の画像は、現実世界と画像（複数可）に示されるその表現との間の相対位置が、視野内の１つ以上、好ましくは２次元で一致するように位置決めされてもよい。換言すると、画像は現実世界に登録された単なるオーバーレイではなく、現実世界に対して１次元又は２次元でシフトされたものである。これにより、現実世界のオブジェクトが画像に提供されるそれらの表現によって妨害されないので、視野が改善される。更に、少なくとも１つの画像、特にユーザに見えるような画像の平面は、その少なくとも１つの方向ベクトルが、現実世界に関して、例えば患者の人体に関して及び／又は現実世界の座標系に関して、定義された空間方向に又はそれに垂直に配向されるように、視野内で配向されてもよい。例えば、それらの空間方向は、内側－外側方向、頭蓋－尾骨方向、前－後方向、水平方向、又は重力ベクトルに平行に配向される垂直方向を含んでもよい。より具体的に、画像は、その一方の方向ベクトルが患者の実際の人体に割り当てられた内側－外側方向又は頭蓋－尾骨方向に平行に配向され、他方の方向ベクトルが重力ベクトル又は手術室に割り当てられた静的座標系の垂直方向に対して平行又は垂直に配向されるように、配向され得る。

【0025】

更に、画像は、複数のオブジェクトの空間位置及び／又は向きに応じて位置決め及び／又は方向付けされ得る。具体例において、画像の第１の方向ベクトルは、患者の現実世界の人体の解剖学的方向に配向され、他方の方向ベクトルは、現実世界の器具の長手方向軸に平行に配向されてもよい。

【0026】

もちろん、１つ又は複数のオブジェクトに応じて１つ又は複数の画像を視野内に位置付けるために、上記の例のいずれもが、任意の実現可能な方法で組み合わされ得ることは、考えられる。更に、この現実世界拡張は、画像が現実世界オブジェクトと共に視野内で「移動」し、画像が現実世界オブジェクトに付着しているという視聴者の印象をもたらすように、リアルタイムで提供及び更新することができる。

【0027】

第１の形態に係る方法の更なる例では、視野に投影される複数の画像の位置及び／又は向きもまた、互いに依存してもよい。例えば、２つ以上の画像の画像平面は、互いに垂直に配向させることができる。

【0028】

更なる例では、視野内の画像投影を必要最小限に限定することができ、それによって現実世界のオブジェクトに対する視界を妨げないように、画像のうちの１つ又は複数を仮想画像フレームへと制限することが可能である。

【0029】

更なる例において、ユーザの視野内に投影される少なくとも１つの再構成画像の位置及び／又は向きは、現実世界及び視野内に投影される画像に関するユーザの視線に依存することもできる。例えば、ユーザの視線と１つ以上の画像の画像平面との間の視野角が、予め定められた閾値を下回る場合、例えば４５°を下回る場合、対応する画像は、視野角を再び増加させるように、例えばその方向ベクトルの周りに、及び／又は予め定められた量だけ、例えば９０°回転されてもよい。更なる例において、ユーザの視線と画像平面との間の視野角は、画像をその方向ベクトルの一方又は双方の周りに回転させることによって、予め定義された値、例えば９０°に常に維持されてもよい。

【0030】

更に、ユーザの視野に投影される画像の１つ又は複数は、例えばユーザがオブジェクトの「周りを移動する」又は「周りを見る」場合など、視線が変更されたときでも、画像がオブジェクトへの視界を妨げずにオブジェクトの隣に常に存在するように、対応する現実世界オブジェクトに対して位置決めされてもよい。

【0031】

第２の形態において、本発明は、少なくとも１つのコンピュータによってプログラムが実行されるとき、その少なくとも１つのコンピュータに第１の形態に係る方法を実行させる命令を含むコンピュータプログラムに向けられている。本発明は、代替的に又は追加的に、例えば第１の形態に係る方法のステップのいずれか又は全てを実行するように適合されているコード手段を含む、（物理的、例えば電気的、例えば技術的に生成された）信号波、例えば前述のプログラムなどのプログラムを表す情報を運ぶ電磁搬送波のようなデジタル信号波に関するものであってよい。信号波は、一例では、前述のコンピュータプログラムを担持するデータ搬送信号である。ディスクに格納されたコンピュータプログラムはデータファイルであり、ファイルが読み出されて送信されると、それは例えば（物理的、例えば電気的、例えば技術的に生成された）信号の形でデータストリームとなる。信号は、例えば本明細書で説明する電磁搬送波のような信号波として実装することができる。例として、信号、例えば信号波は、コンピュータネットワーク、例えばＬＡＮ、ＷＬＡＮ、ＷＡＮ、モバイルネットワーク、例えばインターネットを介して送信されるように構成されている。例として、信号、例えば信号波は、光又は音響によるデータ伝送によって送信されるように構成される。従って、第２の形態に係る発明は、代替的に又は追加的に、前述のプログラムを表すデータストリーム、すなわちプログラムを構成するデータストリームに関するものであってもよい。

【0032】

第３の形態において、本発明は、第２の形態に係るプログラムが格納されたコンピュータ可読記憶媒体に向けられる。プログラム記憶媒体は、例えば非一時的なものである。

【0033】

第４の形態において、本発明は、少なくとも１つのプロセッサ（例えばプロセッサ）を含む、少なくとも１つのコンピュータ（例えばコンピュータ）に向けられており、第２の形態に係るプログラムがそのプロセッサによって実行され、或いは、その少なくとも１つのコンピュータが第３の形態に係るコンピュータ可読記憶媒体を備えている。

【0034】

第５の形態において、本発明は、以下を含む医療システムに向けられている：
ａ）第４の形態に係る少なくとも１つのコンピュータ；
ｂ）少なくとも３Ｄ画像データを記憶する少なくとも１つの電子データ記憶デバイス；及び
ｃ）患者に対する医療処置の実行を支援するための拡張現実デバイス；
ここで、少なくとも１つのコンピュータは、少なくとも１つのデータ記憶デバイスから、少なくとも３Ｄ画像データを取得するための、少なくとも１つの電子データ記憶デバイスと、画像拡張データに基づいて拡張現実デバイスの動作を制御するために、拡張現実デバイスに制御信号を発行する拡張現実デバイスとに、動作可能に結合されている。

【0035】

代替的又は追加的に、第５の形態に係る発明は、第４の形態に係るコンピュータに第１の形態に係る方法のデータ処理ステップを実行させるためのプログラムを記憶した、例えば非一過性のコンピュータ可読プログラム記憶媒体に向けられる。

【0036】

例えば、本発明は、実施するために専門の医療専門知識を必要とする身体への実質的な物理的干渉を表し、必要な専門的ケア及び専門知識を用いて実施する場合でも実質的な健康リスクを伴うような侵襲的（invasive）ステップを伴わないか、特に包含していない。

【0037】

本発明はまた、医療処置を実施又は計画するためのデバイス／システム又はその任意の実施形態の使用に関する。この使用は、例えば、本明細書に記載されるような任意の実施形態による方法の少なくとも１つのステップを含んでいる。

【0038】

（定義）
このセクションでは、本開示で使用される特定の用語の定義が提供され、それはまた本開示の一部を構成する。

【0039】

本発明に係る方法は、例えば、コンピュータに実装された方法である。例えば、本発明に係る方法の全てのステップ又は単に一部のステップ（すなわちステップの総数未満）は、コンピュータ（例えば少なくとも１台のコンピュータ）により実行することができる。コンピュータ実装された方法の一実施形態は、データ処理方法を実行するためのコンピュータの使用である。コンピュータ実装された方法の一実施形態は、コンピュータが方法の１つ、複数、又は全てのステップを実行するために操作されるような、コンピュータの操作に関する方法である。

【0040】

コンピュータは、例えば電子的及び／又は光学的にデータを（技術的に）処理するために、例えば少なくとも１つのプロセッサと、例えば少なくとも１つのメモリとを含む。プロセッサは、例えば半導体、例えば少なくとも部分的にｎ型及び／又はｐ型ドープされた半導体、例えばＩＩ族、ＩＩＩ族、ＩＶ族、Ｖ族、ＶＩ族半導体材料の少なくとも１つ、例えば（ドープ）シリコン及び／又はガリウムヒ素である、物質又は組成物で作られる。説明された計算又は決定ステップは、例えばコンピュータによって実行される。決定ステップ又は計算ステップは、例えば、技術的方法の枠組みの中で、例えばプログラムの枠組みの中で、データを決定するステップである。コンピュータは、例えば、あらゆる種類のデータ処理デバイス、例えば電子データ処理装置である。コンピュータは、例えばデスクトップＰＣ、ノートブック、ネットブックなどの、一般にそのように考えられているデバイスであってもよいが、例えば携帯電話や組み込みプロセッサなどの、任意のプログラム可能な装置であってもよい。コンピュータは、例えば、「サブコンピュータ」のシステム（ネットワーク）を構成することができ、各サブコンピュータはそれ自体でコンピュータを表す。「コンピュータ」という用語は、例えばクラウドサーバのようなクラウドコンピュータを含む。コンピュータという用語は、サーバリソースを含む。用語「クラウドコンピュータ」は、例えば少なくとも１つのクラウドコンピュータと、例えばサーバファームのような複数の動作的に相互接続されたクラウドコンピュータとの、システムを含むクラウドコンピュータシステムを含む。このようなクラウドコンピュータは、好ましくは、ワールドワイドウェブ（ＷＷＷ）のような広域ネットワークに接続され、全てがワールドワイドウェブに接続されているコンピュータの所謂クラウドに配置される。このようなインフラストラクチャは、特定のサービスを提供するコンピュータの物理的な位置及び／又は構成をエンドユーザが知る必要のない計算、ソフトウェア、データアクセス、及びストレージサービスを説明する、「クラウドコンピューティング」に使用されている。例えば、「クラウド」という用語は、この点では、インターネット（ワールドワイドウェブ）の比喩として使用される。例えば、クラウドは、サービスとしてのコンピューティングインフラストラクチャ（ＩａａＳ）を提供する。クラウドコンピュータは、本発明の方法を実行するために使用されるオペレーティングシステム及び／又はデータ処理アプリケーションのための、仮想ホストとして機能することができる。クラウドコンピュータは、例えば、アマゾンウェブサービス（登録商標）によって提供されるエラスティックコンピュートクラウド（ＥＣ２）である。コンピュータは、例えば、データを受信又は出力するための、及び／又はアナログ－デジタル変換を実行するためのインターフェースを備える。データは、例えば、物理的特性を表すデータ、及び／又は技術的信号から生成されるデータである。技術的信号は、例えば、（技術的）検出デバイス（例えばマーカ装置を検出するためのデバイスなど）及び／又は（技術的）分析装置（例えば（医療）画像処理方法を実行するためのデバイスなど）によって生成され、技術的信号は、例えば電気信号又は光信号である。技術的信号は、例えば、コンピュータによって受信又は出力されるデータを表す。コンピュータは、好ましくは、コンピュータによって出力された情報を、例えばユーザに対して表示することを可能にする表示デバイスに、動作可能に結合される。表示デバイスの一例は、ナビゲーションのための「ゴーグル」として使用できる、仮想現実デバイス又は拡張現実デバイス（仮想現実メガネ又は拡張現実メガネとも呼ばれる）である。このような拡張現実メガネの具体例として、グーグルグラス（グーグル社の登録商標）が挙げられる。拡張現実デバイスや仮想現実デバイスは、ユーザとの対話によってコンピュータに情報を入力するためにも、コンピュータが出力した情報を表示するためにも使用することができる。表示デバイスの別の例は、表示デバイス上に画像情報コンテンツを表示するように使用される信号を生成するために、コンピュータから表示制御データを受信するようにコンピュータに動作可能に結合された例えば液晶ディスプレイを含む、標準的なコンピュータモニタであろう。このようなコンピュータモニタの具体的な実施形態は、デジタルライトボックスである。このようなデジタルライトボックスの例として、ブレインラボ アーゲーの製品であるＢｕｚｚ（登録商標）が挙げられる。また、モニタは、スマートフォンやパーソナルデジタルアシスタントやデジタルメディアプレーヤなどの、携帯型デバイス、例えばハンドヘルド型デバイスのモニタであってもよい。

【0041】

本発明はまた、プログラム上でコンピュータによって実行されると、コンピュータに方法又は複数の方法、例えば本明細書に記載された方法又は複数の方法のステップを実行させる命令を含むコンピュータプログラムに関するものであり、及び／又は、プログラムが格納されたコンピュータ可読記憶媒体（例えば、非一過性のコンピュータ可読記憶媒体）に関するものであり、及び／又は、前記プログラム記憶媒体を含むコンピュータに関するものであり、及び／又は、例えば前述のプログラムといったプログラムを表す情報を運ぶ電磁搬送波であって、例えば本明細書に記載された方法ステップのいずれか又は全てを実行するように適合されているコード手段を含んでいるものを含むものなどの、（物理的、例えば電気的、例えば技術的に生成された）信号波、例えばデジタル信号波に関するものである。信号波は、一実施例では、前述のコンピュータプログラムを担持するデータ搬送波である。本発明はまた、少なくとも１つのプロセッサ及び／又は前述のコンピュータ可読記憶媒体と、例えばメモリとを備え、プログラムがプロセッサによって実行される、コンピュータに関するものである。

【0042】

本発明の枠組みの中で、コンピュータプログラム要素は、ハードウェア及び／又はソフトウェア（これには、ファームウェア、常駐ソフトウェア、マイクロコードなどが含まれる）により具現化することができる。本発明の枠組みの中で、コンピュータプログラム要素は、命令実行システム上で又は命令実行システムに関連して使用するために、データ記憶媒体中に具現化されたコンピュータ使用可能な、例えばコンピュータ可読プログラム命令、「コード」又は「コンピュータプログラム」を含むコンピュータ読み取り可能な、前記データ記憶媒体によって具現化することができる、コンピュータプログラム製品の形を取ることができる。このようなシステムはコンピュータであることができ、コンピュータは、本発明に従ってコンピュータプログラム要素及び／又はプログラムを実行するための手段、例えばコンピュータプログラム要素を実行するデジタルプロセッサ（中央処理装置又はＣＰＵ）、及び任意にコンピュータプログラム要素の実行に使用され及び／又は実行によって生じるデータを格納するための揮発性メモリ（例えばランダムアクセスメモリ又はＲＡＭ）を含む、データ処理装置であることが可能である。本発明の枠組みの中で、コンピュータ使用可能な、例えばコンピュータ読み取り可能なデータ記憶媒体は、命令実行システム、装置、又はデバイス上で又はそれらに関連して使用するためのプログラムを、含み、格納し、通信し、伝播し、又は輸送できる、任意のデータ記憶媒体であり得る。コンピュータ使用可能な、例えばコンピュータ読み取り可能なデータ記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体の、システム、装置、又はデバイス、或いは例えばインターネットなどの伝播媒体とすることができるが、これらに限定されるものではない。コンピュータ使用可能又はコンピュータ読み取り可能なデータ記憶媒体は、例えば紙又は他の適切な媒体を光学的にスキャンすることによってプログラムを電子的に取り込み、その後、適切な方法でコンパイル、解釈、又はその他の処理を行うことができるので、プログラムが印刷された紙又は他の適切な媒体であり得ることさえも可能である。データ記憶媒体は、好ましくは、不揮発性データ記憶媒体である。ここで説明したコンピュータプログラム製品及び任意のソフトウェア及び／又はハードウェアは、例示的な実施形態において、本発明の機能を実行するための様々な手段を形成する。コンピュータ及び／又はデータ処理デバイスは、例えば、ガイダンス情報を出力するための手段を含むガイダンス情報デバイスを含むことができる。ガイダンス情報は、例えば、視覚的提示手段（例えば、モニター及び／又はランプ）によって視覚的に、及び／又は音響的提示手段（例えば、ラウドスピーカー及び／又はデジタル音声出力デバイス）によって音響的に、及び／又は触覚的提示手段（例えば、振動要素又は器具に組み込まれた振動要素）によって触覚的に、ユーザに対して出力することが可能である。本書の目的上、コンピュータは、例えば技術的な、例えば有形の構成要素、例えば機械的及び／又は電子的構成要素を含む、技術的なコンピュータをいう。本書でそのように言及されているデバイスは、技術的な、例えば有形のデバイスである。

【0043】

「データを取得する」という表現は、例えば、（コンピュータに実装された方法の枠組みの中で）コンピュータに実装された方法又はプログラムによってデータが決定されるシナリオを包含するものである。データを決定することは、例えば、物理量を測定し、測定値をデータ、例えばデジタルデータに変換すること、及び／又は、コンピュータを用いて、例えば本発明に係る方法の枠組みの中でデータを計算すること（及び例えば出力すること）を包含している。本明細書に記載される「決定」ステップは、例えば、本明細書に記載される決定を実行するコマンドを発行することを含む、又はそのようなコマンドを発行することからなる。例えば、このステップは、コンピュータ、例えばリモートコンピュータ、例えばリモートサーバ、例えばクラウドに、決定を実行させるためのコマンドを発行することを含む、又はそのようなコマンドを発行することからなる。代替的又は追加的に、本明細書に記載の「決定」のステップは、例えば、本明細書に記載の決定の結果データを受け取ること、例えばリモートコンピュータから、例えば決定を実行させたそのリモートコンピュータから結果データを受け取ることを含む、又はそのことからなる。「データを取得する」の意味はまた、例えば、コンピュータが実装する方法又はプログラムによって、例えばコンピュータが実装する方法又はプログラムによって更に処理するために、例えば別のプログラム、前の方法ステップ、又はデータ記憶媒体から、データが受信又は取得される（例えば、それへの入力）シナリオを包含している。取得されるデータの生成は、本発明に係る方法の一部であってもよいが、そうである必要はない。従って、「データを取得する」という表現は、例えば、データの受信を待つこと及び／又はデータを受信することを意味することもできる。受信されたデータは、例えば、インターフェースを介して入力されてもよい。「データを取得する」という表現は、コンピュータに実装された方法又はプログラムが、データソース、例えばデータ記憶媒体（例えばＲＯＭ、ＲＡＭ、データベース、ハードドライブなど）から、又はインターフェースを介して（例えば他のコンピュータ又はネットワークから）、データを（積極的に）受信又は取得するためのステップを実行することも意味することができる。開示された方法又はデバイスによってそれぞれ取得されたデータは、データベースとコンピュータとの間、例えばデータベースからコンピュータへのデータ転送のために、コンピュータに動作可能に接続されたデータ記憶デバイス内にあるデータベースから取得されてもよい。コンピュータは、データを決定するステップへの入力として使用するために、データを取得する。決定されたデータは、後の使用のために保存されるように、同じデータベース又は別のデータベースに再び出力することができる。そのデータベース、又は開示された方法を実施するために使用されるデータベースは、ネットワークデータ記憶デバイスやネットワークサーバ（例えば、クラウドデータ記憶デバイスやクラウドサーバ）、又はローカルデータ記憶デバイス（開示された方法を実行する少なくとも１つのコンピュータに動作可能に接続された大容量記憶デバイスなど）に配置され得る。データは、取得ステップの前に追加のステップを実行することによって、「使用可能な状態」にすることができる。この追加のステップに従って、データは、取得されるために生成される。データは、例えば（例えば分析デバイスによって）検出又は捕捉される。代替的又は追加的に、データは、追加のステップに従って、例えばインターフェースを介して入力される。生成されたデータは、例えば（例えばコンピュータへ）入力される。（取得ステップに先行する）追加のステップに従って、データをデータ記憶媒体（例えばＲＯＭ、ＲＡＭ、ＣＤ、及び／又はハードドライブなど）に格納する追加ステップを実行することによっても、本発明に係る方法又はプログラムの枠組み内で使用できるように、データを提供することが可能である。従って、「データを取得する」ステップは、取得されるデータを取得及び／又は提供するように、デバイスに命令することも含むことができる。特に、取得するステップは、身体への実質的な物理的干渉を表し、実施するために専門の医療専門知識を必要とし、必要な専門的ケア及び専門知識を用いて実施する場合でさえ実質的な健康リスクを伴うような、侵襲的ステップを伴わない。特に、データを取得するステップ、例えばデータを決定するステップは、外科的なステップを伴わず、特に外科的処置又は療法を用いて人間又は動物の身体を治療するステップを伴わない。本方法によって使用される様々なデータを区別するために、データは、「ＸＹデータ」などと表記され（すなわち参照され）、それらが記述する情報の観点から定義され、その後、好ましくは「ＸＹ情報」などと参照される。

【0044】

ナビゲーションシステムに格納された画像（ＣＴ、ＭＲなど）の画像データポイントに、空間内の実際のオブジェクト、例えば手術室内の身体部分の各ポイントの空間位置を割り当てることで、身体のｎ次元画像を登録することができる。

【0045】

画像登録とは、様々なデータセットを１つの座標系に変換する作業である。データには、異なるセンサー、異なる時間、又は異なる視点からの、複数の写真及び／又はデータが含まれることがある。それは、コンピュータビジョン、医用画像、人工衛星からの画像やデータの編集や分析に利用されている。これらの異なる測定で得られたデータを比較又は統合するためには、登録が必要である。

【0046】

マーカの機能は、マーカ検出デバイス（例えば、カメラ、超音波受信機、又はＣＴやＭＲＩ装置などの分析デバイス）によって、その空間位置（すなわち、その空間ロケーション及び／又は配置）を確認することができるように検出することである。検出デバイスは、例えばナビゲーションシステムの一部である。マーカは、アクティブマーカであってもよい。アクティブマーカは、例えば、赤外線、可視光線、及び／又は紫外線のスペクトル範囲とすることができる、電磁放射線及び／又は電磁波を放射することができる。しかしながら、マーカは受動的であってもよく、すなわち、例えば、赤外線、可視光線、及び／又は紫外線のスペクトル範囲内の電磁放射を反射してもよく、或いはＸ線放射を遮断してもよい。この目的のために、マーカは、対応する反射特性を有する表面を備えてもよく、或いはＸ線放射を遮断するために金属で作られてもよい。また、マーカが、無線周波数範囲内又は超音波波長で、電磁放射線及び／又は電磁波を反射及び／又は放射することとしてもよい。マーカは、好ましくは、球形及び／又は回転楕円形を有し、従って、マーカ球と呼ぶことができる；しかしながら、マーカは、角のある形状、例えば立方体を呈すことも可能である。

【0047】

マーカデバイスは、例えば、基準星（reference star）、ポインタ、単一のマーカ、或いは複数の（個々の）マーカであり、複数ならば、好ましくは所定の空間的関係にある。マーカデバイスは、１個、２個、３個、又はそれ以上のマーカを含み、そのような２個以上のマーカは、所定の空間的関係にある。この所定の空間的関係は、例えばナビゲーションシステムに知られており、例えばナビゲーションシステムのコンピュータに記憶されている。

【0048】

別の実施形態において、マーカデバイスは、例えば２次元表面上の光学パターンを含んでいる。光学パターンは、円、矩形、及び／又は三角形のような複数の幾何学的形状から構成されるかもしれない。光学パターンは、カメラによって捕捉された画像内で識別することができ、カメラに対するマーカデバイスの位置は、画像内のパターンのサイズ、画像内のパターンの向き、及び画像内のパターンの歪みから決定することができる。これにより、１枚の２次元画像から、最大で３つの回転次元（rotational dimensions）及び最大で３つの並進次元（translational dimensions）で、相対位置を決定することができる。

【0049】

マーカデバイスの位置は、例えば医療用ナビゲーションシステムによって把握することができる。マーカデバイスが骨や医療器具などのオブジェクトに取り付けられている場合、マーカデバイスの位置と、マーカデバイスとオブジェクトとの間の相対位置とから、オブジェクトの位置を決定することができる。この相対位置を決定することを、マーカデバイス及びオブジェクトの登録ともいう。また、マーカデバイスやオブジェクトを追跡することができ、これは、マーカデバイスやオブジェクトの位置を経時的に２回以上把握することを意味する。

【0050】

マーカホルダーは、器具、身体の一部、及び／又は基準星の保持要素に対して、マーカを取り付ける役割を果たす、個々のマーカのための取り付け装置を意味すると理解され、この装置は、静止しているように取り付けることができ、有利には取り外し可能に取り付けることができる。マーカホルダーは、例えば棒状及び／又は円筒状とすることができる。マーカデバイスのための締結装置（例えばラッチ機構など）は、マーカに面するマーカホルダーの端部に設けることができ、マーカデバイスをマーカホルダー上に圧力嵌め（force fit）及び／又は積極嵌合（positive fit）で配置するのを補助する。

【0051】

ポインタは、１つ以上の、有利には２つのマーカが固定された棒であり、個々の座標、例えば空間座標（すなわち３次元座標）を測定するために使用することができ、ポインタの位置を、手術用ナビゲーションシステムを用いてポインタ上のマーカを検出することによって決定することができるように、身体の一部において、ユーザは、ポインタ（例えば、ポインタに取り付けられた少なくとも１つのマーカに対して定義され有利に固定された位置を有するポインタの部分）を、座標に対応する位置に誘導する。ポインタのマーカと、オフ座標（off coordinate）の測定に使用されるポインタの部分（例えばポインタの先端部）との間の相対的な位置は、例えば既知である。そして、手術用ナビゲーションシステムは、（３次元座標の）位置を所定の身体構造に割り当てることを可能にし、その割り当ては、自動的に行われることも、ユーザの介入によって行われることも可能である。

【0052】

「基準星」は、多数のマーカ、有利には３つのマーカが取り付けられたデバイスを指し、それらのマーカは、静止しているように基準星に（例えば取り外し可能に）取り付けられ、従って、互いに対するマーカの既知の（有利には固定された）位置が提供される。マーカの互いに対する位置は、手術用ナビゲーションシステムがそのマーカの互いに対する位置に基づいて対応する基準星を識別することを可能にするために、手術用ナビゲーション方法の枠組み内で使用される各基準星に対して個別に異なっていてもよい。従って、その後、基準星が取り付けられているオブジェクト（例えば、器具及び／又は身体の部分）を、それに応じて識別及び／又は区別することも可能である。手術用ナビゲーション方法において、基準星は、オブジェクトの位置（すなわち、その空間ロケーション及び／又は配置）を検出可能にするために、オブジェクト（例えば骨や医療器具）に複数のマーカを取り付けるのに役立つ。このような基準星は、例えば、オブジェクトに取り付けられる手段（例えばクランプ及び／又はネジ）、及び／又はマーカとオブジェクトとの間の距離を確保する保持要素（例えば、マーカ検出デバイスに対するマーカの可視性を補助するため）、及び／又は保持要素に機械的に接続されてマーカが取り付けられるマーカホルダーを備えている。

【0053】

本発明はまた、コンピュータ支援手術のためのナビゲーションシステムにも向けられている。このナビゲーションシステムは、好ましくは、本明細書に記載された実施形態のいずれか１つに記載されたような、コンピュータ実装方法に従って提供されるデータを処理するための前述のコンピュータを含んでいる。このナビゲーションシステムは、好ましくは、受信した検出信号に基づいて絶対主点データ及び絶対補助点データをコンピュータが決定できるように、検出信号を生成し、生成した検出信号をコンピュータに供給するために、主点及び補助点を表す検出点の位置を検出するための検出デバイスを含んで構成される。検出点は、例えば、ポインタによって検出される解剖学的構造の表面上の点である。このようにして、絶対点データをコンピュータに提供することができる。ナビゲーションシステムはまた、好ましくは、コンピュータから計算結果（例えば、主平面の位置、補助平面の位置、及び／又は標準平面の位置）を受信するためのユーザインタフェースを具備している。ユーザインタフェースは、受信したデータを情報としてユーザへ提供する。ユーザインタフェースの例としては、モニタなどの表示デバイスやスピーカなどを含んでいる。ユーザインタフェースは、任意の種類の指示信号（例えば視覚信号、音声信号、及び／又は振動信号）を使用することができる。表示デバイスの一例は、ナビゲーション用の所謂「ゴーグル」として使用することができる、拡張現実デバイス（拡張現実メガネとも呼ばれる）である。このような拡張現実メガネの具体例としては、グーグルグラス（グーグル社の登録商標）が挙げられる。拡張現実デバイスは、ユーザとの対話によってナビゲーションシステムのコンピュータに情報を入力することと、コンピュータが出力した情報を表示することとの双方に使用することができる。

【0054】

本発明はまた、コンピュータ支援手術のためのナビゲーションシステムに関するものであり、このシステムは以下の構成を有する：
絶対点データ及び相対点データを処理するためのコンピュータ；
絶対点データを生成して絶対点データをコンピュータに供給するために、主点及び補助点の位置を検出する検出装置；
相対点データを受信し、相対点データをコンピュータに供給するためのデータインターフェース；及び、
ユーザに情報を提供するためにコンピュータからデータを受信するためのユーザインタフェースであって、受信されたデータが、コンピュータによって実行された処理の結果に基づいて、コンピュータによって生成されたものであるユーザインタフェース。

【0055】

手術用ナビゲーションシステムなどのナビゲーションシステムは、少なくとも１つのマーカデバイスと、電磁波及び／又は電磁放射線及び／又は超音波を放射する送信機と、電磁波及び／又は電磁放射線及び／又は超音波を受信する受信機と、受信機及び／又は送信機に接続される電子データ処理デバイスと、を含み得るシステムを意味すると理解され、データ処理デバイス（例えばコンピュータ）は、例えばプロセッサ（ＣＰＵ）及び作業メモリと、有利には指示信号を発するための指示装置（例えば、モニタなどの視覚指示装置及び／又はスピーカなどの音声指示装置及び／又は振動子などの触覚指示装置）及び永久データメモリと、を含み、データ処理デバイスは、受信機により転送されたナビゲーションデータを処理し、有利には指示装置を介してユーザへ案内情報を出力することができる。ナビゲーションデータは、永久データメモリに記憶され、例えば、予め前記メモリに記憶されたデータと比較されてもよい。

【0056】

好ましくは、解剖学的身体部分の全体の（general）３次元形状を記述する（例えば定義する、より詳しくは表す及び／又はそれ自体である）アトラス（atlas）データが取得される。従って、アトラスデータは、解剖学的身体部分のアトラスを表す。アトラスは、典型的には、オブジェクトの複数の汎用モデルからなり、オブジェクトの汎用モデルは、一緒になって複雑な構造を形成する。例えば、アトラスは、複数の人体から収集された解剖学的情報、例えばそのような人体の画像を含む医用画像データから、生成された患者の体（例えば体の一部）の統計モデルを構成している。従って、アトラスデータは、原則として、このような医用画像データを複数の人体について統計的に解析した結果を表している。この結果は画像として出力することができるため、アトラスデータは、医用画像データを含む、或いは医用画像データと比較可能である。このような比較は、例えば、アトラスデータと医用画像データとの間の画像融合を行う画像融合アルゴリズムを適用することによって実施することができる。その比較の結果は、アトラスデータと医用画像データとの間の類似性の測定値とすることができる。アトラスデータは、アトラスデータによって定義される解剖学的構造に対応する医用画像データ中の解剖学的構造の位置を決定するために、例えばアトラスデータと医用画像データとを比較するように、例えば医用画像データに含まれる画像情報（例えば位置画像情報）と（例えば弾性（elastic）又は剛体（rigid）画像融合アルゴリズムを適用して）一致させることができる、画像情報（例えば位置画像情報）を含んで構成される。

【0057】

アトラスデータを生成するための入力となる解剖学的構造の人体は、有利には、性別、年齢、民族性、身体寸法（例えばサイズ及び／又は質量）、及び病理状態のうち、少なくとも１つのような共通の特徴を有する。解剖学的情報は、例えば人体の解剖学的構造を記述しており、例えば人体に関する医用画像情報から抽出される。例えば、大腿骨のアトラスは、頭部、頸部、胴部、大転子、小転子、及び下肢を、共に完全な構造を構成するオブジェクトとして構成することができる。脳のアトラスは、例えば、終脳、小脳、間脳、脳橋、中脳、及び延髄を、共に複雑な構造を構成するオブジェクトとして構成することができる。このようなアトラスの応用として、医用画像のセグメンテーションがあり、そこでは、アトラスを医用画像データにマッチングさせ、画像データとマッチングしたアトラスとを比較することにより、画像データの点（ピクセル又はボクセル）をマッチングしたアトラスのオブジェクトに割り当て、それによって画像データをオブジェクトにセグメンテーションするのである。

【0058】

例えば、アトラスデータは、解剖学的身体部分の情報を含む。この情報は、例えば、患者固有、非患者固有、適応症固有、又は非適応症固有のうちの少なくとも１つである。従って、アトラスデータは、例えば、患者固有、非患者固有、適応症固有、又は非適応症固有のアトラスのうちの少なくとも１つを記述している。例えば、アトラスデータは、所定の基準（例えば別の解剖学的身体部分）に対する解剖学的身体部分の動きの自由度を示す動き情報を含む。例えば、アトラスは、複数（すなわち少なくとも２つ）の画像モダリティのアトラス情報を定義し、異なる画像モダリティにおけるアトラス情報間のマッピング（例えば、全てのモダリティ間のマッピング）を含む、マルチモーダルアトラスであり、それにより、医用画像情報を第１の画像モダリティでのその画像描写から、第１の画像モダリティとは異なる第２の画像モダリティでのその画像描写へ変換するため、或いは、異なる画像モダリティの画像を互いに比較（例えば一致又は登録）するために、アトラスを用いることができる。

【0059】

治療身体部分の動きは、例えば、以下において「バイタルムーブメント」と称される動きに起因するものである。この点に関して、これらのバイタルムーブメントを詳細に論じた、それぞれが米国特許出願公開第２０１０／０１２５１９５号明細書及び米国特許出願公開第２０１０／０１６０８３６号明細書としても公開されている、欧州特許出願公開第２１８９９４３号明細書及び欧州特許出願公開第２１８９９４０号明細書も参照されたい。治療身体部分の位置を決定するために、Ｘ線装置、ＣＴ装置、又はＭＲＴ装置などの分析デバイスが用いられ、身体の分析画像（Ｘ線画像やＭＲＴ画像など）が生成される。例えば、分析デバイスは、医用画像処理方法を実行するように構成されている。分析デバイスは、例えば医用画像処理方法を使用し、例えば電磁波及び／又は電磁放射、超音波及び／又は粒子線などの、波動及び／又は放射及び／又はエネルギービームを使用して、患者の身体を分析するための装置である。分析デバイスは、例えば、患者の身体（及び、例えば、患者の身体の内部構造及び／又は解剖学的部分）の画像（例えば、２次元又は３次元画像）を、身体を分析することによって生成する装置である。分析デバイスは、例えば、放射線医学などの医療診断に用いられる。しかしながら、分析画像内で治療身体部分を特定することが困難な場合がある。例えば、治療身体部分の位置の変化や、例えば治療身体部分の動きと相関のある、指標身体部分を特定することが容易であり得る。このように指標身体部分を追跡することにより、指標身体部分の位置の変化（例えば動き）と治療身体部分の位置の変化（例えば動き）との間の既知の相関関係に基づいて、治療身体部分の動きを追跡することができる。指標身体部分の追跡に代えて、又はそれに加えて、マーカ検出デバイスを用いてマーカデバイス（これは指標として使用することができ、従って「マーカインジケータ」と呼ばれる）を追跡してもよい。マーカインジケータの位置は、例えばバイタルムーブメントによって位置が変化するインジケータ構造（胸壁、例えば真肋骨や偽肋骨、又は横隔膜や腸壁など）の位置と、既知の（所定の）相関関係を有している（例えば固定相対位置となる）。

【0060】

医学の分野では、人体の解剖学的構造（軟組織、骨、器官など）の画像データ（例えば、２次元又は３次元画像データ）を生成するために、画像処理方法（画像モダリティ及び／又は医用画像モダリティとも呼ばれる）が使用される。用語「医用画像処理方法」は、例えば計算断層撮影（ＣＴ）及びコーンビーム計算断層撮影（ＣＢＣＴ、例えば体積計算ＣＢＣＴ）、Ｘ線断層撮影、磁気共鳴断層撮影（ＭＲＴ又はＭＲＩ）、従来のＸ線、超音波撮影、及び／又は超音波検査、並びにポジトロン放射断層撮影などの、（有利には装置ベースの）画像処理方法（例えばいわゆる医用画像モダリティ及び／又は放射線画像法）を意味していると理解されている。例えば、医用画像処理方法は、分析デバイスによって実行される。医用画像処理方法によって適用される医用画像モダリティの例は、ウィキペディアで言及されているように、Ｘ線ラジオグラフィー、磁気共鳴イメージング、医療用超音波検査又は超音波、内視鏡検査、エラストグラフィー、触覚イメージング、サーモグラフィー、医療用写真、及び、ポジトロン放射断層撮影（ＰＥＴ）及び単光子放射計算断層撮影（ＳＰＥＣＴ）として核医学機能イメージング技法が挙げられる。

【0061】

こうして生成された画像データは、「医用画像データ」とも呼ばれる。装置ベースの画像処理方法において画像データを生成するために、例えば分析デバイスが使用される。画像処理方法は、例えば医療診断に用いられ、画像データによって記述される画像を生成するように、解剖学的な身体を分析するために使用される。また、画像処理方法は、例えば、人体の病的な変化を検出するためにも用いられる。しかしながら、解剖学的構造の変化の中には、構造（組織）の病理学的変化のように、検出できないものもあり、例えば、画像処理方法によって生成された画像では見えない場合もある。腫瘍は、解剖学的構造における変化の一例を表している。腫瘍が成長すれば、解剖学的構造の拡大を意味すると言える。この拡大した解剖学的構造は検出できない場合があり、例えば、拡大した解剖学的構造の一部のみが検出できる場合がある。例えば、原発性／高悪性度脳腫瘍は、造影剤を用いて腫瘍に浸潤させた場合、通常はＭＲＩスキャンで確認することができる。ＭＲＩスキャンは、画像処理方法の一例である。このような脳腫瘍のＭＲＩスキャンの場合、ＭＲＩ画像における（腫瘍に浸透した造影剤による）信号の増強は、固形腫瘍の塊を表しているとみなされる。従って、腫瘍は、画像処理方法によって生成された画像において検出可能であり、例えば識別可能である。「増強」腫瘍と呼ばれるこれらの腫瘍に加えて、約１０％の脳腫瘍は、スキャン上で識別不可能であり、例えば、画像処理方法によって生成された画像を見るユーザには見えないと考えられている。

【図面の簡単な説明】

【0062】

以下では、背景を説明すると共に本発明の具体的な実施形態を示す添付図を参照しながら、本発明を説明する。しかしながら、本発明の範囲は、図のコンテキストで開示される特定の特徴に限定されるものではない。

【0063】

【図1】第１の形態に係る方法の基本ステップを示している。

【図2】本発明の一実施形態、具体的には第１の形態に係る方法を示している。

【図3】拡張視野の第１の例を示している。

【図4】拡張視野の第２の例を示している。

【図5】第５の形態に係るシステムの模式図である。

【発明を実施するための形態】

【0064】

図１は、第１の形態に係る方法の基本ステップを示し、ステップＳ１は、３Ｄ画像データの取得を含み、ステップＳ２は、取得した３Ｄ画像データに基づいて再構成画像データを決定することを含み、ステップＳ３は、オブジェクト位置データの取得を含み、続くステップＳ４は、再構成画像データ及びオブジェクト位置データに基づいて画像拡張データを決定することを含む。

【0065】

図２は、本発明の本質的な特徴を全て含む本発明の一実施形態を示す図である。この実施形態では、第１の形態に係る方法の一部であるデータ処理全体が、コンピュータ２によって実行される。参照符号１は、第１の形態に係る方法によって取得されたデータのコンピュータ２への入力を示し、参照符号３は、第１の形態に係る方法によって決定されたデータの出力を示している。

【0066】

図３は、例えばＡＲメガネやＡＲゴーグルなどの、拡張現実デバイス７（図５参照）によって提供される拡張視野の一例を示している。図示の例では、ＡＲゴーグル７を装着した外科医が、医療追跡システムによって空間的に追跡される手持ちのポインタ器具１１を操作しながら、患者用寝椅子１２に横たわった状態の患者８を眺めている。従って、器具１１の空間位置は、当技術分野で周知の方法で、患者の人体８に対して計算することができる。図示の例では、ポインタ器具１１が患者の脊椎の方へ向けられ、ポインタ器具１１の長手方向軸が脊椎を通過している。

【0067】

患者８、ポインタ器具１１、及び患者用寝椅子１２を含む現実世界のオブジェクトに加えて、仮想画像９及び１０が、患者の人体に関する追加の画像情報を外科医に提供するように、視野に投影される。図示の例において、画像９及び１０は、患者の人体８について登録された３次元ＣＴ画像データセットから計算される、再構成されたインラインビューを示している。

【0068】

再構成画像９及び１０の内容は、患者の人体８に対するポインタ器具１１の空間位置と、患者の人体８について登録されたＣＴデータセットとに依存し、再構成画像９及び１０は、常にポインタ器具１１の軌道１５を含み、従ってそれを示すようになる。

【0069】

視野に投影される画像９及び１０の位置及び方向も、ポインタ器具１１の空間位置に基づいて定義される。図３から分かるように、画像９及び１０は、ポインタ機器１１の左側及び右側にそれぞれ配置され、それに対して予め定められた距離を有している。更に、画像９及び１０は、それぞれ、頭蓋－尾骨方向に平行な方向（画像９）、及び内側－外側方向に平行な方向（画像１０）に向いた、第１の方向ベクトルを有するように配向される。それに加えて、これらの方向ベクトルの双方は、患者用寝椅子１２を含む手術室に割り当てられた座標系内において、水平に配向されることもある。画像９及び１０の第２の方向ベクトルは、ポインタ器具１１の長手方向軸の対応する成分に対して、平行に配向されている。特に、画像９の第２の方向ベクトルは、第１の方向ベクトルに垂直な平面内で、ポインタ器具１１の長手方向軸の成分と平行に延びている。対応する方法で、同じことが画像１０の第２の方向ベクトルに適用される。従って、画像９及び１０は、それらの第１の方向ベクトルの周りに、同時にポインタ器具１１の向き及びその長手方向軸に対して回転される。図３にも示されているように、画像９及び１０は、共に矩形のフレーム１４に取り囲まれている。

【0070】

図４は、再構成画像９、１０が水平画像面を有するように、すなわち両方の方向ベクトルが水平方向に水平に延びるように、視野内で方向付けられている点で、図３に示したものと異なる拡張視野の例を示す図である。図４に示される例示的な提示は、図３に示される例示的な提示から独立していると考えられるが、例えば、ユーザが上方から器具１１を見ているとき、すなわち器具１１の遠位端に目を向けているときに、画像９及び１０上の視野角が所定の閾値を下回ると同時に、図３に示される提示を図４に示される提示に置き換えてもよいことが考えられる。そのような場合、画像９及び１０は、「反転」して、図４に示すように表示されることがある。

【0071】

画像９及び１０の位置及び向きは、任意の現実世界のオブジェクトの空間位置に依存してもよく、例えば、画像９及び１０の１つ又は複数が、手術室の壁上の「絵」として現れるように、視野に投影されてもよい。ユーザと患者８との相対位置、或いはユーザが患者８を見ている方向によっては、この「絵」は常に患者の背後にある手術室の壁に表示されるかもしれない。このようなケースでは、患者の実際の人体８の方向と一致するように、対応する画像９又は１０の内容をミラーリングすることが必要な場合がある。

【0072】

図５は、第５の形態に係る医療システム４の概略説明図である。このシステムは、その全体が参照符号４で特定され、コンピュータ５と、少なくとも患者データを記憶するための電子データ記憶デバイス（ハードディスクなど）６と、医療デバイス７（放射線治療装置など）と、から構成される。医療システム４の構成要素は、本開示の第５の形態に関して上記で説明した機能及び特性を有する。

【符号の説明】

【0073】

２：コンピュータ、４：医療システム、６：電子データ記憶デバイス、７：拡張現実デバイス、８：患者の人体、９、１０：再構成画像、１１：器具、１２：患者用寝椅子、１４：フレーム

【図1】

【図2】

【図3】

【図4】

【図5】