特許 7341660 医療手技におけるナビゲーションを補助するための拡張現実の使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】医療手技におけるナビゲーションを補助するための拡張現実の使用

(51)【国際特許分類】

   A61B 1/00 20060101AFI20230904BHJP

   A61B 1/045 20060101ALI20230904BHJP

   A61B 34/20 20160101ALI20230904BHJP

   H04N 7/18 20060101ALI20230904BHJP

   G06T 19/00 20110101ALI20230904BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 622

A61B34/20

H04N7/18 M

G06T19/00 600

【請求項の数】 13

【外国語出願】

(21)【出願番号】P 2018242313

(22)【出願日】2018-12-26

(65)【公開番号】P2019115664

(43)【公開日】2019-07-18

【審査請求日】2021-12-09

(31)【優先権主張番号】62/610,449

(32)【優先日】2017-12-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/229,629

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(73)【特許権者】

【識別番号】516389190

【氏名又は名称】アクラレント インコーポレイテッド

【氏名又は名称原語表記】Ａｃｃｌａｒｅｎｔ， Ｉｎｃ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】アンドレス・クラウディオ・アルトマン

(72)【発明者】

【氏名】アサフ・ゴバリ

(72)【発明者】

【氏名】バディム・グリナー

(72)【発明者】

【氏名】イツハク・ファン

(72)【発明者】

【氏名】ノーム・ラケーリ

(72)【発明者】

【氏名】ヨアヴ・ピンスキー

(72)【発明者】

【氏名】イタマル・ブスタン

(72)【発明者】

【氏名】ジェットミア・パルシ

(72)【発明者】

【氏名】ツビ・デケル

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特表２００９－５２９９５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０２８１９７１（ＵＳ，Ａ１）

【文献】特開２０１４－１３１５５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

対象の拡張現実表示を与えるためのシステムの作動方法であって、
前記システムは、
ワークステーションと、
カメラと、を備え、
前記ワークステーションが、
前記カメラから画像を取得したときにおける、
前記カメラの位置を検出することと、
前記カメラの前記位置に基づいて前記カメラの視野を特定することと、
前記視野に対応する１つ以上のオーバーレイ要素を生成することと、
前記１つ以上のオーバーレイ要素を前記カメラからの前記画像と合成して合成画像を形成することと、
前記合成画像をディスプレイ上に表示することと、を行い、
前記１つ以上のオーバーレイ要素が、前記対象の解剖学的構造に関連付けられているか、又は１つ以上の器具に関連付けられ、
前記ワークステーションが、
解剖学的要素を示すオーバーレイ要素を生成することにより、前記１つ以上のオーバーレイ要素を生成するように構成され、
前記ワークステーションが、
前記カメラの前記視野内のマーカーの位置を、位置パッドの相対位置及び方向、並びに前記対象の前記位置及び方向に基づいて、更に前記マーカー及び前記対象のモデルの相対位置に基づいて、決定すること、並びに
前記カメラの前記視野内の前記マーカーの前記位置に基づいて前記マーカーに対応するグラフィック表現をレンダリングすること、により、前記解剖学的要素を示す前記オーバーレイ要素を生成するように構成されている、
方法。

【請求項2】

前記カメラの前記位置を検出することが、
術前位置合わせを行って前記位置パッドの前記相対位置及び方向を前記対象の位置及び方向と比較して相関させることと、
前記位置パッドのセンサによって、前記カメラと結合された１つ以上のフィールド発生器によって発生された１つ以上の信号を受信することと、
前記１つ以上の信号に基づいて前記カメラの前記位置を特定することと、を含む、請求項１に記載のシステムの作動方法。

【請求項3】

前記１つ以上のオーバーレイ要素を生成することが、
前記器具のグラフィック表現を生成することを含む、請求項１に記載のシステムの作動方法。

【請求項4】

前記器具の前記グラフィック表現を生成することが、
前記カメラの前記視野内の前記器具の位置を決定することと、
前記カメラの前記視野内の前記器具の前記位置に基づいて前記器具の前記グラフィック表現をレンダリングすることと、を含む、請求項３に記載のシステムの作動方法。

【請求項5】

前記マーカーに対応する前記グラフィック表現が、前記マーカーによって示されるようなテキスト及び矢印を含む、請求項１に記載のシステムの作動方法。

【請求項6】

前記画像の暗い部分の検出に基づいて孔を識別することを更に含み、
前記マーカーに対応する前記グラフィック表現が、前記孔の解剖学的要素輪郭線を含む、請求項１に記載のシステムの作動方法。

【請求項7】

前記画像の画像分析に基づいて、前記マーカーに対応する前記グラフィック表現の位置、形態、及び／又はフォーマットが調整される、請求項１に記載のシステムの作動方法。

【請求項8】

対象の拡張現実表示を与えるためのシステムであって、
ワークステーションと、
カメラと、を備え、
前記ワークステーションが、
前記カメラから画像を取得し、
前記カメラの位置を検出し、
前記カメラの前記位置に基づいて前記カメラの視野を特定し、
前記視野に対応する１つ以上のオーバーレイ要素を生成し、
前記１つ以上のオーバーレイ要素を前記カメラからの前記画像と合成して合成画像を形成し、
前記合成画像をディスプレイ上に表示するように構成され、
前記１つ以上のオーバーレイ要素が、前記対象の解剖学的構造に関連付けられているか、又は１つ以上の器具に関連付けられ、
前記ワークステーションが、
解剖学的要素を示すオーバーレイ要素を生成することにより、前記１つ以上のオーバーレイ要素を生成するように構成され、
前記ワークステーションが、
前記カメラの前記視野内のマーカーの位置を、位置パッドの相対位置及び方向、並びに前記対象の前記位置及び方向に基づいて、更に前記マーカー及び前記対象のモデルの相対位置に基づいて、決定すること、並びに
前記カメラの前記視野内の前記マーカーの前記位置に基づいて前記マーカーに対応するグラフィック表現をレンダリングすること、により、前記解剖学的要素を示す前記オーバーレイ要素を生成するように構成されている、システム。

【請求項9】

前記位置パッドを更に備え、
前記ワークステーションが、
術前位置合わせを行って前記位置パッドの前記相対位置及び方向を前記対象の前記位置及び方向と比較して相関させること、
前記位置パッドのセンサによって、前記カメラと結合された１つ以上のフィールド発生器によって発生された１つ以上の信号を受信すること、並びに
前記１つ以上の信号に基づいて前記カメラの前記位置を特定すること、により、前記カメラの前記位置を検出するように構成されている、請求項８に記載のシステム。

【請求項10】

前記ワークステーションが、
前記器具のグラフィック表現を生成することにより、前記１つ以上のオーバーレイ要素を生成するように構成されている、請求項８に記載のシステム。

【請求項11】

前記ワークステーションが、
前記カメラの前記視野内の前記器具の位置を決定すること、及び
前記カメラの前記視野内の前記器具の前記位置に基づいて前記器具の前記グラフィック表現をレンダリングすること、により、前記器具の前記グラフィック表現を生成するように構成されている、請求項１０に記載のシステム。

【請求項12】

前記マーカーに対応する前記グラフィック表現が、前記マーカーによって示されるようなテキスト及び矢印を含む、請求項８に記載のシステム。

【請求項13】

前記ワークステーションが、
前記画像の暗い部分の検出に基づいて孔を識別するように更に構成され、
前記マーカーに対応する前記グラフィック表現が、解剖学的要素輪郭線を含む、請求項８に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

外科手術には、解剖学的構造の視認性の問題がしばしば伴う。体内の解剖学的構造の可視化を助ける視覚的補助が存在している。しかしながら、かかる視覚的補助の有効性は、解剖学的構造が不透明であり、したがって他の解剖学的構造の視認性を妨げることから限定的である。人体内への１つ以上の器具の挿入を伴う外科手術の本質は、これらの器具に何が起きているかを正確に見ることができないという問題をしばしば生じる。手術中の視認性を得るための改良された技術が常に開発されてきた。

【発明の概要】

【課題を解決するための手段】

【0002】

対象の拡張現実表示を与えるための方法が提供される。本方法は、カメラから画像を取得することを含む。本方法はまた、カメラの位置を検出することを含む。本方法は更に、カメラの位置に基づいてカメラの視野を特定することを含む。本方法はまた、視野に対応する１つ以上のオーバーレイ要素を生成することを含む。本方法は更に、１つ以上のオーバーレイ要素をカメラからの画像と合成して合成画像を形成することを含む。本方法はまた、合成画像をディスプレイ上に表示することを含む。

【0003】

対象の拡張現実表示を与えるためのシステムが提供される。システムは、ワークステーション及びカメラを含む。ワークステーションは、カメラから画像を取得し、カメラの位置を検出し、カメラの位置に基づいてカメラの視野を特定するように構成されている。ワークステーションはまた、視野に対応する１つ以上のオーバーレイ要素を生成するようにも構成されている。ワークステーションは更に、１つ以上のオーバーレイ要素をカメラからの画像と合成して合成画像を形成し、合成画像をディスプレイ上に表示するように構成されている。

【0004】

対象の拡張現実表示を与えるためのシステムも提供される。本システムは、ワークステーションと、ディスプレイと、１つ以上の器具と、カメラと、内視鏡と、内視鏡カメラと、を含む。ワークステーションは、カメラから画像を取得し、カメラの位置を検出するように構成されている。ワークステーションはまた、カメラの位置に基づいてカメラの視野を特定するようにも構成されている。ワークステーションは更に、対象の解剖学的構造に関連付けられているか又は１つ以上の器具に関連付けられている、カメラの視野に対応する１つ以上のオーバーレイ要素を生成するように構成されている。ワークステーションはまた、カメラの視野に対応した１つ以上のオーバーレイ要素をカメラからの画像と合成して合成画像を形成するようにも構成されている。ワークステーションは、合成画像をディスプレイ上に表示するように更に構成されている。

【図面の簡単な説明】

【0005】

添付の図面とともに一例として与えられる以下の説明から、より詳細な理解が可能になる。

【図1】本発明の一実施形態に基づく位置追跡及びナビゲーションシステムの概略図である。

【図2】耳鼻咽喉科学に関連した器具を含む例示的な位置追跡及びナビゲーションシステムの各部分を示す。

【図3】１つの例に基づいて、オーバーレイ要素が存在する状況を示し、かつ／又は少なくとも一部のオーバーレイ要素が生成される様子を示す目的で、頭部の３Ｄモデルを示す。

【図4A】例示的な内視鏡画像を示す。

【図4B】例示的な内視鏡画像を示す。

【図4C】例示的な内視鏡画像を示す。

【図4D】例示的な内視鏡画像を示す。

【図5A】本明細書で「解剖学的要素輪郭線」と呼ばれるある種のオーバーレイ要素を含む例示的な画像を示す。

【図5B】本明細書で「解剖学的要素輪郭線」と呼ばれるある種のオーバーレイ要素を含む例示的な画像を示す。

【図6】１つの例に基づく、拡張現実画像を表示するための方法のフロー図である。

【発明を実施するための形態】

【0006】

侵襲的な手術を行う医師は、外科器具での作業を行う際に精度及び正確性を必要とする。外科手術はますます低侵襲性のものとなりつつあり、医師は、カメラを使用して手術部位を観察し、光学機器又はビデオディスプレイを介して器具を誘導しながら手術を行う。理想的には、医師は、単一のディスプレイ装置上で、患者のリアルタイム画像と、手術器具の操作及び次の手術工程に関する医療上の判断にとって重要な付加的データとの両方を同時に観察しながら、侵襲的処置を行うことができなければならない。

【0007】

本開示の拡張現実ナビゲーションシステムは、手術中に使用されるカメラ及び／又は器具に組み込まれた位置センサの使用によって侵襲的処置における器具の位置の視認性を提供するものである。位置追跡システムは、センサによって検出された信号の特性（例えば電磁センサの振幅又は周波数）に基づいて、器具及びカメラの位置を決定し、監視する。位置合わせプロセスは、患者の３Ｄモデル（例えば、コンピュータ断層撮影（ＣＴ）スキャンのような医療スキャンによって生成されるもの）を、その患者の実際の位置と相関させる。これにより、患者の解剖学的構造の位置に対して器具及びカメラの位置が追跡される。この相対的位置追跡は、手術に関連した情報を、カメラにより生成された画像と合成することを可能とする。例えば、器具に対するカメラの位置は既知であるため、器具が患者の組織によって邪魔されて術者に見えない場合でも、器具の位置を画像内に表示することが可能である。この表示は、カメラの位置に対する物体の画像をレンダリングする標準的な３次元（３Ｄ）レンダリング技術によって実現される。より詳細には、追跡システムの機能により、患者の位置に対するカメラ及び器具の位置及び方向が分かる。したがって、カメラの視野に対する器具の位置が分かる。標準的な３Ｄレンダリング技術は、カメラに対する物体の位置に基づいて３Ｄ物体の画像を表示する。かかる技術を用いることで器具に対応する画像（例えば器具のグラフィック表現）をレンダリングし、更なる合成技術を用いてこのレンダリング画像をカメラから受信された患者の画像に重ねて表示することができる。器具の可視化、動脈や血管のネットワーク、神経のネットワーク、又は摘出しようとする腫瘍の術前に特定された境界などの解剖学的構造の３次元構造の表示を含む解剖学的構造のレンダリング、又はその他の情報などの更なる情報を、かかる合成画像において追加的又は代替的に示すことが可能である。

【0008】

本開示に関連する従来技術の１つに、Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ，Ｉｎｃ（Ｄｉａｍｏｎｄ Ｂａｒ，Ｃａｌｉｆｏｒｎｉａ）が製造するＣＡＲＴＯ（商標）システムがある。上述したＣＡＲＴＯ（商標）システム及びその他の関連する技術の態様は、開示内容をいずれも参照により本明細書に援用するところの米国特許第５，３９１，１９９号、同第６，６９０，９６３号、同第６，４８４，１１８号、同第６，２３９，７２４号、同第６，６１８，６１２号、及び同第６，３３２，０８９号、国際公開第９６／０５７６８号、並びに米国特許出願公開第２００２／００６５４５５（Ａ１）号、同第２００３／０１２０１５０（Ａ１）号、及び同第２００４／００６８１７８（Ａ１）号に見ることができる。

【0009】

図１は、本発明の一実施形態に基づく位置追跡及びナビゲーションシステム１００の概略図である。図１に示されるように、システムは、１つ以上の医療器具１０（例えば、カテーテル、ガイドワイア、内視鏡など）、カメラ４４、少なくともプロセッサ１４及び１つ以上のディスプレイ装置１６（例えばモニタ又は仮想現実ディスプレイ）を含む少なくともワークステーション１２を含むコンソール３８、カテーテルハブ１８、位置パッド３０、位置合わせ器具４０、及び位置パッドドライバ（「ＬＰドライバ」）２０を含む。

【0010】

ワークステーション１２は、リンク５０を介してＬＰドライバ２０と通信することでＬＰドライバ２０にリンク５４を介して通信させて、位置パッド３０内のフィールド発生器を駆動させるように構成されている。フィールド発生器は、センサ３２によって検出されるフィールド信号（例えば電磁場又は音響などの他のフィールド）を発する。センサ３２は、フィールド信号に応じて応答信号を生成する。応答信号はカテーテルハブ１８により検知される。カテーテルハブ１８は、器具１０上のセンサ３２、カメラ４４、及び位置合わせ器具４０と通信リンク４２を介して通信する。通信リンク４２は、有線リンクであっても無線リンクであってもよい。カテーテルハブ１８は、応答信号又は応答信号の処理されたものを有線リンクであっても無線リンクであってもよいリンク５２を介してワークステーション１２に送信する。

【0011】

ワークステーション１２は、応答信号の特性に基づいて、センサ３２、ひいてはセンサ３２が組み込まれるか又は取り付けられた物体（例えばカメラ４４、器具１０、及び位置合わせ器具４０）の位置及び物理的方向を決定する。１つの例において、位置パッド３０内のフィールド発生器は、それぞれ既知の相対位置を有している。センサ３２は、複数のフィールド発生器から信号を受信する。受信された信号は、時間（例えば、異なるフィールド発生器が異なる時間で駆動されるため、センサ３２が信号を受信する時間を異なるフィールド発生器と相関させることができる）、周波数（異なるフィールド発生器が異なる周波数の信号で駆動されるため、センサ３２により受信される信号の周波数は個々のフィールド発生器を識別する）に基づいて、又はフィールド発生器が発生する信号のその他の特性に基づいて識別される。

【0012】

上記で述べたように、カテーテルハブ１８は、センサ３２から受信した信号（又は信号の処理されたもの）を、処理を行うためにワークステーション１２に送信する。ワークステーション１２はこの信号を処理して位置パッド３０のフィールド発生器に対するセンサ３２の位置を決定する。センサ３２の位置を決定するために行われるこの処理は、フィールド発生器により発せれる信号の種類に応じて決まる。特定の実施形態において、この処理は、フィールド発生器のそれぞれに応じて受信される信号の振幅を決定する。より大きい振幅はフィールド発生器までの距離がより小さいことを示し、より小さい振幅はフィールド発生器までの距離がより大きいことを示す。センサ３２当たりにつき複数のフィールド発生器（例えば３個）についての距離が決定されると、各フィールド発生器に対する位置を三角測量法により求めることができる。代替例では、位置パッド３０のフィールド発生器が代わりにセンサであり、器具のセンサが代わりにフィールド発生器である。かかる代替例では、位置パッド３０のセンサが器具によって発せれた信号を検出し、ワークステーション１２が、あたかも位置パッド３０がフィールド発生器を含み器具がセンサを含んでいるものと同様に、これらの信号を処理する。あるいは、信号に対する応答に基づいて位置を決定するためのいずれの技術的に可能な方法も使用することができる。更に、器具の位置を決定するための特定のシステムについて述べたが、器具の位置を決定するためのいずれの技術的に可能な手段も使用することができる。

【0013】

上記で述べたように、システム１００は、手持ち式ワンドとして具体化することができる位置合わせ器具４０を更に含む。位置合わせ器具４０は、モデルデータ４８に保存された３次元モデルを、位置合わせ手順において位置パッド内のフィールド発生器の位置と相関させるために使用される。１つの例において、モデルデータ４８の３Ｄモデルは、手術対象（例えば患者の頭部２２）のコンピュータデータ表現である。この３Ｄモデルは、コンピュータ断層撮影（「ＣＴ」）スキャン若しくは磁気共鳴イメージング（「ＭＲＩ」）などの医療用イメージング技術、又は３Ｄモデルに変換することができるデータを生成するその他の任意のイメージング技術によって得ることができる。位置合わせ処理を行うために、位置合わせ器具４０を対象（例えば頭部２２）の近くの特定の位置に配置する。次いで、ワークステーション１２がその位置をモデルデータ４８内に保存された３Ｄモデル内の位置に関連付けることにより、３Ｄモデル内の点を現実の点と相関させる。この関連付けは、外科医などの術者による特定の指示に応じて行うことができる。そのような状況では、ワークステーション１２はモデルデータ４８からの３Ｄモデルをディスプレイ１６上に表示する。術者は、位置合わせ器具４０を特定の位置に動かし、次いでワークステーション１２に３Ｄモデル内の対応する位置を入力装置３６を介して指示する。代替的な状況では、ワークステーション１２は現実空間の位置を３Ｄモデル内の位置に自動的に関連付ける。１つの例において、この自動的な関連付けは以下のように行われる。位置合わせ器具４０が手術対象（例えば頭部２２）の近くで動かされる。ワークステーション１２は、位置合わせ器具４０から受信したデータを処理して３Ｄモデル内の対応する位置を特定する。１つの例では、位置合わせ器具４０はカメラを有し、ワークステーション１２は位置合わせ器具４０で受信された画像に対して画像処理を行って３Ｄモデル内の位置合わせ器具４０の位置を特定する。特定の例では、現実空間と３Ｄモデルとの間の複数の相関点が得られ保存されることで位置合わせの精度を向上させ、回転位置合わせ及び配置位置合わせが行われる。位置合わせ器具４０は、現実空間と３Ｄモデルとの間で位置合わせを行うために使用される器具として述べられているが、他の目的に使用される器具（例えばカメラ４４又は器具１０のいずれか）を含む他の任意の器具を代わりに使用してもよい。

【0014】

カメラ４４は、術者に対してディスプレイ１６にビューを提供する。このビューは、対象（頭部２２に代表される）の実際の画像の両方を含む。より詳細には、カメラ４４は、対象（頭部２２）の一連の画像を撮影し、この画像をディスプレイ１６上に表示する。

【0015】

更に、ワークステーション１２は、カメラ４４によって提供された画像に特定の要素を重ね合わせることができる。より詳細には、カメラ４４は、位置パッド３０とともに（又は代わりに他の何らかの機構とともに）、カテーテルハブ１８と協働してカメラ４４の位置及び方向をワークステーション１２に提供することができる信号を与える位置センサ３２を含む。この位置情報は、位置パッド３０と器具１０及び位置合わせ器具４０上の位置センサ３２との協働に関連して上記に述べたのと同じ要領で導出することができる。カメラ４４の回転は、いずれの技術的に可能な方法でも検出することができる。１つの例では、複数の異なるマイクロセンサがカメラ４４の位置センサ３２内に含まれ、異なるマイクロセンサで得られた相対測定値を用いてカメラ４４の回転を決定する。

【0016】

ワークステーション１２は、カメラ４４について得られた位置及び回転情報を用いて、ディスプレイ１６上に１つ以上のオーバーレイ要素を提供し、オーバーレイ要素はカメラにより生成された画像と合成される。より詳細には、カメラ４４の位置及び方向に基づいて、ワークステーション１２は、モデルデータ４８の３Ｄモデルの３次元空間内で１つ以上の仮想物体（例えば解剖学的ラベル）の位置を特定することができる。３Ｄモデルの３Ｄ空間と現実の座標系とのリンク付け（位置合わせ処理によって行われる）により、３Ｄモデルの３Ｄ空間にリンクされた仮想物体（本明細書では「オーバーレイ要素」とも呼ばれる）をカメラで撮影された画像に表示することができる。

【0017】

従来の３Ｄイメージング法を用いて、特定のこのようなオーバーレイ要素をカメラで撮影された画像に表示することができる。単純な例では、ワークステーション１２は現実空間内のカメラ４４の位置を有し、３Ｄモデルの幾何形状を上記に述べた位置合わせ処理によって現実空間と相関させている。これにより、ワークステーション１２は、現実空間の座標系で３Ｄモデルとカメラ４４との相対位置を知る。標準的な市販の３Ｄレンダリンググラフィックカード（Ｎｖｉｄｉａ ｃｏｒｐｏｒａｔｉｏｎ（Ｓａｎｔａ Ｃｌａｒａ ＣＡ）から入手可能なＧｅＦｏｒｃｅシリーズのカード、又はＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ，Ｉｎｃ．（Ｓｕｎｎｙｖａｌｅ，ＣＡ）から入手可能なＲａｄｅｏｎシリーズのカードなど）で実施されるものなどの従来の３Ｄレンダリング技術は、座標系内に物体の位置が提供され、その座標系内にカメラ位置が提供されることで、３次元物体をスクリーン空間に描画することができる。かかる方法を使用してディスプレイ１６上に表示されるスクリーン空間にモデルデータ４８の３Ｄモデルをレンダリングすることができる。いくつかの動作のモードでは、ワークステーション１２は、カメラ４４によって与えられる画像上に、モデルデータ４８及び／又は後述する他のオーバーレイ要素の３Ｄモデルをレンダリングする。したがって、かかる動作のモードでは、ワークステーション１２は、カメラ４４により生成された画像に合成された、３Ｄモデルに基づくオーバーレイを含む画像を生成する。いくつかの動作のモードでは、ワークステーション１２は、３Ｄモデルのどの部分も表示しないか、一部の部分、又はすべての部分を表示し、同時にオーバーレイ要素を表示しないか、又は他の何らかのオーバーレイ要素を表示する。オーバーレイ要素には、対象（例えば頭部２２）に行われる手術に関する、及び／又は対象の解剖学的構造に関する情報が含まれる。オーバーレイ要素には、対象の３次元空間内における特定の位置を印づけるためにユーザ（例えば外科医）が生成するタグが含まれる。これに代えるか又はこれに加えて、オーバーレイ要素には、カメラ４４により得られた画像の分析に基づいて生成されたコンピュータにより生成される要素が含まれる。オーバーレイ要素には、対象に行われる手術に関する情報に関連する、又はシステム１００の使用の他の任意の態様に関連する情報を示す、ディスプレイ１６上に表示可能な他のあらゆるデータを含むことができる。１つの例において、オーバーレイ要素は、外科医によって関心対象点として、解剖学的構造の識別要素として、具体的に定義されたテキストとして、又はその他の任意の要素として予め定義されたマ－カ－を含む。

【0018】

別の例では、オーバーレイ要素は、１つ以上の器具１０のグラフィック表現を含む。より詳細には、ワークステーション１２は、カメラ４４に対する器具上のセンサ３２の位置を有する。ワークステーション１２は、上記に述べたものと同様の技術を用いてカメラ４４により生成された画像内で器具のグラフィック表現をレンダリングすることができる。グラフィック表現がレンダリングされる方法は、器具１０の位置以外に器具１０の方向（例えば回転）に応じて決まり得るため、医師は患者の解剖学的構造に対する器具１０の幾何学的形状の位置を理解する。

【0019】

ディスプレイ１６は従来のディスプレイであってもよいし、仮想現実メガネであってもよい。仮想現実メガネは、遮蔽が適当であるイメージングを伴う手術の場合には、鉛によって提供されるＸ線遮蔽などの適当な遮蔽を有してもよい。ディスプレイ１６は遠隔ディスプレイ（すなわち、患者から離れて配置されるディスプレイ）であってもよく、遠隔操作される器具１０とともに遠隔手術を容易にすることができる。

【0020】

システム１００の更なる詳細について、残りの図面に関連して以下に説明する。これらの更なる図面は、耳鼻咽喉科手術に関連してシステム１００の態様を示しているが、説明される一般的な原理は人体の他の領域にも用いられ得る点が理解されるべきである。

【0021】

図２は、耳鼻咽喉科学に関連した器具を含む例示的な位置追跡及びナビゲーションシステム２００の各部分を示している。システム２００は、器具１０の１つが内視鏡２０２であるようなシステム１００の一例である。位置追跡及びナビゲーションシステム２００は、図１のディスプレイ１６と同様のディスプレイ１６、及び図１のワークステーション１２と同様のワークステーション１２を含んでいる。位置追跡及びナビゲーションシステム２００は、図２には示されていないが図１のシステム１００の他の要素も含んでいる。システム２００は、内視鏡２０２とカメラ４４の両方を含むものとして述べられているが、カメラ４４を用いずに内視鏡２０２のみを使用することが可能である。

【0022】

図２の器具１０の１つは、遠位端２０８において画像を得てその画像を内視鏡２０２に接続されたカメラ２０４に提供するプローブ２０６を含む内視鏡２０２である。カメラ２０４はワークステーション１２に画像を送信し、ワークステーションはこの画像を表示用に処理する。ワークステーション１２は内視鏡２０２と統合されたカメラ２０４で得られた画像を、図１に示されるカメラ４４で得られた画像を示すディスプレイ（例えばディスプレイ１６）と同じディスプレイに表示してもよいし、又は別の内視鏡ディスプレイ２０５に画像を示してもよい。ディスプレイ１６に示される場合、ワークステーション１２はディスプレイ１６をカメラ２０４とカメラ４４との間で共有できるように動作を行う。１つの例では、ディスプレイ１６は、術者からの入力に応じて、カメラ４４からの画像を示すこととカメラ２０４からの画像を示すこととの間で切り換えられる。例えば、カメラ２０４の電源が切られると、ディスプレイ１６はカメラ４４からの画像を示し、カメラ２０４の電源が入れられると、ディスプレイ１６はカメラ２０４からの画像を示すことができる。あるいは、カメラ４４又はカメラ２０４の選択は、どちらのカメラが画像を示すかを明示的に選択する明示的なカメラ選択入力に応じて行われてもよい。内視鏡ディスプレイ２０５が内視鏡２０２のカメラ２０４からの画像を示すために使用される場合、ディスプレイ間で競合性はなく、ディスプレイ１６はカメラ４４からの画像を示し、内視鏡ディスプレイ２０５は内視鏡２０２のカメラ２０４からの画像を示す。オーバーレイ要素を含む、図１のカメラ４４によって生成される画像は、全体画像２１０である（ディスプレイ１６に示される）。

【0023】

カメラ４４と同様、ワークステーション１２はカメラ２０４から、内視鏡２０２によって得られた画像を得、その画像を内視鏡オーバーレイ要素とともにディスプレイ上に表示する。内視鏡オーバーレイ要素は、行われている手術及び／又は対象（例えば頭部２２）の解剖学的構造に関連する情報を含む。更に、やはりシステム１００と同様に、１つ以上の器具１０（例えば外科器具）が対象（例えば頭部２２）の近くに存在してもよい。図２は、センサ３２を有する１つの器具１０を示している。更に、内視鏡２０２のプローブ２０６の端部にもセンサ３２がある。ワークステーション１２は、位置パッド３０及び位置パッドドライバ２０とともに、センサ３２の位置及び方向、したがって器具１０及び内視鏡プローブ２０６の位置及び方向を検出する。図２は、例示的な実施を示したものであり、それぞれがセンサ３２を有する任意の数の器具１０を手術に使用できる点が理解されるべきである。カメラ２０４によって生成された、内視鏡オーバーレイ要素を含む画像は、内視鏡画像２１２を構成し、これもディスプレイ１６又は内視鏡ディスプレイ２０５上に表示することができる。

【0024】

内視鏡オーバーレイ要素は、器具の位置（例えば図に示される器具１０、又は他の器具）の表示、解剖学的構造の位置若しくは配置の表示、又は手術若しくは解剖学的構造に関連する表示を含む。いくつかの動作のモードでは、ワークステーション１２は、センサ３２に基づいて生成された位置データを処理し、この位置データを用いて内視鏡画像２１２用のオーバーレイ要素を生成する。かかるオーバーレイ要素には、器具１０の位置及び方向を示す視覚的画像が含まれる。図１に関連して述べた処理と同様、ワークステーション１２は、位置パッド３０を使用して決定されたセンサ３２の位置、並びに、やはり位置パッド３０を使用して決定された内視鏡プローブ２０６の遠位端２０８の位置及び方向を用いて、内視鏡画像２１２のオーバーレイ要素の位置及び形状を決定する。図１に関連して述べたように、標準的な３次元レンダリングアルゴリズムは、カメラの位置及び方向、並びに物体の位置及び方向が与えられれば画像を生成することができる。ワークステーション１２は、このようなアルゴリズムを用いて、内視鏡プローブ２０６の遠位端２０８に対する器具１０の位置に基づいて異なる器具に対応するオーバーレイ要素の画像を生成することができる。内視鏡プローブ２０６上のセンサ３２は、内視鏡プローブ２０６の遠位端２０８に対して既知の位置に配置されているため、内視鏡プローブ２０６の遠位端２０８の位置を、内視鏡プローブ２０６上のセンサ３２から得られた位置データから導出することができる。

【0025】

器具の位置及び方向に加えて、特定の操作のモードでは、内視鏡画像２１２にワークステーション１２によって表示されるオーバーレイ要素はまた、テキスト及び解剖学的構造に関連したグラフィックマーカーを含む。図３は、１つの例に基づいて、オーバーレイ要素が存在する状況を示し、かつ／又は少なくとも一部のオーバーレイ要素が生成される方法を示す目的で、頭部の３Ｄモデル３００を示したものである。３Ｄモデル３００は、ＣＴスキャン又はＭＲＩなどの標準的な医療イメージング技術、及びこれらの技術により得られたデータの、周知の技術を用いた３次元モデルへの変換によって得ることができる。かかるスキャンは、図１のシステム１００又は図２のシステムを使用する任意の手術に先立って行うことができる。簡単及び明確にする目的で、数個の解剖学的構造のみを３Ｄモデル３００に示している。しかしながら、医療手技に使用され、スキャンに基づいて生成される３Ｄモデルは、対象の実質的にすべての解剖学的構造を反映することができる点が理解されるべきである。

【0026】

いくつかの動作のモードにおいて、内視鏡画像２１２上に合成されたオーバーレイ要素のうちの少なくとも一部は、術者によって入力されたマーカー３０２に基づいたものである。より詳細には、手術に先立って、対象の３Ｄモデルが、例えば医療スキャンに基づいて生成される。次に、外科医などの術者がこの３Ｄモデルを見て、３Ｄモデルの３次元座標系内にマーカー３０２を入力する。任意のユーザインターフェースを用いて術者がマーカー３０２を入力することを可能とすることができる。これらのマーカー３０２のいくつかの例が図３に示されている。マーカー３０２（１）は上顎洞孔に関連付けられており、マーカー３０２（２）は蝶形骨洞孔に関連付けられている。他のマーカー３０２も３Ｄモデル内に存在してよい。

【0027】

なお、マーカー３０２を３Ｄモデルに入力するコンピュータシステムはワークステーション１２である必要はない点に留意されたい。別の言い方をすれば、３Ｄモデルは、画像（全体画像２１０、内視鏡画像２１２）を生成するコンピュータシステム（ワークステーション１２）とは異なるコンピュータシステム上で術者が分析及び操作する（マーカー３０２を追加する）ことができ、これを手術中に術者が見ることができる。このため、本明細書では、ワークステーション１２が３Ｄモデル３００にマーカー３０２を追加することに関連した特定のタスクを実行する、又はオーバーレイ要素のデータを追加、除去、編集、又は他の形で操作することに関連した他のタスクを実行する、と言う場合があるが、かかる動作は代わりに異なるコンピュータシステムで実行され得る点が理解されるべきである。

【0028】

特定の操作のモードでは、ワークステーション１２は自動的にマーカーを生成する。特定のマーカーは、３Ｄモデル３００の分析に基づいて、また、周知の解剖学的構造に関連した情報に基づいて追加することができる。例えば、ワークステーション１２は、ヒトの頭部の一般的な３次元モデルからなるテンプレート３Ｄモデルに基づいて、また、テンプレートモデルを用いて手術されるヒト対象の３Ｄモデルの比較などの更なる分析に基づいて、１つ以上の特定の解剖学的構造に対するマーカー３０２を生成することができる。いくつかの例において、マーカー３０２は自動的に、及びヒトの入力によることの両方で生成される。より詳細には、ワークステーション１２はマーカーを自動的に生成し、ヒトがこれらのマーカーの位置を調整する。あるいは、ワークステーション１２は、ワークステーション１２がマーカー３０２を自動的に生成することができる解剖学的ランドマークのリストを提示する。これに応じて、術者は１つ以上のそのようなランドマークを選択し、ワークステーション１２はそれらの選択されたランドマークに基づいてマーカー３０２を生成する。次に、術者は対象の頭部の実際の構造に基づいてそれらのマーカーの位置を調整することができる。かかるマーカー３０２を生成するためのいずれの他の技術的に可能な手段も可能である。マーカー３０２は、術者によって入力される関連したテキストを含んでもよい。これらのテキストマーカーは、マーカー３０２自体の入力時に生成することができる。例えば、術者は、３Ｄモデル内のある点をマーカー３０２として選択する際、テキストラベルを入力することもできる。

【0029】

例えば少なくとも一部のマーカー３０２などの特定のオーバーレイ要素は、全体画像２１０又は内視鏡画像２１２のいずれか又は両方に手術中に表示される。上記に述べたように、ワークステーション１２は位置合わせ処理に基づいて、カメラ４４がどこにあるか、内視鏡プローブ２０６の遠位端２０８がどこにあるか、及び対象の解剖学的構造がどこにあるかを知っているため、ワークステーション１２は１つ以上のセンサマーカー３０２に対するインジケータをレンダリングすることができる。

【0030】

図４Ａ～４Ｃは、例示的な内視鏡画像２１２を示している。画像４００（１）において、内視鏡プローブ２０６は、画像４００（１）で見えている上顎洞孔に先端を向けて鼻腔内に挿入される。３Ｄモデルは、上顎洞孔にマーカー３０２を含む。内視鏡プローブ２０６の遠位端２０８の位置と比較したマーカー３０２の位置を分析することにより、ワークステーション１２は、マーカー３０２（１）が内視鏡カメラ２０４の視野内にあるものと判断する。これに応じて、ワークステーション１２は、マーカー３０２に関連付けられたオーバーレイ要素４０４（１）を内視鏡画像２１２内に表示する。画像４００（１）において、オーバーレイ要素は、矢印４０６（１）及びテキスト４０８（１）を含んでいるが、オーバーレイは他の実施においては他のグラフィック要素を含んでもよい。オーバーレイのグラフィック要素は、マーカー３０２の位置を示すように構成されている。画像４００（１）において、この表示は、マーカー３０２のおおまかな位置からマーカー３０２に関連付けられたテキスト４０８にまで延びる矢印４０６によって実現されている。動作の他のモードは、異なる形でマーカー３０２の位置を示すように構成された異なる種類のグラフィックを含むことができる。

【0031】

マーカー３０２の位置が矢印４０６及びテキスト４０８で示されている構成では、ワークステーション１２は、テキスト４０８の適当な位置を選択し、次いでマーカー３０２に対応する位置からテキスト４０８について選択された位置まで矢印４０６を描くように構成されている。画像を分析してテキストにとって適当な位置を決定するためのいずれの技術的に可能な手段も使用することができる。「適当な」なる用語は、一般に、テキスト４０８が判読可能であることを意味する。１つの例では、ほぼ均一な色を有する画像４０４の部分がテキスト用に選択される。１つの例では、ほぼ均一な色は、ある領域内のピクセルに関する平均の色値の差異に基づいて決定される。差異が大きいほど、その領域は不均一である。１つの例では、特定の閾値よりも低い差異を有する領域は、その領域がテキストに適当であることを示す。上記に述べた技術は、オーバーレイを表示するための技術の一部の例を代表するものであり、マーカー３０２の位置を特定する要素を表示するためのいずれの技術的に可能な手段も使用することができる点に留意されたい。

【0032】

図４Ｂ及び４Ｃは、他の位置での他の例示的な画像４００を示している。詳細には、画像４００（２）は内視鏡２０２によって撮影されたビューを表し、内視鏡プローブ２０６は鼻腔内に挿入され、蝶形骨洞孔に先端が向けられている。マーカー３０２（２）に基づいて、ワークステーション１２は、図４Ａに関して述べたのと同じ要領でテキスト４０８（２）及び矢印４０６（２）を生成する。画像４００（３）は、内視鏡２０２によって撮影されたビューを表し、内視鏡プローブ２０６は鼻腔内に挿入され、鼻ポリープに先端が向けられている。画像４００（１）及び４００（２）と同様、ワークステーション１２は、センサ３２からの位置データに基づいて、３Ｄモデルに基づいて、更にマーカー３０２に基づいて画像４００（３）を生成する。

【0033】

図４Ｄは、別の例示的な画像４００（４）を示している。詳細には、画像４００（４）は、内視鏡２０２によって撮影されたビューを表し、内視鏡プローブ２０６は鼻腔内に挿入され、鼻ポリープに先端が向けられている。マーカー３０２（４）に基づいて、ワークステーション１２は、テキスト４０８（４）及び矢印４０６（４）を生成する。更に、ワークステーション１２は、血管４６０の形状及び位置を示す情報を有している。ワークステーション１２は、血管が内視鏡２０２によって撮影された画像に対応する視野内にあるものと判断し、したがって血管４６０のグラフィック表現を画像４００（４）に表示する。これにより、施術者は手術中に血管４６０を避けることができる。

【0034】

図５Ａ～５Ｂは、本明細書で「解剖学的要素輪郭線」と呼ばれるある種のオーバーレイ要素を含む例示的な画像５００を示している。これらの解剖学的要素輪郭線５０２はワークステーション１２によって自動的に生成され、特定の解剖学的要素の位置を示すために用いられる。画像５００（１）は、矢印４０６（４）及びテキスト４０８（４）、並びに輪郭線５０２（１）を示している。輪郭線５０２（１）は、センサ３２から受信した位置情報及びモデルデータ４８に保存された３Ｄモデル情報を場合により組み合わせた画像処理によってワークステーション１２により自動的に生成される。

【0035】

ワークステーション１２は、対象となる特定の解剖学的要素の幾何学的輪郭を識別するためのいずれの技術的に可能な手段も実施することができる。１つの例では、「理想的な」又は「基準となる」解剖学的構造のテンプレートモデルが、対象の実際のスキャンから得られた３Ｄモデルと比較される。既知の解剖学的要素は、３Ｄモデルの幾何形状とテンプレートモデルの幾何形状の配置比較に基づいて３Ｄモデル内で識別される。別の例では、３Ｄモデルを生成するためのスキャンの後、術者はこの３Ｄモデルを観察し、マーカー３０２を生成する場合と同じ要領で対象とする解剖学的構造を識別する。

【0036】

手術中にワークステーション１２は、内視鏡カメラ２０４で得られた画像を処理することで特定の識別された解剖学的構造に関連付けられた画像のピクセルを識別する。特定の例では、異なる解剖学的構造が異なる画像処理技術によって認識される。１つの技術では、ワークステーション１２は本来であれば明るい画像内の暗い領域（照明及び／又はカメラによる口径食の要因となる）を孔として識別する。ワークステーション１２は、内視鏡プローブ２０６の遠位端２０８の位置及び方向に基づいてどの孔が識別されるかを判断する。例えば、３Ｄモデル内の位置に基づき、ワークステーション１２は、鼻腔内の内視鏡プローブ２０６の遠位端２０８の位置に基づいて、内視鏡プローブ２０６の遠位端２０８が鼻腔などの特定の領域内にあり、識別された孔が上顎洞孔であることを確認すること可能となり得る。これに応じて、ワークステーション１２は暗い領域の周囲に輪郭線を描き、輪郭線を上顎洞孔に対応するものとして識別するラベルを提供する。

【0037】

別の技術では、ワークステーション１２は、特定の色の領域を特定の種類の解剖学的構造であるとして識別する。図５Ｂでは、幾分黄色い色を有する構造は、その色及び位置に基づいて鼻ポリープとして識別される。詳細には、ワークステーション１２は、センサ３２との相互作用によって決定された位置に基づいて内視鏡プローブ２０６の遠位端２０８が鼻腔内にあるものと判断し、これにより、内視鏡カメラ２０４で撮影された画像内の黄色の物体が鼻ポリープであると判断する。

【0038】

なお、本明細書では特定のオーバーレイ要素が述べられるが、本開示はそれらの特定のオーバーレイ要素に限定されない点に留意されたい。技術的に描画することが可能である他のオーバーレイ要素を上記に代えて、又は上記に加えて表示することができる。オーバーレイ要素の表示の仕方は、内視鏡カメラ２０４によって提供される画像の画像分析に基づいて位置、形態、及び／又はフォーマットを調整することができる。

【0039】

図６は、１つの例に基づく、拡張現実画像を表示するための方法６００のフロー図である。図１～５Ｂとともに述べたシステムに関して述べたが、当業者であれば、いずれの技術的に可能な工程の順序で本方法を実行するように構成されたいずれのシステムも本開示の範囲内に含まれる点が理解されよう。図に示される方法６００は、カメラ４４又は内視鏡カメラ２０４のいずれか若しくは両方において、又はシステム１００に含まれる他の任意のカメラにおいて実行することができる。図６の考察では、参照符号のない「カメラ」なる用語は、これらのカメラのいずれかを指す。

【0040】

図に示されるように、方法６００は、工程６０２で開始し、ワークステーション１２がカメラの運動を検出する。この運動は、上記に述べたようにカメラに取り付けられた１つ以上のセンサ３２によって受信される信号を発する位置パッド３０を介して検出される。運動の検出は、カメラの位置が直前の位置とは異なっていることの検出に相当する。

【0041】

工程６０４において、ワークステーション１２が、カメラの位置を決定する。やはり、この位置検出も、位置パッド３０によって発信された信号に応じてセンサ３２で受信される信号に基づいている。信号の異なる側面が、カメラの位置及び方向に関連しており、これらを決定するために用いることできる。例えば、位置パッド３０内の複数のエミッタは、それぞれが異なる特徴的な特性（例えば周波数）を有する異なる信号を発することができる。センサ３２は、異なる周波数の信号の振幅を検出する。振幅は、位置パッド３０内のエミッタのそれぞれからの距離に関連している。各エミッタは、位置パッド内で既知の位置を有する。複数の距離を用いてセンサ３２の位置が三角測量法により求められる。センサ３２は、わずかに異なる信号をそれぞれが受信する個々のマイクロセンサを有することができる。マイクロセンサによって受信される信号の差を用いてセンサ３２の方向を決定することができる。この分析により、位置パッド３０に対するセンサ３２の位置及び方向が求められる。対象（例えば患者の頭部）に対する位置パッド３０の位置及び方向は、上記で述べたのとほぼ同様に、術者などの操作者が、センサ３２を有する器具１０を対象の周囲で動かし、対象上の１つ以上の点を対象の３Ｄモデルの点と相関させる位置合わせ処理に基づいて予め確立される。

【0042】

工程６０６では、ワークステーション１２が、カメラの視野を決定する。カメラによって生成された画像は、現実の画像（すなわちカメラによって実際に生成された画像）と、３Ｄモデル及びセンサ３２の測定値に対応した３Ｄ座標系の両方において特定の視野に関連付けられる。いずれの特定のカメラシステムも、レンズ及びセンサの特性に基づいて決定される、一般的に角度で測定される既知の視野を有している。視野に関連付けられる更なるパラメータは形状であり、そのいくつかの例は、長方形及び円形である。視野はカメラ及びセンサの物理的性質に基づいて知られるため、カメラの視野を決定するには、保存されたデータからカメラの視野を検索すること、カメラの他の既知のパラメータから視野を計算すること、又は他の周知の技術（いずれの技術的に可能な技術も使用することができる）により視野を確認することを伴う。

【0043】

工程６０８では、ワークステーション１２は、決定された視野に対応するオーバーレイ要素を特定する。上記に述べたように、オーバーレイ要素は、モデルデータ４８に保存されたモデルの３Ｄ空間内の特定の位置に関連付けられたグラフィック要素を含む。オーバーレイ要素の１つの種類として、モデルの３Ｄ空間内の特定の点に関連付けられたマーカー３０２がある。別の種類のオーバーレイ要素は、図５Ａ～５Ｂの解剖学的要素輪郭線５０２のような、解剖学的構造に基づいて自動的に生成されたインジケータを含む。このオーバーレイ要素の列記は、限定的なものと解釈されるべきではない。手術及び／又は解剖学的構造に関連したいずれの種類の特徴又は態様も、見るための画像（例えば全体画像２１０又は内視鏡画像２１２）に合成するために特定することができる。

【0044】

工程６１０では、ワークステーション１２は、オーバーレイ要素をカメラ画像と合成し、合成された画像を表示する。ワークステーション１２がポジティブ画像を表示するディスプレイは、画像がどのカメラから受信されたか、及びシステム１００の別のカメラが起動しており、表示するための画像データをワークステーション１２に提供しているかに応じて決まり得る。１つの例では、カメラ４４及び内視鏡カメラ２０４の両方が起動しており、合成用の画像を提供している場合、ワークステーション１２はカメラ４４からの画像をディスプレイ１６上に全体画像２１０として表示し、内視鏡カメラ２０４からの画像を内視鏡ディスプレイ２０５上に内視鏡画像２１２として表示する。別の例では、カメラ４４及び内視鏡カメラ２０４の両方が起動しており、合成用の画像を提供している場合、画像は両方ともディスプレイ１６上に表示され、画像間で時間に基づいた切り換えが行われるか、又は術者の制御によりどの画像が表示されるかの選択が行われる。更に別の例では、両方の画像がディスプレイ１６又は内視鏡ディスプレイ２０５などの特定のディスプレイ上に表示される。このような状況では、図に示される特定の画像は、術者が制御することができる。あるいは、一方のカメラが他方のカメラよりも優先してよく、その場合、一方のカメラが起動されているとディスプレイは常にそのカメラからの画像を表示し、他方のカメラからの画像は表示しない。

【0045】

オーバーレイ要素の合成は、工程６０８で識別されたオーバーレイ要素の位置をカメラに関連付けられた画像内で特定すること、及びそれらのオーバーレイ要素をカメラから受信された画像内で合成することを含む。オーバーレイ要素の合成は、オーバーレイ要素のグラフィック表現を生成することと、そのグラフィック表現をカメラからの画像とともに表示する（例えば、カメラからの画像に重ねて、又はカメラからの画像のピクセルにピクセルを混ぜ合わせて）ことと、を含む。マーカー３０２では、グラフィック表現は、図４Ａ～４Ｃに関して述べたように生成された矢印４０６及びテキスト４０８を含むことができる。他のオーバーレイ要素としては、図５Ａ～５Ｂに関して述べたように生成された解剖学的要素輪郭線を挙げることができる。いくつかのオーバーレイ要素は、器具１０の視覚的表示を含む。詳細には、ワークステーション１２はモデルの３Ｄ空間内でのカメラの位置を知っており、モデルの３Ｄ空間内での器具１０の位置を知っている。器具がカメラの視野内にある場合、ワークステーション１２はその器具のグラフィックインジケータを生成してカメラによって生成された画像に合成することができる。

【0046】

工程６１０後の結果は、３Ｄモデルに関連したデータ及び／又は解剖学的構造若しくは行われている手術に関連した他の保存データから導出された１つ以上のグラフィック要素に重ね合わされたカメラからの画像である。合成された画像は、ディスプレイ１６又は内視鏡ディスプレイ２０５に表示することができる。

【0047】

提供される方法は、汎用コンピュータ、プロセッサ、又はプロセッサコアへの実装を含む。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意のその他の種類の集積回路（ＩＣ）、及び／又は状態機械が挙げられる。このようなプロセッサは、処理されたハードウェア記述言語（ＨＤＬ）命令及びネットリスト等のその他の中間データ（このような命令は、コンピュータ可読媒体に保存することが可能である）の結果を用いて製造プロセスを構成することにより、製造することができる。そのような処理の結果は、次いで、本明細書で説明される方法を実施するプロセッサを製造するために半導体製造プロセスにおいて使用される、マスクワークとすることができる。

【0048】

本明細書に提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによる実施のために持続性コンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア、又はファームウェアにおいて実施することができる。持続性コンピュータ可読記憶媒体の例としては、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、磁気媒体、例えば内蔵ハードディスク及びリムーバブルディスク、磁気光学媒体、並びに光学媒体、例えば、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）が挙げられる。

【0049】

〔実施の態様〕
（１） 対象の拡張現実表示を与えるための方法であって、
カメラから画像を取得することと、
前記カメラの位置を検出することと、
前記カメラの前記位置に基づいて前記カメラの視野を特定することと、
前記視野に対応する１つ以上のオーバーレイ要素を生成することと、
前記１つ以上のオーバーレイ要素を前記カメラからの前記画像と合成して合成画像を形成することと、
前記合成画像をディスプレイ上に表示することと、を含む、方法。
（２） 前記１つ以上のオーバーレイ要素が、前記対象の解剖学的構造に関連付けられているか、又は１つ以上の器具に関連付けられている、実施態様１に記載の方法。
（３） カメラの前記位置を検出することが、
術前位置合わせを行って位置パッドの相対位置及び方向を前記対象の位置及び方向と比較して相関させることと、
前記位置パッドのセンサによって、前記カメラと結合された１つ以上のフィールド発生器によって発生された１つ以上の信号を受信することと、
前記１つ以上の信号に基づいて前記カメラの前記位置を特定することと、を含む、実施態様１に記載の方法。
（４） 前記１つ以上のオーバーレイ要素を生成することが、
器具のグラフィック表現を生成することを含む、実施態様１に記載の方法。
（５） 前記器具の前記グラフィック表現を生成することが、
前記カメラの前記視野内の前記器具の位置を決定することと、
前記カメラの前記視野内の前記器具の前記位置に基づいて前記器具の前記グラフィック表現をレンダリングすることと、を含む、実施態様４に記載の方法。

【0050】

（６） 前記１つ以上のオーバーレイ要素を生成することが、
解剖学的要素を示すオーバーレイ要素を生成することを含む、実施態様２に記載の方法。
（７） 前記解剖学的要素を示す前記オーバーレイ要素を生成することが、
前記カメラの前記視野内のマーカーの位置を、前記位置パッドの前記相対位置及び方向、並びに前記対象の前記位置及び方向に基づいて、更に前記マーカー及び前記対象のモデルの相対位置に基づいて、決定することと、
前記カメラの前記視野内の前記マーカーの前記位置に基づいて前記マーカーに対応するグラフィック表現をレンダリングすることと、を含む、実施態様６に記載の方法。
（８） 前記マーカーに対応する前記グラフィック表現が、前記マーカーによって示されるようなテキスト及び矢印を含む、実施態様７に記載の方法。
（９） 前記画像の暗い部分の検出に基づいて孔を識別することを更に含み、
前記マーカーに対応する前記グラフィック表現が、前記孔の解剖学的要素輪郭線を含む、実施態様７に記載の方法。
（１０） 前記画像の画像分析に基づいて、前記マーカーに対応する前記グラフィック表現の位置、形態、及び／又はフォーマットが調整される、実施態様７に記載の方法。

【0051】

（１１） 対象の拡張現実表示を与えるためのシステムであって、
ワークステーションと、
カメラと、を備え、
前記ワークステーションが、
前記カメラから画像を取得し、
前記カメラの位置を検出し、
前記カメラの前記位置に基づいて前記カメラの視野を特定し、
前記視野に対応する１つ以上のオーバーレイ要素を生成し、
前記１つ以上のオーバーレイ要素を前記カメラからの前記画像と合成して合成画像を形成し、
前記合成画像をディスプレイ上に表示するように構成されている、システム。
（１２） 前記１つ以上のオーバーレイ要素が、前記対象の解剖学的構造に関連付けられているか、又は１つ以上の器具に関連付けられている、実施態様１１に記載のシステム。
（１３） 位置パッドを更に備え、
前記ワークステーションが、
術前位置合わせを行って前記位置パッドの相対位置及び方向を前記対象の位置及び方向と比較して相関させること、
前記位置パッドのセンサによって、前記カメラと結合された１つ以上のフィールド発生器によって発生された１つ以上の信号を受信すること、並びに
前記１つ以上の信号に基づいて前記カメラの前記位置を特定すること、により、前記カメラの前記位置を検出するように構成されている、実施態様１１に記載のシステム。
（１４） 前記ワークステーションが、
器具のグラフィック表現を生成することにより、前記１つ以上のオーバーレイ要素を生成するように構成されている、実施態様１１に記載のシステム。
（１５） 前記ワークステーションが、
前記カメラの前記視野内の前記器具の位置を決定すること、及び
前記カメラの前記視野内の前記器具の前記位置に基づいて前記器具の前記グラフィック表現をレンダリングすること、により、前記器具の前記グラフィック表現を生成するように構成されている、実施態様１４に記載のシステム。

【0052】

（１６） 前記ワークステーションが、
解剖学的要素を示すオーバーレイ要素を生成することにより、前記１つ以上のオーバーレイ要素を生成するように構成されている、実施態様１２に記載のシステム。
（１７） 前記ワークステーションが、
前記カメラの前記視野内のマーカーの位置を、前記位置パッドの前記相対位置及び方向、並びに前記対象の前記位置及び方向に基づいて、更に前記マーカー及び前記対象のモデルの相対位置に基づいて、決定すること、並びに
前記カメラの前記視野内の前記マーカーの前記位置に基づいて前記マーカーに対応するグラフィック表現をレンダリングすること、により、前記解剖学的要素を示す前記オーバーレイ要素を生成するように構成されている、実施態様１６に記載のシステム。
（１８） 前記マーカーに対応する前記グラフィック表現が、前記マーカーによって示されるようなテキスト及び矢印を含む、実施態様１７に記載のシステム。
（１９） 前記ワークステーションが、
前記画像の暗い部分の検出に基づいて孔を識別するように更に構成され、
前記マーカーに対応する前記グラフィック表現が、解剖学的要素輪郭線を含む、実施態様１７に記載のシステム。
（２０） 対象の拡張現実表示を与えるためのシステムであって、
ワークステーションと、
ディスプレイと、
１つ以上の器具と、
カメラと、
内視鏡と、
内視鏡カメラと、を備え、
前記ワークステーションが、
前記カメラから画像を取得し、
前記カメラの位置を検出し、
前記カメラの前記位置に基づいて前記カメラの視野を特定し、
前記対象の解剖学的構造に関連付けられているか又は前記１つ以上の器具に関連付けられている、前記カメラの前記視野に対応する１つ以上のオーバーレイ要素を生成し、
前記カメラの前記視野に対応する前記１つ以上のオーバーレイ要素を前記カメラからの前記画像と合成して合成画像を形成し、
前記合成画像を前記ディスプレイ上に表示するように構成されている、システム。

【0053】

（２１） 前記ワークステーションが、更に、
前記内視鏡カメラから画像を取得し、
前記内視鏡カメラの位置を検出し、
前記内視鏡カメラの前記位置に基づいて前記内視鏡カメラの視野を特定し、
前記対象の解剖学的構造に関連付けられているか又は前記１つ以上の器具に関連付けられている、前記内視鏡カメラの前記視野に対応する１つ以上のオーバーレイ要素を生成し、
前記内視鏡カメラの前記視野に対応する前記１つ以上のオーバーレイ要素を前記内視鏡カメラからの前記画像と合成して合成内視鏡画像を形成し、
前記合成画像を前記ディスプレイ上又は内視鏡ディスプレイ上に表示するように構成されている、実施態様２０に記載のシステム。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6】