特許 6095032 合成画像提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6095032

(24)【登録日】2017年2月24日

(45)【発行日】2017年3月15日

(54)【発明の名称】合成画像提示システム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20170306BHJP

   G06T 7/60 20170101ALI20170306BHJP

   G01B 11/00 20060101ALI20170306BHJP

   H04N 5/64 20060101ALI20170306BHJP

   H04N 7/18 20060101ALI20170306BHJP

【ＦＩ】

   A61B8/14

   G06T7/60 150P

   G01B11/00 H

   H04N5/64 511A

   H04N7/18 U

【請求項の数】9

【全頁数】17

(21)【出願番号】特願2016-41611(P2016-41611)

(22)【出願日】2016年3月3日

【審査請求日】2016年10月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】591117413

【氏名又は名称】株式会社菊池製作所

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100114524

【弁理士】

【氏名又は名称】榎本 英俊

(72)【発明者】

【氏名】張 博

(72)【発明者】

【氏名】田野 俊一

【審査官】 冨永 昌彦

(56)【参考文献】

【文献】 特開２０１４−２２１１７５（ＪＰ，Ａ）

【文献】 特開２００７−１３６１３３（ＪＰ，Ａ）

【文献】 特開２０１４−１３１５５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

Ａ６１Ｂ ５／００ − ５／０１

(57)【特許請求の範囲】

【請求項1】

医療現場のユーザに装着され、当該ユーザの視界に存在する実空間の画像を撮像するカメラが取り付けられたヘッドマウントディスプレイに対し、別途取得された診断画像を重畳画像として実空間の一部領域に重ねた状態でユーザに視認させる合成画像を提示する医療用の合成画像提示システムにおいて、
前記実空間内の所定部位の３次元位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された３次元位置情報に基づき、前記合成画像を生成して前記ヘッドマウントディスプレイに提示する処理装置とを備え、
前記位置情報検出装置は、前記カメラで撮像されたカメラ画像を利用して前記所定部位における３次元位置情報を検出する光学トラッキング手段を備え、
前記光学トラッキング手段は、複数存在する前記所定部位にそれぞれ設置される光学マーカと、前記カメラ画像に撮像された前記各光学マーカの画像状態を認識することにより、これら各光学マーカについて、前記カメラの定点を原点とした局所座標系における３次元位置情報であるローカル位置情報を検出する光学マーカ検出部とを備え、
前記処理装置は、前記ローカル位置情報から、前記所定部位及び前記ヘッドマウントディスプレイについて、前記実空間内の定点を原点とした全体座標系における３次元位置情報であるグローバル位置情報を求める座標変換手段と、前記グローバル位置情報に基づき前記合成画像を生成する合成画像生成手段とを備え、
前記座標変換手段では、前記カメラでの撮像位置及び／又は撮像タイミングの異なる複数の前記カメラ画像を利用し、当該各カメラ画像に撮像された複数の前記光学マーカの前記ローカル位置情報から、全ての前記光学マーカ間の相対位置関係を特定した上で、少なくとも１つの前記光学マーカと前記全体座標系の原点との相対位置関係に基づき、前記各光学マーカにおける前記グローバル位置情報を求め、前記カメラを１台のみ用いる場合、前記カメラで撮像される現在の前記カメラ画像と、過去に撮像された前記カメラ画像とを利用し、前記カメラを複数台用いる場合、当該各カメラで同時に撮像される現在の前記カメラ画像と、過去に撮像された前記カメラ画像との少なくとも一方を利用することを特徴とする合成画像提示システム。

【請求項2】

前記位置情報検出装置は、前記カメラを利用せずに前記実空間内の所定部位における３次元位置情報を検出する非光学トラッキング手段を更に備え、
前記非光学トラッキング手段は、前記所定部位の少なくとも１箇所に固定される非光学マーカを追跡することで、当該非光学マーカについて、予め設定された基準点を原点とした局所座標系における３次元位置情報であるローカル位置情報を特定する３次元位置センサにより構成され、
前記座標変換手段では、前記非光学マーカのローカル位置情報をも利用し、前記各光学マーカの前記グローバル位置情報を求めることを特徴とする請求項１記載の合成画像提示システム。

【請求項3】

前記光学マーカと前記非光学マーカとが相対移動不能且つ相対回転不能に一体的に設けられた複合マーカが前記所定部位に設置され、当該複合マーカも前記座標変換手段での前記グローバル位置情報の導出に利用されることを特徴とする請求項２記載の合成画像提示システム。

【請求項4】

前記光学マーカが多面体の複数面にそれぞれ固定配置されてなる複合マーカが前記所定部位に設置され、当該複合マーカも前記座標変換手段での前記グローバル位置情報の導出に利用されることを特徴とする請求項１記載の合成画像提示システム。

【請求項5】

前記座標変換手段では、前記各光学マーカについて移動可能性の有無が予め記憶されており、過去に撮像された前記カメラ画像のうち、移動不能な前記光学マーカが撮像された前記カメラ画像のみを利用することを特徴とする請求項１記載の合成画像提示システム。

【請求項6】

前記合成画像生成手段では、前記座標変換手段で前記グローバル位置情報が取得できずに、前記重畳画像を重ねることができない場合に、予め設定した表示情報を含む合成画像を生成することを特徴とする請求項１記載の合成画像提示システム。

【請求項7】

前記座標変換手段は、前記位置情報検出装置での位置計測誤差に関する情報が記憶された誤差データベースと、当該誤差特性を考慮して、前記光学マーカ及び前記非光学マーカの前記グローバル位置情報を算出するマーカ位置算出部とを含み、
前記マーカ位置算出部では、前記各光学マーカについて前記ローカル位置情報から前記グローバル位置情報を求める際に、前記各光学マーカの相対位置関係に基づき導出される複数の経路毎に発生し得る前記位置計測誤差を加味することを特徴とする請求項２記載の合成画像提示システム。

【請求項8】

前記誤差データベースでは、前記光学トラッキング手段による位置検出手法と前記非光学トラッキング手段による位置検出手法のそれぞれの手法について、前記３次元位置情報の様々な値毎に誤差の標準偏差が記憶され、
前記マーカ位置算出部では、前記各経路について、前記３次元位置情報の座標成分毎に、前記標準偏差を加味した数値範囲を特定し、前記各経路を総合して最も確率の高い値が、前記グローバル位置情報の最終推定値とされることを特徴とする請求項７記載の合成画像提示システム。

【請求項9】

前記座標変換手段では、同一の前記光学マーカが撮像されている複数の前記カメラ画像の中から、前記ヘッドマウントディスプレイの位置が最も離れている１組の前記カメラ画像を選択し、当該各カメラ画像に撮像された前記光学マーカの両眼視差に基づき、当該光学マーカにおける前記グローバル位置情報を調整することを特徴とする請求項１記載の合成画像提示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外界の実空間の一部に他で取得した重畳画像を重ね合わせた合成画像を生成し、当該合成画像をユーザに視認させるための合成画像提示システムに関する。

【背景技術】

【0002】

近年、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の技術について、他の様々な分野への応用が検討されている。ＡＲ技術の医療分野への応用としては、所定の重畳画像を外界の実空間を撮像したカメラ画像に重ね合わせてユーザに視認させるビデオシースルータイプのヘッドマウントディスプレイを利用し、医療教育支援や低侵襲手術支援等を行うシステムが研究されている。当該システムとしては、例えば、ヘッドマウントディスプレイを装着した医師が穿刺等を行う際に用いられ、ヘッドマウントディスプレイに取り付けられたビデオカメラにより撮像された医師の視野のカメラ画像に、超音波診断装置のプローブが当てられた患者の患部の超音波画像が重ね合わされた状態で医師に視認させるシステムがある（例えば、非特許文献１参照）。

【0003】

この非特許文献１のシステムでは、プローブの位置や向きに応じ、カメラ画像に超音波画像が重畳される。この際に必要なプローブの３次元位置情報を取得するために、プローブに光学マーカを取り付け、当該光学マーカをビデオカメラで撮像することにより、カメラ画像内の光学マーカの状態から、ビデオカメラと光学マーカの相対的な位置関係を求める手法が非特許文献１に提案されている。

【0004】

当該非特許文献１の手法のように、光学マーカがプローブのみに取り付けられている場合、１つの光学マーカとビデオカメラとの相対位置関係しか分からず、実空間内の定点を原点とした全体座標系における光学マーカの３次元位置情報を把握することができない。そのため、患者の患部の所定範囲に沿ってプローブを動かしてビーム走査し、当該ビーム走査時におけるプローブの３次元位置情報を所定時間毎に計測し、各時刻の超音波画像データとその際のプローブの３次元位置情報を対応させたボリュームデータを取得するニーズ等がある場合に、非特許文献１の手法では、医師の頭部に装着されたビデオカメラの位置や姿勢を固定しながらビーム走査をする必要があり、一定精度のボリュームデータを取得することが困難になる。

【0005】

そこで、非特許文献２には、ヘッドマウントディスプレイとプローブに磁気マーカをそれぞれ取り付け、様々な強さの磁界を発生する磁気基地局からの磁界の変化を磁気マーカで検知し、磁気基地局を基準とした座標系を全体座標系としてヘッドマウントディスプレイとプローブの３次元位置情報を検出する手法が提案されている。

【0006】

更に、非特許文献３には、非特許文献１の手法に対して、患者の周囲に複数の光学マーカを更に固定配置し、当該固定配置された光学マーカとプローブに設けられた光学マーカとを用いて、全体座標系における各光学マーカの３次元位置情報を検出する手法が提案されている。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Shun'ichi Tano, Keisuke Suzuki, Kenji Miki, Natsuko Watanabe, Mitsuru Iwata, Tomohiro Hashiyama, Junko Ichino, Ken Nakayama, Simple Augmented Reality System for 3D Ultrasonic Image by See-through HMD and Single Camera and Marker Combination, Proceedings of the IEEE-EMBS, International Conference on Biomedical and Health Informatics (BHI 2012), 2012.1, pp.464-467

【非特許文献2】小杉 直史, 田野 俊一, 橋山 智訓, 三木 健司, 岩田 満, 超音波診断における医療ARシステムの分類, ファジィシステムシンポジウム2015, 2015.9, pp.588-593

【非特許文献3】渡部 夏子, 田野 俊一, 橋山 智訓, 市野 順子, 三木 健司, 岩田 満, 手術室内環境及び術者に柔軟に適応可能な超音波装置インターフェースの提案,ファジィシステムシンポジウム2012, 2012.9, pp.649-654

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、前記非特許文献２のように磁気を利用したシステムにおいては、周囲に存在する金属に非常に弱く、金属部品を多く含む環境下での使用では、検出誤差が大きくなり、頻繁なキャリブレーションが必要になる他、磁気基地局と磁気マーカとの距離が大きくなるほど誤差が大きくなる。また、前記非特許文献３の手法では、ヘッドマウントディスプレイを装着している医師自身のカメラで、実空間内を移動するプローブに設けられた光学マーカに加え、固定配置された光学マーカの少なくとも１つが常に撮像されていなければ、全体座標系におけるプローブの３次元位置を特定することができず、この際、カメラ画像に重畳画像を重畳できなくなる。従って、このような事態を回避するためには、プローブがどこに移動しても、プローブが撮像されたカメラ画像内に、固定配置された光学マーカの少なくとも１つが撮像されるように、多数の光学マーカを実空間の至る場所に配置する必要が生じる。そして、固定配置された各光学マーカの間の相対位置関係を特定するために、医師が装着している１台のカメラで、固定配置された全ての光学マーカを撮像する事前作業が必要となり煩雑である。

【0009】

本発明は、このような課題に着目して案出されたものであり、その目的は、光学マーカを主体とし、１台のカメラで撮像された現時点のカメラ画像に基づくデータを補完し、実空間に存在する光学マーカとヘッドマウントディスプレイの全体座標系における３次元位置情報を簡易に且つ精度良く検出することで、所望の状態の合成画像を確実に生成できる合成画像提示システムを提供することにある。

【課題を解決するための手段】

【0010】

前記目的を達成するため、本発明は、主として、ユーザに装着され、当該ユーザの視界に存在する実空間の画像を撮像するカメラが取り付けられたヘッドマウントディスプレイに対し、別途取得された重畳画像を実空間の一部領域に重ねた状態でユーザに視認させる合成画像を提示する合成画像提示システムにおいて、前記実空間内の所定部位の３次元位置情報を検出する位置情報検出装置と、当該位置情報検出装置によって検出された３次元位置情報に基づき、前記合成画像を生成して前記ヘッドマウントディスプレイに提示する処理装置とを備え、前記位置情報検出装置は、前記カメラで撮像されたカメラ画像を利用して前記所定部位における３次元位置情報を検出する光学トラッキング手段を備え、前記光学トラッキング手段は、複数存在する前記所定部位にそれぞれ設置される光学マーカと、前記カメラ画像に撮像された前記各光学マーカの画像状態を認識することにより、これら各光学マーカについて、前記カメラの定点を原点とした局所座標系における３次元位置情報であるローカル位置情報を検出する光学マーカ検出部とを備え、前記処理装置は、前記ローカル位置情報から、前記所定部位及び前記ヘッドマウントディスプレイについて、前記実空間内の定点を原点とした全体座標系における３次元位置情報であるグローバル位置情報を求める座標変換手段と、前記グローバル位置情報に基づき前記合成画像を生成する合成画像生成手段とを備え、前記座標変換手段では、前記カメラでの撮像位置及び／又は撮像タイミングの異なる複数の前記カメラ画像を利用し、当該各カメラ画像に撮像された複数の前記光学マーカの前記ローカル位置情報から、全ての前記光学マーカ間の相対位置関係を特定した上で、少なくとも１つの前記光学マーカと前記全体座標系の原点との相対位置関係に基づき、前記各光学マーカにおける前記グローバル位置情報を求める、という構成を採っている。

【0011】

なお、本明細書及び特許請求の範囲において、「３次元位置情報」とは、所定の座標系における直交３軸における３次元位置に、当該直交３軸回りの回転角度である傾きを加えた情報を意味する。「３次元位置情報の座標成分」とは、３次元位置（ｘ，ｙ，ｚ）と、回転角度（α，β，γ）の６成分を意味する。

【発明の効果】

【0012】

本発明によれば、過去のカメラ画像や他のユーザが撮像したカメラ画像をも用いて、１のカメラで撮像されたカメラ画像に基づくデータを補完し、実空間に存在する光学マーカとヘッドマウントディスプレイのグローバル位置情報を簡易に且つ精度良く検出することができる。これにより、ユーザが撮像したカメラ画像内の光学マーカの位置や向きに対応して、カメラ画像の所定位置に重畳画像を正確に重ね合わせることができる。また、光学マーカ主体で前記グローバル位置情報を検出することができ、事前準備として、磁気を用いたセンシングシステム等における原点位置のキャリブレーション作業が不要で、固定配置された光学マーカをユーザが事前にカメラで撮像するだけで、システムの使用が可能となる。更に、あるユーザのカメラ画像に撮像されていないが、他のユーザのカメラ画像に撮像された光学マーカの認識結果を共用することができ、必ずしも、一人のユーザのカメラで全ての光学マーカを撮像する必要がなく、事前作業の短縮化を図ることができるとともに、固定配置される光学マーカの数を極力抑えつつも、実空間内の光学マーカとヘッドマウントディスプレイのグローバル位置情報を確実に検出することができる。

【0013】

また、光学マーカが多面体の複数面にそれぞれ固定配置された複合マーカを用いると、より広範な角度からカメラで光学マーカを撮像可能となり、光学マーカの認識精度を向上させることができる。

【0014】

更に、マーカ位置算出部において、位置情報検出装置での位置計測誤差に関する誤差特性を考慮して、前記光学マーカのグローバル位置情報を算出する構成によれば、光学マーカによる位置計測を非光学マーカによる位置計測に単に代替させるのではなく、これらマーカを総合的に利用し、３次元位置情報の座標成分毎に確率分布を用いながら優劣判断をすることで、位置計測誤差が少ないと思われる適切な位置のユーザのデータを効果的に利用可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の合成画像提示システムを含むＡＲ表示システムの主たる構成を表す概念図である。

【図2】前記ＡＲ表示システムの全体構成を表すブロック図である。

【図3】誤差データベースに記憶された誤差情報を説明するための図である。

【図4】マーカ位置算出部での処理手順を説明するためのフローチャートである。

【図5】マーカ位置算出部での処理を説明するための第１事例における概念図である。

【図6】マーカ位置算出部での処理を説明するための第２事例における概念図である。

【図7】マーカ位置算出部での処理を説明するための第３事例における概念図である。

【図8】各経路における標準偏差と最終推定値との関係を表すグラフである。

【図9】立体光学マーカの概略斜視図である。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について図面を参照しながら説明する。

【0017】

図１には、本発明の合成画像提示システムを含むＡＲ表示システムの主たる構成を表す概念図が示され、図２には、当該ＡＲ表示システムの全体構成を表すブロック図が示されている。これらの図において、前記ＡＲ表示システム１０は、医療現場で適用され、ユーザである複数（ｎ人）の医師Ｄ（Ｄ１、Ｄ２、・・、Ｄｎ）がヘッドマウントディスプレイ１１（以下、「ＨＭＤ１１」と称する。）を装着し、各医師Ｄの視界に存在する患者Ｓの実空間の画像（主に患部）に、対応する超音波画像等の診断画像を重畳画像として重ねた合成画像をＨＭＤ１１に表示するシステムである。

【0018】

このＡＲ表示システム１０は、各医師Ｄの頭部に装着されるＨＭＤ１１と、患者Ｐの患部等の診断画像を取得する画像診断装置１３と、実空間内の所定部位の３次元位置情報を検出する位置情報検出装置１４と、位置情報検出装置１４の検出結果に基づいて前記合成画像を生成し、当該合成画像をＨＭＤ１１に提示する処理装置１６とを備えて構成されている。なお、位置情報検出装置１４及び処理装置１６は、ＨＭＤ１１に対し前記合成画像を提示する合成画像提示システムを構成する。

【0019】

前記ＨＭＤ１１は、合成画像の背景となる実空間のカメラ画像を撮像するビデオカメラ１８が取り付けられたビデオシースルー型のものが用いられており、カメラ画像に重畳画像を重ね合せた合成画像が装着者の目前に表示されるようになっている。なお、本実施形態では、ＨＭＤ１１として、前記合成画像を装着者の左右両眼に提示する複眼タイプのものが用いられている。

【0020】

前記ビデオカメラ１８は、ＨＭＤ１１を装着した各医師Ｄが、自身の目前の実空間を実際に直視したのとほぼ同一のカメラ画像を取得できるように配置されている。従って、各医師Ｄは、自身の目前に存在する患者Ｓやその患部の様子について、ＨＭＤ１１の表示部に表示されたカメラ画像を通じて視認可能となる。なお、本発明においては、前記カメラ画像を取得できる限りにおいて、他の種々のカメラを採用することもできる。

【0021】

前記画像診断装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１９（図１参照）によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像等の超音波画像が生成される。また、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ１９の同一座標系での３次元位置情報の後述する計測結果を利用して、患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能が設けられている。これら超音波画像や立体像等の医療情報画像は、重畳画像として実空間のカメラ画像の所定位置に立体的に重ね合された状態で、ＨＭＤ１１を通じて医師Ｄが視認可能となる。なお、画像診断装置１３としては、本実施形態の超音波診断装置に限らず、ＣＴ、ＭＲＩ等の他の画像診断装置を適用することも可能である。

【0022】

前記位置情報検出装置１４は、図２に示されるように、ビデオカメラ１８を利用して、実空間の所定部位における３次元位置情報を検出する光学トラッキング手段２１と、ビデオカメラ１８を利用せずに、実空間内の所定部位における３次元位置情報を検出する非光学トラッキング手段２２とにより構成される。

【0023】

前記光学トラッキング手段２１は、実空間内における複数の所定部位にそれぞれ設置される光学マーカ２４と、カメラ画像に撮像された各光学マーカ２４の画像状態を認識することにより、各設置部位の光学マーカ２４について、ビデオカメラ１８の中心を原点とした直交３軸の局所座標系における３次元位置情報を検出する光学マーカ検出部２５とにより構成された光学トラッキングシステムからなる。つまり、この光学トラッキング手段２１では、光学マーカ２４を通じてその設置部位の３次元位置情報を検出可能となる。

【0024】

前記光学マーカ２４は、仰向けに寝た状態の患者Ｓの体表部分の複数箇所にそれぞれ固定配置されている。なお、特に限定されるものではないが、本実施形態では、図１に示されるように、患者Ｓの患部の周囲４箇所に固定配置されている。また、光学マーカ２４の表面には、所定の模様が付されており、当該模様の異なる複数パターンの光学マーカ２４が用意され、配置部位毎に模様の異なる光学マーカ２４が使用される。

【0025】

前記光学マーカ検出部２５では、ビデオカメラ１８で撮像されたカメラ画像に光学マーカ２４が写ると、当該光学マーカ２４を画像認識することにより、公知の手法による次の処理が行われる。すなわち、ここでは、光学マーカ２４の模様、形状、及びサイズが既知であることから、カメラ画像内の光学マーカ２４の模様から、どこに配置されている光学マーカ２４かを表すＩＤが特定されるとともに、カメラ画像内における光学マーカ２４のサイズや形状から、光学マーカ２４の位置や向きが求められる。ここで、光学マーカ２４の位置や向きは、前記局所座標系として、当該光学マーカ２４を撮像したビデオカメラ１８の中心を原点とするＨＭＤ座標系Ｈによる３次元位置情報として取得される。なお、光学マーカ２４を用いて得られる３次元位置情報の単位は、位置（ｍｍ）、角度（度）である。

【0026】

従って、光学マーカ検出部２５では、各医師Ｄにそれぞれ装着されたＨＭＤ１１のビデオカメラ１８で撮像された光学マーカ２４について、各医師ＤのＨＭＤ１１毎に設定されたＨＭＤ座標系Ｈによる３次元位置情報が逐次得られることになる。このＨＭＤ座標系Ｈは、医師Ｄがｎ人いると、ＨＭＤ１１の数と同一のｎ個存在する（Ｈ１、Ｈ２、・・、Ｈｎ）とともに、ＨＭＤ１１が装着される医師Ｄの頭部の動きに伴って移動する局所座標系として取り扱われる。

【0027】

前記非光学トラッキング手段２２は、実空間の様々な方向に、様々な強さの磁界を発生させる磁気基地局２７と、磁気基地局２７からの磁気の大きさを検出するセンサとして機能する磁気マーカ２８（非光学マーカ）と、磁気マーカ２８での磁気の検出状態からその設置部位の３次元位置情報を検出する磁気マーカ検出部２９とにより構成された磁気トラッキングシステムからなる。つまり、この磁気トラッキング手段２２では、磁気マーカ２８を通じてその設置部位の３次元位置情報を検出可能となる。なお、磁気マーカ２８を用いて得られる３次元位置情報の単位は、位置（ｍｍ）、角度（度）である。

【0028】

特に限定されるものではないが、本実施形態において、前記磁気マーカ２８は、逐次移動するプローブ１９の所定部位に固定されるとともに、固定配置された光学マーカ２４のうちの２箇所に、相対移動不能且つ相対回転不能に取り付けられている。これら光学マーカ２４と磁気マーカ２８の一体型のマーカは、複数のマーカからなる複合マーカ３０（図１参照）として機能し、光学マーカ検出部２５及び磁気マーカ検出部２９の双方で３次元位置情報を取得可能となる。

【0029】

前記磁気マーカ検出部２９では、磁気基地局２７から発生した磁界の方向や強さを計測することにより、プローブ１９や光学マーカ２４に取り付けられた磁気マーカ２８について、当該磁気マーカ２８のＩＤ毎に、磁気基地局２７の所定部位を原点とした直交３軸の磁気座標系Ｍにおける３次元位置情報が逐次取得されるようになっている。この磁気座標系Ｍは、１箇所に存在するとともに、磁気基地局２７が固定されることから、移動回転不能に固定される局所座標系として取り扱われる。

【0030】

なお、非光学トラッキング手段２２としては、ビデオカメラ１８を利用しないで非光学マーカを追跡することにより、当該非光学マーカについて、予め設定された基準点を原点とした局所座標系における３次元位置情報を特定する３次元位置センサにより構成されたものであれば何でも良い。

【0031】

図示省略しているが、他の非光学トラッキング手段２２として、例えば、超音波を利用した超音波トラッキングシステムを採用し、磁気トラッキングシステムに代え、又は、磁気トラッキングシステムと併用することができる。この超音波トラッキングシステムは、様々な周波数、強さの超音波を発生する発信機を超音波マーカ（非光学マーカ）として実空間の所定部位に固定し、超音波受信局に設置された複数のマイクで超音波の周波数、強さを計測することにより、三角測量の原理などを用いて、超音波マーカの設置部位について、超音波受信局の所定点を原点とした直交３軸の超音波座標系における３次元位置情報を逐次取得するものである。この超音波座標系も、磁気座標系Ｍと同様、超音波基地局の固定配置によって固定される１の局所座標系として取り扱われる。この超音波トラッキングシステムを採用した場合においても、取得した３次元位置情報に基づいて、磁気トラッキングシステムで取得した３次元位置情報と同様に後述の処理が行われる。

【0032】

なお、以下の説明において、局所座標系であるＨＭＤ座標系Ｈ及び磁気座標系Ｍにおける３次元位置情報を適宜「ローカル位置情報」と称する。また、予め設定された実空間内に固定された定点を原点とした直交３軸の全体座標系である患者座標系Ｐにおける３次元位置情報を適宜「グローバル位置情報」と称する。

【0033】

前記処理装置１６は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。

【0034】

この処理装置１６は、図２に示されるように、画像診断装置１３とビデオカメラ１８で得られた各種の画像データを取り込む画像取込手段３１と、位置情報検出装置１４で検出された光学マーカ２４及び磁気マーカ２８のローカル位置情報をグローバル位置情報に変換する座標変換手段３２と、グローバル位置情報に基づいて各医師ＤのＨＭＤ１１に提示される合成画像を生成する合成画像生成手段３３とを備えている。

【0035】

前記座標変換手段３２は、位置情報検出装置１４で検出された各光学マーカ２４及び磁気マーカ２８のローカル位置情報を記録するデータ記録部３５と、各種処理を行う際に用いられる情報が予め記憶されたデータベース３６と、各光学マーカ２４及び磁気マーカ２８のグローバル位置情報を算出するマーカ位置算出部３７と、マーカ位置算出部３７で算出された各光学マーカ２４及び磁気マーカ２８のグローバル位置情報から、各ＨＭＤ１１のグローバル位置情報を求めるＨＭＤ位置算出部３８とを備えている。

【0036】

前記データ記録部３５は、各ＨＭＤ１１のビデオカメラ１８で撮像された光学マーカ２４について、当該光学マーカ２４のローカル位置情報、すなわち、ＨＭＤ座標系Ｈにおける位置（ｘ，ｙ，ｚ）とそれら座標軸回りの回転角度（α，β，γ）とが、ＨＭＤ１１毎に記録される。例えば、ある光学マーカ２４が、ｎ人の医師Ｄ１〜Ｄｎのビデオカメラ１８で撮像されている場合、当該光学マーカ２４について、異なるｎ個のＨＭＤ座標系Ｈ〜Ｈ１〜Ｈｎにおけるローカル位置情報が記録されることになる。また、磁気マーカ２８のローカル位置情報として、磁気座標系Ｍにおける位置（ｘ，ｙ，ｚ）とそれら座標軸回りの回転角度（α，β，γ）とが記録される。これら光学マーカ２４及び磁気マーカ２８のローカル位置情報は、一定時間間隔（例えば、約数十ｍｍ／ｓｅｃ）でプールされ、一塊のデータの集合である１サイクル分のローカル位置データセットとして記録される。このローカル位置データセットは、１サイクル毎に記憶され、データ記録部３５には、現在のローカル位置データセットと、それ以前のサイクルとなる過去のローカル位置データセットとが記憶されることになる。また、このデータ記録部３５では、各光学マーカ２４と磁気マーカ２８について、移動可能性の有無に関する情報が予め登録され、当該情報とセットで記録される。図１の例では、プローブ１９に取り付けられた磁気マーカ２８のみが移動可能性「有」として登録され、その他の光学マーカ２４と磁気マーカ２８は移動可能性「無」として登録される。なお、当該登録内容は、状況に応じて逐次変更可能となっている。

【0037】

前記データベース３６は、光学トラッキング手段２１及び非光学トラッキング手段２２それぞれの位置計測誤差に関する情報が記憶された誤差データベース４２と、光学マーカ２４と磁気マーカ２８を一体化した複合マーカ３０について、各マーカ２４，２８の相対位置関係が記憶された相互位置関係データベース４３とにより構成されている。

【0038】

前記誤差データベース４２には、図３に示されるように、光学トラッキングシステムによる位置検出法と磁気トラッキングシステムによる位置検出法のそれぞれについて、各座標系における３次元位置情報（位置（ｘ，ｙ，ｚ）、向き（α，β，γ））の６成分を任意に組み合わせた多数のパターン毎に、それぞれの成分に見込まれる誤差の標準偏差（±Δｘ，±Δｙ，±Δｚ，±Δα，±Δβ，±Δγ）が記憶されている。

【0039】

前記相互位置関係データベース４３は、本実施形態では、図１中「Ａ」と表された光学マーカ２４と、同図中「Ｄ」と表されたに光学マーカ２４について、それぞれ磁気マーカ２８が取り付けられた複合マーカ３０となっているため、これら２つの複合マーカ３０それぞれにつき、構成する光学マーカ２４と磁気マーカ２８の各ＩＤと、これらマーカ２４，２８の間の相対位置（ｘ，ｙ，ｚ）と相対回転角度（α，β，γ）とが記憶されている。

【0040】

前記マーカ位置算出部３７では、各光学マーカ２４及び磁気マーカ２８の各ローカル位置情報について、グローバル位置情報に変換する処理が行われるが、ここでの処理目的としては、次の通りである。

【0041】

位置情報検出装置１４で検出された各マーカ２４，２８の３次元位置情報は、座標系が全て統一されたものでなく、ＨＭＤ１１と光学マーカ２４との相対位置関係や、磁気基地局２７と磁気マーカ２８との相対位置関係を表したものに過ぎない。最終的には、合成画像生成手段３３で、各医師ＤのＨＭＤ１１に表示される背景画像となるカメラ画像内のプローブ１９の部位に、当該プローブ１９の位置や向きに応じた前記医療情報画像を重畳画像として重ね合わせて合成画像を生成する処理がなされる。この画像生成処理を行うためには、全ての光学マーカ２４と磁気マーカ２８の３次元位置情報を統一した患者座標系Ｐで表し、その結果を利用し、各医師Ｄの動作に伴って移動する各ＨＭＤ１１の３次元位置情報を統一した患者座標系Ｐで把握する必要がある。そこで、マーカ位置算出部３７では、必ずしも、１人の医師Ｄのビデオカメラ１８で全ての光学マーカ２４を撮像していなくても、他の医師Ｄのビデオカメラ１８での撮像結果や、データ記録部３５で記録された過去のローカル位置データセットが相補的に利用され、光学マーカ２４と磁気マーカ２８のグローバル位置情報が求められる。

【0042】

このマーカ位置算出部３７での具体的な処理手順について、図４のフローチャートに沿って図５〜７にそれぞれ示す第１〜第３事例を用いながら以下に説明する。

【0043】

先ず、データ記録部３５から、現在のローカル位置データセットが取得される（ステップＳ１０１）。次に、取得したローカル位置データセットの中から、複数の光学マーカ２４が１つの画像内に撮像されているカメラ画像が探索され、同一のカメラ画像に撮像された各光学マーカ２４が、相対位置関係が判明している組み合わせとして全て抽出される（ステップＳ１０２）。

【0044】

ここで、第１事例として、光学マーカ２４と磁気マーカ２８を図１の配置状態とし、１人目の医師Ｄ１のビデオカメラ１８で取得したカメラ画像には、図１中「Ａ」、「Ｂ」で表した光学マーカ２４が同時に撮像され、２人目の医師Ｄ２のビデオカメラ１８で取得したカメラ画像には、同図中「Ｃ」、「Ｄ」で表した光学マーカ２４が同時に撮像されているとする。この第１事例では、１人目の医師Ｄ１のＨＭＤ１１におけるＨＭＤ座標系Ｈ１での「Ａ」、「Ｂ」の光学マーカ２４が、相対位置関係が判明している組み合わせとして抽出されるとともに、２人目の医師Ｄ２のＨＭＤ１１におけるＨＭＤ座標系Ｈ２での「Ｃ」、「Ｄ」の光学マーカ２４が、相対位置関係が判明している組み合わせとして抽出される。なお、図５では、本第１事例において同一の組み合わせを構成する光学マーカ２４につき、同一の破線枠で囲んで表している。また、仮に、医師Ｄ２のビデオカメラ１８で別途取得したカメラ画像にも、「Ａ」、「Ｂ」の光学マーカが写っているような場合に、ＨＭＤ座標系Ｈ２での「Ａ」、「Ｂ」の光学マーカ２４も、相対位置関係が判明している組み合わせとして更に抽出される。すなわち、同一の組み合わせの光学マーカ２４が異なるＨＭＤ１１のビデオカメラ１８で撮像された場合にも、それぞれ別種の組み合わせとして抽出される。

【0045】

次に、抽出された光学マーカ２４の各組み合わせのみで、全ての光学マーカ２４が連結されるか否かについて判定される（ステップＳ１０３）。第１事例では、「Ａ」、「Ｂ」の光学マーカ２４の組み合わせと、「Ｃ」、「Ｄ」の光学マーカ２４の組み合わせとが有り、それらの組に共通する光学マーカ２４が存在していないため、ここでは、各組み合わせ間について、全ての光学マーカ２４は連結していないと判定される。一方、第１事例に対し、更に３人目の医師Ｄ３のビデオカメラ１８で取得したカメラ画像に、「Ｂ」、「Ｃ」の光学マーカ２４が同時に撮像されている図６の第２事例の場合、「Ｂ」の光学マーカ２４は、１人目の医師Ｄ１のビデオカメラ１８で撮像されており、「Ｃ」の光学マーカ２４は、２人目の医師Ｄ２のビデオカメラ１８で撮像されているため、全光学マーカ２４について連結されていると判定される。

【0046】

そして、第１事例のように、全ての光学マーカ２４が連結していないと判定された場合、非光学トラッキング手段２２での検出結果を用いて、各光学マーカ２４の組み合わせ間における連結状態を確保できるか否かが確認される（ステップＳ１０４）。すなわち、ここでは、現在のローカル位置データセットの中から、磁気マーカ２８が光学マーカ２４に一体的に設けられた複合マーカ３０を更に利用したときに、光学マーカ２４の連結状態が確保できるか否かが確認される。図５の第１事例の場合、「Ａ」、「Ｄ」の光学マーカ２４は複合マーカ３０であることから、相互位置関係データベース４３の情報により、「Ａ」の光学マーカ２４とそれに付設された磁気マーカ２８の相対位置関係と、「Ｄ」の光学マーカ２４とそれに付設された磁気マーカ２８の相対位置関係は判明している。従って、同一の磁気座標系Ｍでの各磁気マーカ２８の３次元位置情報の検出結果から、各磁気マーカ２８の相対位置関係を通じて「Ａ」、「Ｄ」の光学マーカ２４の相対位置関係が判明する。その結果、図５中１点鎖線で仮想的に表すように、「Ａ」、「Ｄ」の光学マーカ２４が非光学トラッキング手段２２を通じて連結され、各光学マーカ２４の連結状態が確保されたと判断される（ステップＳ１０５）。

【0047】

以上の処理を経ても、各光学マーカ２４の連結状態が確保できない場合、データ記録部３５から、１サイクル前の過去のローカル位置データセットが抽出され、現在のローカル位置データセットに追加され（ステップＳ１０７）、前述の処理が繰り返し行われる。それでも、各光学マーカ２４の組み合わせの連結状態が確保されなければ、更に１サイクル過去のローカル位置データセットが、その前までのローカル位置データセットに追加され（ステップＳ１０７）、前述の処理が繰り返し行われる。そして、予め設定されたサイクル数の過去のローカル位置データセットを参照しても、各光学マーカ２４の連結状態が確保されなければ（ステップＳ１０６）、座標変換処理不能と判断され（ステップＳ１０８）、合成画像生成手段３３で後述する処理が行われる。

【0048】

一方、全ての光学マーカ２４について連結状態が確保されると、非光学トラッキング手段２２での検出結果を利用し、光学マーカ２４の他の連結状態が追加される（ステップＳ１０９）。例えば、前記第１事例に対し、「Ｂ」の光学マーカ２４を更に複合マーカ３０とした図７の第３事例の場合、「Ａ」、「Ｂ」の光学マーカ２４は、光学トラッキング手段２１での検出結果の他に、それぞれに一体化された磁気マーカ２８による非光学トラッキング手段２２での検出結果によっても連結状態が確保でき、当該連結状態が光学トラッキング手段２１での検出結果による連結状態の他に追加される。

【0049】

そして、全ての光学マーカ２４の患者座標系Ｐでの３次元位置情報であるグローバル位置情報が、誤差情報付きで全ての経路で計算される（ステップＳ１１０）。すなわち、全ての光学マーカ２４の連結状態が確保されると、少なくとも１箇所の光学マーカ２４と患者座標系Ｐの原点との相対位置関係を予め設定しておくことで、全ての光学マーカ２４のグローバル位置情報を求めることができる。この際、各光学マーカ２４の連結の辿り方により、複数の経路での座標計算が可能である。ここでは、全ての光学マーカ２４について、全経路それぞれについてグローバル位置情報が求められるとともに、誤差データベース４２からの誤差特性情報を用い、各経路それぞれについて、当該経路計算で利用した光学トラッキングシステムによる位置検出法と磁気トラッキングシステムによる位置検出法による誤差データが積算される。

【0050】

ここでの処理について、図７の第３事例を用いて以下に詳述する。当該第３事例においては、患者座標系Ｐの原点Ｏが「Ａ」の光学マーカ２４のほぼ中央に設定されているとする。なお、患者座標系Ｐの原点としては、移動しない光学マーカ２４または磁気マーカ２８との相対位置関係が不変となる実空間内の定点であればどこでも良い。例えば、移動しない各光学マーカ２８からの距離がそれぞれ等しくなる地点に、患者座標系Ｐの原点を設定することもできる。

【0051】

例えば、「Ｃ」の光学マーカ２４のグローバル位置情報を求める際には、患者座標系Ｐの原点となる「Ａ」の光学マーカ２４と、「Ｂ」、「Ｄ」の光学マーカ２４とがそれぞれ複合マーカ３０であることから、次の第１〜第３の経路が存在する。

【0052】

第１の経路として、非光学トラッキング手段２２における磁気マーカ２８のローカル位置情報の検出結果による「Ａ」、「Ｄ」の光学マーカ２４の相対位置関係と、光学トラッキング手段２１における光学マーカ２４のローカル位置情報の検出結果による「Ｃ」、「Ｄ」の光学マーカ２４の相対位置関係とにより、「Ｃ」の光学マーカ２４のグローバル位置情報が求められる。

【0053】

第２の経路として、光学マーカ２４のローカル位置情報の検出結果による「Ａ」、「Ｂ」の光学マーカ２４の相対位置関係と、磁気マーカ２８のローカル位置情報の検出結果による「Ｂ」、「Ｄ」の光学マーカ２４の相対位置関係と、光学マーカ２４のローカル位置情報の検出結果による「Ｃ」、「Ｄ」の光学マーカ２４の相対位置関係とにより、「Ｃ」の光学マーカ２４のグローバル位置情報が求められる。

【0054】

第３の経路として、第２の経路に対し、「Ａ」、「Ｂ」の光学マーカ２４の相対位置関係につき、光学マーカ２４による検出結果でなく磁気マーカ２８の検出結果を利用し、「Ｃ」の光学マーカ２４のグローバル位置情報が求められる。

【0055】

この際、各経路について、光学トラッキングシステムや磁気トラッキングシステムの特性に起因する位置計測誤差に関する誤差情報が付加される。すなわち、光学トラッキングシステムは、視線奥行方向の位置や当該方向の回転角度の検出精度が他の２軸における位置や回転角度の検出精度に比べて悪いという特性があり、磁気トラッキングシステムは、距離に弱い、角度が不安定などの特性がある。そこで、これら特性に起因するトラッキングシステム毎の位置計測誤差に関する情報である標準偏差が、計測距離や回転角度単位でデータベース化された誤差データベース４２から抽出され、当該誤標準偏差が経路毎に積算される。

【0056】

つまり、ここでは、各光学マーカ２４について、グローバル位置情報を求める際の経路毎に、グローバル位置情報の各座標成分、すなわち、位置（ｘ，ｙ，ｚ）と回転角度（α，β，γ）それぞれについて、経路内の各手順で積算された誤差の標準偏差情報が付加される。

【0057】

例えば、「Ｃ」の光学マーカについて、前述の第１の経路については、誤差情報が付加されたグローバル位置情報（ｘ_１±Δｘ_１，ｙ_１±Δｙ_１，ｚ_１±Δｚ_１，α_１±Δα_１，β_１±Δβ_１，γ_１±Δγ_１）が得られる。同様に、第２の経路については、誤差情報が付加されたグローバル位置情報（ｘ_２±Δｘ_２，ｙ_２±Δｙ_２，ｚ_２±Δｚ_２，α_２±Δα_２，β_２±Δβ_２，γ_２±Δγ_２）が得られる。また、第３の経路については、誤差情報が付加されたグローバル位置情報（ｘ_３±Δｘ_３，ｙ_３±Δｙ_３，ｚ_３±Δｚ_３，α_３±Δα_３，β_４±Δβ_３，γ_３±Δγ_３）が得られる、

【0058】

次に、各光学マーカ２４それぞれに対し、グローバル位置情報の各座標成分について、経路毎に積算された標準偏差から、グローバル位置情報の算出値を平均とした正規分布が経路毎に計算され、当該経路毎の正規分布を重ね合わせたときに、全経路を考慮して出現確率の最も高い値が、最も誤差が少ないと思われるグローバル位置情報の最終推定値として決定される（ステップＳ１１１）。例えば、前述の例において、ｘ座標については、図８に示されるように、前記第１〜第３の経路の確率分布の和の最大値であるｘ_ｄが、最終推定値とされる。この処理が各光学マーカ２４それぞれについて行われ、各光学マーカ２４について、光学トラッキングシステムや磁気トラッキングシステムによる位置計測誤差が加味された調整後のグローバル位置情報が決定される。

【0059】

このようにして求めた各光学マーカ２４のグローバル位置情報から、相互位置関係データベース４３により相対位置関係が特定できる複合マーカ３０を通じて、プローブ１９に取り付けられた単独の磁気マーカ２８のグローバル位置情報が求められる（ステップＳ１１２）。

【0060】

前記ＨＭＤ位置検出部３８では、マーカ位置算出部３７で最終決定された各光学マーカ２４と磁気マーカ２８のグローバル位置情報から、光学トラッキング手段２１で求められた各ＨＭＤ１１と各光学マーカ２４の相対位置関係に基づき、各ＨＭＤ１１のグローバル位置情報が特定される。

【0061】

前記合成画像生成手段３３では、画像取込手段３１により取り込まれたカメラ画像中のプローブ１９の先端位置付近に、画像取込手段３１により取り込まれた重畳画像が３次元的に重なって医師Ｄに視認可能な合成画像が生成される。当該合成画像は、座標変換手段３２で特定された各ＨＭＤ１１とプローブ１９のグローバル位置情報により、各ＨＭＤ１１のカメラ画像毎に生成される。このため、各医師Ｄは、自身の視界に存在するプローブ１９の先端部分に、当該プローブ１９の姿勢に対応した向きで立体的な医療情報画像等が重なった状態で視認可能となる。

【0062】

また、前記座標変換手段３２において、各光学マーカ２４と各磁気マーカ２８のグローバル位置情報が取得不能と判断された場合には、合成画像生成手段３３では、各ＨＭＤ１１に撮像されたプローブ１９の先端位置に、予め指定された何等かの表示すべき情報が表示されるように合成画像が生成される。

【0063】

なお、図９に示されるように、複数の光学マーカ２４が多面体の設置面を除く各面に取り付けた立体光学マーカ４５を複合マーカとして採用することができる。この立体光学マーカ４５では、様々な方向からビデオカメラ１８で撮像しても、その中の何れかの光学マーカ２４を面状態で撮像することができ、シート状の光学マーカ２４では認識不能な横方向からの認識も可能になる。例えば、斜め４５度以内の角度でのカメラ撮影が必要であれば、立体光学マーカ４５を６面体以上にすると良い。このように、光学マーカ２４が取り付けられる面を多くする程、立体光学マーカ４５をどの位置から撮像しても、何れかの光学マーカ２４を正面に近い形で撮像し易くなり、光学マーカ２４を用いた光学トラッキング手段２１での検出精度を高めることができる。なお、この立体光学マーカ４５においても、相互位置関係データベース４３において、当該立体光学マーカ４５を構成する各光学マーカ２４間の相対位置関係が記憶され、前述の処理に利用される。また、立体光学マーカ４５に、磁気マーカ２８等の非光学マーカを更に取り付けた複合マーカを採用することもできる。

【0064】

また、前記実施形態の座標変換手段３２について、各医師ＤのＨＭＤ１１のビデオカメラ１８で撮像されたカメラ画像から、遠距離の視差画像を利用することで、光学マーカ２４のグローバル位置情報を調整する調整部を更に設けることができる。すなわち、本発明のシステムでは、複数の医師ＤがＨＭＤ１１を装着しており、各ＨＭＤ１１のビデオカメラ１８で撮像されたカメラ画像から、各ＨＭＤ１１に撮像されている光学マーカ２４のＩＤが判明し、そのカメラ画像上の位置も得られている。このため、ある１の光学マーカ２４が、複数のＨＭＤ１１でのカメラ画像内に共通して現れた場合、その視差画像から、当該光学マーカ２４の位置を特定することができる。そこで、前記調整部では、同一の光学マーカ２４が撮像されている複数のカメラ画像の中から、ＨＭＤ１１の位置が最も離れている１組のカメラ画像が選択され、これらカメラ画像における視差画像を利用し、マーカ位置算出部３７で算出された各光学マーカ２４のグローバル位置情報の精度を向上させる処理が行われる。この処理においては、前記データベース３６に、カメラ画像による両眼視差の誤差データが記憶された視差データベースを更に設け、当該視差データベースからの情報から、視差画像によって特定された光学マーカ２４の距離範囲に合致するように、マーカ位置算出部３７で求められた各光学マーカ２４のグローバル位置情報が調整される。そして、当該調整後に、前記実施形態での処理と同様に、磁気マーカ２８及び各ＨＭＤ１１のグローバル位置情報が求められて前記合成画像が生成される。これによれば、距離の離れたＨＭＤ１１間の視差画像を利用することができ、各光学マーカ２４のグローバル位置情報を高精度に検出可能になる。

【0065】

更に、本実施形態では、複数ユーザによる適用例を図示説明したが、本発明はこれに限らず、単独ユーザにも適用可能である。このように単独ユーザに適用された場合、過去のローカル位置データセットが、単独ユーザの複数の視線に基づいて得られることにより、相補的なデータ処理が可能となる。また、単独ユーザに適用される場合であっても、前記実施形態と同様に、非光学マーカも併用可能で、誤差データベース３６の利用も可能である。更に、前述した遠距離の視差画像を利用する際には、取得された時刻が異なるカメラ画像を用いることで、同様の処理を行うことができる。

【0066】

また、本発明における光学マーカ主体の位置計測は、ビデオシースルー型のＨＭＤ１１と相性が良く、この組み合わせにより、ＨＭＤ１１の重畳画像の表示誤差をほぼゼロにすることができる。しかしながら、本発明は、これに限定されるものではなく、カメラを備えていれば、ＨＭＤとして、光学シースルー型のものや、単願タイプのものを適用することも可能である。

【0067】

また、前記実施形態では、ＡＲ表示システム１０を医療現場で用いた場合を図示説明したが、本発明はこれに限らず、同様の構成で他の用途に適用することもできる。

【0068】

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

【符号の説明】

【0069】

１０ ＡＲ表示システム
１１ ヘッドマウントディスプレイ
１４ 位置情報検出装置
１６ 処理装置
１８ ビデオカメラ
２１ 光学トラッキング手段
２２ 非光学トラッキング手段
２４ 光学マーカ
２５ 光学マーカ検出部
３０ 複合マーカ
３２ 画像変換手段
３３ 合成画像生成手段
４５ 立体光学マーカ（複合マーカ）
Ｄ 医師（ユーザ）
Ｈ ＨＭＤ座標系（局所座標系）
Ｍ 磁気座標系（局所座標系）
Ｐ 患者座標系（全体座標系）

【要約】

【課題】光学マーカ主体で、１台のカメラで撮像された現時点のカメラ画像に基づくデータを補完し、実空間内の光学マーカとＨＭＤの全体座標系における３次元位置情報を簡易に且つ精度良く検出すること。
【解決手段】合成画像提示システムは、ＨＭＤ１１に取り付けられたカメラ１８を利用して、実空間内の所定部位に配置された光学マーカ２４の局所座標系におけるローカル位置情報を検出する光学トラッキング手段２１と、光学マーカ２４とＨＭＤ１１について、全体座標系におけるグローバル位置情報を求める座標変換手段３２とを有している。座標変換手段３２では、複数医師Ｄのカメラ１８で同時撮像されたカメラ画像と、過去に撮像されたカメラ画像との少なくとも一方を利用し、各カメラ画像に撮像された複数の光学マーカ２４のローカル位置情報から、全ての光学マーカ２４間の相対位置関係を特定した上で、各光学マーカ２４におけるグローバル位置情報が求められる。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】