特許 5971466 フライトパス表示システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5971466

(24)【登録日】2016年7月22日

(45)【発行日】2016年8月17日

(54)【発明の名称】フライトパス表示システム、方法及びプログラム

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20160804BHJP

   G06F 3/01 20060101ALI20160804BHJP

   G09B 29/00 20060101ALI20160804BHJP

   G01C 21/00 20060101ALI20160804BHJP

【ＦＩ】

   G06F3/0481

   G06F3/01 510

   G09B29/00 A

   G01C21/00

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2012-106643(P2012-106643)

(22)【出願日】2012年5月8日

(65)【公開番号】特開2013-235367(P2013-235367A)

(43)【公開日】2013年11月21日

【審査請求日】2015年4月8日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100077838

【弁理士】

【氏名又は名称】池田 憲保

(74)【代理人】

【識別番号】100129023

【弁理士】

【氏名又は名称】佐々木 敬

(72)【発明者】

【氏名】辻 紘和

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２００３−１３２４９９（ＪＰ，Ａ）

【文献】 特開２００６−０１８４４４（ＪＰ，Ａ）

【文献】 特開平０９−３０４５２６（ＪＰ，Ａ）

【文献】 特開平０８−１１０３８０（ＪＰ，Ａ）

【文献】 特開２０００−２７５３２３（ＪＰ，Ａ）

【文献】 国際公開第９５／００５６２０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０１Ｃ ２１／００ −２１／３６

２３／００ −２５／００

Ｇ０６Ｆ ３／０１

３／０４８− ３／０４８９

Ｇ０６Ｔ １／００

１１／６０ −１３／８０

１７／０５

１９／００ −１９／２０

Ｇ０９Ｂ ２３／００ −２９／１４

(57)【特許請求の範囲】

【請求項1】

利用者がその頭部に装着して用いるヘッドマウントディスプレイ装置（ＨＭＤ）と、
地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示手段と、
前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位手段と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、
前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段と、
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すものとして、利用者の操作に応じて前記縮小領域内を移動させられるポインタと、
前記縮小領域内を移動するポインタの位置を、前記縮小フライトパス上の点の位置として測定する手段と
を備えることを特徴とするフライトパス表示システム。

【請求項2】

前記ＨＭＤは透過型ディスプレイを備え、利用者は、前記画像生成手段が出力する画像と前記ＨＭＤの外部の光景とを同時に視認可能であることを特徴とする請求項１に記載のフライトパス表示システム。

【請求項3】

前記縮小領域提示手段は、前記対象領域の地形を前記縮尺にて縮小した地形模型を備え、前記透過型ディスプレイを透過した、前記設置場所に設置した前記地形模型とその上の空間の光景を、前記縮小領域として利用者に提示することを特徴とする請求項２に記載のフライトパス表示システム。

【請求項4】

前記画像生成手段は、前記対象領域内の地形を示す地形データを予め記憶した記憶装置から当該地形データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの前記対象領域内の地形を仮想オブジェクトとして描画した画像を生成することを特徴とする請求項１に記載のフライトパス表示システム。

【請求項5】

前記画像生成手段は、前記縮小フライトパス上の一点を頂点とする円錐と、前記縮小領域内の地形との交点を求め、当該交点を示す画像をフライトパスのフットプリントとして前記ＨＭＤに出力することを特徴とする請求項１乃至請求項４のいずれかに記載のフライトパス表示システム。

【請求項6】

前記画像生成手段は、前記対象領域内の地点、地域、空間の属性を示す属性データを予め記憶した記憶装置から当該属性データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの視界内での該当する位置或いはその近傍に、当該属性データに関する仮想オブジェクトを描画した画像を生成することを特徴とする請求項１乃至請求項５のいずれかに記載のフライトパス表示システム。

【請求項7】

複数の前記ＨＭＤを備え、
前記画像生成手段は、ＨＭＤ毎にそのＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から前記縮小領域を見た視界を示す画像を生成し、該当するＨＭＤに出力する
ことを特徴とする請求項１乃至請求項６のいずれかに記載のフライトパス表示システム。

【請求項8】

利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示段階と、
前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位段階と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成段階と、
前記ＨＭＤ測位段階にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成段階にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成段階と、
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すポインタを、利用者の操作に応じて前記縮小領域内で移動させる段階と、
前記縮小領域内を移動するポインタの位置を、前記縮小フライトパス上の点の位置として測定する段階と
を含むことを特徴とするフライトパス表示方法。

【請求項9】

利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域に対する前記ＨＭＤの位置及び向きを、測定値から算出するＨＭＤ測位手段と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、
前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段と、
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すポインタの位置を、前記縮小フライトパス上の点の位置として測定する手段と
して、コンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はフライトパスの表示及び作成に関する。

【背景技術】

【0002】

昨今、災害等の発生時に、その災害等が発生した領域に飛行機等を派遣し、その領域の現状を空から監視或いは偵察することにより、その後の対応を円滑に行なうことの重要性が増している。大規模災害等の発生時には、地上から目的の領域に接近するのが難しい場合が多々あり、このようなときには、飛行機、特に無人機を利用して、目的の領域を空から監視、偵察するのが有効である。

【0003】

一般に、ある領域に災害等が発生すると、その領域或いはその近傍に前線の指揮所が設けられ、この指揮所が後方に設けられた基地や支援所と連携して対処を行なう。従来、航空機を運用する際には、指揮所が収集した情報を基地に通知し、基地は通知された情報に基づいてフライトパスを作成していた。

【0004】

指揮所は、目的の領域に関してより鮮度の高い情報を得ることができる。また、得られた情報に基づいて、指揮所は、監視すべき領域や地点を、突発的に追加し或いは変更すべきであると判断することもある。このようなことから、フライトパスの作成は、基地よりも指揮所で行なうことが望ましいと考えられる。

【0005】

従来、基地等の後方にて行なわれていたフライトパスの表示では、机上等に立てかけたＬＣＤ等のディスプレイ装置を用いて、予め定めた視点及び視線方向から見たときのフライトパスを表示していた。その際、フライトパスの表示に先立って、ユーザは、所望の視点及び視線方向をキーボードやマウス等の入力装置を介して入力していた。

【0006】

フライトパスを作成するには、フライトパスを様々な視点、視線方向から見て検討する必要がある。このためには、視点及び視線方向の入力をたびたび行なう必要があるが、このような入力操作をキーボード等で行なうとユーザに対して煩雑な操作を要求することとなり、フライトパスの全体を多角的にかつ直観的に理解する上で障害となっていた。

【0007】

本発明に関連する技術として、特許文献１には飛行プロファイル表示システムが記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２００２−２９３２９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明はこうした状況に鑑みてなされたものであり、本発明が解決しようとする課題は、直観的な操作で所望の視点及び視線方向からフライトパスの全容を視認することができるフライトパスの表示システム、方法、プログラムを提供することである。

【課題を解決するための手段】

【0010】

上述の課題を解決するため、本発明は、その一態様として、利用者がその頭部に装着して用いるヘッドマウントディスプレイ装置（ＨＭＤ）と、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示手段と、前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位手段と、前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段とを備えることを特徴とするフライトパス表示システムを提供する。

【0011】

また、本発明は、他の一態様として、利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示段階と、前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位段階と、前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成段階と、前記ＨＭＤ測位段階にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成段階にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成段階とを含むことを特徴とするフライトパス表示方法を提供する。

【0012】

また、本発明は、他の一態様として、利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域に対する前記ＨＭＤの位置及び向きを、測定値から算出するＨＭＤ測位手段と、前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段として、コンピュータを機能させるためのプログラムを提供する。

【発明の効果】

【0013】

本発明によれば、ユーザは、実際の空間を縮小して表した縮小空間内で、自分の視点及び視線方向に見える視界の画像として、フライトパスを見ることができる。このため、ユーザは、所望の視点及び視線方向からフライトパスを見るために、マウスやキーボードにて所望の視点及び視線方向を入力し、次に該当する視界の画像を見るといった２段階のステップを経ることなく、単に所望の位置から所望の角度を見るだけで所望の視界から見たときのフライトパスを視認することができる。このため、本発明によれば、ユーザはより直観的な操作で所望の視点及び視線方向からフライトパスの全容を視認することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施の形態であるフライトパス表示システム１のブロック図である。

【図2】本発明の一実施例であるフライトパス作成システム１０のブロック図である。

【図3】フライトパス作成システム１０によるフライトパスの入力方法を説明するためのフローチャートである。

【図4】フライトパス作成システム１０によるフライトパスの表示方法を説明するためのフローチャートである。

【図5】ＨＭＤ１２を装着したフライトパス作成者の視界を説明するための図である。

【図6】フライトパス作成システム１０において伝送されるデータについて説明するための図である。

【図7】本発明の一実施例であるフライトパス作成システム４０のブロック図である。

【図8】フライトパス作成システム４０によるフライトパス作成者の視界内の仮想オブジェクトを表示する方法を説明するためのフローチャートである。

【図9】フライトパス作成システム４０によるフライトパスの入力方法を説明するためのフローチャートである。

【図10】フライトパス作成システム１０によるフライトパスの表示方法を説明するためのフローチャートである。

【図11】本発明の一実施例であるフライトパス作成システム５０のブロック図である。

【図12】図５のような視界を示す画像がＨＭＤ１２ａにて表示されている同じ時刻に、ＨＭＤ１２ａと異なる視点及び視線方向にあるＨＭＤ１２ｂにて表示される、視界を示す画像を説明するための図である。

【発明を実施するための形態】

【0015】

本発明の一実施の形態であるフライトパス表示システム１について説明する。フライトパス表示システム１は、飛行機、ヘリコプター等の航空機、その他飛翔体全般の軌跡を示すウェイポイントからなる空間曲線、即ち、フライトパスを表示するためのシステムである。図１を参照して説明すると、フライトパス表示システム１は、縮小領域提示部２、ヘッドマウントディスプレイ装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤ）３、ＨＭＤ測位部４、画像処理装置５からなる。

【0016】

縮小領域提示部２は、フライトパスが通過する領域を予め定められた縮尺で縮小した空間をユーザに対して提示するものであり、具体的には、その領域の地形を模型化したもの、いわゆるジオラマと、そのジオラマ上の空間として縮小領域を提示するものが考えられる。或いは、その領域の地形のデータに基づいて、ＨＭＤ３の位置及び方向、即ちユーザの視点及び視線方向から見た地形を仮想オブジェクトとして該当する位置に描画した画像を画像処理装置５にて生成し、ＨＭＤ３にて表示するものも考えられる。いずれにしても、提示される縮小領域は所定の位置に固定的に設置或いは設定される。ジオラマを用いて縮小領域を提示する場合はジオラマを所定の位置に設置する。コンピュータグラフィックスにて縮小領域を提示する場合も、ジオラマを設置するのと同様に、コンピュータグラフィックスにて仮想オブジェクトとして地形を所定の位置に設定し、ユーザに提示する。

【0017】

ＨＭＤ３は、フライトパス作成者等のユーザが頭に装着して用いるものであり、画像処理装置５が出力する画像をユーザに対して表示する。縮小領域の地形を地形模型としてユーザに提示する場合、スクリーンに映し出された画像と、そのスクリーンの外の光景とをユーザが同時に視認可能な透過型ディスプレイを備えるＨＭＤ、所謂透過型ＨＭＤであることが好ましい。形状は眼鏡型であっても帽子型であってもよい。投影方式はハーフミラーを用いて画像を表示するものであってもよいし、網膜に直接結像させる網膜走査型であってもよい。

【0018】

ＨＭＤ測位部４は、縮小領域提示部２が提示する縮小領域に対する、ＨＭＤ３の位置（空間座標）と向きとを測定する。ＨＭＤ測位部４は、ＨＭＤ３とは別体に設けることとしてもよいし、ＨＭＤ３と一体に設けることとしてもよいし、両方を設けることとしてもよい。

【0019】

ＨＭＤ３と別体に設けるＨＭＤ測位部４としては、縮小領域の周辺に、縮小領域の全体を画角に納めるようなデジタルビデオカメラを複数台設置して、空間を認識するために各カメラを予めキャリブレーションした上で、各カメラから取得した画像に対して、演算処理装置にてリアルタイムに画像処理を行なうことにより、ＨＭＤ３の位置及び向きを求めるものが考えられる。この画像処理により、ＨＭＤ３の高度を含む位置とその方向を求めることができるが、ＨＭＤ３の方向については後述するような加速度センサとジャイロセンサの出力を演算して求める方が正確な値を得ることができる。

【0020】

ＨＭＤ３と一体に設けるＨＭＤ測位部４としては、ＨＭＤ３に加速度センサ、ジャイロセンサを設け、これらの出力から演算処理装置にて演算してリアルタイムに求めるものがある。この動作については、航空機の慣性運動計測器や、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）として構成された加速度センサとジャイロセンサとを搭載した一部の携帯電話端末において、３次元の角速度及び加速度を求め、これらに対して演算処理装置にて演算を行なってＨＭＤ３の方向を求める。更に、慣性の積分により移動距離を算出する処理を演算処理装置にて行なうことにより、ＨＭＤ３の位置を求めることとしてもよい。更に、ＨＭＤ３にＧＰＳ受信機を設けることとして、ＧＰＳ受信機の出力からＨＭＤ３の位置を求めることとしてもよい。

【0021】

画像処理装置５は、入力されたフライトパスと、ＨＭＤ測位部４が出力するＨＭＤ３の位置及び方向に基づいて、ＨＭＤ３の現在の位置及び方向から見たフライトパスの画像を生成し、ＨＭＤ３に出力する。

【0022】

フライトパス表示システム１は次のように動作して、利用者に対してフライトパスを表示する。

【0023】

まず、縮小領域提示部２は利用者に対し、ＨＭＤ３を介して縮小領域を提示する。縮小領域は、表示しようとするフライトパスが通過する現実の空間（対象領域）を、所定の縮尺率にて縮小して再現する空間であり、縮小領域をＨＭＤ３の近傍に提示する。

【0024】

次に、ＨＭＤ測位部４は、ＨＭＤ３の現在の視点座標及び視線方向を測定する。

【0025】

次に、画像処理装置５は、ＨＭＤ測位部４での測定結果に基づいて、縮小領域の座標系におけるＨＭＤ３の視点及び視線方向を求める。

【0026】

また、画像処理装置５は、この求めた視点及び視線方向から、縮小領域内での縮小フライトパスを見たときの画像を生成する。縮小フライトパスは、フライトパスが通過する対象領域内の点に対応する縮小領域内の点を通過する。

【0027】

最後に、ＨＭＤ３は画像処理装置５にて生成した画像を、ＨＭＤ３を装着したユーザに対して表示する。

【実施例1】

【0028】

本発明の一実施例であるフライトパス作成システム１０について図２を参照して説明する。フライトパス作成システム１０は、拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いて、フライトパス作成者に対し、ジオラマ上に架空のフライトパスを表示するものである。フライトパス作成システム１０は、縮小領域提示部２に対応するジオラマ１１、ＨＭＤ３に対応するＨＭＤ１２、ＨＭＤ測位部４に対応するＨＭＤ測位部１３、画像処理装置５に対応する表示演算部１４を備える。更に、フライトパスを入力する手段として、航空機模型・ジオラマ位置認識装置１５、カメラ１６、１７、航空機模型１８を備える。更に、通信インタフェース装置１９、データ通信ネットワーク２０、各種データベース２１−２５を備える。このうち、特に、ジオラマ１１、ＨＭＤ１２、ＨＭＤ測位部１３、表示演算部１４、航空機模型・ジオラマ位置認識装置１５、カメラ１６、１７、航空機模型１８については、対象領域或いはその近傍に設置された指揮所に配置されることが好ましい。これにより、後方部隊で作成したフライトパスを、指揮所が前線から入手した最新情報を踏まえて変更することが可能となり、前線の実態に即したフライトパスを定めることができる。

【0029】

ジオラマ１１は、フライトパスを作成しようとしている領域の地形を、所定の縮尺で縮小した地形模型である。以下、本実施例においてこの縮尺を単に縮尺と記す。例えば領域内の山はその高さを縮尺で縮小した高さを有する。ビルやタワー等の建築物がある場合はこれらについても縮小した高さで再現されていることが好ましい。

【0030】

ＨＭＤ１２は透過型ディスプレイを有するヘッドマウントディスプレイ装置であり、フライトパス作成者がその頭部に装着して用いる。

【0031】

ＨＭＤ測位部１３はＨＭＤ１２の位置及び方向を測定するため、ＨＭＤ１２と一体に設けられた加速度センサ、ジャイロセンサ、ＧＰＳ受信機である。

【0032】

表示演算部１４は演算処理装置であり、ＨＭＤ測位部１３と、航空機模型・ジオラマ位置認識装置１５の出力に基づいて、ＨＭＤ１２にて表示する画像を生成する。

【0033】

航空機模型・ジオラマ位置認識装置１５は、カメラ１６、１７にて生成した画像から航空機模型１８の位置を取得して、表示演算部１４に通知する。フライトパスの表示及び入力に先立って、航空機模型・ジオラマ位置認識装置１５の記憶装置には、ジオラマ１１の設置位置データ、カメラ１６、１７の設置位置データが予め登録されている。航空機模型・ジオラマ位置認識装置１５は、カメラ１６、１７にて同時に生成した２つの画像に対して、航空機模型１８を認識する処理を行なって各画像内における航空機模型１８の位置を特定し、更に、これら２画像内における位置と、ジオラマの設置位置データ、カメラの設置位置データに基づいて、縮小空間内における航空機模型１８の３次元座標を求める。

【0034】

カメラ１６、１７は光軸が互いに直交するようにジオラマ周辺に配置される。カメラ１６、１７は互いに同期してジオラマ１１の全景、及び、その上のフライトパスを示す空間曲線を描く空間を含む光景を撮影する。カメラ１６、１７の位置それぞれは予め測定され、航空機模型・ジオラマ位置認識装置１５に設定されている。

【0035】

航空機模型１８は空間にフライトパスを描く際のポインタとして用いられる。航空機模型１８は例えば作成しようとしている航空機を模した模型であるが、必ずしもそうである必要はない。

【0036】

通信インタフェース装置１９は表示演算部１４、航空機模型・ジオラマ位置認識装置１５を接続して相互にデータを伝送する。また、表示演算部１４は、通信インタフェース装置１９を介してデータ通信ネットワーク２０に接続し、同ネットワーク上の様々なリソースにアクセスする。

【0037】

データベース（ＤＢ）２１−２５はそれぞれデータベースであり、それぞれ、フライトパスを作成しようとしている領域に関する情報を、その位置情報と関連づけて格納している。ＤＢ２１は進入禁止領域情報を格納している。進入禁止領域情報は一般の航空機の通過が禁止されている領域を示す情報である。ＤＢ２２は監視目標位置情報を格納している。監視目標位置情報は、特に、フライトパスを作成しようとしている航空機が監視或いは偵察を行なう航空機の場合に、その目標の位置情報を格納している。ＤＢ２３は標高データを格納している。この標高データは、領域内の各地点の標高とその位置を関連づけたものである。ＤＢ２４は気象データを格納している。即ち、フライトパスを作成しようとしている領域内における、現時点での晴れ／曇り／雨／雪といった天候の別、気温、湿度、風速、風向、降雨量、積雪量等が格納されている。ＤＢ２５は日照データを格納している。

【0038】

次に、フライトパス作成システム１０の動作について説明する。まず図３を参照して、フライトパスを入力する際の航空機模型・ジオラマ位置認識装置１５の動作について説明する。フライトパス作成者は航空機模型１８を手に持ち、所望のフライトパスを空中に描くように、航空機模型１８をジオラマ１１上で移動させる。この様子をカメラ１６、１７を同期して撮影し、リアルタイムに画像データを生成する（ステップＳ１）。カメラ１６、１７は同時に異なる角度から撮影した航空機模型１８、ジオラマ１１の画像を生成することとなる。航空機模型・ジオラマ位置認識装置１５は、この画像データに対して画像認識処理を行ない、画像データ中の航空機模型１８を特定する。ある時刻におけるカメラ１６、１７の画像データそれぞれに対し、ジオラマ１１、カメラ１６、１７の位置関係に基づく画像認識処理を行なうことにより、各カメラの画像データにおいて、そのカメラの光軸に垂直な面内における航空機模型１８の２次元座標を求め（ステップＳ２）、更に、これら２つの２次元座標から航空機模型１８の３次元座標を求める（ステップＳ３）。こうして求めた座標を、その時刻における航空機模型１８の３次元座標として、その時刻と共に通信インタフェース装置１９を介して表示演算部１４に送信する（ステップＳ４）。これを一定時間毎に繰り返す（ステップＳ５）ことにより、フライトパス作成者が手に持った航空機模型１８によってジオラマ１１上の空中で描いた、空間曲線上の点の座標及び各点の時刻を表示演算部１４に通知する。

【0039】

次に図４を参照して、入力中のフライトパスをＨＭＤ１２に表示する際の表示演算部１４の動作について説明する。表示演算部１４は今までに通知された撮影時刻及び３次元座標を記憶装置に格納している。表示演算部１４は、ＨＭＤ１２が現在向いている方向及び位置を、ＨＭＤ測位部１３から取得する（ステップＳ１０）。この方向及び位置と予め登録されたジオラマ１１の位置に基づいて、表示演算部１４はジオラマ１１を基準としたＨＭＤ１２の位置及び方向を算出する（ステップＳ１１）。更に、算出したＨＭＤ１２の位置及び方向、即ち、フライトパス作成者の視点及び視線方向から見たときに、既に記憶装置に格納されている航空機模型１８の３次元座標が、フライトパス作成者の視界内のどこに位置するのかを算出（ステップＳ１２）し、算出した各位置に点を描画し、更に、必要に応じて各点を結ぶ直線や曲線を描画した画像を生成（ステップＳ１３）し、ＨＭＤ１２にて表示する（ステップＳ１４）。フライトパス作成者の目の画角（視野角）は予め定められており、表示演算部１４の記憶装置に記憶しているものとする。これにより、フライトパス作成者がジオラマ１１上の空中で描いた空間曲線を、フライトパス作成者の現在の視点及び視線方向から見たときの様子がＨＭＤ１２に表示される。ＨＭＤ１２は透過型ディスプレイを有するため、フライトパス作成者は、表示演算部１４が生成し、ＨＭＤ１２にて表示された空間曲線の画像と、透過型ディスプレイを通じて透過した、ジオラマ１１の光景とを同時に視認することになる。

【0040】

このように、ステップＳ１−Ｓ５を繰り返し、フライトパス作成者がジオラマ１１の上空に描いた空間曲線の座標を一定時間毎に取得するのと並行して、ステップＳ１０−Ｓ１４のようにして、フライトパス作成者の現在の視点及び視線方向で見た視界において、その空間曲線がどのように見えるかを示す画像を生成してＨＭＤ１２に表示する。これにより、透過型ディスプレイを透過して目視するジオラマ１１の実像と、そのジオラマ１１の位置及び方向に対応したフライトパスの虚像とを同時にフライトパス作成者に対して提供する。

【0041】

フライトパス作成システム１０では、入力済みのフライトパス上の点を次のようにして移動する。航空機模型・ジオラマ位置認識装置１５は、カメラ１６、１７の画像をリアルタイムに解析し、ジオラマ１１の上で特定の動作がなされたとき、その動作を予め関連づけた編集コマンドとして認識する。例えば、ジオラマ１１上の空中において、人の手が掴む動作をしたと認識し、掴んだ位置にフライトパスを示す点が既に入力されているとき、航空機模型・ジオラマ位置認識装置１５は、その点を編集対象として選択するコマンドとして認識する。また、この選択コマンドの後で、ジオラマ１１上の空中において、人の手が開く動作をしたと認識したとき、航空機模型・ジオラマ位置認識装置１５は、点を移動するコマンドとして認識し、選択コマンドにて選択した点を、手が開いた位置に移動する。

【0042】

このように、フライトパス作成システム１０では、透過型のＨＭＤ１２を用いて、ジオラマ１１の実像とフライトパスの虚像からなる視界をフライトパス作成者に対して提供するが、更に、フライトパスを作成する際に参照すべき様々な情報を、視界内の該当する位置にフライトパスと同時に表示するような画像を生成する。

【0043】

このような追加表示するものにフットプリント表示がある。ここでフットプリントとは、フライトパスを定める航空機が備える地上撮影用のカメラや、地上を測定対象とする各種センサが撮影乃至測定可能な領域を示す３次元形状であり、カメラ、センサを頂点とし、カメラの光軸やセンサの向きを示す直線を回転軸とする仮想的な円錐である。この円錐と地形を示す曲面との交点からなる閉曲線は、例えばカメラが撮影可能な領域を示す。本実施例では、航空機模型１８の位置のみを取得し、姿勢を取得しないので、航空機模型１８の位置を頂点とし、その頂点から鉛直下方に延びる直線を回転軸とする円錐をフットプリントとする。表示演算部１４は、ステップＳ２にて求めた航空機模型１８の位置と、ステップＳ１１にて求めたフライトパス作成者の視点及び視線方向に基づいて、航空機模型１８の下部の一点を頂点とし、その頂点から鉛直下方に下ろした直線を回転軸とする円錐の像を上述のようにして求めたフライトパスと共に画像化する。円錐の開き具合、即ち、回転軸を含む円錐の断面を考えたとき、頂角を挟む二辺がなす角度は、航空機に搭載するカメラやセンサの仕様に応じて予め定められる。カメラの撮影、センサの測定可能な距離に制限がない場合、表示演算部１４は、航空機模型１８の下部の頂点から、生成する画像の下端まで円錐像を描く。一方、これら撮影、測定可能な距離に制限がある場合は、その上限距離とジオラマ１１の縮尺とに応じて円錐の高さを定め、それより下方には円錐像を描かないこととしてもよい。ＨＭＤ１２に出力する画像内において、フットプリントは、例えば着色した円錐として表示される。このような円錐の表示により、フライトパス作成者は、撮影対象、測定対象となる地点が航空機搭載のカメラ、センサの有効範囲にあるか否かをリアルタイムで視覚的に判断しながらフライトパスを作成することができる。

【0044】

更に、フライトパス作成システム１０では、データベース２１−２５のデータを参照して、ジオラマ１１上の対応する位置や、ジオラマ１１の上の空間内の対応する位置に、様々な情報を画像化することとしてもよい。これらデータベースに格納する値を、データ通信ネットワーク２０を介して接続された不図示の外部装置が提供するデータに基づいて更新することとしてもよい。このようにすることにより、フライトパス作成システム１０は、最新のデータに基づいてフライトパスを作成することができるようになる。

【0045】

この種の外部装置としては、例えば、観測衛星や観測飛行機が無線通信により送信する観測データを受信し、データ通信ネットワークを介して他装置に観測データを提供する地上局がある。このとき、地上局が提供する最新の標高データに基づいてＤＢ２３を更新し、表示演算部１４は、ジオラマ１１上の該当する地点或いはその近傍に、更新された標高データを示す数値を仮想オブジェクトとして描画した画像を生成し、ＨＤＭ１２に出力することが考えられる。

【0046】

或いは、監視目標３３が、建築物等の固定されたものではなく、乗り物や動物等の移動体であり、観測衛星や観測飛行機は監視目標３３の位置を観測するものであってもよい。この場合、地上局は最新の監視目標位置情報をＤＢ２２に通知し、表示演算部１４は、最新の監視目標位置情報に基づく位置に監視目標３３を描画した画像を生成し、ＨＤＭ１２に出力する。

【0047】

表示演算部１４は、ＤＢ２１のデータを参照して、上述のステップＳ１１で求めたＨＭＤ１２の位置及び方向から見たときの視界に入る空間が、進入禁止領域に入る場合はそれを示すような画像を生成することとしてもよい。進入禁止領域であることを示すには、例えば該当する空域を着色した画像を生成することや、該当する空域を他の空域から区切るための直線や曲線を画像内に描画することが考えられる。進入禁止領域を仮想オブジェクトとして表示することにより、フライトパス作成者は、地形上の理由ではなく、規制上の理由から侵入できない領域についても目視により回避しながらフライトパスを入力することが可能となる。

【0048】

また、表示演算部１４は、ＤＢ２２のデータを参照して、監視目標の所在地に、その監視目標を示す像を配置した画像を生成することとしてもよい。監視目標がフライトパス作成者の視界に入る位置にあるとき、監視目標がジオラマ１１の該当する地点に配置されたかのような画像を生成し、ＨＭＤ１２にて表示することにより、特に、上述のフットプリント表示を行ないながらのフライトパス作成が容易になる。ＨＭＤ１２を装着したフライトパス作成者は監視目標とフットプリントの両方を視認しながらフライトパスを作成することができるからである。

【0049】

また、表示演算部１４は、ＤＢ２３のデータを参照して、フライトパス作成者の視界に入る領域にある、山頂や谷間などの地形上の要部の近傍に、その地点の標高を示す数値が表示されるように画像を生成し、フライトパス等と共にＨＭＤ１２にて表示することとしてもよい。

【0050】

更に、表示演算部１４は、ＤＢ２４、２５の気象データ、日照データを参照して、フライトパス作成者の視界に入る領域について、気象データが示す気象状態、日照データが示す日照状態に応じた画像を生成し、フライトパス等と共にＨＭＤ１２にて表示することとしてもよい。

【0051】

ジオラマ１１を背景として、フライトパス３１、フットプリント３２、監視目標３３、進入禁止領域３４を描画した画像をＨＭＤ１２で見たとき、フライトパス作成者から見える映像は例えば図５のようになる。フライトパス３１を示し、航空機模型１８の尾部に続く空間曲線、フットプリントを示す円錐３２、フットプリント３２が通過すべき監視目標３３、及び、進入禁止領域を示す楕円で囲まれた領域３４を、フライトパス作成者の現在の視点及び視線方向から見たときの様子を示す画像が、ＨＭＤ１２に表示されている。フライトパス作成者は、フットプリント３２とジオラマ１１の交点からなる閉曲線の内部が監視目標３３を通過するように、また、航空機模型１８が、ジオラマ１１及び進入禁止領域３４のどちらにも接触しないように、航空機模型１８を動かしてフライトパスを入力していく。尚、図５において、ジオラマ１１と進入禁止領域３３の間に延びる両方向矢印と、「飛行可能空間高度」の文字は、進入禁止領域３３についての理解を容易にするために記載したものである。これらについては仮想オブジェクトとして生成し、画面上に表示してもしなくてもよい。

【0052】

このように、フライトパス作成者は、フライトパス３１が、ジオラマ１１、進入禁止領域３４のどちらとも一度も衝突しないように、フライトパスを入力する。また、フライトパス作成者は、フットプリント３２と、監視目標３３とが、少なくとも一度は衝突するようにフライトパスを入力する。これらの衝突判定はフライトパス作成者の目視によって行なってもよいが、表示演算部１４により演算により行なうこととしてもよい。

【0053】

即ち、表示演算部１４は、進入禁止領域３４等の仮想空間に描画されたオブジェクトと、航空機模型１８との間で衝突判定を行ない、互いに衝突する場合、その旨をフライトパス作成者に通知するための出力することにより、フライトパス作成者に対してフライトパスの変更を促すこととしてもよい。通知手段としては、その旨を通知するテキストメッセージや、衝突の発生を示す画像をＨＭＤ１２の画面に表示することとしてもよいし、表示演算部１４に不図示のスピーカー等を設けて、衝突を検出したときにビープ音を発することとしてもよい。

【0054】

また、表示演算部１４は、フライトパス作成者がフライトパスの作成を終了した旨を示す操作を行なうと、フットプリント３２と、監視目標３３との間で衝突判定を行ない、作成されたフライトパスに沿って通過するフットプリント３２が、一度も監視目標３３に接触しない場合は、その旨をフライトパス作成者に通知するための出力することにより、フライトパス作成者に対してフライトパスの変更を促すこととしてもよい。

【0055】

このように、フライトパス作成システム１０は、フットプリントを示す円錐や、進入禁止領域、監視目標、各地の標高、気象状態、日照状態等を、ジオラマ１１や航空機模型１８の対応する位置に示した画像を生成して透過型ＨＭＤ１２にて表示することにより、フライトパス作成者に対して、ジオラマ１１と画像を重ね合わせた視界を提供しつつ、フライトパス作成者がジオラマ１１上に描く空間曲線を記録する。こうして記録された空間曲線を構成する各点の座標は、ジオラマ１１を基準として定められたものなので、実際のフライトパスが通過する座標とは異なる。そこで、作成したフライトパスを出力する際には、表示演算部１４は、ジオラマ１１上に描いた空間曲線上の点の座標を、ジオラマ１１のモデルとなった実際の地形上の空間内の地形に変換する処理を行なう。実際のスケールに変換後のフライトパスデータは、例えば、表示演算部１４が備える不図示の外部記憶装置に記憶され、或いは、通信インタフェース装置１０、データ通信ネットワーク２０を介して外部装置に出力される。こうした外部装置としては、例えば、ジオラマ１１等を設置した指揮所と連携する、後方に設けられた基地、支援所に設置する装置がある。

【0056】

フライトパス作成システム１０の各機能ブロック間で行なうデータ通信の内容を図６に示す。

【実施例2】

【0057】

他の実施例であるフライトパス作成システム４０について図７を参照して説明する。前述のフライトパス作成システム１０では、フライトパス作成者に対して縮小領域を提示するための手段としてジオラマを用いた上で、入力したフライトパス、フットプリント３２、監視目標３３、進入禁止領域３４等を、拡張現実としてジオラマ１１に重なるように表示した。つまり、実施例１では、実体を有するモデルとして航空機模型１８及びジオラマ１１を用い、フライトパス、フットプリント３２、監視目標３３、進入禁止領域３４等のオブジェクトについては拡張現実にて再現した。本実施例のフライトパス作成システム４０では、拡張現実を地形の再現にまで適用し、仮想空間４１を用いる。フライトパス作成システム４０は、航空機模型・ジオラマ位置認識装置１５に代わって、航空機模型・仮想空間位置認識装置４３を備え、更に、標高データを格納するＤＢ２３に代わって、より詳細な地形データを格納するＤＢ４４を備える。

【0058】

拡張現実表示用のマーカー４１ａは、カメラ１６、１７で撮影した画像を通じて、光学的に個別に認識・識別可能なマーキングを施したものである。４つのマーカー４１ａは、それぞれが正方形乃至長方形の頂点となるような適当な場所に設置される。以下、マーカー４１ａで囲んだ矩形の領域を、仮想空間設置位置と呼ぶものとする。仮想空間設置位置の座標、即ち、各マーカー４１ａを配置した座標は、表示演算部４２の記憶装置に予め登録される。

【0059】

仮想空間４１は、設置されたマーカー４１ａを基準として、表示演算部４２がコンピュータグラフィックとして生成する仮想的な空間である。予め、フライトパス作成者は、フライトパスを作成しようとする実際の領域の座標を表示演算部４２に設定する。ここで仮想空間設置位置に仮想空間を生成する実際の領域を対象領域と呼ぶものとする。表示演算部４２は、マーカー４１ａの座標に基づいて、対象領域が仮想空間設置位置に収まるような縮尺率を求める。表示演算部４２は、こうして求めた縮尺率にて縮小した対象領域を、別途ＨＭＤ測位部１３にて求めた視点及び視線方向から見たときのフライトパス作成者の視野を示す画像として生成し、ＨＭＤ１２に出力する。

【0060】

航空機模型・仮想空間位置認識装置４３の記憶装置には、カメラ１６、１７の位置に加えて、各マーカー４１ａを設置した位置が予め記憶されている。カメラ１６、１７にて同時に撮影して生成した２つの画像のそれぞれにおいて、航空機模型１８、マーカー４１ａを特定する画像認識処理を行ない、予め登録されたマーカー４１ａの位置を基準として各画像内における航空機模型１８の２次元座標を求め、これら２つの２次元座標に基づいて、航空機模型１８の３次元座標を求める。

【0061】

図８を参照して、フライトパス作成者の視点及び視線方向から見たときの仮想空間を描画する方法について説明する。まず、フライトパス作成者は、作成しようとしているフライトパスが通過する対象領域を定め、その座標を表示演算部４２に設定する（ステップＳ２１）。フライトパス作成者がＨＭＤ１２を装着し、ＨＭＤ測位部１３を起動すると、ＨＭＤ測位部１３は現在の位置及び方向、即ちフライトパス作成者の視点及び視線方向に関する測定値を求め、表示演算部４２に通知する。測定値を元に、表示演算部４２は、予め登録されたマーカー４１ａと、視点及び視線方向の位置関係を求め（ステップＳ２２）、その視点及び視線方向から見たフライトパス作成者の視界に入る、仮想空間設置位置内の地形の範囲を求める（ステップＳ２３）。更に、表示演算部４２は、その視界内に入る地点の地形データをＤＢ４４から取得（ステップＳ２４）し、取得した地形データに基づいて視界を示す画像を生成する（ステップＳ２５）。こうした処理を十分に短い一定時間毎に繰り返す（ステップＳ２６）ことにより、フライトパス作成者のそのときの視点及び視線方向に応じた仮想空間の光景をＨＭＤ１２にて表示する。

【0062】

図９を参照して、フライトパスを入力する際の航空機模型・仮想地形位置認識装置４３の動作について説明する。フライトパス作成者は航空機模型１８を手に持ち、所望のフライトパスを空中に描くように、航空機模型１８を仮想空間設置位置内で移動させる。この様子を、カメラ１６、１７を同期して撮影し、リアルタイムに画像データを生成する（ステップＳ３１）。カメラ１６、１７は同時に異なる角度から撮影した航空機模型１８、仮想空間設置位置の画像を生成することとなる。航空機模型・仮想地形位置認識装置４３は、この画像データに対して画像認識処理を行ない、画像データ中の航空機模型１８を特定する。ある時刻におけるカメラ１６、１７の画像データそれぞれに対し、ジオラマ１１、カメラ１６、１７の位置関係に基づく画像認識処理を行なうことにより、各カメラの画像データにおいて、そのカメラの光軸に垂直な面内における航空機模型１８の２次元座標を求め（ステップＳ３２）、更に、これら２つの２次元座標から航空機模型１８の３次元座標を求める（ステップＳ３３）。こうして求めた座標を、その時刻における航空機模型１８の３次元座標として、その時刻と共に通信インタフェース装置１９を介して表示演算部４２に送信する（ステップＳ３４）。これを一定時間毎に繰り返す（ステップＳ３５）ことにより、フライトパス作成者が手に持った航空機模型１８によって仮想空間設置位置で描いた、空間曲線上の点の座標及び各点の時刻を表示演算部４２に通知する。図８で説明した仮想空間の描画処理と並行して、図９のフライトパス入力処理を行なうことにより、フライトパス作成者は、自分の視点及び視線方向から見た仮想空間の光景を目視しつつ、航空機模型１８を仮想空間設置位置内で動かして、フライトパスを入力することができる。

【0063】

次に図１０を参照して、入力中のフライトパスをＨＭＤ１２に表示する際の表示演算部４２の動作について説明する。表示演算部４２は今までに通知された撮影時刻及び３次元座標を記憶装置に格納している。表示演算部４２は、ＨＭＤ１２が現在向いている方向及び位置を、ＨＭＤ測位部１３から取得する（ステップＳ４１）。この方向及び位置と予め登録されたマーカー４１ａの位置に基づいて、表示演算部４２はマーカー４１ａを基準としたＨＭＤ１２の位置及び方向を算出する（ステップＳ４２）。更に、算出したＨＭＤ１２の位置及び方向、即ち、フライトパス作成者の視点及び視線方向から見たときに、既に記憶装置に格納されている、入力済みのフライトパスを示す点の３次元座標が、フライトパス作成者の視界内のどこに位置するのかを算出（ステップＳ４３）し、算出した各位置に点を描画し、更に、必要に応じて各点を結ぶ直線や曲線を描画した画像を生成（ステップＳ４４）し、ＨＭＤ１２にて表示する（ステップＳ４５）。フライトパス作成者の目の画角（視野角）は予め定められており、表示演算部１４の記憶装置に記憶しているものとする。これにより、フライトパス作成者がジオラマ１１上の空中で描いた空間曲線を、フライトパス作成者の現在の視点及び視線方向から見たときの様子がＨＭＤ１２に表示される。ＨＭＤ１２は透過型ディスプレイを有するため、フライトパス作成者は、表示演算部１４が生成し、ＨＭＤ１２にて表示された空間曲線の画像と、透過型ディスプレイを通じて透過した、ジオラマ１１の光景とを同時に視認することになる。図８の仮想空間の描画処理、図９のフライトパス入力処理と並行して、図１０の入力済みフライトパス表示処理を行なうことにより、フライトパス作成者は、自分の視点及び視線方向から見た仮想空間の光景を目視しつつ、航空機模型１８を仮想空間設置位置内で動かしてフライトパスを入力する際、今までに入力したフライトパスを目視しながら入力を行なうことができる。

【0064】

フライトパス作成システム４０では、縮小領域内の地形を仮想オブジェクトとして描画してフライトパス作成者に提示する。このため、本システムでは、描画する際の仮想オブジェクトの縮尺率を変更することにより、フライトパス作成者に対して提示する縮小領域の縮尺率を変更することができる。

【0065】

また、フライトパス作成システム４０では、ステップＳ２１での設定を変更することにより、フライトパスを作成する対象領域を変更することができる。

【0066】

また、地形を仮想オブジェクトとして生成することを利用して、表示演算部１４は、フライトパスと仮想オブジェクトの間で衝突判定を行ない、衝突を検出したとき、衝突発生を警告するためのメッセージや、衝突を表す画像、動画等を衝突を検出した座標或いはその近傍に表示することとしてもよい。或いは、通信インタフェース装置１９を介して不図示のスピーカーを接続し、所定の警告音をスピーカーから鳴動させることとしてもよい。このようにすれば、フライト作成者自身の目視だけではなく、表示演算部１４での判定によってもフライトパスが地形、進入禁止領域、監視目標等の仮想オブジェクトと衝突していないことを確認しつつ、フライトパスを作成することができる。また、できあがったフライトパスの妥当性を判断する際の指標として衝突の有無を用いることができる。

【実施例3】

【0067】

第３の実施例であるフライトパス入力システム５０について図１１を参照して説明する。フライトパス入力システム５０は、フライトパス作成システム１０のＨＭＤ１２、ＨＭＤ測位部１３に対応する要素を２組、即ちＨＭＤ１２ａ、１２ｂ、ＨＭＤ測位部１３ａ、１３ｂを備え、表示演算部１４の代わりに表示演算部５１を備える。

【0068】

本システムでは、二人のフライトパス作成者がそれぞれＨＭＤ及びＨＭＤ測位部を装着する。ＨＭＤ１２ａ及びＨＭＤ測位部１３ａをフライトパス作成者Ａが装着し、ＨＭＤ１２ｂ及びＨＭＤ測位部１３ｂをフライトパス作成者Ｂが装着して用いるものとする。従って、ＨＭＤ１２ａはフライトパス作成者Ａに対して画像を表示するものであり、ＨＭＤ測位部１３ａはフライトパス作成者Ａの視点及び視線方向を測定するための装置である。同様に、ＨＭＤ１２ｂはフライトパス作成者Ｂに対して画像を表示するものであり、ＨＭＤ測位部１３ｂはフライトパス作成者Ｂの視点及び視線方向を測定するための装置である。

【0069】

表示演算部５１は演算処理装置であり、ＨＭＤ測位部１３ａと、航空機模型・ジオラマ位置認識装置１５の出力に基づいて、ＨＭＤ１２ａにて表示する画像を生成するとともに、ＨＭＤ測位部１３ｂと、航空機模型・ジオラマ位置認識装置１５の出力に基づいて、ＨＭＤ１２ｂにて表示する画像を生成する。各ＨＭＤのために行なう画像生成処理は実施例１と同様である。

【0070】

それぞれがＨＭＤ及びＨＭＤ測位部を装着したフライトパス作成者Ａ、Ｂは、ジオラマ１１、及び、ジオラマ１１上に重ねて表示されるフライトパス、進入禁止領域、拡張現実を、異なる視点から同時に眺めつつ、フライトパスの入力、修正を行なう。

【0071】

例えば、航空機模型１８を不図示の右手に持ってフライトパスを入力中のフライトパス作成者Ａの視界に、図５のような光景が見えているものとする。このとき、フライトパス作成者Ａは、ジオラマ１１の山から遠く、監視目標３３の位置に近い辺の近傍に立って、ジオラマ１１及び航空機模型１８を見下ろす視点及び視線方向で見ている。表示演算部５１は、仮想オブジェクトであるフライトパス３１、フットプリント３２、監視目標３３、進入禁止領域３４を同図のような配置で描画した画像を生成し、ＨＭＤ１２ａに出力する。同時に、フライトパス作成者Ｂは、フライトパス作成者Ａとジオラマ１１を挟んだ反対側の辺の近傍に立ち、ジオラマ１１及び航空機模型１８を見下ろす視点及び視線方向で見ているものとする。このとき、表示演算部５１は、フライトパス作成者Ｂの視点位置及び視線方向に基づいて、図１２のような位置関係で仮想オブジェクトを描画した画像を生成し、ＨＭＤ１２ｂに出力する。尚、図１２は、視点、視線方向からなる組の複数に基づいて、表示演算部５１が複数の画像を同時に生成し、対応するＨＭＤに出力することを説明するための図であり、図５と図１２における各仮想オブジェクトの位置関係は必ずしも正確に対応するものではない。

【0072】

このように、フライトパス作成システム５０では、同一のフライトパスを示す画像を、複数ユーザに対して同時に、かつ、ユーザ毎に異なる視点及び視線方向からの視界を示す画像として生成し、各ユーザに対して表示する。これにより、同じフライトパス、仮想オブジェクトを、複数のユーザが同時に、しかも異なる視点・視線方向から見て、協議しながらフライトパスを作成することができる。

【0073】

上述のフライトパス作成システムにより作成したフライトパスに従って飛行した飛行機等の飛翔体から、観測データを回収し、フライトパス作成システムにて表示することとしてもよい。この場合、飛翔体は、フットプリント３２で表される観測範囲を有する観測装置と、飛翔体の現在位置を測定するための測位装置と、観測装置にて測定した観測結果と、その観測結果を測定したときに測位装置にて測位した位置及び時刻を関連づけて記憶する記憶装置とを備える。記憶装置に記憶した観測結果、位置、時刻を、例えばフライトパス作成システム１０であれば、データ通信ネットワーク２０を介して表示演算部１４に送信する。表示演算部１４は、観測結果を示す仮想オブジェクトを、ＨＤＭ測位部１３にて求めた視点及び視線方向の視界内の該当する位置に描画した画像を生成し、ＨＤＭ１２に出力する。このようにすれば、フライトパスに沿って飛行した飛翔体によって観測した結果についても、自分自身の視点と視線方向に基づいて、仮想オブジェクトとして観測した位置に描画した観測結果を検証することができる。

【0074】

以上、本発明を実施形態及び実施例に即して説明したが、本発明はこれに限定されるものではなく、様々な変形が可能である。

【0075】

上述の実施例では、航空機模型１８の位置のみを取得し、その姿勢については取得しなかったが、姿勢についても取得することとしてもよい。実施例１では、ステップＳ１でカメラ１６、１７にて同時に撮影して複数の画像を生成し、これら画像に基づいて、ステップＳ２、Ｓ３で航空機模型・ジオラマ位置認識装置１５にて画像認識処理を行なうことにより、ジオラマ１１に対する航空機模型１８の位置を算出したが、このとき同時に、画像認識処理により航空機模型１８の姿勢を算出し、その姿勢情報を、航空機模型１８の３次元座標、時刻情報と共に、ステップＳ４で通信インタフェース装置１９を介して表示演算部１４に送信し、これを一定時間毎に繰り返すこととしてもよい。

【0076】

上述の実施例では、航空機模型１８の姿勢を考慮しなかったので、航空機模型１８の姿勢に関係なく、航空機模型１８から鉛直下方に伸ばした垂線を回転軸とする円錐としてフットプリントを想定した。しかし、航空機模型１８の姿勢を考慮する場合、姿勢に応じて回転軸を定めることとしてもよい。この場合、姿勢に応じてフットプリントとなる円錐の向きが決まり、更には円錐と地形曲面との交点からなる閉曲面が決まる。航空機模型１８と共にこの閉曲面は移動し、閉曲面が通過した領域が、カメラによる撮影対象、センサによる測定対象となる。

【0077】

ＨＤＭの投影方式には、網膜に画像を投影するものや、ハーフミラーに虚像を投影するものがあるが、どちらであっても透過型のディスプレイとして用いることができる。実施例２のように地形を仮想オブジェクトとして描画する場合は、ＨＤＭは透過型でなくてもよい。上述の説明では、ひとつのＨＤＭに一度に表示する画像は、一の視点から見た視界を表す投影図を一の画像として生成した。しかし、ＨＤＭが左右の目それぞれに対して異なる画像を表示可能な場合、例えば左右の目それぞれに別個にディスプレイ装置を有するような構成のＨＤＭである場合は、左右の目それぞれの視点から見た視界を表す画像、即ち互いに視差を有する右目用画像、左目用画像を生成し、それぞれを右目用ディスプレイ装置、左目用ディスプレイ装置にて表示することにより、ユーザに対して立体視を提供することとしてもよい。

【0078】

また、上述の説明では、フライトパス作成者が航空機模型を手に持ってフライトパスを入力するとして説明したが、航空機模型１８を直接手に持つ代わりに、例えば棒の先端に取り付けて動かしてもよいし、ロボットアームの先端に取り付けてロボットアームを操作することにより動かしてもよい。

【0079】

また、上述の実施例では、２台のカメラ１６、１７を用いて航空機模型の位置等を測定したが、カメラの台数は２台に限定されるものではなく、３台以上であってもよい。

【0080】

上記の実施形態及び実施例の一部又は全部は以下の付記のようにも記載されうるが、これらに限定されるものではない。

【0081】

（付記１）
利用者がその頭部に装着して用いるヘッドマウントディスプレイ装置（ＨＭＤ）と、
地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示手段と、
前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位手段と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、
前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段と
を備えることを特徴とするフライトパス表示システム。

【0082】

（付記２）
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すものとして、利用者の操作に応じて前記縮小領域内を移動させられるポインタと、
前記縮小領域内を移動するポインタの位置を、前記縮小フライトパス上の点の位置として測定する手段と
を更に備えることを特徴とする付記１に記載のフライトパス表示システム。

【0083】

（付記３）
前記ＨＭＤは透過型ディスプレイを備え、利用者は、前記画像生成手段が出力する画像と前記ＨＭＤの外部の光景とを同時に視認可能であることを特徴とする付記１及び付記２のいずれかに記載のフライトパス表示システム。

【0084】

（付記４）
前記縮小領域提示手段は、前記対象領域の地形を前記縮尺にて縮小した地形模型を備え、前記透過型ディスプレイを透過した、前記設置場所に設置した前記地形模型とその上の空間の光景を、前記縮小領域として利用者に提示することを特徴とする付記３に記載のフライトパス表示システム。

【0085】

（付記５）
前記画像生成手段は、前記対象領域内の地形を示す地形データを予め記憶した記憶装置から当該地形データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの前記対象領域内の地形を仮想オブジェクトとして描画した画像を生成することを特徴とする付記１及び付記２のいずれかに記載のフライトパス表示システム。

【0086】

（付記６）
前記画像生成手段は、前記縮小フライトパス上の一点を頂点とする円錐と、前記縮小領域内の地形との交点を求め、当該交点を示す画像をフライトパスのフットプリントとして前記ＨＭＤに出力することを特徴とする付記１乃至付記５のいずれかに記載のフライトパス表示システム。

【0087】

（付記７）
前記画像生成手段は、前記対象領域内の地点、地域、空間の属性を示す属性データを予め記憶した記憶装置から当該属性データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの視界内での該当する位置或いはその近傍に、当該属性データに関する仮想オブジェクトを描画した画像を生成することを特徴とする付記１乃至付記６のいずれかに記載のフライトパス表示システム。

【0088】

（付記８）
複数の前記ＨＭＤを備え、
前記画像生成手段は、ＨＭＤ毎にそのＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から前記縮小空間を見た視界を示す画像を生成し、該当するＨＭＤに出力する
ことを特徴とする付記１乃至付記７のいずれかに記載のフライトパス表示システム。

【0089】

（付記９）
利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域を、利用者に対して提示する縮小領域提示段階と、
前記縮小領域に対する前記ＨＭＤの位置及び向きを測定するＨＭＤ測位段階と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成段階と、
前記ＨＭＤ測位段階にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成段階にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成段階と
を含むことを特徴とするフライトパス表示方法。

【0090】

（付記１０）
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すものとして、利用者の操作に応じて前記縮小領域内を移動させられるポインタと、
前記縮小領域内を移動するポインタの位置を、前記縮小フライトパス上の点の位置として測定する段階と
を更に含むことを特徴とする付記９に記載のフライトパス表示方法。

【0091】

（付記１１）
前記ＨＭＤは透過型ディスプレイを備え、利用者は、前記画像生成段階が出力する画像と前記ＨＭＤの外部の光景とを同時に視認可能であることを特徴とする付記９及び付記１０のいずれかに記載のフライトパス表示方法。

【0092】

（付記１２）
前記縮小領域提示段階は、前記対象領域の地形を前記縮尺にて縮小した地形模型を備え、前記透過型ディスプレイを透過した、前記設置場所に設置した前記地形模型とその上の空間の光景を、前記縮小領域として利用者に提示することを特徴とする付記１１に記載のフライトパス表示方法。

【0093】

（付記１３）
前記画像生成段階は、前記対象領域内の地形を示す地形データを予め記憶した記憶装置から当該地形データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの前記対象領域内の地形を仮想オブジェクトとして描画した画像を生成することを特徴とする付記９及び付記１０のいずれかに記載のフライトパス表示方法。

【0094】

（付記１４）
前記画像生成段階は、前記縮小フライトパス上の一点を頂点とする円錐と、前記縮小領域内の地形との交点を求め、当該交点を示す画像をフライトパスのフットプリントとして前記ＨＭＤに出力することを特徴とする付記９乃至付記１３のいずれかに記載のフライトパス表示方法。

【0095】

（付記１５）
前記画像生成段階は、前記対象領域内の地点、地域、空間の属性を示す属性データを予め記憶した記憶装置から当該属性データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの視界内での該当する位置或いはその近傍に、当該属性データに関する仮想オブジェクトを描画した画像を生成することを特徴とする付記９乃至付記１４のいずれかに記載のフライトパス表示方法。

【0096】

（付記１６）
複数の前記ＨＭＤを備え、
前記画像生成段階は、ＨＭＤ毎にそのＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から前記縮小空間を見た視界を示す画像を生成し、該当するＨＭＤに出力する
ことを特徴とする付記９乃至付記１５のいずれかに記載のフライトパス表示方法。

【0097】

（付記１７）
利用者がその頭部にヘッドマウントディスプレイ装置（ＨＭＤ）を装着し、地形を含む空間である対象領域を予め定められた縮尺率で縮小して、予め定められた設置場所に再現した空間である縮小領域に対する前記ＨＭＤの位置及び向きを、測定値から算出するＨＭＤ測位手段と、
前記対象領域における飛翔体のフライトパスに対応する、前記縮小領域内の空間曲線である縮小フライトパスを求める縮小フライトパス生成手段と、
前記ＨＭＤ測位手段にて求めたＨＭＤの位置及び向き、並びに、前記縮小フライトパス生成手段にて求めた前記縮小フライトパスに基づいて、当該位置及び向きから前記縮小領域を見たときの視界を示す画像を生成し、前記ＨＭＤに出力する画像生成手段と
して、コンピュータを機能させるためのプログラム。

【0098】

（付記１８）
利用者の手により直接的にまたは保持具等を介して間接的に保持されて、前記縮小領域内での前記飛翔体の位置を示すものとして、利用者の操作に応じて前記縮小領域内を移動させられるポインタの位置を、前記縮小フライトパス上の点の位置として測定値から算出する手段として、コンピュータを機能させるための付記１７に記載のプログラム。

【0099】

（付記１９）
前記ＨＭＤは透過型ディスプレイを備え、利用者は、前記画像生成手段が出力する画像と前記ＨＭＤの外部の光景とを同時に視認可能であることを特徴とする付記１７及び付記１８のいずれかに記載のプログラム。

【0100】

（付記２０）
前記縮小領域提示手段は、前記対象領域の地形を前記縮尺にて縮小した地形模型を備え、前記透過型ディスプレイを透過した、前記設置場所に設置した前記地形模型とその上の空間の光景を、前記縮小領域として利用者に提示することを特徴とする付記１９に記載のプログラム。

【0101】

（付記２１）
前記画像生成手段は、前記対象領域内の地形を示す地形データを予め記憶した記憶装置から当該地形データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの前記対象領域内の地形を仮想オブジェクトとして描画した画像を生成することを特徴とする付記１７及び付記１８のいずれかに記載のプログラム。

【0102】

（付記２２）
前記画像生成手段は、前記縮小フライトパス上の一点を頂点とする円錐と、前記縮小領域内の地形との交点を求め、当該交点を示す画像をフライトパスのフットプリントとして前記ＨＭＤに出力することを特徴とする付記１７乃至付記２１のいずれかに記載のプログラム。

【0103】

（付記２３）
前記画像生成手段は、前記対象領域内の地点、地域、空間の属性を示す属性データを予め記憶した記憶装置から当該属性データを受け取り、前記ＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から見たときの視界内での該当する位置或いはその近傍に、当該属性データに関する仮想オブジェクトを描画した画像を生成することを特徴とする付記１７乃至付記２２のいずれかに記載のプログラム。

【0104】

（付記２４）
複数の前記ＨＭＤを備え、
前記画像生成手段は、ＨＭＤ毎にそのＨＭＤの位置及び向きに基づいて定めた視点及び視線方向から前記縮小空間を見た視界を示す画像を生成し、該当するＨＭＤに出力する
ことを特徴とする付記１７乃至付記２３のいずれかに記載のプログラム。

【符号の説明】

【0105】

１ フライトパス表示システム
２ 縮小領域提示部
３、１２ ヘッドマウントディスプレイ装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下ＨＭＤ）
４、１３ ＨＭＤ測位部
５ 画像処理装置
１０、４０ フライトパス作成システム
１１ ジオラマ
１４ 表示演算部
１５ 航空機模型・ジオラマ位置認識装置
１６、１７ カメラ
１８ 航空機模型
１９ 通信インタフェース装置
２０ データ通信ネットワーク
２１−２５、４４ データベース
４３ 航空機模型・仮想空間位置認識装置
４１ａ 拡張現実表示用のマーカー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】