特許 7429613 航空機のＶＲ訓練システム、航空機のＶＲ訓練方法及び航空機のＶＲ訓練プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-31

(45)【発行日】2024-02-08

(54)【発明の名称】航空機のＶＲ訓練システム、航空機のＶＲ訓練方法及び航空機のＶＲ訓練プログラム

(51)【国際特許分類】

   G09B 9/08 20060101AFI20240201BHJP

   G09B 9/34 20060101ALI20240201BHJP

   G09B 9/32 20060101ALI20240201BHJP

   G09B 9/46 20060101ALI20240201BHJP

   G06T 19/00 20110101ALI20240201BHJP

【ＦＩ】

G09B9/08

G09B9/34 A

G09B9/32

G09B9/46

G06T19/00 300B

【請求項の数】 10

(21)【出願番号】P 2020110967

(22)【出願日】2020-06-26

(65)【公開番号】P2022007792

(43)【公開日】2022-01-13

【審査請求日】2023-05-10

(73)【特許権者】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100131200

【弁理士】

【氏名又は名称】河部 大輔

(72)【発明者】

【氏名】小松 誠司

(72)【発明者】

【氏名】村田 良夫

(72)【発明者】

【氏名】小林 琢巳

(72)【発明者】

【氏名】倉地 修

(72)【発明者】

【氏名】西村 寛史

(72)【発明者】

【氏名】志水 裕一

(72)【発明者】

【氏名】川部 祐司

(72)【発明者】

【氏名】近藤 宏紀

(72)【発明者】

【氏名】新開 颯馬

【審査官】宇佐田 健二

(56)【参考文献】

【文献】特開２０１８－１６３４２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００２５９０５（ＵＳ，Ａ１）

【文献】特開２０１９－０１２１５４（ＪＰ，Ａ）

【文献】栗原雅，“ANAやJALなどが相次ぎVRを本格導入 事故や緊急事態を再現し人材育成や業務訓練に活用”，INTERNETARCHIVE waybackmachine，Internet Archive，2019年06月29日，pp.1-10，インターネット＜URL: https://web.archive.org/web/20190629010817/https://jbpress.ismedia.jp/articles/-/56845?page=1＞，［2023年10月26日検索］

【文献】ふかふか，“VRでリアルタイム共同作業を可能にする『NeosVR』”，MoguraVR News，日本，株式会社Mogura，2016年10月09日，pp.1-4，インターネット＜URL: https://www.moguravr.com/neos-vr/＞，［2023年10月26日検索］

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ９／００－ ９／５６

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、複数の訓練者のうちの対応する訓練者に前記シミュレーション画像を提供する複数の訓練用端末と、
実空間における前記複数の訓練者の動きを検出するトラッキングシステムと、
前記複数の訓練者のうち航空機を操縦する訓練者が操作する操縦装置と、
機体端末とを備え、
前記複数の訓練用端末のそれぞれは、
対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を前記トラッキングシステムの検出結果に基づいて演算し、
前記複数の訓練用端末のうちの他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成し、
前記機体端末は、前記操縦装置を介した操作入力に基づいて、航空機の機体の前記ＶＲ空間における位置及び姿勢を演算し、
前記複数の訓練用端末のそれぞれは、前記機体端末から前記機体の前記ＶＲ空間における位置及び姿勢に関する位置情報を取得し、取得された前記機体の前記位置情報に基づいて前記機体を前記ＶＲ空間に生成する、航空機のＶＲ訓練システム。

【請求項2】

請求項１に記載の航空機のＶＲ訓練システムにおいて、
前記複数の訓練用端末のそれぞれは、前記他の訓練用端末との通信を確立した場合に、前記他の訓練用端末から前記他アバタの前記位置情報を取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する、航空機のＶＲ訓練システム。

【請求項3】

請求項１に記載の航空機のＶＲ訓練システムにおいて、
前記機体端末は、前記操縦装置を介した操作入力に基づいて前記機体の移動量及び姿勢の変化量を演算する機体演算端末と、前記複数の訓練用端末のうちの一の訓練用端末であって前記機体演算端末からの前記機体の移動量及び姿勢の変化量に関する移動量情報に基づいて前記機体の前記ＶＲ空間における位置及び姿勢を演算する訓練用端末とによって形成されている、航空機のＶＲ訓練システム。

【請求項4】

請求項１に記載の航空機のＶＲ訓練システムにおいて、
前記機体端末は、前記訓練用端末とは別の端末である、航空機のＶＲ訓練システム。

【請求項5】

請求項１に記載の航空機のＶＲ訓練システムにおいて、
前記機体端末は、前記複数の訓練用端末のうちの一の訓練用端末である、航空機のＶＲ訓練システム。

【請求項6】

請求項１乃至５の何れか１つに記載の航空機のＶＲ訓練システムにおいて、
前記機体端末は、前記操縦装置を介した操作入力に応じて前記機体の前記位置情報を更新し、
前記複数の訓練用端末は、前記機体端末から前記機体の前記位置情報を周期的に取得し、前記機体の前記ＶＲ空間における位置及び姿勢を更新する、航空機のＶＲ訓練システム。

【請求項7】

請求項１乃至６の何れか１つに記載の航空機のＶＲ訓練システムにおいて、
前記複数の訓練用端末は、前記ＶＲ空間において前記機体内にアバタを生成する場合には、前記機体端末から取得された前記機体の前記位置情報に基づいて、前記機体に固定された原点を有するローカル座標系を基準に前記アバタを生成する、航空機のＶＲ訓練システム。

【請求項8】

請求項１乃至７の何れか１つに記載の航空機のＶＲ訓練システムにおいて、
前記複数の訓練用端末のそれぞれは、前記他の訓練用端末から前記他アバタの前記位置情報を周期的に取得し、前記他アバタの前記ＶＲ空間における位置及び姿勢を更新する、航空機のＶＲ訓練システム。

【請求項9】

複数の訓練用端末のそれぞれによって生成される共通のＶＲ空間におけるシミュレーション画像を用いて、前記複数の訓練用端末に対応する複数の訓練者によって模擬訓練を行う、航空機のＶＲ訓練方法であって、
前記複数の訓練用端末のそれぞれが、実空間における前記複数の訓練者の動きを検出するトラッキングシステムの検出結果に基づいて、対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を演算する工程と、
前記複数の訓練用端末のそれぞれが、前記複数の訓練用端末のうちの他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する工程と、
機体端末が、前記複数の訓練者のうち航空機を操縦する訓練者が操作する操縦装置を介した操作入力に基づいて、航空機の機体の前記ＶＲ空間における位置及び姿勢を演算する工程と、
前記複数の訓練用端末が、前記機体端末から前記機体の前記ＶＲ空間における位置及び姿勢に関する位置情報を取得し、取得された前記機体の前記位置情報に基づいて前記機体を前記ＶＲ空間に生成する工程とを含む、航空機のＶＲ訓練方法。

【請求項10】

共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する機能を訓練用端末のコンピュータに実現させるための、航空機のＶＲ訓練プログラムであって、
実空間における訓練者の動きを検出するトラッキングシステムの検出結果に基づいて、対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を演算する機能と、
他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する機能と、
前記複数の訓練者のうち航空機を操縦する訓練者が操作する操縦装置を介した操作入力に基づいて演算された、航空機の機体の前記ＶＲ空間における位置及び姿勢に関する位置情報を機体端末から取得し、取得された前記機体の前記位置情報に基づいて前記機体を前記ＶＲ空間に生成する機能とをコンピュータに実現させる、航空機のＶＲ訓練プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示された技術は、航空機のＶＲ訓練システム、航空機のＶＲ訓練方法及び航空機のＶＲ訓練プログラムに関する。

【背景技術】

【0002】

従来より、共通の仮想現実空間、即ち、共通のＶＲ（Virtual Reality）空間において、複数のユーザがＶＲ体験を行うシステムが知られている。例えば、先行文献１には、共通のＶＲ空間において複数のプレーヤがゲームを行うシステムが開示されている。このシステムでは、１つの端末が、実空間における複数のプレーヤのトラッキングを行い、各プレーヤに対応する操作キャラクタをＶＲ空間に生成している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－８０７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、前述のように、１つの端末で複数のユーザのアバタの動きを演算し、複数のアバタをＶＲ空間に生成し、さらに、生成した画像を複数の表示装置へ提供する構成においては、その端末の処理負荷が大きくなってしまう。

【0005】

ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的とするところは、ＶＲ空間にアバタが生成された画像の生成において端末の負荷を低減することにある。

【課題を解決するための手段】

【0006】

ここに開示された航空機のＶＲ訓練システムは、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、複数の訓練者のうちの対応する訓練者に前記シミュレーション画像を提供する複数の訓練用端末と、実空間における前記複数の訓練者の動きを検出するトラッキングシステムとを備え、前記複数の訓練用端末のそれぞれは、対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を前記トラッキングシステムの検出結果に基づいて演算し、前記複数の訓練用端末のうちの他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する。

【0007】

ここに開示された航空機のＶＲ訓練方法は、複数の訓練用端末のそれぞれによって生成される共通のＶＲ空間におけるシミュレーション画像を用いて、前記複数の訓練用端末に対応する複数の訓練者によって模擬訓練を行う、航空機のＶＲ訓練方法であって、前記複数の訓練用端末のそれぞれが、実空間における前記複数の訓練者の動きを検出するトラッキングシステムの検出結果に基づいて、対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を演算する工程と、前記複数の訓練用端末のそれぞれが、前記複数の訓練用端末のうちの他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する工程とを含む。

【0008】

ここに開示された航空機のＶＲ訓練プログラムは、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者に前記シミュレーション画像を提供する機能を訓練用端末のコンピュータに実現させるための、航空機のＶＲ訓練プログラムであって、実空間における訓練者の動きを検出するトラッキングシステムの検出結果に基づいて、対応する訓練者のアバタである自アバタの前記ＶＲ空間における位置及び姿勢を演算する機能と、他の訓練用端末に対応する訓練者のアバタである他アバタの前記ＶＲ空間における位置及び姿勢に関する位置情報を前記他の訓練用端末から取得し、取得された前記他アバタの前記位置情報に基づいて前記他アバタを前記ＶＲ空間に生成する機能とをコンピュータに実現させる。

【発明の効果】

【0009】

前記航空機のＶＲ訓練システムによれば、ＶＲ空間にアバタが生成された画像の生成において端末の負荷を低減することができる。

【0010】

前記航空機のＶＲ訓練方法によれば、ＶＲ空間にアバタが生成された画像の生成において端末の負荷を低減することができる。

【0011】

前記航空機のＶＲ訓練プログラムによれば、ＶＲ空間にアバタが生成された画像の生成において端末の負荷を低減することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、ＶＲ訓練システムの構成を示す図である。

【図2】図２は、ＶＲ訓練システムを用いて訓練を行う実空間の様子を示す概略図である。

【図3】図３は、ＶＲ空間に生成されるヘリコプタの一例を示す。

【図4】図４は、操縦士及び副操縦士の訓練用端末及びその周辺機器のブロック図である。

【図5】図５は、ホイストマン及び降下員の訓練用端末及びその周辺機器のブロック図である。

【図6】図６は、設定用端末及びその周辺機器のブロック図である。

【図7】図７は、操縦士の訓練用端末の訓練処理のフローチャートである。

【図8】図８は、操縦士以外の訓練用端末の訓練処理のフローチャートである。

【図9】図９は、自アバタが表示されたときのホイストマンの訓練用端末が生成するＶＲ空間の一例である。

【図10】図１０は、他アバタが表示されたときのホイストマンの訓練用端末が生成するＶＲ空間の一例である。

【図11】図１１は、自アバタ、他アバタ及び機体の位置及び姿勢が更新されたときのホイストマンの訓練用端末が生成するＶＲ空間の一例である。

【図12】図１２は、模擬訓練における各種訓練の流れを示すフローチャートである。

【図13】図１３は、飛行訓練中のホイストマンのシミュレーション画像の一例である。

【図14】図１４は、降下訓練中のホイストマン又は降下員のシミュレーション画像の一例である。

【図15】図１５は、降下訓練中の降下員のシミュレーション画像の一例である。

【図16】図１６は、降下訓練中のＶＲ空間内の配置状況の一例を示す図である。

【図17】図１７は、降下訓練中の副操縦士のシミュレーション画像の一例である。

【図18】図１８は、降下訓練中のホイストマンのシミュレーション画像の一例である。

【図19】図１９は、救助訓練における降下員のシミュレーション画像の一例である。

【図20】図２０は、救助訓練における降下員のシミュレーション画像の一例である。

【図21】図２１は、引上げ訓練における降下員のシミュレーション画像の一例である。

【発明を実施するための形態】

【0013】

以下、例示的な実施形態を図面に基づいて詳細に説明する。図１は、ＶＲ訓練システム１００の構成を示す図である。図２は、ＶＲ訓練システム１００を用いて訓練を行う実空間の様子を示す概略図である。なお、図２では各端末の図示を省略している。

【0014】

ＶＲ訓練システム１００は、共通のＶＲ空間における模擬訓練（以下、「ＶＲ訓練」と称する）を行うためのシステムである。このＶＲ訓練システム１００は、航空機（この例では、ヘリコプタ）におけるＶＲ訓練に用いられる。ＶＲ訓練システム１００は、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成し、対応する訓練者９にシミュレーション画像を提供する複数の訓練用端末１と、シミュレーション画像の生成に必要な設定情報を有する設定用端末６とを備えている。シミュレーション画像は、ＶＲ空間を形成する画像であり、いわゆるＶＲ画像である。シミュレーション画像は、訓練者９のアバタ及び航空機の機体を含む。

【0015】

複数の訓練用端末１のそれぞれは、互いに通信可能に接続されている。また、複数の訓練用端末１は、設定用端末６と通信可能に接続されている。これらの各端末は、ＬＡＮ等を介して有線接続されている。なお、各端末は、無線接続であってもよい。

【0016】

模擬訓練は、複数の訓練用端末１にそれぞれ対応する複数の訓練者９による連携訓練である。この例では、複数の訓練者９は、ＶＲ訓練システム１００を使って、共通のＶＲ空間において救助用ヘリコプタにおける連携訓練を行う。訓練者９には、例えば、操縦士９１、副操縦士９２、ホイストマン９３及び降下員９４が含まれている。以下、各訓練者を区別しない場合には、単に「訓練者９」と称する。連携訓練とは、複数の訓練者９が連携して行う訓練である。例えば、連携訓練は、複数の訓練者９によって、要救助者が存在する地点までヘリコプタを飛行させ、要救助者を救出する訓練である。連携訓練の内容には、操縦士９による出発地点から要救助者の場所までのヘリコプタの飛行、飛行中の副操縦士９２等による操縦補助及び安全確認、ホイストマン９３及び降下員９４による降下及び引き上げ等が含まれる。

【0017】

図３は、ＶＲ空間に生成されるヘリコプタの一例を示す。例えば、ヘリコプタ８は、機体８０と、機体８０の上部から右側又は左側へ片持ち状に延びるブーム８１と、ブーム８１から吊り下げられたホイストケーブル８２と、ホイストケーブル８２に連結された救助縛帯８３と、ホイストケーブル８２を巻き上げる巻き上げ機８４と、巻き上げ機８４を操作するためのペンダント型操作部（図示省略）とを有している。操縦士９１のアバタ９１Ａ、副操縦士９２のアバタ９２Ａ及びホイストマン９３のアバタ９３Ａは、機体８０内に配置されている。図示は省略するが、降下員９４のアバタも、基本的には機体８０内に配置されている。

【0018】

訓練用端末１は、訓練者９のための端末である。訓練者９ごとに１台の訓練用端末１が割り当てられている。各訓練用端末１は、対応する訓練者９のためのシミュレーション画像を生成する。例えば、各訓練用端末１は、対応する訓練者９の一人称視点でのシミュレーション画像を生成する。つまり、各訓練用端末１は、共通のＶＲ空間において異なる視点のシミュレーション画像を生成する。この例では、４人の訓練者９のための４台の訓練用端末１が設けられている。

【0019】

各訓練用端末１には、ＶＲ表示装置２が接続されている。ＶＲ表示装置２は、訓練用端末１によって生成されたシミュレーション画像を表示する。ＶＲ表示装置２は、訓練者９の頭部に装着される。例えば、ＶＲ表示装置２は、ＨＭＤ（Head Mounted Display）である。ＨＭＤは、ディスプレイを有するゴーグル形状のＶＲ専用の装置であってもよく、あるいは、頭部に装着可能なホルダにスマートフォン又は携帯ゲーム装置を取り付けることによって構成されるものであってもよい。ＶＲ表示装置２は、右目用画像及び左目用画像を含む３次元画像を表示する。ＶＲ表示装置２は、ヘッドホン２８及びマイク２９を有していてもよい。訓練者９は、ヘッドホン２８及びマイク２９を介して、他の訓練者９と対話を行う。また、訓練者９は、シミュレーションに必要な音声をヘッドホン２８を介して聞くことができる。

【0020】

ＶＲ訓練システム１００は、模擬訓練において訓練者９によって使用される操作装置をさらに備えている。訓練者９は、操作装置を訓練内容に応じて操作する。操作装置は、訓練者９及び操作内容に応じて適宜変更される。例えば、ＶＲ訓練システム１００は、操縦士９１のための操縦装置３Ａと副操縦士９２のための操縦装置３Ａとを備えている。ＶＲ訓練システム１００は、ホイストマン９３のための２つのコントローラ３Ｂと、降下員９４のための２つのコントローラ３Ｂとを備えている。

【0021】

操縦装置３Ａは、複数の訓練者９のうち航空機を操縦する訓練者９、即ち、操縦士９１又は副操縦士９２が操作する。操縦装置３Ａは、操縦士９１又は副操縦士９２の操作入力を受け付ける。具体的には、操縦装置３Ａは、操縦桿３１、ペダル３２及びＣＰレバー３３を有している。操縦桿３１、ペダル３２及びＣＰレバー３３のそれぞれには、操作量を検出するセンサ（図示省略）が設けられている。各センサは、操作量に応じた操作信号を出力する。操縦装置３Ａは、シート３４をさらに有している。操縦士９１又は副操縦士９２が操縦装置３Ａを操作することによって、シミュレーション画像中の航空機、具体的にはヘリコプタの位置及び姿勢が変更される。操縦装置３Ａは、機体演算端末５に接続されている。つまり、操縦桿３１、ペダル３２及びＣＰレバー３３からの操作信号は、機体演算端末５に入力される。

【0022】

機体演算端末５は、操縦装置３Ａを介した操作入力に基づいて航空機の機体の移動量及び姿勢の変化量を演算する。機体演算端末５は、訓練用端末１の演算負荷軽減のためにＶＲ訓練システム１００に設けられた端末である。機体演算端末５は、複数の訓練用端末１及び設定用端末６のそれぞれと通信可能に接続されている。機体演算端末５と複数の訓練用端末１及び設定用端末６とは、ＬＡＮ等を介して有線接続されている。なお、機体演算端末５と複数の訓練用端末１及び設定用端末６とは、無線接続されていてもよい。

【0023】

機体演算端末５は、機体の移動量及び姿勢の変化量に関する移動量情報を操縦士９１の訓練用端末１及び副操縦士９２の訓練用端末１の少なくとも一方へ送信する。移動量情報を受け取った訓練用端末１は、移動量情報に基づいて機体８０のＶＲ空間における位置及び姿勢を演算する。つまり、機体演算端末５と移動量情報を受け取る訓練用端末１とは、操縦装置３Ａを介した操作入力に基づいて航空機の機体８０のＶＲ空間における位置及び姿勢を演算する機体端末５０を形成する。

【0024】

コントローラ３Ｂは、可搬型のデバイスである。訓練者９（即ち、ホイストマン９３及び降下員９４）は、右手と左手のそれぞれでコントローラ３Ｂを携帯する。コントローラ３Ｂは、モーショントラッカ機能を有する。すなわち、コントローラ３Ｂは、後述するトラッキングシステム４によってセンシングされる。コントローラ３Ｂは、訓練者９の入力を受け付ける操作スイッチ３５（図５参照）を有している。操作スイッチ３５は、訓練者９からの入力に応じた操作信号を出力する。コントローラ３Ｂは、ホイストマン９３又は降下員９４の訓練用端末１に接続されている。つまり、操作スイッチ３５からの操作信号は、対応するホイストマン９３又は降下員９４の訓練用端末１に入力される。

【0025】

設定用端末６は、初期設定を行う権限を有する管理者（例えば、教官）からの設定情報の入力を受け付ける。設定用端末６は、入力された設定情報を初期設定として設定する。設定用端末６は、設定情報を訓練用端末１に送信すると共に、模擬訓練の開始通知を訓練用端末１に送信する。また、設定用端末６は、訓練におけるシミュレーション画像を表示する。ただし、本実施形態では、設定用端末６は、シミュレーション画像を生成していない。設定用端末６は、訓練用端末１によって生成されたシミュレーション画像を取得して表示する。これにより、訓練者９以外の者（例えば、教官）が訓練のシミュレーションを監視することができる。なお、設定用端末６は、各訓練用端末１から情報を取得して各訓練者９のシミュレーション画像を生成してもよい。

【0026】

さらに、ＶＲ訓練システム１００は、トラッキングシステム４をさらに有している。トラッキングシステム４は、実空間における複数の訓練者９の動きを検出する。トラッキングシステム４は、ＶＲ表示装置２及びコントローラ３Ｂをセンシングする。トラッキングシステム４は、この例では、アウトサイドイン方式のトラッキングシステムである。

【0027】

具体的には、トラッキングシステム４は、複数のトラッキングセンサ４１と、トラッキングセンサ４１からの信号を受信する通信装置４２（図４，５参照）とを有している。トラッキングセンサ４１は、例えば、カメラである。トラッキングセンサ４１は、訓練者９が存在する実空間をステレオ撮影できるように配置されている。ＶＲ表示装置２及びコントローラ３Ｂのそれぞれには、発光式のトラッキングマーカが設けられている。複数のトラッキングセンサ４１は、ＶＲ表示装置２及びコントローラ３Ｂのそれぞれのトラッキングマーカをステレオ撮影する。

【0028】

トラッキングシステム４は、複数の訓練者９に関して共通である。つまり、共通のトラッキングシステム４によって、複数の訓練者９のＶＲ表示装置２及びコントローラ３Ｂがセンシング、即ち、トラッキングされる。

【0029】

トラッキングセンサ４１によって撮影された画像データは、通信装置４２に送信される。通信装置４２は、受信した画像データを、訓練用端末１へ送信する。

【0030】

訓練用端末１のそれぞれは、トラッキングシステム４からの画像データを画像処理することによって、対応する訓練者９のアバタのＶＲ空間における位置及び姿勢を求める。

【0031】

それに加えて、ホイストマン９３及び降下員９４の訓練用端末１のそれぞれは、トラッキングシステム４からの画像データを画像処理することによって、対応する訓練者９のコントローラ３Ｂのトラッキングマーカに基づいて、対応する訓練者９のアバタのＶＲ空間における両手の位置及び姿勢を求める。

【0032】

図４は、操縦士９１及び副操縦士９２の訓練用端末１及びその周辺機器のブロック図である。

【0033】

操縦士９１及び副操縦士９２の訓練用端末１には、ＶＲ表示装置２、機体演算端末５及びトラッキングシステム４が接続されている。機体演算端末５には、操縦装置３Ａが接続されている。

【0034】

訓練用端末１は、入力部１１と、通信部１２と、記憶部１３と、処理部１４とを有している。

【0035】

入力部１１は、訓練者９からの操作入力を受け付ける。入力部１１は、操作入力に応じた入力信号を処理部１４へ出力する。例えば、入力部１１は、キーボード、又はマウスである。

【0036】

通信部１２は、他の端末等と通信を行うインターフェースである。例えば、通信部１２は、ケーブルモデム、ソフトモデム又は無線モデムで形成されている。なお、後述する通信部２２、通信部５１及び通信部６３も、通信部１２と同様に構成されている。通信部１２は、他の訓練用端末１、機体演算端末５及び設定用端末６等の他の端末との通信を実現する。

【0037】

記憶部１３は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部１３は、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭ及びＤＶＤ等の光ディスク、又は半導体メモリによって形成されている。なお、後述する記憶部５２及び記憶部６４も、記憶部１３と同様に構成されている。

【0038】

記憶部１３は、シミュレーションプログラム１３１、フィールド定義データ１３２、アバタ定義データ１３３、オブジェクト定義データ１３４及び音声データ１３５等を記憶している。

【0039】

シミュレーションプログラム１３１は、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者９にシミュレーション画像を提供する各種機能をコンピュータ、即ち、処理部１４に実現させるためのプログラムである。シミュレーションプログラム１３１は、処理部１４によって読み出され、実行される。

【0040】

フィールド定義データ１３２は、訓練が行われるフィールドを定義する。例えば、フィールド定義データ１３２は、フィールドの広さ、フィールドの地形、及びフィールド内の障害物等のオブジェクトを定義する。フィールド定義データ１３２は、訓練が行われるフィールドの種類ごとに用意されている。

【0041】

アバタ定義データ１３３は、自己のアバタ（以下、「自アバタ」と称する）及び他の訓練者９のアバタ（以下、「他アバタ」と称する）を定義する。アバタ定義データ１３３は、アバタの種類ごとに用意されている。自アバタのアバタ定義データ１３３は、自アバタのＣＧデータ（例えば、ポリゴンデータ）だけでなく、初期位置情報（ＶＲ空間における初期位置及び初期姿勢に関する情報）も含んでいる。

【0042】

ここで、アバタの位置情報（初期位置情報も含む）は、位置に関する情報としてＶＲ空間における直交三軸の位置座標（ｘ，ｙ，ｚ）と、姿勢に関する情報として各軸回りの回転角（Φ，θ，ψ）とを含む。後述するヘリコプタの機体８０等のオブジェクトの位置情報についても同様である。

【0043】

オブジェクト定義データ１３４は、訓練に必要な各種オブジェクトを定義する。オブジェクト定義データ１３４は、オブジェクトの種類ごとに用意されている。例えば、ヘリコプタの機体８０、ブーム８１、ホイストケーブル８２、救助縛帯８３、巻き上げ機８４、ペンダント型操作部、要救助者８８及び地表等のオブジェクト定義データ１３４が用意されている。

【0044】

音声データ１３５は、ヘリコプタの飛行音等のシミュレーション中の効果音に関するデータである。

【0045】

処理部１４は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及び／又はＤＳＰ（Digital Signal Processor）等の各種プロセッサと、ＶＲＡＭ、ＲＡＭ及び／又はＲＯＭ等の各種半導体メモリとを有している。なお、後述する処理部２５、処理部５３及び処理部６５も、処理部１４と同様の構成である。

【0046】

処理部１４は、記憶部１３に記憶された各種プログラムを読み出して実行することによって、訓練用端末１の各部を統括的に制御すると共に、シミュレーション画像を提供するための各種機能を実現する。具体的には、処理部１４は、通信制御部１４１と、設定部１４２と、トラッキング制御部１４４と、音声生成部１４５と、シミュレーション進行部１４６とを機能ブロックとして有する。

【0047】

通信制御部１４１は、通信部１２を介した外部の端末又は装置との通信処理を実行する。通信制御部１４１は、データ通信に関するデータ処理を実行する。

【0048】

設定部１４２は、シミュレーション画像の生成に関する設定情報を設定用端末６から受信して、設定情報を設定する。設定部１４２は、各種設定情報を初期設定として設定する。

【0049】

トラッキング制御部１４４は、対応する訓練者９のアバタである自アバタのＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算する。トラッキング制御部１４４は、通信装置４２を介して入力されるトラッキングセンサ４１からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部１４４は、画像データを画像処理することによって、対応する訓練者９のＶＲ表示装置２のトラッキングマーカを追跡し、実空間における訓練者９の位置及び姿勢を求める。トラッキング制御部１４４は、実空間における訓練者９の位置及び姿勢を所定の座標対応関係に基づいて、ＶＲ空間における自アバタの位置及び姿勢を求める。トラッキング制御部１４４によって求められたＶＲ空間における自アバタの位置及び姿勢に関する情報を位置情報と称する。以下、「アバタの位置及び姿勢」並びに「アバタの位置」は、それぞれ「ＶＲ空間における位置及び姿勢」並びに「ＶＲ空間における位置」を意味する。

【0050】

音声生成部１４５は、音声データ１３５を記憶部１３から読み出し、シミュレーションの進行に応じた音声を生成する。

【0051】

シミュレーション進行部１４６は、シミュレーションの進行に関する各種演算処理を実行する。例えば、シミュレーション進行部１４６は、シミュレーション画像を生成する。シミュレーション進行部１４６は、設定部１４２の初期設定に基づいてフィールド定義データ１３２及びオブジェクト定義データ１３４を記憶部１３から読み出し、フィールド画像にオブジェクト画像が合成されたシミュレーション画像を生成する。

【0052】

また、シミュレーション進行部１４６は、自アバタに対応するアバタ定義データ１３３を記憶部１３から読み出し、自アバタの位置情報に基づいて自アバタ（例えば、自アバタの手足）をＶＲ空間に合成してシミュレーション画像を生成する。ここで、操縦士９１及び副操縦士９２の自アバタは、ＶＲ空間内の操縦席及び副操縦席に着席した状態が維持されていてもよい。すなわち、シミュレーション画像において、操縦士９１及び副操縦士９２の自アバタの、機体８０内の位置は固定であり、自アバタの頭部のみが動作（回転及び傾動）してもよい。その場合、操縦士９１及び副操縦士９２の訓練用端末１のシミュレーション進行部１４６は、自アバタの画像を生成しなくてもよい。

【0053】

さらに、シミュレーション進行部１４６は、複数の訓練用端末１のうちの他の訓練用端末１に対応する訓練者９のアバタである他アバタの位置情報を他の訓練用端末１から取得し、取得された位置情報に基づいて他アバタをＶＲ空間に生成する。具体的には、シミュレーション進行部１４６は、他アバタに対応するアバタ定義データ１３３を記憶部１３から読み出し、他の訓練用端末１から取得した他アバタの位置情報に基づいて他アバタをＶＲ空間に合成してシミュレーション画像を生成する。

【0054】

シミュレーション進行部１４６は、設定用端末６から模擬訓練の開始通知を受信して模擬訓練を開始する。すなわち、シミュレーション進行部１４６は、シミュレーション画像における訓練を開始する。シミュレーション進行部１４６は、模擬訓練中は、連携訓練のシミュレーションの進行を制御する。

【0055】

具体的には、シミュレーション進行部１４６は、後述する機体演算端末５からの移動量情報（操縦装置３Ａの操作入力に応じた機体の移動量及び姿勢の変化量に関する情報）に基づいて機体８０のＶＲ空間における位置及び姿勢を演算する。シミュレーション進行部１４６は、機体演算端末５からの機体の移動量及び姿勢の変化量を、ＶＲ空間の座標系における機体８０の移動量及び姿勢の変化量に変換し、機体８０のＶＲ空間における位置及び姿勢を演算する。これにより、操縦装置３Ａの操作入力に応じて、ＶＲ空間においてヘリコプタが移動、即ち、飛行する。

【0056】

このＶＲ空間における機体８０の位置及び姿勢の演算は、操縦士９１及び副操縦士９２の訓練用端末１のうち、機体の操縦機能が有効となっている方の訓練用端末１が実行する。操縦士９１及び副操縦士９２の訓練用端末１のうち何れの訓練用端末１の操縦機能を有効とするかは切り替え可能となっている。通常は、操縦士９１の訓練用端末１の操縦機能が有効に設定されている。訓練の状況に応じて、副操縦士９２の訓練用端末１の操縦機能が有効に設定される場合もある。

【0057】

また、シミュレーション進行部１４６は、トラッキング制御部１４４からの位置情報に基づいてＶＲ空間内で自アバタを動作させ、他の訓練端末１から受信する他アバタの位置情報に基づいてＶＲ空間内で他アバタを動作させる。なお、操縦士９１及び副操縦士９２の自アバタは、ＶＲ空間内の操縦席及び副操縦席に固定されている場合には、自アバタの頭部のみが動作（回転及び傾動）する。ただし、操縦士９１及び副操縦士９２の自アバタは、頭部のみが動作するだけでなく、他アバタと同様にトラッキング制御部１４４からの位置情報に基づいてＶＲ空間内で動作してもよい。

【0058】

さらに、シミュレーション進行部１４６は、トラッキング制御部１４４からの位置情報に基づく操縦士９１又は副操縦士９２の頭部の向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。シミュレーション進行部１４６は、生成したシミュレーション画像をＶＲ表示装置２及び設定用端末６へ出力する。このとき、シミュレーション進行部１４６は、必要に応じて、音声生成部１４５によって生成された音声をヘッドホン２８及び設定用端末６へ出力する。

【0059】

ＶＲ表示装置２は、入力部２１と、通信部２２と、記憶部２３と、表示部２４と、処理部２５とを有している。

【0060】

入力部２１は、訓練者９からの操作入力を受け付ける。入力部２１は、操作入力に応じた入力信号を処理部２５へ出力する。例えば、入力部２１は、操作ボタン又はスライドスイッチ等である。

【0061】

通信部２２は、訓練用端末１との通信を実現するインターフェースである。

【0062】

記憶部２３は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部２３は、半導体メモリ等によって形成されている。記憶部２３は、シミュレーション画像を表示部２４で表示するための各種機能をコンピュータ、即ち、処理部２５に実現させるためのプログラム及び各種データが記憶されている。

【0063】

表示部２４は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイである。表示部２４は、右目用画像と左目用画像とを表示することができる。

【0064】

処理部２５は、記憶部２３に記憶された各種プログラムを読み出して実行することによって、ＶＲ表示装置２の各部を統括的に制御すると共に、シミュレーション画像を表示部２４に表示させるための各種機能を実現する。

【0065】

機体演算端末５は、通信部５１と、記憶部５２と、処理部５３とを有している。機体演算端末５には、操縦装置３Ａから出力される操作信号が入力される。具体的には、操縦桿３１、ペダル３２及びＣＰレバー３３のそれぞれから、スイッチの押下及び操作量に応じた操作信号が入力される。機体演算端末５は、操縦装置３Ａの操作量に応じた機体の移動量及び姿勢の変化量を演算し、移動量情報を出力する。

【0066】

通信部５１は、訓練用端末１等との通信を実現するインターフェースである。

【0067】

記憶部５２は、演算プログラム５２１等を記憶している。演算プログラム５２１は、ＶＲ空間における航空機の機体８０の位置及び姿勢を演算するための各種機能をコンピュータ、即ち、処理部５３に実現させるためのプログラムである。演算プログラム５２１は、処理部５３によって読み出され、実行される。

【0068】

処理部５３は、記憶部５２に記憶された各種プログラムを読み出して実行することによって、機体演算端末５の各部を統括的に制御すると共に、機体の移動量及び姿勢の変化量を演算するための各種機能を実現する。具体的には、処理部５３は、通信制御部５３１と、機体演算部５３２とを機能ブロックとして有する。

【0069】

通信制御部５３１は、通信部５１を介した訓練用端末１等との通信処理を実行する。通信制御部５３１は、データ通信に関するデータ処理を実行する。

【0070】

機体演算部５３２は、操縦装置３Ａからの操作信号に基づいて機体の移動量及び姿勢の変化量を演算する。詳しくは、機体演算部５３２は、操縦桿３１、ペダル３２及びＣＰレバー３３からの各操作信号に基づいて、操縦桿３１、ペダル３２及びＣＰレバー３３のスイッチの押下及び操作量に応じた機体の移動量及び姿勢の変化量を演算する。機体演算部５３２は、演算した機体の移動量及び姿勢の変化量に関する移動量情報を訓練用端末１へ送信する。

【0071】

図５は、ホイストマン９３及び降下員９４の訓練用端末１及びその周辺機器のブロック図である。

【0072】

ホイストマン９３及び降下員９４の訓練用端末１には、ＶＲ表示装置２、コントローラ３Ｂ及びトラッキングシステム４が接続されている。コントローラ３Ｂは、操作スイッチ３５を有している。操作スイッチ３５の操作信号は、訓練用端末１に入力される。

【0073】

ホイストマン９３及び降下員９４の訓練用端末１の基本的な構成は、操縦士９１及び副操縦士９２の訓練用端末１と同様である。ただし、ホイストマン９３及び降下員９４と操縦士９１及び副操縦士９２との訓練内容の違いに起因して、ホイストマン９３及び降下員９４の訓練用端末１の処理内容は、操縦士９１及び副操縦士９２の訓練用端末１と少し異なる。

【0074】

詳しくは、トラッキング制御部１４４は、対応する訓練者９のアバタである自アバタのＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算する。トラッキング制御部１４４は、通信装置４２を介して入力されるトラッキングセンサ４１からの画像データに基づいて、トラッキングに関する各種演算処理を実行する。具体的には、トラッキング制御部１４４は、画像データを画像処理することによって、対応する訓練者９のＶＲ表示装置２のトラッキングマーカを追跡し、実空間における訓練者９の位置及び姿勢を求める。トラッキング制御部１４４は、実空間における訓練者９の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの位置及び姿勢を求める。それに加えて、トラッキング制御部１４４は、画像データを画像処理することによって、コントローラ３Ｂのトラッキングマーカを追跡し、実空間における訓練者９の両手の位置及び姿勢を求める。トラッキング制御部１４４は、実空間における訓練者９の両手の位置及び姿勢を所定の座標対応関係に基づいて、自アバタの両手の位置及び姿勢を求める。つまり、ホイストマン９３及び降下員９４の訓練用端末１のトラッキング制御部１４４は、自アバタの位置及び姿勢、並びに、自アバタの両手の位置及び姿勢を位置情報として求める。

【0075】

シミュレーション進行部１４６がシミュレーション画像を生成し、連携訓練のシミュレーションの進行を制御することは、操縦士９１及び副操縦士９２の訓練用端末１と同様である。ただし、操縦席及び副操縦席に着席したままの操縦士９１及び副操縦士９２と異なり、ホイストマン９３及び降下員９４は、機内及び機外で移動が可能である。そのため、シミュレーション進行部１４６は、ＶＲ空間内で自アバタを自由に移動させる。また、シミュレーション進行部１４６は、トラッキング制御部１４４からの位置情報に基づいて、ホイストマン９３又は降下員９４の頭部の位置又は向きの変更に応じて、表示させるシミュレーション画像のフレームの位置又は角度を変更する。それに加えて、シミュレーション進行部１４６は、コントローラ３Ｂの操作スイッチ３５からの操作信号に応じて、ＶＲ空間内で自アバタに操作信号に応じた処理を実行させる。ここで、操作信号に応じた処理は、例えば、ヘリコプタのドアの開閉やペンダント型操作部の操作等である。

【0076】

図６は、設定用端末６及びその周辺機器のブロック図である。

【0077】

設定用端末６は、表示部６１と、入力部６２と、通信部６３と、記憶部６４と、処理部６５とを有している。

【0078】

表示部６１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、又は、プロジェクタ及びスクリーンである。

【0079】

入力部６２は、初期設定を行う権限を有する管理者（例えば、教官）の入力操作を受け付ける。入力部６２は、例えば、キーボード又はマウスである。

【0080】

通信部６３は、訓練用端末１等との通信を実現するインターフェースである。

【0081】

記憶部６４は、開始プログラム６４１等を記憶している。開始プログラム６４１は、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を、対応する訓練者に提供する複数の訓練用端末１に模擬訓練を開始させる各種機能をコンピュータ、即ち、処理部６５に実現させるためのプログラムである。開始プログラム６４１は、処理部６５によって読み出され、実行される。

【0082】

処理部６５は、記憶部６４に記憶された各種プログラムを読み出して実行することによって、設定用端末６の各部を統括的に制御すると共に、シミュレーションに関する初期設定を行うための各種機能を実現する。具体的には、処理部６５は、通信制御部６５１と、設定部６５２と、監視部６５４とを機能ブロックとして有する。

【0083】

通信制御部６５１は、通信部６３を介した外部の端末又は装置との通信処理を実行する。通信制御部６５１は、データ通信に関するデータ処理を実行する。

【0084】

設定部６５２は、シミュレーション画像の生成に必要な初期設定に関する各種設定情報のユーザからの入力を受け付けると共に、入力された設定情報を初期設定として設定する。設定部６５２は、記憶部６４に記憶された設定入力画面を表示部６１に表示させる。設定部６５２は、設定入力画面に対して入力部６２を介して入力された設定情報を初期設定として記憶部６４に記憶させる。また、設定部６５２は、設定情報を複数の訓練用端末１に送信する。

【0085】

監視部６５４は、各訓練用端末１からシミュレーション画像を受け取る。つまり、監視部６５４は、それぞれの訓練者９に応じた一人称視点のシミュレーション画像を受け取る。監視部６５４は、何れか１人の訓練者９の一人称視点のシミュレーション画像を表示部６１に表示させる。あるいは、監視部６５４は、全ての訓練者９の一人称視点のシミュレーション画像を表示部６１に分割表示させる。全ての一人称視点のシミュレーション画像を分割表示させた場合、監視部６５４は、入力部６２を介した選択操作に応じて、何れか１つの一人称視点のシミュレーション画像を表示部６１に表示させてもよい。

【0086】

ＶＲ訓練システム１００において訓練を開始する際には、まず設定用端末６において初期設定が行われる。

【0087】

詳しくは、表示部６１に初期設定を行うための設定入力画面が表示され、教官等の管理者は、設定入力画面に対して入力部６２を介して設定情報を入力する。

【0088】

例えば、設定部６５２は、接続される端末の個数を特定する情報（以下、「端末数情報」と称する）、接続される端末のＩＰアドレスを特定する情報（以下、「端末アドレス情報」と称する）、訓練のシミュレーションが実施される訓練フィールドを特定する情報（以下、「フィールド情報」と称する）、ヘリコプタのブームの向き（即ち、ブームがヘリコプタの左右のどちら側に延びているか）を特定する情報（以下、「ブーム情報」と称する）、及び、訓練フィールド内における要救助者の位置を特定する情報（以下、「要救助者情報」と称する）が設定情報として入力される。端末数情報及び端末アドレス情報によって、訓練に参加する訓練者が特定される。訓練フィールドとしては山間部等の各種フィールドが用意されている。また、フィールド情報には、予め設定された、訓練フィールドにおけるヘリコプタの初期位置（即ち、ヘリコプタのローカル座標系の原点の初期位置）も含まれている。設定部６５２は、これらの端末数情報、端末アドレス情報、フィールド情報、ブーム情報及び要救助者情報を初期設定として設定する。なお、ヘリコプタの初期位置は、フィールド情報に含まれるのではなく、初期設定の項目として入力されてもよい。

【0089】

初期設定が完了後に、設定用端末６は、訓練用端末１から接続要求を受信すると、通信の確立完了を示す接続完了応答と併せて設定情報を訓練用端末１に送信する。これを受けて、各訓練用端末１では初期設定が行われる。その後、各訓練用端末１において訓練が開始される。設定用端末６では、監視部６５４が表示部６１にＶＲ空間におけるシミュレーション画像を表示させる。これにより、教官等の管理者は、表示部６１を観ながら、訓練者９による連携訓練を監視することができる。

【0090】

図７は、操縦士９１及び副操縦士９２の訓練用端末１のうち操縦機能が有効になっている訓練用端末１の訓練処理のフローチャートである。この例では、操縦士９１の訓練用端末１の操縦機能が有効となっている。

【0091】

まず、ステップＳａ１において、処理部１４は、初期設定を行う。詳しくは、操縦士９１は、訓練用端末１の入力部１１又はＶＲ表示装置２の入力部２１を介して設定用端末６との接続要求を入力する。シミュレーション進行部１４６は、設定用端末６に接続要求を送信する。それに対して、シミュレーション進行部１４６は、設定用端末６から接続完了応答を受信することによって、設定用端末６との通信が確立される。このとき、シミュレーション進行部１４６は、設定用端末６から初期設定の設定情報も受信する。設定部１４２は、受信された設定情報をシミュレーションの初期設定として設定する。

【0092】

続いて、シミュレーション進行部１４６は、ステップＳａ２において、他端末との通信を確立する。具体的には、訓練者９は、他端末との接続を要求する入力を、訓練用端末１の入力部１１又はＶＲ表示装置２の入力部２１を介して行う。それに応じて、シミュレーション進行部１４６は、他の訓練用端末１及び機体演算端末５に接続要求を送信する。その後、シミュレーション進行部１４６は、他の訓練用端末１及び機体演算端末５から接続完了応答を受信することによって、他の訓練用端末１及び機体演算端末５との通信が確立される。シミュレーション進行部１４６は、全ての他の訓練用端末１及び機体演算端末５との通信を確立する。

【0093】

他の訓練用端末１との通信が確立されると、ステップＳａ３において、シミュレーション進行部１４６は、他の訓練用端末１へ自アバタの初期位置情報（即ち、位置座標（ｘ，ｙ，ｚ）及び回転角（Φ，θ，ψ））を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの初期位置情報（即ち、位置座標（ｘ，ｙ，ｚ）及び回転角（Φ，θ，ψ））を受信する。また、アバタが機体８０内に存在する場合には、初期位置情報は、ＶＲ空間の絶対座標系ではなく、機体８０に固定された原点を有する機体８０におけるローカル座標系を基準とした位置情報である。つまり、初期位置は、ＶＲ空間において、機体８０に対する相対位置で表される。

【0094】

他アバタの初期位置情報を受信すると、ステップＳａ４において、シミュレーション進行部１４６は、他アバタを表示させる。詳しくは、シミュレーション進行部１４６は、初期設定に基づいてフィールド定義データ１３２、アバタ定義データ１３３及びオブジェクト定義データ１３４を記憶部１３から読み出し、フィールド画像にオブジェクト画像及び他アバタ画像が合成されたＶＲ空間におけるシミュレーション画像を生成する。このとき、シミュレーション進行部１４６は、ステップＳａ３で受信した初期位置情報に基づいて他アバタを配置する。シミュレーション進行部１４６は、ＶＲ空間において機体８０内にアバタを生成する場合には、機体８０のローカル座標系を基準にアバタを生成する。なお、機体８０は、ＶＲ空間の絶対座標系を基準に生成される。シミュレーション進行部１４６は、生成したシミュレーション画像をＶＲ表示装置２に出力、即ち、提供する。それに応じて、ＶＲ表示装置２は、シミュレーション画像を表示する。

【0095】

このステップＳａ２～Ｓａ４によれば、シミュレーション進行部１４６は、他の訓練用端末１との通信を確立した場合に、他の訓練用端末１から他アバタの位置情報を取得し、取得された位置情報に基づいて他アバタをＶＲ空間に生成する。これらステップＳａ１～Ｓａ４は、訓練の初期設定に関する処理である。

【0096】

初期設定に関する処理が完了すると訓練が開始され、ステップＳａ５以降の処理が実行される。シミュレーション進行部１４６は、ステップＳａ５において、機体８０の位置情報を他の訓練用端末１へ送信する。また、シミュレーション進行部１４６は、ステップＳａ６において、他の訓練用端末１へ自アバタの位置情報を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの位置情報を受信する。シミュレーション進行部１４６は、ステップＳａ７において、他アバタの位置及び姿勢を更新する。

【0097】

シミュレーション進行部１４６は、他アバタの位置及び姿勢を更新するに際し、他の訓練用端末１から他アバタの位置情報を取得するので、処理部１４の演算負荷を低減することができる。詳しくは、トラッキングシステム４は複数の訓練者９のＶＲ表示装置２及びコントローラ３Ｂをトラッキングしているため、トラッキング制御部１４４は、トラッキングシステム４からの画像データに基づいて他アバタの位置及び姿勢を演算することもできる。しかし、他アバタの位置及び姿勢は、他アバタに対応する他の訓練用端末１によって演算される。シミュレーション進行部１４６は、他の訓練用端末１によって演算された、他アバタの位置情報を取得し、その位置情報に基づいて他アバタの位置及び姿勢を更新する。このように、処理部１４は、トラッキングシステム４の検出結果（即ち、画像データ）に基づいて他アバタの位置及び姿勢を演算する必要がないので、演算負荷を低減することができる。

【0098】

続いて、シミュレーション進行部１４６は、ステップＳａ８において、シミュレーションを実行中か、即ち、シミュレーションが継続されているか否かを判定する。シミュレーションが終了されている場合には、処理部１４は処理を終了する。一方、シミュレーションが継続されている場合には、シミュレーション進行部１４６は、ステップＳａ９において、所定時間が経過したか否かを判定する。所定時間は、機体８０及び他アバタの位置及び姿勢を更新する周期に相当し、予め設定されている。この所定時間、即ち、更新周期は、複数の訓練用端末１で共通である。所定時間が経過していない場合には、シミュレーション進行部１４６は、ステップＳａ８，Ｓａ９を繰り返す。その間、シミュレーション進行部１４６は、シミュレーションの進行に関する各種演算処理を実行する。例えば、シミュレーション進行部１４６は、操縦装置３Ａを介した操作入力に応じて機体演算端末５によって更新される機体の移動量情報を取得し、移動量情報に基づいてＶＲ空間における機体８０の位置及び姿勢を更新する。また、シミュレーション進行部１４６は、トラッキング制御部１４４からの位置情報に基づいて、自アバタの位置及び姿勢を更新する。

【0099】

所定時間が経過した場合には、シミュレーション進行部１４６は、ステップＳａ５の処理に戻る。このときには、前回のステップＳａ５のときから機体８０の位置が更新されている可能性がある。つまり、シミュレーション進行部１４６は、機体８０の最新の位置情報を他の訓練用端末１へ送信する。同様に、シミュレーション進行部１４６は、ステップＳａ６において、他の訓練用端末１へ自アバタの最新の位置情報を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの最新の位置情報を受信する。シミュレーション進行部１４６は、ステップＳａ７において、他アバタの位置及び姿勢を更新する。その後、シミュレーション進行部１４６は、ステップＳａ８，Ｓａ９の処理を行う。

【0100】

このように、シミュレーション進行部１４６は、ステップＳａ５～Ｓａ９の処理を繰り返すことによって、他の訓練用端末１から他アバタの位置情報を周期的に取得し、他アバタのＶＲ空間における位置及び姿勢を更新する。このとき、シミュレーション進行部１４６は、機体８０及び自アバタの位置及び姿勢も随時更新し、機体８０及び自アバタの最新の位置情報を他の訓練用端末１へ周期的に送信する。つまり、機体８０及び自アバタの位置及び姿勢を更新しつつ、機体８０及び自アバタの最新の位置情報を他の訓練用端末１へ周期的に送信すると共に、他アバタの最新の位置情報を受信して他アバタの位置及び姿勢を周期的に更新する。

【0101】

図８は、ホイストマン９３及び降下員９４の訓練用端末１の訓練処理のフローチャートである。以下の訓練処理は、ホイストマン９３及び降下員９４の訓練用端末１のそれぞれにおいて独立して実施される。なお、操縦士９１及び副操縦士９２の訓練用端末１のうち操縦機能が有効になっていない訓練用端末１（この例では、副操縦士９２の訓練用端末１）は、ホイストマン９３及び降下員９４の訓練用端末１と同様の処理を行う。図９～１１は、ホイストマン９３の訓練用端末１が生成するＶＲ空間の一例である。図９～１１は、説明の便宜上、ＶＲ空間を三人称視点で表すものであり、ＶＲ表示装置２に表示される一人称視点の画像とは異なる。

【0102】

まず、ステップＳｂ１において、処理部１４は、初期設定を行う。詳しくは、訓練者９（ホイストマン９３又は降下員９４）は、訓練用端末１の入力部１１又はＶＲ表示装置２の入力部２１を介して設定用端末６との接続要求を入力する。シミュレーション進行部１４６は、設定用端末６に接続要求を送信する。それに対して、シミュレーション進行部１４６は、設定用端末６から接続完了応答を受信することによって、設定用端末６との通信が確立される。このとき、シミュレーション進行部１４６は、設定用端末６から初期設定の設定情報も受信する。設定部１４２は、受信された設定情報をシミュレーションの初期設定として設定する。

【0103】

次に、シミュレーション進行部１４６は、ステップＳｂ２において、自アバタを表示させる。詳しくは、シミュレーション進行部１４６は、初期設定に基づいてフィールド定義データ１３２、アバタ定義データ１３３及びオブジェクト定義データ１３４を記憶部１３から読み出し、フィールド画像にオブジェクト画像及び自アバタ画像が合成されたＶＲ空間におけるシミュレーション画像を生成する。シミュレーション進行部１４６は、生成したシミュレーション画像をＶＲ表示装置２に出力、即ち、提供する。それに応じて、ＶＲ表示装置２は、シミュレーション画像を表示する。このとき、自アバタが機体８０内に存在する場合には、自アバタのアバタ定義データ１３３に含まれる初期位置情報は、ＶＲ空間における絶対座標系ではなく、機体８０に固定された原点を有する機体８０におけるローカル座標系を基準とした位置情報である。つまり、初期位置は、ＶＲ空間において、機体８０に対する相対位置で表される。

【0104】

なお、操縦士９１及び副操縦士９２のアバタは、ＶＲ空間においては頭部のみが動作し、頭部以外の身体は固定なので、操縦士９１及び副操縦士９２の訓練用端末１のうち操縦機能が有効となっていない訓練用端末１は、シミュレーション画像において自アバタ画像を生成しない。すなわち、当該訓練用端末１は、表示させるシミュレーション画像のフレームの位置又は角度を変化させるため、及び、自アバタの位置情報（具体的には、頭部の位置情報）を他の訓練用端末１に送信するために、ＶＲ空間に自アバタを生成するものの、自アバタをシミュレーション画像としては生成しない。ただし、当該訓練用端末１は、自アバタの腕又は脚等の画像を固定されたオブジェクトとして生成してもよい。

【0105】

図９は、ステップＳｂ２において自アバタが表示されたときのホイストマン９３の訓練用端末１が生成するＶＲ空間の一例である。図９では、ＶＲ空間７に山岳オブジェクト７１と共にヘリコプタ８が生成されている。ステップＳｂ２においては、ヘリコプタ８の機体８０内にホイストマン９３の自アバタ９３Ａが生成されている。

【0106】

続いて、シミュレーション進行部１４６は、ステップＳｂ３において、他端末との通信を確立する。具体的には、訓練者９は、他端末との接続を要求する入力を、訓練用端末１の入力部１１又はＶＲ表示装置２の入力部２１を介して行う。それに応じて、シミュレーション進行部１４６は、他の訓練用端末１に接続要求を送信する。その後、シミュレーション進行部１４６は、他の訓練用端末１から接続完了応答を受信することによって、他の訓練用端末１との通信が確立される。シミュレーション進行部１４６は、全ての他の訓練用端末１との通信を確立する。

【0107】

他の訓練用端末１との通信が確立されると、ステップＳｂ４において、シミュレーション進行部１４６は、他の訓練用端末１へ自アバタの初期位置情報を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの初期位置情報を受信する。

【0108】

他アバタの初期位置情報を受信すると、ステップＳｂ５において、シミュレーション進行部１４６は、他アバタを表示させる。詳しくは、シミュレーション進行部１４６は、他アバタに対応するアバタ定義データ１３３を記憶部１３から読み出し、ステップＳｂ２で生成したＶＲ空間に他アバタを合成する。このとき、シミュレーション進行部１４６は、ステップＳｂ４で受信した初期位置情報に基づいて他アバタを配置する。シミュレーション進行部１４６は、ＶＲ空間において機体８０内にアバタを生成する場合には、機体８０のローカル座標系を基準にアバタを生成する。なお、機体８０は、ＶＲ空間の絶対座標系を基準に生成される。シミュレーション進行部１４６は、生成したシミュレーション画像をＶＲ表示装置２に出力、即ち、提供する。それに応じて、ＶＲ表示装置２は、シミュレーション画像を表示する。

【0109】

このステップＳｂ３～Ｓｂ５によれば、シミュレーション進行部１４６は、他の訓練用端末１との通信を確立した場合に、他の訓練用端末１から他アバタの位置情報を取得し、取得された位置情報に基づいて他アバタをＶＲ空間に生成する。

【0110】

図１０は、ステップＳｂ５において他アバタが表示されたときのホイストマン９３の訓練用端末１が生成するＶＲ空間の一例である。図１０では、ＶＲ空間７に山岳オブジェクト７１と共にヘリコプタ８が生成されている。ステップＳｂ５においては、ヘリコプタ８の機体８０内に自アバタである、ホイストマン９３のアバタ９３Ａに加えて、他アバタとしての、操縦士９１のアバタ９１Ａ、副操縦士９２のアバタ９２Ａ及び降下員９４のアバタ９４Ａが生成されている。これらステップＳｂ１～Ｓｂ５は、訓練の初期設定に関する処理である。

【0111】

初期設定に関する処理が完了すると訓練が開始され、ステップＳｂ６以降の処理が実行される。シミュレーション進行部１４６は、ステップＳｂ６において、機体８０の位置情報を機体端末５０（詳しくは、操縦士９１の訓練用端末１）から受信する。また、シミュレーション進行部１４６は、ステップＳｂ７において、他の訓練用端末１へ自アバタの位置情報を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの位置情報を受信する。前述の操縦士９１の訓練用端末１の処理で説明したように、機体８０の位置情報及び操縦士９１のアバタの位置情報が周期的に送信されている。また、他の訓練用端末１もステップＳｂ７を周期的に繰り返すので、他の訓練用端末１から他アバタの位置情報が周期的に送信されてくる。

【0112】

シミュレーション進行部１４６は、ステップＳｂ８において、自アバタ、他アバタ及び機体８０の位置及び姿勢を更新する。このとき、自アバタ及び他アバタが機体８０内に存在する場合には、自アバタ及び他アバタの位置情報は、機体８０のローカル座標系を基準とする位置情報である。シミュレーション進行部１４６は、機体８０の位置情報に基づいて機体８０の位置及び姿勢を更新し、更新後の機体８０に対して自アバタ及び他アバタの位置及び姿勢を更新する。

【0113】

シミュレーション進行部１４６は、自アバタ、他アバタ及び機体８０の位置及び姿勢を更新するに際し、他の訓練用端末１から他アバタ及び機体８０の位置情報を取得するので、前述の如く、処理部１４の演算負荷を低減することができる。

【0114】

続いて、シミュレーション進行部１４６は、ステップＳｂ９において、シミュレーションを実行中か、即ち、シミュレーションが継続されているか否かを判定する。シミュレーションが終了されている場合には、処理部１４は処理を終了する。一方、シミュレーションが継続されている場合には、シミュレーション進行部１４６は、ステップＳｂ１０において、所定時間が経過したか否かを判定する。所定時間は、自アバタ、他アバタ及び機体８０の位置及び姿勢を更新する周期に相当し、予め設定されている。この所定時間、即ち、更新周期は、複数の訓練用端末１で共通である。なお、所定時間は、複数の訓練用端末１で異なっていてもよい。所定時間が経過していない場合には、シミュレーション進行部１４６は、ステップＳｂ９，Ｓｂ１０を繰り返す。その間、シミュレーション進行部１４６は、シミュレーションの進行に関する各種演算処理を実行する。例えば、シミュレーション進行部１４６は、トラッキング制御部１４４からの位置情報に基づいて、自アバタの位置及び姿勢を演算する。なお、この例では、自アバタ、他アバタ及び機体８０の位置及び姿勢の更新は同じ周期で行われているが、自アバタ、他アバタ及び機体８０のそれぞれの更新周期が異なっていてもよい。

【0115】

所定時間が経過した場合には、シミュレーション進行部１４６は、ステップＳｂ６の処理に戻る。このときには、前回のステップＳｂ６のときから機体８０の位置が更新されている可能性がある。つまり、シミュレーション進行部１４６は、機体８０の最新の位置情報を操縦士９１の訓練用端末１から受信する。同様に、シミュレーション進行部１４６は、ステップＳｂ７において、他の訓練用端末１へ自アバタの最新の位置情報を送信する。それと共に、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの最新の位置情報を受信する。シミュレーション進行部１４６は、ステップＳｂ８において、他アバタの位置及び姿勢を更新する。それに加えて、自アバタが機体８０内に配置され且つ機体８０の位置及び姿勢が更新されている場合には、シミュレーション進行部１４６は、更新された機体８０の位置及び姿勢に応じて自アバタの位置及び姿勢を更新する。その後、シミュレーション進行部１４６は、ステップＳｂ９，Ｓｂ１０の処理を行う。

【0116】

このように、シミュレーション進行部１４６は、ステップＳｂ６～Ｓｂ１０の処理を繰り返すことによって、他の訓練用端末１から他アバタの位置情報を周期的に取得し、他アバタのＶＲ空間における位置及び姿勢を更新する。また、シミュレーション進行部１４６は、機体端末５０から機体８０の位置情報を周期的に取得し、機体８０のＶＲ空間における位置及び姿勢を更新する。さらに、シミュレーション進行部１４６は、自アバタの位置も随時更新し、自アバタの最新の位置情報を他の訓練用端末１へ周期的に送信する。つまり、自アバタの位置及び姿勢を更新しつつ、自アバタの最新の位置情報を他の訓練用端末１へ周期的に送信すると共に、他アバタ及び機体８０の最新の位置情報を受信して機体８０、自アバタ及び他アバタの位置及び姿勢を周期的に更新する。

【0117】

図１１は、自アバタ、他アバタ及び機体８０の位置及び姿勢が更新されたときのホイストマン９３の訓練用端末１が生成するＶＲ空間の一例である。図１１では、図１０に比べて機体８０が移動しており、ＶＲ空間７においてヘリコプタ８と山岳オブジェクト７１との位置関係が変化している。それに伴い、アバタ９１Ａ～９４ＡもＶＲ空間７において移動している。さらに、アバタ９３Ａ，９４Ａは、機体８０内においても移動している。

【0118】

このような訓練処理によれば、シミュレーション進行部１４６は、他の訓練用端末１から他アバタの位置情報を取得するので、トラッキング制御部１４４は、他アバタの位置情報を演算する必要がない。そのため、処理部１４は、少ない演算で他アバタの位置及び姿勢を更新することができる。さらに、シミュレーション進行部１４６は、機体８０の位置情報を機体端末５０から取得すると共に、機体８０内のアバタの位置情報が機体のローカル座標系を基準としているので、機体８０の移動に起因するアバタのＶＲ空間における移動量を演算する必要がない。シミュレーション進行部１４６は、機体８０の位置情報に基づいてＶＲ空間の絶対座標系における機体８０の位置及び姿勢を更新し、更新された機体８０の位置を基準にアバタの相対的な位置及び姿勢を更新する。これにより、処理部１４は、少ない演算でアバタの位置及び姿勢を更新することができる。

【0119】

続いて、ＶＲ訓練システム１００における模擬訓練の一例について説明する。この模擬訓練は、４人の訓練者９（操縦士９１、副操縦士９２、ホイストマン９３及び降下員９４）による連携訓練であり、要救助者が存在する地点までヘリコプタを飛行させ、要救助者を救出する訓練である。操縦士９１の訓練用端末１の操縦機能が有効となっている。図１２は、模擬訓練における各種訓練の流れを示すフローチャートである。この模擬訓練は、前述の初期設定に関する処理の完了後に開始される。操縦装置３Ａ及びコントローラ３Ｂの各種操作には、訓練の状況に応じて、各種処理が割り当てられている。訓練用端末１は、シミュレーション画像中の状況に応じて、操縦装置３Ａ及びコントローラ３Ｂの操作に対応する処理を実行する。

【0120】

模擬訓練では、まず、ステップＳｃ１において飛行訓練が行われる。この飛行訓練は、ヘリコプタを出発地から要救助者が存在する地点（即ち、救助地点）まで飛行させる訓練である。操縦士９１は、操縦装置３Ａを操作することによって、シミュレーション画像内でヘリコプタを飛行させる。操縦士９１の訓練用端末１は、機体演算端末５の演算結果に基づいて、ＶＲ空間における機体８０の位置及び姿勢を変化させる。

【0121】

他の訓練用端末１は、操縦士９１の訓練用端末１によって演算された機体８０の位置及び姿勢を取得し、機体８０の位置及び姿勢を更新したシミュレーション画像を生成する。副操縦士９２等は、シミュレーション画像を観ながら、飛行中の安全確認を行う。例えば、図１３は、飛行訓練中のホイストマン９３のシミュレーション画像の一例である。このシミュレーション画像は、ホイストマン９３が機体８０内で操縦席側を向いている場合の画像である。このシミュレーション画像では、操縦席及び副操縦席に座っている操縦士９１のアバタ９１Ａ及び副操縦士９２のアバタ９２Ａが表示されている。

【0122】

ヘリコプタが救助地点に到着すると、飛行訓練が完了する。

【0123】

続いて、ステップＳｃ２のホバリング訓練が行われる。ホバリング訓練は、ヘリコプタを空中における所定位置に停止させ続ける訓練である。このホバリング訓練では、操縦士９１による操縦動作及び副操縦士９２等による安全確認動作が行われる。

【0124】

ホバリング飛行が安定して行われると、ホバリング訓練が完了する。

【0125】

次に、ステップＳｃ３の降下訓練が行われる。図１４は、降下訓練中のホイストマン９３又は降下員９４のシミュレーション画像の一例である。図１５は、降下訓練中の降下員９４のシミュレーション画像の一例である。図１６は、降下訓練中のＶＲ空間内の配置状況の一例を示す図である。図１７は、降下訓練中の副操縦士９２のシミュレーション画像の一例である。図１８は、降下訓練中のホイストマン９３のシミュレーション画像の一例である。

【0126】

降下訓練は、ホイストマン９３が巻き上げ機８４を操作して降下員９４を機体８０から降下させる訓練である。つまり、降下員９４のアバタ９４Ａがホイストケーブル８２に連結された後、ホイストマン９３が巻き上げ機８４を操作して降下員９４のアバタ９４Ａを降下させる。

【0127】

例えば、降下訓練においては、ホイストマン９３及び降下員９４は、自アバタを機体８０のドアの近傍へ移動させる。この自アバタの移動は、ホイストマン９３又は降下員９４のコントローラ３Ｂの操作によって実現される。例えば、ホイストマン９３又は降下員９４は、操作スイッチ３５を半押しすることによって、図１４に示すように、機体８０の床８５にポインタ７０が表示される。ホイストマン９３又は降下員９４は、操作スイッチ３５を半押しした状態でコントローラ３Ｂの向きを調整することによってポインタ７０の位置を調整する。ホイストマン９３又は降下員９４は、操作スイッチ３５を全押しすることによって、ポインタ７０の位置に自アバタを移動させることができる。こうすることで、ホイストマン９３又は降下員９４が実空間で実際に移動しなくても、ＶＲ空間において自アバタを移動させることができる。なお、自アバタの移動は、ホイストマン９３又は降下員９４の実空間における実際の移動によって実現してもよい。

【0128】

ここで、床８５へのポインタ７０の表示は、実質的には、オブジェクトのうち自アバタの移動先となる部分を選択することを意味する。以下、オブジェクト又はその一部の選択は、ポインタ７０をオブジェクト又はその一部に重ねて表示させることによって実行される。

【0129】

続いて、ホイストマン９３又は降下員９４は、コントローラ３Ｂを操作して、ポインタ７０によって機体８０のドアを選択する。この状態で、ホイストマン９３又は降下員９４が操作スイッチ３５を全押しすることによって、ドアが開く。

【0130】

降下員９４は、図１５に示すように、ポインタ７０によってホイストケーブル８２の先端又はカラビナ８６の近傍を選択する。この状態で、降下員９４が操作スイッチ３５を全押しすることによって、降下員９４のアバタ９４Ａの縛帯８７（図１６参照）にカラビナ８６が連結される。降下員９４のアバタ９４Ａは、救助縛帯８３とは別の縛帯８７を予め装着している。これにより、図１６に示すように、降下員９４のアバタ９４Ａがホイストケーブル８２に連結され、降下員９４のアバタ９４Ａがホイストケーブル８２に吊り下げられた状態となる。

【0131】

このとき、副操縦士９２は、図１７に示すように、ホイストマン９３のアバタ９３Ａ及び降下員９４のアバタ９４Ａの状況を確認して、必要に応じて操縦士９１にホバリング飛行の助言を行う。

【0132】

一方、ホイストマン９３は、ポインタ７０によってペンダント型操作部を選択し、その状態で操作スイッチ３５を全押しすることによってホイストマン９３のアバタ９３Ａにペンダント型操作部を把持させる。ホイストマン９３は、図１８に示すように、ホイストマン９３のアバタ９３Ａが機体８０から身を乗り出すように実空間において移動する。これにより、ホイストマン９３は、ホイストケーブル８２に吊り下げられた、降下員９４のアバタ９４Ａを視認することができる。ホイストマン９３のアバタ９３Ａがペンダント型操作部を把持した状態で、ホイストマン９３が操作スイッチ３５を操作することによって、ホイストケーブル８２が引き出され、降下員９４のアバタ９４Ａが降下していく。

【0133】

このとき、降下員９４は、ＶＲ空間における地表までの距離に応じて、実空間において手信号を行う（即ち、コントローラ３Ｂを動かす）。これにより、降下員９４のアバタ９４Ａも同様の手信号を行い、降下員９４のアバタ９４Ａと地表との距離をホイストマン９３に知らせる。ホイストマン９３は、降下員９４のアバタ９４Ａの手信号に応じて、ホイストケーブル８２の引き出し量を調整する。

【0134】

降下員９４は、降下員９４のアバタ９４Ａが地表に接近すると、目標着地点をポインタ７０によって選択する。その状態で、降下員９４が操作スイッチ３５を全押しすることによって、降下員９４のアバタ９４Ａは、目標着地点に着陸する。このとき、降下員９４のアバタ９４Ａがホイストケーブル８２との連結を解除する動作が省略され、降下員９４のアバタ９４Ａは、ホイストケーブル８２から離脱した状態となる。これにより、降下訓練が完了する。

【0135】

続いて、ステップＳｃ４の救助訓練が行われる。図１９は、救助訓練における降下員９４のシミュレーション画像の一例である。図２０は、救助訓練における降下員９４のシミュレーション画像の一例である。

【0136】

降下員９４は、降下員９４のアバタ９４Ａを要救助者８８の場所まで移動させる。この移動は、前述の機体８０内での移動と同様に、ポインタ７０による移動先の選択及び操作スイッチ３５の全押しによって実現される。

【0137】

降下員９４のアバタ９４Ａが要救助者８８のところまで移動した状態においては、降下員９４が操作スイッチ３５を半押しし、要救助者８８が救助可能範囲内にあると、図１９に示すように、要救助者８８の輪郭が色付けて表示される。降下員９４は、コントローラ３Ｂの向きを調整して、降下員９４のアバタ９４Ａの手で要救助者８８を触る。その状態で、降下員９４が操作スイッチ３５を全押しすると、図２０に示すように、要救助者８８が救助縛帯８３に縛着された状態となる。つまり、降下員９４のアバタ９４Ａが要救助者８８を救助縛帯８３の位置まで移動させる動作、及び、降下員９４のアバタ９４Ａが救助縛帯８３を要救助者８８に縛着させる動作が省略される。

【0138】

その後、降下員９４は、降下員９４のアバタ９４Ａをホイストケーブル８２の場所まで移動させる。この移動は、前述の通りである。

【0139】

降下員９４のアバタ９４Ａがホイストケーブル８２のところまで移動した状態で、降下員９４は、ポインタ７０によってホイストケーブル８２を選択し、操作スイッチ３５を全押しすることによって、降下員９４のアバタ９４Ａがホイストケーブル８２に連結される。これにより、救助訓練が完了する。

【0140】

次に、ステップＳｃ５の引上げ訓練が行われる。図２１は、引上げ訓練における降下員９４のシミュレーション画像の一例である。

【0141】

降下員９４は、手信号を行って、ホイストマン９３に引上げ開始の合図を送る。

【0142】

ホイストマン９３は、降下員９４のアバタ９４Ａの手信号を確認して、ペンダント型操作部を操作し、降下員９４のアバタ９４Ａ及び要救助者８８の引上げを開始する。ホイストマン９３は、降下員９４のアバタ９４Ａを視認しながら、ホイストケーブル８２の引上げ量を調整する。

【0143】

降下員９４は、引上げ状況に応じて、ホイストマン９３のアバタ９３Ａに手信号を送ってもよい。例えば、ホイストケーブル８２の揺れが大きくなった場合には、降下員９４は、引上げを一旦停止する合図をホイストマン９３のアバタ９３Ａに送ってもよい。さらに、ホイストケーブル８２の揺れが収まると、降下員９４は、引上げを再開する合図をホイストマン９３のアバタ９３Ａに送ってもよい。この場合、ホイストマン９３は、降下員９４のアバタ９４Ａの手信号に応じて、引上げの一旦停止及び引上げの再開等を実行する。

【0144】

降下員９４は、図２１に示すように、降下員９４のアバタ９４Ａが機体８０の近傍まで引き上げられると、ポインタ７０で機体８０内の一部を選択し、操作スイッチ３５を全押しする。これにより、降下員９４のアバタ９４Ａが機体８０に乗り込む。その後、ホイストマン９３は、ポインタ７０で救助縛帯８３を選択し、操作スイッチ３５を全押しする。これにより、要救助者８８は、機体８０内に引き上げられる。つまり、降下員９４のアバタ９４Ａが機体８０内に乗り込む動作、及び、ホイストマン９３のアバタ９３Ａ等が要救助者８８を機体８０内に引き込む動作が省略される。これにより、引上げ訓練が完了する。

【0145】

その後、ステップＳｃ６の飛行訓練が行われる。ステップＳｃ６の飛行訓練は、ステップＳｃ１の飛行訓練と同様である。この飛行訓練は、ヘリコプタを元の出発地まで飛行させる訓練である。操縦士９１は、操縦装置３Ａを操作することによって、ヘリコプタを飛行させる。副操縦士９２等は、飛行中の安全確認を行う。ヘリコプタが元の出発地に到着すると、飛行訓練が終了すると共に、一連の模擬訓練（連携訓練）が終了する。

【0146】

なお、この模擬訓練は、一例に過ぎず、模擬訓練の内容はこれに限定されるものではない。

【0147】

以上のように、航空機のＶＲ訓練システム１００は、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、複数の訓練者９のうちの対応する訓練者９に前記シミュレーション画像を提供する複数の訓練用端末１と、実空間における複数の訓練者９の動きを検出するトラッキングシステム４とを備え、複数の訓練用端末１のそれぞれは、対応する訓練者９のアバタである自アバタのＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算し、複数の訓練用端末１のうちの他の訓練用端末１に対応する訓練者９のアバタである他アバタのＶＲ空間における位置及び姿勢に関する位置情報を他の訓練用端末１から取得し、取得された他アバタの位置情報に基づいて他アバタをＶＲ空間に生成する。

【0148】

また、航空機のＶＲ訓練方法は、複数の訓練用端末１のそれぞれによって生成される共通のＶＲ空間におけるシミュレーション画像を用いて、複数の訓練用端末１に対応する複数の訓練者９によって模擬訓練を行う、航空機のＶＲ訓練方法であって、複数の訓練用端末１のそれぞれが、実空間における複数の訓練者９の動きを検出するトラッキングシステム４の検出結果に基づいて、対応する訓練者９のアバタである自アバタのＶＲ空間における位置及び姿勢を演算する工程と、複数の訓練用端末１のそれぞれが、複数の訓練用端末９のうちの他の訓練用端末１に対応する訓練者のアバタである他アバタのＶＲ空間における位置及び姿勢に関する位置情報を他の訓練用端末１から取得し、取得された他アバタの位置情報に基づいて他アバタをＶＲ空間に生成する工程とを含む。

【0149】

さらに、シミュレーションプログラム１３１は、共通のＶＲ空間における模擬訓練を行うためのシミュレーション画像を生成して、対応する訓練者９にシミュレーション画像を提供する機能を訓練用端末１の処理部１４（コンピュータ）に実現させるための、航空機のＶＲ訓練プログラムであって、実空間における訓練者９の動きを検出するトラッキングシステム４の検出結果に基づいて、対応する訓練者９のアバタである自アバタのＶＲ空間における位置及び姿勢を演算する機能と、他の訓練用端末１に対応する訓練者９のアバタである他アバタのＶＲ空間における位置及び姿勢に関する位置情報を他の訓練用端末１から取得し、取得された他アバタの位置情報に基づいて他アバタをＶＲ空間に生成する機能とを処理部１４に実現させる。

【0150】

これらの構成によれば、訓練用端末１のそれぞれは、対応する訓練者９の自アバタの位置情報、即ち、ＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算する。一方、他の訓練用端末１に対応する訓練者９の他アバタに関しては、訓練用端末１のそれぞれは、他アバタに対応する他の訓練用端末１から他アバタの位置情報を取得する。他アバタに対応する他の訓練用端末１は、他アバタのＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算しているので、他アバタの位置情報を保持している。そのため、訓練用端末１のそれぞれは、トラッキングシステム４の検出結果に基づいて他アバタのＶＲ空間における位置及び姿勢を演算する必要がない。

【0151】

このように、トラッキングシステム４の検出結果に基づくアバタのＶＲ空間における位置及び姿勢の演算処理は、各アバタに対応する訓練用端末１に分散される。そして、その演算結果であるアバタの位置情報は、他の訓練用端末１と共有される。これにより、アバタを生成する際の各訓練用端末１の演算負荷を低減することができる。

【0152】

また、複数の訓練用端末１のそれぞれは、他の訓練用端末１との通信を確立した場合に、他の訓練用端末１から他アバタの位置情報を取得し、取得された他アバタの位置情報に基づいて他アバタをＶＲ空間に生成する。

【0153】

この構成によれば、訓練用端末１のそれぞれは、他の訓練用端末１との通信を確立することによって、他の訓練用端末１から他アバタの位置情報を取得すことができ、ＶＲ空間の適切な位置に他アバタを生成することができる。

【0154】

さらに、ＶＲ訓練システム１００は、複数の訓練者のうち航空機を操縦する訓練者が操作する操縦装置３Ａと、操縦装置３Ａを介した操作入力に基づいて、航空機の機体８０のＶＲ空間における位置及び姿勢を演算する機体端末５０をさらに備え、複数の訓練用端末１は、機体端末５０から機体８０のＶＲ空間における位置及び姿勢に関する位置情報を取得し、取得された機体８０の位置情報に基づいて機体８０をＶＲ空間に生成する。

【0155】

この構成によれば、ＶＲ空間には航空機の機体８０が生成され、操縦装置３Ａからの操作入力に応じて機体８０が飛行する。このとき、複数の訓練用端末１のそれぞれが機体８０のＶＲ空間における位置及び姿勢を演算するのではなく、機体端末５０が機体８０のＶＲ空間における位置及び姿勢を演算する。複数の訓練用端末１は、機体端末５０から機体８０の位置情報を取得し、取得された位置情報に基づいて機体８０をＶＲ空間に生成する。これにより、複数の訓練用端末１で重複した演算を行う必要がないので、端末全体での演算負荷を低減することができる。

【0156】

具体的には、機体端末５０は、操縦装置３Ａを介した操作入力に基づいて機体の移動量及び姿勢の変化量を演算する機体演算端末５と、複数の訓練用端末１のうちの一の訓練用端末１であって機体演算端末５からの機体の移動量及び姿勢の変化量に関する移動量情報に基づいて機体８０のＶＲ空間における位置及び姿勢を演算する訓練用端末１とによって形成されている。

【0157】

この構成によれば、一の訓練用端末１は、機体端末５０の一部の機能を担う。つまり、機体演算端末５と一の訓練用端末１とが協働して、操縦装置３Ａの操作入力に基づいて機体８０のＶＲ空間における位置及び姿勢を演算する。このように、機体端末５０を複数の端末で形成することによって、各端末の演算負荷を低減することができる。

【0158】

また、機体端末５０は、操縦装置３Ａを介した操作入力に応じて機体８０の位置情報を更新し、複数の訓練用端末１は、機体端末５０から機体８０の位置情報を周期的に取得し、ＶＲ空間における機体８０の位置及び姿勢を更新する。

【0159】

この構成によれば、操縦装置３Ａからの操作入力に応じて、ＶＲ空間における機体８０の位置及び姿勢が随時更新される。

【0160】

さらに、複数の訓練用端末１は、ＶＲ空間において機体８０内にアバタを生成する場合には、機体端末５０から取得された機体８０の位置情報に基づいて、機体８０に固定された原点を有するローカル座標系を基準にアバタを生成する。

【0161】

この構成によれば、訓練用端末１は、ＶＲ空間におけるアバタの位置及び姿勢を演算する際に、機体８０の位置及び姿勢の変化による影響を考慮しなくてもよい。訓練用端末は、機体端末５０から機体８０の位置情報を取得できるので、機体８０のローカル座標系を基準にアバタを生成することによって、ＶＲ空間においてアバタを機体８０内に適切に配置することができる。

【0162】

また、複数の訓練用端末１のそれぞれは、他の訓練用端末１から他アバタの位置情報を周期的に取得し、他アバタのＶＲ空間における位置及び姿勢を更新する。

【0163】

この構成によれば、訓練用端末１のそれぞれは、ＶＲ空間における他アバタの位置及び姿勢を更新する際にも、他の訓練用端末１から他アバタの位置情報を取得するので、他アバタのＶＲ空間における位置及び姿勢をトラッキングシステム４の検出結果に基づいて演算する必要がない。

【0164】

《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0165】

例えば、ＶＲ訓練システム１００が適用されるＶＲ訓練は、ヘリコプタにおけるＶＲ訓練に限定されない。ＶＲ訓練システム１００は、ヘリコプタ以外の航空機のＶＲ訓練にも適用できる。

【0166】

操縦士９１の訓練用端末１及び副操縦士９２の訓練用端末１の演算能力に余裕がある場合などにおいては、機体演算端末５を省略し、操縦士９１の訓練用端末１及び副操縦士９２の訓練用端末１のそれぞれがＶＲ空間における機体８０の移動量及び姿勢の変化量を演算してもよい。その場合には、操縦士９１の訓練用端末１及び副操縦士９２の訓練用端末１のそれぞれに対応する操縦装置３Ａが接続される。この場合、複数の訓練用端末のうちの一の訓練用端末１（具体的には、操縦士９１及び副操縦士９２の訓練用端末１のうち操縦機能が有効となっている方の訓練用端末１）が、操縦装置３Ａを介した操作入力に基づいて、航空機の機体８０のＶＲ空間における位置及び姿勢を演算する機体端末として機能する。

【0167】

あるいは、機体演算端末５は、操縦装置３Ａを介した操作入力に基づいて機体の移動量及び姿勢の変化量を演算するだけでなく、移動量情報に基づいて機体８０のＶＲ空間における位置及び姿勢を演算してもよい。この場合、機体演算端末５は、操縦装置３Ａを介した操作入力に基づいて、航空機の機体８０のＶＲ空間における位置及び姿勢を演算する機体端末として機能する、訓練用端末１とは別の端末である。

【0168】

あるいは、訓練用端末１のそれぞれが機体演算端末５から移動量情報を取得し、移動量情報に基づいて機体８０のＶＲ空間における位置及び姿勢を演算してもよい。

【0169】

操縦士９１及び副操縦士９２の訓練用端末１は、演算負荷軽減のために、頭部のみが動作するようにアバタを生成するが、これに限定されるものではない。操縦士９１及び副操縦士９２の訓練用端末１は、ホイストマン９３及び降下員９４の訓練用端末１と同様に、訓練者９の全身の動作を反映するようにアバタを生成してもよい。

【0170】

設定用端末６は、訓練用端末１と別の端末でなくてもよい。訓練用端末１が設定用端末６としても機能してもよい。つまり、複数の訓練用端末１の何れか１つの訓練用端末１を設定用端末６として機能させることができる。例えば、教官が副操縦士９２の役割をして訓練に参加してもよい。その場合には、副操縦士９２の訓練用端末１が設定用端末６と同様の機能を実現する。教官は、副操縦士９２の訓練用端末１に初期設定の設定情報を入力し、副操縦士９２の訓練用端末１から他の訓練用端末１へ設定情報が送信される。教官は、副操縦士９２として訓練に参加しつつ、他の訓練者９の訓練の様子を監視する。

【0171】

また、設定用端末６は、訓練を監視する機能を有していなくてもよい。

【0172】

訓練者９は、操縦士９１、副操縦士９２、ホイストマン９３及び降下員９４に限定されない。訓練者９は、これらの中の３人又は２人であってもよい。あるいは、訓練者９は、これらの４人以外の者であってもよい。つまり、ＶＲ訓練システム１００を使って連携訓練を行うことができる者であれば、任意の者が訓練者９となることができる。例えば、訓練者９に地上員（地表からヘリコプタを誘導する者）、管制官又は要救助者が含まれていてもよい。

【0173】

初期設定の設定情報として、訓練者９のＶＲ空間における初期位置が設定されてもよい。例えば、訓練者９が地上員である場合には、ＶＲ空間における訓練者９の地表の位置が設定され得る。

【0174】

図７，８のフローチャートは、実施できる範囲で、ステップを省略したり、ステップの順番を変更したり、複数のステップを並行して処理したり、別のステップを追加したりすることができる。

【0175】

図７のフローチャートでは、ステップＳａ２において、訓練用端末１は他の訓練用端末１との通信を確立しているが、他の訓練用端末１と通信を確立するタイミングは、これに限定されない。例えば、ステップＳａ１において、初期設定を行う際に、他の訓練用端末１と通信を確立してもよい。同様に、図８のフローチャートでは、ステップＳｂ３において、訓練用端末１は他の訓練用端末１との通信を確立しているが、他の訓練用端末１と通信を確立するタイミングは、これに限定されない。例えば、ステップＳｂ１において、初期設定を行う際に、他の訓練用端末１と通信を確立してもよい。

【0176】

また、訓練用端末１は、ステップＳｂ２において、自アバタを表示させているが、自アバタを表示するタイミングはこれに限定されない。例えば、訓練用端末１は、ステップＳｂ５において他アバタを表示させるタイミングで自アバタも表示させてもよい。

【0177】

ＶＲ表示装置２が表示する画像は、一人称視点のシミュレーション画像に限定されない。例えば、ＶＲ表示装置２は、三人称視点のシミュレーション画像を表示してもよい。

【0178】

トラッキングシステム４は、訓練者９の動きを追跡できる限りは、任意の方式を採用することができる。例えば、トラッキングシステム４は、インサイドアウト方式であってもよい。

【0179】

操作装置である操縦装置３Ａ及びコントローラ３Ｂは、訓練者及び訓練内容に応じて適宜変更することができる。

【0180】

また、操縦装置３Ａ及びコントローラ３Ｂによって可能な操作の内容も訓練者及び訓練内容に応じて適宜変更することができる。例えば、ＶＲ表示装置２に表示されているアイコン等を操縦装置３Ａ又はコントローラ３Ｂを介して操作することによって、操縦装置３Ａ又はコントローラ３Ｂを入力部１１と同様に機能させてもよい。

【0181】

本実施の形態で開示された構成の機能は、電気回路又は処理回路を用いて実行されてもよい。電気回路又は処理回路は、開示された機能を実行するように構成若しくはプログラムされた、メインプロセッサ、専用プロセッサ、集積回路、ＡＳＩＣｓ、従来型の電気回路、コントローラ又はこれらを組み合わせたものであってもよい。プロセッサ又はコントローラは、トランジスタ及びその他の回路を含む処理回路等である。本開示において、回路、ユニット、コントローラ又は手段は、記載した機能を実行するためのハードウェア又はプログラムされたものである。ここで、ハードウェアは、本実施の形態で開示された機能を実行するように構成若しくはプログラムされた、本実施の形態で開示されたもの又は公知のハードウェアである。ハードウェアが、プロセッサ又はコントローラの場合、回路、手段又はユニットは、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び／又はプロセッサを構成するために用いられる。

【符号の説明】

【0182】

１００ ＶＲ訓練システム
１ 訓練用端末
１３１ シミュレーションプログラム（ＶＲ訓練プログラム）
４ トラッキングシステム
５ 機体演算端末
５０ 機体端末
３Ａ 操縦装置（操作装置）
３Ｂ コントローラ（操作装置）
８０ 機体
９１ 操縦士（訓練者）
９２ 副操縦士（訓練者）
９３ ホイストマン（訓練者）
９４ 降下員（訓練者）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】