(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-14
(45)【発行日】2022-10-24
(54)【発明の名称】没入型シミュレータのためのシステム及び方法
(51)【国際特許分類】
G09B 9/00 20060101AFI20221017BHJP
【ＦＩ】
G09B9/00 Z
【請求項の数】
11
【外国語出願】
(21)【出願番号】P 2018057374
(22)【出願日】2018-03-26
(65)【公開番号】P2018205696
(43)【公開日】2018-12-27
【審査請求日】2021-03-24
(31)【優先権主張番号】15/472,645
(32)【優先日】2017-03-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】500520743
【氏名又は名称】ザ・ボーイング・カンパニー
【氏名又は名称原語表記】Ｔｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】レヒナー， ロバート ジェームズ
(72)【発明者】
【氏名】ビドル， エリザベス マリー
【審査官】安田 明央
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２９３０４０（ＵＳ，Ａ１）
【文献】特開２００４－０６１５３２（ＪＰ，Ａ）
【文献】特開平１０－３３３５４３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ ９／００－９／５６
Ｇ０９Ｂ １９／００－１９／２６
(57)【特許請求の範囲】
【請求項1】
航空機シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成すること（３０４）であって、前記仮想乗務員は、航空機の乗務員の業務上の動作、並びに行動的及び生理的応答をシミュレートする、生成すること（３０４）、前記航空機シミュレータの動作中の、シミュレートされている前記航空機の状態を表すデータ及び操作者の一又は複数の応答を収集すること（３０８）であって、前記一又は複数の応答は、前記操作者に関連するバイオフィードバックデータを含む、収集すること（３０８）、
前記航空機の前記状態を表す前記データ及び前記一又は複数の応答のうち少なくとも１つに応じて、前記仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成すること（３０６）、
シミュレートされている前記航空機の新たな状態を表す追加のデータ及び前記操作者の一又は複数の追加の応答を収集すること（３０８）であって、前記一又は複数の追加の応答は、前記仮想乗務員の前記一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、前記操作者の追加のバイオフィードバックデータを含む、収集すること（３０８）、及び
前記一又は複数の応答及び前記一又は複数の追加の応答を、前記航空機シミュレータの前記操作者の操作のログとして記憶すること（３１０）
を含み、
前記バイオフィードバックデータ及び前記追加のバイオフィードバックデータは、収集した前記操作者の顔面のジェスチャー、取得した前記操作者の発言、及び取得した前記操作者の行動的及び生理的応答のうち１つ以上を含む、方法（３００）。
【請求項2】
前記航空機シミュレータの前記操作者の操作の前記ログに少なくとも部分的に基づいて、前記仮想乗務員の前記一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を更新すること（３１６）をさらに含む、請求項１に記載の方法（３００）。
【請求項3】
前記航空機シミュレータを監督する人又はコンピュータを含む指示者からの入力を受信すること（３１４）をさらに含み、前記仮想乗務員の前記一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答は、前記指示者からの前記入力に少なくとも部分的に基づく、請求項１又は２に記載の方法。
【請求項4】
前記航空機シミュレータの前記操作者の操作の前記ログに少なくとも部分的に基づいて、訓練サマリを生成すること（３１８）をさらに含む、請求項１～３のいずれか一項に記載の方法（３００）。
【請求項5】
前記一又は複数の応答及び前記一又は複数の追加の応答を前記航空機シミュレータの動作基準と比較すること（４０６）、前記比較に少なくとも部分的に基づいて、前記航空機シミュレータの前記操作者の操作のパフォーマンス格付けを決定すること（４０８）、及び
前記訓練サマリの一部として前記パフォーマンス格付けを提供すること（４１４）
をさらに含む、請求項４に記載の方法（３００、４００）。
【請求項6】
前記パフォーマンス格付けは、人又はコンピュータを含む指示者からの入力に少なくとも部分的に基づく、請求項５に記載の方法。
【請求項7】
一又は複数の制御装置及び表示装置（１０６）と、一又は複数のバイオフィードバックセンサー（１１０）と、
クラフト又はビークルの乗客又は乗務員をシミュレートするように構成された乗務員シミュレータ（１０８）と
を備える、クラフト又はビークルの動作をシミュレートするように構成されたシミュレータ（１０２）、及び
前記シミュレータ（１０２）に連結され、一又は複数のメモリデバイス（５０４）に記憶された指示を実行して、請求項１～６の何れか一項を含む方法（３００）を実施するように構成された一又は複数のプロセッサ（５０２）
を備えるシステム（１００）。
【請求項8】
前記シミュレータ（１０２）は指示者ステーション（１１４）をさらに備え、前記方法は、前記指示者ステーション（１１４）を介して、前記シミュレータ（１０２）を監督する人又はコンピュータを含む指示者（１１２）から入力を受信すること（３１４）をさらに含み、前記仮想乗務員の前記一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答は、前記指示者（１１２）からの前記入力に少なくとも部分的に基づく、請求項７に記載のシステム（１００）。
【請求項9】
前記乗務員シミュレータ（１０８）は、アニマトロニクスロボット、仮想現実ディスプレイ、及びホログラムディスプレイのうち少なくとも１つを含む、請求項７又は８に記載のシステム（１００）。
【請求項10】
前記バイオフィードバックデータ及び前記追加のバイオフィードバックデータは、取得した前記操作者（１０４）の顔面のジェスチャー、取得した前記操作者（１０４）の発言、及び取得した前記操作者（１０４）の行動的及び生理的応答を含む、請求項７～９のいずれか一項に記載のシステム（１００）。
【請求項11】
一又は複数のプロセッサに、請求項１～６のいずれか一項に記載の前記方法（３００）を実施させるための指示を記憶する、非一時的なコンピュータ可読媒体（５１０）。【発明の詳細な説明】
【技術分野】
【0001】
現在、ビークル（乗り物）操作の学生への訓練及びビークル操作の評価を行うためにシミュレータが使用されている。例えば、航空機シミュレータは、訓練及びパフォーマンス評価のための、コックピットなどの航空機のシミュレートされた環境を提供する。しかしながら、現在のシミュレータはビークルの動作をシミュレートするに留まっている。したがって、ビークルの乗客との相互作用を含む、完全な現実世界の環境を提供するシミュレータが必要とされている。
【発明の概要】
【0002】
本開示の態様は、航空機シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成することを含む方法に関する。仮想乗務員は、航空機の乗務員の業務上の動作並びに行動的及び生理的応答をシミュレートする。方法はまた、航空機シミュレータを用いて、シミュレートされている航空機の状態を表すデータ及び操作者の一又は複数の応答を収集することを含む。一又は複数の応答は、操作者に関連するバイオフィードバックデータを含む。さらに、方法は、航空機の状態を表すデータ及び一又は複数の応答のうち少なくとも１つに応じて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成することを含む。さらに、方法は、シミュレートされている航空機の新たな状態を表す追加のデータ及び操作者の一又は複数の追加の応答を収集することを含む。一又は複数の追加の応答は、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、操作者の追加のバイオフィードバックデータを含む。方法はまた、一又は複数の応答及び一又は複数の追加の応答を、航空機シミュレータの操作者の使用のログとして記憶することを含む。
【0003】
本開示の追加の態様は、クラフト（航空機、宇宙船等）又はビークルの動作をシミュレートするように構成されたシミュレータを含むシステムに関する。シミュレータは、一又は複数の制御装置及び表示装置、一又は複数のバイオフィードバックセンサー、及び、クラフト又はビークルの乗客又は乗務員をシミュレートするように構成された乗務員シミュレータを含む。システムはまた、シミュレータに連結された一又は複数のプロセッサを含む。一又は複数のプロセッサは、一又は複数のメモリデバイスに記憶された指示を実行して、方法を実施するように構成される。方法は、乗務員シミュレータを用いて、シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成することを含む。仮想乗務員は、クラフト又はビークルの乗客又は乗務員の行動的及び生理的応答、並びに業務上の動作をシミュレートする。方法はまた、シミュレータを用いて、一又は複数の制御装置及び表示装置、並びに一又は複数のバイオフィードバックセンサーから、シミュレートされているクラフト又はビークルの状態を表すデータ及び操作者の一又は複数の応答を収集することを含む。一又は複数の応答は、操作者に関連するバイオフィードバックデータを含む。さらに、方法は、乗務員シミュレータを用いて、クラフト又はビークルの状態を表すデータ及び一又は複数の応答のうち少なくとも１つに応じて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成することを含む。方法はまた、一又は複数の制御装置及び表示装置、並びに一又は複数のバイオフィードバックセンサーから、シミュレートされているクラフト又はビークルの新たな状態を表す追加のデータ及び操作者の一又は複数の追加の応答を収集することを含む。一又は複数の追加の応答は、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、操作者の追加のバイオフィードバックデータを含む。さらに、方法は、一又は複数の応答及び一又は複数の追加の応答を、シミュレータの操作者の使用のログとして記憶することを含む。
【0004】
本開示の追加の態様は、一又は複数のプロセッサに方法を実施させるための指示を記憶する非一時的なコンピュータ可読媒体に関する。方法は、航空機シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成することを含む。仮想乗務員は、航空機の乗務員の業務上の動作、並びに行動的及び生理的応答をシミュレートする。方法はまた、航空機シミュレータを用いて、シミュレートされている航空機の状態を表すデータ及び操作者の一又は複数の応答を収集することを含む。一又は複数の応答は、操作者に関連するバイオフィードバックデータを含む。さらに、方法は、航空機の状態を表すデータ及び一又は複数の応答のうち少なくとも１つに応じて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成することを含む。さらに、方法は、シミュレートされている航空機の新たな状態を表す追加のデータ及び操作者の一又は複数の追加の応答を収集することを含む。一又は複数の追加の応答は、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、操作者の追加のバイオフィードバックデータを含む。方法はまた、一又は複数の応答及び一又は複数の追加の応答を、航空機シミュレータの操作者の使用のログとして記憶することを含む。
【図面の簡単な説明】
【0005】
【図1】本開示の様々な態様による没入型シミュレータの一実施例を示す。
【図2】本開示の様々な態様による没入型航空機シミュレータの一実施例を示す。
【図3】本開示の様々な態様による、没入型シミュレータを操作するためのプロセスの一実施例を示す。
【図4】本開示の様々な態様による、没入型シミュレータにより生成されたデータを使用するためのプロセスの一実施例を示す。
【図5】本開示の様々な態様による、コンピュータデバイスのハードウェア構成の一実施例を示す。
【発明を実施するための形態】
【0006】
簡潔化及び説明の目的で、本教示の原理を、主にその様々な実装形態の例に言及して記載する。しかしながら、当業者であれば、当該原理が全ての種類の情報及びシステムにおいて等しく適用可能且つ実装可能であること、及び、こうした変更例の全てが本教示の真の趣旨及び範囲から逸脱しないことを容易に認識するであろう。さらに、以下の詳細な説明では添付の図面を参照するが、これらの図面は様々な実装形態の具体例を示すものである。様々な実装形態の例は、本教示の趣旨及び範囲から逸脱することなく論理的及び構造的に変更することができる。したがって、以下の詳細な説明を限定的に解釈するべきではなく、本教示の範囲は添付の請求項及びその均等物により規定される。
【0007】
図１は、本開示の態様による、訓練用に乗務員の現実世界の相互作用をシミュレートし、当該相互作用を記録する没入型シミュレータシステム１００を示す。図１は没入型シミュレータシステム１００に含まれる様々なコンポーネントを示しているが、シミュレータシステムの一実施例を示すものであり、さらなるコンポーネントを追加してもよく、既存のコンポーネントを除外してもよい。
【0008】
図１に示すように、没入型シミュレータシステム１００はシミュレータ１０２を含む。シミュレータ１０２は、訓練及び操作者１０４による操作のための、ビークルのシミュレートされた没入型の環境を提供するように構成される。ビークルは、クラフト、航空機、自動車、船舶、機関車、宇宙船でありうる。例えば、シミュレータ１０２は、航空機シミュレータ、自動車シミュレータ、船舶シミュレータ、機関車シミュレータ、宇宙船シミュレータなどでありうる。以下に記載するように、シミュレータ１０２は、物理的制御装置及び表示装置、仮想制御装置及び表示装置、及びこれらの組み合わせを含み、クラフト又はビークルの動作及び環境をシミュレートしうる。
【0009】
シミュレータ１０２は制御装置及び表示装置１０６を含む。制御装置及び表示装置１０６により、シミュレータ１０２を操作するための、及びシミュレータ１０２の応答及び動作を操作者１０４に出力するためのユーザーインターフェースが実現する。いくつかの実施例では、制御装置及び表示装置１０６は物理的制御装置及び表示装置、仮想制御装置及び表示装置、及びこれらの組み合わせを含み、シミュレータ１０２によりシミュレートされるクラフト又はビークルの動作をシミュレートしうる。例えば、シミュレータ１０２が自動車シミュレータである場合、制御装置及び表示装置１０６は、ハンドル、アクセルペダル、ブレーキペダル、ギア制御装置、速度ディスプレイ、燃料レベルディスプレイ、エンジン温度ディスプレイ、オーディオ制御装置などの物理的制御装置及び表示装置を含みうる。また、例えば、シミュレータ１０２が自動車シミュレータである場合、制御装置及び表示装置１０６は、自動車が動作している仮想リアルタイム環境を表示するフロントガラスディスプレイなどの仮想制御装置及び表示装置を含みうる。
【0010】
シミュレータ１０２は乗務員シミュレータ１０８を含む。乗務員シミュレータ１０８は、シミュレータ１０２によりシミュレートされるクラフト又はビークルの乗務員、乗客、又は他の生存している乗員（例えば、人）をシミュレートするように構成されうる。乗務員シミュレータ１０８は、シミュレートされた乗務員の業務上の動作をシミュレートするように構成されうる。また、乗務員シミュレータ１０８は、シミュレートされた乗務員の物理的、行動的、生理的、及び感情的な動作及び応答をシミュレートするように構成されうる。乗務員シミュレータ１０８は、物理的デバイス又はシステム、仮想デバイス又はシステム、及びこれらの組み合わせでありうる。例えば、乗務員シミュレータ１０８は、乗務員をシミュレートする、アニマトロニクスロボットなどの物理的デバイス又はシステムでありうる。また、例えば、乗務員シミュレータ１０８は、操作者１０４が視認するための、シミュレートされた乗務員の画像を投影する仮想現実ディスプレイ、ホログラム生成器又はホログラムディスプレイなどの仮想システムでありうる。
【0011】
例えば、シミュレータが自動車シミュレータであり、操作者１０４がシミュレートされた自動車の運転手である場合、乗務員シミュレータ１０８は、自動車の乗務員又は乗客をシミュレートしうる。本実施例では、乗務員シミュレータ１０８は、シミュレートされた乗客の物理的動作及び応答、例えば、ラジオをつけること、環境制御装置を変更すること、操作者１０４と会話することなどをシミュレートしうる。また、本実施例では、乗務員シミュレータ１０８は、乗務員又は乗客の感情的動作又は応答、例えば、シミュレートされた事故に対する驚き又はショックの応答、シミュレートされた口論（ａｒｇｕｍｅｎｔ）に対する怒りなどをシミュレートしうる。このように、操作者１０４は、自動車の乗客との現実世界の相互作用を含む、自動車操作の完全な現実世界のシミュレーションを体験することができる。一実施例では、乗務員シミュレータ１０８は、乗務員の感情的動作及び応答のみをシミュレートしてもよく、代替的には、シミュレートされた乗務員の物理的動作及び応答のみをシミュレートしてもよい。
【0012】
シミュレータ１０２はバイオフィードバックセンサー１１０を含む。バイオフィードバックセンサー１１０は、操作者１０４の意識的及び潜在意識的な反応、感情、応答、音声パターンなどを表す信号を取得しうる。反応、感情、応答などは、シミュレータ１０２の動作に対するものであってよく、乗務員シミュレータ１０８によりシミュレートされた乗務員との相互作用に対するものであってもよい。バイオフィードバックセンサー１１０は、操作者１０４の動作、反応、インプット、感情などを検知又は検出することができる任意のタイプのデバイスでありうる。例えば、バイオフィードバックセンサー１１０は、発言及び音データ、香りデータ、脳波データ（例えば、脳波図（ＥＥＧ）データ）、眼球運動追跡データ、顔面の微表情データ、ボディランゲージ、バイタルサインデータ（心拍数、血圧、呼吸数など）、筋肉運動データ、毛細血管拡張データ、皮膚導電性データなどを含むバイオフィードバックデータを取得するように構成されうる。
【0013】
シミュレータ１０２はまた、指示者ステーション１１４を介して指示者１１２を収容しうる。指示者ステーション１１４により、指示者１１２はシミュレータ１０２の動作を開始し制御することができる。例えば、指示者ステーション１１４により、シミュレータ１０２の種々のシナリオを選択及び構成すること、シミュレートされた乗務員を選択及び構成すること、シミュレータ１０２を制御及び操作すること、操作者１０４のパフォーマンスを監視及び評価すること、操作者１０４のパフォーマンスについてのフィードバックを提供することなどを指示者が行うことができるユーザーインターフェースが実現する。例えば、パフォーマンス格付けを提供することにより行う。別の実施例では、指示者ステーション１１４により、指示者１１２は乗務員シミュレータ１０８を制御及び操作して、操作者１０４と通信すること及びシミュレートされた乗務員の業務上の動作並びに物理的、行動的、生理的、及び感情的動作を直接制御することが可能となりうる。
【0014】
没入型シミュレータシステム１００はまた、シミュレータ制御システム１１６を含む。シミュレータ制御システム１１６は、シミュレータ１０２の動作と、乗務員シミュレータ１０８による、シミュレートされた乗務員の生成とを制御するように構成されうる。例えば、シミュレータ制御システム１１６は、シミュレータ１０２の対象であるクラフト又はビークルの環境及び動作をシミュレートするように制御装置及び表示装置１０６と通信するハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。また、例えば、シミュレータ制御システム１１６は、操作者１０４のバイオフィードバックデータを取得及び分析するようにバイオフィードバックセンサー１１０と通信するハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。また、例えば、シミュレータ制御システム１１６は、乗務員モデルに従い、且つ操作者１０４からの業務上の動作及びバイオフィードバックデータに応じて、シミュレートされた乗務員を生成し操作するように乗務員シミュレータ１０８と通信するハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。さらに、例えば、シミュレータ制御システム１１６は、指示者１１２がシミュレータ１０２を制御及び操作することを可能にするように指示者ステーション１１４と通信するハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。
【0015】
上述したように、シミュレータ制御システム１１６は、ハードウェア、ソフトウェア、及びこれらの組み合わせとして実装されうる。例えば、シミュレータ制御システム１１６は、一又は複数のコンピュータシステム上で実行されるシミュレータソフトウェアプログラムとして実装されうる。コンピュータシステムは、没入型シミュレータシステム１００で動作する又は没入型シミュレータシステム１００をサポートする任意のタイプの従来のコンピュータシステムでありうる。例えば、コンピュータシステムは、ファイルサーバ、ウェブサーバ、アプリケーションサーバ、データベースサーバ、Ｅメールサーバなどの、没入型シミュレータシステム１００内でサービスを提供する様々なタイプのサーバを含みうる。また、例えば、コンピュータシステム１０２は、ノート型コンピュータ、デスクトップコンピュータ、タブレットコンピュータ、携帯電話を含みうる。いくつかの実施例では、シミュレータ制御システム１１６の一又は複数のコンポーネントを専用のハードウェアに実装してもよい。
【0016】
さらに、例えば、没入型シミュレータシステム１００は、没入型シミュレータシステム１００をサポートする他のハードウェア及びコンピュータシステムを含みうる。例えば、没入型シミュレータシステム１００は、任意のタイプの通信ネットワークをサポートして、没入型シミュレータシステム１００のコンピューティングシステムが通信を行えるようにする、ゲートウェイ、ルーター、無線アクセスポイント、ファイアウォールなどを含みうる。実施例のいずれにおいても、没入型シミュレータシステム１００のコンピュータシステムは、プロセッサ、メモリ、ネットワークハードウェア、記憶デバイスなどのハードウェアリソース、及びオペレーティングシステム（ＯＳ）、アプリケーションプログラムなどのソフトウェアリソースを含む。
【0017】
一実施例では、シミュレータ制御システム１１６は、シミュレータ１０２の動作、及び乗務員シミュレータ１０８の動作を制御する一又は複数のシミュレーションソフトウェアプログラムを含みうる。シミュレーションソフトウェアプログラムは、多種多様なオペレーティングシステム、コンピューティングシステムアーキテクチャなどに適合するように、ＪＡＶＡ、Ｃ＋＋、Ｐｙｔｈｏｎコード、ヴィジュアルベーシック、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）などの多種多様なプログラミング言語で記述されうる。本実施例では、シミュレータソフトウェアプログラムは、シミュレータ１０２の動作を制御しうる。例えば、シミュレータソフトウェアプログラムは、シミュレータ１０２の制御装置及び表示装置１０６とインターフェース接続して、操作者１０４による操作に応じて、シミュレータ１０２のシミュレーションシナリオを実行する、シミュレートされたクラフト又はビークルの動作ステータスを表示及び更新する、シミュレートされた環境を表示及び更新するなど、操作者のためにクラフト又はビークルをシミュレートしうる。
【0018】
また、例えば、シミュレータソフトウェアプログラムは乗務員シミュレータ１０８を生成及び制御しうる。シミュレータソフトウェアプログラムは、シミュレートされた乗務員を乗務員シミュレータ１０８上で生成、表示、及び制御しうる。シミュレータソフトウェアプログラムは、乗務員の行動及び動作の一又は複数のモデル、指示者からの入力、及びこれらの組み合わせに基づいて、シミュレートされた乗務員を乗務員シミュレータ１０８上で自律的に生成、表示、及び制御しうる。例えば、シミュレータソフトウェアプログラムは、異なる年齢、性別、文化、人種、身体的外見などを反映した、種々のタイプ及び構成のシミュレートされた乗務員を生成しうる。また、例えば、シミュレータソフトウェアプログラムは、シミュレートされた乗務員が操作者１０４に対して反応する、シミュレーションシナリオに対して反応する、指示者１１２からの入力に従う、及びこれらの組み合わせのうちいずれか一つを行うように、シミュレートされた乗務員を乗務員シミュレータ１０８上で制御及び改変しうる。さらに、例えば、シミュレータソフトウェアプログラムは、シミュレートされた乗務員が操作者１０４のバイオフィードバックデータに対して反応するように、シミュレートされた乗務員を乗務員シミュレータ１０８上で制御及び改変しうる。例えば、シミュレータソフトウェアは、操作者１０４の音声の抑揚、操作者１０４の発言の言い回し、操作者１０４において検出されたストレスに対する反応などに応答するように、シミュレートされた乗務員を制御及び改変しうる。
【0019】
没入型シミュレータシステム１００はリポジトリ（記憶部）１１８を含む。リポジトリ１１８は、シミュレータ１０２及びシミュレータ制御システム１１６により使用されるデータを記憶するように構成されうる。例えば、リポジトリ１１８は、クラフト又はビークルのシミュレーションを可能にするシミュレータのための動作パラメータ及びデータを記憶しうる。また、リポジトリ１１８は、シミュレータ１０２により生成されたデータを記憶しうる。例えば、リポジトリ１１８は、バイオフィードバックセンサー１１０により取得されたバイオフィードバックデータ、制御装置及び表示装置１０６上で操作者１０４により行われた動作、シミュレートされた乗務員により行われた動作、及び指示者ステーション１１４での指示者１１２からの入力を記憶しうる。
【0020】
没入型シミュレータシステム１００は一又は複数のリポジトリ１２２を含む。コンピュータシステム１０２は、一又は複数のネットワーク１２０を介して一又は複数のリポジトリ１２２に連結されうる。例えば、リポジトリ１２２は、没入型シミュレータシステム１００及び／又は他のエンティティにより操作又は維持されうる。ネットワーク１２０は、公的又は私的な任意のタイプのネットワークでありうる。リポジトリ１２２は、シミュレータ１０２及びシミュレータ制御システム１１６により使用されるデータを記憶するように構成されうる。例えば、リポジトリ１２２は、クラフト又はビークルのシミュレーションを可能にするシミュレータの動作パラメータ及びデータを記憶しうる。また、リポジトリ１２２は、シミュレータ１０２により生成されるデータを記憶しうる。例えば、リポジトリ１２２は、バイオフィードバックセンサー１１０により取得されたバイオフィードバックデータ、制御装置及び表示装置１０６上で操作者１０４により行われた動作、シミュレートされた乗務員により行われた動作、指示者ステーション１１４での指示者１１２からの入力を記憶しうる。
【0021】
没入型シミュレータシステム１００は訓練システム１２４を含む。訓練システム１２４は、リポジトリ１１８（及び／又はリポジトリ１２２）に連結されて、操作者１０４のために取得されたデータを検索しうる。訓練システム１２４は当該データを操作者１０４に提供しうる。例えば、訓練システム１２４は、シミュレータ１０２の操作のパフォーマンス評価又は格付け、及びシミュレートされた乗務員との相互作用を含む訓練サマリ（訓練の概要）を操作者１０４に提供しうる。
【0022】
上述のコンポーネントを用いて、没入型シミュレータシステム１００は、さえぎって指示する言葉の差し挟み、コミュニケーションのシミュレーション及び指示、クルー・リソース・マネジメント（ｃｒｅｗ ｒｅｓｏｕｒｃｅ ｍａｎａｇｅｍｅｎｔ）、及び相互作用型のスキル学習を可能にする、自立型及び／又は指示者影響型の学習システムを実現する。乗務員シミュレータ １０８は、シミュレータ１０２内の操作者１０４に対し、感情及び対立（例えば、権限の軽視、協力の欠如、叱責、困惑など）を喚起する相互作用シミュレーションを提供し、言語的な発言、及び顔面の表情を含むボディランゲージを通じたコミュニケーション及び他のクルー・リソース・マネジメント（ｃｒｅｗ ｒｅｓｏｕｒｃｅ ｍａｎａｇｅｍｅｎｔ）コンピテンシーに重点を置く。このように、没入型シミュレータシステム１００は、対処メカニズムの実践を教示又は可能にすることができ、且つ、操作の訓練及び評価に加え、個人のスキル上達を可能にしうる。さらに、没入型シミュレータシステム１００は、学習のポイントを強調するアフターアクションレビュー（ａｆｔｅｒ ａｃｔｉｏｎ ｒｅｖｉｅｗ）を提供する。
【0023】
上述したように、没入型シミュレータシステム１００は、クラフト又はビークルのシミュレートされた没入型の環境を提供しうる。図２は、本開示の態様による、没入型シミュレータシステム１００、訓練用に航空機乗務員の現実世界の相互作用をシミュレートし、当該相互作用を記録しうる没入型航空機シミュレータシステム２００の一実施例を示す。図２は没入型航空機シミュレータシステム２００に含まれる様々なコンポーネントを示しているが、航空機シミュレータの一実施例を示すものであり、さらなるコンポーネントを追加してもよく、既存のコンポーネントを除外してもよい。
【0024】
没入型航空機シミュレータシステム２００は操縦室２０２を含む。操縦室２０２は、航空機の操縦室の環境をシミュレートするように構成されうる。操縦室２０２は、航空機の操縦室に見られるシステム、ハードウェア、制御装置、表示装置などを含みうる。実施例では、操縦室２０２は、飛行訓練デバイス及び／又はフルフライトシミュレーターでありうる。操縦室２０２は、商業上入手可能な任意の操縦室シミュレータを用いて、本明細書に記載する態様による変形例を伴って実装されうる。いくつかの実施例では、操縦室２０２は、ＣＡＥ社、及び／又はＴｈａｌｅｓ社より入手可能な操縦室シミュレータを用いて実装されうる。
【0025】
操縦室２０２はパイロットステーション２０４を含む。パイロットステーション２０４は、シミュレートされた航空機のパイロットによる制御及び操作をシミュレートするシステム、ハードウェア、制御装置、表示装置などを含みうる。例えば、パイロットステーション２０４は、座席、操縦桿又はヨーク、制御装置、フラップ及びエレベータ制御装置、電子フライトバッグ（ｅｌｅｃｔｒｏｎｉｃ ｆｌｉｇｈｔ ｂａｇ）などを含みうる。さらに、例えば、パイロットステーション２０４は、プライマリフライトディスプレイ、多機能ディスプレイ、ナビゲーションディスプレイ、ヘッドアップディスプレイ、及びエンジン計器・乗務員警告システム（ＥＩＣＡＳ）ディスプレイなどの表示装置を含みうる。プライマリフライトディスプレイは、例えば、対気速度、高度、機首方位、姿勢、垂直速度、及び滑空角などの情報を提供しうる。多機能ディスプレイは、例えば、通信、補助動力装置（ＡＰＵ）、燃料、及び電気システムなどの航空機システムについてのステータス情報を提供しうる。ナビゲーションディスプレイは、機首方位／航跡、飛行計画経路、ウェイポイント、空港、航路標識及び気候情報などを提示しうる。ヘッドアップディスプレイ（ＨＵＤ）はフロントガラスの真向かいに取り付けられたＨＵＤコンバイナー上で、投影された飛行機の飛行データを提供しうる。ＥＩＣＡＳディスプレイは、推進、警告、飛行制御装置、燃料、及びエアシステムを含む航空機システムについての情報を提示しうる。
【0026】
操縦室２０２は、バイオフィードバックデータを取得するための一又は複数のデバイス及びシステムを含む。バイオフィードバックセンサーは、ハードウェア、ソフトウェア、又はこれらの組み合わせを含み、操作者１０４の動作、反応、入力、感情などを検知又は検出することができる任意のタイプのシステムでありうる。例えば、バイオフィードバックセンサーは、発言及び音データ、香りデータ、脳波データ（例えば、脳波図（ＥＥＧ）データ）、眼球運動追跡データ、顔面の微表情データ、ボディランゲージ、バイタルサインデータ（心拍数、血圧、呼吸数など）、筋肉運動データ、毛細血管拡張データ，皮膚導電性データなどを含むバイオフィードバックデータを取得するように構成されうる。
【0027】
例えば、バイオフィードバックデバイス及びシステムは、顔面及びジェスチャー取得システム２０６、音声認識システム２０８、及び生理的測定システム２１０を含みうる。顔面及びジェスチャー取得システム２０６は、操作者の感情及び認知状態を判定することができるように、操作者の顔面のジェスチャー（意思表示、感情表現）及び身体の動きを検出、取得、及び分析するためのハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。音声認識システム２０８は、操作者又は学生が発した発言及び音を検出、取得、及び分析するためのハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。例えば、音声認識システム２０８は、シミュレーションシナリオに対する発言を識別し、且つ動作可能な指令と動作不可能な指令とを区別するために、操作者又は学生の発言及び音を分析して、操作者又は学生の発した単語及び構文を検出しうる。また、例えば、音声認識システム２０８は、操作者又は学生の発言及び音を分析して、感情的側面（例えば、抑揚、トーンなど）を検出し、操作者及び学生の感情状態を補間しうる。生理的測定システム２１０は、操作者又は学生の生理的状態（例えば、脳波、バイタルサイン、毛細血管の拡張、皮膚導電性など）を検出、取得、及び分析するための、任意のハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。
【0028】
操縦室２０２は副パイロットシミュレータ２１２を含む。副パイロットシミュレータ２１２は、シミュレータ１０２によりシミュレートされる航空機の副パイロットをシミュレートするように構成されうる。副パイロットシミュレータ２１２は、シミュレートされた副パイロットの業務上の動作をシミュレートするように構成されうる。また、副パイロットシミュレータ２１２は、シミュレートされた副パイロットの物理的、行動的、生理的、及び感情的動作及び応答をシミュレートするように構成されうる。副パイロットシミュレータ２１２は、物理的デバイス又はシステム、仮想デバイス又はシステム、及びこれらの組み合わせでありうる。例えば、副パイロットシミュレータ２１２は、アニマトロニクスロボットなどの、副パイロットをシミュレートする物理的デバイス又はシステムでありうる。また、副パイロットシミュレータ２１２は、仮想現実ディスプレイ、拡張現実ディスプレイ、ホログラム生成器などの、シミュレートされた乗務員の画像を操作者１０４のために投影する仮想システムでありうる。副パイロットシミュレータ２１２は副パイロットをシミュレートするものとして記載するが、副パイロットシミュレータ２１２は、航空機の任意の乗務員、乗客、又は他の生存している乗員（例えば、人）をシミュレートするように構成されうる。
【0029】
一実施例では、副パイロットシミュレータ２１２は、香り生成器２１４、表示システム２１６、及びオーディオシステム２１８を含みうる。香り生成器２１４は、種々のシミュレートされたシナリオにおいて操縦室で知覚される、及び／又は種々のシミュレートされたシナリオにおいて乗務員から発される香り及びにおいの種類を生成するためのハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。表示システム２１６は、シミュレートされた乗務員の画像又はアバターを表示するためのハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。例えば、表示システム２１６は、仮想現実ディスプレイ（例えば、ＨｏｌｏｌｅｎｓＴＭ、ＯｃｃｕｌｕｓＴＭ、ＨＴＣ ＶｉｖｅＴＭなど）、従来のディスプレイ又はモニター（例えば、ブラウン管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、発光ダイオードディスプレイなど）、ホログラムエミッターなどでありうる。オーディオシステム２１８は、種々のシミュレートされたシナリオにおいて操縦室で知覚される、及び／又は種々のシミュレートされたシナリオにおいて乗務員から発される音を生成するためのハードウェア、ソフトウェア、又はこれらの組み合わせを含む任意のタイプのシステムでありうる。例えば、オーディオシステム２１８はスピーカーシステム、ヘッドセット（例えば、パイロットコミュニケーションヘッドセット）などでありうる。
【0030】
操縦室２０２は指示者ステーション２２６を含む。指示者ステーション２２６により、指示者は操縦室２０２の動作を開始及び制御することができる。例えば、指示者ステーション２２６により、操縦室２０２の種々のシナリオを選択及び構成すること、シミュレートされた副パイロットを選択及び構成すること、操縦室２０２を制御及び操作すること、操作者又は学生パフォーマンスを監視及び評価すること、操作者又は学生のパフォーマンスについてのフィードバックを提供することなどを指示者が行うことができるユーザーインターフェースが実現する。別の実施例では、指示者ステーション２２６により、指示者は、副パイロットシミュレータ２１２を制御及び操作して、操作者と通信を行い、シミュレートされた副パイロットの業務上の動作、及び物理的、行動的、生理的、及び感情的動作の一部又は全てを直接制御することができる。
【0031】
副パイロットシミュレータ２１２、及び操縦室２０２の他のシステム、デバイス、及び制御装置は、副パイロット制御システム２２０に連結される。副パイロット制御システム２２０は、乗務員シナリオに従い、且つ操作者又は学生からの業務上の動作及びバイオフィードバックデータに応じて、シミュレートされた乗務員を生成し操作するように副パイロットシミュレータ２１２と通信するハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。副パイロット制御システム２２０は、副パイロットシミュレータ２１２を用いて、乗務員の行動及び動作の一又は複数のモデル、指示者からの入力、及びこれらの組み合わせに基づいて、シミュレートされた副パイロットを自律的に生成、表示、及び制御しうる。例えば、副パイロット制御システム２２０は、異なる年齢、性別、文化、人種、物理的属性などを反映する種々のタイプ及び構成のシミュレートされた副パイロットを生成しうる。また、例えば、副パイロット制御システム２２０はシミュレートされた副パイロットを、シミュレートされた乗務員が操作者又は学生に反応するよう、シミュレーションシナリオに反応するよう、指示者からの入力に従うよう、及びこれらの組み合わせを行うように、副パイロットシミュレータ２１２を用いて制御及び改変しうる。さらに、例えば、副パイロット制御システム２２０はシミュレートされた副パイロットを、操作者又は学生のバイオフィードバックデータに反応するように、副パイロットシミュレータ２１２を用いて制御及び改変しうる。例えば、副パイロット制御システム２２０はシミュレートされた副パイロットを、操作者又は学生の音声の抑揚、操作者又は学生の発言の言い回し、操作者又は学生において検出されたストレスに対する反応に応答するように、制御及び改変しうる。
【0032】
副パイロット制御システム２２０は、アバター物理的モデル２２２及びアバター知能行動モデル２２４を含みうる。アバター物理的モデル２２２は、副パイロットシミュレータ２１２により生成され表示される、シミュレートされた副パイロットの物理的レンダリングをサポートするためのロジック及びデータを定義する。副パイロット制御システム２２０は、異なる年齢、性別、文化、人種、物理的属性などを反映する種々のバージョンのアバター物理的モデル２２２を維持、記憶、及び使用しうる。アバター物理的モデル２２２はまた、操縦室２０２と相互作用しているシミュレートされた副パイロットを知覚できるようにするモータの動き、発言、頭の動き、顔面での応答などを定義する。アバター物理的モデル２２２はまた、操作者又は学生と相互作用しているシミュレートされた副パイロットのリアルな発言をもたらすモータの動き、発言、頭の動き、顔面での応答などを定義する。アバター物理的モデル２２２はまた、シミュレートされた副パイロットにおいて感情を知覚できるようにするモータの動き、発言、頭の動き、顔面での応答などを定義する。
【0033】
アバター知能行動モデル２２４は、シミュレートされた副パイロットの認知状態をシミュレートし、リアルな動作（例えば、会話、感情、物理的作業など）を生成して、シナリオにおける副パイロットをシミュレートするために、行動及び応答をサポートするためのロジック及びデータを定義する。例えば、アバター知能行動モデル２２４は、エキスパートパイロット又は副パイロットの操縦室２０２での手順及びコミュニケーションの認知及び理解をシミュレートするように行動及び応答を定義しうる。また、例えば、アバター知能行動モデル２２４は、シミュレーションシナリオ及びパフォーマンス測定チェックポイントに従って動作をシミュレートする行動及び応答を定義しうる。また、例えば、アバター知能行動モデル２２４は、操縦室２０２の状況（例えば、操縦室の不具合、設備の故障、乗務員のコミュニケーション上の問題など）を喚起して、操作者又は学生の行動特性を測定することを可能にするための分岐ロジックを定義しうる。さらに、例えば、アバター知能行動モデル２２４は、操作者又は学生の認知及び感情状態を認識し、操作者又は学生の認知及び感情状態に応答するためのロジックを定義しうる。
【0034】
アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）はまた、没入型航空機シミュレータシステム２００の動作をサポートするためのデータ出力を定義する。例えば、アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）は、言語コミュニケーション、例えば、構文（ｓｙｎｔａｘ）及び発話された単語並びに音声の抑揚に対して応答し、且つ言語コミュニケーションを生成してリアルな行動及び感情を示すため、副パイロットシミュレータ２１２にデータを出力する。また、例えば、アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）は、非言語コミュニケーション（例えば、顔面の表情、ジェスチャーなど）に応答するため及び非言語コミュニケーションを生成するために、副パイロットシミュレータ２１２にデータを出力する。さらに、例えば、アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）は、嗅覚刺激（例えば、衛生状態の変化、身体機能など）を生成するため及び物理的な動きを生成するために副パイロットシミュレータ２１２にデータを出力する。また、アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）は、現実世界の相互作用をシミュレートするために入力を受信する。例えば、アバター知能行動モデル２２４（及び／又はアバター物理的モデル２２２）は、顔面及びジェスチャー取得システム２０６からデータを受信する、音声認識システム２０８からデータを受信する、生理的測定システム２１０からデータを受信する、シミュレーションシナリオを制御するシステムからデータを受信する、指示者又は他のユーザーからデータを受信する、及びこれらの組み合わせなどのうちのいずれか１つを行いうる。
【0035】
没入型航空機シミュレータシステム２００はまた、乗務員ステーションシミュレーションシステム２２８を含みうる。乗務員ステーションシミュレーションシステム２２８は、パイロットステーション２０４及び指示者ステーション２２６に連結されうる。乗務員ステーションシミュレーションシステム２２８は、パイロットステーション２０４へのデータの入出力を管理及び制御して操縦室２０２の状態をシミュレートするように構成されうる。
【0036】
没入型航空機シミュレータシステム２００はシナリオマネージャー２３０も含む。シナリオマネージャー２３０は、副パイロット制御システム２２０、乗務員ステーションシミュレーションシステム２２８、独立型操作者コンソール２３２、及びパフォーマンス測定システム２３４に連結されうる。シナリオマネージャー２３０は、没入型航空機シミュレータシステム２００のコンポーネントに提供されたシナリオデータ、ビークルシミュレーションイベント、及び状態データを提供及び管理するためのロジック、指令、指示などを含む。例えば、シナリオマネージャー２３０は、シミュレーションデータの読み出しや書き込み、及びシナリオプロファイルの読み込みを行うための、乗務員ステーションシミュレーションシステム２２８のデータデーモン（ｄａｔａ ｄａｅｍｏｎ）を有するインターフェースを提供しうる。また、例えば、シナリオマネージャー２３０は、副パイロット制御システム２２０へのインターフェースを提供し、シミュレーション及びシナリオデータ、並びにフィードバックシミュレーショントリガイベントを乗務員ステーションシミュレーションシステム２２８に提供しうる。さらに、例えば、シナリオマネージャー２３０は、パフォーマンス測定システム２３４へのインターフェースを提供し、シミュレーションデータ、操作者又は学生の動作、指示者の入力などを提供しうる。また、例えば、シナリオマネージャー２３０は、独立型操作者コンソール２３２へのインターフェースを提供して、シミュレーションからのデータを表示し且つ知的エージェントの動作の無効化をトリガしうる。
【0037】
独立型操作者コンソール２３２は、指示者又は他のユーザーが没入型航空機シミュレータシステム２００のコンポーネントを開始、構成、及び操作するためのインターフェースを提供しうる。独立型操作者コンソール２３２は、当該インターフェースを指示者又は他のユーザーに提供するためのハードウェア、ソフトウェア、及びこれらの組み合わせを含みうる。
【0038】
パフォーマンス測定システム２３４は、没入型航空機シミュレータシステム２００により生成されたデータを収集し、操作者又は学生のパフォーマンスを測定する。パフォーマンス測定システム２３４は、学生のパフォーマンスの客観的測定を作成するためのユーザーインターフェースを提供しうる。例えば、パフォーマンス測定システム２３４は、既定の基準に対する操作者又は学生のパフォーマンスを評価するシミュレータデータを用いるアルゴリズムを指定するためのユーザーインターフェースを提供しうる。例えば、基準は、航空機シミュレータの操作及びバイオフィードバック、並びに仮想乗務員との相互作用の組み合わせでの、パフォーマンスの所定のレベルでありうる。また、例えば、パフォーマンス測定システム２３４は、操作者又は学生について指標を評価すべきときを定義するためのユーザー定義トリガイベントを提供しうる。パフォーマンス測定システム２３４は、シミュレーションデータを用いてパフォーマンスの既定の測定の評価を行うためのロジックを含む。例えば、パフォーマンス測定システム２３４は、パフォーマンス特性（例えば、速度、高度など）の所有を含むように、没入型航空機シミュレータシステム２００からデータを収集し当該データにアノテーション付与するためのロジックを含みうる。例えば、パフォーマンス測定システム２３４は、操作者又は学生の操縦室２０２との相互作用（例えば、ボタンを押すこと、スロットルの制御）及びシミュレートされた副パイロットとの相互作用を収集、評価し、且つ当該相互作用にアノテーション付与するためのロジックを含みうる。パフォーマンス測定システム２３４は、フィードバック及びロギングシステム２３６、独立型操作者コンソール２３２などの他のシステムにパフォーマンス測定を送信するためのロジックを含む。
【0039】
没入型航空機シミュレータシステム２００はまた、フィードバック及びロギングシステム２３６を含む。フィードバック及びロギングシステム２３６は、副パイロット制御システム２２０、パフォーマンス測定システム２３４、及び訓練システム２３８に連結されうる。フィードバック及びロギングシステム２３６は、例えば訓練システム２３８を介して、操作者又は学生にパフォーマンスフィードバックを提供する。フィードバック及びロギングシステム２３６は、パフォーマンス及び進捗の言語的又は視覚的な表示を自動的に提供すること、パフォーマンスを改善するように言語的又は視覚的な動作の推奨を自動的に提供することなどを行いうる。また、例えば、フィードバック及びロギングシステム２３６は、操作者又は学生を操縦室２０２の器械又は他の部分に集中させてパフォーマンスを修正するために、シミュレーションにおけるある領域（例えば、高度計）を自動的に強調しうる。また、例えば、フィードバック及びロギングシステム２３６は、操作者又は学生のパフォーマンスの評価に基づいて自動的にシミュレータを調節（例えば、速度又は高度を調節）しうる。また、例えば、フィードバック及びロギングシステム２３６は、操作者又は学生のパフォーマンスをグラフィック、表、数値により表示したものであり、パフォーマンス測定結果を含む訓練サマリを生成し、提供しうる。フィードバック及びロギングシステム２３６はまた、航空機シミュレータ２００からの任意のデータ、訓練サマリ、及び測定パフォーマンスを記憶する。
【0040】
図３は、本開示の態様による、没入型シミュレータを提供し操作するためのプロセスの一実施例を示す。図３は実施されうる様々な段階を示しているが、段階は除外してもよく、さらなる段階を追加してもよい。また、図示の段階は任意の順序で実施することができる。
【0041】
プロセスの開始後、３０２においてシミュレーションパラメータが決定される。シミュレーションパラメータは、没入型シミュレータシステム１００又は没入型航空機シミュレータシステム２００を開始し操作するための任意のデータを含みうる。例えば、シミュレーションパラメータは、シミュレーションシナリオ、シミュレーションの構成パラメータ、乗務員シミュレータのモデル、乗務員シミュレータの構成パラメータなどを含みうる。実施例では、シミュレーションパラメータの一又は複数は、指示者１１２（又は他のユーザー）により入力されうる。実施例では、シミュレーションパラメータの一又は複数は、没入型シミュレータシステム１００又は没入型航空機シミュレータシステム２００において予め定義されうる。
【0042】
３０４において、シミュレートされた乗務員又は仮想乗務員を含むシミュレーションが開始される。シミュレーションパラメータが決定されると、シミュレータ制御システム１１６がシミュレータ１０２を開始しうる。例えば、シミュレータ制御システム１１６は、シミュレーションシナリオに基づく初期ステータス情報を用いて制御装置及び表示装置１０６を開始し、操作者１０４からの入力の受信を開始しうる。さらに、例えば、シミュレータ制御システム１１６は、バイオフィードバックセンサー１１０を初期化し、操作者１０４からのバイオフィードバックデータの受信を開始しうる。さらに、例えば、シミュレータ制御システム１１６は、乗務員モデルに基づいて乗務員シミュレータ１０８を初期化し、操作者１０４との相互作用のためのシミュレートされた乗務員の生成を開始しうる。さらに、例えば、シミュレータ制御システム１１６は、指示者ステーション１１４を初期化し、指示者１１２からの入力の受信を開始しうる。さらに、例えば、シミュレータ制御システム１１６は、シミュレータ１０２からのデータのリポジトリ１１８及び／又はリポジトリ１２２への記憶を開始しうる。
【0043】
３０６において、没入型シミュレータシステムは、仮想乗務員のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成する。例えば、シミュレーションシナリオに基づいて、シミュレーション制御システム１１６は、シミュレータ１０２の動作に適合するように外見及び業務上の動作を生成及び改変する。例えば、没入型航空機シミュレータシステム２００のシミュレーションでは、副パイロット制御システム２２０が、外見、及び業務上の動作、例えば、飛行前チェックにおける操作者又は学生との相互作用、制御装置の移動又は操作、操作者又は学生との会話などを生成及び改変する。さらに、例えば、没入型航空機シミュレータシステム２００のシミュレーションでは、副パイロット制御システム２２０が、仮想乗務員のシミュレートされた行動的及び生理的応答、例えば、乗務員の額に増加した視認可能な汗、及び顔面の表情を生成し改変する。
【0044】
３０８において、没入型シミュレータシステムは、バイオフィードバックデータを含む操作者の応答を収集する。３１０において、没入型シミュレータシステムは、操作者の応答、仮想乗務員のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答、及びシミュレーションのデータを記憶する。例えば、シミュレータ制御システム１１６は、操作者１０４からの入力、例えば、制御装置及び表示装置１０６との相互作用を取得しうる。さらに、例えば、シミュレータ制御システム１１６はバイオフィードバックセンサー１１０から、操作者１０４からのバイオフィードバックデータを受信しうる。さらに、例えば、シミュレータ制御システム１１６は、仮想乗務員のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を記録しうる。さらに、例えば、シミュレータ制御システム１１６は、指示者１１２からの入力を受信しうる。さらに、例えば、シミュレータ制御システム１１６は、シミュレータ１０２からのデータをリポジトリ１１８及び／又はリポジトリ１２２に記憶しうる。
【0045】
３１２において、没入型シミュレータシステムは、シミュレーションを継続するか否かを決定する。例えば、シミュレーションは、シミュレーションシナリオが完了するまで、イベントにより終了されるまで（例えば、クラフト又はビークルの衝突）、指示者又は他のユーザーにより終了されるまでなど、所定の時間継続されうる。シミュレーションが完了した場合、没入型シミュレータシステムはシミュレーションの訓練サマリを生成しうる。訓練サマリは、操作者１０４の動作、シミュレートされた乗務員との相互作用、動作パラメータ及びシミュレーションパラメータ、シミュレーションの映像及びオーディオ記録などの、シミュレーションからのデータを含みうる。訓練サマリは、一又は複数のパフォーマンス指標も含みうる。パフォーマンス指標は、シミュレータ１０２の操作、シミュレートされた乗務員との相互作用などに関連するパフォーマンス指標でありうる。パフォーマンス指標は、没入型シミュレータシステム１００又は没入型航空機シミュレータシステム２００により自動的に生成されうるパフォーマンス指標、少なくとも部分的に指示者又は他のユーザーからの入力に基づくパフォーマンス指標などでありうる。その後、方法３００は終了しうる。
【0046】
シミュレーションが継続する場合、３１４において、没入型シミュレータシステムは任意で指示者からの入力を受信してもよい。例えば、指示者１１２は、操作者１０４のパフォーマンス、シミュレーション中に発生するイベント、シミュレートされた乗務員の行動及び動作などに関する入力を提供することができる。
【0047】
３１６において、没入型シミュレータシステムは、任意で仮想乗務員を改変してもよい。例えば、外見、感情状態、動作などが改変されうる。仮想乗務員は操作者１０４からのバイオフィードバックデータ、指示者１１２からの入力、シミュレーションシナリオのイベントなどに基づいて改変されうる。その後、方法３００は３０６に戻り、繰り返される。
【0048】
図４は、本開示の態様による、没入型シミュレータにより生成されるデータを使用するためのプロセスの一実施例を示す。図４は実施されうる様々な段階を示しているが、段階は除外してもよく、さらなる段階を追加してもよい。また、図示の段階は任意の順序で実施することができる。
【0049】
プロセスの開始後、４０２において、操作者の応答と、仮想乗務員のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答と、シミュレーションのデータとを含むデータが受信される。一実施例では、シミュレータ制御システム１１６が当該データを受信しうる。別の実施例では、パフォーマンス測定システム、及び／又はフィードバック及びロギングシステム２３６が当該データを受信しうる。
【0050】
４０４において、任意に、指示者からの入力が受信されうる。入力は、シミュレータ１０２又は操縦室２０２の動作中の操作者又は学生のパフォーマンス評価、シミュレートされた乗務員又はシミュレートされた副パイロットとの相互作用などを含みうる。例えば、指示者１１２は、操作者１０４のパフォーマンス、シミュレーション中に発生するイベント、シミュレートされた乗務員の行動及び動作などに関する入力を提供しうる。
【0051】
４０６において、操作者の応答、仮想乗務員のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答、及びシミュレーションのデータが、シミュレーションに関連する動作基準と比較される。４０８において、当該比較、指示者からの入力、又はその両方に少なくとも部分的に基づいて、パフォーマンス指標が決定される。
【0052】
例えば、シミュレータ制御システム１１６（又はパフォーマンス測定システム２３４）は、没入型シミュレータシステム１００（没入型航空機シミュレータシステム２００）により生成されたデータを収集し、操作者又は学生のパフォーマンスを測定する。シミュレータ制御システム１１６（又はパフォーマンス測定システム２３４）は、学生のパフォーマンスの客観的測定を使用しうる。例えば、シミュレータ制御システム１１６（又はパフォーマンス測定システム２３４）は、既定の基準、指示入力、及びこれらの組み合わせに対する操作者又は学生のパフォーマンスを評価するシミュレータデータを用いるアルゴリズムを使用しうる。また、例えば、シミュレータ制御システム１１６（又はパフォーマンス測定システム２３４）は、操作者又は学生のための指標を評価するべきときを定義するためのトリガイベントを使用しうる。例えば、シミュレータ制御システム１１６（又はパフォーマンス測定システム２３４）は、パフォーマンス特性（例えば、速度、高度など）の所有、操縦室２０２との操作者又は学生の相互作用（例えば、ボタンを押すこと、スロットルの制御）、及びシミュレートされた副パイロットとの相互作用を含むように、没入型航空機シミュレーションシステム２００からデータを収集し当該データにアノテーション付与しうる。
【0053】
例えば、フィードバック及びロギングシステム２３６は、パフォーマンス及び進捗の言語的又は視覚的な表示を自動的に提供すること、パフォーマンスを改善するように言語的又は視覚的な動作の推奨を自動的に提供することなどを行いうる。また、例えば、フィードバック及びロギングシステム２３６は、操作者又は学生を操縦室２０２の器械又は他の部分に集中させてパフォーマンスを修正するために、シミュレーションにおけるある領域（例えば、高度計）を自動的に強調しうる。また、例えば、フィードバック及びロギングシステム２３６は、操作者又は学生のパフォーマンスの評価に基づいて自動的にシミュレータを調節（例えば、速度又は高度を調節）しうる。
【0054】
４１０において、パフォーマンス指標を含む訓練サマリが生成される。訓練サマリは、操作者１０４の動作、シミュレートされた乗務員との相互作用、動作パラメータ及びシミュレーションパラメータ、シミュレーションの映像及びオーディオ記録などの、シミュレーションからのデータを含みうる。訓練サマリはまた、一又は複数のパフォーマンス指標を含みうる。実施例では、シミュレーションの映像及びオーディオ記録は、パフォーマンス及び進捗の言語的又は視覚的な表示、操作者又は学生を操縦室の器械又は他の部分に集中させてパフォーマンスを修正するためにシミュレーションにおいて強調された領域などを含みうる。
【0055】
４１２において、仮想乗務員は、少なくとも部分的に訓練サマリに基づいて将来のシミュレーション用に更新される。例えば、シミュレートされた乗務員のモデルは、シミュレートされた乗務員との操作者の相互作用に基づいて、シミュレートされた乗務員の現実世界の外見及び相互作用を改善するために更新されうる。
【0056】
４１４において、訓練サマリは操作者に提供される。一実施例では、訓練サマリは訓練システム１２４を介して提供されうる。別の実施例では、訓練サマリは訓練システム２３８を介して提供されうる。
【0057】
上述の説明は例示であり、当業者は構成及び実装形態の変更も想定しうる。例えば、本明細書で開示した実施形態に関連して記載した様々な例示的なロジック、論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特殊用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブル論理デバイス、個別のゲート若しくはトランジスタロジック、個別のハードウェアコンポーネント、又は本明細書に記載した機能を実施するように設計されたこれらの任意の組み合わせを用いて実装又は実施されうる。汎用プロセッサはマイクロプロセッサでありうるが、代替的に、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、一又は複数のマイクロプロセッサとＤＳＰコアとの併用、又は上記のような他の任意の構成として実装されうる。
【0058】
一又は複数の例示的な実施形態では、記載した機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせにおいて実装されうる。ソフトウェアにおける実装形態では、本明細書に記載の技術は、本明細書に記載した機能を実施するモジュール（例えばプロシージャ、ファンクション、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスなど）を用いて実装されうる。モジュールは、情報、データ、引数、パラメータ又はメモリコンテンツをパッシングする及び／又は受信することによって別のモジュール又はハードウェア回路に連結されうる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む任意の好適な手段を用いて、パッシング、転送、又は伝送されうる。ソフトウェアのコードは、メモリユニットに記憶され、プロセッサにより実行されうる。メモリユニットはプロセッサの内部又は外部に実装することができ、この場合、メモリユニットは、当技術分野で周知の様々な手段を介してプロセッサに通信可能に連結されうる。
【0059】
例えば、図５は、没入型シミュレータシステム１００又は没入型シミュレータシステム２００のコンポーネントのいずれかにおいて使用されうるコンピュータシステムのハードウェア構成の一実施例を示す。図５はコンピュータデバイス５００に含まれる様々なコンポーネントを示しているが、コンピュータデバイスの一実施例を示すものであり、さらなるコンポーネントを追加してもよく、既存のコンポーネントを除外してもよい。
【0060】
コンピュータデバイス５００は、任意のタイプのコンピュータデバイスでありうる。図５に示すコンピュータデバイス５００は、多様なコア構成及びクロック周波数を有する一又は複数のプロセッサ５０２を含みうる。コンピュータデバイス５００はまた、コンピュータデバイス５００の動作中にメインメモリとして機能する一又は複数のメモリデバイス５０４を含みうる。例えば、動作中、シミュレーションをサポートするソフトウェアのコピーが一又は複数のメモリデバイス５０４に記憶されうる。コンピュータデバイス５００はまた、コンピュータデバイス５００の人との交信及び操作を可能にするための、キーボード、マウス、タッチパッド、コンピュータスクリーン、タッチスクリーンなどの一又は複数の周辺インターフェース５０６を含みうる。
【0061】
コンピュータデバイス５００はまた、プロトコルを使用して有線又は無線媒体を介して通信するために、ネットワーク１２０などの一又は複数のネットワークを介して通信するための一又は複数のネットワークインターフェース５０８、例えば、イーサネットアダプタ、無線トランシーバー、又はシリアルネットワークコンポーネントを含みうる。コンピュータデバイス５００はまた、例えば画像、ファイル、及び一又は複数のプロセッサ５０２によって実行するためのプログラム命令といったデータを記憶するための、多様な物理的寸法及び記憶容量を有する一又は複数の記憶デバイス５１０、例えばフラッシュドライブ、ハードドライブ、ランダムアクセスメモリなどを含みうる。
【0062】
更に、コンピュータデバイス５００は、上述したシミュレーション環境の機能を実現する一又は複数のソフトウェアプログラム５１２を含みうる。一又は複数のソフトウェアプログラム５１２は、本明細書に記載したプロセスを一又は複数のプロセッサ５０２に実施させる命令を含みうる。一又は複数のソフトウェアプログラム５１２のコピーが、一又は複数のメモリデバイス５０４、及び／又は一又は複数の記憶デバイス５１０に記憶されうる。また、一又は複数のソフトウェアプログラム５１２により使用されるデータが、一又は複数のメモリデバイス５０４、及び／又は一又は複数の記憶デバイス５１０に記憶されうる。
【0063】
コンピュータデバイス５００は、上述のように、様々なデータ記憶手段及び他のメモリ及び記憶媒体を含みうる。これらは、例えば一又は複数のコンピュータの周辺にある（及び／又はコンピュータ内に存在する）記憶媒体、又はネットワーク上の任意の又は全てのコンピュータから離れた記憶媒体など、様々な場所に存在しうる。幾つかの実装態様では、情報は、当業者によく知られたストレージエリアネットワーク（「ＳＡＮ」）に存在しうる。また、コンピュータ、サーバ、又はその他のネットワークデバイスによる機能を実施するために必要な全てのファイルは、必要に応じて周辺及び／又は遠隔において記憶されうる。
【0064】
実装態様では、上述のコンピュータデバイス５００のコンポーネントは、単一の筐体内に入れる必要はなく、互いに近接するように位置決めする必要もない。当業者であれば、上述したコンポーネントは単なる例示であり、コンピュータデバイス５００が、開示された実装態様を実施するために必要な全ての付随のファームウェア又はソフトウェアを含む任意のタイプのハードウェアコンポーネントを含みうることを理解するであろう。コンピュータデバイス５００は、部分的に又は全体的に、特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの電子回路コンポーネント又はプロセッサによっても実装されうる。
【0065】
ソフトウェアにおいて実装される場合、機能は一又は複数の命令又はコードとしてコンピュータ可読媒体に記憶されうるか、又はコンピュータ可読媒体を介して送信されうる。コンピュータ可読媒体は、１つの場所から別の場所へのコンピュータプログラムの転送を容易にする全ての媒体を含む、有形の非一時的なコンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによりアクセス可能な全ての利用可能な有形の非一時的な媒体でありうる。非限定的な例として、このような有形の非一時的なコンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、又は、指示又はデータ構造として所望のプログラムコードを保持又は記憶するために使用可能で、且つコンピュータによりアクセス可能な任意の他の媒体を含みうる。本明細書で記載したディスク（ｄｉｓｋ及びｄｉｓｃ）とは、ＣＤ、レーザーディスク、光ディスク、ＤＶＤ，フロッピーディスク、及びブルーレイディスクを含み、ディスク（ｄｉｓｋ）は通常データを磁気的に再生し、一方ディスク（ｄｉｓｃ）はレーザーを用いて光学的にデータを再生する。また、全ての接続は、コンピュータ可読媒体と適切に称される。例えば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は、赤外線、電波、及びマイクロ波などの無線技術を使用してソフトウェアがウェブサイト、サーバ、又は他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は、赤外線、ラジオ、及びマイクロ波などの無線技術が媒体の定義に含まれる。上記の組み合わせは、コンピュータ可読媒体の範囲にも含まれるべきである。
【0066】
更に、本開示は下記の条項による実施形態を含む。
【0067】
条項１．航空機シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成すること（３０４）であって、仮想乗務員は、航空機の乗務員の業務上の動作、並びに行動的及び生理的応答をシミュレートする、生成すること（３０４）、航空機シミュレータの動作中の、シミュレートされている航空機の状態を表すデータ及び操作者の一又は複数の応答を収集すること（３０８）であって、一又は複数の応答は、操作者に関連するバイオフィードバックデータを含む、収集すること（３０８）、航空機の状態を表すデータ及び一又は複数の応答のうち少なくとも一つに応じて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成すること（３０６）、シミュレートされている航空機の新たな状態を表す追加のデータ及び操作者の一又は複数の追加の応答を収集すること（３０８）であって、前記一又は複数の追加の応答は、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、収集すること（３０８）、及び、一又は複数の応答及び一又は複数の追加の応答を、航空機シミュレータの操作者の操作のログとして記憶すること（３１０）を含む方法（３００）。
【0068】
条項２．航空機シミュレータの操作者の操作のログに少なくとも部分的に基づいて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を更新すること（３１６）をさらに含む、条項１に記載の方法（３００）。
【0069】
条項３．方法は、航空機シミュレータを監督する人又はコンピュータを含む指示者からの入力を受信すること（３１４）をさらに含み、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答は、少なくとも部分的に指示者からの入力に基づく、条項１又は２に記載の方法（３００）。
【0070】
条項４．航空機シミュレータの操作者の操作のログに少なくとも部分的に基づいて訓練サマリを生成すること（３１８）をさらに含む、条項１～３のいずれか一項に記載の方法（３００）。
【0071】
条項５．一又は複数の応答及び一又は複数の追加の応答を航空機シミュレータの動作基準と比較すること（４０６）、当該比較に少なくとも部分的に基づいて、航空機シミュレータの操作者の操作のパフォーマンス格付けを決定すること（４０８）、及び訓練サマリの一部としてパフォーマンス格付けを提供すること（４１４）をさらに含む、条項４に記載の方法（３００、４００）。
【0072】
条項６．パフォーマンス格付けは、人又はコンピュータを含む指示者からの入力に少なくとも部分的に基づく、条項５に記載の方法。
【0073】
条項７．バイオフィードバックデータ及び追加のバイオフィードバックデータは、収集した操作者の顔面ジェスチャー、取得した操作者の発言、及び取得した操作者の行動的及び生理的応答を含む、条項１～６のいずれか一項に記載の方法。
【0074】
条項８．一又は複数の制御装置及び表示装置（１０６）と、一又は複数のバイオフィードバックセンサー（１１０）と、クラフト又はビークルの乗客又は乗務員をシミュレートするように構成された乗務員シミュレータ（１０８）とを含む、クラフト又はビークルの動作をシミュレートするように構成されたシミュレータ（１０２）、及びシミュレータ（１０２）に連結され、一又は複数のメモリデバイス（５０４）に記憶された指示を実行して方法（３００）を実施するように構成された一又は複数のプロセッサ（５０２）を含むシステム（１００）であって、前記方法（３００）は：乗務員シミュレータ（１０８）を用いて、シミュレータ（１０２）における等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成すること（３０４）であって、仮想乗務員は、クラフト又はビークルの乗客又は乗務員の行動的及び生理的応答、並びに業務上の動作をシミュレートする、生成すること（３０４）；シミュレータ（１０２）を用いて、一又は複数の制御装置及び表示装置（１０６）、並びに一又は複数のバイオフィードバックセンサー（１１０）から、シミュレートされているクラフト又はビークルの状態を表すデータ及び操作者（１０４）の一又は複数の応答を収集すること（３０８）であって、一又は複数の応答は操作者（１０４）に関連するバイオフィードバックデータを含む、収集すること（３０８）；乗務員シミュレータ（１０８）を用いて、クラフト又はビークルの状態を表すデータ及び一又は複数の応答に少なくとも部分的に基づいて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成すること（３０６）；一又は複数の制御装置及び表示装置（１０６）、並びに一又は複数のバイオフィードバックセンサー（１１０）から、シミュレートされているクラフト又はビークルの新たな状態を表す追加のデータ及び操作者（１０４）の一又は複数の追加の応答を収集すること（３０８）であって、一又は複数の追加の応答は、仮想乗務員一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する操作者（１０４）の追加のバイオフィードバックデータを含む、収集すること（３０８）；及び一又は複数の応答及び一又は複数の追加の応答をシミュレータ（１０２）の操作者の操作のログとして記憶すること（３１０）を含む、システム（１００）。
【0075】
条項９．方法は、操作者によるシミュレータ（１０２）の操作のログに少なくとも部分的に基づいて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を更新すること（３１６）をさらに含む、条項８に記載のシステム（１００）。
【0076】
条項１０．シミュレータ（１０２）は指示者ステーション（１１４）を更に含み、方法は、指示者ステーション（１１４）を介して指示者（１１２）からの入力を受信すること（３１４）をさらに含み、指示者（１１２）は、シミュレータ（１０２）を監督する人又はコンピュータを含み、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答は、指示者（１１２）からの入力に少なくとも部分的に基づく、条項８又は９に記載のシステム（１００）。
【0077】
条項１１．方法は、操作者によるシミュレータ（１０２）の操作のログに少なくとも部分的に基づいて、操作者に対して訓練サマリを生成することをさらに含む、条項８～１０のいずれか一項に記載のシステム（１００）。
【0078】
条項１２．方法（３００、４００）は、一又は複数の応答及び一又は複数の追加の応答をシミュレータ（１０２）の動作基準と比較すること（４０６）、当該比較に少なくとも部分的に基づいて、操作者によるシミュレータ（１０２）の操作のパフォーマンス格付けを決定すること（４０８）、及び訓練サマリの一部としてパフォーマンス格付けを提供すること（４１４）をさらに含む、条項１１に記載のシステム（１００）。
【0079】
条項１３．乗務員シミュレータ（１０８）は、アニマトロニクスロボット、仮想現実ディスプレイ、及びホログラムディスプレイのうち少なくとも１つを含む、条項８～１２のいずれか一項に記載のシステム（１００）。
【0080】
条項１４．バイオフィードバックデータ及び追加のバイオフィードバックデータは、取得した操作者（１０４）の顔面ジェスチャー、取得した操作者（１０４）の発言、及び取得した操作者（１０４）の行動的及び生理的応答を含む、条項８～１３のいずれか一項に記載のシステム（１００）。
【0081】
条項１５．一又は複数のプロセッサに方法（３００）を実施させるための指示を記憶する、非一時的なコンピュータ可読媒体（５１０）であって、方法（３００）は：航空機シミュレータにおける等身大の仮想乗務員の、視覚的、聴覚的、及び他の感覚的な描写を生成すること（３０４）であって、仮想乗務員は、航空機の乗務員の業務上の動作、並びに行動的及び生理的応答をシミュレートする、生成すること（３０４）；航空機シミュレータを用いて、シミュレートされている航空機の状態を表すデータ及び操作者の一又は複数の応答を収集すること（３０８）であって、一又は複数の応答は操作者に関連するバイオフィードバックデータを含む、収集すること（３０８）；航空機の状態を表すデータ及び一又は複数の応答のうち少なくとも一つに応じて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を生成すること（３０６）；シミュレートされている航空機の新たな状態を表す追加のデータ及び操作者の一又は複数の追加の応答を収集すること（３０８）であって、一又は複数の追加の応答は、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答との相互作用に対応する、操作者の追加のバイオフィードバックデータを含む、収集すること（３０８）；及び一又は複数の応答及び一又は複数の追加の応答を航空機シミュレータの操作者の操作のログとして記憶すること（３１０）を含む、非一時的なコンピュータ可読媒体（５１０）。
【0082】
条項１６．方法は、航空機シミュレータの操作者の操作のログに少なくとも部分的に基づいて、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答を更新すること（３１６）をさらに含む、条項１５に記載の非一時的なコンピュータ可読媒体（５１０）。
【0083】
条項１７．方法は、航空機シミュレータを監督する人又はコンピュータを含む指示者からの入力を受信すること（３１４）をさらに含み、仮想乗務員の一又は複数のシミュレートされた業務上の動作又はシミュレートされた行動的及び生理的応答は、指示者からの入力に少なくとも部分的に基づく、条項１５又は１６に記載の非一時的なコンピュータ可読媒体（５１０）。
【0084】
条項１８．方法は、航空機シミュレータの操作者の操作のログに少なくとも部分的に基づいて、操作者に対して訓練サマリを提供することをさらに含む、条項１５～１７のいずれか一項に記載の非一時的なコンピュータ可読媒体（５１０）。
【0085】
条項１９．方法（３００， ４００）は、一又は複数の応答及び一又は複数の追加の応答を航空機シミュレータの動作基準と比較すること（４０６）、当該比較に少なくとも部分的に基づいて、航空機シミュレータの操作者のパフォーマンス格付けを決定すること（４０８）、及び、訓練サマリの一部としてパフォーマンス格付けを提供すること（４１４）をさらに含む、条項１８に記載の非一時的なコンピュータ可読媒体（５１０）。
【0086】
条項２０．バイオフィードバックデータ及び追加のバイオフィードバックデータは、取得した操作者の顔面のジェスチャー、取得した操作者の発言、及び取得した操作者の行動的及び生理的応答を含む、条項１５～１９のいずれか一項に記載の非一時的なコンピュータ可読媒体（５１０）。
【0087】
本教示の内容を、その実装形態の例を参照して記載してきたが、当業者は、真の趣旨と範囲から逸脱することなく、記載した実装形態に様々な変更を加えることができるだろう。本明細書で使用されている用語及び説明は、例示のみを目的としており、限定を意図したものではない。特に、プロセスを実施例により記載したが、プロセスの段階は例示したものとは異なる順序で実施してもよく、又は同時に実施してもよい。更に、「含んでいる」、「含む」、「有している」、「有する」、「共に（ｗｉｔｈ）」という用語、又はこれらに変更を加えた用語を詳細な説明において使用する限りでは、当該用語が、「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に包含的であることを意図している。例えば、Ａ及びＢなどの項目の列挙に関して本明細書で記載する「一又は複数の」及び「少なくとも一つの」という用語は、Ａのみ、Ｂのみ、又はＡ及びＢを意味する。更に、特に定めのない限り、用語「組（ｓｅｔ）」は「一又は複数」として解釈すべきである。また、「連結」という用語は、間接的又は直接的接続のいずれかを意味することを意図している。従って、第１のデバイスが第２のデバイスに連結される場合、その接続は直接的接続でありうるか、又は、他のデバイス、コンポーネント、及び接続を介した間接的接続でありうる。
【図1】
【図2】
【図3】
【図4】
【図5】