知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-19
(45)【発行日】2024-04-30
(54)【発明の名称】訓練システム、方法及びプログラム
(51)【国際特許分類】
G09B 9/00 20060101AFI20240422BHJP
G09B 9/04 20060101ALI20240422BHJP
G09B 19/00 20060101ALI20240422BHJP
G06F 3/01 20060101ALI20240422BHJP
G06F 3/0481 20220101ALI20240422BHJP
G06T 19/00 20110101ALI20240422BHJP
【ＦＩ】
G09B9/00 Z
G09B9/04 B
G09B19/00 Z
G06F3/01 510
G06F3/0481
G06T19/00 A
【請求項の数】
8
(21)【出願番号】P 2020077609
(22)【出願日】2020-04-24
(65)【公開番号】P2021173867
(43)【公開日】2021-11-01
【審査請求日】2023-03-09
(73)【特許権者】
【識別番号】000221096
【氏名又は名称】東芝システムテクノロジー株式会社
(74)【代理人】
【識別番号】100112003
【弁理士】
【氏名又は名称】星野 裕司
(72)【発明者】
【氏名】平野 茂
(72)【発明者】
【氏名】今澤 要
(72)【発明者】
【氏名】加藤 寛之
【審査官】鈴木 崇雅
(56)【参考文献】
【文献】特表２０１７－５１０８２６（ＪＰ，Ａ）
【文献】特開平０７－０３６３５９（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０２０－００１２９２６（ＫＲ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ １／００－９／５６
Ｇ０９Ｂ １７／００－１９／２６
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ー０４８９５
Ｇ０６Ｔ １９／００－２０
(57)【特許請求の範囲】
【請求項1】
仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムであって、前記訓練対象物を表示装置に仮想表示させる三次元表示制御部と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、
を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
さらに、前記訓練対象物の前記操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、
前記操作判定部は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする訓練システム。
【請求項2】
仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムであって、前記訓練対象物を表示装置に仮想表示させる三次元表示制御部と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、
を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知部は、ユーザの視線を検知し、前記操作判定部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とする訓練システム。
【請求項3】
一又は二以上の操作対象部位を記憶すると共に、夫々の前記操作対象部位を操作するための操作手段を記憶する訓練シナリオ記憶部を備え、前記三次元表示制御部は、前記訓練シナリオ記憶部を参照して、訓練シナリオの進行にしたがって操作すべき操作対象部位に関連付けられた操作手段識別画像を、前記操作検知部で検知された操作情報によって決定される位置および向きで表示することを特徴とする請求項１または２に記載の訓練システム。
【請求項4】
前記操作判定部は、複数のユーザの判定結果に基づいて、操作対象部位ごとに操作内容の正解／不正解、操作時間を含む評価パラメータの統計データを演算し、その演算結果を出力する統計分析部を備えたことを特徴とする請求項１乃至３のいずれか一項に記載の訓練システム。
【請求項5】
前記統計分析部の出力に基づいて前記訓練シナリオを変更するシナリオ変更編集部を備えたことを特徴とする請求項４に記載の訓練システム。
【請求項6】
仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する方法であって、前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を含み、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知処理は、ユーザの視線を検知し、前記操作判定処理はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とする訓練方法。
【請求項7】
仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練するプログラムであって、前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示し、
前記操作検知処理は、ユーザの視線を検知し、前記操作判定処理はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定することを特徴とするコンピュータ実行可能なプログラム。
【請求項8】
訓練対象物の操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作対象部位を操作するための手段を示す操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムのプログラムであって、前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、
を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作手段識別画像を表示し、
前記操作判定処理は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とするコンピュータ実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＶＲ（Virtual Reality，仮想現実）、ＡＲ（Augmented Reality，拡張現実）、あるいはＭＲ（Mixed Reality, 複合現実，混合現実）等（以下単に「ＶＲ」という。）の技術を用いて行う訓練システム、方法及びプログラムに関する。
【背景技術】
【0002】
従来、ＶＲの技術を用いて、受講者（ユーザ）の訓練を行うシステムが提案されている。たとえば、特許文献１では、熟練者に対してもヒューマンエラーの防止を効果的に訓練できるようにするため、ヒューマンエラーを誘発するトラップを設けた訓練シナリオをシミュレーション手段で展開することによって訓練対象となる事象を擬似的に再現し、ヒューマンエラーが発生した一連の作業が終了した時点又はヒューマンエラーによって作業が継続できなくなる時点でヒューマンエラーの発生を告知する訓練システムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－０７２１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の特許文献１の技術は、訓練によりヒューマンエラーの発生を防ぐことが目的であり、操作対象の設備や装置（以下、「訓練対象物」という。）の操作方法の効率的な習得を目的とするものではない。特に、効率の良い訓練を実現するために、どのような情報を仮想空間に表示するか、あるいはユーザの操作内容をどのように判定して習熟度を高めていくかが問題となる。
【0005】
本発明はかかる従来の事情に対処してなされたものであり、ユーザの習熟度を効率的に高めることができ、また訓練対象物に対するユーザの動きを精度よく評価することのできる訓練システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る訓練システムは、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムであって、
前記訓練対象物を表示装置に仮想表示させる三次元表示制御部（３Ｄ－ＣＧ表示制御部）と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠（操作対象識別枠）を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。ここで、訓練シナリオとは、操作順序認識可能に操作対象部位と制限時間などの判定条件とを関連付けた情報である。
前記訓練対象物を表示装置に仮想表示させる三次元表示制御部（３Ｄ－ＣＧ表示制御部）と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知部と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定部と、を備え、
前記三次元表示制御部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠（操作対象識別枠）を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。ここで、訓練シナリオとは、操作順序認識可能に操作対象部位と制限時間などの判定条件とを関連付けた情報である。
【0007】
好ましくは、操作検知部は、ヘッドトラッキング、ポジショントラッキング、ハンドトラッキング、アイトラッキングの少なくとも一つのトラッキング方法により、操作情報を検知するのがよい。
【0008】
また、本発明に係る訓練システムは、一又は二以上の操作対象部位を記憶すると共に、夫々の前記操作対象部位とその操作対象部位を操作するための手段（操作手段）の座標を記憶する訓練シナリオ記憶部を備え、
前記三次元表示制御部は、前記訓練シナリオ記憶部を参照して、訓練シナリオの進行にしたがって操作すべき操作対象部位に関連付けられた操作手段識別画像を、前記操作検知部で検知された操作情報によって決定される位置および向きで表示することを特徴とする。これにより仮想空間上で操作対象部位ごとに異なる操作手段（ツール）を用いて操作を行う訓練を効率的に行うことができる。
前記三次元表示制御部は、前記訓練シナリオ記憶部を参照して、訓練シナリオの進行にしたがって操作すべき操作対象部位に関連付けられた操作手段識別画像を、前記操作検知部で検知された操作情報によって決定される位置および向きで表示することを特徴とする。これにより仮想空間上で操作対象部位ごとに異なる操作手段（ツール）を用いて操作を行う訓練を効率的に行うことができる。
【0009】
また、本発明に係る訓練システムは、訓練対象物の前記操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、前記操作判定部は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする。これにより、仮想空間においても実空間での訓練に近い精度のよい訓練が可能となる。
【0010】
なお上記の判定領域は仮想空間上に表示されるものではないが、動作モードあるいはユーザの習熟度によって表示させるようにしてもよい。例えば、ユーザの習熟度が所定値以下の場合は表示させる等である。
【0011】
この訓練システムには複数の動作モードを設け、いずれの動作モードで動くかを選択可能できるようにするのが好ましい。動作モードとしては、例えば、ユーザは操作せず、操作手順をＶＲ上で訓練シナリオ通りに再現する学習モード、ユーザが訓練シナリオに沿って操作するが評価（採点）はしない操作モード、ユーザが訓練シナリオに沿って操作を行い、操作内容を記録して採点する採点モードがある。
【0012】
そして、選択されたモードにより、操作対象識別枠の表示／非表示を決定する。例えば学習モード，操作モードが選択された場合は、操作対象識別枠を表示し、採点モードが選択された場合は操作対象識別枠を表示しない等である。なお、操作対象識別枠の表示／非表示はこれに限らず、ユーザの習熟度や他の条件との組合せによって決定するようにしてもよい。
【0013】
たとえば、採点モードのときに操作検知部がユーザの視線を検知した場合、前記三次元表示制御部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、操作対象識別枠を表示する等である。
【0014】
また、前記操作検知部は、ユーザの視線を検知し、前記操作判定部はその視線ベクトルが前記訓練対象物の前記操作対象部位の所定範囲と一定時間以上交差することにより、当該操作対象部位が選択又は操作されたと認定するようにしてもよい。
これにより、ユーザは操作対象部位を容易に特定し、あるいは選択、操作をすることができる。
これにより、ユーザは操作対象部位を容易に特定し、あるいは選択、操作をすることができる。
【0015】
なお、操作対象部位を識別するための操作対象識別枠は上記以外の種々の条件でそれぞれ異なる識別表示をすることができる。例えば、操作手段識別画像と操作対象部位との位置関係から、操作対象識別画像が操作対象部位に到達したと判定した場合は、その操作対象部位が選択されたことを知らせるために、操作対象識別枠を色替えなどの識別表示をするとか、操作手段識別画像と操作対象部位との位置関係から、操作手段識別画像が操作対象部位に正しいルートを通って到達した場合は、操作対象識別枠をさらに異なる態様で識別表示する等である。
【0016】
また、本発明に係る訓練システムの前記操作判定手段は、複数のユーザの判定結果に基づいて、操作対象部位ごとに操作内容の正解／不正解、操作するまでの時間に関する統計データを演算し、その演算結果を出力する統計分析部と、前記統計分析部の出力に基づいて前記訓練シナリオを変更するシナリオ変更編集部を備えたことを特徴とする。
【0017】
本発明に係る訓練方法は仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する方法であって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を含み、
前記三次元表示部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を含み、
前記三次元表示部は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知部によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
【0018】
また、本発明に係るプログラムは、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練するプログラムであって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作対象部位を操作するための手段を示す操作手段識別画像を表示することを特徴とする。
【0019】
また、本発明に係るプログラムは、訓練対象物の操作対象部位ごとに、それぞれの前記操作対象部位からの距離に応じて、前記操作対象部位を操作するための手段を示す操作手段識別画像が通過すべき又は通過すべきでない判定領域を保存する手段を備え、仮想空間に三次元表示される訓練対象物の操作方法を教育・訓練する訓練システムのプログラムであって、
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作手段識別画像を表示し、
前記操作判定処理は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする。
前記訓練対象物を表示装置に仮想表示する三次元表示処理と、
ユーザの操作位置および操作方向を含む操作情報を検知する操作検知処理と、
前記訓練対象物の操作対象部位および前記操作情報に基づいてユーザの操作を評価する操作判定処理と、を実行し、
前記三次元表示処理は、訓練シナリオの進行にしたがって操作すべき操作対象部位を識別する枠を表示する一方、前記操作検知処理によって検知された操作情報に基づいて、前記操作手段識別画像を表示し、
前記操作判定処理は、前記操作手段識別画像の位置が前記判定領域を通過したか否かによって、ユーザが前記操作対象部位に正しくアクセスしたか否かを判定することを特徴とする。
【発明の効果】
【0020】
本発明によれば、ユーザの習熟度を効率的に高めることができ、また訓練対象物に対するユーザの動きを精度よく評価することがでる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施の形態による訓練システムの機能ブロック図である。
【図2】本発明の実施の形態による訓練対象物の説明図である。
【図8】本発明の実施の形態によるコントローラを用いた操作の説明図である。
【図9】本発明の実施の形態によるハンドトラッキング技術を用いた操作の説明図である。
【図10】本発明の実施の形態による視線トラッキング技術を用いた操作の説明図である。
【発明を実施するための形態】
【0022】
以下に本発明の実施の形態に係る訓練システムについて図面を参照しながら説明する。
図１において、訓練システム１は、バーチャルコンテンツ表示装置１０、操作用装置５０、訓練シナリオ／操作記録判定装置６０で構成される。訓練シナリオ／操作記録判定装置６０とＨＭＤ１０は有線又は無線の通信回線を介して接続される。
図１において、訓練システム１は、バーチャルコンテンツ表示装置１０、操作用装置５０、訓練シナリオ／操作記録判定装置６０で構成される。訓練シナリオ／操作記録判定装置６０とＨＭＤ１０は有線又は無線の通信回線を介して接続される。
【0023】
バーチャルコンテンツ表示装置１０として、たとえばヘッドマウントディスプレイ（以下、単に「ＨＭＤ」という。）を用いることができる。以下、このＨＭＤを用いた場合を例に説明する。
【0024】
訓練シナリオ／操作記録判定装置（以下単に「判定装置」という。）６０は、ＨＭＤ１０へ送信するための訓練対象物の三次元データや、訓練対象物の操作手順データなどを記憶する。また、判定装置６０は、ＨＭＤ１０から送られてくる操作情報に基づいてユーザの操作内容に関する判定や統計分析を行う。そして、統計分析の結果に基づいて操作手順や判定基準などの訓練シナリオの変更を行う。
【0025】
操作用装置５０は、ユーザが所持あるいは装着するコントローラや、ユーザの手指の動きを検知するハンドトラッキングなどで構成することができる。この操作用装置５０は、ユーザの動きを検知することができれば足り、ユーザの視線で訓練対象物の操作が可能であれば、視線を検知する装置なども含まれる。
【0026】
ＨＭＤ１０は、判定装置６０から渡される訓練対象物の三次元データをもとに、訓練対象物を三次元仮想空間に表示し、操作用装置５０から渡される検知信号をもとに、訓練対象物を操作する手段（例えば手指や後述するレンチ等）の位置や操作内容（例えばボタン押下やレンチの回転等）などの操作情報を得る。この操作情報は、判定装置６０へ送られ、操作内容に関して判定が行われる。
【0027】
より詳細には、判定装置６０は、訓練対象物の三次元データを保存する３Ｄモデル記憶部６１、操作手順などユーザを訓練するためのシナリオ（訓練シナリオ）を保存する訓練シナリオ記憶部６２、操作判定された結果を保存する操作判定記憶部６３を備える。
判定装置６０は、また、３Ｄモデル記憶部６１と訓練シナリオ記憶部６２に保存されているデータをもとに、訓練対象物や訓練シナリオに従った操作指示などの情報をＨＭＤ１０に仮想表示させる３Ｄ－ＣＧ表示制御部７１、ＨＭＤ１０から送られてくる操作情報をもとにユーザの操作内容を評価し、評価結果を操作判定記憶部６３に書き込む操作判定部７２、操作判定記憶部６３に保存されている評価結果を出力する操作判定出力部７３、当該評価結果をもとに統計・分析を行う統計分析部７４、この統計分析の結果に基づいて訓練シナリオのデータを編集するシナリオ変更編集部７５を備える。シナリオ変更編集部７５は、図示しないユーザインタフェースによって人間系で訓練シナリオを編集してもよいが、後述する手順によって、統計分析の結果に基づいて自動的に編集処理を行うようにしてもよい。
判定装置６０は、また、３Ｄモデル記憶部６１と訓練シナリオ記憶部６２に保存されているデータをもとに、訓練対象物や訓練シナリオに従った操作指示などの情報をＨＭＤ１０に仮想表示させる３Ｄ－ＣＧ表示制御部７１、ＨＭＤ１０から送られてくる操作情報をもとにユーザの操作内容を評価し、評価結果を操作判定記憶部６３に書き込む操作判定部７２、操作判定記憶部６３に保存されている評価結果を出力する操作判定出力部７３、当該評価結果をもとに統計・分析を行う統計分析部７４、この統計分析の結果に基づいて訓練シナリオのデータを編集するシナリオ変更編集部７５を備える。シナリオ変更編集部７５は、図示しないユーザインタフェースによって人間系で訓練シナリオを編集してもよいが、後述する手順によって、統計分析の結果に基づいて自動的に編集処理を行うようにしてもよい。
【0028】
ＨＭＤ１０は、判定装置６０の３Ｄ－ＣＧ表示制御部７１から送られてくる情報を仮想表示する３Ｄ－ＣＧ表示部１１、操作用装置５０から渡されるユーザの動きなどの操作に関するデータをもとに所定の操作手段を表す画像（操作手段識別画像）を三次元仮想空間に表示する操作内容表示部１２、操作判定に用いられる座標（例えば操作手段の座標）を検知する操作座標検知部１３、操作内容（例えば、ユーザの手の位置や訓練対象物へのアプローチルートなど）を検知する操作内容検知部１４を備える。
【0029】
操作用装置５０は、ユーザの動きなど操作判定に必要なデータを検知して、ＨＭＤ１０の操作内容表示部１２に渡す操作検知部５１を備えている。
ここで、各手段１２～１４，５１，７１～７５はコンピュータの機能としてプログラムによって実現可能である。
この判定装置６０は、汎用コンピュータで実現することもできるが、ＨＭＤ１０と一体として実現してもよい。また、操作用装置５０についても、ＨＭＤ１０の機能を用いて実現することもできる。
ここで、各手段１２～１４，５１，７１～７５はコンピュータの機能としてプログラムによって実現可能である。
この判定装置６０は、汎用コンピュータで実現することもできるが、ＨＭＤ１０と一体として実現してもよい。また、操作用装置５０についても、ＨＭＤ１０の機能を用いて実現することもできる。
【0030】
訓練システム１の装置構成例およびＨＭＤ１０に表示される訓練対象物のイメージを図２に示す。
例えば、鉄道車両の運転台の操作訓練を行う場合、ＨＭＤ１０には、訓練対象物１１ａとして運転台の機器が三次元仮想表示される。ユーザの動きをトラッキングする方法としては、ヘッドトラッキング、ポジショントラッキング、ハンドトラッキング、アイトラッキングなど既知の方法を用いることができる。
例えば、鉄道車両の運転台の操作訓練を行う場合、ＨＭＤ１０には、訓練対象物１１ａとして運転台の機器が三次元仮想表示される。ユーザの動きをトラッキングする方法としては、ヘッドトラッキング、ポジショントラッキング、ハンドトラッキング、アイトラッキングなど既知の方法を用いることができる。
【0031】
訓練シナリオ記憶部６２のデータ例を図３に示す。訓練シナリオは、操作手順ごとの判定条件からなる。訓練シナリオは、学習題材ごとに複数設けられる。なお訓練シナリオは各作業項目の判定結果によって分岐させるようにしてもよい。
図３において、操作手順の順番に作業項目が記憶され、各作業項目には、動作（ガイダンス）の内容、操作判定の対象か否かを設定するフラグ、視線判定の対象か否かを設定するフラグ、操作対象部位の座標、操作時の挙動（操作対象部位の変化）、操作対象識別枠の座標、判定領域の座標、制限時間、判定対象の採点を有効とするか否かを設定するフラグが関連付けられて記憶される。判定領域は、操作対象部位からの距離に応じて、ユーザの操作手段が通過する範囲を示す領域であり、各操作対象部位にユーザがアクセスすべきルートを規定する情報（ルート情報）である。なお、この判定領域はユーザがアクセスすべきでないルートとして設定してもよい。また、図３において、作業項目ごとに動作（ガイダンス）を行うか否かを設定するフラグを設けるようにしてもよい。
図３において、操作手順の順番に作業項目が記憶され、各作業項目には、動作（ガイダンス）の内容、操作判定の対象か否かを設定するフラグ、視線判定の対象か否かを設定するフラグ、操作対象部位の座標、操作時の挙動（操作対象部位の変化）、操作対象識別枠の座標、判定領域の座標、制限時間、判定対象の採点を有効とするか否かを設定するフラグが関連付けられて記憶される。判定領域は、操作対象部位からの距離に応じて、ユーザの操作手段が通過する範囲を示す領域であり、各操作対象部位にユーザがアクセスすべきルートを規定する情報（ルート情報）である。なお、この判定領域はユーザがアクセスすべきでないルートとして設定してもよい。また、図３において、作業項目ごとに動作（ガイダンス）を行うか否かを設定するフラグを設けるようにしてもよい。
【0032】
図４は、操作判定記憶部６３のデータ構成例である。ユーザＩＤ、訓練シナリオＩＤごとに、各作業項目の結果が保存されている。
３Ｄモデル記憶部６１には、訓練対象物の３Ｄモデルを表示するための三次元座標が保存されている。なお、図３に示した操作対象識別枠や判定領域の座標あるいは操作手段識別画像の座標は、３Ｄモデル記憶部６１に保存するようにしてもよい。
３Ｄモデル記憶部６１には、訓練対象物の３Ｄモデルを表示するための三次元座標が保存されている。なお、図３に示した操作対象識別枠や判定領域の座標あるいは操作手段識別画像の座標は、３Ｄモデル記憶部６１に保存するようにしてもよい。
【0033】
次に上述した構成を有する訓練システム１の動作を説明する。
（１）訓練モード
本実施の形態では、訓練システム１の訓練モードとして、１）学習モード、２）操作モード、３）採点モード、の３種類のモードを設ける。
（１）訓練モード
本実施の形態では、訓練システム１の訓練モードとして、１）学習モード、２）操作モード、３）採点モード、の３種類のモードを設ける。
【0034】
学習モードは、ユーザの操作なしで、操作手順を仮想空間上でシナリオ通りに再現する動作モードである。すなわち、ユーザは操作をせず、仮想空間上に表示される操作対象物と、操作対象識別枠およびガイダンスを見て操作内容を記憶することを主な目的とする。なお、このとき訓練シナリオに基づいて動く操作手段識別画像ないしアバターを表示するようにしてもよい。
【0035】
操作モードは、ユーザが訓練シナリオに沿って操作する動作モードである。この動作モードでは、ユーザの操作内容に対して採点はしない。
採点モードも、ユーザが訓練シナリオに沿って操作を行う動作モードであるが、操作モードと異なり、ユーザの操作内容を記録して採点して評価を行う。
採点モードも、ユーザが訓練シナリオに沿って操作を行う動作モードであるが、操作モードと異なり、ユーザの操作内容を記録して採点して評価を行う。
【0036】
訓練は、１）学習モード→２）操作モード→３）採点モード、のように段階を踏んで行うのが好ましい。また、訓練対象物において、どこを操作するかを示す操作対象識別枠は、学習モード、操作モードでは表示するが、採点モードでは表示しないなどの表示制御を行うことにより、効果的な訓練を行うことができる。勿論、操作対象識別枠は、訓練モードのみでなくユーザの習熟度などの条件も含めて表示／非表示を決定するようにしてもよい。
【0037】
（２）操作対象ガイド機能（図５）
３Ｄ－ＣＧ表示制御部７１は、訓練開始時に訓練対象物の三次元画像を３Ｄ－ＣＧ表示部１１に表示させる。そして、学習モード、操作モードのときには、図５に示すように訓練シナリオの進行に伴って、訓練対象物の３Ｄモデルに重ねて、そのときの操作対象部位を視認し易くするための枠（操作対象識別枠）２１を表示する。ユーザが当該操作対象部位の操作を終えると、その操作対象識別枠は消去し、次の操作対象部位に対する操作対象識別枠を表示する。
３Ｄ－ＣＧ表示制御部７１は、訓練開始時に訓練対象物の三次元画像を３Ｄ－ＣＧ表示部１１に表示させる。そして、学習モード、操作モードのときには、図５に示すように訓練シナリオの進行に伴って、訓練対象物の３Ｄモデルに重ねて、そのときの操作対象部位を視認し易くするための枠（操作対象識別枠）２１を表示する。ユーザが当該操作対象部位の操作を終えると、その操作対象識別枠は消去し、次の操作対象部位に対する操作対象識別枠を表示する。
【0038】
以下、図６を用いて、３Ｄ－ＣＧ表示制御部７１の操作対象識別枠表示処理の手順を詳述する。
訓練開始時、３Ｄ－ＣＧ表示制御部７１は起動されると、訓練対象物をＨＭＤ１０の３Ｄ－ＣＧ表示部１１に表示する（Ｓ５０１）。そして、訓練モードが採点モードか否かを判定し（Ｓ５０２）、採点モードの場合は終了する。採点モードでない場合、すなわち学習モード又は操作モードの場合は、訓練シナリオの全ての操作対象部位について次の処理を実行する（Ｓ５０３ａ，Ｓ５０３ｂ）。まず訓練シナリオ記憶部６２にアクセスして操作対象項目の操作対象識別枠情報を抽出する（Ｓ５０４）。この操作対象識別枠情報は、操作対象識別枠の色、動作（例えばフリッカ）などの表示態様や位置を決める情報である。３Ｄ－ＣＧ表示制御部７１は、この操作対象識別枠情報にしたがって３Ｄ－ＣＧ表示部１１の仮想空間上に操作対象識別枠を表示する（Ｓ５０５）。ちなみに、操作対象識別枠の座標は、その操作項目の操作対象部位に関連付けられて予め訓練シナリオ記憶部６２又は３Ｄモデル記憶部６１に保存される。
訓練開始時、３Ｄ－ＣＧ表示制御部７１は起動されると、訓練対象物をＨＭＤ１０の３Ｄ－ＣＧ表示部１１に表示する（Ｓ５０１）。そして、訓練モードが採点モードか否かを判定し（Ｓ５０２）、採点モードの場合は終了する。採点モードでない場合、すなわち学習モード又は操作モードの場合は、訓練シナリオの全ての操作対象部位について次の処理を実行する（Ｓ５０３ａ，Ｓ５０３ｂ）。まず訓練シナリオ記憶部６２にアクセスして操作対象項目の操作対象識別枠情報を抽出する（Ｓ５０４）。この操作対象識別枠情報は、操作対象識別枠の色、動作（例えばフリッカ）などの表示態様や位置を決める情報である。３Ｄ－ＣＧ表示制御部７１は、この操作対象識別枠情報にしたがって３Ｄ－ＣＧ表示部１１の仮想空間上に操作対象識別枠を表示する（Ｓ５０５）。ちなみに、操作対象識別枠の座標は、その操作項目の操作対象部位に関連付けられて予め訓練シナリオ記憶部６２又は３Ｄモデル記憶部６１に保存される。
【0039】
次に３Ｄ－ＣＧ表示制御部７１は訓練モードを判定し（Ｓ５０６）、訓練モードが学習モードの場合は、訓練シナリオ記憶部６２に予め保存されている設定時間（制限時間）の経過後に（Ｓ５０７）、当該操作対象識別枠を消去する（Ｓ５１０）。一方、訓練モードが操作モードの場合は、操作が終了したか否かを判定し、操作が終了した場合（Ｓ５０８）あるいはタイムアウト後（Ｓ５０９）に当該操作対象識別枠を消去する（Ｓ５１０）。
【0040】
上記処理は、操作対象識別枠の表示／非表示に関する手順であり、例えば訓練シナリオにしたがって行うガイダンス表示（図７）や音声による指示などは別のステップによって３Ｄ－ＣＧ表示部１１に表示される。
以上の手順で表示制御される操作対象識別枠により、ユーザは容易に操作対象部位を認識することができる。また、ユーザの視点や姿勢が代わっても、分かり易く表示することができるので、訓練効率を上げることができる。
以上の手順で表示制御される操作対象識別枠により、ユーザは容易に操作対象部位を認識することができる。また、ユーザの視点や姿勢が代わっても、分かり易く表示することができるので、訓練効率を上げることができる。
【0041】
なお、操作対象識別枠は、上述した訓練モードに限らず、たとえばユーザの操作内容や習熟度など他の要素を加えてそれぞれどのような状況かがわかるように識別表示するようにしてもよい。また、個々の操作対象部位ごとに表示／非表示とするのではなく、一連の訓練単位ごとに、複数の操作対象部位の操作対象識別枠を表示制御するようにしてもよい。
【0042】
【0043】
コントローラを使用した場合、コントローラの備える操作検知部５１によって、コントローラの位置や向き（方向）に関する情報がＨＭＤ１０に送られ、操作内容表示部１２により、その操作対象部位を操作するのに用いられる手段（ツール）を示す画像（操作手段識別画像）が仮想空間上に表示される。
【0044】
なお、このときの操作手段識別画像の表示位置は、予めセットされたデフォルトの位置（例えば、ＨＭＤ１０の位置からの相対距離）を基準として、その位置からコントローラの移動量、移動方向によって操作手段識別画像を移動させてもよいし、あるいはコントローラの種類によって別の表示のさせ方をしてもよい。例えば、コントローラがレーザなどの光を照射する装置の場合は、コントローラの位置、向きによって発射される光の軌跡を演算し、その軌跡と、訓練対象物との交点に操作手段識別画像を表示させるようにしてもよい。
【0045】
以下、コントローラを用いて、訓練対象物を選択、操作する手順について説明する。
なお、コントローラの仮想空間上の位置座標や向き等のデータは、既存のポジショントラッキング技術が用いて取得することができる。コントローラ５０の操作検知部５１は、取得した位置座標や向き等のデータをＨＭＤ１０の操作内容表示部１２に渡す。
なお、コントローラの仮想空間上の位置座標や向き等のデータは、既存のポジショントラッキング技術が用いて取得することができる。コントローラ５０の操作検知部５１は、取得した位置座標や向き等のデータをＨＭＤ１０の操作内容表示部１２に渡す。
【0046】
操作内容表示部１２は、コントローラ５０の位置及び向きから仮想空間内において一定方向に延長線を引く。この延長線は、仮想空間内に表示させてもよいし、表示させなくてもよいが、コントローラ５０から訓練対象物の交点まで仮想空間上に延長線を表示することにより、ユーザには、その延長線があたかもレーザ光線のように認識され、操作性の向上が期待できる。
【0047】
そして、この延長線と訓練対象物の３Ｄモデル上の交点にポインタ５０ａを表示する。
このポインタ５０ａの座標は、操作座標検知部１３により判定装置６０の操作判定部７２に送られる。
また、ユーザはポインタ５０ａが訓練対象物の所望の位置に来たときに、所定のアクション（例えば、コントローラ５０のボタンを押すなど）を行う。このアクションは、操作内容検知部１４によって検出され、判定装置６０の操作判定部７２に送られる。
このポインタ５０ａの座標は、操作座標検知部１３により判定装置６０の操作判定部７２に送られる。
また、ユーザはポインタ５０ａが訓練対象物の所望の位置に来たときに、所定のアクション（例えば、コントローラ５０のボタンを押すなど）を行う。このアクションは、操作内容検知部１４によって検出され、判定装置６０の操作判定部７２に送られる。
【0048】
操作判定部７２は、ポインタ５０ａが判定用の座標（面又は立体）内に入り、所定のアクションが行われることにより、当該操作対象部位に対するユーザの操作の判定は正常に完了したと判定する。操作判定部７２は、この判定結果に加え、当該操作に要した時間や、ポインタ５０ａの軌跡、すなわち操作対象部位へのアプローチのルート等などの操作内容等も含めてユーザの当該操作対象部位に対する評価を演算し、当該評価結果を操作判定記憶部６３に保存する。
【0049】
（他の手段による機器操作）
以上、コントローラによって操作を行う場合について説明したが、操作用装置５０はこれに限らず、既知の技術を用いることができる。例えば、操作用装置５０としてハンドトラッキング装置を用いてユーザの手指の動きをトラッキングし、これを三次元仮想空間上に表示させてもよい。この場合も、上述したように、三次元仮想空間上でデフォルトの表示位置を予め決めておき、ハンドトラッキング装置の検知した移動量、移動方向に従って、三次元仮想空間上での操作手段識別画像を移動させることができる。
以上、コントローラによって操作を行う場合について説明したが、操作用装置５０はこれに限らず、既知の技術を用いることができる。例えば、操作用装置５０としてハンドトラッキング装置を用いてユーザの手指の動きをトラッキングし、これを三次元仮想空間上に表示させてもよい。この場合も、上述したように、三次元仮想空間上でデフォルトの表示位置を予め決めておき、ハンドトラッキング装置の検知した移動量、移動方向に従って、三次元仮想空間上での操作手段識別画像を移動させることができる。
【0050】
具体的には、操作内容表示部１２は、ハンドトラッキング装置から渡される操作データを取り込み、操作座標検知部１３によって仮想空間上の座標（バーチャルハンド座標）を演算する。このバーチャルハンド座標は操作判定部７２に渡される。操作判定部７２は、バーチャルハンド座標が操作対象部位に関連つけて予め設定されている判定用の座標（面または立体）内に入り、操作内容検知部１４を介して所定のアクション（ハンドジェスチャー・ボタン）が実行されたことを検知すると、操作完了と判定する。
【0051】
なお、上記の操作判定例は、ハンドトラッキング技術を利用してバーチャル空間内にバーチャルハンドを表示し、仮想空間内のオブジェクトを操作し操作判定するというものである。これに対して、図９に示すように、バーチャルハンドではなく、ハンドトラッキング技術でとらえた実空間の自分の手の位置（座標・方向）をもとに仮想空間内に治具（ツール）２２を表示して、仮想空間内の対象物（オブジェクト）１１ａを操作・判定するようにしてもよい。
この操作判定では、ハンドトラッキング技術でユーザの手の位置・向きをトラッキングして、座標・方向・角度を取得する。操作内容表示部１２は、取得したデータをもとに実空間の手に治具が把持されたとして、当該治具の画像（操作手段識別画像）２２を仮想空間に表示する。
この操作判定では、ハンドトラッキング技術でユーザの手の位置・向きをトラッキングして、座標・方向・角度を取得する。操作内容表示部１２は、取得したデータをもとに実空間の手に治具が把持されたとして、当該治具の画像（操作手段識別画像）２２を仮想空間に表示する。
【0052】
図９は、機器の組み立て分解作業において、治具２２としてレンチを用いて、仮想空間上に表示された機器（訓練対象物）のナット（操作対象部位）の取り外し・取り付け作業を行う場合の例を示すものである。なお、図９では、治具２２としてレンチを記載するが、治具２２はレンチに限定するものではない。治具２２の操作は、コントローラを移動・回転させる、あるいはボタンを押す、その他ハンドジェスチャなどの所定のアクション（例：手を握るなど）によって行う。この治具２２の画像は、いわゆる治具本体（図中Ｂ）の画像に、訓練対象物の操作対象部位（図中Ａ）と係合する部分を示す画像（図中Ｃの○印）を合成するのが好ましい。これにより、ユーザは治具２２において、操作対象部位と係合する位置を正確に認識することができるので、仮想空間の訓練対象物に対して正しい位置に治具２２をセットすることができる。なお、作業項目ないし操作対象部位ごとに異なる治具を用いる場合があるが、訓練シナリオ記憶部６２の作業項目番号に関連つけて、当該作業で用いる治具（操作手段識別画像）２２の３Ｄ座標を保存しておき、ハンドトラッキング等によって取得した手指の位置とこの３Ｄ座標を用いて、仮想空間上に作業ごとに異なる治具の画像２２を表示することができる。
【0053】
以下、図９を用いて、この処理手順について詳述する。
（ステップ１）３Ｄ－ＣＧ表示制御部７１により、仮想空間に操作対象となる機器などの３Ｄモデルを表示する。
（ステップ２）機器には操作対象となる部位（Ａ）を予め設定しておく。操作対象部位が判るようにガイド（枠）を表示してもよいし、あえて表示しなくてもよい。このデータは、図３に示す訓練シナリオ記憶部６２に予め保存しておく。設定情報は、例えば操作対象部位の座標、操作対象部位に対する治具の方向・角度などである。また、操作時の挙動・正しい操作（例：レンチを右回し）等、操作手段によって決まる操作内容を設定しておく。
（ステップ３）実空間でハンドトラッキング技術により取得したユーザの手の座標情報をもとに、仮想空間に当該手の座標からの相対位置（予め設定）にバーチャル治具（Ｂ）を表示する。治具には、操作検知部分（Ｃ）が設定されている。後述する処理により、この操作検知部分（Ｃ）が正しいルートを通って操作対象部位にアクセスしたか否かが判定される。
（ステップ４）治具２２の操作検知部分（Ｃ）と操作対象部位の座標（ある程度の範囲）と治具の角度（予め設定：操作対象部位に対する相対角度）が一致した状態で指定のアクション（右回しなど）を行った場合、正しい操作として記録し、正しく操作が行われたことを示すバーチャルモデルを表示する。
なお、アクションは、手の動作あるいはコントローラのボタンなどでの操作が可能とする。
（ステップ１）３Ｄ－ＣＧ表示制御部７１により、仮想空間に操作対象となる機器などの３Ｄモデルを表示する。
（ステップ２）機器には操作対象となる部位（Ａ）を予め設定しておく。操作対象部位が判るようにガイド（枠）を表示してもよいし、あえて表示しなくてもよい。このデータは、図３に示す訓練シナリオ記憶部６２に予め保存しておく。設定情報は、例えば操作対象部位の座標、操作対象部位に対する治具の方向・角度などである。また、操作時の挙動・正しい操作（例：レンチを右回し）等、操作手段によって決まる操作内容を設定しておく。
（ステップ３）実空間でハンドトラッキング技術により取得したユーザの手の座標情報をもとに、仮想空間に当該手の座標からの相対位置（予め設定）にバーチャル治具（Ｂ）を表示する。治具には、操作検知部分（Ｃ）が設定されている。後述する処理により、この操作検知部分（Ｃ）が正しいルートを通って操作対象部位にアクセスしたか否かが判定される。
（ステップ４）治具２２の操作検知部分（Ｃ）と操作対象部位の座標（ある程度の範囲）と治具の角度（予め設定：操作対象部位に対する相対角度）が一致した状態で指定のアクション（右回しなど）を行った場合、正しい操作として記録し、正しく操作が行われたことを示すバーチャルモデルを表示する。
なお、アクションは、手の動作あるいはコントローラのボタンなどでの操作が可能とする。
【0054】
（視線トラッキング）（図１０）
操作手段識別画像２２の移動は、ＨＭＤ１０の有するヘッドトラッキング機能及び視線（アイ）トラッキング機能を用いて実行することもできる。すなわち、ヘッドトラッキング機能により、仮想空間上の頭の位置及び向きを取得し、視線トラッキング機能により眼球の動き（視線）をトラッキングして操作手段識別画像２２を移動させる。この場合、ヘッドの動きや視線の動きをトラッキングする操作検知部５１はＨＭＤ１０に組み込むことができる。
操作手段識別画像２２の移動は、ＨＭＤ１０の有するヘッドトラッキング機能及び視線（アイ）トラッキング機能を用いて実行することもできる。すなわち、ヘッドトラッキング機能により、仮想空間上の頭の位置及び向きを取得し、視線トラッキング機能により眼球の動き（視線）をトラッキングして操作手段識別画像２２を移動させる。この場合、ヘッドの動きや視線の動きをトラッキングする操作検知部５１はＨＭＤ１０に組み込むことができる。
【0055】
以下、図１０（ａ）を参照しながら、視線トラッキングの手順について説明する。
操作内容表示部１２は、操作検知部５１から渡されるトラッキングデータをもとに、視線もしくは頭の位置・向き情報から一定方向に延長線（レーザポインタ）２３を表示する。この表示はしなくてもよいが、表示をすることにより、ユーザはどの方向を向いているかを容易に知ることができる。そして、延長線（レーザポインタ）２３と訓練対象物の３Ｄモデル上の交点にポインタ画像２２を表示する。操作判定部７２は、ポインタ画像の座標が判定用の座標（面または立体）内に入り、所定のアクション（ボタン・一定時間以上注視）が行われたことを検知することで操作完了と判定する。この判定用の座標として、操作対象識別枠２１の座標を用いることができるが、判定用の座標を別に設けるようにしてもよい。
操作内容表示部１２は、操作検知部５１から渡されるトラッキングデータをもとに、視線もしくは頭の位置・向き情報から一定方向に延長線（レーザポインタ）２３を表示する。この表示はしなくてもよいが、表示をすることにより、ユーザはどの方向を向いているかを容易に知ることができる。そして、延長線（レーザポインタ）２３と訓練対象物の３Ｄモデル上の交点にポインタ画像２２を表示する。操作判定部７２は、ポインタ画像の座標が判定用の座標（面または立体）内に入り、所定のアクション（ボタン・一定時間以上注視）が行われたことを検知することで操作完了と判定する。この判定用の座標として、操作対象識別枠２１の座標を用いることができるが、判定用の座標を別に設けるようにしてもよい。
【0056】
操作判定部７２は、訓練モードが採点モードの場合は、訓練シナリオの作業項目ごとに採点有効フラグがセットされているものについて判定を行い、その判定結果は、操作判定記憶部６３に保存する。図１０（ｂ）に判定結果の例を示す。なお、判定結果は、合否のみではなく、例えば操作時間などユーザの評価（習熟度の算定）に用いる情報を含めることができる。また、判定結果をもとにポイント値を求めて、これを習熟度としてユーザの評価を行うようにしてもよい。このとき、作業項目ごとにポイントに重み付けをすることもできる。
【0057】
（４）操作判定処理
操作判定部７２は、採点モードのとき、ユーザが予め設定された時間内で、正しいルートで操作対象部位にアクセスして操作を行ったか否かの判定（アクセスルート判定処理）を行い、その結果によって評価を行う。
操作判定部７２は、採点モードのとき、ユーザが予め設定された時間内で、正しいルートで操作対象部位にアクセスして操作を行ったか否かの判定（アクセスルート判定処理）を行い、その結果によって評価を行う。
【0058】
図１１は、操作判定部７２のアクセスルート判定処理の概念説明図である。この図において、操作手段識別画像２２が、複数の判定領域で規定されるルートを通って操作対象部位に到達した場合は正しくアプローチしたと判定する。本実施の形態では、操作対象部位への到達は、操作対象識別枠２１に到達したかどうかで判定する。また、この操作対象識別枠２１は、図１１（ａ）に示すように平面で表すこともできるが、図１１（ｂ）に示すように立体で表すようにしてもよい。また、操作対象識別枠の座標に代えて、他の判定用座標、たとえば操作対象部位の画像の座標を用いることもできる。
【0059】
図１２にアクセスルート判定処理に用いる判定領域の具体例を示す。この図に示すように操作対象部位を囲むように設定された操作対象識別枠２１からの垂直距離（高さ）に応じて、所定の広さの判定領域を複数設ける。各判定領域は操作対象識別枠２１と平行に設けられる。図１２では、判定領域１～ｎが設けられている。この図において、Ｈ１は操作対象識別枠から最も離れた位置にある判定領域１までの距離、ｔは操作手段識別画像２２の位置の座標(点座標)、Ｄは操作対象識別枠２１から操作手段識別画像２２までの距離である。
【0060】
次に、図１３を用いて操作判定部７２のアクセスルート判定処理の手順について説明する。
操作判定部７２は、操作手段識別画像の座標（ｔ）を取得する（Ｓ６０１）。また、操作手段識別画像と操作対象識別枠との間の距離（Ｄｔ）を計算する（Ｓ６０２）。そして、距離Ｄｔと距離Ｈ１とを比較して（Ｓ６０３）、距離Ｄｔが距離Ｈ１以上の場合は、ステップＳ６０１に戻り以降の処理を繰り返す。一方、ステップＳ６０３において、距離Ｄｔが距離Ｈ１よりも小さい場合は、次に判定領域ｉ（ｉ＝１～ｎ）を通過したか否かを判定する（Ｓ６０４）。この判定処理は、例えば判定領域ごとに、操作手段識別画像の高さが、その判定領域の高さ以上か以下かを判定して、判定領域よりも低くなった直後の高さと直前の高さの位置情報から移動ベクトルを求めてそのベクトルが判定領域と交わるかどうかを確認することにより行うことができる。ステップＳ６０４の判定の結果、ＹＥＳの場合は、判定領域ｉを通過したことを示す通過フラグを記録（セット）する（Ｓ６０５）。以上の処理を操作手段識別画像が操作対象識別枠に到達するまで繰り返す（Ｓ６０６）。その後、全ての判定領域ｉ（i＝１～ｎ）について通過フラグがセットされているか否かを判定し（Ｓ６０７）、セットされていれば合格（Ｓ６０８）、すなわちユーザは、正しく操作対象部位にアクセスしたと判定する。一方、ステップＳ６０７の判定の結果、セットされていない判定領域ｉが存在する場合は不合格と判定する（Ｓ６０９）。なお、この判定において、例えば、判定領域ごとに重みをつけて、例えば操作対象識別枠に近い判定領域ほど重みを大きくして点数付けを行い、この点数によってユーザの操作の評価を行うようにしてもよい。
操作判定部７２は、操作手段識別画像の座標（ｔ）を取得する（Ｓ６０１）。また、操作手段識別画像と操作対象識別枠との間の距離（Ｄｔ）を計算する（Ｓ６０２）。そして、距離Ｄｔと距離Ｈ１とを比較して（Ｓ６０３）、距離Ｄｔが距離Ｈ１以上の場合は、ステップＳ６０１に戻り以降の処理を繰り返す。一方、ステップＳ６０３において、距離Ｄｔが距離Ｈ１よりも小さい場合は、次に判定領域ｉ（ｉ＝１～ｎ）を通過したか否かを判定する（Ｓ６０４）。この判定処理は、例えば判定領域ごとに、操作手段識別画像の高さが、その判定領域の高さ以上か以下かを判定して、判定領域よりも低くなった直後の高さと直前の高さの位置情報から移動ベクトルを求めてそのベクトルが判定領域と交わるかどうかを確認することにより行うことができる。ステップＳ６０４の判定の結果、ＹＥＳの場合は、判定領域ｉを通過したことを示す通過フラグを記録（セット）する（Ｓ６０５）。以上の処理を操作手段識別画像が操作対象識別枠に到達するまで繰り返す（Ｓ６０６）。その後、全ての判定領域ｉ（i＝１～ｎ）について通過フラグがセットされているか否かを判定し（Ｓ６０７）、セットされていれば合格（Ｓ６０８）、すなわちユーザは、正しく操作対象部位にアクセスしたと判定する。一方、ステップＳ６０７の判定の結果、セットされていない判定領域ｉが存在する場合は不合格と判定する（Ｓ６０９）。なお、この判定において、例えば、判定領域ごとに重みをつけて、例えば操作対象識別枠に近い判定領域ほど重みを大きくして点数付けを行い、この点数によってユーザの操作の評価を行うようにしてもよい。
【0061】
（他の実施例）
上記のアクセスルート判定処理では、操作対象識別枠に平行に複数の判定領域を設けるようにしたが、図１４に示すように、操作対象識別枠ではなく操作対象部位からの距離に応じて判定領域を複数設けるようにしてもよい。この場合、夫々の判定領域は、操作対象部位から略等距離の曲面を形成する。このときの処理手順は、図１３のステップＳ６０２において、操作手段識別画像と操作対象部位までの距離を計算する。
上記のアクセスルート判定処理では、操作対象識別枠に平行に複数の判定領域を設けるようにしたが、図１４に示すように、操作対象識別枠ではなく操作対象部位からの距離に応じて判定領域を複数設けるようにしてもよい。この場合、夫々の判定領域は、操作対象部位から略等距離の曲面を形成する。このときの処理手順は、図１３のステップＳ６０２において、操作手段識別画像と操作対象部位までの距離を計算する。
【0062】
（５）統計処理および訓練シナリオ変更処理
次に、図１５を用いて、訓練システム１の統計処理と、その統計結果に基づく訓練シナリオ変更処理について説明する。
統計分析部は、操作対象項目ごとの操作時間を抽出する（Ｓ３０１）。次に、操作対象項目ごとの操作時間でばらつき（標準偏差）が一定値より大きい項目を抽出する（Ｓ３０２）。そして、訓練シナリオ記憶部６２において、ステップＳ３０２で抽出した操作対象項目にシナリオ調整フラグ（図示せず）を付与する（Ｓ３０３）。
次に、図１５を用いて、訓練システム１の統計処理と、その統計結果に基づく訓練シナリオ変更処理について説明する。
統計分析部は、操作対象項目ごとの操作時間を抽出する（Ｓ３０１）。次に、操作対象項目ごとの操作時間でばらつき（標準偏差）が一定値より大きい項目を抽出する（Ｓ３０２）。そして、訓練シナリオ記憶部６２において、ステップＳ３０２で抽出した操作対象項目にシナリオ調整フラグ（図示せず）を付与する（Ｓ３０３）。
【0063】
続いて、シナリオ変更編集部７５は、シナリオ調整フラグが付与されている操作項目に変更情報を書き込む（Ｓ３０４）。変更情報は、例えば、操作対象識別枠２１の色を変える等である。
上記の処理は、例えば、操作項目の操作に成功（合格）したが、操作に至るまで時間がかかっている、もしくは、早く操作できる人と、時間がかかる人がいる（ばらつき）場合、これを解決するために訓練シナリオを変更するというものである。
上記の処理は、例えば、操作項目の操作に成功（合格）したが、操作に至るまで時間がかかっている、もしくは、早く操作できる人と、時間がかかる人がいる（ばらつき）場合、これを解決するために訓練シナリオを変更するというものである。
【0064】
また、上述したステップＳ３０１～Ｓ３０３は、操作に正解した人を母集団にして統計処理をする例であるが、全ユーザを母集団として、正解率が低い項目にシナリオ調整フラグを付与するようにしてもよい。
特に、採点モードで測定した採点データ（操作データ）を、学習モード・操作モードで表示する操作対象識別枠表示などを変えることによって、学習効果を向上させることができる。
特に、採点モードで測定した採点データ（操作データ）を、学習モード・操作モードで表示する操作対象識別枠表示などを変えることによって、学習効果を向上させることができる。
【0065】
一例として図１６に３Ｄ－ＣＧ表示制御部７１の操作モード時の処理手順を示す。
３Ｄ－ＣＧ表示制御部７１は、訓練シナリオ全ての操作対象部位について以下の処理を実行する（Ｓ４０１ａ，Ｓ４０１ｂ）。まず、操作対象項目の変更情報を抽出する（Ｓ４０２）。そして、変更情報の有無を判定し（Ｓ４０３）、変更情報がある場合は、操作対象識別枠２１を注意枠として表示する（Ｓ４０４）。一方変更情報がない場合は、操作対象識別枠２１を通常枠として表示する（Ｓ４０５）。ここで、注意枠、通常枠は、色や点滅などその表示態様の違いをユーザが識別できれば足りる。
３Ｄ－ＣＧ表示制御部７１は、訓練シナリオ全ての操作対象部位について以下の処理を実行する（Ｓ４０１ａ，Ｓ４０１ｂ）。まず、操作対象項目の変更情報を抽出する（Ｓ４０２）。そして、変更情報の有無を判定し（Ｓ４０３）、変更情報がある場合は、操作対象識別枠２１を注意枠として表示する（Ｓ４０４）。一方変更情報がない場合は、操作対象識別枠２１を通常枠として表示する（Ｓ４０５）。ここで、注意枠、通常枠は、色や点滅などその表示態様の違いをユーザが識別できれば足りる。
【0066】
ちなみに、学習モードのときは、ステップＳ４０６の分岐判定がタイマーになる。例えば、訓練シナリオ記憶部６２の操作項目ごとの表示時間を経過したか否かで遷移するようにしてもよい。
【0067】
（他の実施例）
次に図１７、図１８を用いて統計処理、訓練シナリオ変更処理の他の実施例を説明する。この実施例は操作対象項目間の評価結果の相関を演算して、訓練時に効果的に操作対象識別枠ないしガイダンスを表示するものである。
次に図１７、図１８を用いて統計処理、訓練シナリオ変更処理の他の実施例を説明する。この実施例は操作対象項目間の評価結果の相関を演算して、訓練時に効果的に操作対象識別枠ないしガイダンスを表示するものである。
【0068】
図１７において、訓練システム１の統計分析部７４は、ユーザの訓練終了後あるいは予め設定された周期で起動されると、操作判定記憶部６３にアクセスして、各ユーザの評価結果を抽出する。そして、抽出したデータをもとに、訓練シナリオにおける各操作対象部位の評価結果の相関を演算する（Ｓ１０１）。たとえば、操作対象部位ａについて評価が悪い場合は、操作対象部位ｂについても評価が悪くなる等である。このように夫々の操作対象部位の評価結果について相関係数を求める。そして、相関係数が一定値以上の操作対象部位の組合せにグループ番号を付与する（Ｓ１０２）。このとき、一つの操作対象部位について複数のグループ番号が付される場合もある。
そして、シナリオ変更編集部７５は、訓練シナリオ記憶部６２の操作対象部位に関連付けて、グループ番号を書き込む（Ｓ１０３）。
そして、シナリオ変更編集部７５は、訓練シナリオ記憶部６２の操作対象部位に関連付けて、グループ番号を書き込む（Ｓ１０３）。
【0069】
（６）訓練画像表示処理
次に３Ｄ－ＣＧ制御部の処理を中心した訓練画像表示処理の手順を説明する。
３Ｄ－ＣＧ制御部は、訓練開始により起動されると、３Ｄ－ＣＧ表示部に訓練対象物の３Ｄ画像を表示させるとともに、訓練シナリオ記憶部６２に記載された全ての操作対象部位について次の処理を実行する（Ｓ２０１ａ、Ｓ２０１ｂ）。
３Ｄ－ＣＧ制御部は、まず、訓練シナリオ記憶部６２の操作対象部位の注意表示フラグ（図示せず）を抽出する（Ｓ２０２）。この注意表示フラグは、ユーザごとに設けられ、そのユーザの最初の訓練時には予めリセットされている。
次に３Ｄ－ＣＧ制御部の処理を中心した訓練画像表示処理の手順を説明する。
３Ｄ－ＣＧ制御部は、訓練開始により起動されると、３Ｄ－ＣＧ表示部に訓練対象物の３Ｄ画像を表示させるとともに、訓練シナリオ記憶部６２に記載された全ての操作対象部位について次の処理を実行する（Ｓ２０１ａ、Ｓ２０１ｂ）。
３Ｄ－ＣＧ制御部は、まず、訓練シナリオ記憶部６２の操作対象部位の注意表示フラグ（図示せず）を抽出する（Ｓ２０２）。この注意表示フラグは、ユーザごとに設けられ、そのユーザの最初の訓練時には予めリセットされている。
【0070】
そして、注意表示フラグがセットされていなければ、当該操作対象部位について通常の識別枠を表示する（Ｓ２０４）。注意表示フラグがセットされていれば、当該操作対象部位について注意表示用の識別枠を表示する（Ｓ２０５）。ここで、注意表示は、例えば通常表示と異なる色の枠で表示され、ユーザに特に注意喚起を促すものである。
【0071】
そして、操作判定部は、ユーザの操作が所定時間内に終了したか否かを判定し（Ｓ２０６，Ｓ２０７）、操作が終了した場合は、操作結果が合格か否かを判定する（Ｓ２０８）。その結果、合格の場合は、次の操作対象部位についてステップＳ２０２以降の処理を実行する。一方、ステップＳ２０８の判定の結果、不合格の場合は、訓練シナリオ記憶部６２の当該操作対象部位と相関のある、すなわち当該操作対象部位と同じグループに属する操作対象部位の注意表示フラグをセットして（Ｓ２０９）、次の操作対象部位の処理に移行する。
上記において、ステップＳ２０６～Ｓ２０８は操作判定部の処理として、またステップＳ２０９は操作判定出力部の処理として実行される。
上記において、ステップＳ２０６～Ｓ２０８は操作判定部の処理として、またステップＳ２０９は操作判定出力部の処理として実行される。
【0072】
以上の処理手順により、ユーザは、評価の低い、ある操作対象部位の操作と相関のある他の操作対象部位について、当該部位の操作時に注意喚起表示されるので、特に注意して操作を行うことができ、訓練効率を上げることができる。
【0073】
以上、本実施の形態によれば、訓練モードやユーザの習熟度によって、訓練対象物に重ねて表示される操作対象識別枠の表示／非表示を切り換え、あるいは操作対象識別枠の表示態様を変更し、また操作対象識別枠や操作対象部位からの距離によって設定した判定領域を用いて、訓練対象物の操作対象部位へアプローチするルートなどユーザの動きを詳細に評価するので、訓練効果を向上させることができる。さらに、ユーザの操作内容の評価結果によって訓練シナリオを変更するので、ユーザの習熟度を効率的に高めることができるのみならず、ヒューマンエラーが発生したときの再発防止にも効果が期待できる。
【符号の説明】
【0074】
１ 訓練システム
１０ バーチャルコンテンツ表示装置（ＨＭＤ）
１１ ３Ｄ－ＣＧ表示部
１２ 操作内容表示部
１３ 操作座標検知部
１４ 操作内容検知部
５０ 操作用装置
５１ 操作検知部
６０ 訓練シナリオ／操作記録判定装置（判定装置）
６１ ３Ｄモデル記憶部
６２ 訓練シナリオ記憶部
６３ 操作判定記憶部
７１ ３Ｄ－ＣＧ表示制御部（三次元表示制御部）
７２ 操作判定部
７３ 操作判定出力部
７４ 統計分析部
７５ シナリオ変更編集部
１０ バーチャルコンテンツ表示装置（ＨＭＤ）
１１ ３Ｄ－ＣＧ表示部
１２ 操作内容表示部
１３ 操作座標検知部
１４ 操作内容検知部
５０ 操作用装置
５１ 操作検知部
６０ 訓練シナリオ／操作記録判定装置（判定装置）
６１ ３Ｄモデル記憶部
６２ 訓練シナリオ記憶部
６３ 操作判定記憶部
７１ ３Ｄ－ＣＧ表示制御部（三次元表示制御部）
７２ 操作判定部
７３ 操作判定出力部
７４ 統計分析部
７５ シナリオ変更編集部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】