(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】運転訓練評価システムおよび運転訓練評価方法
(51)【国際特許分類】
G09B 9/00 20060101AFI20241111BHJP
G09B 19/00 20060101ALI20241111BHJP
【ＦＩ】
G09B9/00 A
G09B19/00 H
【請求項の数】
15
(21)【出願番号】P 2020122740
(22)【出願日】2020-07-17
(65)【公開番号】P2022019125
(43)【公開日】2022-01-27
【審査請求日】2023-02-13
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】317015294
【氏名又は名称】東芝エネルギーシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】菱沼 朋美
(72)【発明者】
【氏名】尾崎 健司
(72)【発明者】
【氏名】當房 拓朗
(72)【発明者】
【氏名】榎本 光広
(72)【発明者】
【氏名】上都 礼智
(72)【発明者】
【氏名】林 光伸
【審査官】進藤 利哉
(56)【参考文献】
【文献】特開２０１９－０３６２０５（ＪＰ，Ａ）
【文献】特開平０６－２８９７７３（ＪＰ，Ａ）
【文献】特開２００４－１０２１１６（ＪＰ，Ａ）
【文献】特開２０１５－１２１８６４（ＪＰ，Ａ）
【文献】国際公開第２００９／０９０８８５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ１／００－９／５６
Ｇ０１Ｂ１７／００－１９／２６
(57)【特許請求の範囲】
【請求項1】
訓練シナリオに沿って訓練用の事象を実行するシミュレータと、前記シミュレータで訓練を受ける被訓練者の行動内容を記録する行動記録部と、
前記シミュレータの操作ログを記録する操作ログ記録部と、
前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するタスク実行判定部と、
前記判定に基づいて前記被訓練者を評価可能な評価情報を出力する評価情報出力部と、
少なくとも前記被訓練者の動作を含む前記動作に関する映像を収録する映像収録部と、
前記映像に基づいて、前記動作を認識して前記事象との関連性の解析を行い、前記事象に対応して前記被訓練者に要求される前記タスクを実行したか否かの判定結果を含む情報を抽出する映像解析部と、
を備え、
前記タスクを実行したか否かの判定結果を含む情報を抽出する処理は、少なくともクラスタリング解析を含む機械学習により抽出する処理であって、
前記映像に基づいて、前記クラスタリング解析のための前記被訓練者の入力データを作成し、
前記被訓練者の前記入力データに基づいて、前記クラスタリング解析を行い、前記入力データ間のクラスタ距離を算出し、
算出した前記クラスタ距離に基づいて、クラスタ分類を行い、前記被訓練者の前記入力データと、予め取得されている熟練者の前記入力データと、を比較し、
両入力データ間の前記クラスタ距離に基づいて、前記被訓練者が前記タスクを実行したか否かの判定結果を含む情報を抽出する、
処理を含む、
運転訓練評価システム。
【請求項2】
１つの前記事象に対応して複数種類の前記タスクを設定可能なタスク設定部を備える、請求項１に記載の運転訓練評価システム。
【請求項3】
前記タスク設定部は、前記タスクの種類毎に評価指標を設定する、請求項２に記載の運転訓練評価システム。
【請求項4】
前記タスク実行判定部は、前記タスクの種類毎に前記被訓練者が前記タスクを実行したか否かを判定する、請求項２または請求項３に記載の運転訓練評価システム。
【請求項5】
前記行動内容が前記被訓練者の発話を含み、前記発話に関する音声を収録する音声収録部と、前記音声を認識する音声認識部と、
辞書に基づいて前記音声をテキストデータに変換するテキスト変換部と、
前記発話をした前記被訓練者を特定可能な態様で管理する発話者管理部と、
を備える、
請求項１から請求項４のいずれか１項に記載の運転訓練評価システム。
【請求項6】
前記タスク実行判定部は、前記発話と前記操作ログとの組み合わせにより少なくとも１つの種類の前記タスクが実行されたか否かの判定を行う、請求項５に記載の運転訓練評価システム。
【請求項7】
前記音声を再生する音声再生部と、前記音声に対応する前記テキストデータをディスプレイに表示するテキスト表示部と、
前記テキスト変換部で誤変換が発生した場合に前記辞書に登録された内容のうちの前記誤変換に対応する箇所を修正可能な辞書修正部と、
を備える、
請求項５または請求項６に記載の運転訓練評価システム。
【請求項8】
訓練で取得された前記テキストデータに基づいてテキストマイニングを行い、前記事象に対応して前記被訓練者に要求される前記タスクを抽出するテキストマイニング部を備え、前記テキストマイニング部は、前記被訓練者に要求される前記タスクを実行したか否かの判定結果を含む情報を前記機械学習により抽出する、
請求項５から請求項７のいずれか１項に記載の運転訓練評価システム。
【請求項9】
前記評価情報出力部は、前記事象と前記操作ログと前記テキストデータとを時系列順に表示する時系列チャートをディスプレイに表示する、請求項５から請求項８のいずれか１項に記載の運転訓練評価システム。
【請求項10】
前記タスクを実行したか否かの判定結果を含む情報を抽出する処理は、前記映像に基づいて、前記動作を認識して前記発話と前記事象との関連性の解析を行い、前記事象に対応して前記被訓練者に要求される前記タスクを実行したか否かの判定結果を含む情報を前記機械学習により抽出する処理を含む、請求項５から請求項９のいずれか１項に記載の運転訓練評価システム。
【請求項11】
複数の前記被訓練者の前記発話が収録された前記音声から特定の前記被訓練者の前記発話を前記機械学習により識別可能な発話識別部を備える、請求項５から請求項１０のいずれか１項に記載の運転訓練評価システム。
【請求項12】
前記行動内容が前記被訓練者の位置を含み、前記位置を取得する人物位置取得部と、前記事象が生じたときに、前記被訓練者が前記タスクに対応する前記位置に居るか否かを識別する人物位置識別部と、
を備える、
請求項１から請求項１１のいずれか１項に記載の運転訓練評価システム。
【請求項13】
前記行動内容が前記被訓練者の視線を含み、前記視線を取得する視線取得部と、前記事象が生じたときに、前記被訓練者が前記タスクに対応する箇所を見ているか否かを識別する視線識別部と、
を備える、
請求項１から請求項１２のいずれか１項に記載の運転訓練評価システム。
【請求項14】
前記評価情報出力部は、前記被訓練者の個別評価結果をグラフ化した個別評価チャートと、
複数の前記被訓練者で構成されるチームのチーム評価結果をグラフ化したチーム評価チャートと、
の少なくとも一方をディスプレイに表示する、
請求項１から請求項１３のいずれか１項に記載の運転訓練評価システム。
【請求項15】
シミュレータが訓練シナリオに沿って訓練用の事象を実行するステップと、前記シミュレータで訓練を受ける被訓練者の行動内容を記録するステップと、
前記シミュレータの操作ログを記録するステップと、
前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するステップと、
前記判定に基づいて前記被訓練者を評価可能な評価情報を出力するステップと、
少なくとも前記被訓練者の動作を含む前記動作に関する映像を収録するステップと、
前記映像に基づいて、前記動作を認識して前記事象との関連性の解析を行い、前記事象に対応して前記被訓練者に要求される前記タスクを実行したか否かの判定結果を含む情報を抽出するステップと、
を含み、
前記タスクを実行したか否かの判定結果を含む情報を抽出するステップは、少なくともクラスタリング解析を含む機械学習により抽出することであって、
前記映像に基づいて、前記クラスタリング解析のための前記被訓練者の入力データを作成し、
前記被訓練者の前記入力データに基づいて、前記クラスタリング解析を行い、前記入力データ間のクラスタ距離を算出し、
算出した前記クラスタ距離に基づいて、クラスタ分類を行い、前記被訓練者の前記入力データと、予め取得されている熟練者の前記入力データと、を比較し、
両入力データ間の前記クラスタ距離に基づいて、前記被訓練者が前記タスクを実行したか否かの判定結果を含む情報を抽出する、
ことを含む、
運転訓練評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、運転訓練評価技術に関する。
【背景技術】
【0002】
発電所などのプラントでは、災害発生時などにおける対応力の向上と技術継承のために運転訓練に力を入れている。プラントの運転については複数人に各役割が与えられており、事象に応じて複雑なやり取りがあるため、訓練の評価は指導者のノウハウに依存している。そこで、被訓練者の会話と操作を確認するために、その音声と映像を記録する技術が知られている。また、音声認識によって被訓練者の会話と操作の関係を明らかにし、適切な会話ができているか否かを評価する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平９－６９００８号公報
【文献】特開２０１９－３６２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、評価の指標として用いるために、模範となる良好な訓練が行われたときに記録された操作データ、プラントデータ、または音声データなどをプラントに生じる事象ごとに蓄積しておく必要がある。そのため、未だ模範となる良好な訓練が行われていないシナリオでは正確な評価を行うことができない。そこで、多様な訓練シナリオに対応できる評価システムが望まれている。
【0005】
本発明の実施形態は、このような事情を考慮してなされたもので、多様な訓練シナリオに対応することができる運転訓練評価技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の実施形態に係る運転訓練評価システムは、訓練シナリオに沿って訓練用の事象を実行するシミュレータと、前記シミュレータで訓練を受ける被訓練者の行動内容を記録する行動記録部と、前記シミュレータの操作ログを記録する操作ログ記録部と、前記行動内容と前記操作ログの少なくとも一方の記録に基づいて、前記被訓練者が前記事象に対応するタスクを実行したか否かを判定するタスク実行判定部と、前記判定に基づいて前記被訓練者を評価可能な評価情報を出力する評価情報出力部と、少なくとも前記被訓練者の動作を含む前記動作に関する映像を収録する映像収録部と、前記映像に基づいて、前記動作を認識して前記事象との関連性の解析を行い、前記事象に対応して前記被訓練者に要求される前記タスクを実行したか否かの判定結果を含む情報を抽出する映像解析部と、を備え、前記タスクを実行したか否かの判定結果を含む情報を抽出する処理は、少なくともクラスタリング解析を含む機械学習により抽出する処理であって、前記映像に基づいて、前記クラスタリング解析のための前記被訓練者の入力データを作成し、前記被訓練者の前記入力データに基づいて、前記クラスタリング解析を行い、前記入力データ間のクラスタ距離を算出し、算出した前記クラスタ距離に基づいて、クラスタ分類を行い、前記被訓練者の前記入力データと、予め取得されている熟練者の前記入力データと、を比較し、両入力データ間の前記クラスタ距離に基づいて、前記被訓練者が前記タスクを実行したか否かの判定結果を含む情報を抽出する、処理を含む。
【発明の効果】
【0007】
本発明の実施形態により、多様な訓練シナリオに対応することができる運転訓練評価技術が提供される。
【図面の簡単な説明】
【0008】
【図1】運転訓練評価システムの構成を示す説明図。
【図2】運転訓練評価システムを示すブロック図。
【図3】処理サーバのメイン制御部を示すブロック図。
【図4】処理サーバの記憶部を示すブロック図。
【図5】携帯端末を示すブロック図。
【図6】現場監視装置を示すブロック図。
【図7】運転訓練評価方法を示すフローチャート。
【図8】タスクの種類と評価指標の組み合わせの具体例を示す説明図。
【図9】タスク判定処理の一部を示すフローチャート。
【図10】第１種タスク判定を示すフローチャート。
【図11】第２種タスク判定を示すフローチャート。
【図12】第３種タスク判定を示すフローチャート。
【図13】第４種タスク判定を示すフローチャート。
【図14】第５種タスク判定を示すフローチャート。
【図15】第６種タスク判定を示すフローチャート。
【図16】第７種タスク判定を示すフローチャート。
【図17】評価結果の表示例を示す画面図。
【図18】訓練現場と座標との関係を示す平面図。
【図19】動線の評価結果の表示例を示すグラフ。
【図20】被訓練者の視線の軌跡を示す説明図。
【図21】注視回数と時間との関係を示すグラフ。
【図22】評価処理におけるデータ抽出処理を示すフローチャート。
【図23】評価処理におけるクラスタ解析処理を示すフローチャート。
【図24】クラスタリングによる解析結果を示すデンドログラム。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、運転訓練評価システムおよび運転訓練評価方法の実施形態について詳細に説明する。
【0010】
図１の符号１は、本実施形態の運転訓練評価システムである。本実施形態では、プラントの中央制御室を模した訓練現場（シミュレータ）を用いて複数の被訓練者の訓練を行う。被訓練者には、中央制御室の運転員を例示する。また、被訓練者には、中央制御室以外の場所、例えば、プラント内の発電設備のある現場にいる作業者、またはプラント敷地内にある事務所、またはプラント敷地外にある事務所にいる監視者が含まれる場合がある。訓練の対象となるプラントとしては、例えば、発電プラント、化学プラント、工場などが想定される。本実施形態では、原子力発電プラントの訓練態様について例示する。訓練シナリオは、インストラクター（指導者）によって予め設定される。
【0011】
それぞれの被訓練者には、訓練現場で生じる様々な事象に対応する役割が与えられている。運転訓練評価システム１は、それぞれの被訓練者の評価を行うために用いられる。また、これらの被訓練者で構成されるチームの評価を行うためにも用いられる。所定の被訓練者はチームを統括する指揮者となっている。また、被訓練者に前述の作業者または監視者が含まれる場合には、それぞれの作業者または監視者にも役割が与えられる。そして、運転員、作業者および監視者が互いに情報伝達をしながら訓練を進めることとなっている。
【0012】
訓練現場には、メインモニタ装置２とメイン操作盤３とサブモニタ装置４とサブ操作盤５と指揮者用操作盤６とが設けられている。メインモニタ装置２（図２０）およびサブモニタ装置４には、プラントの事象に応じて様々な情報を表示するための表示エリアが設けられている。メイン操作盤３とサブ操作盤５と指揮者用操作盤６には、運転員（被訓練者）により操作される多数のスイッチなどが設けられている。
【0013】
メインモニタ装置２とメイン操作盤３とサブモニタ装置４とサブ操作盤５と指揮者用操作盤６とは、シミュレータサーバ７に接続されている。シミュレータサーバ７は、訓練シナリオに沿って装置類を制御し、訓練用の事象を実行する。なお、シミュレータサーバ７は、従来公知の技術を用いて構築しても良い。さらに、シミュレータサーバ７は、処理サーバ８に接続されている。
【0014】
運転員、作業者または監視者など被訓練者は、訓練中の行動内容を記録するための携帯端末９を所持している。この携帯端末９により被訓練者の発話の内容および視線の動きが取得される。それぞれの被訓練者が所持している携帯端末９で取得された情報は、処理サーバ８に送られる。なお、行動内容の記録には、その行動に関する時間（時刻）の情報が含まれる。
【0015】
本実施形態の携帯端末９は、例えば、ディスプレイを備えるスマートフォンでも良い。また、携帯端末９は、被訓練者が装着する透過型ヘッドマウントディスプレイを備えるウェアラブルコンピュータ（スマートグラス）でも良い。このウェアラブルコンピュータは、透過型ヘッドマウントディスプレイと分離した構造でも良い。このウェアラブルコンピュータには、訓練現場の状況、および被訓練者が見ているものを示す目線画像を撮影するためのカメラが搭載されても良い。
【0016】
なお、携帯端末９は、タブレット型ＰＣまたはノートＰＣで構成されても良い。その他、撮影機能、通話機能、通信機能を持つ機器で構成されるものであり、それぞれの機能を持つ複数の機器で構成されるものでも良い。
【0017】
また、訓練現場には、現場監視装置１０が設けられている。この現場監視装置１０は、例えば、監視カメラなどである。現場監視装置１０により収録された映像に基づいて、被訓練者の位置の変化および被訓練者の動作を記録することができる。また、現場監視装置１０は、マイクを備え、訓練現場の音声を収録することができる。現場監視装置１０で取得された情報は、処理サーバ８に送られる。
【0018】
この処理サーバ８は、携帯端末９で被訓練者の発話の内容（会話情報）などを取得し、現場監視装置１０で被訓練者の位置を取得する。さらに、処理サーバ８は、シミュレータサーバ７からシミュレーションの操作ログを取得する。そして、処理サーバ８は、取得した情報に基づいて、訓練で生じる事象に適切に対応できたか否かの評価を行う。例えば、処理サーバ８は、被訓練者の個々の発話の内容を認識し、それぞれの発話の内容に応じて訓練の評価を行う。
【0019】
【0020】
図２に示すように、運転訓練評価システム１は、処理サーバ８とシミュレータサーバ７と携帯端末９と現場監視装置１０とを備える。
【0021】
本実施形態の運転訓練評価システム１における処理サーバ８およびシミュレータサーバ７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の運転訓練評価方法は、各種プログラムをコンピュータに実行させることで実現される。
【0022】
処理サーバ８およびシミュレータサーバ７は、ネットワークで互いに接続されることで運転訓練評価システム１を構成している。なお、必ずしも複数のコンピュータで運転訓練評価システム１を構成する必要はない。例えば、１つのコンピュータを用いて運転訓練評価システム１を構成しても良い。
【0023】
処理サーバ８は、入力部１１と出力部１２と記憶部１３と通信部１４とメイン制御部１５とを備える。
【0024】
入力部１１は、処理サーバ８を使用するユーザの操作に応じて所定の情報が入力される。この入力部１１には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が入力部１１に入力される。
【0025】
出力部１２は、所定の情報の出力を行う。本実施形態の処理サーバ８（運転訓練評価システム１）には、解析結果の出力を行うディスプレイなどの画像の表示を行う装置が含まれる。つまり、出力部１２は、ディスプレイに表示される画像の制御を行う。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。さらに、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を出力部１２が行っても良い。
【0026】
なお、本実施形態では、画像の表示を行う装置としてディスプレイを例示するが、その他の態様であっても良い。例えば、ヘッドマウントディスプレイまたはプロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、出力部１２が制御する対象として、ヘッドマウントディスプレイ、プロジェクタまたはプリンタが含まれても良い。
【0027】
通信部１４は、ＬＡＮ(Local Area Network)などの通信回線を介してシミュレータサーバ７と携帯端末９と現場監視装置１０との通信を行う。この通信部１４は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、通信部１４は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して他の機器またはコンピュータと通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより他の機器またはコンピュータと通信を行っても良い。
【0028】
図３に示すように、メイン制御部１５は、処理サーバ８を統括的に制御する。このメイン制御部１５は、訓練シナリオ設定部１６とタスク設定部１７とタスク実行判定部１８とタスク評価部１９と人物位置取得部２０と人物位置識別部２１と発話者管理部２２と音声認識部２３と発話識別部２４とテキスト変換部２５とテキストマイニング部２６と映像解析部２７と視線取得部２８と視線識別部２９と視線重層部３０とデータ抽出部３１と視線評価部３２と対象物判別部３３と評価情報出力部３４と訓練事象表示部３５と操作ログ表示部３６とテキスト表示部３７と音声再生部３８と辞書修正部３９とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
【0029】
訓練シナリオ設定部１６は、インストラクターにより入力された訓練シナリオを受け付ける。そして、訓練シナリオに沿った評価が行えるように設定を行う。
【0030】
タスク設定部１７は、訓練シナリオに対応するタスクの設定を行う。タスクとは、事象が生じた場合に被訓練者が実行しなければならない行動内容または操作内容のことを示す。なお、タスクは、事象に対応して設定されるとともに、それぞれの被訓練者に対応して設定されても良い。また、訓練シナリオに予め複数のタスクを設定しておき、タスク設定部が、所定の事象に所定の被訓練者に要求されるタスクを、予め設定された複数のタスクから選択しても良い。
【0031】
また、タスク設定部１７は、所定の種類のタスクを所定の評価指標に対応させる設定を行う。なお、評価指標を設定する処理は、複数の評価指標から所定のものを選択する処理でも良い。例えば、複数の評価指標（図８）が設定されており、所定の種類のタスクに対応する評価指標を、複数の評価指標から選択するようにしても良い。
【0032】
本実施形態の行動内容には、被訓練者の発話、被訓練者の視線、被訓練者の動作、被訓練者の位置が含まれる。なお、動作には、被訓練者の上肢の動作が含まれており、所定の操作盤に手を伸ばしたことなどの動作が含まれる。
【0033】
また、タスク設定部１７では、１つの事象に対応して複数種類のタスクを設定することができる。このようにすれば、多様な訓練シナリオに対応するタスクを設定することができる。なお、タスクは、ユーザの手動により設定されても良いし、所定の制御に基づいて自動的に設定されても良い。
【0034】
さらに、タスク設定部１７は、タスクの種類毎に評価指標を設定する（図８）。このようにすれば、被訓練者が多様な訓練シナリオに対応しているか否かの評価を行うことができる。
【0035】
タスク実行判定部１８は、被訓練者の行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定する。なお、タスク実行判定部１８は、１人の被訓練者が１つの事象に対応するそれぞれのタスクを実行したか否かを個別に判定する。
【0036】
また、タスク実行判定部１８は、タスクの種類毎に被訓練者がタスクを実行したか否かを判定する。このようにすれば、被訓練者の詳細な評価を行うことができる。
【0037】
さらに、タスク実行判定部１８は、被訓練者の発話と操作ログとの組み合わせにより少なくとも１つの種類のタスクが実行されたか否かの判定を行う。このようにすれば、発話と操作ログの両方を判定に用いるため、タスクが適切に実行されたか否かの判定の精度を向上させることができる。
【0038】
タスク評価部１９は、被訓練者が実行したタスクに基づいて、所定の指標（図８）の評価を行う。
【0039】
人物位置取得部２０は、現場監視装置１０が取得した映像に基づいて、訓練現場における被訓練者の位置を取得する。被訓練者の位置の変化により被訓練者の移動を把握することができる。つまり、人物位置取得部２０は、被訓練者のトラッキングを行う。本実施形態の行動内容には、被訓練者としての被訓練者の位置が含まれる。
【0040】
なお、人物位置取得部２０は、携帯端末９が取得した情報に基づいて、被訓練者の位置を取得しても良い。例えば、携帯端末９が被訓練者の動作を取得するモーションセンサを備え、このモーションセンサにより被訓練者の位置を把握しても良い。
【0041】
人物位置識別部２１は、シミュレータサーバ７の制御により訓練用の事象が生じたときに、人物位置取得部２０により取得した情報に基づいて、被訓練者がタスクに対応する位置に居るか否かを識別する。このようにすれば、タスクを実行するために適切な位置に被訓練者が居るか否かの評価を行うことができる。
【0042】
発話者管理部２２は、発話をした被訓練者を特定可能な態様で管理する。このようにすれば、訓練シナリオに基づく単語が被訓練者から発話されることに基づいて、タスクの実行の有無の判定を行うことができる。
【0043】
例えば、携帯端末９で音声を収録した場合に、この携帯端末９を所持している被訓練者を特定し、音声に含まれる発話の内容を特定した被訓練者と対応付けて記憶する処理を行う。また、現場監視装置１０で収録した音声に複数の被訓練者の発話が含まれている場合に、それぞれの発話をした被訓練者を音声認識技術により識別する。
【0044】
また、発話者管理部２２は、処理サーバに設定されたアプリケーションを管理する機能を有しても良い。例えば、被訓練者が所持する携帯端末９には、所定のアプリケーションがインストールされている。このアプリケーションに基づいて、それぞれの被訓練者と携帯端末９で取得される情報との対応付けを行い、発話をした被訓練者を特定するようにしても良い。
【0045】
音声認識部２３は、収録された音声を認識する。例えば、公知の音声認識技術を用いて、携帯端末９または現場監視装置１０が収録した音声に含まれる発話の内容を認識することができる。
【0046】
発話識別部２４は、複数の被訓練者の発話が収録された音声から特定の被訓練者の発話を機械学習などの技術を用いて識別する。このようにすれば、収録された音声から特定の被訓練者の発話だけど分離して評価に用いることができる。
【0047】
テキスト変換部２５は、予め登録された辞書に基づいて音声をテキストデータに変換する。辞書には、一般的な会話、過去の訓練シナリオ、訓練シナリオに関する単語が登録されている。このようにすれば、一般的な会話と訓練で用いられる会話とを識別でき、かつ訓練で発話される専門的な単語についても適切にテキストデータに変換することができる。
【0048】
また、音声をテキストデータに変換する処理は、リアルタイムに行われる。例えば、携帯端末９の通信機能を用いてリアルタイムに音声を取得し、この音声の変換を行う。なお、リアルタイムな所定の表示、または評価結果の出力が求められない場合には、音声を含むデータを携帯端末９に蓄積し、訓練後に音声をテキストデータに変換する処理を行っても良い。
【0049】
テキストマイニング部２６は、訓練で取得されたテキストデータに基づいてテキストマイニングを行い、訓練用の事象に対応して被訓練者に要求されるタスクを抽出する。抽出されたタスクは、次回以降の訓練の評価に用いることができる。このようにすれば、テキストマイニング技術を用いて被訓練者に要求されるタスクを自動的に抽出することができる。なお、テキストデータは、テキスト変換部２５で変換されたものを用いる。
【0050】
映像解析部２７は、現場監視装置１０で収録された映像に基づいて、それぞれの被訓練者の移動の軌跡である動線を取得することができる。例えば、訓練場所に平面座標を付与し、被訓練者が居る位置を平面座標に基づいて特定する。そして、映像を画像分析することで人物のトラッキングを行い、時系列順に被訓練者の位置を記録する。この記録に基づいて、適切な時間（時刻）に適切な位置に被訓練者が滞在しているか否かを評価することができる。
【0051】
また、映像解析部２７は、現場監視装置１０で収録された映像に基づいて、被訓練者の動作を認識して発話と訓練用の事象との関連性の解析を行い、事象に対応して被訓練者に要求されるタスクを抽出する。抽出されたタスクは、次回以降の訓練の評価に用いることができる。このようにすれば、映像認識技術を用いて被訓練者に要求されるタスクを自動的に抽出することができる。
【0052】
視線取得部２８は、被訓練者が装着している携帯端末９から送られる情報に基づいて、被訓練者の視線の動きを取得する。
【0053】
視線識別部２９は、視線取得部２８で取得した被訓練者の視線の動きに基づいて、訓練用の事象が生じたときに、被訓練者がタスクに対応する箇所を見ているか否かを識別する。このようにすれば、タスクを実行するために適切な箇所を被訓練者が見ているか否かの評価を行うことができる。
【0054】
視線重層部３０は、携帯端末９で取得された被訓練者が見ている目線画像のいずれの位置に視線（視点）があるかを処理し、その視線の軌跡５６を目線画像に重層する重層処理を行う（図２０）。なお、この重層処理により、視線の軌跡５６を特定可能な情報を含む視線重層データを得ることができる。
【0055】
データ抽出部３１は、視線重層部３０で得られた視線重層データ、および記憶部１３に保存されている工程データに基づいて、視線評価部３２で用いる特徴量を示す第１特徴量データを抽出する。なお、工程データには、操作手順を示す操作データと、作業手順を示す作業データとが含まれる。
【0056】
視線評価部３２は、被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。例えば、被訓練者がプラントの状態を把握するメインモニタ装置２（図２０）の表示エリアを所定の区域ごとに分割し、訓練シナリオおよび事象の進展に応じて被訓練者が確認すべき表示エリアを設定する。視線評価部３２は、それぞれの表示エリアの注視回数を時系列順にカウントする。このカウントに基づいて、適切な時間（時刻）に適切な表示エリアを被訓練者が視認しているか否かを評価することができる。
【0057】
また、視線評価部３２は、データ抽出部３１で抽出した第１特徴量データを、熟練者に関する模範となる模範データであって予め登録された第２特徴量データと比較することにより、第１特徴量データの熟練度を評価することができる。
【0058】
対象物判別部３３は、携帯端末９で取得された被訓練者が見ている目線画像と、記憶部１３に保存されている所定の機器などの対象物の教師データとを用いて、目線画像に含まれる対象物の種類または形状を判別する。
【0059】
評価情報出力部３４は、被訓練者を評価可能な評価情報を出力する。例えば、評価情報出力部３４は、タスク実行判定部１８の判定に基づいて得られる所定の指標の評価結果をディスプレイなどに出力する（図１７または図１９）。また、評価情報出力部３４は、視線評価部３２で得られた評価結果をディスプレイなどに出力する（図２４）。
【0060】
また、評価情報出力部３４は、事象と操作ログとテキストデータとを時系列順に表示する時系列チャートをディスプレイに表示する（図１７）。このようにすれば、事象と操作と発話の内容が時系列順に把握できるようになる。
【0061】
さらに、評価情報出力部３４は、被訓練者の個別評価結果をグラフ化した個別評価チャートと、複数の被訓練者で構成されるチームのチーム評価結果をグラフ化したチーム評価チャートとをディスプレイに表示する（図１７）。このようにすれば、被訓練者の個別評価またはチームの評価が一見して把握できるようになる。
【0062】
また、評価情報出力部３４は、視線評価部３２で評価した熟練度を示す評価結果を、第三者であるインストラクターまたは被訓練者としての運転員などに対して提示することができる。評価結果は、例えば、処理サーバ８が備える一般的なディスプレイに表示しても良いし、スマートグラスなどを用いて被訓練者に提示しても良い。なお、訓練後のみならず、訓練中に被訓練者に評価結果をフィードバックしても良い。
【0063】
訓練事象表示部３５は、訓練用の事象に関する情報を表示する。例えば、評価結果を表示するときに、訓練用の事象５１の履歴を時系列順にディスプレイに表示する（図１７）。
【0064】
操作ログ表示部３６は、操作ログに関する情報を表示する。例えば、評価結果を表示するときに、操作ログ５２の履歴を時系列順にディスプレイに表示する（図１７）。
【0065】
テキスト表示部３７は、被訓練者の発話の内容を示す音声に対応するテキストデータをディスプレイに表示する。例えば、評価結果を表示するときに、それぞれの被訓練者の発話の内容のテキストデータ５３を時系列順に表示する（図１７）。
【0066】
音声再生部３８は、訓練中に収録された被訓練者の発話の内容を示す音声を再生する。このようにすれば、訓練後の振り返り（反省会など）のタイミングで被訓練者の実際の発話の内容を確認することができる。
【0067】
辞書修正部３９は、テキスト変換部２５で誤変換が発生した場合に辞書に登録された内容のうちの誤変換に対応する箇所を修正する。このようにすれば、誤変換の原因となる辞書の登録内容を修正することができ、次回以降の訓練で修正された辞書を用いることができる。
【0068】
図４に示すように、記憶部１３は、訓練に関する評価を行うときに必要な各種情報を記憶する。この記憶部１３は、辞書登録部４０と行動記録部４１と操作ログ記録部４２と工程データ蓄積部４３と模範データ蓄積部４４とを備える。
【0069】
さらに、記憶部１３は、情報を蓄積するデータベースを備えても良い。なお、データベースとは、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。
【0070】
辞書登録部４０は、訓練現場で収録した被訓練者の発話の内容を含む音声をテキストデータに変換するための辞書を登録する。
【0071】
行動記録部４１は、訓練現場（シミュレータ）で訓練を受ける被訓練者の行動内容を記録する。なお、被訓練者の行動内容の記録はリアルタイムに行われる。また、被訓練者の行動内容の記録を示す所定の情報を携帯端末９に蓄積し、訓練後に被訓練者の行動内容の記録を携帯端末９から取得しても良い。
【0072】
操作ログ記録部４２は、訓練現場に設けられているメイン操作盤３とサブ操作盤５と指揮者用操作盤６に関する操作ログを記録する。なお、操作ログはシミュレータサーバ７から送信される。操作ログを取得する処理はリアルタイムに行われる。また、操作ログを含むデータをシミュレータサーバ７に蓄積し、訓練後に操作ログをシミュレータサーバ７から取得しても良い。
【0073】
工程データ蓄積部４３は、被訓練者の操作手順または作業手順を示す各種工程に関する工程データを蓄積する。
【0074】
模範データ蓄積部４４は、熟練者の行動に基づいて取得された模範となる模範データ（第２特徴量データを含む）を蓄積する。本実施形態では、模範データに基づいて作成された指導用の画像を、第三者であるインストラクターまたは被訓練者としての運転員などに対して提示することができる。
【0075】
図５に示すように、携帯端末９は、個別音声収録部４５と視線計測部４６と目線計測カメラ４７と結果重層部４８とを備える。
【0076】
個別音声収録部４５は、被訓練者の発話に関する音声を収録する。例えば、個別音声収録部４５として携帯端末９のマイク機能を用いることができる。また、携帯端末９にピンマイクまたは指向性マイクを接続して音声を収録しても良い。このようにすれば、周囲の音声または雑音の収録を防ぎ、音声の認識率を向上させることができる。
【0077】
視線計測部４６は、被訓練者の視線を計測する。例えば、視線計測部４６は、人間の瞳孔位置を検出し、この瞳孔位置に基づいて、その人間の視線の位置を示す視線データを取得する。例えば、視線計測部４６は、近赤外線、眼電位などに基づいて瞳孔の位置を取得する。一般的には、人間の目元に装着されるメガネ型のデバイスを用いる。また、メガネ型のデバイス以外の機器で瞳孔の位置を取得しても良い。
【0078】
目線計測カメラ４７は、被訓練者が見ている視野の画像（目線画像）を取得する。この目線計測カメラ４７は、人間の目元に装着されるメガネ型のデバイスに搭載しても良いし、それ以外のデバイスに搭載しても良い。また、目線画像は、ビデオ映像（動画像）または静止画像のいずれでも良い。
【0079】
結果重層部４８は、視線評価部３２の評価結果を示す画像を、対象物判別部３３で判別した所定の機器などの対象物に重層して表示する。例えば、被訓練者に対して見るべき箇所を示す指示画像５７（図２０）を対象物としてのメインモニタ装置２に重層して表示する。
【0080】
図６に示すように、現場監視装置１０は、現場映像収録部４９と現場音声収録部５０とを備える。
【0081】
現場映像収録部４９は、訓練現場全体の映像を収録する。この訓練現場全体の映像には、被訓練者の動作に関する映像が含まれる。
【0082】
現場音声収録部５０は、訓練現場全体の音声を収録する。この訓練現場全体の映像には、被訓練者の発話に関する音声が含まれる。
【0083】
なお、運転訓練評価システム１には、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータが含まれても良い。例えば、発話識別部２４、テキストマイニング部２６、映像解析部２７、対象物判別部３３などが機械学習の技術を用いて少なくとも一部の処理を行っても良い。また、その他の構成が機械学習に基づく処理を行っても良い。また、運転訓練評価システム１には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。
【0084】
本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。
【0085】
本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。
【0086】
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。
【0087】
例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。
【0088】
なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。
【0089】
例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。
【0090】
畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。
【0091】
なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。
【0092】
次に、運転訓練評価システム１を用いて実行される運転訓練評価方法について図７のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。以下のステップは、運転訓練評価方法に含まれる少なくとも一部のステップであり、他のステップが運転訓練評価方法に含まれても良い。
【0093】
まず、ステップＳ１１において、インストラクターは、訓練シナリオをシミュレータサーバ７と処理サーバ８に設定（入力）する。
【0094】
次のステップＳ１２において、処理サーバ８のタスク設定部１７は、訓練シナリオに対応するタスクの設定を行う。ここで、タスク設定部１７は、インストラクターの入力操作に基づいて、タスクの設定を行っても良いし、前回以前の訓練で得られた情報に基づいて、タスクの設定を自動的に行っても良い。
【0095】
次のステップＳ１３において、シミュレータサーバ７は、設定された訓練シナリオに沿って訓練用の事象を実行する。
【0096】
次のステップＳ１４において、携帯端末９または現場監視装置１０は、被訓練者の行動の内容を示す音声または映像などを含む情報を記録する。ここで、処理サーバ８は、携帯端末９または現場監視装置１０から被訓練者の行動内容を示す情報を受信する。そして、処理サーバ８は、携帯端末９または現場監視装置１０から得られた情報を記憶部１３の行動記録部４１に記録する。
【0097】
次のステップＳ１５において、シミュレータサーバ７は、事象に応じて被訓練者が操作を行ったときに記録される操作ログを、処理サーバ８に送信する。ここで、処理サーバ８は、シミュレータサーバ７から得られた操作ログを記憶部１３の操作ログ記録部４２に記録する。
【0098】
次のステップＳ１６において、処理サーバ８は、タスク判定処理を実行する。ここで、タスク実行判定部１８は、被訓練者の行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定する（図９から図１６）。
【0099】
次のステップＳ１７において、処理サーバ８は、評価処理を実行する。ここで、タスク評価部１９は、被訓練者が実行したタスクに基づいて、指標の評価を行う。また、視線評価部３２は、被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。
【0100】
【0101】
次のステップＳ１９において、処理サーバ８は、事後処理を実行する。例えば、インストラクターおよび被訓練者が、訓練後の振り返り（反省会など）を行うときに必要な情報を出力する。そして、運転訓練評価方法を終了する。
【0102】
【0103】
インストラクターが設定した訓練シナリオには、複数の事象が盛り込まれており、事象に対応してそれぞれの被訓練者に求められるタスクが設定されている。また、タスクに応じた評価指標も定められている。
【0104】
図８にタスクの種類と評価指標の組み合わせの一例を示す。それぞれのタスクの種類に対応して評価指標が設定される。
【0105】
例えば、第１種タスクとして「Ａ：発生原因を把握しているか」が設定される。第２種タスクとして「Ｂ：他への波及措置をできているか」が設定される。第３種タスクとして「Ｃ：適切な手順書の選択をしているか」が設定される。第４種タスクとして「Ｄ：選択した手順に従い実操作と確認をしているか」が設定される。第５種タスクとして「Ｅ：プラント状況を正しく認識できているか」が設定される。第６種タスクとして「Ｆ：関係者へ適切に連絡できているか」が設定される。第７種タスクとして「Ｇ：適切なタイミングで必要な処置を行えているか」が設定される。
【0106】
また、評価指標として「認知評価」、「処理および操作評価」、「手順書の選択評価」、「保守規定の順守評価」、「コミュニケーション評価」などが設定される。タスクの実行の有無によりそれぞれの評価を行う。
【0107】
例えば、第１種タスクＡは「認知評価」の判定に用いられる。第２種タスクＢは「処理および操作評価」の判定に用いられる。第３種タスクＣは「手順書の選択評価」の判定に用いられる。第４種タスクＤは「保守規定の順守評価」の判定に用いられる。第５種タスクＥは「認知評価」の判定に用いられる。第６種タスクＦは「保守規定の順守評価」および「コミュニケーション評価」の判定に用いられる。第７種タスクＧは「コミュニケーション評価」の判定に用いられる。
【0108】
図９に示すように、訓練シナリオに沿って所定の事象が発生する場合において、この事象に対応するタスクの種類が設定されている。そして、タスクの種類毎に実行の有無が判定される。なお、それぞれのタスクの実行の有無の判定は、被訓練者毎に記録されても良いし、チーム毎に記録されても良い。
【0109】
本実施形態では、第１種タスクＡの判定（ステップＳ１００）と、第２種タスクＢの判定（ステップＳ２００）と、第３種タスクＣの判定（ステップＳ３００）と、第４種タスクＤの判定（ステップＳ４００）と、第５種タスクＥの判定（ステップＳ５００）と、第６種タスクＦの判定（ステップＳ６００）と、第７種タスクＧの判定（ステップＳ７００）とが並列に実行される。
【0110】
図１０に示すように、第１種タスクＡの判定（ステップＳ１００）では、被訓練者が要因の信号名称を発話しているか否を判定する（ステップＳ１０１）。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ１０２）。また、この判定と並列に、被訓練者がファーストヒットの単語を発話しているか否を判定する（ステップＳ１０３）。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ１０４）。これらの判定に基づいて、被訓練者およびチームに関する「認知評価」の点数が記録される（ステップＳ１０５）。
【0111】
図１１に示すように、第２種タスクＢの判定（ステップＳ２００）では、被訓練者が訓練シナリオに対応する操作ができているか否かを判定する（ステップＳ２０１）。この判定には、適切な操作が行われた操作ログが記録されているか、または、適切な時間（タイミング）に操作を行ったか否かの判定を含む。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ２０２）。この判定に基づいて、被訓練者およびチームに関する「処置および操作評価」の点数が記録される（ステップＳ２０３）。
【0112】
図１２に示すように、第３種タスクＣの判定（ステップＳ３００）では、まず、発生した事象がスクラムに関する事象であるか否かを判定する（ステップＳ３０１）。ここで、スクラムに関する事象である場合（ステップＳ３０１にてＹＥＳの場合）は、ステップＳ３０２およびステップＳ３０４に進む。一方、スクラムに関する事象でない場合（ステップＳ３０１にてＮＯの場合）は、ステップＳ３０６およびステップＳ３０８に進む。
【0113】
ステップＳ３０２において、被訓練者が発生要因の名称を発話しているか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ３０３）。また、この判定と並列に、ステップＳ３０４において、スクラムの基本対応が行われたか否かを判定する。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ３０５）。これらの判定に基づいて、被訓練者およびチームに関する「手順書の選択評価」の点数が記録される（ステップＳ３１０）。
【0114】
ステップＳ３０６において、被訓練者が該当する機器の名称を発話しているか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ３０７）。また、この判定と並列に、ステップＳ３０８において、指揮者となる被訓練者が「〇〇を実施せよ」などの対応を周知させるための発話をしているか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ３０９）。これらの判定に基づいて、被訓練者およびチームに関する「手順書の選択評価」の点数が記録される（ステップＳ３１０）。
【0115】
図１３に示すように、第４種タスクＤの判定（ステップＳ４００）では、被訓練者が手順書中の単語を発話しているか否かを判定する（ステップＳ４０１）。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ４０２）。また、この判定と並列に、被訓練者が手順書中の操作を実施しているか否かを判定する（ステップＳ４０３）。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ４０４）。これらの判定に基づいて、被訓練者およびチームに関する「処理および操作評価」の点数が記録される（ステップＳ４０５）。
【0116】
図１４に示すように、第５種タスクＥの判定（ステップＳ５００）では、被訓練者が手順書中の第１パラメータ項目を発話しているか否かを判定する（ステップＳ５０１）。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ５０２）。また、この判定と並列に、被訓練者が手順書中の第２パラメータ項目を発話しているか否かを判定する（ステップＳ５０３）。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ５０４）。これらの判定に基づいて、被訓練者およびチームに関する「認知評価」の点数が記録される（ステップＳ５０５）。
【0117】
図１５に示すように、第６種タスクＦの判定（ステップＳ６００）では、まず、原災法に抵触する事象であるか否かを判定する（ステップＳ６０１）。ここで、原災法に抵触する事象である場合（ステップＳ６０１にてＹＥＳの場合）は、ステップ６０２に進む。一方、原災法に抵触する事象でない場合、例えば、単なる機器の故障などの場合（ステップＳ６０１にてＮＯの場合）は、ステップＳ６０４に進む。
【0118】
ステップＳ６０２において、緊急対策室への連絡が行われたか否かを判定する。なお、緊急対策室への連絡は、インストラクターへの連絡で代用する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ６０３）。この判定に基づいて、被訓練者およびチームに関する「保安規定の順守評価」および「コミュニケーション評価」の点数が記録される（ステップＳ６０６，Ｓ６０７）。
【0119】
ステップＳ６０４において、補修の連絡が行われたか否かを判定する。なお、補修の連絡は、インストラクターへの連絡で代用する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ６０５）。この判定に基づいて、被訓練者およびチームに関する「保安規定の順守評価」および「コミュニケーション評価」の点数が記録される（ステップＳ６０６，Ｓ６０７）。
【0120】
図１６に示すように、第７種タスクＧの判定（ステップＳ７００）では、事象発生後に指定時間内に適切な操作を実施しているか否かを判定する（ステップＳ７０１）。例えば、操作トレンドが適切であるか否かを判定する。そして、この判定のＹＥＳまたはＮＯの記録がされる（ステップＳ７０２）。この判定に基づいて、被訓練者およびチームに関する「コミュニケーション評価」の点数が記録される（ステップＳ７０３）。
【0121】
このようにして、それぞれの種類のタスクの判定フローの組み合わせにより、訓練シナリオ全体の評価を行うことができる。そのため、良好な訓練が行われたときのデータを予め準備せずに訓練評価が可能となり、多様な訓練シナリオに対しても評価可能となる。
【0122】
なお、訓練シナリオと事象とタスクの関係から、テキストマイニング技術を適用し、テキストマイニング部２６（図３）が、訓練シナリオに対応するタスクの種類および評価指標を自動設定しても良い。このようにすれば、評価作業についてさらに効率化させることができる。さらに、過去の訓練シナリオ、監視ビデオの映像などに基づいて被訓練者の行動を解析し、タスク設定部１７が、被訓練者に要求されるタスクを自動的に抽出しても良い。
【0123】
図１７に示すように、処理サーバ８のディスプレイには、評価結果が表示される。例えば、時系列チャートとして、発生した事象５１と、操作ログ５２と、それぞれの被訓練者が発話した内容を示すテキストデータ５３が時系列に表示される。また、被訓練者の個別評価結果を示すレーダーチャート５４とチーム評価結果を示すレーダーチャート５５も表示される。この評価結果は、インストラクターが確認できるとともに、訓練後の振り返り（反省会など）のタイミングでそれぞれの被訓練者に提供される。
【0124】
訓練後の振り返りのタイミングで、音声再生部３８（図３）は、訓練中に収録された音声を再生することができる。また、この音声再生時にテキストデータの誤変換が確認された場合には、フィードバック機能で辞書の修正を行うことができる。例えば、辞書修正部３９（図３）が辞書に登録された内容のうちの誤変換に対応する箇所を修正する。なお、日常的な会話については、一般的な学習機能エンジンを適用しても良い。
【0125】
従来の訓練の現場では、映像およびグラフを用いた評価を行うために、インストラクターがレポートを作成する必要があった。そして、訓練後の振り返りは、概ね訓練から２週間後に実施される場合が多かった。本実施形態では、訓練の直後に振り返りを行うことができ、被訓練者の記憶が新しいうちに、評価結果を提供することができる。
【0126】
また、訓練中は、監視カメラなどで音声と映像を撮影している場合がある。本実施形態では、映像を活用することで、発話とともに被訓練者動線および動作を取得することができる。動線および動作については、画像分析技術を適用する。例えば、映像解析部２７が、映像に基づいて人物を検出し、その人物のトラッキングを行う。そして、事象に応じて適切な位置にいるかを判定する。
【0127】
さらに、発話については、発話識別部２４（図３）などが有する音声分離機能を用いて、それぞれ被訓練者の発話を分離することができる。音声分離機能を用いれば、発話者管理用および音声収録用に携帯端末９を所持しなくて済む。また、音声分離機能は、深層学習で発話者の音声の周波数スペクトルなどの特徴を分類し、いずれの発話者に帰属する音声であるのかを学習させるようにしても良い。
【0128】
本実施形態では、それぞれの被訓練者の移動の軌跡である動線に基づいて、タスクが実行されているか否かを判定することができる。例えば、図１８に示すように、訓練場所に平面座標（Ｘ座標、Ｙ座標）を割り当てる。
【0129】
事象の進展と時間（時刻）は対応しており、時間の変化とともに、それぞれの被訓練者が適切な位置に滞在しているか否かなどをグラフ分布により判定を行う。例えば、図１９に示すように、訓練場所の平面座標と所定の座標位置に被訓練者が滞在しているときの滞在時間をグラフ化することができる。このグラフに基づいてそれぞれの被訓練者のタスクの実行の判定および指標の評価を行うことができる。
【0130】
なお、判定基準（座標と時間）は、訓練シナリオに基づいて設定しても良いし、過去の訓練シナリオと映像に基づいて機械学習を用いて設定しても良い。また、人物の関節検出技術を用いて、被訓練者の確実な指差し確認、呼称の実施、挙手などを検出しても良い。
【0131】
【0132】
視線評価処理では、被訓練者の視線に基づいて評価を行う。例えば、被訓練者の視線データを取得することより、被訓練者が確認および判断した内容、判断に迷いがあったかなどの状態の把握、操作ログに残らない手元の操作などを把握し、これらの事情に基づいて、それぞれの被訓練者のタスクの実行の判定および指標の評価を行うことができる。
【0133】
被訓練者の携帯端末９は、メガネ型のデバイスを含む。このメガネのフレーム部分に視線計測部４６と目線計測カメラ４７が備わっている。そのため、被訓練者が場所を移動しても常に視線を計測することができる。
【0134】
図２０に示すように、具体例としてメインモニタ装置２の視認している被訓練者の目線の評価について説明する。メインモニタ装置２は、警報、水位、タービンの回転数、バルブの開閉状態、所定のグラフなどの複数の種類の表示エリアに区分されている。
【0135】
事象に応じて、被訓練者が確認すべき表示エリアが決まっている。時間（時刻）を事象の進展と対応させて、それぞれの表示エリアの注視回数を検出する。そして、図２１に示すように、時間（事象の進展）と所定の表示エリアの注視回数を対応させたグラフを作成することができる。このようにして、被訓練者の確認が適切に実施されているか否かの評価を行うことができる。
【0136】
さらに、表示エリア毎に、警報の種類または個別のバルブなどによって、さらに詳細な表示エリアに区分されている。これらの個別の表示エリアに対しても、同様に注視回数の評価を行っても良いし、メインモニタ装置２の表示面に平面座標を設定して注視回数の評価を行ってもよい。
【0137】
図３、図５、図２０に示すように、本実施形態の視線評価処理では、視線取得部２８が、携帯端末９の視線計測部４６によって計測された被訓練者の視線の位置を示す視線データを取得する。なお、目線計測カメラ４７によって撮影された目線画像も取得する。
【0138】
ここで、対象物判別部３３は、予め取得された対象物の教師データを用いて、目線画像に写っている被訓練者の視線内の機器などの種類および形状を判別する。そして、結果重層部４８は、視線評価部３２の評価結果に基づく画像を、対象物判別部３３が判別した対象物に重層して表示する。
【0139】
例えば、図２０に示すように、被訓練者がスマートグラスを介してメインモニタ装置２を見ている場合には、メインモニタ装置２が写る目線画像が取得される。ここで、対象物判別部３３は、メインモニタ装置２を対象物として判別する処理を行う。例えば、予め設定されているメインモニタ装置２に関する教師データに基づいて、目線画像に写っているものがメインモニタ装置２であることを判別する。
【0140】
そして、視線重層部３０は、重層処理を実行する。携帯端末９で取得された被訓練者が見ている目線画像のいずれの位置に視線（視点）があるかを処理し、その視線の軌跡５６を目線画像に重層する重層処理を行う。なお、それぞれの被訓練者の視線の軌跡５６を示す情報をインストラクターに提示しても良い。さらに、訓練中に被訓練者が適切な位置を視認していない場合には、被訓練者に対して見るべき箇所を示す指示画像５７（図２０）を対象物に重層させた状態で表示する。
【0141】
重層表示にあたっては、ディスプレイだけではなく、スマートグラスを用い、熟練度に応じて見るべき箇所をマーカーなどで表示する。スマートグラスに表示する場合には、対象物判別部３３の判別結果と連携して対象物の形状に合わせた表示を行う。このようにすれば、熟練度に応じて被訓練者の訓練または作業をサポートすることができる。
【0142】
データ抽出部３１は、被訓練者の視線の軌跡５６を特定可能な情報を含む視線重層データを得ることができる。そして、データ抽出部３１は、視線重層データと工程データに基づいて、特徴量を示す第１特徴量データを抽出する。
【0143】
視線評価部３２は、第１特徴量データを、模範データである第２特徴量データと比較することにより、第１特徴量データの熟練度を評価する。そして、評価情報出力部３４が、被訓練者の熟練度を評価可能な評価情報を出力する。
【0144】
本実施形態の特徴量データは、特徴量の項目としての視線滞在回数、視線注視時間、視線注視までの時間、視線滞在１回あたりの視線注視時間のうちの少なくともいずれか１つに対応するデータである。
【0145】
視線滞在回数は、被訓練者が決められた範囲を何回注視したかを計測する指標である。視線注視時間は、被訓練者が決められた範囲をどれだけの長さ（時間）で注視したかを計測する指標である。視線注視までの時間は、視線が決められた範囲を注視するまでにかかる時間を計測する指標である。視線滞在１回あたりの視線注視時間は、視線注視時間を視線滞在回数で割った値である。
【0146】
次に、データ抽出処理について図２２のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。このデータ抽出処理は、被訓練者の視線重層データおよび被訓練者の視線に対応する工程データを抽出する処理である。なお、視線評価部３２で評価を行うための一部の処理を含むものとして説明する。
【0147】
まず、ステップＳ２１において、データ抽出部３１は、訓練前（事前）に操作ログと操作時刻と視線重層データの対応付けを行う。これにより、視線重層データは、どのような操作が行われるときに得られるものであるかタグ付けができる。
【0148】
次のステップＳ２２において、データ抽出部３１は、訓練前（事前）に視線エリアの区画設定を行う。ここで、視線重層データに含まれる評価したい対象物を複数の区画に分ける。例えば、メインモニタ装置２（図２０）の場合は、それぞれの表示エリアが視線エリアとして区分される。
【0149】
次のステップＳ２３において、データ抽出部３１は、訓練中にそれぞれの視線エリアに対応する視線滞在回数、視線注視時間、視線注視までの時間、視線滞在１回あたりの視線注視時間をそれぞれカウントする。これらのデータは、被訓練者毎にカウントされる。
【0150】
次のステップＳ２４において、データ抽出部３１は、訓練中にそれぞれの視線エリアに対応する視線データ（視線の軌跡５６）を抽出する。
【0151】
次のステップＳ２５において、視線評価部３２は、訓練中に被訓練者が適切な位置を視認しているか否かを示す視線の評価を行う。
【0152】
次のステップＳ２６において、評価情報出力部３４は、訓練中に被訓練者が適切な位置を視認していない場合に、被訓練者に対して見るべき箇所を示す指示画像５７（図２０）を対象物に重層させた状態で表示する。例えば、警報の発生時に、被訓練者が見るべき箇所がグラフ表示エリアである場合に、被訓練者が警報表示エリアばかり見ているときには、指示画像５７をグラフ表示エリアに重層させた状態で表示する。すると、被訓練者は、指示画像５７によってグラフ表示エリアに注目するようになる。そして、データ抽出処理を終了する。なお、訓練中はステップＳ２３からステップＳ２６を繰り返しても良い。
【0153】
次に、クラスタ解析処理について図２３のフローチャートを用いて説明する。なお、前述の図面を適宜参照する。このクラスタ解析処理は、データ抽出部３１で抽出された視線データに基づいて、被訓練者を評価するための処理である。
【0154】
まず、ステップＳ３１において、視線評価部３２は、データ抽出部３１で抽出された視線データに基づいて、クラスタリング解析のための入力データを作成する。なお、入力データは、被訓練者毎に作成される。なお、チーム毎に入力データを作成しても良い。つまり、視線評価部３２は、クラスタリング入力データ作成部を備える。
【0155】
次のステップＳ３２において、視線評価部３２は、入力データに基づいてクラスタリング解析を実行する。つまり、視線評価部３２は、クラスタリング解析部を備える。ラスタリング解析により、入力データ間のクラスタ距離を算出する。
【0156】
次のステップＳ３３において、視線評価部３２は、算出した入力データ間のクラスタ距離に基づいて、クラスタ分類を行う。なお、データ数が少ない場合など、クラスタ分類が必ずしも適さない場合は、このクラスタ分類を省略しても良い。
【0157】
次のステップＳ３４において、視線評価部３２は、算出した入力データ間のクラスタ距離を抽出する。
【0158】
次のステップＳ３５において、評価情報出力部３４は、算出した入力データ間のクラスタ距離を識別可能な情報を含む解析結果を出力する。そして、クラスタ解析処理を終了する。
【0159】
図２４にクラスタ分類に基づく解析結果の一例を示す。ここでは、被訓練者３名と熟練者１名の合計４名の被訓練者をクラスタ分類した結果を示している。この図は樹形図（デンドログラム）と呼ばれ、最も似ている組み合わせから順番にまとまり（クラスタ）となり、途中過程が階層のように表せる点が特徴である。縦軸は、クラスタ距離（高さ）を表しており、距離の算出はユークリッド距離など複数の方法のうち、適切なものを選択する必要がある。
【0160】
本実施形態では、被訓練者としての３名の被訓練者の第１特徴量データとして、番号１、番号２および番号３のデータを用いている。熟練者の被訓練者の第２特徴量データとして、番号４のデータを用いている。
【0161】
ここで、熟練者である第２特徴量データ（番号４）と同じ枝に分類されている番号１の被訓練者は、他の番号２および番号３の被訓練者に比べ、熟練者と似ている。つまり、熟練度が高いと判断できる。
【0162】
なお、複数の熟練者同士のクラスタ距離を算出した後、被訓練者とのクラスタ距離を算出することで、被訓練者が熟練者間で許容されるクラスタ距離と、どれだけ差異があるかを数値上だけではなく、視覚上でも把握することができる。
【0163】
本実施形態では、第１特徴量データと第２特徴量データの間のクラスタ距離を算出し、被訓練者の熟練度、迷いおよび集中力を定量的に評価することができる。
【0164】
このように、視線評価部３２は、データ抽出部３１で得た視線データ（第１特徴量データ）と、模範データ蓄積部４４に保存されている熟練者データである模範データ（第２特徴量データ）と比較することができる。
【0165】
なお、訓練中において、熟練者が見ているのに被訓練者が見ていない箇所を特定する場合には、熟練者の視線データと被訓練者の視線データの差を算出すれば良い。さらに、この差を示す表示を行う場合には、ヒートマップと呼ばれる数値の大小によって、視線エリア内の色を変化させる表示方法を用いても良い。このようにすれば、熟練者の視線データと被訓練者の視線データを比較することにより、訓練でどこを見るべきだったかという推奨行動を提示することができる。
【0166】
なお、視線評価部３２は、模範データ蓄積部４４に保存されている過去の熟練者のデータと、訓練中に取得された被訓練者のデータとを比較し、作業または工程の時系列データと、熟練者のデータと訓練者のデータの差異が大きかった箇所を特定しても良い。この差異が大きかった箇所をミスが生じ易い箇所と定義してインストラクターまたは被訓練者に提示しても良い。また、同一の目標を達成する作業または工程において、複数の手順が存在する場合には、熟練者のデータと訓練者のデータの差異が小さかった箇所を特定しても良い。この差異が小さかった箇所をミスが生じ難い箇所と定義してインストラクターまたは被訓練者に提示しても良い。
【0167】
また、視線評価部３２は、過去の熟練者のデータおよび被訓練者のデータを用いて、その差異の大小により、作業または手順の難易度を求めても良い。この難易度に応じて、実際の運用において適切な対応が可能であるとされる従事者を選定しても良い。
【0168】
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
【0169】
本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
【0170】
なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
【0171】
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
【0172】
なお、本実施形態では、被訓練者およびチーム毎に評価結果を示すチャートを作成しているが、その他の態様であっても良い。例えば、事象毎に評価結果を示すチャートを作成しても良い。
【0173】
なお、本実施形態では、処理サーバ８が操作ログおよび被訓練者の行動内容を収集するとともに評価に関する処理を行っているが、その他の態様であっても良い。例えば、操作ログおよび被訓練者の行動内容を収集するサーバと、評価に関する処理を行うサーバとを別個に構築しても良い。
【0174】
なお、本実施形態では、被訓練者の視線の軌跡および目線画像を取得するために、被訓練者のメガネのフレーム部分に視線計測部４６と目線計測カメラ４７を設けているが、その他の態様であっても良い。例えば、被訓練者の正面側に設けられたカメラで被訓練者の顔または目を撮影して被訓練者の視線の軌跡を取得しても良い。さらに、被訓練者の背後側に設けられたカメラで被訓練者が見ている風景（目線画像）を取得しても良い。
【0175】
以上説明した実施形態によれば、行動内容と操作ログの少なくとも一方の記録に基づいて、被訓練者が事象に対応するタスクを実行したか否かを判定するタスク実行判定部を備えることにより、多様な訓練シナリオに対応することができる。
【0176】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0177】
１…運転訓練評価システム、２…メインモニタ装置、３…メイン操作盤、４…サブモニタ装置、５…サブ操作盤、６…指揮者用操作盤、７…シミュレータサーバ、８…処理サーバ、９…携帯端末、１０…現場監視装置、１１…入力部、１２…出力部、１３…記憶部、１４…通信部、１５…メイン制御部、１６…訓練シナリオ設定部、１７…タスク設定部、１８…タスク実行判定部、１９…タスク評価部、２０…人物位置取得部、２１…人物位置識別部、２２…発話者管理部、２３…音声認識部、２４…発話識別部、２５…テキスト変換部、２６…テキストマイニング部、２７…映像解析部、２８…視線取得部、２９…視線識別部、３０…視線重層部、３１…データ抽出部、３２…視線評価部、３３…対象物判別部、３４…評価情報出力部、３５…訓練事象表示部、３６…操作ログ表示部、３７…テキスト表示部、３８…音声再生部、３９…辞書修正部、４０…辞書登録部、４１…行動記録部、４２…操作ログ記録部、４３…工程データ蓄積部、４４…模範データ蓄積部、４５…個別音声収録部、４６…視線計測部、４７…目線計測カメラ、４８…結果重層部、４９…現場映像収録部、５０…現場音声収録部、５１…事象、５２…操作ログ、５３…テキストデータ、５４，５５…レーダーチャート、５６…視線の軌跡、５７…指示画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】