特開 2024-180057 作業機械の表示システムおよび表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180057

(43)【公開日】2024-12-26

(54)【発明の名称】作業機械の表示システムおよび表示方法

(51)【国際特許分類】

   G09B 9/04 20060101AFI20241219BHJP

   G09B 9/052 20060101ALI20241219BHJP

   G09B 19/16 20060101ALI20241219BHJP

   E02F 9/26 20060101ALI20241219BHJP

【ＦＩ】

G09B9/04 Z

G09B9/052

G09B19/16

E02F9/26 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023099484

(22)【出願日】2023-06-16

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(71)【出願人】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】奥田 浩詞

(72)【発明者】

【氏名】松村 幸紀

(72)【発明者】

【氏名】大槻 麻衣

【テーマコード（参考）】

2D015

【Ｆターム（参考）】

2D015HA03

(57)【要約】

【課題】作業機械の操作のトレーニングにおいて、操作者による操作と他の操作とを容易に比較する。
【解決手段】表示システムは、第１操作者による第１操作データの入力を受け付ける。表示システムは、第１操作データに従って作業機械の姿勢の変化をシミュレートする。表示システムは、過去に第２操作者によって入力された第２操作データを含む模範データに基づいて、第２操作者による操作を再現する。表示システムは、シミュレートされた作業機械の姿勢の変化を表す第１動画像と、再現された前記第２操作者による操作を表す第２動画像とを同時に表示する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

作業機械の表示システムであって、
第１操作者による第１操作データの入力を受け付け、
前記第１操作データに従って作業機械の姿勢の変化をシミュレートし、
過去に第２操作者によって入力された第２操作データを含む模範データに基づいて、前記第２操作者による操作を再現し、
シミュレートされた前記作業機械の姿勢の変化を表す第１動画像と、再現された前記第２操作者による操作を表す第２動画像とを同時に表示する
表示システム。

【請求項2】

前記模範データに基づいて作業機械の挙動を再現し、
前記第２動画像は、再現された前記第２操作者による操作と、再現された作業機械の挙動とを含み、
前記第１動画像と前記第２動画像とは重ねて表示される
請求項１に記載の表示システム。

【請求項3】

前記第２動画像は、操作レバーの基準位置を示す基準位置画像と、操作後の前記操作レバーの位置を示す入力位置画像とを含む
請求項２に記載の表示システム。

【請求項4】

前記第１動画像は、前記第１操作者による前記第１操作データの操作レバーの位置を示す入力位置画像を含む
請求項３に記載の表示システム。

【請求項5】

前記第２動画像は、前記操作レバーの過去の位置を示す複数の過去位置画像を含み、前記複数の過去位置画像は、古いほど小さくまたは透明度が高い
請求項３に記載の表示システム。

【請求項6】

前記第２動画像は、操作レバーを前記操作レバーの操作平面の上方から平面視したときの、前記操作レバーの位置の変化を表す
請求項１から請求項５のいずれか１項に記載の表示システム。

【請求項7】

前記第１動画像および前記第２動画像はヘッドマウントディスプレイに表示され、
前記第２動画像は前記ヘッドマウントディスプレイにおける視線方向前方に位置する
請求項１から請求項５のいずれか１項に記載の表示システム。

【請求項8】

コンピュータが、
第１操作者による第１操作データの入力を受け付け、
前記第１操作データに従って作業機械の姿勢の変化をシミュレートし、
過去に第２操作者によって入力された第２操作データを含む模範データに基づいて、前記第２操作者による操作を再現し、
シミュレートされた前記作業機械の姿勢の変化を表す第１動画像と、再現された前記第２操作者による操作を表す第２動画像とを同時に表示する
表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の表示システムおよび表示方法に関する。

【背景技術】

【0002】

特許文献１には、オペレータが自身または他のオペレータによる作業機械の操作を参考にしながら、作業機械の操作のシミュレーションを行う技術が開示されている。特許文献１に記載の技術は、遠隔操作による作業機械の過去の作業の動画像を再生し、動画像を停止させたときの再生位置に係る作業環境で、作業のシミュレーションを行うものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１０３１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

トレーニングのためのシミュレーションにおいて、操作のシミュレーションを行っているときに、同時に過去の作業機械の操作を確認することが求められている。例えば、初心者であるトレーニーは、熟練者であるトレーナーの操作に追従して作業機械の操作を行うことで、効率的に操作を習得することができる。また例えば、中級者であるトレーニーは、熟練者であるトレーナーの操作との違いをリアルタイムに認識することで、操作の細かな違いに気づくことができる。

【0005】

本開示の目的は、作業機械の操作のトレーニングにおいて、操作者による操作と他の操作とを容易に比較することができる作業機械の表示システムおよび表示方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、作業機械の表示システムは、第１操作者による第１操作データの入力を受け付け、前記第１操作データに従って作業機械の姿勢の変化をシミュレートし、過去に第２操作者によって入力された第２操作データを含む模範データに基づいて、前記第２操作者による操作を再現し、シミュレートされた前記作業機械の姿勢の変化を表す第１動画像と、再現された前記第２操作者による操作を表す第２動画像とを同時に表示する。

【発明の効果】

【0007】

上記態様によれば、作業機械の操作のトレーニングにおいて、操作者による操作と他の操作とを容易に比較することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態に係るトレーニングシステムの構成を示す概略図である。

【図2】第１の実施形態に係るトレーニングシミュレータのソフトウェア構成を示すブロック図である。

【図3】第１の実施形態に係る模範データの作成方法を示すフローチャートである。

【図4】第１の実施形態に係る設定データの入力画面の一例を示す図である。

【図5】第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート１）である。

【図6】第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート２）である。

【図7】第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート３）である。

【図8】第１の実施形態に係るゴーストマシンの全体をレンダリングするときの画像データの一例である。

【図9】第１の実施形態に係るゴーストマシンのバケットのみをレンダリングするときの画像データの一例である。

【図10】第１の実施形態に係るゴーストマシンのバケットの刃先の軌跡を表示するときの画像データの一例である。

【図11】第１の実施形態に係るトレーナーのレバー操作を表示するときの画像データの一例である。

【図12】第１の実施形態に係るトレーナーの視線を表示するときの画像データの一例である。

【図13】第１の実施形態に係るサイドビューを表示するときの画像データの一例である。

【図14】第１の実施形態に係る軌跡モデルの例を示す図である。

【図15】第１の実施形態に係るトレーナーによるワークデータの評価方法を示すフローチャートである。

【図16】第１の実施形態に係るトレーニーによる評価結果の閲覧方法を示すフローチャートである。

【図17】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0009】

〈第１の実施形態〉
《トレーニングシステム１の構成》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るトレーニングシステム１の構成を示す概略図である。
第１の実施形態に係るトレーニングシステム１は、作業機械１００の操作に不慣れなオペレータであるトレーニーが、作業機械１００の操作に熟練したオペレータであるトレーナーの操作を参考にしながら、作業機械１００の操作のシミュレーションを行うためのシステムである。トレーニーは、自身の操作について、トレーニングシステム１やトレーナーによる評価を受けることができる。トレーナーおよびトレーニーは、いずれも作業機械１００の操作者である。第１の実施形態では、トレーニングシステム１は、作業機械１００である油圧ショベルの操作のトレーニングに用いられる。なお、作業機械１００の種類は、油圧ショベルに限られず、ブルドーザ、ホイルローダ、フォークリフトなどの他の作業機械であってもよい。

【0010】

トレーニングシステム１は、データサーバ１０と、１または複数のトレーニングシミュレータ３０とを備える。

【0011】

データサーバ１０は、トレーニングに用いる模範データおよびワークデータを記憶する。模範データは、トレーナーによる作業機械１００の操作を表す。トレーニーは、模範データを参考にしてトレーニングを行う。ワークデータは、トレーニーによる作業機械１００の操作を表す。トレーニングシステム１およびトレーナーは、ワークデータに基づいてトレーニーの操作を評価する。模範データおよびワークデータは、操作レバーの操作の時系列、作業機械１００の姿勢（作業機の関節角度および旋回角度）の時系列、および視線の時系列を含む。以下、模範データおよびワークデータのような、作業機械１００の操作および挙動の時系列を表すデータを、挙動記録データともいう。

【0012】

具体的には、データサーバ１０は、模範データを格納する模範データテーブルＴ１と、ワークデータを格納するワークデータテーブルＴ２と、認証データを格納するユーザテーブルＴ３とを備える。
模範データテーブルＴ１は、模範データと、当該模範データのＩＤ（識別情報）である模範ＩＤと、当該模範データで再現される作業内容を示す概要データとを関連付けて格納する。
ワークデータテーブルＴ２は、ワークデータと、当該ワークデータのＩＤ（識別情報）であるワークＩＤと、対応する模範データの模範ＩＤと、トレーニングシステム１による評価を示す評価データと、トレーナーによる評価を示すコメントデータとを関連付けて格納する。
ユーザテーブルＴ３は、ユーザＩＤと、ユーザ区分と、認証情報とを関連付けて記憶する。ユーザ区分の値は、トレーナーおよびトレーニーのいずれかである。認証情報は、例えばパスワードであってよい。

【0013】

トレーニングシミュレータ３０は、操作者による操作入力を受け付け、当該操作入力に応じた作業機械１００の挙動を模擬する。トレーニングシミュレータ３０は、作業機械１００の挙動を表す映像を生成し、操作者に提示する。またトレーニングシミュレータ３０は、データサーバ１０が記憶する模範データに基づいて作業機械１００の挙動を再現し、作業機械１００の挙動を表す映像を生成し、操作者に提示する。

【0014】

トレーニングシミュレータ３０は、演算装置３１と、操作装置３３と、ヘッドマウントディスプレイ３５とを備える。操作装置３３は、作業機械１００を操作するための入力インタフェースである。第１の実施形態に係る操作装置３３は、２つの操作レバー（右側操作レバーと左側操作レバー）である。なお、操作装置３３は、シミュレーションを行う作業機械１００の種類によって異なっていてよい。ヘッドマウントディスプレイ３５は、演算装置３１によって演算された映像を表示する。ヘッドマウントディスプレイ３５は、装着者の視線を検出するアイトラッカおよびヘッドマウントディスプレイ３５の姿勢を検出するＩＭＵ（Inertial Measurement Unit）を備える。演算装置３１は、操作装置３３の入力に基づいて仮想空間Ｖにおける作業機械１００のシミュレーションを行う。演算装置３１は、ヘッドマウントディスプレイ３５の姿勢に基づいて仮想空間Ｖにおける視線の方向を決定し、シミュレーション結果をレンダリングする。これによりヘッドマウントディスプレイ３５には、ヘッドマウントディスプレイ３５の姿勢と連動して仮想空間Ｖが表示される。

【0015】

《作業機械１００の構成》
作業機械１００は、走行体１１０、旋回体１２０および作業機１３０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。旋回体１２０の前部には運転室１２１が設けられる。演算装置３１による仮想空間Ｖを描画するためのレンダリングカメラは、運転室１２１内に設けられる。
作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。
作業機１３０は、ブーム１３１、アーム１３２、作業具としてのバケット１３３を備える。例えば、作業具は幅方向に亘る刃先を有する。作業具の他の例として、クラムバケット、チルトバケット、チルトローテートバケット、ブレーカ、グラップラなどの先端アタッチメントが挙げられる。

【0016】

ブーム１３１の基端部は、旋回体１２０にブームピンを介して回転可能に取り付けられる。なお、図１に示す作業機械１００においては、ブーム１３１が旋回体１２０の正面中央部分に設けられるが、これに限られず、ブーム１３１は左右方向にオフセットして取り付けられたものであってもよい。この場合、旋回体１２０の旋回中心は作業機１３０の動作平面上に位置しない。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンを介して回転可能に取り付けられる。
バケット１３３は、アーム１３２の先端部にピンを介して回転可能に取り付けられる。バケット１３３は、掘削した土砂を収容するための容器として機能する。

【0017】

《トレーニングシミュレータ３０の構成》
図２は、第１の実施形態に係るトレーニングシミュレータ３０が備える演算装置３１のソフトウェア構成を示すブロック図である。
トレーニングシミュレータ３０が備える演算装置３１は、入力部３１１、取得部３１２、再現部３１３、シミュレータ３１４、レンダリング部３１５、表示制御部３１６、生成部３１７、評価部３１８、送信部３１９、設定記憶部３２０、コメント部３２１、認証部３２２を備える。

【0018】

入力部３１１は、操作装置３３の操作データ、ヘッドマウントディスプレイ３５のＩＭＵが計測する姿勢データ、およびヘッドマウントディスプレイ３５のアイトラッカが計測する視線データを取得する。視線データは、ヘッドマウントディスプレイ３５の表示面を基準とする方向によって表される。なお、姿勢データと視線データとを組み合わせることで、絶対的な視線方向を特定することができる。以下、アイトラッカによって計測される視線データを一次視線データとよび、姿勢データと視線データとから特定された絶対的な視線方向を示す視線データを二次視線データとよぶ。

【0019】

取得部３１２は、データサーバ１０から挙動記録データ（模範データおよびワークデータ）を取得する。
再現部３１３は、取得部３１２が取得した挙動記録データに基づいて作業機械１００の挙動を再現する。以下、再現部３１３によって仮想空間Ｖに再現される作業機械１００をゴーストマシン１００Ｇと呼ぶ。再現部３１３は、挙動記録データに含まれる作業機１３０の関節角度および旋回体１２０の旋回角度の時系列に従ってゴーストマシン１００Ｇを配置することで、作業機械１００の挙動を再現する。なお、他の実施形態に係る再現部３１３は、例えば、挙動記録データに含まれる操作レバーの動きの時系列データを基に作業機械１００の挙動をシミュレートし、ゴーストマシン１００Ｇを配置してもよい。

【0020】

シミュレータ３１４は、入力部３１１に入力された操作データに基づいて、作業機械１００の挙動をシミュレートする。以下、シミュレータ３１４によって模擬される作業機械１００をアバターマシン１００Ａと呼ぶ。シミュレータ３１４は、操作データが示す操作量に従って旋回体１２０および作業機１３０の角速度を計算することで、アバターマシン１００Ａの挙動を模擬する。

【0021】

レンダリング部３１５は、ゴーストマシン１００Ｇおよびアバターマシン１００Ａを描画し、画像データを生成する。仮想空間におけるレンダリングカメラは、アバターマシン１００Ａの運転室１２１内に位置する。レンダリングカメラは、アバターマシン１００Ａの前方を基準に、入力部３１１に入力された姿勢データが示すヘッドマウントディスプレイ３５の正面方向に向けられる。なお、レンダリング部３１５によるレンダリングは所定のフレームレートごとに行われる。そのため、レンダリング部３１５が生成する画像データは動画像のフレーム画像として扱われる。

【0022】

表示制御部３１６は、レンダリング部３１５によって描画された画像データをヘッドマウントディスプレイ３５に出力する。

【0023】

生成部３１７は、入力部３１１に入力された操作データ、姿勢データおよび一次視線データ、並びにシミュレータ３１４によって模擬されたアバターマシン１００Ａの姿勢に基づいて、挙動記録データを生成する。具体的には、生成部３１７は、シミュレータ３１４によって模擬されたアバターマシン１００Ａの姿勢に基づいて、仮想空間におけるアバターマシン１００Ａの走行体１１０、旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３の位置および姿勢を得る。各位置および姿勢は、仮想空間を定義する三次元直行座標系である仮想空間座標系で表される。生成部３１７は、仮想空間における走行体１１０、旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３の位置および姿勢、並びに姿勢データおよび一次視線データに基づいて、仮想空間座標系における視線の方向を示す二次視線データを生成する。

【0024】

評価部３１８は、取得部３１２が取得した模範データと生成部３１７が生成したワークデータとの違いに基づいて、トレーニーによる操作を評価する。例えば、評価部３１８は、模範データとワークデータとが示す仮想空間における旋回体１２０の位置および姿勢、並びに姿勢データおよび二次視線データの距離を算出する。評価部３１８は、例えば走行体１１０、旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３の位置および姿勢の時系列、姿勢データの時系列、並びに二次視線データの時系列のそれぞれについて、模範データとワークデータとの距離を求め、距離の加重和を評価値として産出する。この場合、評価値はゼロに近いほど評価が高いことを示す。時系列の距離は、ＤＴＷ法を用いて計算されてよい。

【0025】

送信部３１９は、生成部３１７が生成した挙動記録データをデータサーバ１０に送信する。

【0026】

設定記憶部３２０は、トレーニングシミュレータ３０の設定データを記憶する。設定データは、ゴーストマシン１００Ｇの再生速度、ゴーストマシン１００Ｇの表示の有無、ゴーストマシン１００Ｇの作業具の刃先の軌跡の表示の有無、サイドビューの表示の有無、トレーナーのレバー操作の表示の有無、トレーナーの視線の表示の有無を格納する。設定データはトレーニーの操作によって更新できる。サイドビューは、仮想空間をアバターマシン１００Ａの側方から表示する画像である。サイドビューは、運転室内に描画される。

【0027】

コメント部３２１は、ワークデータへのコメントの入力を受け付ける。コメントには再生タイミングを関連付けることができる。これにより、コメント部３２１は、ワークデータを再生したときに、所定の再生タイミングにおいてコメントが表示されるように設定することができる。

【0028】

認証部３２２は、データサーバ１０が記憶する認証情報に基づいてトレーニングシミュレータ３０の操作者の認証を行う。

【0029】

《トレーニングシステム１の処理》
トレーニングシミュレータ３０が起動すると、認証部３２２はヘッドマウントディスプレイ３５にログイン画面を表示させる。ログイン画面には、例えばユーザＩＤおよび認証情報の入力フォームが表示される。操作者がログイン画面にユーザＩＤおよび認証情報の値を入力すると、認証部３２２はデータサーバ１０のユーザテーブルＴ３から入力されたユーザＩＤに関連付けられた認証情報を取得し、認証情報の照合を行う。

【0030】

認証部３２２が照合に成功すると、表示制御部３１６はヘッドマウントディスプレイ３５にメニュー画面を表示させる。
操作者のユーザ区分がトレーナーである場合、メニュー画面には、模範データの作成およびワークデータの評価のいずれかを選択させるためのトレーナーメニューが表示される。
操作者のユーザ区分がトレーニーである場合、メニュー画面には、トレーニングの実施、評価結果の閲覧、および設定の変更のいずれかを選択させるためのトレーニーメニューが表示される。

【0031】

《模範データの生成》
図３は、第１の実施形態に係る模範データの作成方法を示すフローチャートである。
トレーナーがトレーニングシミュレータ３０にログインし、メニュー画面にて模範データの作成を選択すると、シミュレータ３１４は、仮想空間に初期姿勢のアバターマシン１００Ａと、フィールドとを配置する（ステップＳ１０１）。

【0032】

入力部３１１は、操作装置３３の操作データ、ヘッドマウントディスプレイ３５のＩＭＵが計測する姿勢データ、およびヘッドマウントディスプレイ３５のアイトラッカが計測する一次視線データを取得する（ステップＳ１０２）。

【0033】

シミュレータ３１４は、ステップＳ１０２で入力された操作データに基づいて、所定のフレーム時間後のアバターマシン１００Ａの挙動をシミュレートする（ステップＳ１０３）。このとき、シミュレータ３１４は、走行体１１０、旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３の位置および姿勢を計算する。

【0034】

シミュレータ３１４は、旋回体１２０の位置および姿勢、並びにステップＳ１０２で入力された姿勢データに基づいて、仮想空間におけるレンダリングカメラの位置および姿勢を決定する（ステップＳ１０４）。レンダリング部３１５は、ステップＳ１０４で求めたレンダリングカメラからアバターマシン１００Ａが配置された仮想空間を描画する（ステップＳ１０５）。表示制御部３１６は、ステップＳ１０５で描画された画像データをヘッドマウントディスプレイ３５に出力する（ステップＳ１０６）。

【0035】

生成部３１７は、ステップＳ１０４で計算されたレンダリングカメラの位置および姿勢、並びにステップＳ１０２で取得された一次視線データに基づいて、仮想空間におけるトレーナーの視線の向きを示す二次視線データを生成する（ステップＳ１０７）。生成部３１７は、ステップＳ１０２で取得された操作データ、ステップＳ１０４で計算したアバターマシン１００Ａの姿勢、およびステップＳ１０７で生成された二次視線データに基づいて、１フレーム分の挙動記録データを生成する（ステップＳ１０８）。

【0036】

生成部３１７は、トレーナーによる操作が終了したか否かを判定する（ステップＳ１０９）。トレーナーは、操作を終了すると判断すると、画面上の終了ボタンへ視線を移すなどトレーニングシミュレータ３０に所定の操作を行うことで、操作終了を指示する。トレーナーによる操作が終了していない場合（ステップＳ１０９：ＮＯ）、ステップＳ１０２に処理を戻し、次のフレームのシミュレーションを行う。

【0037】

他方、トレーナーによる操作が終了した場合（ステップＳ１０９：ＹＥＳ）、生成部３１７は、生成された複数フレームの挙動記録データを模範データとしてまとめる（ステップＳ１１０）。また生成部３１７は、トレーナーから模範データについての概要データの入力を受け付ける（ステップＳ１１１）。送信部３１９は、模範データおよび概要データをデータサーバ１０に送信する（ステップＳ１１２）。これにより、データサーバ１０は、受信した模範データに模範ＩＤを付し、模範ＩＤ、模範データおよび概要データを関連付けて模範データテーブルＴ１に記録する。

【0038】

《設定の変更》
トレーニーがトレーニングシミュレータ３０にログインし、メニュー画面にて設定の変更を選択すると、表示制御部３１６は、設定記憶部３２０が記憶する設定データを読み出し、設定データの入力画面をヘッドマウントディスプレイ３５に出力する。図４は、第１の実施形態に係る設定データの入力画面の一例を示す図である。入力画面には、ゴーストマシン１００Ｇの再生速度、ゴーストマシン１００Ｇの表示の有無、ゴーストマシン１００Ｇの刃先の軌跡の表示の有無、サイドビューの表示の有無、トレーナーのレバー操作の表示の有無、トレーナーの視線の表示の有無の入力フォームと、決定ボタンとが含まれる。設定データはトレーニーの操作によって更新できる。入力フォームにおいてゴーストマシン１００Ｇの表示がＯＮである場合に、入力画面にはゴーストマシン１００Ｇのバケット１３３のみを表示するか否かの入力フォームが表示される。トレーニーの操作により決定ボタンが操作されると、設定記憶部３２０は入力画面に入力された値に従って設定データを更新する。

【0039】

《トレーニングの実施》
図５は、第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート１）である。図６は、第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート２）である。図７は、第１の実施形態に係るトレーニングの実施方法を示すフローチャート（パート３）である。
トレーニーがトレーニングシミュレータ３０にログインし、メニュー画面にてトレーニングの実施を選択すると、取得部３１２はデータサーバ１０にアクセスし、模範データテーブルＴ１に記録された模範データのリストを取得する（ステップＳ２０１）。表示制御部３１６は、取得したリストから１つの模範データを選択するための選択画面をヘッドマウントディスプレイ３５に出力する（ステップＳ２０２）。このとき、選択画面には、模範データの一覧と、当該模範データの内容を示す概要データとが表示される。トレーニーは概要データを読み、１つの模範データを選択する。

【0040】

取得部３１２は、データサーバ１０にアクセスし、トレーニーによって選択された模範データを、模範データテーブルＴ１から取得する（ステップＳ２０３）。シミュレータ３１４は、仮想空間にアバターマシン１００Ａとゴーストマシン１００Ｇとフィールドとを配置する（ステップＳ２０４）。アバターマシン１００Ａとゴーストマシン１００Ｇは、同じ位置に重複して配置される。

【0041】

入力部３１１は、操作装置３３の操作データ、ヘッドマウントディスプレイ３５のＩＭＵが計測する姿勢データ、およびヘッドマウントディスプレイ３５のアイトラッカが計測する一次視線データを取得する（ステップＳ２０５）。

【0042】

シミュレータ３１４は、ステップＳ２０５で入力された操作データに基づいて、所定のフレーム時間後のアバターマシン１００Ａの挙動をシミュレートする（ステップＳ２０６）。このとき、シミュレータ３１４は、走行体１１０、旋回体１２０、ブーム１３１、アーム１３２およびバケット１３３の位置および姿勢を計算する。シミュレータ３１４は、旋回体１２０の位置および姿勢、並びにステップＳ２０５で入力された姿勢データに基づいて、仮想空間におけるレンダリングカメラの位置および姿勢を計算する（ステップＳ２０７）。

【0043】

再現部３１３は、ステップＳ２０３で取得した模範データに含まれる作業機１３０の関節角度および旋回体１２０の旋回角度の時系列と、設定データが示すゴーストマシン１００Ｇの再生速度とに基づいてゴーストマシン１００Ｇの姿勢を計算することで、ゴーストマシン１００Ｇの挙動を再現する（ステップＳ２０８）。

【0044】

再現部３１３は、設定データにおいて、ゴーストマシン１００Ｇを表示すべきと設定されているか否かを判定する（ステップＳ２０９）。ゴーストマシン１００Ｇを表示すべきと設定されている場合（ステップＳ２０９：ＹＥＳ）、再現部３１３は、設定データにおいて、ゴーストマシン１００Ｇのバケット１３３のみを表示すべきと設定されているか否かを判定する（ステップＳ２１０）。バケット１３３のみを表示すべきと設定されていない場合（ステップＳ２１０：ＮＯ）、再現部３１３は、ゴーストマシン１００Ｇのすべての構成要素をレンダリング対象に決定する（ステップＳ２１１）。この場合、画像データは、図８のように描画される。図８は、第１の実施形態に係るゴーストマシン１００Ｇの全体をレンダリングするときの画像データの一例である。
バケット１３３のみを表示すべきと設定されている場合（ステップＳ２１０：ＹＥＳ）、再現部３１３は、ゴーストマシン１００Ｇのバケット１３３をレンダリング対象に決定し、ゴーストマシン１００Ｇのバケット１３３以外の構成要素をレンダリング対象から外す（ステップＳ２１２）。この場合、画像データは、図９のように描画される。図９は、第１の実施形態に係るゴーストマシン１００Ｇのバケット１３３のみをレンダリングするときの画像データの一例である。
ゴーストマシン１００Ｇを表示すべきと設定されていない場合（ステップＳ２０９：ＮＯ）、再現部３１３は、ゴーストマシン１００Ｇをレンダリング対象から外す（ステップＳ２１３）。

【0045】

次に、再現部３１３は、設定データにおいて、ゴーストマシン１００Ｇの刃先の軌跡を表示すべきと設定されているか否かを判定する（ステップＳ２１４）。ゴーストマシン１００Ｇの刃先の軌跡を表示すべきと設定されている場合（ステップＳ２１４：ＹＥＳ）、再現部３１３は、刃先の軌跡を示す刃先オブジェクトＯｂｊ１を生成し、ステップＳ２０８で計算されたゴーストマシン１００Ｇのバケット１３３の刃先の両端および中心にそれぞれ配置する（ステップＳ２１５）。刃先オブジェクトＯｂｊ１は、例えば小さな球体であってよい。刃先オブジェクトＯｂｊ１は、例えば刃先上の一つまたは複数の点それぞれに対応してもよく、各刃先オブジェクトＯｂｊ１は、それぞれの点の軌跡を表す。再現部３１３は、過去に生成した刃先オブジェクトＯｂｊ１の透明度を所定の値だけ高くする（ステップＳ２１６）。これにより、複数の刃先オブジェクトＯｂｊ１は直近の所定時間におけるバケット１３３の刃先の位置の軌跡を表し、過去の位置ほど透明度が高く表示される。なお、他の実施形態において再現部３１３は刃先オブジェクトＯｂｊ１の透明度に代えてサイズを変化させてもよい。透明度が所定の閾値を上回る刃先オブジェクトＯｂｊ１は仮想空間から除去してもよい。例えば、透明度が所定の閾値を上回る刃先オブジェクトＯｂｊ１は表示しなくてもよい。この場合、画像データは、図１０のように描画される。図１０は、第１の実施形態に係るゴーストマシン１００Ｇのバケット１３３の刃先の軌跡を表示するときの画像データの一例である。複数の刃先オブジェクトＯｂｊ１は、刃先の軌跡を表す曲線のように描画される。
ゴーストマシン１００Ｇの刃先の軌跡を表示すべきと設定されていない場合（ステップＳ２１４：ＮＯ）、再現部３１３は仮想空間に刃先オブジェクトＯｂｊ１を配置しない。刃先オブジェクトＯｂｊ１は、刃先の左端、中央、右端のそれぞれで色が異なっていてもよい。刃先オブジェクトＯｂｊ１は、例えば、刃先の左端、中央、右端の何れかが描画されてもよい。また刃先オブジェクトＯｂｊ１は、刃先の左端から右端に亘る線分が通る帯状の軌跡として表されてもよい。

【0046】

次に、再現部３１３は、設定データにおいて、トレーナーのレバー操作を表示すべきと設定されているか否かを判定する（ステップＳ２１７）。レバー操作を表示すべきと設定されている場合（ステップＳ２１７：ＹＥＳ）、再現部３１３は、ステップＳ２０７で決定したレンダリングカメラの位置から、レンダリングカメラが向く方向に所定距離だけ離れた位置にレバーオブジェクトＯｂｊ２を配置する（ステップＳ２１８）。

【0047】

図１１は、第１の実施形態に係るトレーナーのレバー操作を表示するときの画像データの一例である。レバーオブジェクトＯｂｊ２は、左右の操作レバーを表す２つの基準円Ｏｂｊ２１と、トレーニーによる左右の操作レバーの入力位置を表す２つの操作点Ｏｂｊ２２と、トレーナーによるレバーの入力位置を示す複数のプロットＯｂｊ２３とを含む。２つの基準円Ｏｂｊ２１は左右方向に所定の間隔を開けて配置される。レバーオブジェクトＯｂｊ２は、基準円がレンダリングカメラに対向するように配置される。

【0048】

再現部３１３は、模範データに含まれる操作データに基づいて、基準円Ｏｂｊ２１の中心から、ステップＳ２０８で再現された時点の操作量だけ離れた位置にプロットＯｂｊ２３を配置し、基準円Ｏｂｊ２１の中心からステップＳ２０５で取得した操作データが示す操作量だけ離れた位置に操作点Ｏｂｊ２２を移動させる（ステップＳ２１９）。つまり、レバーオブジェクトＯｂｊ２は、操作レバーの操作平面の上方から操作レバーを平面視したときの、操作レバーの位置の変化を表している。再現部３１３は、過去に配置したプロットＯｂｊ２３のサイズを所定の値だけ小さくする（ステップＳ２２０）。これにより、複数のプロットＯｂｊ２３は直近の所定時間におけるレバー操作の軌跡を表す。なお、他の実施形態において再現部３１３はプロットＯｂｊ２３のサイズに代えて透明度を変化させてもよい。サイズが所定の閾値を下回るプロットＯｂｊ２３は仮想空間から除去してもよい。
レバー操作を表示すべきと設定されていない場合（ステップＳ２１７：ＮＯ）、再現部３１３はレバーオブジェクトＯｂｊ２を配置しない。

【0049】

次に、再現部３１３は、設定データにおいて、トレーナーの視線を表示すべきと設定されているか否かを判定する（ステップＳ２２１）。視線を表示すべきと設定されている場合（ステップＳ２２１：ＹＥＳ）、再現部３１３は視線オブジェクトＯｂｊ３を仮想空間に配置する（ステップＳ２２２）。視線オブジェクトＯｂｊ３は、ステップＳ２０７で決定したレンダリングカメラの位置から、二次視線データが示す方向に所定距離だけ離れた位置に配置される。視線オブジェクトＯｂｊ３は例えば小さな球体であってよい。再現部３１３は、過去に配置した視線オブジェクトＯｂｊ３の透明度を所定の値だけ高くする（ステップＳ２２３）。これにより、複数の視線オブジェクトＯｂｊ３は直近の所定時間におけるトレーナーの視線の軌跡を表す。なお、他の実施形態において再現部３１３はプロットＯｂｊ２３の透明度に代えてサイズや色相を変化させてもよい。透明度が所定の閾値を上回る視線オブジェクトＯｂｊ３は仮想空間から除去してもよい。再現部３１３は、例えば、視線オブジェクトＯｂｊ３の透明度が所定の閾値より上回った場合、当該視線オブジェクトＯｂｊ３を表示しなくてもよい。図１２は、第１の実施形態に係るトレーナーの視線を表示するときの画像データの一例である。
視線を表示すべきと設定されていない場合（ステップＳ２２１：ＮＯ）、再現部３１３は仮想空間に視線オブジェクトＯｂｊ３を配置しない。

【0050】

レンダリング部３１５は、設定データにおいて、サイドビューを表示すべきと設定されているか否かを判定する（ステップＳ２２４）。サイドビューを表示すべきと設定されている場合（ステップＳ２２４：ＹＥＳ）、レンダリング部３１５は、レンダリングカメラを、アバターマシン１００Ａの側方に、アバターマシン１００Ａの方向を向くように配置する（ステップＳ２２５）。レンダリング部３１５は、アバターマシン１００Ａおよびゴーストマシン１００Ｇが配置された仮想空間を描画することで、サイドビュー画像Ｏｂｊ４を生成する（ステップＳ２２６）。シミュレータ３１４は、サイドビュー画像Ｏｂｊ４を運転室１２１内部の所定の位置に配置する（ステップＳ２２７）。図１３は、第１の実施形態に係るサイドビューを表示するときの画像データの一例である。

【0051】

次に、レンダリング部３１５は、ステップＳ２０７で求めた位置および姿勢のレンダリングカメラからアバターマシン１００Ａおよびゴーストマシン１００Ｇが配置された仮想空間を描画する（ステップＳ２２８）。表示制御部３１６は、ステップＳ２２８で描画された画像データをヘッドマウントディスプレイ３５に出力する（ステップＳ２２９）。レンダリング部３１５はフレーム時間ごとに画像データを生成するため、画像データは動画像のフレーム画像として扱われる。またレンダリング部３１５は、アバターマシン１００Ａおよびゴーストマシン１００Ｇが配置された仮想空間を描画することで、アバターマシン１００Ａが写る第１動画像とゴーストマシン１００Ｇが写る第２動画像とを同時に表示する動画像データを生成したといえる。また、レンダリング部３１５は、アバターマシン１００Ａが写る第１動画像およびゴーストマシン１００Ｇが写る第２動画像を、同じ仮想空間に重ねて表示する動画像データを生成したといえる。

【0052】

生成部３１７は、ステップＳ２０７で計算されたレンダリングカメラの位置および姿勢、並びにステップＳ２０５で取得された一次視線データに基づいて、仮想空間におけるトレーニーの視線の向きを示す二次視線データを生成する（ステップＳ２３０）。生成部３１７は、ステップＳ２０５で取得された操作データ、ステップＳ２０６で計算したアバターマシン１００Ａの姿勢、およびステップＳ２３０で生成された二次視線データに基づいて、１フレーム分の挙動記録データを生成する（ステップＳ２３１）。

【0053】

生成部３１７は、トレーニングが終了したか否かを判定する（ステップＳ２３２）。例えば、生成部３１７は、模範データの再生位置が時系列の末尾まで到達してから一定時間が経過したときに、トレーニングが終了したと判定してよい。トレーニングが終了していない場合（ステップＳ２３２：ＮＯ）、ステップＳ２０５に処理を戻し、次のフレームのシミュレーションを行う。

【0054】

他方、トレーニングが終了した場合（ステップＳ２３２：ＹＥＳ）、生成部３１７は、生成された複数フレームの挙動記録データをワークデータとしてまとめる（ステップＳ２３３）。評価部３１８は、ステップＳ２３３で生成したワークデータとステップＳ２０３で取得した模範データとの違いに基づいて、トレーニーによる操作を評価する評価値を算出する（ステップＳ２３４）。送信部３１９は、ステップＳ２３３で生成したワークデータ、ステップＳ２０３で取得した模範データの模範ＩＤ、およびステップＳ２３４で計算した評価値をデータサーバ１０に送信する（ステップＳ２３５）。これにより、データサーバ１０は、受信したワークデータにワークＩＤを付し、ワークＩＤ、ワークデータ、模範ＩＤおよび評価値を関連付けてワークデータテーブルＴ２に記録する。
また、表示制御部３１６は、ステップＳ２３４で算出した評価値を表示する評価画面をヘッドマウントディスプレイ３５に出力する（ステップＳ２３６）。評価画面には、旋回操作、作業機１３０操作、視線のそれぞれについて評価値が表示されてよい。

【0055】

評価部３１８は、ワークデータが示すトレーニーの操作によるトレーニングの開始から終了までの刃先の移動軌跡と、模範データが示すトレーナーの操作によるトレーニングの開始から終了までの刃先の移動軌跡とを三次元空間に配置した三次元モデルである軌跡モデルを生成する。図１４は、第１の実施形態に係る軌跡モデルの例を示す図である。表示制御部３１６は、評価部３１８が生成した軌跡モデルを、回転可能にヘッドマウントディスプレイ３５に表示させて良い。これにより、表示制御部３１６は、トレーニーの操作による刃先の移動軌跡と、トレーナーの操作による刃先の移動軌跡とを同時に表示することができる。軌跡モデルの回転は、ヘッドマウントディスプレイ３５の姿勢の変化によってなされてもよいし、操作装置３３の操作によってなされてもよい。

【0056】

《ワークデータの評価》
図１５は、第１の実施形態に係るトレーナーによるワークデータの評価方法を示すフローチャートである。
トレーナーがトレーニングシミュレータ３０にログインし、メニュー画面にてワークデータの評価を選択すると、取得部３１２はデータサーバ１０にアクセスし、ワークデータテーブルＴ２に記録されたワークデータのリストを取得する（ステップＳ３０１）。表示制御部３１６は、取得したリストから１つのワークデータを選択するための選択画面をヘッドマウントディスプレイ３５に出力する（ステップＳ３０２）。トレーナーは１つのワークデータを選択する。

【0057】

取得部３１２は、データサーバ１０にアクセスし、トレーナーによって選択されたワークデータを、ワークデータテーブルＴ２から取得する（ステップＳ３０３）。再現部３１３は、仮想空間にゴーストマシン１００Ｇとフィールドとを配置する（ステップＳ３０４）。

【0058】

再現部３１３は、ステップＳ３０３で取得したワークデータに含まれる作業機１３０の関節角度および旋回体１２０の旋回角度の時系列に基づいてゴーストマシン１００Ｇの姿勢を計算することで、ゴーストマシン１００Ｇの挙動を再現する（ステップＳ３０５）。再現部３１３は、ゴーストマシン１００Ｇの旋回体１２０の位置および姿勢、並びにステップＳ３０５で入力された姿勢データに基づいて、仮想空間におけるレンダリングカメラの位置および姿勢を計算する（ステップＳ３０６）。

【0059】

再現部３１３は、ステップＳ３０６で決定したレンダリングカメラの位置から、レンダリングカメラが向く方向に所定距離だけ離れた位置にレバーオブジェクトＯｂｊ２を配置する（ステップＳ３０７）。これにより、トレーナーは、トレーニーのレバー操作を確認することができる。
再現部３１３は、視線オブジェクトＯｂｊ３を仮想空間に配置する（ステップＳ３０８）。視線オブジェクトＯｂｊ３は、ステップＳ３０６で決定したレンダリングカメラの位置から、二次視線データが示す方向に所定距離だけ離れた位置に配置される。

【0060】

レンダリング部３１５は、ステップＳ３０６で求めた位置および姿勢のレンダリングカメラからゴーストマシン１００Ｇが配置された仮想空間を描画する（ステップＳ３０９）。表示制御部３１６は、ステップＳ３０９で描画された画像データをヘッドマウントディスプレイ３５に出力する（ステップＳ３１０）。

【0061】

コメント部３２１は、現在の再生タイミングにおいてトレーナーからコメントの入力があるか否かを判定する（ステップＳ３１１）。コメントの入力がある場合、入力されたコメントと、当該コメントの再生タイミングとを関連付けたコメントデータを生成する（ステップＳ３１２）。

【0062】

再現部３１３は、ワークデータの再生が終了したか否かを判定する（ステップＳ３１３）。再生が終了していない場合（ステップＳ３１３：ＮＯ）、ステップＳ３０５に処理を戻し、次のフレームのシミュレーションを行う。

【0063】

他方、再生が終了した場合（ステップＳ３１３：ＹＥＳ）、送信部３１９は、ステップＳ３０３で取得したワークデータのワークＩＤおよびステップＳ３１２で生成したコメントデータをデータサーバ１０に送信する（ステップＳ３１４）。これにより、データサーバ１０は、ワークデータテーブルＴ２において受信したワークＩＤに関連付けられたデータ列に、受信したコメントデータを追加する。

【0064】

《評価結果の閲覧》
図１６は、第１の実施形態に係るトレーニーによる評価結果の閲覧方法を示すフローチャートである。
トレーニーがトレーニングシミュレータ３０にログインし、メニュー画面にて評価結果の閲覧を選択すると、取得部３１２はデータサーバ１０にアクセスし、ワークデータテーブルＴ２に記録されたワークデータのリストを取得する（ステップＳ４０１）。このとき取得するリストは、ログインしたトレーニーによって作成されたワークデータのリストであってよい。表示制御部３１６は、取得したリストから１つのワークデータを選択するための選択画面をヘッドマウントディスプレイ３５に出力する（ステップＳ４０２）。トレーニーは、１つのワークデータを選択する。取得部３１２は、データサーバ１０にアクセスし、トレーニーによって選択されたワークデータをワークデータテーブルＴ２から取得する（ステップＳ４０３）。再現部３１３は、仮想空間にゴーストマシン１００Ｇとフィールドとを配置する（ステップＳ４０４）。

【0065】

再現部３１３は、ステップＳ４０３で取得したワークデータに含まれる作業機１３０の関節角度および旋回体１２０の旋回角度の時系列に基づいてゴーストマシン１００Ｇの姿勢を計算することで、ゴーストマシン１００Ｇの挙動を再現する（ステップＳ４０５）。再現部３１３は、ゴーストマシン１００Ｇの旋回体１２０の位置および姿勢、並びにステップＳ４０５で入力された姿勢データに基づいて、仮想空間におけるレンダリングカメラの位置および姿勢を決定する（ステップＳ４０６）。

【0066】

再現部３１３は、ステップＳ４０６で決定したレンダリングカメラの位置から、レンダリングカメラが向く方向に所定距離だけ離れた位置にレバーオブジェクトＯｂｊ２を配置する（ステップＳ４０７）。再現部３１３は、視線オブジェクトＯｂｊ３を仮想空間に配置する（ステップＳ４０８）。

【0067】

レンダリング部３１５は、ステップＳ４０６で求めた位置および姿勢のレンダリングカメラからゴーストマシン１００Ｇが配置された仮想空間を描画する（ステップＳ４０９）。コメント部３２１は、ワークデータに含まれるコメントデータにおいて、現在の再生タイミングに関連付けられたコメントが存在するか否かを判定する（ステップＳ４１０）。現在の再生タイミングに関連付けられたコメントがある場合（ステップＳ４１０：ＹＥＳ）、当該コメントを描画された画像データに重畳させる（ステップＳ４１１）。表示制御部３１６は、ステップＳ４０９またはステップＳ４１１で描画された画像データをヘッドマウントディスプレイ３５に出力する（ステップＳ４１２）。

【0068】

再現部３１３は、ワークデータの再生が終了したか否かを判定する（ステップＳ４１３）。再生が終了していない場合（ステップＳ４１３：ＮＯ）、ステップＳ４０５に処理を戻し、次のフレームのシミュレーションを行う。他方、再生が終了した場合（ステップＳ４１３：ＹＥＳ）、トレーニングシミュレータ３０は処理を終了する。
なお、トレーニングシステム１は、トレーナーによる評価が付与されていないワークデータについても、図１６に示す手順で再生することができる。この場合、コメントがないため、ステップＳ４１１のコメントの重畳処理がすべてスキップされる。

【0069】

《作用・効果》
このように、第１の実施形態に係るトレーニングシステム１は、以下の処理を実行する。トレーニングシステム１は、第１操作者であるトレーニーによる第１操作データの入力を受け付ける。トレーニングシステム１は、第１操作データに従って第１作業機械であるアバターマシン１００Ａの姿勢の変化をシミュレートする。トレーニングシステム１は、過去に第２操作者であるトレーナーによって入力された第２操作データに基づいて生成された模範データに基づいて、第２作業機械であるゴーストマシン１００Ｇの挙動を再現する。トレーニングシステム１は、アバターマシン１００Ａの姿勢の変化を表す第１動画像と、ゴーストマシン１００Ｇの挙動を表す第２動画像とを同時に表示する。
これにより、トレーニングシステム１は、トレーニーが自らの操作と、トレーナーによる操作とを比較しながらトレーニングをすることができる。つまり、第１操作者と第２操作者は同一の操作者であってもよい。同一操作者が過去の操作データと現在の操作データを比較することで、操作の上達度合を確認し、または過去の操作を振り返ることができる。

【0070】

第１の実施形態に係るトレーニングシステム１に係る模範データは、第２操作データに従ってシミュレートされた作業機械１００の姿勢の時系列を含む。これにより、トレーニングシステム１はゴーストマシン１００Ｇの挙動を再現するために、シミュレータ３１４によるシミュレーションを行う必要がない。つまりトレーニングシステム１は、単に時系列が示す姿勢に従ってゴーストマシン１００Ｇの姿勢を変化させることでゴーストマシン１００Ｇの挙動を再現することができる。なお、他の実施形態においては、模範データが作業機械１００の姿勢の時系列を含まず、操作データの時系列によって表されてもよい。この場合、トレーニングシステム１は、操作データの時系列に従ってシミュレーションを行うことで、ゴーストマシン１００Ｇの挙動を再現することができる。

【0071】

第１の実施形態に係るトレーニングシステム１の模範データは、第２操作データの入力時におけるトレーナーの視線の時系列を含む。これにより、トレーニングシステム１は、作業機械１００の操作方法のみならず、注目すべき点をトレーニーに提示することができる。例えば、注目すべき点とは、作業機械１００を操作する場合に、注目すべき注視点である。

【0072】

第１の実施形態に係るトレーニングシステム１は、ワークデータとトレーナーによるコメントデータとを関連付けて記録する。トレーニングシステム１は、ワークデータに基づいて作業機械１００の姿勢の変化を再現した動画像と、ワークデータに関連付けられたコメントデータとを同時に表示する。これにより、トレーニーは、自身の操作に対する他者からの指摘を受けることができる。
特に、第１の実施形態に係るトレーニングシステム１は、動画像の再生タイミングがコメントデータに係る再生タイミングとなったときに、コメントデータを表示する。これにより、トレーニーは、作業機械１００の一連の操作のうち、どの操作を注意すべきか認識することができる。

【0073】

第１の実施形態に係るトレーニングシステム１は、ワークデータに係る第１操作データと模範データに係る第２操作データの違いに基づいてトレーニーの操作を評価する。これにより、トレーニーは客観的に模範データとの操作のずれの大きさを認識することができる。

【0074】

第１の実施形態に係るトレーニングシステム１は、トレーニーから模範データに係る第２動画像の再生速度の入力を受け付け、アバターマシン１００Ａが写る第１動画像と、ゴーストマシン１００Ｇが写り、指定の再生速度で再生される第２動画像とを同時に表示する。これにより、トレーニーは、自身の技術レベルに応じたトレーニングを行うことができる。つまり、トレーニーは、操作に不慣れなときに低い再生速度でゴーストマシン１００Ｇを動かすことで、トレーナーの操作を丁寧に確認しながらトレーニングすることができる。他方、トレーニーは、操作に慣れてきたときに１倍に近い再生速度でゴーストマシン１００Ｇを動かすことで、トレーナーの実際の操作に近づくようにトレーニングすることができる。また、トレーニーは、１倍より速い再生速度でゴーストマシン１００Ｇを動かすことで、実機より困難な条件下でトレーニングすることができる。この場合、トレーニーは、実機の操作において体感時間を長く感じることで、丁寧な操作をすることができる。

【0075】

第１の実施形態に係るトレーニングシステム１は、以下の処理を実行する。トレーニングシステム１は、第１操作者であるトレーニーによる第１操作データの入力を受け付ける。トレーニングシステム１は、第１操作データに従って第１作業機械であるアバターマシン１００Ａの姿勢の変化をシミュレートする。トレーニングシステム１は、過去に第２操作者であるトレーナーによって入力された第２操作データに従ってトレーナーの操作を再現する。トレーニングシステム１は、アバターマシン１００Ａの姿勢の変化を表す第１動画像と、トレーナーの操作を表すレバーオブジェクトＯｂｊ２とを同時に表示する。これにより、トレーニーは、トレーナーによる操作を視認しながら、作業機械１００のシミュレーションを行うことができる。また、第１の実施形態によれば、レバーオブジェクトＯｂｊ２として、トレーニーのレバー操作を表す操作点Ｏｂｊ２２と、トレーナーのレバー操作を表すプロットＯｂｊ２３とが同時に表示される。これにより、トレーニーは、トレーナーによる操作を視認しながら、作業機械１００のシミュレーションを行うことができる。

【0076】

第１の実施形態に係るレバーオブジェクトＯｂｊ２は、操作レバーの基準位置を示す基準位置画像である基準円Ｏｂｊ２１と、操作後の操作レバーの位置を示すプロットＯｂｊ２３とを含む。これにより、トレーニーは、基準円Ｏｂｊ２１とプロットＯｂｊ２３との位置関係によって容易に操作レバーの入力位置を認識することができる。

【0077】

第１の実施形態に係るレバーオブジェクトＯｂｊ２は、操作レバーの過去の位置を示す複数のプロットＯｂｊ２３を含む。複数のプロットＯｂｊ２３は、古いほど小さくまたは透明度が高くなる。これにより、トレーニーは、操作レバーの軌跡を認識することができ、かつ現在の操作レバーの入力位置と過去の入力位置とが混同することを防ぐことができる。

【0078】

第１の実施形態に係るレバーオブジェクトＯｂｊ２は、ヘッドマウントディスプレイ３５における視線方向前方に位置する。これにより、トレーニーは、向いている方向によらず、トレーナーによる操作を視認することができる。

【0079】

第１の実施形態に係るトレーニングシステム１は、以下の処理を実行する。トレーニングシステム１は、第１操作者であるトレーニーによる第１操作データの入力を受け付ける。トレーニングシステム１は、第１操作データに従って第１作業機械であるアバターマシン１００Ａの姿勢の変化をシミュレートする。トレーニングシステム１は、過去に第２操作者によって入力された第２操作データに基づいて生成された模範データに基づいて、第２作業機械であるゴーストマシン１００Ｇの姿勢の変化を再現する。トレーニングシステム１は、アバターマシン１００Ａの姿勢の変化を表す第１動画像と、ゴーストマシン１００Ｇの姿勢の変化を表す第２動画像とを同時に表示する。このとき、アバターマシン１００Ａとゴーストマシン１００Ｇの初期位置が一致している。つまり、トレーニングシステム１はアバターマシン１００Ａとゴーストマシン１００Ｇを重畳して表示する。これにより、トレーニーは自身の操作とトレーナーの操作との差を容易に認識することができる。例えば、アバターマシン１００Ａとゴーストマシン１００Ｇとを横並びに表示する場合と比較して、挙動の違いを認識しやすい。

【0080】

第１の実施形態に係るトレーニングシステム１のアバターマシン１００Ａの動画像は、アバターマシン１００Ａの運転室１２１内に位置する視点から、アバターマシン１００Ａが描画された画像である。第１の実施形態に係るトレーニングシステム１のゴーストマシン１００Ｇの動画像は、アバターマシン１００Ａの運転室１２１内に位置する視点から、ゴーストマシン１００Ｇが描画された画像である。これにより、トレーニングシステム１は、トレーニーは、アバターマシン１００Ａの運転室１２１からの視点において、自身の操作とトレーナーの操作との差を容易に認識することができる。

【0081】

第１の実施形態に係るトレーニングシステム１は、ゴーストマシン１００Ｇの作業具であるバケット１３３のみを描画することができる。これにより、ゴーストマシン１００Ｇの旋回体１２０やブーム１３１などがアバターマシン１００Ａと干渉して視認性が悪化することを防ぐことができる。他方、トレーニングシステム１は、ゴーストマシン１００Ｇの全体を描画することで、よりアバターマシン１００Ａとゴーストマシン１００Ｇの姿勢の違いを明確にトレーニーに認識させることができる。

【0082】

第１の実施形態に係るゴーストマシン１００Ｇは、アバターマシン１００Ａより透明度が高い。これにより、トレーニングシステム１はゴーストマシン１００Ｇがシミュレーションの邪魔となることを防ぐことができる。他の実施形態に係るゴーストマシン１００Ｇは、アバターマシン１００Ａより透明度を高くしたうえで、アバターマシン１００Ａと色相を異ならせてもよい。これにより、ゴーストマシン１００Ｇをアバターマシン１００Ａとより区別しやすくなる。また、他の実施形態に係るゴーストマシン１００Ｇは、輪郭線のみで表示されてもよい。

【0083】

第１の実施形態に係るトレーニングシステム１は、以下の処理を実行する。トレーニングシステム１は、第１操作者であるトレーニーによる第１操作データの入力を受け付ける。トレーニングシステム１は、第１操作データに従って第１作業機械であるアバターマシン１００Ａの姿勢の変化をシミュレートする。トレーニングシステム１は、過去に第２操作者によって入力された第２操作データに基づいて生成された模範データに基づいて、第２作業機械であるゴーストマシン１００Ｇの姿勢の変化を再現する。トレーニングシステム１は、アバターマシン１００Ａと、ゴーストマシン１００Ｇの作業具であるバケット１３３の軌跡を表す刃先オブジェクトＯｂｊ１とを同時に表示する。これにより、トレーニーは自身の操作とトレーナーの操作との差を容易に認識することができる。

【0084】

第１の実施形態に係るトレーニングシステム１は、刃先上の複数の点それぞれに対応して刃先オブジェクトＯｂｊ１を配置する。各刃先オブジェクトＯｂｊ１は、それぞれの点の軌跡を表す。刃先上の複数の点について刃先オブジェクトＯｂｊ１が設けられることで、トレーニーは、バケット１３３の刃先の奥行方向の位置を容易に認識することができる。

【0085】

第１の実施形態に係る刃先オブジェクトＯｂｊ１の色は、複数の点それぞれによって異なる。これにより、複数の刃先オブジェクトＯｂｊ１を混同して認識する可能性を低減することができる。

【0086】

第１の実施形態に係るトレーニングシステム１は、以下の処理を実行する。トレーニングシステム１は、操作者による操作データの入力を受け付ける。トレーニングシステム１は、操作データの入力時における操作者の視線を検出する。トレーニングシステム１は、操作データに従って作業機械１００の姿勢の変化をシミュレートする。トレーニングシステム１は、シミュレートされた作業機械１００の姿勢の変化を表す姿勢画像と、視線の変化を表す視線オブジェクトＯｂｊ３とを同時に表示する。これにより、トレーニングシステム１は、操作者が作業機械１００の操作と視線方向との関係を表示することができる。これにより、トレーニーは、トレーナーの視線から操作中に注視すべき点を認識することができる。またこれにより、トレーナーは、トレーニーの視線に基づいて運転を評価することができる。

【0087】

第１の実施形態に係る刃先オブジェクトＯｂｊ１、レバーオブジェクトＯｂｊ２のプロットＯｂｊ２３、および視線オブジェクトＯｂｊ３は、軌跡を表す複数の点である。他方、他の実施形態においては、これらのオブジェクトの一部または全部は、軌跡を表す曲線であってもよい。

【0088】

〈第２の実施形態〉
第１の実施形態に係るトレーニングシステム１において、ゴーストマシン１００Ｇの挙動は、設定データにおいて、指定された再生速度で連続的に再現される。一方で、トレーニーが初心者である場合などに、操作がゴーストマシン１００Ｇの挙動に追いつかない可能性がある。このような場合に、ゴーストマシン１００Ｇが連続的に再現され、アバターマシン１００Ａとゴーストマシン１００Ｇの姿勢が大きく相違してしまうと、トレーニーは操作の指標を見失ってしまう可能性がある。第２の実施形態に係るトレーニングシステム１は、トレーニーによる操作が遅い場合にも、適切なトレーニングの実施を可能とする。

【0089】

第１の実施形態に係るトレーニングシステム１は、図５に示すように、フレーム時間ごとにステップＳ２０８でゴーストマシン１００Ｇの挙動を再現する。これに対し、第２の実施形態では、ステップＳ２０８に代えて以下に示す処理を実行する。

【0090】

再現部３１３は、ステップＳ２０６で計算したアバターマシン１００Ａの姿勢と、前回のゴーストマシン１００Ｇの姿勢との距離を算出する。姿勢どうしの距離は、例えば、旋回角の差、ブーム角の差、アーム角の差およびバケット角の差の二乗和平方根によって求めることができる。再現部３１３は、算出した距離があらかじめ設定データにおいて設定したの閾値を超える場合、ゴーストマシン１００Ｇの姿勢を維持する。他方、算出した距離があらかじめ設定データにおいて設定したの閾値を超えない場合、再現部３１３は、模範データに含まれる作業機１３０の関節角度および旋回体１２０の旋回角度の時系列と、設定データが示すゴーストマシン１００Ｇの再生速度とに基づいてゴーストマシン１００Ｇの姿勢を計算することで、ゴーストマシン１００Ｇの挙動を再現する。

【0091】

このように、第２の実施形態によれば、トレーニングシステム１は、シミュレートされたアバターマシン１００Ａの姿勢とゴーストマシン１００Ｇの姿勢との差が所定の閾値を超える場合、ゴーストマシン１００Ｇの挙動の再現を中断する。例えば、トレーニングシステム１は、ゴーストマシン１００Ｇの挙動の再現を中断する際、中断した瞬間の画像を保管しておいてもよい。これにより、第２の実施形態に係るトレーニングシステム１は、トレーニーによる操作が遅い場合にも、適切なトレーニングの実施を可能とする。

【0092】

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0093】

上述した実施形態に係るトレーニングシステム１は、データサーバ１０とトレーニングシミュレータ３０とを備えるが、これに限られない。例えば、他の実施形態に係るトレーニングシステム１は、トレーニングシミュレータ３０単独で構成されてもよい。この場合、トレーニングシミュレータ３０にはあらかじめ記録された模範データに基づいてトレーニングを実施することができる。また、他の実施形態に係るトレーニングシステム１は、トレーニーが過去に操作したワークデータを参照しながらトレーニングを実施するものであってもよい。また、他の実施形態においては、トレーニングシミュレータ３０の一部が外部のコンピュータに設けられてもよい。例えば、他の実施形態においては、トレーニングシミュレータ３０が操作データの入力と演算結果の表示のみを担い、外部装置にてシミュレーションの計算を行ってもよい。

【0094】

上述した実施形態に係るトレーニングシステム１は、ヘッドマウントディスプレイ３５を表示装置として用いるが、これに限られない。例えば、他の実施形態においては、作業機械１００の遠隔操作に用いる大型ディスプレイを表示装置として用いてよい。このとき、入力部３１１は、操作者からレンダリングカメラの位置および姿勢の指定を受け付けてよい。レンダリングカメラの位置および姿勢の指定の例としては、主観視点（運転者視点）、客観視点（運転者の斜め後ろ）、俯瞰視点（作業機械１００の側方）、自由視点などが挙げられる。レンダリング部３１５は、指定されたレンダリングカメラの位置および姿勢に従って、仮想空間をレンダリングする。また、表示制御部３１６は、ワークデータの再生時に、リプレイ（Start over）や一時停止の指示を受け付けてもよい。また、表示制御部３１６は、再生位置を示すシークバーを表示し、当該シークバーの操作によって任意のポイントの頭出しの指示を受け付けてもよい。

【0095】

〈コンピュータ構成〉
図１７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述のトレーニングシミュレータ３０は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。プロセッサ９１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

【0096】

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。また、他の実施形態においては、コンピュータ９０は、１または複数のコンピュータ上で仮想化されたものであってもよい。

【0097】

ストレージ９３の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

【0098】

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0099】

１…トレーニングシステム １０…データサーバ １００…作業機械 １００Ａ…アバターマシン １００Ｇ…ゴーストマシン １１０…走行体 １２０…旋回体 １２１…運転室 １３０…作業機 １３１…ブーム １３２…アーム １３３…バケット ３０…トレーニングシミュレータ ３１…演算装置 ３１１…入力部 ３１２…取得部 ３１３…再現部 ３１４…シミュレータ ３１５…レンダリング部 ３１６…表示制御部 ３１７…生成部 ３１８…評価部 ３１９…送信部 ３２０…設定記憶部 ３２１…コメント部 ３２２…認証部 ３３…操作装置 ３５…ヘッドマウントディスプレイ ９０…コンピュータ ９１…プロセッサ ９２…メインメモリ ９３…ストレージ ９４…インタフェース Ｏｂｊ１…刃先オブジェクト Ｏｂｊ２…レバーオブジェクト Ｏｂｊ２１…基準円 Ｏｂｊ２２…操作点 Ｏｂｊ２３…プロット Ｏｂｊ３…視線オブジェクト Ｏｂｊ４…サイドビュー画像 Ｔ１…模範データテーブル Ｔ２…ワークデータテーブル Ｔ３…ユーザテーブル Ｖ…仮想空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】