特許 7321966 学習用データ生成装置及びシミュレータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-28

(45)【発行日】2023-08-07

(54)【発明の名称】学習用データ生成装置及びシミュレータ

(51)【国際特許分類】

   G09B 9/05 20060101AFI20230731BHJP

   G06T 19/00 20110101ALI20230731BHJP

【ＦＩ】

G09B9/05 E

G06T19/00 300B

【請求項の数】 5

(21)【出願番号】P 2020070497

(22)【出願日】2020-04-09

(65)【公開番号】P2021167864

(43)【公開日】2021-10-21

【審査請求日】2022-07-11

(73)【特許権者】

【識別番号】000176730

【氏名又は名称】三菱プレシジョン株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100135976

【弁理士】

【氏名又は名称】宮本 哲夫

(72)【発明者】

【氏名】新井 道生

(72)【発明者】

【氏名】藪田 顕一

(72)【発明者】

【氏名】宮崎 正剛

【審査官】三田村 陽平

(56)【参考文献】

【文献】特開平１０－２５４３４５（ＪＰ，Ａ）

【文献】特開２０１９－１５９３８９（ＪＰ，Ａ）

【文献】特開平０８－３０５２７１（ＪＰ，Ａ）

【文献】特開２００３－３１６２５１（ＪＰ，Ａ）

【文献】米国特許第１００３２１１１（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ９／００－ ９／５６

Ｇ０６Ｔ １９／００

Ａ６３Ｆ ９／２４

Ａ６３Ｆ １３／００－１３／９８

(57)【特許請求の範囲】

【請求項1】

移動物体の運動変化及び姿勢変化を模擬するシミュレータにより計算された連続した複数の時刻における前記移動物体の運動情報及び姿勢情報並びに前記複数の時刻における前記シミュレータを操作するユーザの操作情報を含む複数のデータセットと、前記複数のデータセットのそれぞれに対する、前記複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の時刻における前記シミュレータにより計算された移動物体の運動情報及び姿勢情報を表すラベルとを入力する入力部と、
前記複数のデータセットのそれぞれに対して、前記ラベルを関連づけて、機械学習器の学習用データを生成する学習用データ生成部と、
前記学習用データを記憶する記憶部と、
を有し、
前記所定の時間は、前記ユーザの操作情報に基づいて、前記シミュレータにより行われる、前記移動物体の運動情報及び姿勢情報の計算に要する時間と、前記移動物体の運動情報及び姿勢情報に基づいて模擬視界画像の生成に要する時間と、前記模擬視界画像を表示部に表示するのに要する時間とに基づいて決定された時間であるか、又は、
前記所定の時間は、前記ユーザの操作情報に基づいて、前記シミュレータにより行われる、前記移動物体の運動情報及び姿勢情報の計算に要する時間と、前記移動物体の運動情報及び姿勢情報に基づいて、前記ユーザが着座する操作席を動揺させる動揺装置を駆動するための制御信号の生成に要する時間とに基づいて決定された時間であるか、又は、
前記所定の時間は、前記ユーザの操作情報に基づいて、前記シミュレータにより行われる、前記移動物体の運動情報及び姿勢情報の計算に要する時間と、前記移動物体の運動情報及び姿勢情報に基づいて、前記ユーザが前記移動物体の操作を行う操作装置であって、反力を生成可能な操作装置を駆動するための制御信号の生成に要する時間とに基づいて決定された時間である、学習用データ生成装置。

【請求項2】

前記入力部は、前記複数のデータセットと、前記複数のデータセットのそれぞれに対する、前記複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の連続した他の複数の時刻における前記シミュレータにより計算された移動物体の運動情報及び姿勢情報を示すラベルとを入力する請求項１に記載の学習用データ生成装置。

【請求項3】

請求項１又は２に記載の学習用データ生成装置が生成した前記学習用データを用いて、前記複数のデータセットのそれぞれと、当該データセットと関連づけられている前記ラベルとの関係性を学習する学習モデルを含む機械学習器と、
表示部と、
ユーザからの操作を入力して前記ユーザの操作情報を出力する操作入力部と、
前記ユーザの操作情報に基づいて、前記移動物体の運動情報及び姿勢情報を、所定の時刻ごとに計算する運動計算部と、
模擬視界画像を前記表示部に表示する時刻よりも前記所定の時間だけ前の連続した前記複数の時刻における、前記運動計算部により計算された前記移動物体の運動情報及び姿勢情報並びに前記複数の時刻における前記ユーザの操作情報を前記機械学習器に入力し、前記機械学習器の出力に基づいて、前記複数の時刻のうちの最も後の時刻よりも前記所定の時間だけ後の時刻における前記移動物体の運動情報及び姿勢情報を推定する推定部と、
前記推定部により推定された前記移動物体の運動情報及び姿勢情報に基づいて、前記模擬視界画像を生成する画像生成部と、
を有するシミュレータ。

【請求項4】

前記ユーザが着座する操作席を動揺させる動揺装置と、
前記移動物体の運動情報及び姿勢情報に基づいて前記動揺装置を駆動するための制御信号を生成する駆動計算部と、
を有し、
前記駆動計算部は、前記推定部により推定された前記移動物体の運動情報及び姿勢情報に基づいて、前記動揺装置を駆動するための制御信号を生成する請求項３に記載のシミュレータ。

【請求項5】

前記ユーザが前記移動物体の操作を行う操作装置であって、反力を生成可能な操作装置を有し、
前記駆動計算部は、前記移動物体の運動情報及び姿勢情報に基づいて、前記操作装置を駆動するための制御信号を生成し、
前記駆動計算部は、前記推定部により推定された前記移動物体の運動情報及び姿勢情報に基づいて、前記操作装置を駆動するための制御信号を生成する請求項４に記載のシミュレータ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習用データ生成装置及びシミュレータに関する。

【背景技術】

【0002】

従来、車両又は飛行機等の移動物体の操作を訓練するためのシミュレータが使用されている（例えば、特許文献１及び２）。

【0003】

このようなシミュレータでは、実際に操作している状態の臨場感を得るために広い視野を有する表示部に、模擬視界画像が表示される。シミュレータのユーザは、表示部に映される映像を見ながら操作を訓練する。

【0004】

図１は、従来のシミュレータの動作の一例を説明する図である。まず、時刻ｔ＝０において、シミュレータは、ユーザからの操作の入力を開始する。時刻ｔ＝＋１において、シミュレータは、ユーザの操作情報に基づいた移動物体の位置情報及び姿勢情報の計算を終了する。時刻ｔ＝＋２において、シミュレータは、移動物体の位置情報及び姿勢情報に基づいて、模擬視界画像を生成する。時刻ｔ＝＋３において、シミュレータは、模擬視界画像を表示装置のグラフィックメモリへ書き込みことを終了する。時刻ｔ＝＋４において、表示装置は、グラフィックメモリから模擬視界画像の読み出しを開始する。時刻ｔ＝＋５に、表示装置は、ユーザからの操作を反映させた模擬視界画像の表示を終了する。

【0005】

シミュレータのユーザは、表示装置に表示される模擬視界画像を見て、新たな操作情報を入力し得る。シミュレータでは、上述した動作が繰り返される。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平３－１３６０８６号公報

【文献】特開平７－２１００７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、実際の移動物体では、時刻ｔ＝０に、ユーザが移動物体の操作を開始すると、時刻ｔ＝＋１に移動物体の位置及び姿勢が変化して、移動物体に搭乗するユーザの実視界が変化する。

【0008】

したがって、シミュレータでは、ユーザの操作情報を入力してから模擬視界画像の表示を終了するまでに要する時間が、実際の移動物体に搭乗している時と比べて長くなる。シミュレータを操作するユーザは、模擬視界画像の表示されるタイミングが実際の移動物体と比べて遅れるので、操作の違和感又は酔いを感じるおそれがある。

【0009】

そこで、本明細書では、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示するように模擬視界画像を生成するための情報を推定可能な機械学習器の学習用データを生成する学習用データ生成装置を提供することを課題とする。

【0010】

また、本明細書では、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示可能なシミュレータを提供することを課題とする。

【課題を解決するための手段】

【0011】

本明細書に開示する学習用データ生成装置によれば、移動物体の運動変化及び姿勢変化を模擬するシミュレータにより計算された連続した複数の時刻における移動物体の運動情報及び姿勢情報並びに複数の時刻におけるシミュレータを操作するユーザの操作情報を含む複数のデータセットと、複数のデータセットのそれぞれに対する、複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の時刻におけるシミュレータにより計算された移動物体の運動情報及び姿勢情報を表すラベルとを入力する入力部と、複数のデータセットのそれぞれに対して、ラベルを関連づけて、機械学習器の学習用データを生成する学習用データ生成部と、学習用データを記憶する記憶部と、を有する。

【0012】

また、本明細書に開示するシミュレータによれば、上述した学習用データ生成装置が生成した学習用データを用いて、複数のデータセットのそれぞれと、当該データセットと関連づけられているラベルとの関係性を学習する学習モデルを含む機械学習器と、ユーザからの操作を入力してユーザの操作情報を出力する操作入力部と、ユーザの操作情報に基づいて、移動物体の運動情報及び姿勢情報を、所定の時刻ごとに計算する運動計算部と、模擬視界画像を表示部に表示する時刻よりも所定の時間だけ前の連続した複数の時刻における、運動計算部により計算された移動物体の運動情報及び姿勢情報並びに複数の時刻におけるユーザの操作情報を機械学習器に入力し、機械学習器の出力に基づいて、複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の時刻における移動物体の運動情報及び姿勢情報を推定する推定部と、推定部により推定された移動物体の運動情報及び姿勢情報に基づいて、模擬視界画像を生成する画像生成部と、模擬視界画像を表示する表示部と、を有する。

【発明の効果】

【0013】

上述した本明細書に開示する学習用データ生成装置によれば、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示するように、模擬視界画像を生成するための情報を推定可能な機械学習器の学習用データを生成できる。

【0014】

また、上述した本明細書に開示する物体検知装置によれば、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示可能である。

【図面の簡単な説明】

【0015】

【図1】従来のシミュレータの動作の一例を説明する図である。

【図2】本明細書に開示するシミュレータの動作の概要を説明する図である。

【図3】本明細書に開示する機械学習システムの一実施形態の構成を示す図である。

【図4】学習用データを生成する処理のフローチャートである。

【図5】学習データを説明する図である。

【図6】学習モデルを生成する処理のフローチャートである。

【図7】学習モデルを生成する処理を説明する図である。

【図8】本明細書に開示するシミュレータの一実施形態の構成を示す図である。

【図9】シミュレータの動作を説明する図である。

【発明を実施するための形態】

【0016】

図２は、本明細書に開示するシミュレータの動作の概要を説明する図である。本明細書に開示するシミュレータは、実際の移動物体において、ユーザからの操作を入力した（時刻ｔ＝０）後に、実視界が変化（時刻ｔ＝＋１）するのと近いタイミングでユーザからの操作を反映させた模擬視界画像を表示可能である。

【0017】

シミュレータは、機械学習器を用いて、模擬視界画像を表示部に表示する時刻よりも過去の時刻にシミュレータにより計算された移動物体の運動情報及び姿勢情報に基づいて、模擬視界画像を表示する時刻における移動物体の運動情報及び姿勢情報を推定する。シミュレータにより過去に計算された移動物体の運動情報及び姿勢情報は、ユーザの操作情報に基づいて計算されている。シミュレータは、ユーザの操作情報が入力されるのよりも前に模擬視界画像を推定することにより、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示する。

【0018】

具体的には、時刻ｔ＝－４において、シミュレータは、模擬視界画像を表示装置に表示する時刻（時刻ｔ＝＋１）よりも所定の時間（Δｔ＝５）だけ前（時間的に過去）の連続した複数の時刻（例えば、ｔ＝－１３～－４）における、シミュレータにより計算された移動物体の運動情報及び姿勢情報並びにこれらの複数の時刻におけるユーザの操作情報を、機械学習器に入力する。時刻ｔ＝－３において、シミュレータの機械学習器は、模擬視界画像を表示する時刻（時刻ｔ＝＋１）における移動物体の運動情報及び姿勢情報を推定する。時刻ｔ＝－２において、シミュレータは、移動物体の運動情報及び姿勢情報に基づいて、模擬視界画像を生成する。時刻ｔ＝－１において、シミュレータは、模擬視界画像を表示装置のグラフィックメモリへ書き込みことを終了する。時刻ｔ＝０において、表示装置は、グラフィックメモリから模擬視界画像の読み出しを開始する。時刻ｔ＝＋１において、表示装置は、模擬視界画像の表示を終了する。

【0019】

これにより、シミュレータは、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示可能であるので、実際の移動物体を操作しているのに近い操作感を与えることができる。

【0020】

以下、図を参照しつつ、上述したシミュレータの機械学習器で用いられる学習用データを生成する学習用データ生成装置について説明する。この学習用データ生成装置は、ユーザからの操作を反映させた模擬視界画像を実際の移動物体と近いタイミングで表示するように模擬視界画像を生成するための情報を推定可能な機械学習器の学習用データを生成する。以下では、学習用データ生成装置を、機械学習システムに適用した例について説明する。

【0021】

図３は、本明細書に開示する機械学習システムの一実施形態の構成を示す図である。この例では、学習用データ生成装置が機械学習器の学習用データを生成し、機械学習器は、この学習用データを用いて、入力データセットとラベルとの関係性を学習する。

【0022】

本実施形態の機械学習システム１は、学習用データ生成装置１０と、機械学習器６０とを備える。学習用データ生成装置１０は、移動物体の一例である車両の運動変化及び姿勢変化を模擬するシミュレータ２と通信可能に接続されている。

【0023】

学習用データ生成装置１０は、操作部１１と、表示部１２と、通信部１３と、記憶部１４と、処理部１５とを有する。操作部１１と、表示部１２と、通信部１３と、記憶部１４と、処理部１５とは、通信線１６を介して通信可能に接続される。

【0024】

操作部１１は、ユーザに操作されて、学習用データを生成するために必要な情報などを入力する。操作部１１は、例えば、キーボード及びマウスなどのユーザの操作を入力する入力装置を有する。

【0025】

表示部１２は、学習用データを生成する処理に用いられる情報を表示する。表示部１２は、例えば、液晶ディスプレイを有する。

【0026】

通信部１３は、学習用データ生成装置１０を、シミュレータ２及び機械学習器６０に接続するための通信回路を有する。通信部１３は、シミュレータ２から入力データセット及びこの入力データセットに対するラベルを入力する入力部の一例である。

【0027】

記憶部１４は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。記憶部１４は、入力データセット及びこの入力データセットに対するラベル及び生成された学習用データなどを記憶する。

【0028】

処理部１５は、１個または複数個のプロセッサ及びその周辺回路を有する。処理部１５は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。処理部１５は、機械学習器の学習用データ生成処理を実行する。処理部１５は、機械学習器の学習用データを生成する処理に関して、情報取得部１５１と、学習用データ生成部１５２とを有する。処理部１５が有するこれらの各部は、例えば、プロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部１５が有するこれらの各部は、処理部１５に設けられる、専用の演算回路であってもよい。

【0029】

次に、機械学習システム１が、学習用データを生成する処理を、図４に示すフローチャートを参照しながら以下に説明する。図４は、学習用データを生成する処理のフローチャートである。

【0030】

まず、処理部１５の情報取得部１５１は、通信部１３を介して、シミュレータ２から複数の入力データセット及び複数の入力データセットのそれぞれに対するラベルを取得する（ステップＳ１０１）。一の入力データセットは、車両の運動変化及び姿勢変化を模擬するシミュレータ２により計算された連続した複数の時刻における車両の運動情報及び姿勢情報並びに複数の時刻におけるシミュレータ２を操作するユーザの操作情報を含む。一のラベルは、対応する一のデータセットに対する、複数の時刻のうちの最も後の時刻（時間的に未来）よりも所定の時間だけ後の時刻におけるシミュレータ２により計算された車両の運動情報及び姿勢情報を表す。情報取得部１５１は、通信部１３を介して、複数の入力データセット及び複数の入力データセットのそれぞれに対するラベルを含む学習データを取得する。学習データは、シミュレータ２が過去に動作した時に生成されたログデータに含まれる情報である。

【0031】

図５は、学習データを説明する図である。図５に示す例では、連続した複数の時刻として、ｔ＝－１３～－４が示されている。図５は、一の入力データセットと、この一の入力データセットに対応する一のラベルを示す。

【0032】

図５に示す例では、入力データセットは、車両の運動情報として、複数の時刻における、ｘ軸方向の車両の位置変化量Δｘと、ｙ軸方向の車両の位置変化量Δｙと、ｚ軸方向の車両の位置変化量Δｚとを含む。各時刻における位置変化量は、一つ前の時刻の車両の位置からの変化量を表す。車両の運動情報は、複数の時刻における車両の速度及び加速度をさらに含んでいてもよい。ここで、車両の速度は、速度のｘ成分とｙ成分とｚ成分とを含み、車両の加速度は、加速度のｘ成分とｙ成分とｚ成分とを含む。

【0033】

また、入力データセットは、車両の姿勢情報として、複数の時刻における、車両のロールピッチ角変化量ΔRと、ピッチ角変化量ΔＰと、ヨー角変化量ΔＹとを含む。各時刻における角度変化量は、一つ前の時刻の車両の向きを表す角度からの変化量を表す。

【0034】

また、入力データセットは、ユーザの操作情報として、複数の時刻における、操舵角とアクセル量とブレーキ量とを含む。

【0035】

入力データセットは、環境情報をさらに含んでいてもよい。環境情報は、例えば、路面の摩擦係数を表すパラメータを含む。路面の摩擦係数は、晴天時には高く、雨天時には低い値を有する。

【0036】

また、図５に示す例では、ラベルは、複数の時刻（ｔ＝－１３～－４）のうちの最も後の時刻（ｔ＝－４）よりも所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）におけるシミュレータ２により計算された車両の運動情報及び姿勢情報を含む。ラベルは、車両の運動情報として、所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）におけるｘ軸方向の車両の位置変化量Δｘと、ｙ軸方向の車両の位置変化量Δｙと、ｚ軸方向の車両の位置変化量Δｚとを含む。また、ラベルは、車両の姿勢情報として、所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）における車両のロールピッチ角変化量ΔRと、ピッチ角変化量ΔＰと、ヨー角変化量ΔＹとを含む。

【0037】

ラベルは、車両の運動情報として、車両の速度及び加速度をさらに含んでいてもよい。ここで、車両の速度は、速度のｘ成分とｙ成分とｚ成分とを含み、車両の加速度は、加速度のｘ成分とｙ成分とｚ成分とを含む。

【0038】

情報取得部１５１は、通信部１３を介して、複数の入力データセット及び複数の入力データセットのそれぞれに対するラベルを、シミュレータ２から取得する。情報取得部１５１は、複数の時刻（ｔ＝－１３～－４）の入力データセットに対して、所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）のラベルを取得したのと同様にして、他の複数の時刻（例えば、ｔ＝－１４～－３）の入力データセットに対して、所定の時間（Δｔ＝５）だけ後の時刻（例えば、ｔ＝０）のラベルを取得する。

【0039】

所定の時間は、ユーザの操作情報に基づいて、シミュレータ２により行われる、車両の運動情報及び姿勢情報の計算に要する時間と、車両の運動情報及び姿勢情報に基づいて模擬視界画像の生成に要する時間と、模擬視界画像を表示部に表示するのに要する時間とに基づいて決定された時間である。

【0040】

次に、処理部１５の学習用データ生成部１５２は、複数のデータセットのそれぞれに対して、ラベルを関連づけて、機械学習器の学習用データを生成する（ステップＳ１０２）。

【0041】

次に、学習用データ生成部１５２は、学習用データを記憶部１４に記憶する（ステップＳ１０３）。

【0042】

次に、機械学習器６０について、以下に説明する。機械学習器６０は、１個または複数個のプロセッサ及びその周辺回路を有する。機械学習器６０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。機械学習器６０は、学習用データ生成装置１０と通信する通信部（図示せず）及び機械学習の処理に用いる情報を記憶する記憶部（図示せず）を有する。

【0043】

機械学習器６０は、学習モデル６１と、誤差計算部６２と、学習モデル更新部６３とを有する。学習モデル６１として、教師あり学習により入力データセットの特徴を学習して、入力データセットとラベルとの関係性を学習するディープニューラルネットワーク（ＤＮＮ）を用いることができる。なお、学習モデル６１として、ＤＮＮ以外のモデルを用いてもよい。学習モデル６１は、複数の入力データセットのそれぞれと、その入力データセットと関連づけられているラベルとの関係性を学習する。

【0044】

機械学習器６０が、学習モデルを生成する動作を、図６に示すフローチャートを参照しながら、以下に説明する。

【0045】

まず、学習モデル６１は、学習用データ生成装置１０から学習用データの入力データセットを入力する（ステップＳ２０１）。例えば、入力データセットの情報が、ディープニューラルネットワークの入力層に入力される。図７は、学習モデルを生成する処理を説明する図である。例えば、学習モデル６１は、複数の時刻（ｔ＝－１３～－４）の情報を含む入力データセットを入力する。

【0046】

次に、誤差計算部６２は、学習用データ生成装置１０から学習用データの入力データセットに対応するラベルを入力し、学習モデル６１により得られた出力及びラベルに基づいて、誤差を計算する（ステップＳ２０２）。例えば、学習モデル６１は、複数の時刻（ｔ＝－１３～－４）の情報を含む入力データセットから得られた出力データと、複数の時刻（ｔ＝－１３～－４）のうちの最も後の時刻（ｔ＝－４）よりも所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）のラベルとに基づいて、誤差を計算する。

【0047】

次に、学習モデル更新部６３は、誤差が所定の条件を満たしたか否かを判定する（ステップＳ２０３）。例えば、学習モデル更新部６３は、数値で表された誤差が所定のしきい値以下であれば、所定の条件を満たしたと判定する（ステップＳ２０３－Ｙｅｓ）。図６に示す処理は、学習用データ生成装置１０が生成した全ての学習用データの入力データセットを用いて行われる。

【0048】

一方、誤差が所定の条件を満たしていない場合（ステップＳ２０３－Ｎｏ）、学習モデル更新部６３は、誤差に基づいて学習モデル６１を更新して、再度、学習モデル６１は、同じ学習用データの入力データセットを入力する（ステップＳ２０１）。例えば、学習モデル更新部６３は、誤差を逆伝搬してニューラルネットワークの重みパラメータを更新してもよい。このようにして機械学習器６０が生成した学習モデル６１は、他の機械学習器において利用可能である。

【0049】

次に、上述した学習モデルを有する機械学習器を備えるシミュレータの一例について、図８を参照しながら、以下に説明する。

【0050】

図８は、本明細書に開示するシミュレータ２の一実施形態の構成を示す図である。シミュレータ２は、移動物体の一例である車両の運動変化及び姿勢変化を模擬する。なお、シミュレータは、例えば、航空機又は船舶などの他の移動物体の操作訓練のためのシミュレータであってもよい。

【0051】

シミュレータ２は、シミュレータ本体２０と、ユーザ３０が着座する操作席３１と、車両の操作を行う操作装置３２と、操作席３１に動揺を与える動揺装置３３と、模擬視界画像を表示する表示装置３４とを備える。

【0052】

操作装置３２は、操作入力部の一例であり、ステアリング、アクセルペダル及びブレーキペダルを有する。操作装置３２は、ユーザのステアリングの操作位置に応じた操舵角を表す操作情報を含む信号を生成して、シミュレータ本体２０へ送信する。また、操作装置３２は、ユーザのアクセルペダルの操作位置に応じたアクセル量を表す操作情報を含む信号を生成して、シミュレータ本体２０へ送信する。さらに、操作装置３２は、ユーザのブレーキペダルの操作位置に応じたブレーキ量を表す操作情報を含む信号を生成して、シミュレータ本体２０へ送信する。ユーザ３０は、表示装置３４に映し出される模擬視界画像を目で見ながら操作装置３２を操作して、車両の操作訓練を行う。

【0053】

動揺装置３３は、シミュレータ本体２０から制御信号を受信して、操作席３１を、縦方向、水平方向又は斜め方向に動揺させる。

【0054】

シミュレータ本体２０は、通信部２１と、記憶部２２と、模擬画像生成部２３と、機械学習器６０と、処理部２４を有する。通信部２１と、記憶部２２と、模擬画像生成部２３と、機械学習器６０と、処理部２４とは、通信線２５を介して通信可能に接続される。

【0055】

通信部２１は、操作装置３２、動揺装置３３及び表示装置３４に接続するための通信回路を有する。

【0056】

記憶部２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。記憶部２２は、車両の動作を模擬する処理で使用される各種の情報を記憶する。

【0057】

機械学習器６０は、上述した機械学習システム１と同様のものを用いることができる。機械学習器６０は、学習用データ生成装置１０が生成した学習用データを用いて、入力データセットとラベルとの関係性を学習した学習モデル６１を有する。

【0058】

模擬画像生成部２３は、模擬視界を生成するための画像情報と、車両の運動情報及び姿勢情報に基づいて、模擬視界画像を生成して、表示装置３４のグラフィックメモリに書き込む。模擬画像生成部２３は、１個または複数個のプロセッサ及びその周辺回路を有する。模擬画像生成部２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0059】

処理部２４は、１個または複数個のプロセッサ及びその周辺回路を有する。処理部２４は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。処理部２４は、車両の運動計算処理と、模擬画像を生成するために用いる車両の運動情報及び姿勢情報を推定する推定処理と、車両の運動情報及び姿勢情報に基づいて操作装置３２及び動揺装置３３を駆動するための制御信号を生成する駆動処理とを実行する。処理部２４は、車両の運動計算処理に関して、運動計算部２４１を有する。処理部２４は、推定処理に関して、推定部２４２を有する。処理部２４は、駆動処理に関して、駆動計算部２４３を有する。

【0060】

処理部２４の運動計算部２４１は、ユーザの操作情報に基づいて、車両の運動情報及び姿勢情報を、所定の周期を有するクロック信号に基づいて所定の時刻ごとに計算する。運動計算部２４１は、操作装置３２から受信した操舵角、アクセル量又はブレーキ量を含む操作情報に基づいて、車両の運動情報である位置変化量Δｘ、Δｙ、Δｚと、車両の姿勢情報であるロールピッチ角変化量ΔRと、ピッチ角変化量ΔＰと、ヨー角変化量ΔＹと、車両の速度及び加速度とを計算する。なお、運動計算部２４１は、ユーザの操作情報と共に、環境情報に基づいて、車両の運動情報及び姿勢情報を、所定の時刻ごとに計算してもよい。運動計算部２４１は、車両の運動情報及び姿勢情報を計算する度に、これらの情報を時刻と共に、ログデータとして記憶部２２に記憶する。

【0061】

処理部２４の推定部２４２は、模擬視界画像を表示装置３４に表示する時刻よりも所定の時間だけ前の連続した複数の時刻における、運動計算部２４１により計算された車両の運動情報及び姿勢情報並びに複数の時刻におけるユーザの操作情報を、機械学習器６０に入力して、機械学習器６０の出力に基づいて、複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の時刻における車両の運動情報及び姿勢情報を推定する。

【0062】

駆動計算部２４３は、推定部２４２により推定された車両の運動情報及び姿勢情報に基づいて、操作装置３２のステアリングの反力を生成するステアリング制御信号と、動揺装置３３を駆動するための動揺制御信号とを生成する。

【0063】

図９は、シミュレータの動作を説明する図である。図９に示す例では、推定部２４２は、時刻ｔ－４において、時刻ｔ＝＋１に表示装置３４に表示する模擬視界画像を生成するための車両の運動情報及び姿勢情報を、機械学習器６０を用いて推定することを開始する。以下、図２及び図９を参照して、シミュレータの動作を以下に説明する。

【0064】

時刻ｔ－４において、推定部２４２は、模擬視界画像を表示装置３４に表示する時刻（ｔ＝＋１）よりも所定の時間（Δｔ＝５）だけ前の連続した複数の時刻（ｔ＝－１３～－４）における、運動計算部２４１により計算された車両の運動情報及び姿勢情報並びに複数の時刻におけるユーザの操作情報を、記憶部２２から読み出して、入力データセットを得ることを開始する。そして、推定部２４２は、入力データセットを、機械学習器６０に入力する。

【0065】

本実施形態では、所定の時間は、ユーザの操作情報に基づいて、シミュレータ２の処理部２４の運動計算部２４１により行われる車両の運動情報及び姿勢情報の計算に要する時間と、シミュレータ２の模擬画像生成部２３により行われる車両の運動情報及び姿勢情報に基づいて模擬視界画像の生成に要する時間と、模擬視界画像を表示装置３４に表示するのに要する時間とに基づいて決定された時間である。また、所定の時間は、これらの時間に加えて、シミュレータ２の処理部２４の駆動計算部２４３による制御信号を計算するのに要する時間に基づいて決定されてもよい。なお、本実施形態では、シミュレータ２の模擬画像生成部２３による模擬視界画像の生成に要する時間と、シミュレータ２の処理部２４の駆動計算部２４３による制御信号を計算するのに要する時間とはほぼ同じである。また、所定の時間は、操作装置３２及び動揺装置３３が制御信号に基づいて駆動を開始するのに要する時間を含んでいてもよい。操作装置３２において反力を生成するステアリングは慣性を有するので、操作装置３２が制御信号に基づいて駆動を開始するのに要する時間は、ステアリングが制御信号により駆動されてユーザが感知可能に運動を開始するのに要する時間を含んでいてもよい。同様に、動揺装置３３において動揺する操作席３１は慣性を有するので、動揺装置３３が制御信号に基づいて駆動を開始するのに要する時間は、操作席３１が制御信号により駆動されてユーザが感知可能に運動を開始するのに要する時間を含んでいてもよい。

【0066】

時刻ｔ＝－３において、推定部２４２は、機械学習器６０から、複数の時刻（ｔ＝－１３～－４）のうちの最も後の時刻（ｔ＝－４）よりも所定の時間（Δｔ＝５）だけ後の時刻（ｔ＝＋１）における車両の運動情報及び姿勢情報を出力データとして得る。推定部２４２は、この出力データを、時刻ｔ＝＋１に表示装置３４に表示する模擬視界画像を生成するための車両の運動情報及び姿勢情報の推定値とする。

【0067】

時刻ｔ＝－２において、推定部２４２は、時刻ｔ＝＋１に表示装置３４に表示する模擬視界画像を生成するための車両の運動情報及び姿勢情報を、模擬画像生成部２３に通知する。模擬画像生成部２３は、模擬視界を生成するための画像情報と、通知された車両の運動情報及び姿勢情報に基づいて、模擬視界画像を生成する。また、推定部２４２は、時刻ｔ＝＋１に表示装置３４に表示する模擬視界画像を生成するための車両の運動情報及び姿勢情報を、時刻ｔ＝＋１に操作装置３２及び動揺装置３３を駆動するための制御信号を生成するための車両の運動情報及び姿勢情報として、駆動計算部２４３へ通知する。

【0068】

時刻ｔ＝－１において、模擬画像生成部２３は、模擬視界画像を、表示装置３４のグラフィックメモリへ書き込むことを終了する。また、駆動計算部２４３は、ステアリング制御信号及び動揺制御信号を生成する。

【0069】

時刻ｔ＝０において、表示装置３４は、グラフィックメモリから模擬視界画像の読み出しを開始する。また、駆動計算部２４３は、ステアリング制御信号を、操作装置３２へ送信し、駆動制御信号を、動揺装置３３へ送信する。

【0070】

時刻ｔ＝＋１において表示装置３４は、ユーザからの操作を反映させた模擬視界画像の表示を終了する。また、操作装置３２は、ユーザからの操作を反映させたステアリングへの反力の生成を終了し、動揺装置３３は、ユーザからの操作を反映させた操作席３１の動揺を終了する。

【0071】

上述した本実施形態のシミュレータによれば、ユーザからの操作を反映させた模擬視界画像を実際の車両と近いタイミングで表示可能である。また、本実施形態のシミュレータによれば、操作装置の反力を、ユーザからの操作を入力した後にユーザからの操作を反映させた実際の車両と近いタイミングで生成可能である。さらに、本実施形態のシミュレータによれば、ユーザからの操作を入力した後にユーザからの操作を反映させた操作席の動揺を、実際の車両と近いタイミングで生成可能である。

【0072】

本発明では、上述した実施形態の学習用データ生成装置及びシミュレータは、本発明の趣旨を逸脱しない限り適宜変更が可能である。本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

【0073】

例えば、学習用データ生成装置の入力部は、複数のデータセットと、複数のデータセットのそれぞれに対する、複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の連続した他の複数の時刻におけるシミュレータにより計算された移動物体の運動情報及び姿勢情報を示すラベルとを入力してもよい。この場合、シミュレータの推定部は、模擬視界画像を表示部に表示する時刻よりも所定の時間だけ前の連続した複数の時刻における、運動計算部により計算された移動物体の運動情報及び姿勢情報並びに複数の時刻におけるユーザの操作情報を、機械学習器に入力して、機械学習器の出力に基づいて、複数の時刻のうちの最も後の時刻よりも所定の時間だけ後の連続した他の複数の時刻における移動物体の運動情報及び姿勢情報を推定する。例えば、推定部は、機械学習器の出力に基づいて、他の複数の時刻における移動物体の運動情報及び姿勢情報の平均値を求め、この平均値を、推定値としてしてもよい。この場合、他の複数の時刻として、２つの時刻又は３つの時刻を用いてもよい。

【0074】

また、所定の時間は、ユーザの操作情報に基づいて、シミュレータにより行われる、移動物体の運動情報及び姿勢情報の計算に要する時間と、移動物体の運動情報及び姿勢情報に基づいて、ユーザが着座する操作席を動揺させる動揺装置を駆動するための制御信号の生成に要する時間とに基づいて決定された時間であってもよい。さらに、所定の時間は、ユーザの操作情報に基づいて、シミュレータにより行われる、移動物体の運動情報及び姿勢情報の計算に要する時間と、移動物体の運動情報及び姿勢情報に基づいて、ユーザが移動物体の操作を行う操作装置であって、反力を生成可能な操作装置を駆動するための制御信号の生成に要する時間とに基づいて決定された時間であってもよい。

【符号の説明】

【0075】

１ 機械学習システム
２ シミュレータ
１０ 学習用データ生成装置
１１ 操作部
１２ 表示部
１３ 通信部
１４ 記憶部
１５ 処理部
１５１ 情報取得部
１５２ 学習用データ生成部
２０ シミュレータ本体
２１ 通信部
２２ 記憶部
２３ 模擬画像生成部
２４ 処理部
２４１ 運動計算部
２４２ 推定部
２４３ 駆動計算部
２５ 通信線
３０ ユーザ
３１ 操作席
３２ 操作装置
３３ 動揺装置
３４ 表示装置
６０ 機械学習器
６１ 学習モデル
６２ 誤差計算部
６３ 学習モデル更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】