特開 2025-16959 シミュレーションシステム、情報生成プログラムおよびシミュレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025016959

(43)【公開日】2025-02-05

(54)【発明の名称】シミュレーションシステム、情報生成プログラムおよびシミュレーション方法

(51)【国際特許分類】

   G01S 17/86 20200101AFI20250129BHJP

   G01S 17/931 20200101ALI20250129BHJP

   G08G 1/16 20060101ALI20250129BHJP

【ＦＩ】

G01S17/86

G01S17/931

G08G1/16 C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023119796

(22)【出願日】2023-07-24

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】519373914

【氏名又は名称】株式会社Ｊ－ＱｕＡＤ ＤＹＮＡＭＩＣＳ

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】井上 展彦

【テーマコード（参考）】

5H181

5J084

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181EE02

5H181LL01

5H181LL09

5J084AA05

5J084AA13

5J084AB01

5J084AB07

5J084AB16

5J084AC02

5J084CA03

5J084EA22

(57)【要約】

【課題】対象物の情報の認識の誤差を想定した上で、車両の制御を評価することができるシミュレーションシステムの技術の提供。
【解決手段】レーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、ＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部１１と、超音波が対象物において反射されて生じた反射波と、カメラが対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、センサ情報を生成するセンサ処理部１２と、ＬｉＤＡＲ情報を入力値とし、センサ情報を正解値とした、教師あり機械学習を実行済みの学習部１４と、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部１５と、仮想環境情報を入力値として学習部から出力された物体の位置の情報である仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うシミュレーション部１６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

シミュレーションシステム（１）であって、
ＬｉＤＡＲセンサ（ＬＳ）が照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部（１１）と、
前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサ（ＵＳ）から発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラ（Ｃｍ）が前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部（１２）と、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とした、教師あり機械学習を実行済みの学習部（１４）と、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部（１５）と、
前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部（１６）と、を備える、シミュレーションシステム。

【請求項2】

請求項１に記載のシミュレーションシステムであって、
前記教師あり機械学習は、教師ありディープニューラルネットワーク学習である、シミュレーションシステム。

【請求項3】

請求項１に記載のシミュレーションシステムであって、
前記車両の制御を実行する車両制御部の、前記仮想センサ情報に基づく制御のシミュレーションの結果に基づいて、前記車両制御部を評価する、シミュレーションシステム。

【請求項4】

請求項３に記載のシミュレーションシステムであって、
前記車両制御部の、前記車両の操舵の制御と、駆動の制御と、制動の制御と、の一つ以上の結果に基づいて、前記車両制御部を評価する、シミュレーションシステム。

【請求項5】

請求項１に記載のシミュレーションシステムであって、
前記ＬｉＤＡＲ処理部および前記センサ処理部は、さらに、前記対象物の、高さと、幅と、前記対象物の種別と、の情報と、それぞれの情報の信頼度と、のうち一つ以上を生成する、シミュレーションシステム。

【請求項6】

請求項３または請求項４に記載のシミュレーションシステムであって、
前記仮想センサ情報と、前記車両制御部の制御の結果と、前記評価と、の少なくとも一方を記憶する、記憶装置（１８）と、を備える、シミュレーションシステム。

【請求項7】

請求項１に記載のシミュレーションシステムであって、
前記仮想センサ情報は、
予め定められた秒速以上の風と、予め定められた数値以上の降水量と、凹凸または傾斜の少なくとも一方を有する路面と、の、一つ以上の外乱を想定して生成された、シミュレーションシステム。

【請求項8】

情報生成プログラムであって、コンピュータに、
ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部と、
超音波センサから発振された超音波が前記対象物において反射した反射波と、カメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部と、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行する学習部と、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部と、
前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部として機能させる、情報生成プログラム。

【請求項9】

シミュレーション方法であって、
ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成し、
前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサから発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成し、
前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行し、
車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成し、
前記教師あり機械学習を実行済みの学習部に、前記仮想環境情報を入力し、
前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行う、シミュレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、シミュレーションシステム、情報生成プログラムおよびシミュレーション方法に関する。

【背景技術】

【0002】

特許文献１において、画像生成システムと、シミュレーションシステムと、が開示されている。画像生成システムは、近赤外線センサや、ＬｉＤＡＲセンサが出力した画像に相当する仮想画像を生成する。

【0003】

特許文献１の画像生成システムは、道路や歩行者等の対象物が、どの位置に存在してどのような動きをするのかを定義されたシナリオを設定する。画像生成システムは、シナリオに従って、３Ｄモデリング部が仮想空間上における物体の形状を作成する。画像生成システムは、３Ｄモデリング部で生成された３Ｄ形状に基づいて、３ＤＣＧを生成する。画像生成システムは、３ＤＣＧに含まれるコンポーネントを、コンポーネント画像として抽出し、コンポーネント画像中における対象物の奥行が定義された深度画像を生成する。画像生成システムは、過酷な天候条件のような、再現が困難な条件下における実写の画像に類似した画像を、人工的に生成することができる。生成した人工的な画像は、自動運転で用いられているＡＩの認識技術に適用されることが可能である。

【0004】

特許文献１のシミュレーションシステムは、画像生成システムが生成した画像の中から、特定の対象物を認識し、認識結果を用いて、車両の動作を制御する制御信号を生成する。シミュレーションは、制御信号に基づいて、自車両の位置情報を変更または修正する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－６０５１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

近年、対象物の情報をシミュレーションツールによって生成し、対象物の情報を、車両の制御を実行する車両制御部に入力することで、車両の制御を評価する手法が知られている。カメラと超音波センサは、それぞれ車両の構成として用いられることが多い。このため、車両の制御のために使用される対象物の情報は、カメラと超音波センサとのいずれか一方が取得したデータ、またはカメラと超音波センサとが取得したデータの組み合わせによって生成されたデータに基づいて生成されることが多い。そのため、シミュレーションツールにおいて、カメラと超音波センサと、の少なくとも一方が取得したデータに基づいて生成された対象物の情報を再現することが求められる場合がある。

【0007】

ここで、超音波センサやカメラに基づいて生成された対象物の情報は、ＬｉＤＡＲセンサのような、レーザー光を照射するセンサに基づいて生成された対象物の情報と比較して、対象物の位置や種別等の認識の誤差を多く含むことが知られている。しかし、従来のシミュレーションシステムにおいては、対象物の位置や種別等の認識の誤差を含む情報は生成されない。そのため、認識の誤差を想定した上でのシミュレーションが実行されず、車両の制御の評価が限定的なものとなっていた。特許文献１の深度画像も、対象物の情報の認識の誤差を想定して生成されるものではない。そのため、対象物の情報の認識の誤差を想定した上で、車両の制御を評価することができるシミュレーションシステムが望まれる。

【課題を解決するための手段】

【0008】

本開示は、以下の形態として実現することが可能である。

【0009】

本開示の一形態によれば、シミュレーションシステム（１）が提供される。このシミュレーションシステムは、ＬｉＤＡＲセンサ（ＬＳ）が照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部（１１）と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサ（ＵＳ）から発振された超音波が前記対象物において反射した反射波と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部（１２）と、前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とした、教師あり機械学習を実行済みの学習部（１４）と、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部（１５）と、前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部（１６）と、を備える。

【0010】

超音波センサとカメラの少なくとも一方に基づいて生成されたセンサ情報は、レーザー光を照射するＬｉＤＡＲセンサに基づいて生成されたＬｉＤＡＲ情報と比較して、対象物の位置や種別等の認識の誤差や、未検出が生じやすいと考えられる。本実施形態のシミュレーションシステムによれば、学習部が、実際の対象物の情報と近いと考えられるＬｉＤＡＲ情報を入力値とし、実際の対象物の情報と認識の誤差が大きいと考えられるセンサ情報を正解値として、学習している。学習済みの学習部に対して、仮想の環境の情報である仮想環境情報が入力されると、仮想環境情報が、超音波センサとカメラの少なくとも一方に基づいて生成された物体の情報に近い情報である仮想センサ情報に変換される。つまり、人工的に生成された物体の情報を、認識の誤差や未検出が含まれる情報に変換することができる。さらに、生成した仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うことができる。

【0011】

本開示の他の形態によれば、情報生成プログラムが提供される。この情報生成プログラムは、コンピュータに、ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部と、超音波センサから、発振された超音波が前記対象物において反射した反射波と、カメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成するセンサ処理部と、前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行する学習部と、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部と、前記仮想環境情報を入力値として前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行うシミュレーション部として機能させる。

【0012】

本開示の他の形態によれば、シミュレーション方法が提供される。このシミュレーション方法は、ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする前記対象物の位置の情報であるＬｉＤＡＲ情報を生成し、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサから発振された超音波が前記対象物において反射した反射波から生成された点群と、前記ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複するように撮像するカメラが前記対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、前記予め定められた位置を基準とする、前記対象物の位置の情報であるセンサ情報を生成し、前記ＬｉＤＡＲ情報を入力値とし、前記センサ情報を正解値とする、教師あり機械学習を実行し、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成し、前記教師あり機械学習を実行済みの学習部に、前記仮想環境情報を入力し、前記学習部から出力された前記物体の位置の情報である仮想センサ情報を用いて、前記車両の制御のためのシミュレーションを行う。

【図面の簡単な説明】

【0013】

【図1】本実施形態のシミュレーションシステムと、ＬｉＤＡＲセンサと、超音波センサと、カメラと、車両制御部と、を説明する図。

【図2】ＬｉＤＡＲ点群を説明する図。

【図3】撮像された画像を説明する図。

【図4】同期処理部によるＬｉＤＡＲ点群のデータと画像のデータとＵＳ距離データとの紐づけを説明する図。

【図5】仮想の画像を表した図。

【図6】シミュレーション方法の一例を表すフローチャート。

【発明を実施するための形態】

【0014】

Ａ．本実施形態：
Ａ１．本実施形態の構成：
シミュレーションシステム１は、仮想の画像に含まれる物体の位置や、種別を含む情報を生成する。シミュレーションシステム１は、生成した情報を用いて車両の制御のためのシミュレーションを行う。生成された情報の詳細は後に説明する。図１に示すように、シミュレーションシステム１は、同期処理部１０と、ＬｉＤＡＲ処理部１１と、センサ処理部１２と、情報記憶部１３と、学習部１４と、仮想生成部１５と、シミュレーション部１６と、評価部１７と、記憶装置１８と、を備える。図１において、各構成間において情報の送受信が可能であることが、矢印で表されている。

【0015】

同期処理部１０は、ＬｉＤＡＲセンサＬＳによって生成された点群のデータと、２つの超音波センサＵＳによって取得された対象物との距離のデータと、カメラＣＭが撮像した画像のデータと、を紐づける。以下において、ＬｉＤＡＲセンサＬＳによって生成された点群をＬＳ点群、２つの超音波センサＵＳによって取得された距離をＵＳ距離と表記する。同期処理部１０の機能の詳細について説明する前に、ＬｉＤＡＲセンサＬＳと、ＬＳ点群と、超音波センサＵＳと、ＵＳ距離と、カメラＣＭと、カメラＣＭが撮像した画像と、について説明する。

【0016】

ＬｉＤＡＲセンサＬＳは、照射したレーザー光が対象物において反射された反射光から、ＬＳ点群を生成する。図２において、ＬＳ点群を表している。ＬＳ点群は、ＬｉＤＡＲセンサＬＳが検出可能な範囲において、反射光によって特定される対象物の、少なくとも一部が存在し得る位置を示す点の集合である。ＬＳ点群を構成する点は、ＬｉＤＡＲセンサＬＳを基準とする距離の情報を有している。本明細書における対象物とは、車両や、歩行者や、信号機や、道路や、建物等である。本実施形態において、ＬｉＤＡＲセンサＬＳから一定時間の間隔を空けてレーザー光が照射され、複数のＬＳ点群が生成される。本実施形態のＬｉＤＡＲセンサＬＳは、予め定められた間隔で、レーザー光を照射する。複数のＬＳ点群のそれぞれは、生成された時刻が紐づけられている。本実施形態において、ＬｉＤＡＲセンサＬＳは、移動体である車両に搭載されている。なお、ＬｉＤＡＲセンサＬＳが搭載される車両は、上述した、制御される車両とは異なる。

【0017】

図１に示す超音波センサＵＳは、超音波を発振する。超音波センサＵＳは、発振した超音波が対象物において反射した反射波を受信して、ＵＳ距離のデータであるＵＳ距離データを生成する。本実施形態においては、隣接した２つの超音波センサによって、ＵＳ距離データが生成される。まず、一方の超音波センサから発振された超音波が対象物において反射した反射波を、２つの超音波センサのそれぞれが受信する。そして、２つの超音波センサのそれぞれにおいて、対象物との距離の情報が生成される。ＵＳ距離データは、２つの超音波センサのそれぞれにおける、対象物との距離の情報である。ＵＳ距離データには、複数の対象物との間の距離の情報が含まれ得る。本実施形態において、超音波センサＵＳから一定時間の間隔を空けて超音波が発振され、複数のＵＳ距離データが生成される。本実施形態の超音波センサＵＳは、予め定められた間隔で、超音波を発振する。複数のＵＳ距離データのそれぞれは、生成された時刻が紐づけられている。ＬｉＤＡＲセンサＬＳによるレーザー光の照射と、超音波センサＵＳによる超音波の発振が同時刻に行われていても、生成される時刻は異なる場合がある。超音波センサＵＳは、ＬｉＤＡＲセンサＬＳの検出範囲と、検出範囲が重複するように、超音波を発振する。超音波センサＵＳは、ＬｉＤＡＲセンサＬＳが搭載されている車両と同じ車両に搭載されている。

【0018】

図１に示すカメラＣＭは、ＬｉＤＡＲセンサＬＳの検出範囲と検出範囲が重複するように撮像する。本実施形態において、カメラＣＭは、さらに、超音波センサＵＳの検出範囲と、検出範囲が重複するように、撮像する。図３において、ＬｉＤＡＲセンサＬＳの検出範囲および、超音波センサＵＳの検出範囲と、検出範囲が重複するように撮像された画像を表している。なお、図２においては、横断歩道において反射されて生じたＬｉＤＡＲ点群の図示は省略している。本実施形態において、カメラＣＭは、予め定められた間隔で、複数の画像を撮像する。複数の画像のそれぞれは、撮像された時刻が紐づけられている。

【0019】

ＬｉＤＡＲセンサＬＳと超音波センサＵＳとカメラＣＭとは、それぞれ、同じ車両の異なる位置に配置されている。具体的には、ＬｉＤＡＲセンサＬＳとカメラＣＭは、車両のフロントエンブレムの下に一つずつ配置されている。超音波センサは、車両のフロントバンパーに配置されている。

【0020】

同期処理部１０は、作業者によって、複数のＬＳ点群のデータと、複数のＵＳ距離データと、複数の画像のデータとが入力される。同期処理部１０は、複数のＬＳ点群のデータと、複数のＵＳ距離データと、カメラＣＭが撮像した複数の画像のデータと、のうち、生成された時刻が近いＬＳ点群のデータと、ＵＳ距離データと、画像のデータとを紐づける。

【0021】

同期処理部１０は、複数のＬＳ点群のデータと、複数のＵＳ距離データと、複数の画像のデータのうち、生成された時刻が最も近い二つのデータ同士を紐づける。まず、同期処理部１０は、ある時刻に生成されたＬＳ点群のデータを、最も近い時刻に生成されたＵＳ距離データと紐づける。以下において、図４に示すある時刻に生成されたＬＳ点群のデータＡ１と、異なる時刻に生成されたＵＳ距離データＢ１が紐づけられた場合を説明する。図４に示すように、同期処理部１０は、ＬＳ点群のデータＡ１と、ＬＳ点群のデータＡ１が生成された時刻と最も近い時刻に生成されたＵＳ距離データＢ１とを紐づける。同期処理部１０は、互いに紐づけられたＬＳ点群のデータＡ１とＵＳ距離データＢ１と、のそれぞれと、生成された時刻から最も近い時刻に撮像された画像のデータＣ１と、を、ＬＳ点群のデータＡ１とＵＳ距離データＢ１と紐づける。本実施形態において、図２に示すＬＳ点群のデータが図４のデータＡ１であり、ＵＳ距離データが図４のデータＢ１であり、図３に示す画像のデータが、図４のデータＣ１である。

【0022】

同様に、同期処理部１０は、他のＬＳ点群のデータと、ＵＳ距離データと、画像のデータと、を紐づける。例えば、ＬＳ点群のデータＡ２と、ＬＳ点群のデータＡ２が生成された時刻と最も近い時刻に生成されたＵＳ距離データＢ２とが、同期処理部１０によって紐づけられる。そして、同期処理部１０は、互いに紐づけられたＬＳ点群のデータＡ２とＵＳ距離データＢ２と、のそれぞれと、生成された時刻から最も近い時刻に撮像された画像のデータＣ１と、を、ＬＳ点群のデータＡ２とＵＳ距離データＢ２と紐づける。このように、同じ画像のデータＣ１が、異なるＬＳ点群のデータおよびＵＳ距離データと紐づけられる可能性がある。

【0023】

なお、ＬＳ点群が生成された時刻と最も近い時刻に撮像された画像と、ＵＳ距離データが生成された時刻と最も近い時刻に撮像された画像と、が異なる可能性がある。その場合、ＬＳ点群が生成された時刻とその直近の画像が撮像された時刻との間と、ＵＳ距離データが生成された時刻とその直近の画像が撮像された時刻との間と、のいずれか短いほうの画像のデータが、ＬＳ点群のデータとＵＳ距離データと紐づけられる。ＬＳ点群が生成された時刻とその直近の画像が撮像された時刻との間の時間と、ＵＳ距離データが生成された時刻とその直近の画像が撮像された時刻との間の時間と、が同じである場合、異なる時刻に撮像された二つの画像のデータのそれぞれが、ＬＳ点群のデータとＵＳ距離データと紐づけられる。

【0024】

互いに紐づけられたＬＳ点群のデータとＵＳ距離データと画像のデータとの組み合わせを、「同期グループ」と表記する。図１に示す同期処理部１０は、それぞれの同期グループを区別するために、同期グループに対して数字を付す。数字は、ＬＳ点群が取得された時刻順である。例えば、図４に示すように、ＬｉＤＡＲセンサＬＳと超音波センサＵＳとカメラＣＭによる検出が開始されてからそれぞれ最も早い時刻に生成されたＬＳ点群のデータＡ１と、ＵＳ距離データＢ１と画像のデータＣ１とが紐づく同期グループの数字は、１となる。本実施形態において、複数の同期グループが作成される。図１の同期処理部１０は、ＬｉＤＡＲ処理部１１に、複数のＬＳ点群のそれぞれのデータを、属する同期グループの情報と共に送信する。また、同期処理部１０は、センサ処理部１２に、複数のＵＳ距離データと複数の画像のそれぞれのデータを、属する同期グループの情報と共に送信する。

【0025】

ＬｉＤＡＲ処理部１１は、ＬＳ点群のうち、対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする対象物の位置の情報であるＬｉＤＡＲ情報を生成する。以下において、対象物において反射されて生じた反射光から生成された点群を、ＬｉＤＡＲ点群と表記する。本実施形態において予め定められた位置とは車両の後輪軸の中心をいう。本実施形態において、ＬｉＤＡＲ処理部１１は、複数の同期グループのそれぞれに属するＬＳ点群に基づいて、複数のＬｉＤＡＲ情報を生成する。

【0026】

図２に示すＬＳ点群に基づいたＬｉＤＡＲ情報の生成について説明する。ＬｉＤＡＲ処理部１１は、まず、ＬＳ点群をクラスタリングして、一つ以上のグループを生成する。クラスタリングは、点群をクラスタリングするアルゴリズムによって行われる。図２に示すように、グループ１とグループ２が生成される。ＬｉＤＡＲ処理部１１は、一つのグループを、レーザー光が一つの対象物において反射されて生じた反射光から生成された点群に基づいて生成されたものと認識する。本実施形態においては、図２に示すように、ＬｉＤＡＲ処理部１１は、クラスタリングしたＬｉＤＡＲ点群を、三次元の矩形の箱で囲い、複数のグループのそれぞれに数字を付すことで、複数のグループを区別する。図２に示すように、ＬＳ点群は、グループ１に属するＬｉＤＡＲ点群と、グループ２に属するＬｉＤＡＲ点群と、に分けられる。ＬｉＤＡＲ処理部１１は、それぞれのグループにおける代表点を定める。代表点の位置の情報が、予め定められた位置を基準とする対象物の位置の情報であるＬｉＤＡＲ情報である。

【0027】

ＬｉＤＡＲ情報は、予め定められた位置を基準とした直交座標によって表されている。本実施形態において、予め定められた位置を基準とした右方向を、直交座標のＸ軸の正方向とし、予め定められた位置を基準とした奥行方向をＹ軸の正方向とし、予め定められた位置を基準とした高さ方向を、Ｚ軸方向とする。奥行方向は、ＬｉＤＡＲセンサＬＳが搭載される車両の前方向である。

【0028】

本実施形態において、ＬｉＤＡＲ処理部１１は、さらに、グループの高さと、幅と、種別の情報と、それぞれの情報の信頼度と、を生成する。グループの高さと、幅との情報は、グループの高さと幅を計算するアルゴリズムを用いて生成される。グループの種別は、グループの種別を決定するアルゴリズムによって決定される。本実施形態において、図２に示すグループ１の種別は「車両」、グループ２の種別は「歩行者」と決定される。信頼度は、生成された情報の信頼度を演算するアルゴリズムによって生成される。ＬｉＤＡＲ情報を含む、ＬｉＤＡＲ処理部１１によって生成された情報は、それぞれが属する同期グループの数字が紐づけられている。

【0029】

図１に示すセンサ処理部１２は、ＵＳ距離データと、カメラＣＭが撮像した画像と、に基づいて、予め定められた位置を基準とする、対象物の位置の情報であるセンサ情報を生成する。本実施形態においては、センサ処理部１２は、同一の同期グループに属するＵＳ距離データと、カメラＣＭが撮像した画像と、に基づいて、予め定められた位置を基準とする、対象物の位置の情報であるセンサ情報を生成する。センサ処理部１２は、複数の同期グループのそれぞれについて、センサ情報を生成する。

【0030】

図３に示す画像に基づいたセンサ情報の生成について説明する。まず、センサ処理部１２は、ＵＳ距離データに基づいて、予め定められた位置を基準とする、対象物の位置を算出する。具体的には、センサ処理部１２は、ＵＳ距離データに含まれる、２つの超音波センサの、それぞれの物体との距離と、２つの超音波センサＵＳ間の距離と位置関係と、から、三辺測量原理により対象物の位置を算出する。また、センサ処理部１２は、画像認識アルゴリズムを用いて、画像内の対象物を検出する。本実施形態においては、図３に示すように二つの対象物であるＯＢ１と、ＯＢ２が検出される。

【0031】

センサ処理部１２は、アルゴリズムによって、位置を算出した対象物と、画像内で検出した対象物と、が同一の対象物であるか否かを判断する。同一であると判断した場合、センサ処理部は、位置を算出した対象物と、画像内の対象物とを一体化するアルゴリズムによって、位置を算出した対象物と、画像内において検出された対象物とを一体化する。これにより、センサ処理部１２は、対象物の位置の情報であるセンサ情報を生成する。センサ情報は、予め定められた位置を基準としている。

【0032】

本実施形態において、センサ処理部１２は、さらに対象物の高さと、幅と、種別の情報と、それぞれの情報の信頼度と、を生成する。対象物の高さと、幅との情報は、対象物の高さと幅を計算するアルゴリズムを用いて生成される。対象物の種別は、対象物の種別を決定するアルゴリズムによって決定される。本実施形態において、図３のＯＢ１に基づく対象物の種別は「車両」、図３のＯＢ２に基づく対象物の種別は「歩行者」と決定される。信頼度は、生成された情報の信頼度を演算するアルゴリズムによって生成される。センサ情報を含む、センサ処理部１２によって生成された情報は、それぞれが属する同期グループの数字が紐づけられている。

【0033】

図１に示す情報記憶部１３は、ＬｉＤＡＲ情報と、センサ情報と、を記憶する。本実施形態において、情報記憶部１３は、さらに、ＬｉＤＡＲ処理部１１が生成した、グループの高さと、幅と、種別の情報と、信頼度と、を記憶する。また、情報記憶部１３は、センサ処理部１２が生成した、対象物の高さと、幅と、種別の情報と、信頼度とを記憶する。本実施形態において、情報記憶部１３は、同一の同期グループに属するＬＳ点群と、ＵＳ距離データと画像と、に基づいて生成されたＬｉＤＡＲ情報を含む情報と、センサ情報を含む情報と、を紐づけて記憶する。

【0034】

学習部１４は、ＬｉＤＡＲ情報を入力値とし、センサ情報を正解値とした、教師あり機械学習を実行した学習済みモデルである。正解値を、教師データともいう。本実施形態において、学習部１４は、教師ありディープニューラルネットワーク学習を実行済みである。学習部１４は、出力値が正解値であるセンサ情報に近づくように、学習している。本実施形態において、学習部１４は、入力値のＬｉＤＡＲ情報と同一の同期グループに属する、センサ情報を正解値とした学習を実行済みである。入力値となる情報と、出力される出力値と、正解値となる情報は同一の種類の情報である。同一の種類の情報とは、例えば入力値が種別を表す情報であるとき、正解値も種別を表す情報であることをいう。

【0035】

本実施形態においては、学習部１４は、作業者によって入力値と正解値とを入力されることで、学習済みである。学習部１４には、同一の対象物についてのＬｉＤＡＲ情報とセンサ情報が入力されている。例えば、学習部１４には、図４の同期グループ１に属する、図２のグループ１のＬｉＤＡＲ情報が入力値として入力され、図３のＯＢ１基づく対象物のセンサ情報が正解値として入力される。本実施形態において、学習部１４は、同一の対象物についての、ＬｉＤＡＲ処理部１１によって生成された情報と、センサ処理部１２によって生成された情報と、が入力されることで学習済みである。

【0036】

学習済みの学習部１４は、仮想環境情報を入力値として、仮想の画像の物体の位置の情報である仮想センサ情報を出力する。仮想環境情報と、仮想の画像については後に説明する。なお、図１において、理解の便を図るため、学習を行っている学習部１４を破線枠で表し、学習済みの学習部１４を実線枠で表している。

【0037】

仮想生成部１５は、仮想の環境を表した仮想の画像を生成する。仮想の画像は、車両を基準とした、仮想の環境が表されている。ここでいう車両とは、本開示のシミュレーションシステム１によって評価される対象である、図１に示す車両制御部ＶＣによって制御される車両である。車両制御部ＶＣは、車両の制御を実行する。具体的には、車両制御部ＶＣは、後に説明する仮想センサ情報を含む、入力された情報に基づいて、車両の操舵の制御と、駆動の制御と、制動の制御と、を行う。

【0038】

仮想の画像は、車両が走行可能な道路と、駐車場と、他車両と、歩行者と、の一つ以上の物体が含まれる。仮想生成部１５は、まず、物体の位置や、動きを想定したシナリオを作成する。仮想生成部１５は、シナリオに基づいて、物体の三次元の形状を作成し、物体の奥行が設定された仮想の画像を生成する。本実施形態において、複数の仮想の画像が準備される。本実施形態においては、複数の仮想の画像には、図５に示すように、駐車場への駐車が想定された画像が含まれる。駐車場への駐車が想定された仮想の画像には、複数の他車両が駐車している駐車場と、駐車場を移動する歩行者と、が含まれる。

【0039】

仮想生成部１５は、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する。仮想環境情報は、仮想生成部１５が生成した物体の三次元の形状から位置の情報を生成するアルゴリズムによって生成される。本実施形態において、仮想生成部１５は、さらに、仮想の画像内に存在する物体の高さと、幅と、種別と、の情報を生成する。仮想生成部１５によって生成された情報は、ＬｉＤＡＲ処理部１１によって生成された情報と形式が同一である。具体的には、仮想環境情報は、車両を基準とする、直交座標で表された位置である。また、仮想の画像内に存在する物体の種別は、他車両の場合「車両」、人の場合「歩行者」等、ＬｉＤＡＲ処理部１１によって生成された情報と対応するように設定されている。仮想生成部１５で生成された情報は、学習済みの学習部１４に入力される。学習済みの学習部１４から、上述した仮想センサ情報が出力される。

【0040】

本実施形態において、図５に示す駐車場と、駐車場を移動する歩行者と、が含まれる画像は、仮想センサ情報に含まれる、車両を基準とした歩行者までの距離が、５ｃｍ以上かつ、１０ｍ以内の範囲内となるように構成されている。また、本実施形態において、仮想センサ情報を含む、仮想環境情報に基づいて生成された情報は、予め定められた秒速以上の風と、予め定められた数値以上の降水量と、凹凸または傾斜の少なくとも一方を有する路面と、の三つの外乱を想定して生成されている。

【0041】

図１に示すシミュレーション部１６は、仮想センサ情報を含む、学習部１４によって出力された情報を用いて、車両の制御のためのシミュレーションを行う。シミュレーション部１６は、仮想センサ情報を含む、学習部１４によって出力された情報を、車両制御部ＶＣに入力する。そして、車両制御部ＶＣが、入力された情報に基づいて、車両の制御のための信号を生成する。信号は、例えば車両を停止させる信号や、ステアリング装置を６０°右回転させる信号等である。

【0042】

評価部１７は、学習部１４によって出力された情報に基づく制御のシミュレーションの結果に基づいて、車両制御部ＶＣを評価する。制御のシミュレーションの結果とは、車両制御部ＶＣによって生成された信号である。上述したように、本実施形態において車両制御部ＶＣは、入力された情報に基づいて、車両の操舵の制御と、駆動の制御と、制動の制御とを行うため、評価部１７は、車両の操舵の制御と、駆動の制御と、制動の制御の結果に基づいた車両制御部ＶＣの制御を行う。

【0043】

評価部１７による評価の例を説明する。前提として、評価部１７には、作業者によって予め、学習部１４によって出力された情報ごとに、評価基準となる信号が入力されている。評価部１７は、評価基準に基づいて、信号を評価する。例えば、車両を基準として、Ｘ軸方向に１ｍ、Ｙ軸方向に５０ｃｍ、Ｚ軸方向に１ｍである、という仮想センサ情報と、物体の種別が「歩行者」である、という情報を入力された車両制御部ＶＣが出力する制御信号が、評価基準となる信号と比較される。

【0044】

記憶装置１８は、仮想環境情報と、仮想センサ情報と、車両制御部ＶＣの制御の結果と、結果に対する評価と、を記憶する。

【0045】

Ａ２．シミュレーション方法：
図６のステップＳ１０において、シミュレーションシステム１に対して、複数のＬＳ点群のデータと、複数のＵＳ距離データと、カメラＣＭによって撮像された複数の画像のデータとが、作業者によって同期処理部１０に入力される。ステップＳ２０において、同期処理部１０が、ＬＳ点群のデータと、ＵＳ距離データと、画像のデータとを紐づける。同期処理部１０は、複数の同期グループを作成する。

【0046】

ステップＳ３０において、ＬｉＤＡＲ処理部１１が、ＬｉＤＡＲ点群に基づいて、予め定められた位置を基準とするグループの位置の情報であるＬｉＤＡＲ情報を含む情報を生成する。ステップＳ４０において、センサ処理部１２が、ＵＳ距離データと、画像に基づいて、予め定められた位置を基準とする対象物の位置の情報であるセンサ情報を含む情報を生成する。なお、ステップＳ４０の処理がステップＳ３０の処理の前に行われてもよい。

【0047】

ステップＳ５０において、情報記憶部１３が、ＬｉＤＡＲ情報およびセンサ情報のそれぞれを、属する同期グループと紐づけて記憶する。ステップＳ６０において、学習前の学習部１４が、同一の同期グループに属する、ＬｉＤＡＲ情報を含む情報を入力値とし、センサ情報を含む情報を正解値として、教師ありディープニューラルネットワーク学習を実行する。ステップＳ７０において、仮想生成部１５が、仮想環境情報を含む情報を生成する。なお、ステップＳ７０の処理は、ステップＳ６０の処理の前に実行されていてもよい。

【0048】

ステップＳ８０において、仮想生成部１５が、教師ありディープニューラルネットワーク学習を実行済みの学習部１４に、仮想環境情報を含む情報を入力する。ステップＳ９０において、シミュレーション部１６が学習部１４から出力された仮想センサ情報を含む情報を、シミュレーションシステム１の評価対象である車両の車両制御部ＶＣに入力することで、車両の制御のためのシミュレーションを行う。ステップＳ１００において、評価部１７が、シミュレーションの結果に基づいて、車両制御部ＶＣを評価する。ステップＳ１１０において、記憶装置１８が、仮想センサ情報と、車両制御部ＶＣの制御の結果と、評価を記憶する。その後、処理は終了する。

【0049】

超音波センサＵＳとカメラＣＭの少なくとも一方に基づいて生成されたセンサ情報は、レーザー光を照射するＬｉＤＡＲセンサＬＳに基づいて生成されたＬｉＤＡＲ情報と比較して、対象物の位置や種別等の認識の誤差や、未検出が生じやすいと考えられる。本実施形態のシミュレーションシステム１によれば、学習部１４が、実際の対象物の情報と近いと考えられるＬｉＤＡＲ情報を入力値とし、実際の対象物の情報と認識の誤差が大きいと考えられるセンサ情報を正解値として、学習している。学習済みの学習部１４に対して、仮想の環境の情報である仮想環境情報が入力されると、仮想環境情報が超音波センサＵＳとカメラＣＭの少なくとも一方に基づいて生成された物体の情報に近い情報である仮想センサ情報に変換される。つまり、人工的に生成された物体の情報を、認識の誤差や未検出が含まれる情報に変換することができる。さらに、生成した仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うことができる。また、超音波センサＵＳとカメラＣＭの少なくとも一方に由来する物体の位置の情報の認識の誤差や未検出を想定した上での、車両制御部ＶＣの評価を行うことができる。

【0050】

さらに、対象物の、予め定められた位置を基準とした高さと、幅と、対象物の種別と、の情報と、それぞれの情報の信頼度と、が生成されない態様と比較して、学習部１４に入力されるＬｉＤＡＲ情報および、正解値としてのセンサ情報が多いため、学習量が多い学習部１４を用いて、シミュレーションが実行される。また、仮想センサ情報と、制御の結果と、評価と、の一つ以上が記憶されることで、シミュレーションの結果を蓄積することができる。

【0051】

多数の車両が移動する駐車場においては、歩行者の動きが見えにくい状況が考えられる。本実施形態のシミュレーションシステム１によれば、歩行者が車両から３０ｃｍ以上かつ１ｍ以内という近接した範囲に存在する状況において、歩行者の位置の誤検出、または歩行者の未検出を想定した上で、車両の制御の実験を実行することができる。また、外乱が想定されない態様と比較して、センサ情報に誤差や未入力が含まれる可能性が高くなるため、そのような状況でのシミュレーションが可能となる。

【0052】

Ｂ．他の実施形態：
Ｂ１．他の実施形態１：
（１）上記実施形態において、センサ処理部１２は、超音波が対象物において反射した反射波と、画像と、の両方に基づいて、センサ情報を生成している。なお、センサ処理部は、超音波が対象物において反射した反射波と画像の少なくとも一方に基づいて、センサ情報を生成すればよい。例えばセンサ処理部は、超音波が対象物において反射した反射波のみに基づいてセンサ情報を生成してもよい。この態様において、同期処理部は、ＬＳ点群のデータと、そのＬＳ点群が生成された時刻と最も近い時刻に生成されたＵＳ距離データと、を紐づける。また、センサ処理部は、画像のみに基づいてセンサ情報を生成してもよい。この態様において、同期処理部は、ＬＳ点群のデータと、そのＬＳ点群が生成された時刻と最も近い時刻に生成された画像のデータと、を紐づける。

【0053】

超音波が対象物において反射した反射波と、画像の少なくとも一方に基づいてセンサ情報を生成するとは、ＵＳ距離データと画像のいずれか一方が生成されず、他方に基づいてセンサ情報を生成する場合を含む。例えば、同期グループに属するＵＳ距離データと画像において、ＵＳ距離データが、画像内において検出された対象物を含んでいない態様において、センサ処理部は、画像のみに基づいて、センサ情報を生成する。カメラが撮像した画像が、ＵＳ距離データに含まれる対象物を含まない態様において、センサ処理部は、超音波点群のみに基づいて、センサ情報を生成する。

【0054】

例えば、ＬｉＤＡＲセンサが搭載される移動体にカメラが搭載されていなくてもよい。この態様において、センサ処理部が、ＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振する超音波センサから発振された超音波が対象物において反射した反射波に基づいて、センサ情報を生成する。また、例えばＬｉＤＡＲセンサが搭載される移動体に超音波センサが搭載されていない態様において、センサ処理部は、ＬｉＤＡＲセンサの検出範囲の少なくとも一部と検出範囲の少なくとも一部が重複する範囲で撮像するカメラが対象物を含む範囲を撮像した画像に基づいて、センサ情報を生成する。

【0055】

（２）上記実施形態において、複数のＬＳ点群のそれぞれは、生成された時刻が紐づけられ、複数のＵＳ距離データのそれぞれは、生成された時刻が紐づけられる。なお、例えば複数のＬＳ点群のそれぞれは、反射光をＬｉＤＡＲセンサが受信した時刻が紐づけられてもよく、複数のＵＳ距離データのそれぞれは、反射波を超音波センサが受信した時刻が紐づけられてもよい。

【0056】

（３）上記実施形態において、ＬｉＤＡＲセンサＬＳと、超音波センサＵＳと、カメラＣＭとが、移動体である車両に搭載されているシミュレーション環境である。なお、例えばＬｉＤＡＲセンサと、超音波センサと、カメラとは、例えばバイクや軽車両等、車両以外の移動体に搭載されてもよい。また、例えばＬｉＤＡＲセンサと、超音波センサと、カメラとは、歩道に設置されてもよい。

【0057】

（４）上記実施形態において、移動体である車両に搭載されるＬｉＤＡＲセンサＬＳとカメラＣＭはそれぞれ一つずつであり、超音波センサＵＳは２つであるシミュレーション環境である。なお、例えば、ＬｉＤＡＲセンサと超音波センサとカメラが、それぞれ複数、車両に搭載されてもよい。例えば車両の前後のそれぞれに、一つずつのＬｉＤＡＲセンサが搭載され、車両の前後左右のそれぞれに、２つずつの超音波センサが搭載され、車両の前後のそれぞれに、一つずつのカメラが搭載されてもよい。この態様において、２つの超音波センサは、少なくとも一つのＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複するように超音波を発振し、カメラは、少なくとも一つのＬｉＤＡＲセンサの検出範囲の少なくとも一部と、検出範囲の少なくとも一部が重複する範囲で撮像する。同期処理部によって、全てのＬｉＤＡＲセンサによって生成されたＬｉＤＡＲ点群のデータと、全ての超音波センサによって生成された超音波点群のデータと、全てのカメラによって撮像された画像のデータとのうち、生成または撮像された時刻が近いデータ同士が紐づけられてもよい。

【0058】

（５）例えば複数のＬｉＤＡＲセンサと複数の超音波センサと複数のカメラによって、ＬｉＤＡＲ情報とセンサ情報とが生成されるシミュレーション環境において、近い位置に配置されているＬｉＤＡＲセンサと超音波センサとカメラの、それぞれのデータ同士が紐づけられてもよい。例えば、車両の前側に配置されているＬｉＤＡＲセンサと超音波センサとカメラの、それぞれのデータ同士が紐づけられ、車両の後ろ側に配置されているＬｉＤＡＲセンサと超音波センサとカメラの、それぞれのデータ同士が紐づけられる。

【0059】

（６）上記実施形態において、予め定められた位置は、車両の後輪のうち、一方の後輪軸の中心である。なお、例えば予め定められた位置はＬＩＤＡＲセンサや超音波センサやカメラの位置でもよく、ＬｉＤＡＲセンサ等が搭載される移動体の、任意の位置でもよい。予め定められた位置を基準としてＬｉＤＡＲ情報とセンサ情報とが生成される。

【0060】

（７）上記実施形態において、ＬＩＤＡＲセンサと、超音波センサと、カメラとは、全て同一の対象物を検出している。なお、例えばＬＳ点群に基づいて、他車両のグループと、歩行者のグループと、レンガ造りの建物のグループとが生成される態様において、ＵＳ距離データに基づいて建物のグループが生成されず、画像に基づいて検出された物体に、建物が含まれていなくてもよい。この態様において、学習部は、建物についての、位置や種別等の情報が入力値として入力され、正解値のセンサ情報として、「無し」が入力されてもよい。一般に、超音波はレーザー光と比較して、反射しない物質が多いことが知られている。例えばカメラが対象物を撮像せず、超音波センサを検出できなかった場合に、学習部が、正解値を「無し」として学習している。仮想環境情報を入力された際に、学習部が仮想センサ情報を無しとして出力することで、対象物の未検出を想定したシミュレーションが可能となる。

【0061】

（８）上記実施形態において、超音波センサＵＳは、ＬｉＤＡＲセンサＬＳの検出範囲と、検出範囲が重複するように、超音波を発振する。なお、超音波センサは、ＬｉＤＡＲセンサの検出範囲の一部と、検出範囲の一部が重複するように、超音波を発振してもよい。また、上記実施形態において、カメラＣＭは、ＬｉＤＡＲセンサＬＳの検出範囲と検出範囲が重複するように撮像し、さらに、超音波センサＵＳの検出範囲と、検出範囲が重複するように、撮像する。なお、カメラは、ＬｉＤＡＲセンサの検出範囲の一部と超音波センサの検出範囲の一部と検出範囲の一部が重複するように、対象物を撮像してもよい。カメラは、ＬｉＤＡＲセンサの検出範囲と、検出範囲の全てが重複するように、超音波を発振し、超音波センサＵＳの検出範囲の一部と検出範囲の一部が重複するように、対象物を撮像してもよい。カメラは、ＬｉＤＡＲセンサの検出範囲と、検出範囲の一部が重複し、超音波センサの検出範囲と検出範囲の全てが重複するように構成されていてもよい。

【0062】

（９）上記実施形態において、ＬｉＤＡＲ情報およびセンサ情報は、予め定められた位置を基準とした直交座標によって表されている。なお、点の位置は、予め定められた位置を基準とした、極座標によって表されてもよい。

【0063】

（１０）上記実施形態において、ＬｉＤＡＲ情報は、代表点の位置の情報である。例えば、ＬｉＤＡＲ情報は、グループを構成する点のうち、予め定められた位置との距離が最も小さい点の情報であってもよい。

【0064】

（１１）例えば画像のみによってセンサ情報が生成される態様において、センサ処理部は、検出した物体の位置を推定するアルゴリズムを用いて、画像内の物体の位置の情報を生成してもよい。

【0065】

（１２）上記実施形態において、学習部１４は、作業者によって入力値と正解値とを入力されることで、学習済みである。なお、例えば学習部は、情報記憶部に記憶された、同一の同期グループに属するＬｉＤＡＲ情報とセンサ情報の、同一の種類の情報を情報記憶部から読み取った入力部によって情報を入力されることで、学習済みであってもよい。より詳細には、入力部が、同一の同期グループに属する、ＬＳ点群に基づく複数のグループと、ＵＳ距離データおよび画像に基づく複数の対象物と、のうち、最も相関があるグループと対象物とを選出して、そのグループのＬｉＤＡＲ情報を入力値とし、対象物のセンサ情報を正解値とする。

【0066】

（１３）上記実施形態において、仮想の画像は、複数の他車両が駐車している駐車場と、駐車場を移動する歩行者と、を含み、仮想生成部１５によって生成された仮想センサ情報に含まれる、車両を基準とした歩行者までの距離が、５ｃｍ以上かつ、１０ｍ以内の範囲内となるように構成されている。なお、仮想の画像は、複数の他車両が駐車している駐車場と、駐車場を移動する歩行者と、を含まない画像であってもよい。例えば仮想の画像は、複数の他車両が駐車している駐車場を含み、歩行者を含まない画像であってもよく、横断歩道を歩行する歩行者を含む画像であってもよい。また、例えば仮想生成部によって生成された仮想センサ情報に含まれる、車両を基準とした歩行者までの距離が、１０ｍ以上となるように構成されていてもよい。

【0067】

（１４）車両制御部によって制御される車両は、車両の操舵の制御と、駆動の制御と、制動の制御等をための信号を生成する、コンピュータのプログラムであってもよい。

【0068】

（１５）上記実施形態において、図６のステップＳ８０において、仮想生成部１５が、教師ありディープニューラルネットワーク学習を学習済みの学習部１４に、仮想環境情報を入力する。なお、例えば作業者によって、教師ありディープニューラルネットワーク学習を学習済みの学習部１４に、仮想環境情報が入力されてもよい。

【0069】

Ｂ２．他の実施形態２：
上記実施形態において、教師あり機械学習は、教師ありディープニューラルネットワーク学習である。例えば、教師あり機械学習は、教師あり畳み込みニューラルネットワーク学習や、教師あり回帰型ニューラルネットワーク学習等、教師ありディープニューラルネットワーク学習以外であってもよい。

【0070】

Ｂ３．他の実施形態３：
（１）上記実施形態において、評価部１７は、車両制御部ＶＣの、仮想センサ情報に基づく制御のシミュレーションの結果に基づいて、車両制御部ＶＣを評価する。なお、例えばシミュレーションの結果に基づいて、作業者が車両制御部を評価する態様において、シミュレーションシステムが評価部を備えなくてもよい。

【0071】

（２）評価部によって、点数による評価が行われてもよい。例えば、車両制御部が信号を生成するまでに必要とした時間に応じて、点数による評価が行われてもよい。また、評価部による評価は、点数による評価のみであってもよい。

【0072】

Ｂ４．他の実施形態４：
上記実施形態において、評価部１７は、車両制御部ＶＣの、車両の操舵の制御と、駆動の制御と、制動の制御と、の結果に基づいて、車両制御部ＶＣを評価する。なお、評価部は、車両の操舵の制御と、駆動の制御と、制動の制御と、の一つまたは二つの結果に基づいて、車両制御部を評価してもよい。

【0073】

Ｂ５．他の実施形態５：
（１）上記実施形態において、ＬｉＤＡＲ処理部１１およびセンサ処理部１２は、対象物の、高さと、幅と、種別と、の情報と、それぞれの情報の信頼度と、を生成する。ＬｉＤＡＲ処理部およびセンサ処理部は、対象物の高さと、幅と、種別と、の情報と、それぞれの情報の信頼度のうち、一つ以上を生成してもよい。ＬｉＤＡＲ処理部およびセンサ処理部は、さらに、対象物の奥行きや、速さや、移動の向きの情報を生成してもよい。

【0074】

（２）例えば、ＬｉＤＡＲ処理部およびセンサ処理部は、対象物の、高さと、幅と、種別と、の情報と、それぞれの情報の信頼度と、を生成しなくてもよい。

【0075】

Ｂ６．他の実施形態６：
（１）上記実施形態において、記憶装置１８が、仮想センサ情報と、車両制御部ＶＣの制御の結果と、評価と、を記憶する。記憶装置は、仮想センサ情報と、前記車両制御部の制御の結果と、前記評価と、のうち、一つを記憶してもよく、二つを記憶してもよい。

【0076】

（２）例えば、シミュレーションシステムは、記憶装置を備えなくても良い。この態様において、作業者によって、外部のメモリに、仮想センサ情報と、車両制御部の制御の結果と、評価と、の一つ以上が記憶されてもよい。

【0077】

Ｂ７．他の実施形態７：
上記実施形態において、仮想センサ情報は、予め定められた秒速以上の風と、予め定められた数値以上の降水量と、凹凸または傾斜の少なくとも一方を有する路面と、の外乱を想定して生成されている。仮想センサ情報は、仮想センサ情報は、予め定められた秒速以上の風と、予め定められた数値以上の降水量と、凹凸または傾斜の少なくとも一方を有する路面と、のうち一つまたは二つの外乱を想定して生成されていてもよい。また、仮想センサ情報は、外乱が想定されなくてもよい。

【0078】

Ｂ８．他の実施形態８：
上記実施形態においては、シミュレーションシステムが車両の制御のためのシミュレーションを実行していたが、コンピュータに記憶された情報生成プログラムによって、シミュレーションが実行されてもよい。この情報生成プログラムは、コンピュータに、ＬｉＤＡＲセンサが照射したレーザー光が対象物において反射されて生じた反射光から生成された点群に基づいて、予め定められた位置を基準とする対象物の位置の情報であるＬｉＤＡＲ情報を生成するＬｉＤＡＲ処理部と、超音波センサから発振された超音波が対象物において反射した反射波と、カメラが対象物を含む範囲を撮像した画像と、の少なくとも一方に基づいて、予め定められた位置を基準とする、対象物の位置の情報であるセンサ情報を生成するセンサ処理部と、ＬｉＤＡＲ情報を入力値とし、センサ情報を正解値とする、教師あり機械学習を実行する学習部と、車両を基準とする、仮想の画像内に存在する物体の位置の情報である仮想環境情報を生成する仮想生成部と、仮想環境情報を入力値として学習部から出力された物体の位置の情報である仮想センサ情報を用いて、車両の制御のためのシミュレーションを行うシミュレーション部として機能させる。

【0079】

本開示は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0080】

１…シミュレーションシステム、１１…ＬｉＤＡＲ処理部、１２…センサ処理部、１４…学習部、１５…仮想生成部、１６…シミュレーション部、ＣＭ…カメラ、ＬＳ…ＬｉＤＡＲセンサ、ＵＳ…超音波センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】