特開 2023-164047 評価用データ作成装置、評価用データ作成方法及び評価用データ作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164047

(43)【公開日】2023-11-10

(54)【発明の名称】評価用データ作成装置、評価用データ作成方法及び評価用データ作成プログラム

(51)【国際特許分類】

   B60W 50/06 20060101AFI20231102BHJP

   G01M 17/007 20060101ALI20231102BHJP

   B60W 60/00 20200101ALI20231102BHJP

【ＦＩ】

B60W50/06

G01M17/007 B

B60W60/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022075352

(22)【出願日】2022-04-28

(71)【出願人】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】中尾 健太

(72)【発明者】

【氏名】高桑 義直

(72)【発明者】

【氏名】清水 裕量

(72)【発明者】

【氏名】西森 稔晃

【テーマコード（参考）】

3D241

【Ｆターム（参考）】

3D241BA62

3D241CC01

3D241CC08

3D241CC17

3D241CE02

3D241CE05

3D241CE08

3D241DC25Z

3D241DC33Z

3D241DC51Z

(57)【要約】

【課題】運転支援の性能の評価に用いるより多くの評価用データを少ない処理量で作成できることにある。
【解決手段】車両の運転支援機能を評価する評価用データを作成する評価用データ作成装置であって、車両の走行を再現するシナリオを設定するシナリオ設定部と、シナリオ設定部で設定したシナリオを車両のセンサをモデル化したセンサモデルで処理して、センサモデルで検出した情報であるセンサデータを作成するセンサデータ作成部と、センサデータ作成部で作成したセンサデータに、車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいてセンサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の自動運転及び車両の運転支援機能の少なくとも一方を評価する評価用データを作成する評価用データ作成装置であって、
前記車両の走行を再現するシナリオを設定するシナリオ設定部と、
前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、
前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置。

【請求項2】

前記実データを記憶する記憶部を有し、
前記実データ変換部が取得したセンサデータと、前記記憶部に記憶した実データとを比較し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する請求項１に記載の評価用データ作成装置。

【請求項3】

前記センサデータと前記実データとが対応付けられた学習データを用いて、前記センサデータを入力とし、対応する実データを出力として学習した学習済モデルで、前記センサデータを処理し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する請求項１に記載の評価用データ作成装置。

【請求項4】

前記対応付け処理部は、シナリオの条件で分類した複数の学習済モデルを有し、前記シナリオ設定部で設定したシナリオに基づいて使用する学習済みモデルを決定する請求項３に記載の評価用データ作成装置。

【請求項5】

前記対応付け処理部は、シナリオの天候及び周囲の光源の少なくとも一方に基づいて、使用する学習済みモデルを決定する請求項４に記載の評価用データ作成装置。

【請求項6】

入力を検出する入力部を有し、
前記対応付け処理部は、前記入力部で検出した入力に基づいて、使用する学習済みモデルを決定する請求項４に記載の評価用データ作成装置。

【請求項7】

前記対応付け処理部は、車両の周囲環境に基づいて、使用する学習済みモデルを決定する請求項４に記載の評価用データ作成装置。

【請求項8】

前記実データ変換部で作成した変換実データに対して、前記シナリオから天候及び周囲の光源の少なくとも一方を変換する処理を行い、第二変換実データを作成する天候・光源変換部を有する請求項１から７のいずれか一項に記載の評価用データ作成装置。

【請求項9】

天候・光源変換部は、天候及び周囲の光源の少なくとも一方が異なる実データが対応付けられ、前記シナリオ作成部で作成するシナリオの天候及び周囲の光源の実データを入力とし、天候及び周囲の光源の少なくとも一方が異なる対応付けられた実データを出力として学習した学習済みモデルで、変換実データを前記第二変換実データに変換する請求項８に記載の評価用データ作成装置。

【請求項10】

車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成方法であって、
前記車両の走行を再現するシナリオを設定するステップと、
前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、
作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法。

【請求項11】

車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成プログラムであって、
前記車両の走行を再現するシナリオを設定するステップと、
前記車両のセンサをモデル化したセンサモデルを用いて、設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、
作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、評価用データ作成装置、評価用データ作成方法及び評価データ用作成プログラムに関するものである。

【背景技術】

【0002】

車両を運転する運転者を支援するために、自動運転、衝突回避等の運転支援機能が開発されている。運転支援機能は、車両に搭載された各種センサの取得データに基づいて、実行する支援の判定を行う。運転支援機能は、走行する車両の種々の環境に対応する必要がある。

【0003】

運転支援機能の性能を評価するための評価手法も提案されている。特許文献１には、シミュレーションで複数の車両の走行環境を再現し、再現した情報をそれぞれの車両に入力して実行される挙動に基づいて運転支援機能を評価することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１０５４５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の装置は、シミュレーションで解析を行うことで、種々の状況での解析を行うことができる。しかしながら、シミュレーションであるため、実際に車両が走行して得ることができるデータとは乖離が生じるため、運転支援機能の評価に用いた場合に、信頼性の向上に限界がある。

【0006】

特許文献１の装置では、シミュレーションにより種々の条件・状況を模擬した解析ができる。しかしながら、シミュレーションで得られる評価用データについては、実際に車両が走行して得られるデータとは乖離があるため、運転支援性能の評価に適したレベルまでデータの信頼性を高めることが難しい。

【0007】

一方、実際の車両を走行させることにより、模擬データではなく実際の走行データを得ることができる。この場合に、運転支援性能の評価に適した信頼性を得るには、種々の条件、状況にて試験を行う必要がある。しかしながら、実際の車両を使って種々の条件、状況で走行試験を行うことには限界がある。そのため、実際の走行車両試験から、運転支援性能の評価に適したデータを得ることは、現実には難しい。

【0008】

本開示は、上記課題を解決するために、運転支援性能の評価に適した信頼性を有する評価用データを、効率的に作成できる評価用データ作成装置、評価用データ作成方法及び評価用データ作成プログラムを提供することを課題とする。

【課題を解決するための手段】

【0009】

本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方を評価する評価用データを作成する評価用データ作成装置であって、前記車両の走行を再現するシナリオを設定するシナリオ設定部と、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置を提供する。

【0010】

また、本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方の運転支援機能を評価する評価用データを作成する評価用データ作成方法であって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法を提供する。

【0011】

また、本開示は、車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成プログラムであって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラムを提供する。

【発明の効果】

【0012】

上記構成とすることで、運転支援の性能の評価に用いるより多くの評価用データを少ない処理量で作成できるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】図１は、評価用データ作成装置の一例を示すブロック図である。

【図2】図２は、評価用データ作成装置の処理の一例を示すフローチャートである。

【図3】図３は、機械学習部の動作の一例を示すフローチャートである。

【図4】図４は、評価用データ作成装置の処理の一例を示すフローチャートである。

【図5】図５は、評価用データ作成装置の処理の一例を示すフローチャートである。

【図6】図６は、評価用データ作成装置の処理の一例を示すフローチャートである。

【図7】図７は、評価用データ作成装置の処理の一例を示すフローチャートである。

【図8】図８は、評価用データ作成装置の一例を示すブロック図である。

【図9】図９は、機械学習部の動作の一例を示すフローチャートである。

【図10】図１０は、評価用データ作成装置の処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

【0015】

＜評価用データ作成装置＞
図１は、評価用データ作成装置の一例を示すブロック図である。本実施形態に係る評価用データ作成装置１０は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）６の運転支援機能の評価に用いる評価用データを作成する。

【0016】

ＥＣＵ６は、車両に搭載され、車両に搭載されたセンサで取得した情報に基づいて、運転支援機能を実行する。ＥＣＵ６が実行する運転支援は、特に限定されない。運転支援としては、走行速度制御、ブレーキ制御、操舵制御、自動運転制御、運転者への警告制御、他の車両、周囲の通行人に対する警告制御等が例示される。つまり、車両の自動運転機能、運転支援機能の少なくとも一方が対象となる。車両に搭載されたセンサも種々の情報が含まれ、ＬｉＤＡＲ等の距離センサ、温度センサ、カメラ等で取得した情報、通信を介して周囲の車両、路側機、クラウドから取得した情報、車両に入力されたアクセル、ブレーキ、操舵等の操作情報、駆動機構に配置されたセンサの情報等が含まれる。

【0017】

ＥＣＵ６の評価を行う場合、評価用データ作成装置１０で作成された評価用データをＥＣＵ６に入力する。ＥＣＵ６は、センサのデータとして入力されると、入力された評価用データを処理して、処理結果を運転支援の指示情報として評価装置８に出力する。

【0018】

評価装置８は、ＥＣＵ６の運転支援機能を評価する。評価装置８は、ＣＰＵ等の演算処理機能と、ＲＯＭ、ＲＡＭ等の記憶機能を有し、プログラムで、評価機能を実行する装置である。評価装置８は、評価用データ作成装置１０で入力した評価用データとその評価用データの条件を取得し、ＥＣＵ６で評価用データを処理して出力される運転支援の指示情報を取得する。評価装置８は、ＥＣＵ６が実行した運転支援のタイミング、内容が、評価用データのシナリオの状況に対して適切であるかを判定する。評価用データを用いて、ＥＣＵ６を評価することで、ＥＣＵ６の運転支援の性能を評価することができる。評価用データを用いて、ＥＣＵ６を評価し、ＥＣＵ６の機能を調整することで、運転支援の性能を向上させることができる。また、評価用データは、ＥＣＵ６の学習データとして用いることもできる。

【0019】

次に、評価用データ作成装置１０について説明する。評価用データ作成装置１０は、評価対象の車両の走行状態をシミュレーションで再現し、評価対象の車両の走行時にＥＣＵ６に入力されるデータを模擬した評価用データを作成する。

【0020】

評価用データ作成装置１０は、入力部１２と、出力部１４と、通信部１５と、演算部１６と、記憶部１８と、を含む。入力部１２は、キーボード及びマウス、タッチパネル、またはオペレータからの発話を集音するマイク等の入力装置を含み、オペレータが入力装置に対して行う操作に対応する信号を演算部１６へ出力する。出力部１４は、ディスプレイ等の表示装置を含み、演算部１６から出力される表示信号に基づいて、処理結果や処理対象の画像等、各種情報を含む画面を表示する。また、出力部１４は、データを記録媒体で出力する記録装置を含んでもよい。通信部１５は、通信インターフェースを用いて、データの送信を行う。通信部１５は、ＥＣＵ６、評価装置８と通信を行い、データの送受信を行う。通信部１５は、外部機器と通信を行い取得した各種データ、プログラムを記憶部１６に送り、保存する。通信部は、有線の通信回線で外部機器と接続しても、無線の通信回線で外部機器と接続してもよい。

【0021】

演算部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の集積回路（プロセッサ）と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、演算部１６は、記憶部１８に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。演算部１６は、シナリオ設定部２２と、センサデータ作成部２４と、実データ変換部２６と、対応付け処理部２８と、機械学習部３０と、を含む。演算部１６の各部の説明の前に記憶部１８について説明する。

【0022】

記憶部１８は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部１８は、データ作成プログラム３２と、学習プログラム３４と、シナリオモデル３６と、環境物体モデル３７と、天候モデル３８と、光源モデル４０と、車両モデル４２と、センサモデル４４と、対応付けテーブル４６と、実データ４８と、学習済みモデル５０と、を含む。

【0023】

記憶部１８に記憶されるデータとしては、シナリオモデル３６と、環境物体モデル３７と、天候モデル３８と、光源モデル４０と、車両モデル４２と、センサモデル４４と、対応付けテーブル４６と、実データ４８と、学習済みモデル５０と、が含まれる。シナリオモデル３６と、環境物体モデル３７と、天候モデル３８と、光源モデル４０と、車両モデル４２と、センサモデル４４と、対応付けテーブル４６と、実データ４８と、学習済みモデル５０とは、それぞれ複数備え、使用するモデル、データ、テーブルを選択することができる。

【0024】

シナリオモデル３６は、車両の走行のシミュレーションする条件を設定したモデルである。シナリオモデル３６は、環境物体モデル３７、天候モデル３８、光源モデル４０、車両モデル４２のそれぞれから選択したモデルを組み合わせたモデルある。シナリオモデル３６は、ある瞬間のＥＣＵ６の処理の評価をするために、時間経過がないある瞬間のモデルとしても、所定の区間を走行中のＥＣＵ６の処理の評価をするために、時間経過があるモデルとしてもよい。

【0025】

環境物体モデル３７は、車両の周囲の形状の情報を含むモデルである。環境物体モデル３７は、車両が走行する道路の形状情報（直線、カーブ、交差点、ガードレールの有無、信号機の有無）や、周囲の車両の情報、周囲の通行人の情報等を含む。つまり、環境物体モデル３７は、車両の周囲の三次元形状のモデルを含む。

【0026】

天候モデル３８は、晴れ、曇り、雨、暴風雨、雪、みぞれ、車両の天候を再現するモデルである。天候モデル３８は、雲量、降雨量、降雪量、温度、風速等に応じて、再現される状況が変化するモデルである。

【0027】

光源モデル４０は、太陽、照明塔、建物、対向車など、車両の周囲にある光を出力する物体のモデルである。

【0028】

車両モデル４２は、解析対象の車両、周囲の車両を再現するモデルである。車両モデル４２は、車両の形状、走行性能、搭載しているセンサの情報等を含む。

【0029】

センサモデル４４は、解析対象の車両に搭載されるセンサのモデルである。センサモデル４４は、周囲の情報に応じて、どのような情報を出力するかが設定されるモデルである。

【0030】

対応付けテーブル４６は、シミュレーションで作成したデータであるセンサデータと、事前に実際に車両を走行して取得した実データとの対応付けの情報を含むモデルである。対応付けテーブル４６は、対応付けを行う条件の情報を有する。対応付けテーブル４６は、シナリオの条件や取得したセンサデータに基づいて予め設定された振り分け条件に基づいて実データを対応付ける場合、実データを対応付ける条件のテーブルが含まれる。対応付けに学習済みモデル５０を用いる場合、センサデータを学習済みモデル５０に入力する処理条件等が対応付けられる。

【0031】

実データ４８は、事前に実際に車両を走行して取得したデータである。実データ４８は、車両に搭載したセンサが検出したデータである。また、実データ４８は実際に車両を走行した際の情報、環境物体の情報、天候の情報、光源の情報、車両の情報も含まれる。

【0032】

学習済みモデル５０は、機械学習部３０が機械学習で作成したモデルである。学習済みモデル５０は、センサデータが入力されると、当該センサデータに対応する実データを出力する。

【0033】

記憶部１８に記憶されるプログラムとしては、データ作成プログラム３２と、学習プログラム３４と、がある。

【0034】

データ作成プログラム３２は、評価用データを作成するプログラム（評価用データ作成プログラム）である。データ作成プログラム３２は、シナリオ設定部２２、センサデータ作成部２４、実データ変換部２６、対応付け処理部２８の機能を実現するプログラムである。

【0035】

学習プログラム３４は、データ作成プログラム３２の処理の一部に用いる学習済みモデルを機械学習で作成するプログラムである。学習プログラム３４は、機械学習部３０の機能を実現するプログラムである。学習プログラム３４は、シナリオに基づいてシミュレーションで作成したセンサデータを入力とし、当該センサデータに対応する実データを出力とした教師データを用いて、深層学習処理を行い、学習済みモデル５０を作成する。深層学習モデルとしては、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）等を用いることができる。なお、学習モデル、機械学習の方法は特に限定されず、センサデータを実データに変換できればよい。

【0036】

記憶部１８は、記録媒体に記録されたデータ作成プログラム３２と、学習プログラム３４と、を読み込むことで、データ作成プログラム３２と、学習プログラム３４と、がインストールされてもよいし、ネットワーク上で提供されるデータ作成プログラム３２と、学習プログラム３４と、を読み込むことで、データ作成プログラム３２と、学習プログラム３４と、がインストールされてもよい。

【0037】

演算部１６の各部の機能について説明する。演算部１６の各部は、記憶部１８に記憶されるプログラムを実行することで、実行することができる。シナリオ設定部２２は、解析を実行するシミュレーションの条件を取得し、条件に基づいたモデルを、環境物体モデル３７と、天候モデル３８と、光源モデル４０と、車両モデル４２とから、それぞれ選択して、シミュレーションモデルであるシナリオモデルを作成する。解析を実行するシミュレーションの条件は、ユーザの入力結果に基づいて設定する。シナリオ設定部２２は、解析を実行するシミュレーションの条件に対応するシナリオモデル３６が記憶部１８に記憶されている場合、記憶されているシナリオモデル３６を読み出す。

【0038】

センサデータ作成部２４は、車両のセンサをモデル化したセンサモデルを用いて、シナリオ設定部２２で設定したシナリオを車両が走行した場合のセンサデータを作成する。センサデータ作成部２４は、シナリオ設定部２２で作成したシナリオモデルに基づいてシミュレーションを実行し、シナリオモデルに基づいて車両が走行した場合にセンサが検出するデータであるセンサデータを作成する。

【0039】

実データ変換部２６は、センサデータ作成部２４で作成したセンサデータに対して対応付け処理部２８で対応付けを行い、対応付けた結果を用いて、実データに変換する。

【0040】

対応付け処理部２８は、実データ変換部２６から入力されるセンサデータに対して実データの対応付けを行う。対応付け処理部２８は、対応付けテーブル４６を用いて、センサデータに対応する実データを特定する。また、対応付け処理部２８は、学習済みモデル５０を使用する場合、機械学習部３０にセンサデータを入力し、出力された実データを取得する。

【0041】

機械学習部３０は、シナリオに基づいてシミュレーションで作成したセンサデータを入力とし、当該センサデータに対応する実データを出力とした教師データを用いて、深層学習処理を行い、学習済みモデル５０を作成する。また、機械学習部３０は、学習済みモデル５０を用いた処理も実行する。具体的には、機械学習部３０は、入力されたセンサデータを学習済みモデル５０に入力し、対応する実データを出力する。

【0042】

＜方法＞
次に、図２を用いて、評価用データ作成方法について説明する。図２は、評価用データ作成装置の処理の一例を示すフローチャートである。図２に示す処理は、対応付け処理で機械学習を用いない処理である。

【0043】

演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。シナリオ設定部２２は、ユーザにより入力された条件、予め設定される条件等に元浮いて実行するシナリオを決定する。

【0044】

演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ１４）。

【0045】

演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。演算部１６は、センサデータ作成部２４で、車両モデル４２に基づいてセンサモデルを作成する。センサデータ作成部２４は、シナリオモデルをセンサモデルに入力してシミュレーションを実行し、センサモデルで検出したセンサデータ、つまりシナリオモデルで走行した場合に、センサが検出するデータを作成する。

【0046】

演算部１６は、センサデータに対応する実データを決定する（ステップＳ１８）。演算部１６は、実データ変換部２６及び対応付け処理部２８で、対応付けテーブル４６を用いてセンサデータを処理して、センサデータに対応付けする実データを決定する。本実施形態では、センサデータ及びシナリオモデルに基づいて、対応付けテーブル４６に対応付けられている実データから、最も条件が近い実データを選定する。

【0047】

演算部１６は、実データへの変換処理を行う（ステップＳ２０）。演算部１６は、実データ変換部２６で、対応付け処理部２８で決定した対応付けに基づいてセンサデータを実データに変換する。

【0048】

演算部１６は、作成した実データを保存する（ステップＳ２２）。実データが評価用データとなる。

【0049】

本実施形態は、以上のように、シミュレーションで作成したセンサデータに対する実データを特定し、センサデータを実データに変換することで、評価用データを実データとすることができる。

【0050】

ここで、シナリオモデルは、例えば、物体の形状をポリゴンで形成し、物体の特性（反射率、透過率、テクスチャ等）をマテリアルとして設定し、これらを組み合わせて三次元形状のモデルとする。シナリオモデルの設定を簡素なモデル、例えば、モデルの作成ソフトに初期設定で設定されている情報のみで作成した場合、本実施形態は、センサデータから実データに変換することで、ＥＣＵ６に供給する評価用データは実データとすることができる。

【0051】

これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。また、実データを対応付けることで、評価用データが実際のセンサの検出と乖離することを抑制できる。

【0052】

上記実施形態では、対応付け処理部２８で、センサデータに対応する１つの実データ４８を決定し、決定した実データを評価表データとしたがこれに限定されない。評価用データ作成装置１０は、機械学習部で学習済みモデルを作成し、センサデータから実データへの変換を、学習済みモデルを用いて行ってもよい。

【0053】

＜学習済みモデル作成方法＞
図３は、機械学習部の動作の一例を示すフローチャートである。図３に示す処理は、機械学習部で実行する。機械学習部３０は、実データを取得する（ステップＳ３２）。機械学習部３０は、記憶部１８に記憶された実データを取得しても、通信部１５を介して実データ取得してもよい。

【0054】

機械学習部３０は、センサデータを作成する（ステップＳ３４）。機械学習部３０は、シナリオ設定部２２、センサデータ作成部２４で処理を実行し、実データに対応するセンサデータを作成する。機械学習部３０は、例えば、実データの走行時の条件を取得し、作成した条件を用いてセンサデータを作成する。

【0055】

機械学習部３０は、センサデータと実データの対応付けを実行する（ステップＳ３６）。つまり、機械学習部３０は、ステップＳ３２で取得した実データとステップＳ３４で作成したセンサデータとを対応付ける。

【0056】

機械学習部３０は、学習用のデータの作成が完了したかを判定する（ステップＳ３８）。例えば、機械学習部３０は、センサデータと実データとの組み合わせが、設定した数以上あるかを判定基準とする。

【0057】

機械学習部３０は、学習用のデータの作成が完了していない（ステップＳ３８でＮｏ）と判定した場合、ステップＳ３２に戻り、センサデータと実データとの組み合わせをさらに作成する。

【0058】

機械学習部３０は、学習用のデータの作成が完了した（ステップＳ３８でＹｅｓ）と判定した場合、センサデータを入力とし、対応する実データを出力として、学習モデルの学習を実行する（ステップＳ４０）。機械学習部３０は、例えば、学習データとなる、センサデータと実データとの組み合わせの一部を学習用データ、残りを検証用データとし、学習用データで学習を行い、検証用データで検証する。

【0059】

機械学習部３０は、以上の処理で、センサデータが入力されると、対応する実データを出力する学習済みモデルを作成する。なお、学習済みモデルの作成方法は、一例でありこれに限定されない。上記実施形態では、教師あり学習として説明したが、学習モデルと実データとを準備し、教師無し学習で、センサデータに対する実データの特定を行うようにしてもよい。

【0060】

＜評価用データ作成方法の他の例＞
図４は、評価用データ作成装置の処理の一例を示すフローチャートである。図４に示す処理のうち、図２に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。

【0061】

演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ１４）。演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。

【0062】

演算部１６は、センサデータを学習済みモデルに入力し、実データに変換する（ステップＳ５２）。

【0063】

演算部１６は、作成した実データを保存する（ステップＳ２２）。実データが評価用データとなる。

【0064】

評価用データ作成装置１０は、図４に示すように、機械学習（深層学習）で作成した学習済みモデルを用いて、センサデータを実データに変換することで、各種条件の設定等を行わずに、データの変換を行うことができる。

【0065】

ここで、評価用データ作成装置１０は、複数の学習済みモデルを用いてもよい。学習済みモデルを複数用いる場合は、分類する条件を設定し、それぞれの分類条件を満たすセンサデータと実データとの対応付けを行った学習データを作成する。機械学習部３０は、学習データ毎に、機械学習を実行することで、分類する条件毎の学習済みモデルを作成する。

【0066】

図５は、評価用データ作成装置の処理の一例を示すフローチャートである。図５に示す処理のうち、図４に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。図５は、学習済モデルを、天候、光源の条件毎に学習済みモデルを作成している場合である。

【0067】

演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ１４）。演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。

【0068】

演算部１６は、実データ変換部２６を用いて、天候モデル、光源モデルに基づいて使用する学習済みモデルを決定する（ステップＳ５４）。実データ変換部２６は、シナリオモデルの情報に基づいて、センサデータの天候、光源の条件を取得し、取得した条件に対応する学習済みモデルを決定する。演算部１６は、センサデータを学習済みモデルに入力し、実データに変換する（ステップＳ５６）。

【0069】

演算部１６は、作成した実データを保存する（ステップＳ２２）。実データが評価用データとなる。

【0070】

このように、学習済みデータを条件毎に設けることで、実データを特定する精度を高くすることができる。シナリオモデルの条件で実際に走行した場合に得られる実データに近い実データを対応付けることができる。

【0071】

本実施形態のように、天候、光源を分類の条件とすることで、シナリオモデルから作成したセンサデータでの判定が難しい条件を識別することができる。例えば、画像の場合、雨なのか雪なのか、曇っていて暗いのか夕方で暗いのか室内で暗いのか等で、学習結果が混在することを抑制できる。これにより、センサデータに基づいた実データの変換の精度をより高くすることができる。

【0072】

評価用データ作成装置は、ユーザの入力に基づいて使用する学習済みデータを決定してもよい。図６は、評価用データ作成装置の処理の一例を示すフローチャートである。図６に示す処理のうち、図５に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。

【0073】

演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ１４）。演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。

【0074】

演算部１６は、実データ変換部２６を用いて、入力に基づいて使用する学習済みモデルを決定する（ステップＳ６２）。実データ変換部２６は、入力部１２に入力された天候、光源の情報に基づいて、対応する学習済みモデルを決定する。演算部１６は、センサデータを学習済みモデルに入力し、実データに変換する（ステップＳ５６）。

【0075】

演算部１６は、作成した実データを保存する（ステップＳ２２）。実データが評価用データとなる。

【0076】

評価用データ作成装置１０は、これにより、センサデータをユーザが必要とする天候、光源の条件の実データに変換することができる。なお、本実施形態ではユーザの入力としたが、他のデータベースから入力された情報としてもよい。

【0077】

評価用データ作成装置１０は、ステップＳ１２で決定するシナリオの、天候、光源を１つの標準の設定としてもよい。これにより、モデルの作成の負荷を低減することができる。また、ユーザの任意の設定に基づいて学習済みモデルを選定する処理であるため、評価用データとなる実データの天候、光源として、ユーザが必要とする天候、光源の条件の実データに変換することができる。

【0078】

評価用データ作成装置は、学習済みモデルを、環境物体モデルの条件毎に分類してもよい。図７は、評価用データ作成装置の処理の一例を示すフローチャートである。図７に示す処理のうち、図５に示す処理を同じ処理は同じ符号を付して詳細な説明を省略する。

【0079】

演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、天候モデル、光源モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ１４）。演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。

【0080】

演算部１６は、実データ変換部２６を用いて、環境物体モデルに基づいて使用する学習済みモデルを決定する（ステップＳ６４）。実データ変換部２６は、シナリオモデルの情報に基づいて、センサデータの天候、光源の条件を取得し、取得した条件に対応する学習済みモデルを決定する。演算部１６は、センサデータを学習済みモデルに入力し、実データに変換する（ステップＳ５６）。

【0081】

演算部１６は、作成した実データを保存する（ステップＳ２２）。実データが評価用データとなる。

【0082】

評価用データ作成装置１０は、環境物体モデルを条件毎に分類し、人、ビル、樹木等が類似する条件で学習を行うことで、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。

【0083】

また、評価用データ作成装置１０は、学習時に環境物体モデルも入力情報として入力することが好ましい。これにより、天候や光源（昼夜）で検出状態が変わる場合も、環境物理モデルの条件を処理しつつ対応付けることができる。これにより、検出精度をより高くすることができる。

【0084】

＜評価用データ作成装置の他の例＞
図８は、評価用データ作成装置の一例を示すブロック図である。図８に示す評価用データ作成装置１０ａは、評価用データ作成装置１０の構成に加え、天候光源変換部２９と、第２学習済みモデル５２とを含む。また、評価用データ作成装置１０の学習済みモデルが、第１学習済みモデル５０となる。評価用データ作成装置１０は、データの変換処理を２回実行する。

【0085】

評価用データ作成装置１０ａは、第１学習済みモデル５０と第２学習済みモデル５２の２つの学習済みモデルを有する。第１学習済みモデル５０は、上述したようにセンサデータを実データに変換する処理に用いる学習済みモデルである。第１学習済みモデル５０は、天候、光源の条件を標準条件としたセンサモデルと実データとで学習を行い、作成される。

【0086】

第２学習済みモデル５２は、実データを天候、光源の条件が異なる実データに変換する処理に用いる学習済みモデルである。第２学習済みモデル５２の作成方法は後述する。

【0087】

天候光源変換部２９は、第２学習済みモデル５２を用いて、実データ変換部２６で作成した実データ（第一実データ）の天候と光源の条件を変更した第二実データを作成する。天候光源変換部２９は、入力部１２で入力された条件に基づいて天候と光源の条件を変更する。

【0088】

図９は、機械学習部の動作の一例を示すフローチャートである。図９を用いて、機械学習部で実行する。機械学習部３０は、光源、天候が標準条件の実データを取得する（ステップＳ７２）。機械学習部３０は、記憶部１８に記憶された実データを取得しても、通信部１５を介して実データ取得してもよい。

【0089】

機械学習部３０は、光源、天候が標準条件とは異なる実データを取得する（ステップＳ７４）。機械学習部３０は、記憶部１８に記憶された実データを取得しても、通信部１５を介して実データ取得してもよい。

【0090】

機械学習部３０は、光源、天候以外が同じ条件の実データ同士の対応付けを実行する（ステップＳ７６）。つまり、機械学習部３０は、ステップＳ７２で取得した実データとステップＳ７４で作成したセンサデータとを対応付ける。

【0091】

機械学習部３０は、学習用のデータの作成が完了したかを判定する（ステップＳ７８）。例えば、機械学習部３０は、実データの組み合わせが、設定した数以上あるかを判定基準とする。

【0092】

機械学習部３０は、学習用のデータの作成が完了していない（ステップＳ７８でＮｏ）と判定した場合、ステップＳ７２に戻り、センサデータと実データとの組み合わせをさらに作成する。

【0093】

機械学習部３０は、学習用のデータの作成が完了した（ステップＳ７８でＹｅｓ）と判定した場合、標準条件の実データを入力とし、対応する実データを出力として、第２学習モデルの学習を実行する（ステップＳ８０）。

【0094】

機械学習部３０は、以上の処理で、標準条件の実データを異なる天候、光源の条件の実データに変換する第２学習済みモデルを作成する。

【0095】

図１０は、評価用データ作成装置の処理の一例を示すフローチャートである。演算部１６は、シナリオ設定部２２で、実行するシミュレーションのシナリオを決定する（ステップＳ１２）。演算部１６は、シナリオ設定部２２で、シナリオに基づいて、使用する環境物体モデル、車両モデルを決定し、シナリオモデルを作成する（ステップＳ９０）。天候モデル、光源モデルは、標準条件のモデルとする。演算部１６は、決定したシナリオモデルをセンサモデルに入力し、センサデータを作成する（ステップＳ１６）。

【0096】

演算部１６は、第１学習済みモデルを決定する（ステップＳ９２）。実データ変換部２６は、シナリオモデルの情報や入力に基づいて、取得した条件に対応する学習済みモデルを決定する。なお、第１学習済みモデルは、１つの学習済みモデルとしてもよい。演算部１６は、センサデータを第１学習済みモデルに入力し、第一実データに変換する（ステップＳ９４）。

【0097】

演算部１６は、天候光源変換部２９を用いて、入力に基づいて使用する第２学習済みモデルを決定する（ステップＳ９６）。天候光源変換部２９は、入力部１２に入力された天候、光源の情報に基づいて、対応する第２学習済みモデルを決定する。演算部１６は、第一実データを第二学習済みモデルに入力し、第二実データに変換する（ステップＳ９８）。

【0098】

演算部１６は、作成した第二実データを保存する（ステップＳ９９）。第二実データが評価用データとなる。

【0099】

評価用データ作成装置１０ａは、変換処理を２回行うことで、センサデータ作成部２４作成するセンサデータのシナリオのうち、天候、光源のデータを基準条件とすることができる。これにより、センサデータの作成の負荷を小さくすることができる。また、第１学習済みモデルの作成の負荷も小さくすることができる。

【0100】

評価用データ作成装置１０ａは、天候光源変換部２９で、天候、光源の条件を変更することで、センサデータから変換した第一実データを、所望の天候、光源の条件の第二実データに変換することができる。

【0101】

また、評価用データ作成装置１０ａは、第２学習済みモデルとして、対応する実データを選択する処理を実行する機械学習としてもよいが、教師データに基づいて、第一実データを第二実データに変換する処理を学習する機械学習とすることが好ましい。評価用データ作成装置１０ａは、基準状態から所望の天候、光源に変換できる第２学習済みモデル５２を用いることで、天候、光源の影響をより高い精度で変換、補正することができる。これにより、天候、光源を変化させた種々の第二実データを作成することができ、評価用データをより多く作成することができる。

【0102】

また、上記実施形態では、実データに対して天候、光源を変更する処理を行ったが、変更する処理は、天候、光源に限定されない。シナリオで設定する種々の条件に基づいて、実データの変更、つまり、実データの補正処理を行ってもよい。これにより、シナリオにより近い実データとすることができる。また、補正処理ができることで、条件が異なる評価用データをより多く作成することができる。

【0103】

本開示は、以下の発明を開示している。なお、下記に限定されない。
（１）車両の自動運転及び車両の運転支援機能の少なくとも一方を評価する評価用データを作成する評価用データ作成装置であって、前記車両の走行を再現するシナリオを設定するシナリオ設定部と、前記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するセンサデータ作成部と、前記センサデータ作成部で作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成する実データ変換部と、を含む評価用データ作成装置。

【0104】

これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。

【0105】

（２）前記実データを記憶する記憶部を有し、前記実データ変換部が取得したセンサデータと、前記記憶部に記憶した実データとを比較し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する（１）に記載の評価用データ作成装置。実データを対応付けることで、評価用データが実際のセンサの検出と乖離することを抑制できる。

【0106】

（３）前記センサデータと前記実データとが対応付けられた学習データを用いて、前記センサデータを入力とし、対応する実データを出力として学習した学習済モデルで、前記センサデータを処理し、前記センサデータに対応付ける実データを決定する対応付け処理部を有する（１）に記載の評価用データ作成装置。学習済みモデルを用いることで、対応付け処理の負荷を低減することができる。

【0107】

（４）前記対応付け処理部は、シナリオの条件で分類した複数の学習済モデルを有し、前記シナリオ設定部で設定したシナリオに基づいて使用する学習済みモデルを決定する（３）に記載の評価用データ作成装置。これにより、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。

【0108】

（５）前記対応付け処理部は、シナリオの天候及び周囲の光源の少なくとも一方に基づいて、使用する学習済みモデルを決定する（４）に記載の評価用データ作成装置。天候、光源を分類の条件とすることで、シナリオモデルから作成したセンサデータでの判定が難しい条件を識別することができる。例えば、画像の場合、雨なのか雪なのか、曇っていて暗いのか夕方で暗いのか室内で暗いのか等で、学習結果が混在することを抑制できる。これにより、センサデータに基づいた実データの変換の精度をより高くすることができる。

【0109】

（６）入力を検出する入力部を有し、前記対応付け処理部は、前記入力部で検出した入力に基づいて、使用する学習済みモデルを決定する（４）または（５）に記載の評価用データ作成装置。これにより、ユーザが必要とする条件に対応する実データに変換することができる。

【0110】

（７）前記対応付け処理部は、車両の周囲環境に基づいて、使用する学習済みモデルを決定する（４）から（６）のいずれかに記載の評価用データ作成装置。これにより、学習済みモデルの精度を高くすることができる。また、学習時に計算が発散することを抑制でき、モデルの作成負荷も低減できる。

【0111】

（８）前記実データ変換部で作成した変換実データに対して、前記シナリオから天候及び周囲の光源の少なくとも一方を変換する処理を行い、第二変換実データを作成する天候・光源変換部を有する（１）から（７）のいずれか一つに記載の評価用データ作成装置。これにより、センサデータの作成の負荷を小さくすることができ、評価用データをより多く作成することができる。

【0112】

（９）天候・光源変換部は、天候及び周囲の光源の少なくとも一方が異なる実データが対応付けられ、前記シナリオ作成部で作成するシナリオの天候及び周囲の光源の実データを入力とし、天候及び周囲の光源の少なくとも一方が異なる対応付けられた実データを出力として学習した学習済みモデルで、変換実データを前記第二変換実データに変換する（８）に記載の評価用データ作成装置。これにより、シナリオにより近い実データとすることができる。また、補正処理ができることで、条件が異なる評価用データをより多く作成することができる。

【0113】

（１０）車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成方法であって、前記車両の走行を再現するシナリオを設定するステップと、記車両のセンサをモデル化したセンサモデルを用いて、前記シナリオ設定部で設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む評価用データ作成方法。

【0114】

これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。

【0115】

（１１）車両の自動運転及び車両の運転支援機能の少なくとも一方運転支援機能を評価する評価用データを作成する評価用データ作成プログラムであって、前記車両の走行を再現するシナリオを設定するステップと、前記車両のセンサをモデル化したセンサモデルを用いて、設定したシナリオを前記車両が走行した場合に取得されるセンサデータを作成するステップと、作成したセンサデータに、前記車両のセンサで取得したデータである実データを対応付け、対応付けた実データに基づいて前記センサデータを変換して、評価用データである変換実データを作成するステップと、を含む処理を実行させる評価用データ作成プログラム。

【0116】

これにより、センサモデルから実データに近い値を出力するための精緻なモデルを作成せずに、実際の走行した場合に近い、評価用データを作成することができる。また、シナリオモデルとして簡素なモデルを用いつつ、高い精度の評価ができる評価用データを作成できるため、評価用データの作成にかかる時間を低減することができ、処理を簡単にすることができる。

【符号の説明】

【0117】

６ ＥＣＵ
８ 評価装置
１０ 評価用データ作成装置
１２ 入力部
１４ 出力部
１５ 通信部
１６ 演算部
１８ 記憶部
２２ シナリオ設定部
２４ センサデータ作成部
２６ 実データ変換部
２８ 対応付け処理部
３０ 機械学習部
３２ データ作成プログラム
３４ 学習プログラム
３６ シナリオモデル
３７ 環境物体モデル
３８ 天候モデル
４０ 光源モデル
４２ 車両モデル
４４ センサモデル
４６ 対応付けテーブル
４８ 実データ
５０ 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】