ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126571
(43)【公開日】2024-09-20
(54)【発明の名称】システムおよびプログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20240912BHJP
【ＦＩ】
G08G1/00 A
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023035004
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】山科 瞬
(72)【発明者】
【氏名】小澤 怜
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB20
5H181CC04
5H181EE13
5H181FF10
5H181FF13
5H181FF27
5H181FF33
5H181LL09
5H181MC12
5H181MC27
(57)【要約】
【課題】自動運転システムの技術開発において、技術レベルが異なる複数の自動運転システムまたはその管理者が、それぞれの技術レベルに応じた対応をとれるようにする。
【解決手段】システム（１）は、それぞれ異なる態様で自動運転車両（３）の走行を制御する複数の自動運転システム（２）を用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部（１３６）と、前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部（１３７）と、を備える。
【選択図】図４
【解決手段】システム（１）は、それぞれ異なる態様で自動運転車両（３）の走行を制御する複数の自動運転システム（２）を用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部（１３６）と、前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部（１３７）と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
それぞれ異なる態様で自動運転車両の走行を制御する複数の自動運転システムを用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部と、
前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部と、
を備えるシステム。
前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部と、
を備えるシステム。
【請求項2】
前記テスト部は、前記自動運転車両が過去に前記自動運転システムに制御されて現実空間を走行した際に得られた走行データに基づく運転シナリオに沿って自動運転車両の走行をシミュレーションする、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項3】
前記走行データに基づいて前記運転シナリオを生成する生成部を更に備え、
前記生成部は、生成した運転シナリオを、場所、道路種別、天候の少なくともいずれかに応じて分類する、
請求項２に記載のシステム。
前記生成部は、生成した運転シナリオを、場所、道路種別、天候の少なくともいずれかに応じて分類する、
請求項２に記載のシステム。
【請求項4】
前記走行データに基づいて、前記自動運転車両が過去に走行した際に生じた問題事象を特定する特定部と、
特定された前記問題事象の程度を判別する判別部と、
を更に備え、
前記生成部は、前記程度が所定以上の問題事象が抽出された前記走行データに基づいて前記運転シナリオを生成する、
請求項３に記載のシステム。
特定された前記問題事象の程度を判別する判別部と、
を更に備え、
前記生成部は、前記程度が所定以上の問題事象が抽出された前記走行データに基づいて前記運転シナリオを生成する、
請求項３に記載のシステム。
【請求項5】
前記特定部は、特定された前記問題事象に、前記自動運転車両を制御した自動運転システムの識別情報、前記自動運転車両の車種、および運行種別の少なくともいずれかを対応付ける、
請求項４に記載のシステム。
請求項４に記載のシステム。
【請求項6】
前記自動運転車両に乗っていた者、および前記自動運転車両の監視者の少なくともいずれかから提供された情報の入力を受け付ける受付部を更に備え、
前記特定部は、前記情報に基づいて前記問題事象を特定することが可能である、
請求項４または５に記載のシステム。
前記特定部は、前記情報に基づいて前記問題事象を特定することが可能である、
請求項４または５に記載のシステム。
【請求項7】
前記走行データは、前記自動運転車両の走行中における走行経路上のセンサが検知した情報を含む、
請求項２に記載のシステム。
請求項２に記載のシステム。
【請求項8】
前記シミュレーションの結果に基づいて、前記複数の自動運転システムのそれぞれの技術レベルを判定する判定部と、
前記複数の自動運転システムの各技術レベルに基づいて、任意の走行条件に応じた前記自動運転車両の車種と、前記自動運転システムとの組み合わせを決定する決定部と、
を更に備える、
請求項１に記載のシステム。
前記複数の自動運転システムの各技術レベルに基づいて、任意の走行条件に応じた前記自動運転車両の車種と、前記自動運転システムとの組み合わせを決定する決定部と、
を更に備える、
請求項１に記載のシステム。
【請求項9】
前記テスト部がシミュレーションを行う様子を表示するための情報を出力する第二出力部を更に備える、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項10】
請求項１に記載のシステムとしてコンピュータを機能させるためのプログラムであって、上記テスト部、および上記出力部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システムおよびプログラムに関する。
【背景技術】
【0002】
自動運転技術を評価するための各種技術が従来提案されている。例えば特許文献１には、複数の運転シナリオのそれぞれについて、車両の一つ以上のセンサからのセンサデータ及び運転シナリオに応答して、車両が運転手によって運転シナリオに応じて運転される時に、車両の運転統計データ及び環境データを収集するステップと、運転手に対して完了した運転シナリオのラベルを選択するように要求し、且つ運転手の選択に応じて選択されたラベルを記憶するステップと、所定の基準に基づいて、運転統計データ及び環境データから、運転シナリオ中の異なる時点で収集された運転統計データ及び環境データを含む特徴を抽出し、抽出した特徴を複数の自動運転車両の挙動に関する評価に利用するステップと、を実行するデータ処理システムについて記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１８５７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、世の中には、複数の自動運転システムが存在している。そして、これらの技術レベルはそれぞれ異なっている。このため、例えば、技術レベルが高い自動運転システムを用いた自動運転において検出された問題事象は、技術レベルが低い自動運転システムを用いた自動運転では解決できない場合がある。すなわち、自動運転技術を早期に普及させるためには、自動運転システムの技術レベルに応じた対応が求められる。
【課題を解決するための手段】
【0005】
本発明の一態様に係るシステムは、それぞれ異なる態様で自動運転車両の走行を制御する複数の自動運転システムを用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部と、前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部と、を備える。
【0006】
本発明の各態様は、コンピュータによって実現してもよく、この場合には、コンピュータを上記システムが備える各部（ソフトウェア要素）として動作させることにより上記システムをコンピュータにて実現させるプログラム、ならびにそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【図面の簡単な説明】
【0007】
【図1】本発明の一態様の実施形態に係るシステムと、自動運転システム、および字度運転車両の関係の一例を示すブロック図である。
【図2】同システムと、自動運転システム、および字度運転車両の関係の他の例を示すブロック図である。
【図3】同実施形態に係るシステムの機能的構成を示すブロック図である。
【図4】同システムを用いた自動運転システムの技術レベル向上までの流れを示す図である。
【図5】同システムが運転シナリオを蓄積するまでに行う処理の流れを示す図である。
【図6】同システムによる問題事象の管理形態の一例を示す表である。
【図7】同システムによる運転シナリオの管理形態の一例を示す表である。
【図8】同システムによるシミュレーション結果の管理形態の一例を示す表である。
【図9】同システムによる技術レベルの管理形態の一例を示す表である。
【発明を実施するための形態】
【0008】
以下、本発明の一態様の実施形態について説明する。
【0009】
［自動運転システム］
本実施形態に係るシステム１の説明に先立ち、当該システム１が評価対象とする複数の自動運転システム２の概要について説明する。
本実施形態に係るシステム１の説明に先立ち、当該システム１が評価対象とする複数の自動運転システム２の概要について説明する。
【0010】
複数の自動運転システム２は、対応する自動運転車両３をそれぞれ制御する。本実施形態に係る各自動運転システム２は、例えば１以上の半導体チップが実装された１以上の基板の形をなしている。そして、各自動運転システム２は、図１に示したように、制御対象の自動運転車両３に搭載されている。自動運転システム２は、制御対象の自動運転車両３から走行データを取得する。走行データの詳細については後述する。また、本実施形態に係る自動運転システム２は、自動運転車両３の走行経路上の各種センサからも走行データを取得する。走行経路上のセンサには、走行経路沿いに設けられた路上カメラ、および走行経路上に存在する自動運転車両３以外の他の車両が備えるセンサ（車載カメラ等）の少なくともいずれかが含まれる。また、自動運転システム２は、取得した走行データを、必要に応じてシステム１へ送信する。なお、自動運転システム２は、例えば図２に示したように、自動運転車両３から独立した装置として構成されていてもよい。その場合、各自動運転システム２は、自動運転車両３と無線通信することにより当該自動運転車両３を遠隔で制御する。
【0011】
複数の自動運転システム２は、取得した走行データに基づき、それぞれ異なる態様で自動運転車両３の走行を制御する。態様には、制御のアルゴリズム、および認識・判断のための閾値の少なくとも一方が含まれる。このため、複数の自動運転システム２のそれぞれは、自動運転の技術レベルが異なっている場合がある。自動運転の技術レベルは、自動運転車両３の走行中における問題の起こりにくさとも言える。走行中における問題には、例えば、交通事故、交通規則からの逸脱、急停車等が含まれる。
【0012】
［自動運転車両］
次に、上記複数の自動運転システムによって制御される自動運転車両３の概要について説明する。
次に、上記複数の自動運転システムによって制御される自動運転車両３の概要について説明する。
【0013】
自動運転車両３は、各種走行データを収集し、それを自動運転システム２へ送信する。走行データには、センサデータ、音声データ、およびテレメトリデータの少なくともいずれかのデータが含まれる。センサデータは、自動運転車両３が備える各種センサが、自動運転車両３の内側及び外側の少なくとも一方で生じている事象を検出し、それをデータ化したものである。センサデータには、カメラ（イメージセンサ）が生成した画像データが含まれる。音声データは、自動運転車両３が備えるマイクが、自動運転車両３に乗っている者が発した声や、自動運転車両３が発した音、自動運転車両３の周囲の音声等を収集し、それをデータ化したものである。自動運転車両３に乗っている者には、ドライバ、乗客が含まれる。テレメトリデータは、自動運転車両３が備える測定機器が測定・出力した測定値のデータである。測定値には、走行速度、加速度、バッテリー・燃料残量等が含まれる。
【0014】
また、自動運転車両３は、様々な運行種別で用いられる。運行種別には、送迎、配送、移動販売等が含まれる。送迎には、オンデマンドの場合と、定期路線の場合が含まれる。また、自動運転車両３は、様々な車種（形状・大きさ）の車両で構成することが可能である。自動運転車両３の車種には、例えば、乗用車、タクシー専用車両、バス、トラックや、各種商用車等が含まれる。自動運転車両３には、車種によって、適した運行種別と、そうでない運行種別がある。
【0015】
［システム］
次に、本実施形態に係るシステム１について詳細に説明する。
次に、本実施形態に係るシステム１について詳細に説明する。
【0016】
｛システムの構成｝
システム１は、上記複数の自動運転システム２を評価するためのものである。システム１は、各車両の自動運転システム２を含む構成であってもよいし、自動運転システム２または自動運転車両３に組み込まれていてもよいし、これらから独立した装置として構成されていてもよい。上述したように、本実施形態に係る自動運転システム２は基板の形をなしている。このため、自動運転システム２に組み込まれたシステム１は、当該基板を指す。自動運転システム２が自動運転車両３から独立している場合、自動運転システム２を含むシステム１、又は自動運転システム２に組み込まれたシステム１は、システム１及び自動運転システム２として機能する装置（コンピュータ）となる。また、上述したように、本実施形態に係る自動運転システム２は、自動運転車両３に搭載されている。このため、自動運転車両３に組み込まれたシステム１は、自動運転システム２、ＥＣＵ（Engine Control Unit）、および他のハードウェアが互いに接続され、これらが全て自動運転車両３という一つのハードウェアに閉じた状態を指す。以下、便宜的に、システム１が自動運転システム２および自動運転車両３から独立したコンピュータで構成されている場合を例に説明する。
システム１は、上記複数の自動運転システム２を評価するためのものである。システム１は、各車両の自動運転システム２を含む構成であってもよいし、自動運転システム２または自動運転車両３に組み込まれていてもよいし、これらから独立した装置として構成されていてもよい。上述したように、本実施形態に係る自動運転システム２は基板の形をなしている。このため、自動運転システム２に組み込まれたシステム１は、当該基板を指す。自動運転システム２が自動運転車両３から独立している場合、自動運転システム２を含むシステム１、又は自動運転システム２に組み込まれたシステム１は、システム１及び自動運転システム２として機能する装置（コンピュータ）となる。また、上述したように、本実施形態に係る自動運転システム２は、自動運転車両３に搭載されている。このため、自動運転車両３に組み込まれたシステム１は、自動運転システム２、ＥＣＵ（Engine Control Unit）、および他のハードウェアが互いに接続され、これらが全て自動運転車両３という一つのハードウェアに閉じた状態を指す。以下、便宜的に、システム１が自動運転システム２および自動運転車両３から独立したコンピュータで構成されている場合を例に説明する。
【0017】
図３に示したように、本実施形態に係るシステム１は、通信部１１と、記憶部１２と、制御部１３と、を備える。なお、システム１の各部１１～１３は、一つの装置に纏められていてもよいし（本発明は、この場合もシステムと称する）、複数の装置に分散していてもよい。
【0018】
〔通信部〕
通信部１１は、自動運転システム２と通信する。本実施形態に係る通信部１１は、通信モジュールで構成されている。なお、通信部１１は、自動運転システムの管理者と通信可能に構成されていてもよい。自動運転システムの管理者には、管理する人が所持する通信機器、自動運転システム２が用いる学習済モデルを学習（更新）させる装置等が含まれる。また、通信部１１は、自動運転車両３と直接通信可能に構成されていてもよい。
通信部１１は、自動運転システム２と通信する。本実施形態に係る通信部１１は、通信モジュールで構成されている。なお、通信部１１は、自動運転システムの管理者と通信可能に構成されていてもよい。自動運転システムの管理者には、管理する人が所持する通信機器、自動運転システム２が用いる学習済モデルを学習（更新）させる装置等が含まれる。また、通信部１１は、自動運転車両３と直接通信可能に構成されていてもよい。
【0019】
〔記憶部〕
記憶部１２は、システム１の制御部１３の動作を記述したプログラム１２１を記憶している。また、記憶部１２は、複数種類のデータベース（ＤＢ）を記憶している。複数種類のＤＢには、記録ＤＢ１２２、問題事象ＤＢ１２３、シナリオＤＢ１２４、シミュレーション結果ＤＢ１２５および技術レベル定義ＤＢ１２６が含まれる。各ＤＢの詳細については後述する。本実施形態に係る記憶部１２は、半導体メモリ、ハードディスク等で構成されている。なお、また、システム１は、記憶部を複数備えていてもよい。その場合、二つ以上の記憶部に、各ＤＢが分散して記憶されていてもよい。また、記憶部１２は、独立した記憶装置であってもよい。
記憶部１２は、システム１の制御部１３の動作を記述したプログラム１２１を記憶している。また、記憶部１２は、複数種類のデータベース（ＤＢ）を記憶している。複数種類のＤＢには、記録ＤＢ１２２、問題事象ＤＢ１２３、シナリオＤＢ１２４、シミュレーション結果ＤＢ１２５および技術レベル定義ＤＢ１２６が含まれる。各ＤＢの詳細については後述する。本実施形態に係る記憶部１２は、半導体メモリ、ハードディスク等で構成されている。なお、また、システム１は、記憶部を複数備えていてもよい。その場合、二つ以上の記憶部に、各ＤＢが分散して記憶されていてもよい。また、記憶部１２は、独立した記憶装置であってもよい。
【0020】
〔制御部〕
制御部１３は、取得部１３１と、受付部１３２と、特定部１３３と、判別部１３４と、生成部１３５と、テスト部１３６と、出力部１３７と、第二出力部１３８と、判定部１３９と、決定部１４０と、を備える。本実施形態に係る制御部１３は、プロセッサで構成されている。このプロセッサが上記記憶部１２に記憶されているプログラム１２１を実行することにより、プログラム１２１は、制御部１３を上記各制御ブロック１３１～１４０として機能させることができる。なお、システム１は、制御部を複数備えていてもよい。その場合、各制御部は、一つの装置に纏められていてもよいし、複数の装置に分散していてもよい。また、その場合、二つ以上の制御部に、各制御ブロック１３１～１４０が分散して設けられていてもよい。
制御部１３は、取得部１３１と、受付部１３２と、特定部１３３と、判別部１３４と、生成部１３５と、テスト部１３６と、出力部１３７と、第二出力部１３８と、判定部１３９と、決定部１４０と、を備える。本実施形態に係る制御部１３は、プロセッサで構成されている。このプロセッサが上記記憶部１２に記憶されているプログラム１２１を実行することにより、プログラム１２１は、制御部１３を上記各制御ブロック１３１～１４０として機能させることができる。なお、システム１は、制御部を複数備えていてもよい。その場合、各制御部は、一つの装置に纏められていてもよいし、複数の装置に分散していてもよい。また、その場合、二つ以上の制御部に、各制御ブロック１３１～１４０が分散して設けられていてもよい。
【0021】
（取得部）
取得部１３１は、図４に示したように、自動運転システム２から、走行データを、通信部１１を介して取得する（Ｓ１）。本実施形態に係る取得部１３１が取得する走行データには、自動運転車両３自身が所定の実証環境で走行中に収集したデータの他、自動運転車両３の走行中における走行経路上のセンサが検知した情報が含まれる。実証環境は、使用する自動運転システム２、使用する自動運転車両３、走行させる道路の道路種別、および自動運転車両３の運行種別の組合せを指す。本実施形態に係る取得部１３１は、取得した走行データを、記録ＤＢ１２２へ蓄積させる（Ｓ２）。
取得部１３１は、図４に示したように、自動運転システム２から、走行データを、通信部１１を介して取得する（Ｓ１）。本実施形態に係る取得部１３１が取得する走行データには、自動運転車両３自身が所定の実証環境で走行中に収集したデータの他、自動運転車両３の走行中における走行経路上のセンサが検知した情報が含まれる。実証環境は、使用する自動運転システム２、使用する自動運転車両３、走行させる道路の道路種別、および自動運転車両３の運行種別の組合せを指す。本実施形態に係る取得部１３１は、取得した走行データを、記録ＤＢ１２２へ蓄積させる（Ｓ２）。
【0022】
（受付部）
受付部１３２は、自動運転車両３に乗っていた者、および自動運転車両３の監視者の少なくともいずれかから提供された情報の入力を受け付ける（Ｓ３）。本実施形態に係る受付部１３２は、例えば、図示しない文字入力手段（例えば、キーボード、スキャナ等）を介して、ドライバから自動運転システムの管理者へ宛てた連絡や日報（問題のレポート）、乗客のアンケート等の形で情報の入力を受け付ける。なお、受付部１３２は、自動運転車両３に乗っていた者や、自動運転車両３の監視者が発した音声を情報として受け付けるよう構成されていてもよい。また、後述する特定部１３３が走行データのみに基づいて問題事象を特定するよう構成されている場合、制御部１３は、受付部１３２を備えていなくてもよい。
受付部１３２は、自動運転車両３に乗っていた者、および自動運転車両３の監視者の少なくともいずれかから提供された情報の入力を受け付ける（Ｓ３）。本実施形態に係る受付部１３２は、例えば、図示しない文字入力手段（例えば、キーボード、スキャナ等）を介して、ドライバから自動運転システムの管理者へ宛てた連絡や日報（問題のレポート）、乗客のアンケート等の形で情報の入力を受け付ける。なお、受付部１３２は、自動運転車両３に乗っていた者や、自動運転車両３の監視者が発した音声を情報として受け付けるよう構成されていてもよい。また、後述する特定部１３３が走行データのみに基づいて問題事象を特定するよう構成されている場合、制御部１３は、受付部１３２を備えていなくてもよい。
【0023】
（特定部）
特定部１３３は、走行データに基づいて、自動運転車両３が過去に走行した際に生じた問題事象を特定する（Ｓ４）。具体的には、特定部１３３は、図５に示したような各種処理Ｓ４１～Ｓ４７を実行することにより、走行データから下記の少なくともいずれかの事象を検出した場合に、当該事象を問題事象として特定する。
・テレメトリデータが所定の閾値を超えた（例えば、速度が制限速度を超えた、バッテリー・燃料残量が所定残量を下回った）（Ｓ４１）。
・テレメトリデータの経時変化の程度が所定の閾値を超えた（例えば、急ブレーキによる急激な速度低下または加速度上昇、急ハンドルによる急激な方向転換、バッテリー・燃料残量の急激な低下等が起きた）（Ｓ４２）。
・センサデータに基づいて検知した物体と自動運転車両３との距離が所定の閾値を下回った（例えば、自動運転車両３と物体が近づきすぎた）（Ｓ４３）。
・センサデータに基づいて検知した物体と自動運転車両３との相対関係が所定の相対関係と異なる（例えば、自動運転車両３が車道を逆走している、車道でない箇所を走行している、車線を跨いでいる等）（Ｓ４４）。
・音声データに基づく音声の音量が所定の閾値を超えた（Ｓ４５）。
・音声データに基づく音声が危険音（例えば、急ブレーキ音、衝突音、人の悲鳴等）であった（Ｓ４６）。
特定部１３３は、走行データに基づいて、自動運転車両３が過去に走行した際に生じた問題事象を特定する（Ｓ４）。具体的には、特定部１３３は、図５に示したような各種処理Ｓ４１～Ｓ４７を実行することにより、走行データから下記の少なくともいずれかの事象を検出した場合に、当該事象を問題事象として特定する。
・テレメトリデータが所定の閾値を超えた（例えば、速度が制限速度を超えた、バッテリー・燃料残量が所定残量を下回った）（Ｓ４１）。
・テレメトリデータの経時変化の程度が所定の閾値を超えた（例えば、急ブレーキによる急激な速度低下または加速度上昇、急ハンドルによる急激な方向転換、バッテリー・燃料残量の急激な低下等が起きた）（Ｓ４２）。
・センサデータに基づいて検知した物体と自動運転車両３との距離が所定の閾値を下回った（例えば、自動運転車両３と物体が近づきすぎた）（Ｓ４３）。
・センサデータに基づいて検知した物体と自動運転車両３との相対関係が所定の相対関係と異なる（例えば、自動運転車両３が車道を逆走している、車道でない箇所を走行している、車線を跨いでいる等）（Ｓ４４）。
・音声データに基づく音声の音量が所定の閾値を超えた（Ｓ４５）。
・音声データに基づく音声が危険音（例えば、急ブレーキ音、衝突音、人の悲鳴等）であった（Ｓ４６）。
【0024】
なお、特定部１３３は、物体と自動運転車両３との距離が閾値を下回ったことを問題事象として特定する場合、画像データに基づいて自動運転車両３の周囲の物体を検知し、当該物体と自動運転車両３との距離を算出する機能（Ｓ４７）を更に有していてもよい。物体を検知する処理は、例えば、画像データと写っている物体との関係を機械学習させることにより構築された学習済モデルに画像データを適用することにより行うことができる。また、当該検知結果を、記憶部１２に記憶させてもよい（Ｓ４８）。また、特定部１３３は、音声が危険音に分類されたことを問題事象として特定する場合、音声の種類を分類する機能を更に有していてもよい。音声の分類は、例えば、音声データと危険音との関係を機械学習させることにより構築された学習済モデルに音声データを適用することにより行うことができる。また、特定部１３３は、走行データに基づいて、当該走行データが得られた後の事象を予測し、予測した事象が上記のような事象に当てはまる場合に、予測した事象を問題事象として特定するよう構成されていてもよい（Ｓ４９）。
【0025】
また、本実施形態に係る特定部１３３は、受付部１３２が情報の入力を受け付けた場合に、図４、図５に示したように、当該情報に基づいて問題事象を特定することが可能である。具体的には、特定部１３３は、受付部１３２が受け付けた文字情報や音声を解析（文字情報や音声の中から特定の単語やフレーズを探索）する。そして、文字情報や音声の中に特定の単語やフレーズが含まれていた場合、特定部１３３は、受け付けた情報の内容を問題事象として特定する。これにより、自動運転車両３のセンサ等では検知できなかった事象、抽出部が抽出しきれなかった事象、または判別部１３４が実際よりも程度を低く判別してしまった事象であって、人が違和感を持った事象を問題事象として特定することができる。
【0026】
また、本実施形態に係る特定部１３３は、特定された問題事象に、自動運転車両３を制御した自動運転システム２の識別情報、自動運転車両３の車種、および運行種別の少なくともいずれかを対応付ける。本実施形態に係る特定部１３３は、特定された問題事象に、事故の有無、および事象種別を更に対応付ける。これにより、テスト部１３６は、問題事象に対応付けられた情報と異なる設定の運転シナリオのみを用いてシミュレーションを行えばよくなる（走行データに基づくシナリオを使って、実証実験と同じ内容をシミュレーションしてしまう無駄を省くことができる）。
【0027】
（判別部）
判別部１３４は、特定された問題事象の程度（ランク）を判別する。具体的には、判別部１３４は、問題事象の内容が下記に当てはまる場合に、当該問題事象の程度を以下のように判別する。
・交通事故（自動運転車両３と、他の交通参加者または建物等との接触）は、最も程度が高い（ランクＡ）と判断。
・自動運転車両３自身の交通法規の逸脱（例えば、速度超過、逆走等）は、交通事故に次いで程度が高い（ランクＢ、Ｃ）と判断。
・急ブレーキによる自動運転車両３内の人の転倒は、交通法規の逸脱に次いで程度が高い（ランクＤ）と判断。
・他の交通参加者の交通法規の逸脱（例えば、速度超過、逆走等）による急ブレーキは、交通事故に次いで程度が高い（ランクＥ）と判断。
・問題事象が自車の変化に起因する急ブレーキは、人の転倒に次いで程度が高い（ランクＦ）と判断。
判別部１３４は、特定された問題事象の程度（ランク）を判別する。具体的には、判別部１３４は、問題事象の内容が下記に当てはまる場合に、当該問題事象の程度を以下のように判別する。
・交通事故（自動運転車両３と、他の交通参加者または建物等との接触）は、最も程度が高い（ランクＡ）と判断。
・自動運転車両３自身の交通法規の逸脱（例えば、速度超過、逆走等）は、交通事故に次いで程度が高い（ランクＢ、Ｃ）と判断。
・急ブレーキによる自動運転車両３内の人の転倒は、交通法規の逸脱に次いで程度が高い（ランクＤ）と判断。
・他の交通参加者の交通法規の逸脱（例えば、速度超過、逆走等）による急ブレーキは、交通事故に次いで程度が高い（ランクＥ）と判断。
・問題事象が自車の変化に起因する急ブレーキは、人の転倒に次いで程度が高い（ランクＦ）と判断。
【0028】
また、判別部１３４は、問題事象の程度が判別された走行データに上記特定部１３３が対応付けた各種情報を、記憶部１２の問題事象ＤＢ１２３に蓄積させる（Ｓ５）。その際、判別部１３４は、各走行データに、事象番号、および蓄積日時を割り振る。このため、問題事象ＤＢ１２３のデータは、図６に示したような一覧となる。これにより、過去に蓄積した複数の走行データの中から、任意の問題事象の程度、事故の有無、道路種別、事象種別、自動運転システム２の識別情報、自動運転車両３の車種、および運行種別の組合せに応じた走行データを取り出すことが可能となる。なお、判別部１３４は、受付部１３２が受け付けた情報に基づいて特定した問題事象の程度を、自動的に所定（例えばＡランク）以上に判別するよう構成されていてもよい。また、後述する生成部１３５が問題事象の程度に関係なく運転シナリオを生成するよう構成されている場合、制御部１３は判別部１３４を備えていなくてもよい。
【0029】
（生成部）
生成部１３５は、図４に示したように、走行データに基づいて運転シナリオを生成する（Ｓ６）。運転シナリオは、自動運転車両３の走行条件および走行中に生じる事象が記述された、シミュレーションの動作を規定するデータである。走行条件には、走行ルート、場所、道路種別、天候、車種、および運行種別の少なくとも一方が含まれる。走行中に生じる事象には、自動運転車両３とは異なる他の交通参加者の道路への飛び出し、自動運転車両３または交通参加者の逆走、自動運転車両３の速度超過等が含まれる。本実施形態に係る生成部１３５は、例えばＡＳＡＭのような、広く公開されているシナリオ作成ソフトを用いて運転シナリオを生成する。これにより、各社が運営する自動運転システム２のそれぞれが取り込むことが可能な形の運転シナリオを容易に生成することができる。なお、生成部１３５は、システム１専用のシナリオ作成プログラムを用いて運転シナリオを生成するよう構成されていてもよい。
生成部１３５は、図４に示したように、走行データに基づいて運転シナリオを生成する（Ｓ６）。運転シナリオは、自動運転車両３の走行条件および走行中に生じる事象が記述された、シミュレーションの動作を規定するデータである。走行条件には、走行ルート、場所、道路種別、天候、車種、および運行種別の少なくとも一方が含まれる。走行中に生じる事象には、自動運転車両３とは異なる他の交通参加者の道路への飛び出し、自動運転車両３または交通参加者の逆走、自動運転車両３の速度超過等が含まれる。本実施形態に係る生成部１３５は、例えばＡＳＡＭのような、広く公開されているシナリオ作成ソフトを用いて運転シナリオを生成する。これにより、各社が運営する自動運転システム２のそれぞれが取り込むことが可能な形の運転シナリオを容易に生成することができる。なお、生成部１３５は、システム１専用のシナリオ作成プログラムを用いて運転シナリオを生成するよう構成されていてもよい。
【0030】
上述したように、運転シナリオの生成に用いられる（取得部１３１が取得した）走行データは、自動運転車両３自身が収集したデータの他、自動運転車両３の走行中における走行経路上のセンサが検知した情報を含む。このため、生成部１３５は、より現実走行環境に近い内容の運転シナリオを生成することができる。
【0031】
本実施形態に係る生成部１３５は、程度が所定以上の問題事象が抽出された走行データに基づいて運転シナリオを生成する。これにより、問題事象の程度が所定以上の走行データに絞ってシナリオ化されるため、生成する運転シナリオの数、シミュレーションの回数をさらに絞ることができる。その結果、自動運転システム２の改善までに要する時間、コストをさらに低減させることができる。なお、生成部１３５は、運転シナリオを生成するか否かの基準となる問題事象の程度を、ユーザ操作や、データベースに蓄積された問題事象の数等に応じて調節できるよう構成されていてもよい。
【0032】
また、本実施形態に係る生成部１３５は、図５に示したように、運転シナリオを生成する前に、走行データに基づいて、問題事象の発生タイミングを特定する。本実施形態に係る生成部１３５は、まず、問題事象ＤＢ１２３を参照して、問題事象が自車単独で引き起こしたものであるか否かを判断する（Ｓ６１）。そして、自車が単独で引き起こしたものであると判断した場合（Ｓ６１：ＹＥＳ）、生成部１３５は、自車の変化を検知したタイミングを問題事象の発生タイミングとして特定する（Ｓ６２）。一方、問題事象が自車単独で引き起こしたものではない（他の交通参加者が関係している）と判断した場合（Ｓ６１：ＮＯ）、生成部１３５は、他の交通参加者を検知したタイミングを問題事象の発生タイミングとして特定する（Ｓ６３）。そして、生成部１３５は、自車と、交通参加者と、道路の形状との関係性を算出する（Ｓ６４）。その後、算出した関係性に基づいて運転シナリオを生成する（Ｓ６５）
【0033】
また、生成部１３５は、生成した運転シナリオを、場所、道路種別、天候の少なくともいずれかに応じて分類する。道路種別には、一般道路、高速道路が含まれる。また、一般道路には、国道、都道府県道、市町村道が含まれる。天候には、天気、気温が含まれる。本実施形態に係る生成部１３５は、運転シナリオを、場所、道路種別、および天候毎に分類する。これにより、行いたいシミュレーションに応じた運転シナリオの選択が容易になる。生成部１３５は、生成・分類した運転シナリオを、シナリオＤＢ１２４に蓄積させる（Ｓ７）。その際、生成部１３５は、各運転シナリオに、シナリオ番号、事象番号を割り振る。このため、シナリオＤＢ１２４のデータは、図７に示したような一覧となる。これにより、過去に蓄積した複数のシナリオの中から、任意の場所、道路種別、天気、および気温の組合せに応じたシナリオを取り出すことが可能となる。
【0034】
（テスト部）
テスト部１３６は、図４に示したように、複数の自動運転システム２を用い、運転シナリオに沿って自動運転車両３の走行をシミュレーションする（Ｓ８）。本実施形態に係るテスト部１３６は、自動運転車両３が過去に自動運転システム２に制御されて現実空間を走行した際に得られた走行データに基づく運転シナリオに沿って自動運転車両３の走行をシミュレーションする。これにより、対象の自動運転システム２により制御されて実際に走行した際の走行データに基づくシナリオを用いるため、生成する運転シナリオの数、シミュレーションの回数を絞ることができる。その結果、自動運転システム２の改善までに要する時間、コストを低減させることができる。シミュレーションは、過去に走行データを得たときの実証環境とは異なる実証環境を設定して（自動運転システム２、自動運転車両３、道路種別、および運行種別の少なくともいずれかを変更して）行う。
テスト部１３６は、図４に示したように、複数の自動運転システム２を用い、運転シナリオに沿って自動運転車両３の走行をシミュレーションする（Ｓ８）。本実施形態に係るテスト部１３６は、自動運転車両３が過去に自動運転システム２に制御されて現実空間を走行した際に得られた走行データに基づく運転シナリオに沿って自動運転車両３の走行をシミュレーションする。これにより、対象の自動運転システム２により制御されて実際に走行した際の走行データに基づくシナリオを用いるため、生成する運転シナリオの数、シミュレーションの回数を絞ることができる。その結果、自動運転システム２の改善までに要する時間、コストを低減させることができる。シミュレーションは、過去に走行データを得たときの実証環境とは異なる実証環境を設定して（自動運転システム２、自動運転車両３、道路種別、および運行種別の少なくともいずれかを変更して）行う。
【0035】
技術レベルの高い自動運転システム２を用い、当該自動運転システム２に好適な自動運転車両３を制御するシミュレーションを行った場合、シミュレーション中に生じる問題は少なく、かつ程度が低いことが多い。一方、技術レベルの低い自動運転システム２を用いてシミュレーションを行った場合、シミュレーション中に生じる問題は多く、かつ程度が高いことが多い。また、技術レベルの高い自動運転システム２を用いるが、それに十分に対応していない自動運転車両３を用いてシミュレーションを行った場合も、シミュレーション中に生じる問題は多く、かつ程度が高いことが多い。本実施形態に係るテスト部１３６は、所定以上の程度の問題が生じた場合、シミュレーションの結果を良くない結果である旨の×とする。一方、所定以上の程度の問題が生じなかった場合、テスト部１３６は、シミュレーションの結果を良い結果である旨の〇とする。
【0036】
本実施形態に係るテスト部１３６は、シミュレーションの結果を、用いた自動運転システムの識別情報、および自動運転車両３の車種に応じて分類する。また、本実施形態に係るテスト部１３６は、シミュレーションの結果を、シミュレーション結果ＤＢ１２５へ蓄積させる（Ｓ９）。その際、テスト部１３６は、シミュレーションの結果に、シナリオ番号、およびテスト日時を割り振る。このため、シミュレーション結果ＤＢ１２５のデータは、図８に示したような一覧となる。これにより、過去に蓄積した複数のシミュレーションの結果の中から、任意の自動運転システム２の識別情報、および自動運転車両３の組合せに応じた結果を取り出すことが可能となる。
【0037】
（出力部）
出力部１３７は、図４に示したように、シミュレーションの結果を、自動運転システム２ごとに出力する（Ｓ１０）。シミュレーションの結果には、シミュレーションにおいて問題が生じた旨、生じた問題の内容、問題の改善依頼、改善内容等が含まれる。出力には、図示しない表示装置へシミュレーション結果を表示させること、シミュレーション結果のデータを外部へ送信するよう通信部１１や接続端子を制御すること、シミュレーション結果のデータをメディアに記憶させること等が含まれる。外部には、自動運転システム２、自動運転システムの管理者等が含まれる。
出力部１３７は、図４に示したように、シミュレーションの結果を、自動運転システム２ごとに出力する（Ｓ１０）。シミュレーションの結果には、シミュレーションにおいて問題が生じた旨、生じた問題の内容、問題の改善依頼、改善内容等が含まれる。出力には、図示しない表示装置へシミュレーション結果を表示させること、シミュレーション結果のデータを外部へ送信するよう通信部１１や接続端子を制御すること、シミュレーション結果のデータをメディアに記憶させること等が含まれる。外部には、自動運転システム２、自動運転システムの管理者等が含まれる。
【0038】
（第二出力部）
第二出力部１３８は、テスト部１３６がシミュレーションを行う様子を表示するための情報を出力する。テスト部１３６がシミュレーションを行う様子を表示するための情報は、例えば、シミュレーションの記録データ等である。出力には、上記出力部１３７と同様の態様が含まれる。第二出力部１３８による出力の態様は、上記出力部１３７と同じであってもよいし異なっていてもよい。出力が表示装置への表示の場合、シミュレーションの様子が表示装置で再生されることになる。このような第二出力部１３８を備えることにより、シミュレーション結果だけでなく、行ったシミュレーションの過程を確認することができる。その結果、自動運転システム２の改善に役立つ情報を得やすくすることができる。
第二出力部１３８は、テスト部１３６がシミュレーションを行う様子を表示するための情報を出力する。テスト部１３６がシミュレーションを行う様子を表示するための情報は、例えば、シミュレーションの記録データ等である。出力には、上記出力部１３７と同様の態様が含まれる。第二出力部１３８による出力の態様は、上記出力部１３７と同じであってもよいし異なっていてもよい。出力が表示装置への表示の場合、シミュレーションの様子が表示装置で再生されることになる。このような第二出力部１３８を備えることにより、シミュレーション結果だけでなく、行ったシミュレーションの過程を確認することができる。その結果、自動運転システム２の改善に役立つ情報を得やすくすることができる。
【0039】
（判定部）
判定部１３９は、シミュレーションの結果に基づいて、複数の自動運転システム２のそれぞれの技術レベルを判定する（Ｓ１１）。本実施形態に係る判定部１３９は、複数の自動運転システム２と、制御した自動運転車両３の組合せのそれぞれの技術レベルを判定する。具体的には、判定部１３９は、シミュレーション結果が下記に当てはまる場合に、当該自動運転システム２と自動運転車両３の組合せの技術レベルを以下のように判定する。
・シミュレーションで全く問題が生じなかった組合せは、最も技術レベルが高い（レベルＡ）と判断。
・シミュレーションで軽微な問題が生じた組合せは、二番目に技術レベルが高い（レベルＢ）と判断。
・シミュレーションで軽微な問題が頻発した組合せは、三番目に技術レベルが高い（レベルＣ）と判断。
・シミュレーションで重大な問題が生じた組合せは、最も技術レベルが低い（レベルＤ）と判断。
判定部１３９は、シミュレーションの結果に基づいて、複数の自動運転システム２のそれぞれの技術レベルを判定する（Ｓ１１）。本実施形態に係る判定部１３９は、複数の自動運転システム２と、制御した自動運転車両３の組合せのそれぞれの技術レベルを判定する。具体的には、判定部１３９は、シミュレーション結果が下記に当てはまる場合に、当該自動運転システム２と自動運転車両３の組合せの技術レベルを以下のように判定する。
・シミュレーションで全く問題が生じなかった組合せは、最も技術レベルが高い（レベルＡ）と判断。
・シミュレーションで軽微な問題が生じた組合せは、二番目に技術レベルが高い（レベルＢ）と判断。
・シミュレーションで軽微な問題が頻発した組合せは、三番目に技術レベルが高い（レベルＣ）と判断。
・シミュレーションで重大な問題が生じた組合せは、最も技術レベルが低い（レベルＤ）と判断。
【0040】
判定部１３９は、技術レベルの判定結果を、技術レベル定義ＤＢ１２６に蓄積させる。その際、本実施形態に係る判定部１３９は、技術レベルを判定した自動運転システム２および自動運転車両３の組合せについて、提供価格を設定する。判定部１３９は、技術レベルに応じた所定金額を設定してもよいし、各種要素（例えば、開発費用、販売数の見込み等）に基づいて提供価格を算出してもよい。このため、技術レベル定義ＤＢ１２６のデータは、図９に示したような一覧となる。これにより、過去に蓄積した自動運転システム２および自動運転車両３の組合せの中から、任意の技術レベル、および提供価格の組合せに応じた組合せを取り出すことが可能となる。
【0041】
（決定部）
決定部１４０は、複数の自動運転システム２の各技術レベルに基づいて、任意の走行条件に応じた自動運転車両３の車種と、自動運転システム２との組み合わせを決定する（Ｓ１２）。走行条件には、道路種別、運行種別等が含まれる。本実施形態に係る決定部１４０は、自動運転システム２および自動運転車両３の各組合せの技術レベル、および提供価格に基づいて、自動運転車両３の車種と、自動運転システム２との組合せを決定する。具体的には、技術レベル定義ＤＢ１２６を参照し、提供価格が予算以下の自動運転システム２と自動運転車両３の組合せの中で最も技術レベルが高い組合せを選択する。これにより、新たな道路種別、および運行種別において、選択した組み合わせを用いた新たな実証環境が設定される。
決定部１４０は、複数の自動運転システム２の各技術レベルに基づいて、任意の走行条件に応じた自動運転車両３の車種と、自動運転システム２との組み合わせを決定する（Ｓ１２）。走行条件には、道路種別、運行種別等が含まれる。本実施形態に係る決定部１４０は、自動運転システム２および自動運転車両３の各組合せの技術レベル、および提供価格に基づいて、自動運転車両３の車種と、自動運転システム２との組合せを決定する。具体的には、技術レベル定義ＤＢ１２６を参照し、提供価格が予算以下の自動運転システム２と自動運転車両３の組合せの中で最も技術レベルが高い組合せを選択する。これにより、新たな道路種別、および運行種別において、選択した組み合わせを用いた新たな実証環境が設定される。
【0042】
適切な自動運転車両３の車種と自動運転システム２の組合せは、走行条件ごとに異なるが、これまでは組合せにミスマッチが生じていた。しかし、決定された組合せを採用することにより、車種と自動運転システム２の組合せが最適な（現段階では最も問題事象が生じにくい）ものとなる。また、最適な組み合わせとなった自動運転車両３から得られる走行データには、これまでになかった問題事象が含まれる可能性がある。こうした走行データに基づいて運転シナリオを生成し、シミュレーションを行うことにより、自動運転システム２の技術レベルを更に向上させることができる。
【0043】
｛システムの作用効果｝
以上説明してきたシステム１によれば、制御の態様（技術レベル）が異なる複数の自動運転システム２それぞれのシミュレーション結果が、各自動運転システム２へ出力される。これにより、技術レベルが異なる複数の自動運転システム２またはその管理者は、自動運転システムの技術開発において、それぞれの技術レベルに応じた対応をとることができようになる。具体的には、ある技術レベルの自動運転システム２またはその管理者や設計者は、異なる技術レベルではなく自己の技術レベルに対応した自動運転システム２の問題を効率的に認識でき、改善するための投資を効率的に行うことができるようになる。その結果、相対的に技術レベルが低い自動運転システム２の技術レベルが効率的に底上げされることになり、路上を走行する多数の自動運転車両それぞれの自動運転システムの技術レベルのバラつきが小さくなる。従って、例えばどの自動運転システムを搭載したどの自動運転車両も安全性が一定程度確保されたものなることが期待でき、自動運転がより普及する社会の実現に繋げることができる。
以上説明してきたシステム１によれば、制御の態様（技術レベル）が異なる複数の自動運転システム２それぞれのシミュレーション結果が、各自動運転システム２へ出力される。これにより、技術レベルが異なる複数の自動運転システム２またはその管理者は、自動運転システムの技術開発において、それぞれの技術レベルに応じた対応をとることができようになる。具体的には、ある技術レベルの自動運転システム２またはその管理者や設計者は、異なる技術レベルではなく自己の技術レベルに対応した自動運転システム２の問題を効率的に認識でき、改善するための投資を効率的に行うことができるようになる。その結果、相対的に技術レベルが低い自動運転システム２の技術レベルが効率的に底上げされることになり、路上を走行する多数の自動運転車両それぞれの自動運転システムの技術レベルのバラつきが小さくなる。従って、例えばどの自動運転システムを搭載したどの自動運転車両も安全性が一定程度確保されたものなることが期待でき、自動運転がより普及する社会の実現に繋げることができる。
【0044】
また、このような効果は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」、目標９「産業と技術革新の基盤をつくろう」、目標１１「住み続けられるまちづくりを」等の達成にも貢献するものである。
【0045】
［変形例］
なお、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
なお、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0046】
［まとめ］
本発明の態様１に係るシステムは、それぞれ異なる態様で自動運転車両の走行を制御する複数の自動運転システムを用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部と、前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部と、を備える構成である。
本発明の態様１に係るシステムは、それぞれ異なる態様で自動運転車両の走行を制御する複数の自動運転システムを用い、前記自動運転車両の走行条件および走行中に生じる事象が記述された運転シナリオに沿って自動運転車両の走行をシミュレーションするテスト部と、前記シミュレーションの結果を、前記自動運転システムごとに出力する出力部と、を備える構成である。
【0047】
本発明の態様２に係るシステムは、上記の態様１において、前記テスト部は、前記自動運転車両が過去に前記自動運転システムに制御されて現実空間を走行した際に得られた走行データに基づく運転シナリオに沿って自動運転車両の走行をシミュレーションする構成としてもよい。
【0048】
本発明の態様３に係るシステムは、上記の態様１または２において、前記走行データに基づいて前記運転シナリオを生成する生成部を更に備え、前記生成部は、生成した運転シナリオを、場所、道路種別、天候の少なくともいずれかに応じて分類する構成としてもよい。
【0049】
本発明の態様４に係るシステムは、上記の態様３において、前記走行データに基づいて、前記自動運転車両が過去に走行した際に生じた問題事象を特定する特定部と、特定された前記問題事象の程度を判別する判別部と、を更に備え、前記生成部は、前記程度が所定以上の問題事象が抽出された前記走行データに基づいて前記運転シナリオを生成する構成としてもよい。
【0050】
本発明の態様５に係るシステムは、上記の態様４において、前記特定部は、特定された前記問題事象に、前記自動運転車両を制御した自動運転システムの識別情報、前記自動運転車両の車種、および運行種別の少なくともいずれかを対応付ける構成としてもよい。
【0051】
本発明の態様６に係るシステムは、上記の態様１から５のいずれかにおいて、前記自動運転車両に乗っていた者、および前記自動運転車両の監視者の少なくともいずれかから提供された情報の入力を受け付ける受付部を更に備え、前記特定部は、前記情報に基づいて前記問題事象を特定することが可能である構成としてもよい。
【0052】
本発明の態様７に係るシステムは、上記の態様２から６のいずれかにおいて、前記走行データは、前記自動運転車両の走行中における走行経路上のセンサが検知した情報を含む構成としてもよい。
【0053】
本発明の態様８に係るシステムは、上記の態様１から７のいずれかにおいて、前記シミュレーションの結果に基づいて、前記複数の自動運転システムのそれぞれの技術レベルを判定する判定部と、前記複数の自動運転システムの各技術レベルに基づいて、任意の走行条件に応じた前記自動運転車両の車種と、前記自動運転システムとの組み合わせを決定する決定部と、を更に備える構成としてもよい。
【0054】
本発明の態様９に係るシステムは、上記の態様１から８のいずれかにおいて、前記テスト部がシミュレーションを行う様子を表示するための情報を出力する第二出力部を更に備える構成としてもよい。
【符号の説明】
【0055】
１ システム
１１ 通信部
１２ 記憶部
１２１ プログラム
１２１ 記録データベース
１２２ 問題事象データベース
１２３ シナリオデータベース
１２４ テスト結果データベース
１２５ シミュレーション結果データベース
１２６ 技術レベル定義データベース
１３ 制御部
１３１ 取得部
１３２ 受付部
１３３ 特定部
１３４ 判別部
１３５ 生成部
１３６ テスト部
１３７ 出力部
１３８ 第二出力部
１３９ 判定部
１４０ 決定部
２ 自動運転システム
３ 自動運転車両
１１ 通信部
１２ 記憶部
１２１ プログラム
１２１ 記録データベース
１２２ 問題事象データベース
１２３ シナリオデータベース
１２４ テスト結果データベース
１２５ シミュレーション結果データベース
１２６ 技術レベル定義データベース
１３ 制御部
１３１ 取得部
１３２ 受付部
１３３ 特定部
１３４ 判別部
１３５ 生成部
１３６ テスト部
１３７ 出力部
１３８ 第二出力部
１３９ 判定部
１４０ 決定部
２ 自動運転システム
３ 自動運転車両
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】