特開 2023-55697 自動運転テスト方法、装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023055697

(43)【公開日】2023-04-18

(54)【発明の名称】自動運転テスト方法、装置、電子機器及び記憶媒体

(51)【国際特許分類】

   B60W 50/00 20060101AFI20230411BHJP

   G08G 1/00 20060101ALI20230411BHJP

   G01M 17/007 20060101ALI20230411BHJP

   B60W 60/00 20200101ALI20230411BHJP

【ＦＩ】

B60W50/00

G08G1/00 D

G01M17/007 J

B60W60/00

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022212376

(22)【出願日】2022-12-28

(31)【優先権主張番号】202111626623.6

(32)【優先日】2021-12-28

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521208273

【氏名又は名称】阿波▲羅▼智▲聯▼（北京）科技有限公司

【氏名又は名称原語表記】ＡＰＯＬＬＯ ＩＮＴＥＬＬＩＧＥＮＴ ＣＯＮＮＥＣＴＩＶＩＴＹ（ＢＥＩＪＩＮＧ）ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】１０１， １ｓｔ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ １， Ｙａｒｄ ７， Ｒｕｉｈｅ Ｗｅｓｔ ２ｎｄ Ｒｏａｄ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】チャオ，ジュン

(72)【発明者】

【氏名】チェン，ツェン

(57)【要約】      （修正有）

【課題】テストプロセスを簡素化できるとともに、テストコストを大幅に低減できる自動運転テスト方法を提供する。
【解決手段】本開示は、自動運転テスト方法、装置、電子機器及び記憶媒体を開示し、データ処理技術の分野に関し、特に自動運転技術の分野に関し、主な技術案は、自動運転車両の走行データが取得された後、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するステップであって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれるステップと、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップと、を含む。関連技術に比べて、本出願の実施例は、自動運転車両の実車走行データを用いて、実車走行データを分析してテストを完成させ、テストプロセスを簡素化するとともに、テストコストを大幅に低減する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自動運転テスト方法であって、
自動運転車両の走行データを取得するステップと、
前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するステップであって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれるステップと、
前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップと、を含む、
ことを特徴とする自動運転テスト方法。

【請求項2】

前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するステップは、
前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得するステップと、
前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定するステップと、
前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定するステップと、を含む、
ことを特徴とする請求項１に記載の自動運転テスト方法。

【請求項3】

前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップは、
前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するステップであって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連するステップと、
前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算方法を決定するステップと、
前記ターゲット計算方法に基づいて、前記自動運転車両をテストするステップと、を含む、
ことを特徴とする請求項２に記載の自動運転テスト方法。

【請求項4】

前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップの後に、前記方法は、
前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するステップであって、前記データ群が運転シーン次元に従って記憶されるステップと、
少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値を超えた前記運転シーンをターゲット運転シーンとして決定するステップであって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含むステップと、
前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の自動運転テスト方法。

【請求項5】

前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップは、
異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップ、
または、
異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップ、を含む、
ことを特徴とする請求項４に記載の自動運転テスト方法。

【請求項6】

自動運転テスト装置であって、
自動運転車両の走行データを取得するための取得ユニットと、
前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するための第１の決定ユニットであって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれる第１の決定ユニットと、
前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするためのテストユニットと、を含む、
ことを特徴とする自動運転テスト装置。

【請求項7】

前記第１の決定ユニットが、
前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得するための取得モジュールと、
前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定するための第１の決定モジュールと、
前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定するための第２の決定モジュールと、を含む、
ことを特徴とする請求項６に記載の自動運転テスト装置。

【請求項8】

前記テストユニットが、
前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するための第１の決定モジュールであって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連する第１の決定モジュールと、
前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算装置を決定するための第２の決定モジュールと、
前記ターゲット計算装置に基づいて、前記自動運転車両をテストするためのテストモジュールと、を含む、
ことを特徴とする請求項７に記載の自動運転テスト装置。

【請求項9】

前記テストユニットが前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストした後、前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するための記憶ユニットであって、前記データ群が運転シーン次元に従って記憶される記憶ユニットと、
少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値を超えた前記運転シーンをターゲット運転シーンとして決定するための処理ユニットであって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含む処理ユニットと、
前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定ユニットと、をさらに含む、
ことを特徴とする請求項６に記載の自動運転テスト装置。

【請求項10】

前記第２の決定ユニットが、
異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第１の決定モジュールと、
異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定モジュールと、を含む、
ことを特徴とする請求項９に記載の自動運転テスト装置。

【請求項11】

電子機器であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～５のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
ことを特徴とする電子機器。

【請求項12】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～５のいずれかに記載の方法を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項13】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１～５のいずれかに記載の方法が実現される、
ことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、データ処理技術の分野に関し、特に自動運転技術の分野に関し、具体的には、自動運転テスト方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

自動運転道路テストは最も直接的で、最も真実なテスト手段を提供して、自動運転車両の実際の交通流とシーンでの自動運転能力を検証し、自動運転テストの重要な構成部分であり、シミュレーションテスト、クローズドサイトテストと完全なテストチェーンを構成している。

【0003】

テスト結果を得るために、テストするシーン位置に基づいて、複数のテスト車両を使用して同じ場所を循環的に通過し、その場所を通過したときのシーンを記録する必要があり、シーンがテスト要件を満たす場合、有効なテストシーンとして記録し、有効なシーンにおいて車両バージョンの表現を観察し、通常、要求を満たす有効なシーンの回数を蓄積し、有効なテスト結論を得るには大量のテストに依存する必要がある。この方式はテストコストが高く、テストプロセスが複雑で、実際の道路での自動運転車両のテストを実現できない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、自動運転テスト方法、装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、自動運転車両の走行データを取得するステップと、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するステップであって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれるステップと、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップと、を含む自動運転テスト方法を提供する。

【0006】

選択的に、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するステップは、前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得するステップと、前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定するステップと、前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定するステップと、を含む。

【0007】

選択的に、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップは、前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するステップであって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連するステップと、前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算方法を決定するステップと、前記ターゲット計算方法に基づいて、前記自動運転車両をテストするステップと、を含む。

【0008】

選択的に、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップの後に、前記方法は、前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するステップであって、前記データ群が運転シーン次元に従って記憶されるステップと、少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値を超えた前記運転シーンをターゲット運転シーンとして決定するステップであって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含むステップと、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップと、をさらに含む。

【0009】

選択的に、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップは、異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップ、または、異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップ、を含む。

【0010】

本開示の別の態様によれば、自動運転車両の走行データを取得するための取得ユニットと、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するための第１の決定ユニットであって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれる第１の決定ユニットと、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするためのテストユニットと、を含む自動運転テスト装置を提供する。

【0011】

選択的に、前記第１の決定ユニットは、前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得するための取得モジュールと、前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定するための第１の決定モジュールと、前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定するための第２の決定モジュールと、を含む。

【0012】

選択的に、前記テストユニットは、前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するための第１の決定モジュールであって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連する第１の決定モジュールと、前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算装置を決定するための第２の決定モジュールと、前記ターゲット計算装置に基づいて、前記自動運転車両をテストするためのテストモジュールと、を含む。

【0013】

選択的に、前記装置は、前記テストユニットが前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストした後、前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するための記憶ユニットであって、前記データ群が運転シーン次元に従って記憶される記憶ユニットと、少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値を超えた前記運転シーンをターゲット運転シーンとして決定するための処理ユニットであって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含む処理ユニットと、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定ユニットと、をさらに含む。

【0014】

選択的に、前記第２の決定ユニットは、異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第１の決定モジュールと、異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定モジュールと、を含む。

【0015】

本開示の別の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが前記一態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0016】

本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに前記一態様に記載の方法を実行させる。

【0017】

本開示の別の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサによって実行される場合、前記一態様に記載の方法が実現される。

【発明の効果】

【0018】

本開示によって提供される自動運転テスト方法、装置、電子機器及び記憶媒体は、自動運転車両の走行データが取得された後、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定し、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれ、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストし、関連技術に比べて、本出願の実施例は自動運転車両の実車走行データを用いて、実車走行データを分析してテストを完成させ、テストプロセスを簡素化するとともに、テストコストを大幅に低減する。

【0019】

なお、この部分に記載の内容は、本出願の実施例の肝心または重要な特徴を特定することを意図しておらず、本出願の範囲を限定することも意図していないことを理解されたい。本出願の他の特徴は、以下の説明を通して容易に理解される。

【図面の簡単な説明】

【0020】

図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。

【図1】本開示の実施例によって提供される自動運転テスト方法の概略フローチャートである。

【図2】本出願の実施例によって提供される自動運転テスト方法のフレームワークの原理図である。

【図3】本開示の実施例によって提供される自動運転テスト装置の概略構成図である。

【図4】本開示の実施例によって提供される別の自動運転テスト装置の概略構成図である。

【図5】本開示の実施例によって提供される例示的な電子機器３００の概略ブロック図である。

【発明を実施するための形態】

【0021】

以下、図面と併せて本開示の例示的な実施例を説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なすべきである。したがって、当業者は、本開示の範囲及び精神から逸脱しない限り、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0022】

以下、図面を参照しながら、本開示の実施例に係る自動運転テスト方法、装置、電子機器及び記憶媒体を説明する。

【0023】

関連技術では、複数のテスト車両を使用して同じ場所を循環的に通過し、その場所を通過したときのシーンを記録し、シーンが特定のテスト要件を満たす場合、有効なテストシーンとして記録し（例えば左折に対して直進に遭遇するシーン）、有効なシーンにおいて車両バージョンの表現を観察し、通常、要求を満たす有効なシーンの回数を蓄積し、有効なテスト結論を得るには大量のテストに依存する必要がある。このようなテスト方式のプロセスは複雑であり、実車データに依存しない。

【0024】

本開示では、データマイニング技術を介して、道路テストデータに対してシーンマイニング、シーンクラスタリング、指標抽出を行うことができ、実車走行データに基づくテスト方法を実現し、実車走行データを用いてテストの正確性を向上させ、データ分析の実現プロセスが簡単である。

【0025】

図１は、本開示の実施例によって提供される自動運転テスト方法の概略フローチャートである。

【0026】

図１に示すように、当該方法は、以下のステップ１０１～１０３を含む。

【0027】

ステップ１０１において、自動運転車両の走行データを取得する。

【0028】

上記走行データは、車両の自動運転中に生成された実車データであり、走行データ、周囲に感知された障害物データ、及び自動運転車両と障害物とのインタラクションデータの少なくとも１つを含むが、これらに限定されない。上記走行データは、自動運転車両の測位データ（地図データ）、ルートデータ、及び自動運転車両に対する制御データを含むが、これに限定されない。周囲に感知された障害物データは、障害物カテゴリ、障害物位置及び障害物速度を含む。例えば、障害物カテゴリは動的障害物、例えば走行であり、静的障害物、例えば道路標識、交差点などである。自動運転車両と障害物とのインタラクションデータは、例えば、相対距離、相対速度、相対距離／前車相対速度ＴＴＣ、及び相対距離／後車の速度を含む。

【0029】

以上、走行データの種類に対して例を挙げて説明したが、上記は単なる例示的なものであり、実際の応用では、走行データには、走行中の自動運転車両のすべての車両に対する操作データ、及び車載カメラ（またはレコーダ）で収集された各種類のデータが含まれる。

【0030】

ステップ１０２において、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定し、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれる。

【0031】

前記予め設定されたシーン分析ポリシーは、予め設定だれたポリシー情報であり、主に運転シーンの分類、及び各運転シーンの対応する指標パラメータ情報を含む。

【0032】

理解を容易にするために、以下の実施例は、前記予め設定されたシーン分析ポリシーに対して例を挙げて説明し、運転シーンは、交差点での発進、交差点での停止、交差点での右折、交差点での左折、交差点での直進、交差点でのＵターン、車線変更、追い越しの対応を含むが、これに限定されない。各運転シーンにおいて異なる指標パラメータ情報にも分割され、表１に示すとおりである。

【0033】

【表1】

【0034】

なお、上記は理解を容易にするために挙げられた例であり、日常走行中に発生する可能性がある場合であり、本願実の実施例は、運転シーン及び対応する指標パラメータ情報を具体的に限定せず、異なる応用シーン及び自動運転車両の異なる型式に応じて柔軟に設定することができる。

【0035】

以上、予め設定されたシーン分析ポリシーを説明し、この予め設定されたシーン分析ポリシーに基づいて運転シーンの分析とマイニングを行う場合、走行データに含まれる高精度地図情報、車両制御データ、及び主車（自動運転車両）と障害物との位置関係変換に基づいて、運転シーンを分析してマイニングする。

【0036】

ステップ１０３において、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストする。

【0037】

前記のテストには参照データの比較が必要であり、本出願の実施例では、参考データとしては、各指標パラメータ情報に対して対応する参考データを設定してもよいし、異なる車両間で、互いにテストの参考データとしてもよい。例えば、自動運転車両Ａと自動運転車両Ｂであり、自動運転車両Ａと自動運転車両Ｂのテスト時の区間が同じである場合、上記方法によって運転シーンの指標パラメータ情報を取得した後、自動運転車両Ａと自動運転車両Ｂの指標パラメータ情報をそれぞれ比較して、テストを完了させる。本出願の実施例は、テスト時に比較される参照データを限定しない。

【0038】

関連技術における自動運転道路テストに存在する問題を解決するために、本出願の実施例は、データマイニング技術を介して、道路テストデータ（走行データ）に対してシーンマイニング、運転シーン分析、指標パラメータ情報抽出を行って、データに基づく道路の専門的なテスト方法を実現することができる。本出願の実施例は、関連技術における実車の有効シーン駆動テストの方式を変更し、データ駆動方式にアップグレードすることで、データマイニングと分析の利点を利用して、特別テストを効率的に実行することができる。

【0039】

本開示によって提供される自動運転テスト方法は、自動運転車両の走行データが取得された後、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定し、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれ、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストし、関連技術に比べて、本出願の実施例は、自動運転車両の実車走行データを用いて、実車走行データを分析してテストを完成させ、テストプロセスを簡素化するとともに、テストコストを大幅に低減する。

【0040】

上記実施例に対する更なる微細化として、ステップ１０２において、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定することを実行する時、以下の方式を使用できるが、これに限定されない。前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得し、前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定し、前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定する。

【0041】

例示的に、走行データには、少なくとも２つの運転シーンが含まれ、例えば自動運転車両が発進した後、順次右折し、信号交差点を通過し、車線を変更し、交差点でＵターンすると、自動運転車両が停止する。データ分析によって、運転シーンが、交差点での右折と、交差点での直進と、車線変更と、交差点でのＵターンとの合計４つの運転シーンを含むと決定することができ、走行データにおける各運転シーンには、シーン開始時間、シーン終了時間及び障害物情報が記録されている。

【0042】

各運転シーンに対して、当該シーンを表す指標パラメータ情報を決定し、異なる運転シーンに対応する指標パラメータ情報が異なるため、異なる運転シーンを表す効果を達成し、指標パラメータ情報の変化によって運転シーン処理の効果を評価し、さらにシーン別の自動運転能力評価を実現する。

【0043】

前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするステップは、前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するステップであって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連するステップと、前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算方法を決定するステップと、前記ターゲット計算方法に基づいて、前記自動運転車両をテストするステップと、を含む。シーンカテゴリが指標パラメータ情報と密接に関連しており、例えば運転シーンが交差点での発進である場合、当該シーンカテゴリが車両速度、通行時間長に関連し、運転シーンが交差点での右折である場合、当該シーンカテゴリが通行時間長、通過率に関連し、シーンカテゴリの関連性については、表１の詳細な説明を参照することができる。

【0044】

シーンカテゴリを確認する目的は、異なるシーンカテゴリに基づいて異なるターゲット計算方法を確認することであり、例えば、運転シーンが速度に関連する場合、それに対応する指標パラメータ情報の速度を計算すればよく、運転シーンが時間に関連する場合、それに対応する指標パラメータ情報の時間長を計算すればよい。

【0045】

実際の応用では、上記実施例で説明された運転シーンの分析がデータ層に適用されて実現され、すなわち、走行データの取得－運転シーンのマイニング－指標パラメータ情報のマイニング－テスト－記憶は、いずれもデータ層によって完成され、その適用性を向上させるために、応用層を設定してテストの結果データを応用することもできる。図２に示すように、図２は、本出願の実施例によって提供される自動運転テスト方法のフレームワークの原理図である。

【0046】

拡張として、応用層は、データ層に記憶されたテスト結果データに基づいて、シーン位置の異なり、運転シーンの難しさの異なりによるテスト変数を除去した後、固定地点で高頻度に発生する運転シーンを分析して、バージョンに従ってテスト結果を出力してバージョン差異を得て、都市に従ってテスト結果を出力して都市差異を得る。前記方法は、
前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するステップであって、前記データ群が運転シーン次元に従って記憶されるステップと、少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値（図１０００回）を超えた前記運転シーンをターゲット運転シーンとして決定するステップであって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含むステップと、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するステップと、をさらに含む。

【0047】

実際の適用では、データ群を生成する場合、運転シーン、及び対応するテスト結果のほか、指標パラメータ情報抽出の結果、運転シーンの説明情報、元の走行データ、テストバージョン、自動運転車両、シーン発生場所などの情報がさらに含まれる。具体的な関連するデータ群に含まれる内容は本出願の実施例では限定されない。

【0048】

本出願の実施例は、テストする時、運転シーンを次元として分析し、実現可能な一応用方式として、異なるバージョンの同じ交差点での同じ運転行為データ処理を使用すると、バージョン能力の能力差異を得ることができ、すなわち、異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定する。

【0049】

異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定する。同じバージョンの異なる都市での表現の差異に対して自動運転能力の適応性を得ることができ、自動運転道路テストを定量化する目的を達成し、データの潜在力を発揮する。

【0050】

実際の応用では、テストの正確性を確保するために、同じソフトウェアバージョンが、異なる運転シーンの発生場所で走行データの差異をもたらす可能性があり、異なる大きさの交差点の通行時間長の差異が大きいが、当該差異がバージョン能力の変化を表すことができない。当該差異を解消するために、本出願の実施例は、固定場所を選択して異なるバージョンを評価することができる。

【0051】

同じ場所で発生した運転シーンでも、有効性の差異があり、異なる難しさの運転シーンに対する自動運転能力の対応が大きく異なり、テスト結果の正確性を保証するために、運転シーンの難しさが一致している場合にテストを行う必要がある。

【0052】

図３は、本開示の実施例によって提供される自動運転テスト装置の概略構成図であり、図３に示すように、自動運転車両の走行データを取得するための取得ユニット２１と、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定するための第１の決定ユニット２２であって、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれる第１の決定ユニットと、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストするためのテストユニット２３と、を含む。

【0053】

本開示によって提供される自動運転テスト装置は、自動運転車両の走行データが取得された後、前記走行データ及び予め設定されたシーン分析ポリシーに基づいて、前記走行データに含まれる運転シーンを決定し、各運転シーンには少なくとも１種類の指標パラメータ情報が含まれ、前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストし、関連技術に比べて、本出願の実施例は、自動運転車両の実車走行データを用いて、実車走行データを分析してテストを完成させ、テストプロセスを簡素化するとともに、テストコストを大幅に低減する。

【0054】

さらに、本実施の可能な一実現形態では、図４に示すように、前記第１の決定ユニット２２は、前記走行データを分析して、ルート情報、車両制御情報及び障害物情報を取得するための取得モジュール２２１と、前記ルート情報、車両制御情報、障害物情報及び前記予め設定されたシーン分析ポリシーに基づいて、前記運転シーンのシーン開始時間、シーン終了時間及び障害物情報を決定するための第１の決定モジュール２２２と、前記シーン開始時間、シーン終了時間及び障害物情報に基づいて、前記走行データの少なくとも１つの運転シーンを決定するための第２の決定モジュール２２３と、を含む。

【0055】

さらに、本実施の可能な一実現形態では、図４に示すように、前記テストユニット２３は、前記運転シーンの各指標パラメータ情報のシーンカテゴリを決定するための第１の決定モジュール２３１であって、前記シーンカテゴリが車両速度、通過率／通行時間長、障害物からの距離、及び車線のうちの少なくとも１つに関連する第１の決定モジュール２３１と、前記シーンカテゴリに基づいて、前記指標パラメータ情報のターゲット計算装置を決定するための第２の決定モジュール２３２と、前記ターゲット計算装置に基づいて、前記自動運転車両をテストするためのテストモジュール２３３と、を含む。

【0056】

さらに、本実施の可能な一実現形態では、図４に示すように、前記装置は、前記テストユニットが前記運転シーンの各指標パラメータ情報に基づいて、前記自動運転車両をテストした後、前記運転シーン、及び対応するテスト結果に基づいて、データ群を生成するための記憶ユニット２４であって、前記データ群が運転シーン次元に従って記憶される記憶ユニット２４と、少なくとも２つのデータ群を分析し、発生回数が予め設定された閾値を超えた前記運転シーンをターゲット運転シーンとして決定するための処理ユニット２５であって、前記ターゲット運転シーンが少なくとも２つの運転シーンを含む処理ユニット２５と、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定ユニット２６と、をさらに含む。

【0057】

さらに、本実施の可能な一実現形態では、図４に示すように、前記第２の決定ユニット２６は、異なる運転システムバージョンに基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第１の決定モジュール２６１と、異なる都市に基づいて、前記ターゲット運転シーンにそれぞれ対応するテスト結果間の差異を決定するための第２の決定モジュール２６２と、を含む。

【0058】

なお、前記方法の実施例に対する説明は、本実施例の装置にも適用され、原理が同じであり、本実施例ではさらに限定しない。

【0059】

本開示の実施例によれば、本開示は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される自動運転テスト方法が実現される。

【0060】

図５は、本開示の実施例を実現できる例示的な電子機器３００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルディジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示される部品、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び／又は要求される本開示の実現を制限することを意図したものではない。

【0061】

図５に示すように、電子機器３００は、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読取り専用メモリ）３０２に記憶されているコンピュータプログラム、または記憶ユニット３０８からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセス／記憶メモリ）３０３にロードされたコンピュータプログラムに従って、様々な適切な動作および処理を実行することができる計算ユニット３０１を含む。ＲＡＭ３０３には、電子機器３００の動作に必要な各種のプログラムやデータも記憶されていてもよい。計算ユニット３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４を介して、互いに接続されている。バス３０４には、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、入力／出力）インターフェース３０５も接続されている。

【0062】

電子機器３００における複数のコンポーネントは、Ｉ／Ｏインターフェース３０５に接続され、キーボード、マウスなどの入力ユニット３０６と、各種のディスプレイ、スピーカなどの出力ユニット３０７と、磁気ディスク、光ディスクなどの記憶ユニット３０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット３０９と、を含む。通信ユニット３０９は、電子機器３００が、インターネットなどのコンピュータネットワークおよび／または様々な通信ネットワークを介して他の装置と情報／データを交換することを可能にする。

【0063】

計算ユニット３０１は、処理能力および計算能力を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット３０１のいくつかの例は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，中央処理ユニット）、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ，グラフィックス処理ユニット）、様々な専用のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，人工知能）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ，デジタル信号プロセッサ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなど、を含むが、これに限定されない。計算ユニット３０１は、前文で説明された様々な方法および処理、例えば、自動運転テスト方法を実行する。例えば、いくつかの実施例では、自動運転テスト方法は、記憶ユニット３０８などの機械読み取り可能な記憶媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ３０２および／または通信ユニット３０９を介して電子機器３００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ３０３にロードされ、計算ユニット３０１によって実行される場合、前文に記載の方法の１つまたは複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット３０１は、前記自動運転テスト方法を実行するように他の任意の適切な方式で（例えば、ファームウェアを介して）構成されてもよい。

【0064】

本明細書で上記説明されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路）、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、特定用途用標準品）、ＳＯＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ、システムオンチップ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、複雑なプログラマブルロジックデバイス）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

【0065】

本開示の方法を実行するためのプログラムコードは、１つまたは複数のプログラミング言語の任意の組み合わせを用いて作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供され、プロセッサまたはコントローラによって実行される場合、フロチャートおよび／またはブロック図に規定された機能／動作を実行させることができる。プログラムコードは、完全に機械上で実行されるか、又は部分的に機械上で実行されるか、又はスタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行されるか、又は完全にリモート機械又はサーバ上で実行されてもよい。

【0066】

本開示の文脈では、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、または命令実行システム、装置、またはデバイスを組み合わせて使用されるプログラムを含むか、または記憶することができる有形的な媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線的、または半導体的なシステム、装置またはデバイス、またはこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な媒体のより具体的な例は、１つ以上のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ－Ｍｅｍｏｒｙ、ＥＰＲＯＭ、消去可能プログラマブル・リード・オンリー・メモリ）またはフラッシュメモリ、光ファイバ、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ポータブルコンパクトディスク読み取り専用メモリ）、光ストレージデバイス、磁気ストレージデバイス、またはこれらの任意の適切な組み合わせ、を含むことができる。

【0067】

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ、（Ｃａｔｈｏｄｅ－Ｒａｙ Ｔｕｂｅ、陰極線管）又はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力、または、触覚入力とを含む）でユーザからの入力を受信することができる。

【0068】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムで実行することができる。いずれかの形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ワイドエリアネットワーク）、インターネット、及びブロックチェーンネットワーク、を含む。

【0069】

コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよい、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける１つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、または「ＶＰＳ」と略す）に存在する管理の難しさ、業務拡張性の弱い欠陥を解決した。サーバは分散システムのサーバであってもよいし、ブロックチェーンを組み込んだサーバであってもよい。

【0070】

なお、人工知能とは、人間のある思考過程やインテリジェントな動作（学習、推理、思考、計画など）をコンピュータにシミュレーションさせることを研究する科学であり、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能ハードウェア技術は一般的に、例えば、センサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術を含み、人工知能ソフトウェア技術は主に、コンピュータ視覚技術、音声認識技術、自然言語処理技術、及び機械学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

【0071】

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載の各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。

【0072】

上記具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができることを理解されたい。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】