(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-26
(45)【発行日】2022-08-03
(54)【発明の名称】自動運転車両のテスト方法、装置、電子デバイス、媒体およびコンピュータプログラム
(51)【国際特許分類】
G01M 17/007 20060101AFI20220727BHJP
G06F 11/36 20060101ALI20220727BHJP
【FI】
G01M17/007 B
G06F11/36 176
(21)【出願番号】P 2021035940
(22)【出願日】2021-03-08
【審査請求日】2021-03-08
(31)【優先権主張番号】202010606636.6
(32)【優先日】2020-06-29
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Beijing Baidu Netcom Science Technology Co., Ltd.
【住所又は居所原語表記】2/F Baidu Campus, No.10, Shangdi 10th Street, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】趙 軍
【審査官】奥野 尭也
(56)【参考文献】
【文献】米国特許出願公開第2019/0308619(US,A1)
【文献】中国特許出願公開第110285977(CN,A)
【文献】米国特許出願公開第2018/0164825(US,A1)
【文献】中国特許出願公開第108844744(CN,A)
【文献】米国特許出願公開第2020/0201357(US,A1)
【文献】中国特許出願公開第107421752(CN,A)
【文献】米国特許第10467704(US,B1)
【文献】国際公開第2020/095076(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01M 17/007-17/06
B60W 50/00-50/16
B60W 60/00
(57)【特許請求の範囲】
【請求項1】
自動運転車両のテスト方法であって、
テスト手順で監視された現在累積問題数と前記車両の現在走行距離との間の対応関係とを含む
、テスト場所に関するテスト手順で生成されたテストデータを取得することと、
前記テストデータに基づいて、監視された前記現在累積問題数と前記テスト手順で監視された問題総数との間の比
率とを含む問題監視比
率と、現在走行距離との間の対応関係を特定することと、
前記問題監視比
率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、前記テスト場所に関する毎回のテスト手順における問題監視比
率とテスト距離との間の対応関係を評価するための最適化評価モデルを取得することとを含む、自動運転車両のテスト方法。
【請求項2】
予期問題監視比
率について、前記最適化評価モデルを用いてテスト待ちのテスト距離を特定することと、
前記テスト待ちのテスト距離に基づいて前記自動運転車両のテストを実行することとをさらに含
み、
前記予期問題監視比率は、ユーザにより選択される比較的に適切な問題監視比率である、請求項1に記載の自動運転車両のテスト方法。
【請求項3】
前記テストデータは、前記テスト手順で監視された問題の問題記録をさらに含み、前記問題記録は、少なくとも1つの問題記述を含み、前記少なくとも1つの問題記述の各々は、少なくとも1つの記述タグを含む、請求項1に記載の自動運転車両のテスト方法。
【請求項4】
前記テスト場所に関する前記テスト手順で生成されたテストデータを記録することをさらに含み、
前記テスト場所に関する前記テスト手順で生成されたテストデータを記録することは、
前記テスト手順で新たな問題を監視したことに応答して、監視された問題に前記新たな問題と同じ問題記録を有する他の問題が既に存在しているか否かを特定することと、
存在していなければ、前記新たな問題の問題記録を記録し、現在累積問題数を更新することと、
現在累積問題数と現在走行距離との間の対応関係を記録することとを含む、請求項3に記載の自動運転車両のテスト方法。
【請求項5】
前記現在累積問題数と現在走行距離との間の対応関係を記録することは、
現在累積問題数の更新に応答して、更新後の現在累積問題数と現在走行距離を取得し、前記更新後の現在累積問題数と前記現在走行距離との間の対応関係を記録すること、または、
現在累積問題数と現在走行距離とを周期的に取得し、前記現在累積問題数と前記現在走行距離との間の対応関係を記録することを含む、請求項4に記載の自動運転車両のテスト方法。
【請求項6】
前記所定の評価モデルは、指数モデルを含む、請求項1に記載の自動運転車両のテスト方法。
【請求項7】
前記所定の評価モデルは、以下のように表され、
y=1-n
x
ただし、yは、問題監視比
率を表し、xは、現在走行距離を表し、nは、前記所定のモデルのパラメータである、請求項6に記載の自動運転車両のテスト方法。
【請求項8】
前記問題記録は、静的場面記述、動的相互作用記述、動的相互作用行為記述および不当な行為記述のうちの少なくとも1つの問題記述を含む、請求項3に記載の自動運転車両のテスト方法。
【請求項9】
前記静的場面記述は、交差点左折、交差点右折、交差点直進、交差点反転、非交差点走行、ラウンドアバウト、高架、分岐路、合流領域、幹線道路および補助道路、ランプ
および一時道路工事のうちの少なくとも1つの記述タグを含み、
前記動的相互作用記述は、なし、車両、歩行者、非自動車および他の障害物のうちの少なくとも1つの記述タグを含み、
前記動的相互作用行為記述は、なし、並列、追従、車線変更、車両超え、サイド駐車および起動のうちの少なくとも1つの記述タグを含み、
前記不当な行為記述は、不当なブレーキ、理由なしのブレーキ、不当な加速、速すぎ、遅すぎ、左右スイング、横方向オフセット、位置ドリフト、横方向近過ぎ、位置決めエラー、識別エラー、交通規制違反、冗余行為およびタイミング違いのうちの少なくとも1つの記述タグを含む、請求項8に記載の自動運転車両のテスト方法。
【請求項10】
自動運転車両のテスト装置であって、
テスト手順で監視された現在累積問題数と前記車両の現在走行距離との間の対応関係とを含む
、テスト場所に関するテスト手順で生成されたテストデータを取得するための取得モジュールと、
前記テストデータに基づいて、監視された前記現在累積問題数と前記テスト手順で監視された問題総数との間の比
率とを含む問題監視比
率と、現在走行距離との間の対応関係を特定するための第1の特定モジュールと、
前記問題監視比
率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、前記テスト場所に関する毎回のテスト手順における問題監視比
率とテスト距離との間の対応関係を評価するための最適化評価モデルを取得するためのフィッティング処理モジュールとを含む、自動運転車両のテスト装置。
【請求項11】
予期問題監視比
率について、前記最適化評価モデルを用いてテスト待ちのテスト距離を特定するための第2の特定モジュールと、
前記テスト待ちのテスト距離に基づいて前記自動運転車両のテストを実行するためのテスト実行モジュールとをさらに含
み、
前記予期問題監視比率は、ユーザにより選択される比較的に適切な問題監視比率である、請求項10に記載の自動運転車両のテスト装置。
【請求項12】
前記テストデータは、前記テスト手順で監視された問題の問題記録をさらに含み、前記問題記録は、少なくとも1つの問題記述を含み、前記少なくとも1つの問題記述の各々は、少なくとも1つの記述タグを含む、請求項10に記載の自動運転車両のテスト装置。
【請求項13】
前記テスト場所に関する前記テスト手順で生成されたテストデータを記録するための記録モジュールをさらに含み、
前記テスト場所に関する前記テスト手順で生成されたテストデータを記録することは、
前記テスト手順で新たな問題を監視したことに応答して、監視された問題に前記新たな問題と同じ問題記録を有する他の問題が既に存在しているか否かを特定することと、
存在していなければ、前記新たな問題の問題記録を記録し、現在累積問題数を更新することと、
現在累積問題数と現在走行距離との間の対応関係を記録することとを含む、請求項12に記載の自動運転車両のテスト装置。
【請求項14】
前記現在累積問題数と現在走行距離との間の対応関係を記録することは、
現在累積問題数の更新に応答して、更新後の現在累積問題数と現在走行距離を取得し、前記更新後の現在累積問題数と前記現在走行距離との間の対応関係を記録すること、または、
現在累積問題数と現在走行距離とを周期的に取得し、前記現在累積問題数と前記現在走行距離との間の対応関係を記録することを含む、請求項13に記載の自動運転車両のテスト装置。
【請求項15】
前記所定の評価モデルは、指数モデルを含む、請求項10に記載の自動運転車両のテスト装置。
【請求項16】
前記所定の評価モデルは、以下のように表され、
y=1-n
x
ただし、yは、問題監視比
率を表し、xは、現在走行距離を表し、nは、前記所定のモデルのパラメータである、請求項15に記載の自動運転車両のテスト装置。
【請求項17】
前記問題記録は、静的場面記述、動的相互作用記述、動的相互作用行為記述および不当な行為記述のうちの少なくとも1つの問題記述を含む、請求項12に記載の自動運転車両のテスト装置。
【請求項18】
前記静的場面記述は、交差点左折、交差点右折、交差点直進、交差点反転、非交差点走行、ラウンドアバウト、高架、分岐路、合流領域、幹線道路および補助道路、ランプ
および一時道路工事のうちの少なくとも1つの記述タグを含み、
前記動的相互作用記述は、なし、車両、歩行者、非自動車および他の障害物のうちの少なくとも1つの記述タグを含み、
前記動的相互作用行為記述は、なし、並列、追従、車線変更、車両超え、サイド駐車および起動のうちの少なくとも1つの記述タグを含み、
前記不当な行為記述は、不当なブレーキ、理由なしのブレーキ、不当な加速、速すぎ、遅すぎ、左右スイング、横方向オフセット、位置ドリフト、横方向近過ぎ、位置決めエラー、識別エラー、交通規制違反、冗余行為およびタイミング違いのうちの少なくとも1つの記述タグを含む、請求項17に記載の自動運転車両のテスト装置。
【請求項19】
1つまたは複数のプロセッサと、
1つまたは複数のプログラムを記憶するための記憶装置とを含み、
前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサに請求項1~9のいずれか一項に記載の方法を実行させる、電子デバイス。
【請求項20】
プロセッサによって実行されたときに、プロセッサに請求項1~9のいずれか一項に記載の方法を実行させる実行可能な命令が記憶されているコンピュータ読み取り可能な媒体。
【請求項21】
実行される際に、請求項1~9のいずれか一項に記載の方法を実現するコンピュータ実行可能な命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動運転分野に関し、より具体的には、自動運転車両のテスト方法、装置、電子デバイス、コンピュータ読み取り可能な媒体およびコンピュータプログラムに関する。
【背景技術】
【0002】
車両技術および電子技術の急速な発展に伴い、自動運転車両は、人々の生活においてますます多く見られている。自動運転車両は、様々なセンサによって車両が所在する交通場面の情報を取得し、交通場面情報に基づいて適切な自動運転戦略を特定して、車両の自動運転を実現することができる。
【0003】
自動運転車両の開発プロセスでは、自動運転車両における各機器およびプログラムをテストするために、通常、自動運転車両に対して走行テストを行う必要がある。
【0004】
しかしながら、本開示の概念を実現する過程において、発明者らは、関連技術に少なくとも以下の問題があることを見出した。すなわち、自動運転車両を十分にテストするために、大量の自動運転車両を同一テスト場所で繰り返してテストする方法を用いてテストのカバレッジ率を確保することが一般的であり、これにより、テストコストが高く、テスト効率が低い。
【発明の概要】
【0005】
これに鑑みて、本開示は、自動運転車両のテスト方法、装置、電子デバイス、コンピュータ読み取り可能な媒体およびコンピュータプログラムを提供する。
【0006】
本開示の1つの様態によれば、自動運転車両のテスト方法を提供し、当該方法は、テスト手順で監視された現在累積問題数と前記車両の現在走行距離との間の対応関係とを含む、テスト場所に関するテスト手順で生成されたテストデータを取得することと、前記テストデータに基づいて、監視された前記現在累積問題数と前記テスト手順で監視された問題総数との間の比率とを含む問題監視比率と、現在走行距離との間の対応関係を特定することと、前記問題監視比率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、前記テスト場所に関する毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するための最適化評価モデルを取得することとを含む。
【0007】
本開示の実施例によれば、前記方法は、予期問題監視比率について、前記最適化評価モデルを用いてテスト待ちのテスト距離を特定することと、前記テスト待ちのテスト距離に基づいて前記自動運転車両のテストを実行することとをさらに含み、前記予期問題監視比率は、ユーザにより選択される比較的に適切な問題監視比率である。
【0008】
本開示の実施例によれば、前記テストデータは、前記テスト手順で監視された問題の問題記録をさらに含み、前記問題記録は、少なくとも1つの問題記述を含み、前記少なくとも1つの問題記述の各々は、少なくとも1つの記述タグを含む。
【0009】
本開示の実施例によれば、前記方法は、前記テスト場所に関する前記テスト手順で生成されたテストデータを記録することをさらに含む。前記テスト場所に関する前記テスト手順で生成されたテストデータを記録することは、前記テスト手順で新たな問題を監視したことに応答して、監視された問題に前記新たな問題と同じ問題記録を有する他の問題が既に存在しているか否かを特定し、存在していなければ、前記新たな問題の問題記録を記録し、現在累積問題数を更新することと、現在累積問題数と現在走行距離との間の対応関係を記録することとを含む。
【0010】
本開示の実施例によれば、前記現在累積問題数と現在走行距離との間の対応関係を記録することは、現在累積問題数の更新に応答して、更新後の現在累積問題数と現在走行距離とを取得し、前記更新後の現在累積問題数と前記現在走行距離との間の対応関係を記録すること、または、現在累積問題数と現在走行距離とを周期的に取得し、前記現在累積問題数と前記現在走行距離との間の対応関係を記録することを含む。
【0011】
本開示の実施例によれば、前記所定の評価モデルは、指数モデルを含む。
【0012】
本開示の実施例によれば、前記所定の評価モデルは、以下のように表される。
【0013】
y=1-nx
ただし、yは、問題監視比率を表し、xは、現在走行距離を表し、nは、前記所定のモデルのパラメータである。
【0014】
本開示の実施例によれば、前記問題記録は、静的場面記述、動的相互作用記述、動的相互作用行為記述および不当な行為記述のうちの少なくとも1つの問題記述を含む。
【0015】
本開示の実施例によれば、前記静的場面記述は、交差点左折、交差点右折、交差点直進、交差点反転、非交差点走行、ラウンドアバウト、高架、分岐路、合流領域、幹線道路および補助道路、ランプおよび一時道路工事のうちの少なくとも1つの記述タグを含む。前記動的相互作用記述は、なし、車両、歩行者、非自動車および他の障害物のうちの少なくとも1つの記述タグを含む。前記動的相互作用行為記述は、なし、並列、追従、車線変更、車両超え、サイド駐車および起動のうちの少なくとも1つの記述タグを含む。前記不当な行為記述は、不当なブレーキ、理由なしのブレーキ、不当な加速、速すぎ、遅すぎ、左右スイング、横方向オフセット、位置ドリフト、横方向近過ぎ、位置決めエラー、識別エラー、交通規制違反、冗余行為およびタイミング違いのうちの少なくとも1つの記述タグを含む。
【0016】
本開示の別の様態によれば、自動運転車両のテスト装置を提供し、当該装置は、取得モジュールと、第1の特定モジュールと、フィッティング処理モジュールとを含む。取得モジュールは、テスト手順で監視された現在累積問題数と前記車両の現在走行距離との間の対応関係とを含む、テスト場所に関するテスト手順で生成されたテストデータを取得するためのものである。第1の特定モジュールは、前記テストデータに基づいて、監視された前記現在累積問題数と前記テスト手順で監視された問題総数との間の比率とを含む問題監視比率と、現在走行距離との間の対応関係を特定するためのものである。フィッティング処理モジュールは、前記問題監視比率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、前記テスト場所に関する毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するための最適化評価モデルを取得するためのものである。
【0017】
本開示の別の態様によれば、1つまたは複数のプロセッサと、1つまたは複数のプログラムを記憶するための記憶装置とを有する電子デバイスであって、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサによって実行される場合、前記1つまたは複数のプロセッサに上記のような方法を実行させる、電子デバイスを提供する。
【0018】
本開示の別の様態によれば、実行されるときに、上記のような方法を実行するためのコンピュータ実行可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体を提供する。
【0019】
本開示の別の様態によれば、実行されるときに、上記のような方法を実行するためのコンピュータ実行可能な命令を含むコンピュータプログラムを提供する。
【図面の簡単な説明】
【0020】
以下、図面を参照しながら本開示の実施例を説明することにより、本開示の上記及び他の目的、特徴、及び利点はより明らかになるであろう。
【
図1】本開示の実施例による自動運転車両のテスト方法のシステムアーキテクチャを模式的に示している。
【
図2】本開示の実施例による自動運転車両のテスト方法のフローチャートを模式的に示している。
【
図3】本開示の実施例による評価モデルの模式図を模式的に示している。
【
図4】本開示の実施例による自動運転車両のテスト装置のブロック図を模式的に示している。
【
図5】本開示の実施例による電子デバイスのブロック図を模式的に示している。
【発明を実施するための形態】
【0021】
以下、本開示の実施例について図面を参照しながら説明する。しかしながら、これらの説明は例示的なものであり、本開示の範囲を制限するものではないことを理解すべきである。以下の詳細な説明では、説明の便宜上、本開示の実施例に対する全面的な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、1つまたは複数の実施例は、これらの具体的な詳細なしでも実施できることは明らかである。また、以下の説明では、本開示の概念を不要に不明瞭にしないように、周知の構造及び技術に対する説明は省略する。
【0022】
本明細書で使用される用語は、具体的な実施例を説明するためのものに過ぎず、本開示を限定することを意図しない。本明細書で使用される「備える」、「含む」等の用語は、前記特徴、ステップ、操作、及び/または部品の存在を意味するが、1つまたは複数の他の特徴、ステップ、操作、または部品の存在または追加を除外しない。
【0023】
本明細書で使用される全ての用語(技術的及び科学的用語を含む)は、別途定義されない限り、当業者によって一般的に理解される意味を有する。本明細書で使用される用語は、本明細書の前後文脈に一致する意味を有すると解釈されるべきであり、理想的または過度に文字的に解釈されるべきではない。
【0024】
「A、B及びC等の少なくとも1つ」のような表現を使用する場合、一般的には、当業者によって通常に理解される意味に解釈されるべきである(例えば、「A、B及びCの少なくとも1つを有するシステム」は、Aを単独で有するシステム、Bを単独で有するシステム、Cを単独で有するシステム、A及びBを有するシステム、A及びCを有するシステム、B及びCを有するシステム、及び/またはA、B、Cを有するシステム等を含むが、これらに限定されない)。
【0025】
本開示は、自動運転車両のテスト方法を提供し、当該方法は、テスト場所に関するテスト手順で生成されたテストデータを取得し、テストデータは、テスト手順で監視された現在累積問題数と車両の現在走行距離との間の対応関係とを含む。それから、当該テストデータに基づいて、監視された現在累積問題数とテスト手順で監視された問題総数との間の比率を含む問題監視比率と、現在走行距離との間の対応関係を特定する。問題監視比率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、テスト場所に関する毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するための最適化評価モデルを取得する。
【0026】
図1は、本開示の実施例による自動運転車両のテスト方法のシステムアーキテクチャ100を模式的に示している。
【0027】
なお、
図1は、本開示の実施例を適用できるシステムアーキテクチャの例示に過ぎなく、当業者が本開示の技術内容を理解するようにするためのものであり、本開示の実施例が他の装置、システム、環境または場面に適用できないことを意味しない。
【0028】
図1に示すように、当該実施例によるシステムアーキテクチャ100は、自動運転車両101と、ネットワーク102と、サーバ103とを含んでもよい。ネットワーク102は、自動運転車両101とサーバ103との間に通信リンクを提供する媒体である。ネットワーク102は、有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含んでもよい。
【0029】
本開示の実施例によれば、自動運転車両101は、例えば、コンピュータシステムによって無人運転を実現するスマート自動車であってもよい。自動運転車両101は、例えば、環境感知および計画決定などの機能を統合することができる。例えば、自動運転車両101には、周囲環境や交通状况の感知および監視を実現するためのレーダセンサまたは監視装置などが実装されてもよい。
【0030】
本開示の実施例によれば、サーバ103は、多様なサービスを提供するサーバであってもよい。例えば、サーバ103は、自動運転車両101があるテスト場所のあるテスト手順で生成したテストデータを取得し、テストデータに基づいて所定の評価モデルに対してフィッティング処理を行うことができる。
【0031】
なお、本開示の実施例による自動運転車両のテスト方法は、一般的に、サーバ103で実行されてもよい。対応的に、本開示の実施例による自動運転車両のテスト装置は、一般的に、サーバ103に搭載されてもよい。
【0032】
例えば、サーバ103は、複数の自動運転車両101があるテスト場所に関するフルテスト手順で生成したテストデータを取得することができる。テストデータに基づいて、所定の評価モデルに対してフィッティング処理を行い、最適化評価モデルを取得し、この最適化評価モデルは、当該テスト場所に関する毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するために使用され得る。
【0033】
自動運転車両の道路テスト段階で、今回のテストをいつ終了するかを判断することは困難であることが理解され得る。規則的に記述できないネットワーク内で大規模な自動運転システムをテストする場合、全ての問題を発見するには巨大な費用がかかる。問題監視比率がテスト距離に大きく比例しない場合、テストを継続すると、テスト効率が低下し、人的資源と物的資源が無駄になる。
【0034】
これに鑑み、本開示の実施例で得られる最適化評価モデルは、相関テスト場所の毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するために使用することができ、これによって、道路測定の有効性を定量的に評価することができる。したがって、本開示の実施例の最適化評価モデルに基づいて適切なテスト距離を特定することができ、このテスト距離を完成した後で今回のテストを終了することができ、すなわち、テストの十分性を保証し、テスト効率を向上させ、テストコストを節約することができる。
【0035】
図1における自動運転車両およびサーバの数は、例示的なものに過ぎない。実際の必要に応じて、任意の数の自動運転車両およびサーバを有し得る。
【0036】
図2は、本開示の実施例による自動運転車両のテスト方法のフローチャートを模式的に示している。
【0037】
図2に示すように、当該方法は、操作S201~S203を含む。
【0038】
操作S201では、テスト場所に関するテスト手順で生成されたテストデータを取得し、テストデータは、テスト手順で監視された現在累積問題数と車両の現在走行距離との間の対応関係とを含む。
【0039】
本開示の実施例によれば、テスト場所に関するテスト手順は、例えば、当該テスト場所に関するフルテスト手順であってもよい。例えば、当該テスト場所に関するテスト距離が第1の閾値よりも大きい、および/または、監視された問題数が第2の閾値よりも大きい、テスト手順で生成されたテストデータを取得することができ、これにより、当該テスト場所に関する十分なテスト手順で生成されたより完全なデータを取得することができる。
【0040】
本開示の実施例によれば、テスト手順において、生成されたテストデータは、後に処理されるように記録されてもよい。
【0041】
例えば、テスト手順において、各テスト車両は、自身に問題が発生したか否かを監視し、問題が発生した場合、当該問題に関する問題記録を生成することができる。例えば、自動運転車両に不当な運転行為が発生したか否かを監視し、不当な運転行為が発生した場合に、当該不当な運転行為に関する問題記録を生成することができる。
【0042】
本開示の実施例では、問題記録は、少なくとも1つの問題記述を含んでもよく、少なくとも1つの問題記述の各々は、少なくとも1つの記述タグを含んでもよい。例えば、問題記録は、問題発生時の静的場面記述、動的相互作用記述、動的相互作用行為記述および不当な運転行為記述のうちの少なくとも1つの問題記述を含んでもよい。その中、静的場面記述は、交差点左折、交差点右折、交差点直進、交差点反転、非交差点走行、ラウンドアバウト、高架、分岐路、合流領域、幹線道路および補助道路、ランプおよび一時道路工事のうちの少なくとも1つの記述タグを含んでもよい。動的相互作用記述は、なし、車両、歩行者、非自動車および他の障害物のうちの少なくとも1つの記述タグを含んでもよい。動的相互作用行為記述は、なし、並列、追従、車線変更、車両超え、サイド駐車および起動のうちの少なくとも1つの記述タグを含んでもよい。不当な行為記述は、不当なブレーキ、理由なしのブレーキ、不当な加速、速すぎ、遅すぎ、左右スイング、横方向オフセット、位置ドリフト、横方向近過ぎ、位置決めエラー、識別エラー、交通規制違反、冗余行為およびタイミング違いのうちの少なくとも1つの記述タグを含んでもよい。
【0043】
本開示の実施例は、問題記録に含まれる必要がある問題記述を規範するとともに、問題記述ごとに記述タグを予め設定することで、生成された問題記録に規範の内容を有させ、問題記録によって各問題間が同じであるか否かを特定することができる。例えば、監視された問題1の問題記録は、{交差点左折、車両、並列、横方向近過ぎ}であってもよく、問題2の問題記録は、{交差点左折、車両、追従、冗余行為}であってもよく、問題3の問題記録は、{交差点左折、車両、並列、横方向近過ぎ}であってもよく、問題3と問題1とは、同じ問題であり、問題2と問題1とは、異なる問題である。
【0044】
本開示の実施例では、テスト手順で新たな問題が監視されたことに応答して、監視された問題に当該新たな問題と同じ問題記録を有する他の問題が既に存在しているか否かを特定し、存在していなければ、当該新たな問題の問題記録を記録し、現在累積問題数を更新し、現在累積問題数と現在走行距離との間の対応関係を記録する。
【0045】
例えば、自動運転車両で発生した問題が監視されたことに応答して、当該問題の問題記録を生成することができる。それから、問題記録に基づいて、この前に監視された問題に、当該問題と同じ問題が存在するか否かを判断し、存在していれば、当該問題が発見されたことを示し、この場合、当該問題を記録および処理しなくてもよく、存在していなければ、問題が発見されなかった新たな問題であることを示し、この場合、当該新たな問題の問題記録を記録し、現在累積問題数を更新することができる。
【0046】
本開示の一実施例では、現在累積問題数の更新に応答して、更新後の現在累積問題数と現在走行距離を取得し、更新後の現在累積問題数と現在走行距離との間の対応関係を記録することができる。
【0047】
例えば、今回のテスト手順における第1の時間で、問題1が監視されている場合、問題1の問題記録を記録し、現在累積問題数を1に更新することができる。第1の時間に対応する現在走行距離S1を取得し、現在累積問題数1と現在走行距離S1との間の対応関係を記録する。第1の時間後の第2の時間で、問題2が監視されている場合、問題1および問題2の問題記録により、問題2が問題1と同じ問題であるか否かを特定することができ、同じである場合、処理しなく、異なる場合、問題2の問題記録を記録し、現在累積問題数を2に更新することができる。第2の時間に対応する現在走行距離S2を取得し、現在累積問題数2と現在走行距離S2との間の対応関係を記録する。第2の時間後の第3の時間で、問題3が監視されている場合、問題1、問題2および問題3の問題記録により、問題3が問題1または問題2と同じであるか否かを特定することができ、同じである場合、処理しなく、異なる場合、問題3の問題記録を記録し、現在累積問題数を3に更新することができる。第3の時間に対応する現在走行距離S3を取得し、現在累積問題数3と現在走行距離S3との間の対応関係を記録し、このように進行する。複数のテスト車両が今回のテスト手順に参加する場合、現在問題累積数は、テストに参加する全てのテスト車両が監視した異なる問題の累積数であり、現在走行距離は、テストに参加した全てのテスト車両が走行した距離の和であることに理解される。
【0048】
本開示の別の実施例では、さらに、現在累積問題数と現在走行距離とを周期的に取得し、現在累積問題数と現在走行距離との間の対応関係を記録することもできる。
【0049】
例えば、周期は1日であってもよく、第1日のテストを完成した後、各テスト車両が第1日に監視したすべての問題の問題記録と、各テスト車両が当日走行した距離との和S1を取得してもよい。問題記録に基づいて、異なる問題の数を現在累積問題数X1として特定し、X1とS1との間の対応関係を記録する。第2日のテストを完成した後、各テスト車両が第2日に監視したすべての問題の問題記録と、各テスト車両が当日走行した距離との和S2を取得してもよい。問題記録に基づいて、第1日および第2日に監視されたすべての問題のうち異なる問題の数を現在累積問題数X2として特定し、X2と(S1+S2)との間の対応関係を記録する。
【0050】
本開示は、現在累積問題数と現在走行距離との間の対応関係の記録方式を限定するものではなく、当業者が実際の状況に応じて設定することができることが理解される。例えば、本開示の先の実施例の方法は、より高い粒度を有し、より多くのデータを取得し、フィッティングの正確性を向上させることができ、本開示の後の実施例の方法は、より低い粒度を有し、算出リソースを節約し、算出効率を向上させることができる。
【0051】
本開示の実施例によれば、サーバは、毎日のテストが終了した後、各テスト車両が記録した問題記録と当日走行距離を取得して、現在累積問題数と現在走行距離との間の対応関係を特定してもよい。または、サーバは、あるテスト車両が自身に問題が発生したことを監視したことに応答して、当該問題の問題記録およびすべての車両の現在走行距離を取得して、現在累積問題と現在走行距離との間の対応関係を特定してもよい。本開示はこれを限定せず、当業者が実際の状況に応じて設定することができ、本開示は、モデルをフィッティングするように、取得したテストデータに複数の現在累積問題数と現在走行距離との間の対応関係が含まればよい。
【0052】
操作S202では、テストデータに基づいて、問題監視比率と現在走行距離との間の対応関係を特定し、その中、問題監視比率は、監視された現在累積問題数とテスト手順で監視された問題総数との間の比率を含む。
【0053】
本開示の実施例によれば、テスト手順で監視されたすべての異なる問題の総数X、および、各現在累積問題数Xiと現在走行距離Siとの間の対応関係を取得することができる。これにより、問題総数Xおよび各現在累積問題数Xiと現在走行距離Siとの間の対応関係に基づいて、問題監視比率と現在走行距離との間の対応関係を特定することができる。例えば、表1に示すように、Xは、今回のテスト手順で監視された問題総数であり、Sは、今回のテスト手順における総走行距離である。
【0054】
【0055】
操作S203では、問題監視比率と現在走行距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、最適化評価モデルを取得し、最適化評価モデルは、当該テスト場所に関する毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するためのものである。
【0056】
本開示の実施例によれば、所定の評価モデルは、指数モデルを含む。例えば、所定の評価モデルは、以下のように表すことができる:
y=1-nx
yは、問題監視比率を表し、xは、テスト距離を表し、nは、所定のモデルのパラメータである。
【0057】
本開示の実施例では、上記のステップを用いて、各問題監視比率と現在走行距離との間の対応関係を取得し、この所定の評価モデルをフィッティングし、当該テスト場所に属するモデルパラメータnの値を取得することにより、当該テスト場所に関する最適化評価モデルを取得することができる。
【0058】
本開示の実施例によれば、異なる場所のテスト手順で生成されたテストデータに基づいてフィッティングされる所定の評価モデルにおけるパラメータnは異なる。すなわち、本開示の実施例で得られた最適化評価モデルは、対応するテスト場所の毎回のテスト手順における問題監視比率とテスト距離との間の対応関係を評価するために使用することができる。
【0059】
例えば、
図3は、本開示の実施例による評価モデルの模式図を模式的に示している。
図3に示すように、フィッティングにより得られた評価モデルの横座標xは、テスト距離を表し、縦座標yは、問題監視比
率を表す。
【0060】
本開示の実施例では、当該テスト場所に関するその後の繰り返しのデバッグおよびテスト手順において、フィッティングされた評価モデルを使用して、テストが必要な距離を特定することができ、走行距離がこの距離に達した後に、今回のテストを完了することができる。
【0061】
例えば、予期問題監視比率について、最適化評価モデルを用いてテスト待ちのテスト距離を特定し、テスト待ちのテスト距離に基づいて自動運転車両のテストを実行することができる。
【0062】
例えば、
図3に示すようなモデルでは、xの増加につれて曲線の傾きが低くなる。すなわち、後のテスト手順では、問題を発見するのに長いテスト距離を走行する必要があり、テスト効率が著しく低下する。
【0063】
したがって、本開示の実施例では、比較的に適切な問題監視比率(例えば、80%)を選択し、フィッティングされた評価モデルに基づいて、80%の問題を発見するのに必要なテスト距離を予測することができ、これにより、次回のテスト手順において、このテスト距離に基づいて、いつ今回のテストを終了するかを特定することができる。
【0064】
本開示の実施例は、あるテスト場所に関する歴史テストデータで評価モデルをフィッティングすることにより、当該テスト場所に関する最適化評価モデルを取得することができ、当該評価モデルは、当該テスト場所を定量的に評価することができ、テスト距離(すなわち、テスト量)と問題監視比率(すなわち、テスト十分性)との間の関係を正確に評価し、テスト効率を向上させ、テストコストを低下することができる。
【0065】
本開示の実施例は、各問題の問題記録を標準化的に記録することで、問題記録により、新たに発見された問題が前に発見されたか否かを特定することができ、効率を向上させ、通信コストを低下することができる。
【0066】
図4は、本開示の実施例による自動運転車両のテスト装置400のブロック図を模式的に示している。
【0067】
図4に示すように、装置400は、取得モジュール410と、第1の特定モジュール420と、フィッティング処理モジュール430とを含む。
【0068】
取得モジュール410は、テスト場所に関するテスト手順で生成されたテストデータを取得するためのものであり、テストデータは、テスト手順で監視された現在累積問題数と前記車両の現在走行距離との間の対応関係を含む。本開示の実施例によれば、取得モジュール410は、例えば、
図2を参照して説明した操作S201を実行してもよく、ここでは、説明を省略する。
【0069】
第1の特定モジュール420は、テストデータに基づいて、問題監視比
率と、現在走行距離との間の対応関係を特定するためのものであり、問題監視比
率は、監視された現在累積問題数とテスト手順で監視された問題総数との間の比
率を含む。本開示の実施例によれば、第1の特定モジュール420は、例えば、
図2を参照して説明した操作S202を実行してもよく、ここでは、説明を省略する。
【0070】
フィッティング処理モジュール430は、問題監視比
率とテスト距離との間の対応関係に基づいて、所定の評価モデルに対してフィッティング処理を行い、最適化評価モデルを取得するためのものであり、最適化評価モデルは、テスト場所に関する毎回のテスト手順における問題監視比
率とテスト距離との間の対応関係を評価するためのものである。本開示の実施例によれば、フィッティング処理モジュール430は、例えば、
図2を参照して説明した操作S203を実行してもよく、ここでは、説明を省略する。
【0071】
本開示の実施例によれば、装置400は、第2の特定モジュールとテスト実行モジュール(図示せず)をさらに含んでもよい。その中、第2の特定モジュールは、予期問題監視比率について、最適化評価モデルを用いてテスト待ちのテスト距離を特定するためのものである。テスト実行モジュールは、テスト待ちのテスト距離に基づいて自動運転車両のテストを実行するためのものである。
【0072】
本開示の実施例によれば、テストデータは、テスト手順で監視された問題の問題記録をさらに含み、問題記録は、少なくとも1つの問題記述を含み、少なくとも1つの問題記述の各々は、少なくとも1つの記述タグを含む。
【0073】
本開示の実施例によれば、装置400は、テスト場所に関するテスト手順で生成されたテストデータを記録するための記録モジュール(図示せず)をさらに含む。テスト場所に関するテスト手順で生成されたテストデータを記録することは、テスト手順で新たな問題が監視されたことに応答して、監視された問題に前記新たな問題と同じ問題記録を有する他の問題が既に存在しているか否かを特定し、存在していなければ、新たな問題の問題記録を記録し、現在累積問題数を更新し、現在累積問題数と現在走行距離との間の対応関係を記録することを含む。
【0074】
本開示の実施例によれば、現在累積問題数と現在走行距離との間の対応関係を記録することは、現在累積問題数の更新に応答して、更新後の現在累積問題数と現在走行距離を取得し、更新後の現在累積問題数と現在走行距離との間の対応関係を記録し、あるいは、現在累積問題数と現在走行距離とを周期的に取得し、現在累積問題数と現在走行距離との間の対応関係を記録することを含む。
【0075】
本開示の実施例によれば、所定の評価モデルは、指数モデルを含む。
【0076】
本開示の実施例によれば、所定の評価モデルは、以下のように表される:
y=1-nx
ただし、yは、問題監視比率を表し、xは、現在走行距離を表し、nは、所定のモデルのパラメータである。
【0077】
本開示の実施例によれば、問題記録は、静的場面記述、動的相互作用記述、動的相互作用行為記述および不当な行為記述のうちの少なくとも1つの問題記述を含む。
【0078】
本開示の実施例によれば、静的場面記述は、交差点左折、交差点右折、交差点直進、交差点反転、非交差点走行、ラウンドアバウト、高架、分岐路、合流領域、幹線道路および補助道路、ランプおよび一時道路工事のうちの少なくとも1つの記述タグを含む。動的相互作用記述は、なし、車両、歩行者、非自動車および他の障害物のうちの少なくとも1つの記述タグを含む。動的相互作用行為記述は、なし、並列、追従、車線変更、車両超え、サイド駐車および起動のうちの少なくとも1つの記述タグを含む。不当な行為記述は、不当なブレーキ、理由なしのブレーキ、不当な加速、速すぎ、遅すぎ、左右スイング、横方向オフセット、位置ドリフト、横方向近過ぎ、位置決めエラー、識別エラー、交通規制違反、冗余行為およびタイミング違いのうちの少なくとも1つの記述タグを含む。
【0079】
本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか1つ以上、またはこれらのうちのいずれか1つ以上の少なくとも一部の機能は、1つのモジュールにより実現されることができる。本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか1つまたは複数は、複数のモジュールに分割されて実現してもよい。本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちのいずれか1つまたは複数は、少なくとも部分的に、例えばFPGA(Filed Programmable Gate Array)、PLA(Programmable Logic Array)、SOC(System On Chip)、SOS(System On Substrate)、SOP(System On Package)、ASIC(Application Specific Integrated Circuit)等のハードウェア回路として実現されてもよく、または、回路を集積またはパッケージ化する他の合理的な任意の方式のハードウェアもしくはファームウェアによって実現されてもよく、または、ソフトウェア、ハードウェア、及びファームウェアの3つの実現方式のうちの任意の1つもしくは複数の組み合わせによって実現されてもよい。あるいは、本開示の実施例によるモジュール、サブモジュール、ユニット、サブユニットのうちの1つ以上は、少なくとも部分的に、実行されたときに対応する機能を実行可能なコンピュータプログラムモジュールとして実現されてもよい。
【0080】
例えば、取得モジュール410、第1の特定モジュール420、およびフィッティング処理モジュール430のうちの任意の複数は、1つのモジュールに合併して実現されてもよく、または、そのうちの任意の1つのモジュールは、複数のモジュールに分割されてもよい。または、これらモジュールのうちの1つまたは複数のモジュールの機能の少なくとも一部は、他のモジュールの機能の少なくとも一部と組み合わされて、1つのモジュールで実現されてもよい。本開示の実施例によれば、取得モジュール410、第1の特定モジュール420およびフィッティング処理モジュール430のうちの少なくとも1つは、少なくとも部分的に、例えばフィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理アレイ(PLA)、システムオンチップ、基板上のシステム、パッケージ上のシステム、専用集積回路(ASIC)等のハードウェア回路として実現されてもよく、または、回路を集積またはパッケージ化する他の合理的な任意の方式のハードウェアもしくはファームウェアによって実現されてもよく、または、ソフトウェア、ハードウェア、及びファームウェアの3つの実現方式のうちの任意の1つもしくは複数の組み合わせによって実現されてもよい。あるいは、取得モジュール410、第1の特定モジュール420およびフィッティング処理モジュール430のうちの少なくとも1つは、少なくとも部分的に、実行されたときに対応する機能を実行可能なコンピュータプログラムモジュールとして実現されてもよい。
【0081】
図5は、本開示の実施例による、上記方法を実現するのに適した電子デバイスのブロック図を模式的に示している。
図5に示す電子デバイスは、単なる示例であり、本開示の実施例の機能および使用範囲を制限しない。
【0082】
図5に示すように、本開示の実施例による電子デバイス500は、プロセッサ501を含み、ROM(Read Only Memory)502に記憶されているプログラム、または、記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる。プロセッサ501は、例えば、汎用マイクロプロセッサ(例えば、CPU)、命令セットプロセッサ、及び/または関連チップセット、及び/または特定用途向けマイクロプロセッサ(例えば、ASIC)等を含んでもよい。プロセッサ501は、キャッシュ用途のためのオンボードメモリも含んでもよい。プロセッサ501は、本開示の実施例による方法のフローの異なる動作を実行するための単一の処理ユニットまたは複数の処理ユニットを含んでもよい。
【0083】
RAM503には、電子デバイス500の操作に必要な各種のプログラムやデータが記憶されている。プロセッサ501、ROM502、RAM503は、バス504により互いに接続されている。プロセッサ501は、ROM502及び/またはRAM503内のプログラムを実行することにより、本開示の実施例による方法のフローの様々な操作を実行する。前記プログラムは、ROM502及びRAM503以外のメモリに記憶されていてもよい。プロセッサ501は、前記1つまたは複数のメモリに記憶されたプログラムを実行することによって、本開示の実施例による方法のフローの様々な操作を実行してもよい。
【0084】
本開示の実施例によれば、電子デバイス500は、入力/出力(I/O)インターフェース505を更に含んでもよい。入力/出力(I/O)インターフェース505もバス504に接続されている。電子デバイス500は、I/Oインターフェース505に接続された、キーボード、マウス等を含む入力部506、陰極線管(CRT)、液晶ディスプレイ(LCD)等とスピーカ等を含む出力部507、ハードディスク等を含む記憶部508、LANカード、モデム等のネットワークインターフェースカードを含む通信部509、のうちの1つまたは複数をさらに含んでもよい。通信部509は、インターネット等のネットワークによって通信処理を行う。ドライバ510も、必要に応じて、I/Oインターフェース505に接続される。リムーバブルメディア511は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等であり、必要に応じてドライバ510に装着されて、それから読み出されたコンピュータプログラムが必要に応じて記憶部508にインストールされるようにする。
【0085】
本開示の実施例によれば、本開示の実施例による方法のフローは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ読み取り可能な記憶媒体にインストールされたコンピュータプログラムを含むコンピュータプログラム製品を含み、このコンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含む。このような実施例で、このコンピュータプログラムは、通信部509によってネットワークからダウンロードしてインストールされてもよいし、リムーバブルメディア511からインストールされてもよい。このコンピュータプログラムがプロセッサ501によって実行されると、本開示の実施例のシステムにおいて限定した上記機能が実行される。本開示の実施例によれば、前述したシステム、デバイス、装置、モジュール、ユニット等は、コンピュータプログラムモジュールにより実現することができる。
【0086】
本開示は、さらに、コンピュータ読み取り可能な記憶媒体を提供しており、当該コンピュータ読み取り可能な記憶媒体は、上記実施例に記載のデバイス/装置/システムに含まれてもよく、デバイス/装置/システムに組み込まれずに単独で存在してもよい。上記コンピュータ読み取り可能な記憶媒体には、一つまたは複数のプログラムが記録されており、上記一つまたは複数のプログラムが実行されると、本開示の実施例による方法を実現する。
【0087】
本開示の実施例によれば、コンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよく、例えば、携帯型コンピュータディスク、ハードディスク、RAM、ROM、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、携帯型コンパクトディスクROM(CD-ROM )、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体は、プログラムを含むまたは記憶する、任意の有形媒体であってもよく、このプログラムは、命令実行システム、装置またはデバイスによってまたはそれらと関連して使用される。例えば、本開示の実施例によれば、コンピュータ読み取り可能な記憶媒体は、前述したROM502及び/またはRAM503、並びに/或いはROM502及びRAM503以外の1つまたは複数のメモリを含んでもよい。
【0088】
図面におけるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の実現可能な構造、機能及び操作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、モジュール、セグメント、またはコードの一部を表すことができ、モジュール、セグメント、またはコードの一部は、特定な論理機能を実現するための1つまたは複数の実行可能命令を含む。これに代えて、別の実現では、ブロックに表記された機能は、図面に示す順序とは異なる順序で生じ得ることにも留意すべきである。例えば、連続して示される2つのブロックは、実際には、機能に応じて、実質的に並列に実行されてもよく、逆順に実行されてもよい。ブロック図またはフローチャートの各ブロック、及びブロック図またはフローチャートのブロックの組合せは、特定な機能または操作を実行する専用ハードウェアベースのシステムで実現されてもよく、または専用ハードウェアとコンピュータ命令との組合せにより実現されてもよいことにも留意すべきである。
【0089】
当業者は、本開示に明示的に記載されていなくても、本開示の様々な実施例及び/または特許請求の範囲に記載された特徴について様々な組合せまたは結合で実施してもよいことを理解するだろう。特に、本開示の様々な実施例及び/または特許請求の範囲に記載された特徴は、本開示の精神及び教示から逸脱することなく、様々な組合せ及び/または結合を行うことができる。これらの組合せ及び/または結合はいずれも本開示の範囲に含まれる。
【0090】
以上、本開示の実施例を説明した。しかしながら、これらの実施例は、説明のためのものであり、本開示の範囲を限定するものではない。以上、各実施例を個別に説明したが、各実施例における各手段を適宜組み合わせて用いることができないことを意味するわけではない。本開示の範囲は、添付の特許請求の範囲及びその均等物によって限定される。当業者は、本開示の範囲から逸脱することなく、様々な変更及び修正を行うことができ、これらの変更及び修正も本開示の範囲に属する。