IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーメンス インダストリー ソフトウェア エヌ・フェーの特許一覧

特許7542726車両の確認および検証のためのクリティカルシナリオの識別
<>
  • 特許-車両の確認および検証のためのクリティカルシナリオの識別 図1A
  • 特許-車両の確認および検証のためのクリティカルシナリオの識別 図1B
  • 特許-車両の確認および検証のためのクリティカルシナリオの識別 図2
  • 特許-車両の確認および検証のためのクリティカルシナリオの識別 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-22
(45)【発行日】2024-08-30
(54)【発明の名称】車両の確認および検証のためのクリティカルシナリオの識別
(51)【国際特許分類】
   B60W 30/095 20120101AFI20240823BHJP
   G08G 1/00 20060101ALI20240823BHJP
   G16Y 10/40 20200101ALI20240823BHJP
   G16Y 20/20 20200101ALI20240823BHJP
   G16Y 40/10 20200101ALI20240823BHJP
【FI】
B60W30/095
G08G1/00 D
G16Y10/40
G16Y20/20
G16Y40/10
【請求項の数】 10
(21)【出願番号】P 2023513761
(86)(22)【出願日】2020-08-28
(65)【公表番号】
(43)【公表日】2023-09-15
(86)【国際出願番号】 EP2020074101
(87)【国際公開番号】W WO2022042853
(87)【国際公開日】2022-03-03
【審査請求日】2023-04-14
(73)【特許権者】
【識別番号】519279535
【氏名又は名称】ジーメンス インダストリー ソフトウェア エヌ・フェー
【氏名又は名称原語表記】Siemens Industry Software NV
【住所又は居所原語表記】Interleuvenlaan 68, 3001 Leuven, Belgium
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】サーダナ ビー ヴェンカタラーマン
(72)【発明者】
【氏名】ヴィジャヤ サラティー インドラ
(72)【発明者】
【氏名】ボニー マシュー
(72)【発明者】
【氏名】サイカット ムカジー
(72)【発明者】
【氏名】ラム パディ
(72)【発明者】
【氏名】サーガル パスルードカル
(72)【発明者】
【氏名】ブリスティ シン
【審査官】鶴江 陽介
(56)【参考文献】
【文献】英国特許出願公開第2560096(GB,A)
【文献】特開2019-182399(JP,A)
【文献】特開2020-15493(JP,A)
【文献】特開2020-123351(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 30/00-60/00
G08G 1/00-1/16
G16Y 10/40
G16Y 20/20
G16Y 40/10
(57)【特許請求の範囲】
【請求項1】
発生しうる様々な交通シナリオをシミュレートし、自律運転車両をこれらの交通シナリオにさらし、該自律運転車両が行う運転決定に関連する信頼度レベルを評価する、交通シナリオベースの検証における前記自律運転車両の安全性の評価のために、1つもしくは複数の車両(101)の複数のセンサ(101A~101N)によって記録された車両データから1つもしくは複数のクリティカルシナリオを識別するためのシナリオ識別システム(100)であって、
a)前記シナリオ識別システム(100)のモジュール(100A~100E)によって定義されたコンピュータプログラム命令を記憶するように構成された非一時的なコンピュータ可読記憶媒体と、
b)前記非一時的なコンピュータ可読記憶媒体に通信可能に接続されており、前記定義されたコンピュータプログラム命令を実行するように構成された少なくとも1つのプロセッサと、
を含み、前記モジュール(100A~100E)は、
c)データ処理モジュール(100B)であって、
c1)前記車両データから、少なくとも慣性計測ユニット(IMU)データを含む予め定められたタイプのデータを取得し、該慣性計測ユニット(IMU)データは、前記慣性計測ユニット(IMU)データが記録された時間インスタンスのタイムスタンプ、該時間インスタンスでの角速度、および該時間インスタンスでの線形加速度を含む、構造化されたフォーマットで利用可能な、純粋かつ検索可能なテキストデータであり、
c2)前記予め定められたタイプのデータから1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを導出する
ように構成されたデータ処理モジュール(100B)と、
d)潜在的に車両の事故または物理的損傷につながるおそれのある、車両に関連した望ましくないイベントである、1つもしくは複数のクリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいて、前記1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを分析するように構成されたデータ分析モジュール(100C)と、
e)シナリオ管理モジュール(100D)であって、
e1)前記予め定められた閾値を超える前記慣性計測ユニット(IMU)ベースの運転パラメータに対応する前記車両データを使用して、1つもしくは複数の交通シナリオを生成し、
e2)前記1つもしくは複数の交通シナリオをクリティカリティに関して検証する
ように構成されたシナリオ管理モジュール(100D)と、を含む、
シナリオ識別システム(100)。
【請求項2】
前記モジュール(100A~100E)更に、前記1つもしくは複数の車両(101)と動作可能に通信するように構成されたデータ受信モジュール(100A)を含む、請求項1記載のシナリオ識別システム(100)。
【請求項3】
前記慣性計測ユニット(IMU)ベースの運転パラメータは、車両(101)の加速度、該車両(101)の速度および該車両(101)のトラジェクトリのうちの1つもしくは複数を含む、請求項1記載のシナリオ識別システム(100)。
【請求項4】
前記シナリオ識別システム(100)は更に、前記車両データ、前記慣性計測ユニット(IMU)データ、前記慣性計測ユニット(IMU)ベースの運転パラメータ、前記慣性計測ユニット(IMU)ベースの運転パラメータのそれぞれに対応する前記予め定められた閾値、および前記交通シナリオ、のうちの1つもしくは複数を記憶するシナリオ管理データベース(100F)を含む、請求項1からまでのいずれか1項記載のシナリオ識別システム(100)。
【請求項5】
発生しうる様々な交通シナリオをシミュレートし、自律運転車両をこれらの交通シナリオにさらし、該自律運転車両が行う運転決定に関連する信頼度レベルを評価する、交通シナリオベースの検証における前記自律運転車両の安全性の評価のために、1つもしくは複数の車両(101)の複数のセンサ(101A~101N)によって記録された車両データから1つもしくは複数のクリティカルシナリオを識別するためのコンピュータ実装方法(300)であって、
-前記車両データから、少なくとも慣性計測ユニット(IMU)データを含む予め定められたタイプのデータを取得すること(302)、かつ該慣性計測ユニット(IMU)データが、前記慣性計測ユニット(IMU)データが記録された時間インスタンスのタイムスタンプ、該時間インスタンスでの角速度、および該時間インスタンスでの線形加速度を含む、構造化されたフォーマットで利用可能な、純粋かつ検索可能なテキストデータであることと、
-前記予め定められたタイプのデータから1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを導出すること(303)と、
潜在的に車両の事故または物理的損傷につながるおそれのある、車両に関連した望ましくないイベントである、前記1つもしくは複数のクリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいて、前記1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを分析するステップ(304)と、
-シナリオ識別システム(100)のシナリオ管理モジュール(100D)により、前記予め定められた閾値を超える前記慣性計測ユニット(IMU)ベースの運転パラメータに対応する前記車両データを使用して、1つもしくは複数の交通シナリオを生成すること(305A)と、
-前記シナリオ管理モジュール(100D)により、前記1つもしくは複数の交通シナリオをクリティカリティに関して検証すること(305B)と、
を含む、
コンピュータ実装方法(300)。
【請求項6】
前記車両データは、前記1つもしくは複数の車両(101)に搭載された1つもしくは複数のセンサ(101A~101N)によって記録されたデータを含む、請求項記載のコンピュータ実装方法(300)。
【請求項7】
前記慣性計測ユニット(IMU)ベースの運転パラメータは、車両(101)の加速度、該車両(101)の速度および該車両(101)のトラジェクトリのうちの1つもしくは複数を含む、請求項記載のコンピュータ実装方法(300)。
【請求項8】
前記車両データから前記予め定められたタイプのデータを取得することが、
-前記車両データから前記慣性計測ユニット(IMU)データを選択することと、
-前記車両データに基づいて前記慣性計測ユニット(IMU)データを計算することと
のうちの1つを実行することを含む、
請求項記載のコンピュータ実装方法(300)。
【請求項9】
発生しうる様々な交通シナリオをシミュレートし、自律運転車両をこれらの交通シナリオにさらし、該自律運転車両が行う運転決定に関連する信頼度レベルを評価する、交通シナリオベースの検証における前記自律運転車両の安全性の評価のために、1つもしくは複数の車両(101)の複数のセンサ(101A~101N)によって記録された車両データから1つもしくは複数のクリティカルシナリオを識別するための、非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記非一時的なコンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって実行可能な命令を含むコンピュータプログラムコードを記憶しており、
前記コンピュータプログラムコードが、
-車両データから、少なくとも慣性計測ユニット(IMU)データを含む予め定められたタイプのデータを取得するための第1のコンピュータプログラムコードと、
-前記予め定められたタイプのデータから1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを導出するための第2のコンピュータプログラムコードと、
潜在的に車両の事故または物理的損傷につながるおそれのある、車両に関連した望ましくないイベントである、1つもしくは複数のクリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいて、前記1つもしくは複数の慣性計測ユニット(IMU)ベースの運転パラメータを分析するための第3のコンピュータプログラムコードと、
-前記予め定められた閾値を超える前記慣性計測ユニット(IMU)ベースの運転パラメータに対応する車両データを使用して1つもしくは複数の交通シナリオを生成するための第4のコンピュータプログラムコードと、
-前記1つもしくは複数の交通シナリオをクリティカリティに関して検証するための第5のコンピュータプログラムコードと、
を含み、
前記慣性計測ユニット(IMU)データは、前記慣性計測ユニット(IMU)データが記録された時間インスタンスのタイムスタンプ、該時間インスタンスでの角速度、および該時間インスタンスでの線形加速度を含む、構造化されたフォーマットで利用可能な、純粋かつ検索可能なテキストデータである
コンピュータプログラム製品。
【請求項10】
交通モデリング装置(103)であって、1つもしくは複数の車両(101)に関連する慣性計測ユニット(IMU)データに少なくとも基づいてクリティカルシナリオを識別するための、請求項5から8までのいずれか1項記載のコンピュータ実装方法(300)を適用したシミュレーションソフトウェアを有するコンピュータを含む、交通モデリング装置(103)。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本開示の様々な実施形態は、自律運転車両および半自律運転車両の安全性を向上させるためのシステムおよびコンピュータ実装方法の提供、特にこれらと関連するクリティカルシナリオの識別に関する。
【0002】
背景
自律運転車両(AV)の安全性の評価に使用されている従来の産業上のアプローチには、充分な統計データの開発のためにAVが長距離にわたって運転される仮想世界をシミュレータがシミュレートするマイルドリブンシミュレーションのアプローチと、AVによって行われようとしている決定が事故を引き起こしかねない危険なものであることに起因してAVの動作への人間の介入が考慮される解除のアプローチと、シナリオベースのテストおよびプロプライエタリのアプローチとが含まれる。シナリオベースの確認では、発生しうる様々な運転シナリオがシミュレートされ、AVがこれらのシナリオにさらされて、このAVが行う運転決定に関連する信頼度レベルが評価される。シナリオベースのアプローチに伴う課題はリアルタイム車両データとシミュレートされた車両データとを含むデータの量であり、シミュレートされた車両データは、重要度の高いシナリオを構築するためにプルーニングされなければならない。
【0003】
大量のリアルタイム車両データおよびシミュレートされた車両データからコーナーケースまたはエッジケースのようなクリティカルシナリオを識別することは手間のかかるプロセスである。データは、ロー入力、および複数のセンサ、例えばカメラ、LiDAR、RADAR、IMU、GPSセンサなどの処理データから成っている可能性がある。また、データは、数時間から数日の範囲で存在しうる。したがって、処理すべきデータの量は膨大となる。大量の車両データからクリティカルシナリオを識別するプロセスは、従来、データセット全体を検索し、安全基準に違反しているシナリオを見つけ出すことによって解決されてきた。このような違反を定義する様々なクリティカリティのテスト方法が存在しており、例えば、Mobileye(登録商標) B.V.Corporation Netherlandsによって開発されたResponsiblity-Sensitive Safety(RSS)、Nvidia Corporation Delawareによって開発されたNvidia Safety Force Field(登録商標)(SFF)、および/または全てがクリティカルシナリオを識別するための安全基準を提供する、ループ内の最先端モデルまたはループテスト内の最先端ソフトウェアを含む典型的な大規模シナリオテストが存在する。しかし、前述したテスト方法では、違反を識別し、これによりこの違反を成立不能なかつ/または実行不可能な選択手段としてレンダリングするために、大量の車両データをプルーニングするブルートフォースアルゴリズムまたは線形検索アルゴリズムを使用する必要がある。
【0004】
概要
したがって、本開示の目的は、自律運転車両および/または半自律運転車両のナビゲーションの安全性および信頼性を保証するために、クリティカルシナリオを効率的にかつ効果的に識別するシステムおよびコンピュータ実装方法を提供することである。
【0005】
本明細書では、車両に関連する車両データからクリティカルシナリオを識別するためのシナリオ識別システムが開示される。本明細書で使用される「クリティカルシナリオ」とは、潜在的に車両の事故または物理的損傷につながるおそれのある、車両に関連した望ましくないイベントを指す。クリティカルシナリオには、例えば、車両どうしの衝突、対物衝突、車両および/または他物との潜在的な衝突、予期しない車両故障などが含まれる。
【0006】
車両とは、複数のセンサを搭載した自車両である少なくとも1つの自律運転車両を指す。センサは、例えば、高精度カメラ、レーザーレーダー(LiDARおよびLADAR)、ミリ波レーダー、位置決めセンサ、照明センサ、全地球測位システム(GPS)センサ、慣性計測ユニット(IMU)センサ、周囲状態監視センサなどを含んでいる。したがって、これらのセンサは、物理値、例えば電圧、電流、位置座標、粒子状物質濃度、風速、圧力、湿度などとして、かつ/またはカメラによって捕捉される静止画像および/または動画像などの媒体の形態で、データを捕捉することができる。また、車両とは、自車両の近傍にあって、1つのポイントまたは別のポイントにおいて自車両の運転に影響を及ぼしうる1つもしくは複数のターゲット車両を指すこともある。ターゲット車両は、上述した搭載されたセンサを有していることもあるし、または有していないこともある。
【0007】
本開示の一態様によれば、シナリオ識別システムは、クラウドコンピューティング環境において展開可能である。本明細書で使用される「クラウドコンピューティング環境」とは、コンフィギャラブルコンピューティングの物理リソースおよび論理リソース、例えばネットワーク、サーバ、ストレージ、アプリケーション、サービスなどを含む処理環境と、通信ネットワーク上、例えばインターネット上に分散されたデータとを指す。クラウドコンピューティング環境は、コンフィギャラブルコンピューティングの物理リソースおよび論理リソースの共有プールへのオンデマンドのネットワークアクセスを提供する。
【0008】
本開示の別の態様によれば、シナリオ識別システムは、自車両に搭載されたエッジデバイスとして展開可能である。
【0009】
本開示のさらに別の態様によれば、シナリオ識別システムは、クラウドベースのシステムとエッジデバイスとの組み合わせとして展開可能であり、シナリオ識別システムの幾つかのモジュールは自車両において、残りのモジュールはクラウドコンピューティング環境において、展開可能である。
【0010】
シナリオ識別システムは、シナリオ識別システムのモジュールによって定義されたコンピュータプログラム命令を記憶した非一時的なコンピュータ可読記憶媒体を含む。本明細書で使用される「非一時的なコンピュータ可読記憶媒体」とは、全てのコンピュータ可読媒体、例えば、光ディスクまたは磁気ディスクのような不揮発性媒体、レジスタメモリ、プロセッサキャッシュなどの揮発性媒体、ならびに一時的なものを除く、信号を伝播させるプロセッサに結合されたシステムバスを構成するワイヤなどの伝送媒体を指す。
【0011】
シナリオ識別システムは、非一時的なコンピュータ可読記憶媒体に通信可能に接続された少なくとも1つのプロセッサを含んでいる。プロセッサは、コンピュータプログラム命令を実行する。本明細書では、「プロセッサ」なる用語は、コンピュータプログラムもしくは一連のコマンド、命令もしくは状態遷移を実行することのできる、任意の1つもしくは複数のマイクロプロセッサ、マイクロコントローラ、中央処理装置(CPU)、有限状態機械、コンピュータ、マイクロコントローラ、デジタルシグナルプロセッサ、ロジック、論理回路、電子回路、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、チップなど、またはこれらの任意の組み合わせを指す。
【0012】
シナリオ識別システムは、データ受信モジュール、データ処理モジュール、データ分析モジュール、シナリオ管理モジュール、グラフィカルユーザインタフェース(GUI)、および/またはシナリオ管理データベースを含む。
【0013】
データ受信モジュールは、車両に関連する車両データを受信する。データ受信モジュールは、車両と、車両データを受信する1つもしくは複数の交通モデリング装置と動作可能に通信する。本明細書で使用される「車両データ」とは、自車両およびターゲット車両を含む車両に搭載されたセンサによって記録されたデータ、ならびに1つもしくは複数の他の道路利用者および/または自車両の近傍にある物、例えば歩行者によって記録されたデータを含む。車両データは、自車両の運転に影響を及ぼしうるデータを含む。有利には、車両データは、数時間にわたって存在することができ、例えば1日ごとのものであってよく、または行われる各トリップに対応するものであってもよい。一態様によれば、データ受信モジュールは、車両上にセンサと共に配置されているローカルストレージ、例えばデータベースまたはメモリモジュールから、車両データを受信する。また、本明細書で使用される「交通モデリング装置」とは、交通シミュレータエンジン、例えばSiemens Industry Software N.V. Corporation Belgiumによって開発された自動車産業に使用されるシミュレーションプラットフォームであるSimCenter(登録商標)PreScanを指す。
【0014】
データ処理モジュールは、車両データから予め定められたタイプのデータを取得する。予め定められたタイプのデータは少なくとも慣性計測ユニット(IMU)データを含む。自車両に関するIMUデータは、典型的には、自車両に搭載されたIMUセンサから直接に記録される。有利には、IMUデータは、例えば、データが記録された時間インスタンスのタイムスタンプ、当該時間インスタンスでの角速度、および当該時間インスタンスでの線形加速度を含む、構造化されたフォーマットで利用可能な純粋なテキストデータである。有利には、IMUデータは、角速度、特定の力、および車両に関連する磁界を含みうる。予め定められたタイプのデータは、IMUデータに加えて全地球測位システム(GPS)データを含むこともできる。例えば、特に自車両の線形速度を導出する必要がある場合、GPSデータが要求されるはずである。
【0015】
本開示の一態様によれば、データ処理モジュールは、センサ、例えば車両に搭載されているIMUセンサおよび/またはGPSセンサが存在する場合に、ターゲット車両についての予め定められたタイプのデータを上述したように取得する。
【0016】
本開示の別の態様によれば、データ処理モジュールは、車両に搭載されているセンサが存在せず、したがってIMUデータおよび/またはGPSデータが記録されない場合に、1つもしくは複数のマルチオブジェクトトラッキングアルゴリズムを使用することによって、ターゲット車両に関する予め定められたタイプのデータを取得する。有利には、マルチオブジェクトトラッキングアルゴリズムは、自車両から受信された車両データを使用し、センサフュージョンを実行して、各ターゲット車両の正確な位置を計算する。次いで、状態とも称されるこれらの位置が、対応する時間インスタンスでの自車両のGPSデータを使用してグローバルな座標系へと変換される。所定の期間にわたるターゲット車両の位置から、ターゲット車両の線形速度および加速度の情報が導出され、対応するタイムスタンプとマッピングされることにより、ターゲット車両に関するIMUデータが作成される。
【0017】
データ処理モジュールは、予め定められたタイプのデータから1つもしくは複数のIMUベースの運転パラメータを導出する。IMUベースの運転パラメータは、ユーザ定義がなされたものでありうる。IMUベースの運転パラメータには、例えば、車両の加速度、車両の速度、および車両のトラジェクトリ(trajectory)が含まれる。車両は、自車両および/またはターゲット車両である。本開示の一態様によれば、データ処理モジュールは、加速度値、速度値および/またはトラジェクトリ値を用いて、2次パラメータを導出する。例えば、自車両と1つもしくは複数のターゲット車両との衝突時点は、自車両とターゲット車両との間の相対速度から導出される2次パラメータである。有利には、データ処理モジュールは、当該IMUベースの運転パラメータおよび存在する場合にこの運転パラメータに関連する2次パラメータを導出した後、タイムスタンプを付した状態でシナリオ管理データベースに記憶する。当該データは、シナリオ識別システムによる学習および性能向上の目的で将来の使用が可能となる。
【0018】
データ分析モジュールは、クリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいて、IMUベースの運転パラメータを分析する。閾値は、IMUベースの運転パラメータのそれぞれに対応して定義されている。閾値は、ユーザ定義によるものであってもよいし、またはシナリオ管理データベースに記憶された履歴データに基づいてデータ分析モジュールによって定義されたものであってもよい。
【0019】
一例によれば、自車両の横方向加速度が2.5m/sec超でありかつ自車両の横方向減速度が2.9m/sec超である場合、この状況は「クリティカル」であると称される。ここで横方向加速度および横方向減速度に関して定められる閾値は、自車両の速度における急激な変化を表現している。ただし、こうした閾値が自車両の型式、製造年式、状態に基づいて大きく変化しうることは、当業者であれば理解できるであろう。同様に、所定の期間にわたる速度変化から導出された値である加速度に関しても、閾値を定めることができる。
【0020】
別の例によれば、中型サイズ乗用車などの自車両が高速道路上を80km/hの一定速度で移動していて、速度がわずか10秒の間に30km/hまで急激に低下した場合が考えられる。この場合の自車両の線形減速度は約5m/secとなり、これは2.9m/secという閾値を大幅に上回る。これは、実質的に自動車が急ブレーキをかけたことを意味し、したがって、ここでのシナリオは潜在的にクリティカルシナリオでありうる。
【0021】
さらに別の例によれば、自車両のトラジェクトリの急激な変化が、所定の期間にわたってGPSデータから取得されることがある。必要に応じて、カメラおよびLiDARなどの他のセンサによって記録された車両データを使用して、車線変更情報を取得することもできる。ここでのシナリオは、典型的には、自車両とターゲット車両との間の横方向距離の急激な変化を含むカットインまたはカットアウトである。横方向距離が0.5m未満である場合、当該シナリオを潜在的なクリティカルシナリオと称することができる。
【0022】
さらに別の例によれば、IMUベースの運転パラメータから導出される2次パラメータに対して閾値を定めることができる。自車両とターゲット車両との衝突までの時間が1.5sec以下である場合、当該シナリオを潜在的なクリティカルシナリオと称することができる。
【0023】
シナリオ管理モジュールは、予め定められた閾値を超える、IMUベースの運転パラメータおよび/または2次パラメータに対応する車両データを使用して、交通シナリオを生成する。シナリオ管理モジュールは、カメラ、LiDARなどのセンサの対応する時間インスタンスデータを使用して、データ分析モジュールにより、潜在的にクリティカルであると称される交通シナリオを生成する。シナリオ管理モジュールは、当該交通シナリオをクリティカリティに関して検証する。有利には、交通シナリオの生成および検証のために、交通モデリング装置、例えば、SimCenter(登録商標)PreScanを使用することができる。検証は、以下に限定されるものではないがResponsiblity-sensitive Safety(RSS)、Nvidia Safety Force Field(登録商標)(SFF)および/または典型的な大規模なシナリオテストを含む、1つもしくは複数のクリティカリティテスト規格に基づいて実行されうる。
【0024】
有利には、シナリオ管理データベースは、車両データ、IMUデータ、GPSデータ、IMUベースの運転パラメータ、IMUベースの運転パラメータから導出された2次パラメータ、IMUベースの運転パラメータおよび/または2次パラメータのそれぞれに対応する予め定められた閾値、および/または生成され検証された交通シナリオの記憶を可能にする。有利には、交通シナリオは、これに関連するクリティカリティ指数と共に記憶される。例えば、潜在的な衝突は、クリティカリティに関連する安全パラメータが考慮される場合、縁石に当たることと比較してより高いクリティカリティ指数を有しうる。別の例では、歩行者または他物の高度な検出のためのソフトウェア/ファームウェアの更新が自車両につき確認および検証される場合には、歩行者衝突が車両故障と比較してより高いクリティカリティ指数を有しうる。したがって、自車両で確認および検証を実施する際のコンテキストに基づいて、クリティカリティ指数が。
【0025】
また、本明細書では、1つもしくは複数の車両に関連する車両データから1つもしくは複数のクリティカルシナリオを識別するためのコンピュータ実装方法が開示される。有利には、コンピュータ実装方法は、当該方法を実行するためのコンピュータプログラム命令を実行するように構成された少なくとも1つのプロセッサを含む、上述したシナリオ識別システムを使用する。コンピュータ実装方法は、データ受信モジュールにより、1つもしくは複数の車両に関連する車両データを受信することと、データ処理モジュールにより、車両データから予め定められたタイプのデータを取得することであって、ここで、予め定められたタイプのデータは、少なくとも慣性計測ユニット(IMU)データを含む、ことと、データ処理モジュールにより、予め定められたタイプのデータから、少なくとも、車両の加速度、速度およびトラジェクトリを含む、1つもしくは複数のIMUベースの運転パラメータを導出することと、データ分析モジュールにより、クリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいてIMUベースの運転パラメータを分析することと、を含む。コンピュータ実装方法は、さらに、シナリオ管理モジュールにより、予め定められた閾値を超えるIMUベースの運転パラメータに対応する車両データを使用して1つもしくは複数の交通シナリオを生成することと、シナリオ管理モジュールにより、交通シナリオをクリティカリティに関して検証することとを含む。
【0026】
また、本明細書では、少なくとも1つのプロセッサによって実行可能な命令を含むコンピュータプログラムコードを記憶した非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品が開示され、当該コンピュータプログラム製品は、車両データから、少なくとも慣性計測ユニット(IMU)データを含む予め定められたタイプのデータを取得するための第1のコンピュータプログラムコードと、予め定められたタイプのデータから1つもしくは複数のIMUベースの運転パラメータを導出するための第2のコンピュータプログラムコードと、1つもしくは複数のクリティカルシナリオを識別するための1つもしくは複数の予め定められた閾値に基づいて1つもしくは複数のIMUベースの運転パラメータを分析するための第3のコンピュータプログラムコードと、を含む。コンピュータプログラムは、さらに、予め定められた閾値を超えるIMUベースの運転パラメータに対応する車両データを使用して1つもしくは複数の交通シナリオを生成するための第4のコンピュータプログラムコードと、1つもしくは複数の交通シナリオをクリティカリティに関して検証するための第5のコンピュータプログラムコードと、を含む。本開示の一態様によれば、コンピュータ実行可能命令を含むコンピュータプログラムコードの単一の部分により、本明細書に開示するクリティカルシナリオを識別するためのコンピュータ実装方法の1つもしくは複数のステップが実行される。
【0027】
また、本明細書では、シミュレーションソフトウェアを備えたコンピュータを含む交通モデリング装置が開示され、ここでのシミュレーションソフトウェアは、1つもしくは複数の車両に関連するIMUデータに少なくとも基づいて、クリティカルシナリオを識別するためのコンピュータ実装方法を適用する。
【0028】
上記にて開示したシナリオ識別システム、コンピュータ実装方法、コンピュータプログラム製品および交通モデリング装置は、少なくともクリティカルシナリオを識別して検証するためのIMUデータに関するデータのサブセットを導出することにより、正確なクリティカルシナリオの識別を損なうことなく、処理インフラストラクチャ、帯域幅、時間およびコストを節約しながら、車両データの最適な処理を可能にする。
【0029】
上述した概要は、幾つかの実施形態および実現形態の幾つかの特徴について簡単な概要を提供することのみを意図しており、限定のためのものと解釈されるべきではない。他の実施形態は上述した以外の他の特徴を含むことができる。
【0030】
本開示の上記のおよび他の要素、特徴、ステップならびに特性は、以下の図面を参照して行う以下の詳細な実施形態の説明からいっそう明らかとなるであろう。
【図面の簡単な説明】
【0031】
図1A】本開示の一実施形態による、車両用のシナリオ識別システムを示す概略図である。
図1B】本開示の一実施形態による、車両用のシナリオ識別システムを示す概略図である。
図2】本開示の一実施形態による、図1A図1Bに示したシナリオ識別システムが展開されているクラウドコンピューティング環境のコンポーネントを示す概略図である。
図3】本開示の一実施形態による、車両のクリティカルシナリオを識別するためのコンピュータ実装方法を示すプロセスフローチャートである。
【0032】
実施形態の詳細な説明
以下では、添付の図面を参照しながら本開示の実施形態を詳細に説明する。以下の実施形態の説明は限定の意味で解釈されるべきではないことを理解されたい。
【0033】
図面は、概略的な表現および要素を示すものと見なされるべきであり、必ずしも縮尺通りに示されていない。むしろ、様々な要素は、その機能および一般的な目的が当業者に明らかになるように表現されている。機能ブロック間、デバイス間、コンポーネント間、または図面に示されているもしくは本明細書に記載されている他の物理ユニットもしくは機能ユニット間の何らかの接続または結合は、間接的な接続または結合によって実現することもできる。コンポーネント間の結合を、無線接続を介して確立することもできる。各機能ブロックは、ハードウェア、ファームウェア、ソフトウェアまたはこれらの組み合わせとして実現可能である。
【0034】
図1A図1Bには、本開示の一実施形態による、車両用のシナリオ識別システム100の概略図が示されている。図1Aには、1つもしくは複数の車両101と通信可能であってクラウド102に常駐している、シナリオ識別システム100が示されている。クラウド102は、コンフィギャラブルコンピューティングの物理リソースおよび論理リソース、例えばネットワーク、サーバ、ストレージ、アプリケーション、サービスなどを含む処理環境、ならびにネットワーク上、例えばインターネット上に分散されたデータを指す、クラウドコンピューティング環境を示している。クラウドコンピューティング環境は、コンフィギャラブルコンピューティングの物理リソースおよび論理リソースの共有プールへのオンデマンドでのネットワークアクセスを提供している。シナリオ識別システム100は、例えば、Google Inc.のGoogle App Engine Cloud Infrastructure、Amazon Technologies,Inc.のAmazon Web Services(登録商標)、Amazon Technologies,Inc.のAmazon Elastic compute cloud EC2(登録商標) Web Service、Google Inc.のGoogle(登録商標)Cloud Platform、Microsoft CorporationのMicrosoft(登録商標)Cloud Platformなどを使用して開発されている。また、シナリオ識別システム100は、車両101に関連するクリティカルシナリオを識別するためのサービスとして実装されたクラウドコンピューティングベースのプラットフォームとしても構成可能である。車両101は、監視されかつ/または管理されかつ/または制御される自律運転車両および/または半自律運転車両を含み、本明細書では自車両101と称される。また、車両101は、自車両の近傍に位置する、自律型であってもなくてもよい1つもしくは複数の車両を含み、本明細書ではターゲット車両101と称される。
【0035】
図1Bは、車両101と通信するシナリオ識別システム100の種々のモジュール100A~100Fを示している。自車両101は、典型的には、自身に搭載された様々なセンサ101A~101Nを有している。センサ101A~101Nは、無線検出測距(RADAR)センサ、レーザー検出測距(LADAR)センサ、光検出測距(LiDAR)センサ、カメラ、慣性計測ユニット(IMU)センサ、および/または全地球測位システム(GPS)センサを含んでいる。ターゲット車両101は、GPSセンサなどの上記で列挙したセンサ101A~101Nのうち幾つかを有しうる。
【0036】
シナリオ識別システム100は、データ受信モジュール100A、データ処理モジュール100B、データ分析モジュール100C、シナリオ管理モジュール100D、グラフィカルユーザインタフェース(GUI)100E、および/またはシナリオ管理データベース100Fを備えている。また、シナリオ管理データベース100Fは、図1Aに示されているクラウド102の内部または外部にあるシナリオ識別システム100の外部に常駐するものであってもよい。シナリオ識別システム100は、1つもしくは複数の交通モデリング装置103、例えばSiemens Industry Software N.V. Corporation Belgiumによって開発された、自動車産業に使用されるシミュレーションプラットフォームであるSimCenter(登録商標)PreScanなどの交通シミュレータエンジンと通信することができる。
【0037】
シナリオ識別システム100は、非一時的なコンピュータ可読記憶媒体、例えばシナリオ管理データベース100Fと、様々なコンピュータ可読媒体、例えば光ディスクもしくは磁気ディスクなどの不揮発性媒体、レジスタメモリ、プロセッサキャッシュなどの揮発性媒体を指す、非一時的なコンピュータ可読記憶媒体に通信可能に結合された少なくとも1つのプロセッサ(図示せず)と、一時的なものを除く、信号を伝播させるための、プロセッサに結合されたシステムバスを構成するワイヤなどの伝送媒体と、を含む。非一時的なコンピュータ可読記憶媒体は、シナリオ識別システム100のモジュール100A~100Eによって定義されたコンピュータプログラム命令を記憶するように構成されている。プロセッサは、定義されたコンピュータプログラム命令を実行するように構成されている。
【0038】
図2は、本開示の一実施形態による、図1A図1Bに示されているシナリオ識別システム100が展開されたクラウドコンピューティング環境102のコンポーネントの概略図である。クラウド102に常駐するシナリオ識別システム100は、アプリケーションプログラミングインタフェース(API)201を使用している。API201は、それぞれシナリオ識別システム100がシナリオ管理データベース100F、1つもしくは複数の交通モデリング装置103ならびに図1Aおよび図1Bに示されている車両101に記憶されているデータを送受信できるようにする機能201A~201Nを使用している。シナリオ管理データベース100Fは、車両101、シナリオ識別システム100および/または交通モデリング装置103から受信されたデータを記憶するデータモデル202A~202Nを含む。データモデル202A~202Nのそれぞれは、特定の車両101に関するデータ、すなわち車両101が直面しうるもしくは直面したことのある特定のシナリオなどを区画化した状態で記憶できることに留意されたい。また、機能201A~201Nのそれぞれは、シナリオ管理データベース100F内の1つもしくは複数のデータモデル202A~202Nにアクセスするように構成されている。シナリオ識別システム100は自律的に動作する。ただし、シナリオ識別システム100のユーザに対してシナリオ識別システム100の対話型グラフィカルユーザインタフェース(GUI)100Eを介したアクセスを確保し、シナリオ識別システム100の構成および動作を可能にする規定を設けることもできる。図1Bに示されているシナリオ識別システム100のデータ受信モジュール100Aは、車両101から車両データを受信し、入力をAPIコールへ変換する。シナリオ識別システム100のデータ処理モジュール100Bは、当該APIコールをAPI201へ転送し、API201は、車両データの取り出し/記憶を担当する1つもしくは複数の適切なAPI機能201A~201Nをシナリオ管理データベース100F内へ呼び出す。次いで、API201は、車両データの取り出し/記憶の前記動作を実行するための、シナリオ管理データベース100F内の1つもしくは複数のデータモデル202A~202Nを決定する。API201は、取り出されたデータを返送し、またはシナリオ管理データベース100F内へ記憶されたデータの受領応答を返送し、次いで、これらをGUI100Eを介してユーザに転送することができる。ユーザが取り出しを要望しうるデータには、例えば、識別されたシナリオの報告、車両データについての分析などが含まれうる。
【0039】
シナリオ識別システム100のモジュール100A~100Fと、車両101と、交通モデリング装置103との間の上述した通信交換は、これらの間での迅速であってしかもセキュアな通信を可能にする手段を含んでいることが理解されよう。こうした手段は、以下に限定されるわけではないが、伝送制御プロトコル(TCP)、インターネットプロトコル(IP)、ユーザデータグラムプロトコル(UDP)、OPC統合アーキテクチャ(OPC-UA)プロトコルなどを含む、V2X通信によってサポートされるプロトコルの使用と、所望の要件を満たしかつIEEE802.11などの交通管理用に策定された規格に準拠した無線ネットワーク、例えば4G、LTEまたは5Gを含むネットワークの使用とを含むことができる。
【0040】
図3は、本開示の一実施形態による、車両101用のクリティカルシナリオを識別するためのコンピュータ実装方法300を表現したプロセスフローチャートである。本明細書に開示している方法300は、図1A図1Bに示されている、車両101用のクリティカルシナリオを識別するためのコンピュータプログラム命令を実行するように構成された少なくとも1つのプロセッサを備えたシナリオ識別システム100を使用している。
【0041】
ステップ301において、シナリオ識別システム100のデータ受信モジュール100Aは、自車両101および/またはターゲット車両101に搭載された複数のセンサ101A~101Nから車両データを受信する。データ受信モジュール100Aは、車両データを受信するために、車両101のそれぞれとのセキュアなコネクションを確立する。また、データ受信モジュール100Aは、車両データを受信する前に各車両101を認証する。データ受信モジュール100Aは、センサ101A~101Nによって記録された車両データを、数時間にわたって、例えば1日にわたって、受信する。
【0042】
ステップ302では、シナリオ識別システム100のデータ処理モジュール100Bが、車両データから、慣性計測ユニット(IMU)データである予め定められたタイプのデータを取得する。IMUデータは、車両101に関連する力、角度測定値および磁界を含む。ステップ302Aでは、データ処理モジュール100Bが、自車両101およびターゲット車両101について受信された車両データ内にIMUデータが存在するかどうかを検査する。これは、IMUセンサが当該車両101に搭載されている場合に可能である。IMUセンサが当該車両101に搭載されていない場合、ステップ302Bで、データ処理モジュール100Bが、ターゲット車両101に搭載されたセンサ101A~101Nによって記録された車両データに基づいてIMUデータを計算する。データ処理モジュール100Bは、IMUデータを計算するために、ターゲット車両すなわち容易に利用可能なIMUデータを有さない車両にとって利用可能なデータに対し、1つもしくは複数のマルチオブジェクトトラッキングアルゴリズムを使用する。マルチオブジェクトトラッキングの第1の段階は、センサデータすなわち車両データの検出である。検出時にロー測定値が有意な特徴へと変換され、すなわち、対象物が検出およびセグメンテーションによって位置特定される。その後、位置特定された対象物が1つもしくは複数のフィルタへ供給される。周囲の各対象物の状態は、各変数に割り当てられる確率を有するランダム変数のコンセプトを使用して表現される。確率に従ってシステム状態が導出され、このシステム状態が、次いで、車両101の力、角度測定値および磁界に関する情報を導出するために使用される。ステップ302Aでデータ処理モジュール100Bが車両データ内に存在するIMUデータを見出した場合、方法300はステップ303に進む。
【0043】
ステップ303では、データ処理モジュール100Bは、予め定められたタイプのデータから1つもしくは複数のIMUベースの運転パラメータを抽出する。IMUベースの運転パラメータは、自車両101およびターゲット車両101の加速度、速度およびトラジェクトリである。これらのIMUベースの運転パラメータはIMUデータから導出される。加速度、速度および/またはトラジェクトリから、2次パラメータ、例えば2つ以上の車両101間の相対速度である衝突までの時間を導出することもできる。
【0044】
ステップ304では、シナリオ識別システム100のデータ分析モジュール100Cが、パラメータに対応する予め定められた閾値に基づいて、このパラメータのそれぞれを分析する。ステップ304Aでは、データ分析モジュール100Cが、自車両101の加速度、速度および/またはトラジェクトリがそれぞれの予め定められた閾値内にあるかどうかを検査する。これらの閾値は、制動、向きなどの急激な変化、例えば急減速もしくは急の方向転換に基づいて定められる。移動している自車両101の前方に事前の十分な示唆なく歩行者または他車両が現れ、自車両101がブレーキを適用したり事故を回避するために急旋回を行ったりしなければならない場合、急減速または急激なトラジェクトリ変化が発生しうる。また、運転中のカットインおよびカットアウトのマヌーバのケース、すなわち、事前の十分な示唆なしでの他車両のカットインおよびカットアウトの結果、事故を回避すべくブレーキを適用したことに応答して自車両101の加速度が急低下する場合においても、このことは発生しうる。加速度、速度および/またはトラジェクトリに関してIMUデータにこうした急激な変化が存在することが見出される時間インスタンスは、クリティカルインスタンスであり、IMUテキストデータを通して時間的に効率良く検索することができる。
【0045】
ステップ304Bでは、データ分析モジュール100Cが、自車両101の加速度、速度および/またはトラジェクトリのデータが急激な変化を示し、したがって対応する閾値を超えた時間インスタンスを、クリティカル条件としてシナリオ管理データベース100Fに記憶する。ステップ304Aで閾値のいずれも超過されていないことが見出された場合には、データ分析モジュール100Cは、データ受信モジュール100Aによる別の車両データセットの受信を待機する。
【0046】
ステップ305では、シナリオ識別システム100のシナリオ管理モジュール100Dが、データ分析モジュール100Cによってクリティカルであるとマークされた条件を処理する。シナリオ管理モジュール100Dは、ステップ305Aで、データ分析モジュール100Cによってシナリオ管理データベース100Fに記憶されたクリティカル条件と、様々なセンサ101A~101N、例えばカメラ、LiDARなどによって記録された対応する時間インスタンスデータとに基づいて、クリティカルシナリオを生成する。したがって、ステップ305Bでは、シナリオ管理モジュール100Dが、標準的な交通違反を定義した1つもしくは複数のテスト方法、例えばResponsibility-Sensitive Safety(RSS)、Nvidia Safety Force Field(登録商標)(SFF)、および/または典型的に大規模なシナリオテストを使用して、確認および検証のための交通シミュレータエンジン内へ供給することによって、構築されたクリティカルシナリオを検証する。
【0047】
シナリオ管理データベース100Fのようなデータベースを説明する場合、(i)説明しているものに代わるデータベース構造が容易に使用可能であること、および(ii)データベース以外の他のメモリ構造も容易に使用可能であること、が当業者には理解されるであろう。本明細書に開示している任意のサンプルデータベースのいかなる図示または説明も、記憶される情報表現についての例示的な構成である。図面または他の箇所において示されているテーブルによって提案されるもののほか、任意の数の他の構成が使用可能である。同様に、データベースの図示のあらゆるエントリは例示的な情報を表現しているに過ぎず、当業者であれば、エントリの数および内容が本明細書に開示したものと異なっていてよいことを理解するであろう。さらに、テーブルとしてのデータベースの何らかの説明にもかかわらず、リレーショナルデータベースモデル、オブジェクトベースモデルおよび/または分散データベースモデルを含む他のフォーマットも、本明細書で開示するデータタイプの記憶および操作のために使用可能である。同様に、データベースのオブジェクト方法または挙動を、本明細書に開示した様々なプロセスを実現するために使用することができる。さらに、データベースは、公知のようにローカルに記憶可能であるか、またはこのようなデータベース内のデータにアクセスするデバイスから離れた位置に記憶可能である。システムに複数のデータベースが存在する実施形態では、複数のデータベースのうちの1つにおいてデータの何らかの更新が行われる際に、複数のデータベースを横断してリンクされたデータの同時更新が可能となるよう、複数のデータベースを相互に通信可能に統合することができる。
【0048】
本開示は、ネットワークを介して1つもしくは複数のデバイスと通信する1つもしくは複数のコンピュータを含むネットワーク環境において動作するように構成可能である。コンピュータは、有線媒体または無線媒体、例えばインターネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)もしくはイーサネット、トークンリングを介して、または任意の適切な通信媒体もしくはその組み合わせを介して、直接にまたは間接的にデバイスと通信可能である。デバイスのそれぞれが、上述した幾つかの例での、コンピュータと通信するように適応化されたプロセッサを含んでいる。一実施形態では、コンピュータのそれぞれに、ネットワーク通信デバイス、例えばネットワークインタフェースカード、モデム、またはネットワークへの接続に適した他のネットワーク接続デバイスが装備されている。コンピュータおよびデバイスのそれぞれにより、上述した幾つかの例のオペレーティングシステムが実行される。コンピュータのタイプに応じてオペレーティングシステムは異なりうるが、当該オペレーティングシステムは、ネットワークとの通信リンクを確立するための適切な通信プロトコルを提供し続ける。任意の個数および任意のタイプのマシンが当該コンピュータと通信可能である。
【0049】
本開示は、特定のコンピュータシステムプラットフォーム、プロセッサ、オペレーティングシステムまたはネットワークに限定されない。本開示の1つもしくは複数の態様は、1つもしくは複数のコンピュータシステム間、例えば、1つもしくは複数のサービスを1つもしくは複数のクライアントコンピュータに提供するサーバ間、または分散システムにおいてタスク全体を実行するように構成されたサーバ間において、分散実行可能である。例えば、本開示の1つもしくは複数の態様は、様々な実施形態による複数の機能を実行する1つもしくは複数のサーバシステムに分散されたコンポーネントを含むクライアントサーバシステム上で実行可能である。これらのコンポーネントは、例えば通信プロトコルを使用するネットワークを介して通信される実行可能コード、中間コードまたはインタプリテッドコードを含む。本開示は、いずれかの特定のシステムまたは特定のシステムグループにおいて実行可能となるように限定されるものではなく、またいずれかの特定の分散アーキテクチャ、特定のネットワーク、または特定の通信プロトコルにも限定されない。
【0050】
上記の実施例は、単に説明を目的として提供されたものであり、本明細書に開示した本開示を限定するものと解釈されるべきではない。様々な実施形態を参照して開示を説明してきたが、本明細書で使用した用語は、限定のためのものではなく、説明および例示の用語であることが理解される。さらに、本開示を、特定の手段、材料および実施形態に関して本明細書に記載したが、本開示は、本明細書に開示した詳細への限定を意図するものではない。むしろ、本開示は、添付の特許請求の範囲内にある機能的に等価の構造、方法および使用の全てに及ぶ。本明細書の教示を享受した当業者であれば、これらの教示に対する多くの修正形態を調整し、その各態様において本開示の範囲から逸脱することなく変更を加えることができる。
【符号の説明】
【0051】
100 シナリオ識別システム
100A データ受信モジュール
100B データ処理モジュール
100C データ分析モジュール
100D シナリオ管理モジュール
100E グラフィカルユーザインタフェース(GUI)
l00F シナリオ管理データベース
101 車両/自車両/ターゲット車両
101A~101N センサ
102 クラウド/クラウドサーバ
103 交通モデリング装置/交通シミュレータエンジン
201 アプリケーションプログラミングインタフェース(API)
201A~201N APIによって使用される機能
202A~202N データモデル
図1A
図1B
図2
図3