IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン ツセン ジートゥー テクノロジー カンパニー, リミテッドの特許一覧

特開2022-111090シミュレーションテストのための方法、デバイス、およびシステム
<>
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図1
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図2
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図3
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図4
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図5
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図6
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図7
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図8
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図9
  • 特開-シミュレーションテストのための方法、デバイス、およびシステム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022111090
(43)【公開日】2022-07-29
(54)【発明の名称】シミュレーションテストのための方法、デバイス、およびシステム
(51)【国際特許分類】
   G06F 11/36 20060101AFI20220722BHJP
【FI】
G06F11/36 196
G06F11/36 164
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022004163
(22)【出願日】2022-01-14
(31)【優先権主張番号】202110062943.7
(32)【優先日】2021-01-18
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】521390154
【氏名又は名称】ベイジン ツセン ジートゥー テクノロジー カンパニー, リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ワン ユヨン
(72)【発明者】
【氏名】スイ チンユ
(72)【発明者】
【氏名】ジ ピンユアン
(72)【発明者】
【氏名】ハオ ジアナン
(72)【発明者】
【氏名】ニエ レイ
(72)【発明者】
【氏名】ワン ハオチェン
【テーマコード(参考)】
5B042
【Fターム(参考)】
5B042HH07
5B042HH17
(57)【要約】
【課題】シミュレーションテストのための方法、デバイス、およびシステムを提供すること
【解決手段】第1のコンピューティングデバイスにおいて実行されるシミュレーションテストのための方法であって、該方法は、データベースから第1のセンサーのための第1のフォーマットのデータを取り出すことと、該第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得することであって、該第2のフォーマットは該第1のセンサーのデータ収集のフォーマットである、ことと、該第2のフォーマットのデータを第2のコンピューティングデバイスに伝送し、該第2のコンピューティングデバイスが該第2のフォーマットのデータに基づいてシミュレーションテストを実行するようにする、こととを含む、方法。
【選択図】なし
【特許請求の範囲】
【請求項1】
第1のコンピューティングデバイスにおいて実行されるシミュレーションテストのための方法であって、該方法は、
データベースから第1のセンサーのための第1のフォーマットのデータを取り出すことと、
該第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得することであって、該第2のフォーマットは該第1のセンサーのデータ収集のフォーマットである、ことと、
該第2のフォーマットのデータを第2のコンピューティングデバイスに伝送し、該第2のコンピューティングデバイスが該第2のフォーマットのデータに基づいてシミュレーションテストを実行するようにする、ことと
を含む、方法。
【請求項2】
前記データベースから前記第1のセンサーのための前記第1のフォーマットのデータを取り出すことは、
データ制御命令を受信することと、
該データベース内のセンサーデータの格納場所から、該データ制御命令に従って該第1のフォーマットのデータを取り出すことと
を含む、請求項1に記載の方法。
【請求項3】
前記データ制御命令は、ターゲットデータ名、ターゲットデータアイデンティティ、およびターゲット期間のうちの少なくとも1つを含む、請求項2に記載の方法。
【請求項4】
前記データ制御命令は、開始制御命令および一時停止制御命令を含み、前記データベース内の前記センサーデータの前記格納場所から該データ制御命令に対応する前記第1のフォーマットのデータを取り出すことは、
該一時停止制御命令の受信に応答して、該第1のフォーマットのデータの取り出しを一時停止し、データ未取り出し状態に入ることと、
該開始制御命令の受信に応答して、該データベース内の該センサーデータの該格納場所から該第1のフォーマットのデータの取り出しを再開し、データ取り出し済状態に入ることと
を含む、請求項2に記載の方法。
【請求項5】
前記第1のフォーマットのデータを処理して前記第2のフォーマットの前記対応データを取得することは、
前記第1のセンサーのタイプに対応するネットワーク伝送プロトコルに従って該第1のフォーマットのデータを処理し、該第2のフォーマットの対応データを取得すること
を含む、請求項1に記載の方法。
【請求項6】
前記第1のセンサーは、画像キャプチャデバイスを含み、前記第1のフォーマットのデータは、圧縮された画像データを含み、前記ネットワーク伝送プロトコルは、ギガビットイーサネット(登録商標)ベースの画像伝送標準プロトコルを含み、従って、
前記第1のフォーマットのデータを処理して前記第2のフォーマットの前記対応データを取得することは、
該圧縮された画像データを解凍し、青、緑、赤(BGR)フォーマットの画像データを形成することと、
該BGRフォーマットの該画像データに対して画像フォーマット変換を実行し、該画像伝送標準プロトコルに準拠する1つ以上の元の画像データパケットとして、該画像キャプチャデバイスに対応するベイヤー画像データを形成することと
を含む、請求項5に記載の方法。
【請求項7】
前記第1のセンサーはライダーを含み、前記第1のフォーマットのデータは点群データパケットグループを含み、前記ネットワーク伝送プロトコルはユーザーデータグラムプロトコル(UDP)および伝送制御プロトコル(TCP)を含み、従って、
前記第1のフォーマットのデータを処理して前記第2のフォーマットの前記対応データを取得することは、
該点群データパケットグループを分解し、該UDPおよび該TCPに準拠する1つ以上の元の点群データパケットとして、該ライダーに対応する1つ以上の点群データパケットを形成すること
を含む、請求項5に記載の方法。
【請求項8】
前記第1のセンサーは、グローバルナビゲーション衛星システム(GNSS)センサーを含み、前記第1のフォーマットのデータは、格納されたGNSSデータを含み、前記ネットワーク伝送プロトコルは、伝送制御プロトコル(TCP)を含み、従って、
前記第1のフォーマットのデータを処理して前記第2のフォーマットの前記対応データを取得することは、
該格納されたGNSSデータを復号し、GNSS情報データを形成することと、
該GNSS情報データを符号化し、該TCPに準拠する1つ以上の元のGNSSデータパケットとして、該GNSSセンサーに対応する1つ以上のGNSSネットワークデータパケットを形成することと
を含む、請求項5に記載の方法。
【請求項9】
前記第2のフォーマットのデータを前記第2のコンピューティングデバイスに伝送することは、
前記第1のセンサーと該第2のコンピューティングデバイスとの間のシミュレートされたデータ伝送ラインを介して該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送することであって、
該第1のセンサーは、複数の第1のセンサーを含むか、
該シミュレートされたデータ伝送ラインは、該複数の第1のセンサーのいずれかと該第2のコンピューティングデバイスとの間のネットワークバスであるか、または、
該シミュレートされたデータ伝送ラインは、該複数の第1のセンサーのそれぞれのものと該第2のコンピューティングデバイスとの間の複数のネットワークバス間における中央値の長さを有するネットワークバスである、こと
を含む、請求項1に記載の方法。
【請求項10】
前記第2のフォーマットのデータは、タイムスタンプ情報を含み、前記第2のフォーマットのデータを前記第2のコンピューティングデバイスに伝送することは、
該第2のフォーマットのデータのタイムスタンプ情報に基づいて、所定の周期において該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送すること
を含む、請求項1に記載の方法。
【請求項11】
前記第2のフォーマットのデータのタイムスタンプ情報に基づいて、前記第2のフォーマットのデータを前記第2のコンピューティングデバイスに所定の周期/頻度にて伝送することは、
該第2のフォーマットのデータの修正されたタイムスタンプに基づいて、所定の周期にて該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送することであって、該修正されたタイムスタンプは、該第2のフォーマットのデータのトリガータイムスタンプに時間遅延を加えたものである、こと
を含む、請求項10に記載の方法。
【請求項12】
前記タイムスタンプ情報は、前記第2のフォーマットのデータのためのトリガータイムスタンプ、露光時間、および処理時間のうちの少なくとも1つを含み、
前記時間遅延は、
所定の露光時間と所定の処理時間との合計、
該第2のフォーマットのデータのための露光時間と該所定の処理時間との合計、または、
該露光時間と該第2のフォーマットのデータのための処理時間との合計
のうちのいずれかを含む、請求項11に記載の方法。
【請求項13】
前記第2のコンピューティングデバイスによって、前記第2のフォーマットのデータに基づいてシミュレートされたテストを実行することをさらに含み、該シミュレートされたテストを実行することは、
前記第1のセンサーのための前記第2のフォーマットの受信データに対して逆方向処理を実行し、前記第1のフォーマットの対応データを取得することと、
該逆方向処理から得られた該第1のセンサーのための該第1のフォーマットのデータに基づいてシミュレーションテストを実行すること
によって実行され、
該シミュレーションテストを実行することは、
前記データベースから第2のセンサーのための該第1のフォーマットのデータを取り出すことと、
該逆方向処理から得られた該第1のセンサーのための該第1のフォーマットのデータと組み合わせて、該第2のセンサーのための該第1のフォーマットのデータに基づいて該シミュレーション試験を実行することと
を含む、請求項1から12のいずれかに記載の方法。
【請求項14】
コンピュータ読取り可能記憶媒体であって、該コンピュータ読取り可能記憶媒体は、プログラムまたは命令を含み、該プログラムまたは命令は、コンピュータ上で実行されると、該コンピュータに請求項1から13のいずれかに記載のシミュレーションテストのための方法を実行させる、コンピュータ読取り可能記憶媒体。
【請求項15】
コンピューティングデバイスであって、該コンピューティングデバイスは、メモリと、該メモリに通信可能に接続された1つ以上のプロセッサとを含み、
該メモリは、該1つ以上のプロセッサによって実行可能な命令を格納し、該命令は、該1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、請求項1から13のいずれかに記載のシミュレーションテストのための方法を実行させる、コンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、2021年1月18日に出願された「METHOD, DEVICE, AND SYSTEM FOR SIMULATION TEST」と題する中国特許出願第202110062943.7号に対する優先権を主張し、その内容は本明細書中で参考としてその全体が援用される。
【0002】
本開示は、インテリジェント運転技術、より具体的には、シミュレーションテストのための方法、デバイス、およびシステムに関する。
【背景技術】
【0003】
現在、知覚のためのセンサーに依存し、人工知能を使用して車両、ロボット、無人航空機(UAV)などの動きの決定と制御を提供するインテリジェントな運転技術は、前例のない発展を成し遂げた。
【0004】
自律車両、インテリジェントロボット、UAVなどの中央処理ユニット、例えば、自律車両の車両サーバー、インテリジェントロボットまたはUAVのメインコントロールコンピューターなどは、通常、インテリジェントシステムが備えられている。知覚処理モジュール、位置特定処理モジュール、意思決定モジュール、制御モジュールなどの様々なタイプのアルゴリズム機能モジュール(またはコンピューティングモジュールと呼ばれる)がある。インテリジェントシステムの適切な機能を確保するために、インテリジェントシステムメーカーは、インテリジェント運転の要件を満たすために、インテリジェントシステムのさまざまなタイプの機能モジュールを繰り返し頻繁に更新し得る。したがって、インテリジェントシステムをテストすることが重要である。
【0005】
一般に、インテリジェントシステムのテストは実世界で実行され得る。つまり、自律車両、インテリジェントロボット、UAVなどは、テストのために実世界のシーンに持ち込まれ得る。しかし、これは、車両、ロボット、UAVなどのかなりの量の物理的リソースを必要とし、大規模なテストには適用できない。そのため、インテリジェントシステムのシミュレーションテストをどのように行うかが解決すべき課題となっている。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示の実施形態は、インテリジェントシステム上でシミュレーションテストを実行することが可能である、シミュレーションテストのための方法、デバイス、およびシステムを提供する。
【0007】
上記の目的を達成するために、本開示の実施形態に従って、以下の解決策が提供される。
【0008】
第1の態様では、本開示の実施形態によるシミュレーションテストのための方法が提供される。この方法は、第1のコンピューティングデバイスで実行され、該方法は、データベースから第1のセンサーのための第1のフォーマットのデータを取り出すことと、第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得することであって、第2のフォーマットは、第1のセンサーのデータ収集のフォーマットである(すなわち、第2のフォーマットは、実世界の動作環境において第1のセンサーによって収集されたデータのフォーマットである)ことと、第2のフォーマットのデータを第2のコンピューティングデバイスに伝送し、第2のコンピューティングデバイスが第2のフォーマットのデータに基づいてシミュレーションテストを実行するようにする、こととを含む。
【0009】
第2の態様では、本開示の実施形態によるシミュレーションテストのためのデバイスが提供される。このデバイスは、データベースから第1のセンサーのための第1のフォーマットのデータを取り出すように構成されたデータベース取り出しユニットと、第1のフォーマットのデータを処理して第2のフォーマットの対応データを取得するように構成されたデータ処理ユニットであって、第2のフォーマットは、第1のセンサーのデータ収集のフォーマットである(すなわち、第2のフォーマットは、実世界の動作環境において第1のセンサーによって収集されたデータのフォーマットである)、データ処理ユニットと、第2のコンピューティングデバイスが第2のフォーマットのデータに基づいてシミュレーションテストを実行するように、第2のフォーマットのデータを第2のコンピューティングデバイスに伝送するように構成されたデータ伝送ユニットとを含む。
【0010】
第3の態様では、本開示の実施形態によるシミュレーションテストのためのシステムが提供される。このシステムは、互いに通信可能に接続された、第1のコンピューティングデバイスおよび第2のコンピューティングデバイスを含む。第1のコンピューティングデバイスは、データベースから第1のセンサーのための第1のフォーマットのデータを取り出し、第1のフォーマットのデータを処理して第2のフォーマットの対応データを取得し、第2のフォーマットのデータを第2のコンピューティングデバイスに伝送するように構成されている。第2のコンピューティングデバイスは、第2のフォーマットの受信データに基づいてシミュレーションテストを実行するように構成されている。
【0011】
第4の態様では、本開示の実施形態によるコンピュータ読取り可能記憶媒体が提供される。コンピュータ読取り可能記憶媒体は、コンピュータ上で実行されると、コンピュータに上記第1の態様によるシミュレーションテストの方法を実行させるプログラムまたは命令を含む。
【0012】
第5の態様では、本開示の実施形態によるコンピューティングデバイスが提供される。コンピューティングデバイスは、メモリと、メモリに通信可能に接続された1つ以上のプロセッサとを含む。メモリは、1つ以上のプロセッサによって実行可能な命令を格納する。命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、上記第1の態様によるシミュレーションテストの方法を実行させる。
【0013】
本開示の技術的解決策によれば、シミュレーションテストのためのデバイスは、第2のコンピューティングデバイス(車両サーバーなど)とは独立して提供され得、データパケットの取り出し、再現、および伝送というタスクを独立して実行することができ、これによって、インテリジェントシステムを搭載した第2のコンピューティングデバイスは、実世界の動作環境に従ってシミュレーションテストを行うことで、車両ソフトウェアの実際の動作状態や資源占有状態を正しくシミュレーションおよび再現し、実際の車両環境と同じ検証結果を得ることができる。
【0014】
その上、シミュレーションテストのためのデバイスによってデータベースから取得されるデータフォーマットは、実世界の動作環境で処理されてから、第2のコンピューティングデバイスによって格納されるデータのフォーマットである。処理後に取得される第2のフォーマットのデータは、実世界の動作環境における実際のセンサーによって収集されたデータである。第2のフォーマットのデータは、実際のセンサーによって収集されたデータパケットと何ら変わりはなく、実際のセンサーによって収集されたデータを伝送するプロセスが忠実に再現され得る。
【0015】
さらに、本開示は、実際のセンサーと第2のコンピューティングデバイスとの間のデータ伝送ラインをシミュレートし、伝送経路の負荷状態を包括的に考慮し、故に、データパケットがセンサーによって収集され、次いで実際の伝送経路を介して車両サーバーに伝送され車両サーバーによって処理される、インテリジェント運転中のプロセスを完全にシミュレートする。さらに、本開示はまた、センサーデータが伝送される前の露光遅延および処理遅延をシミュレートすることができる。第2のフォーマットのデータは、所定の遅延後に車両サーバーに伝送され、これによって、シミュレーションテスト環境が実世界の状況により近づけられ得る。
本発明は、例えば、以下を提供する。
(項目1)
第1のコンピューティングデバイスにおいて実行されるシミュレーションテストのための方法であって、該方法は、
データベースから第1のセンサーのための第1のフォーマットのデータを取り出すことと、
該第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得することであって、該第2のフォーマットは該第1のセンサーのデータ収集のフォーマットである、ことと、
該第2のフォーマットのデータを第2のコンピューティングデバイスに伝送し、該第2のコンピューティングデバイスが該第2のフォーマットのデータに基づいてシミュレーションテストを実行するようにする、ことと
を含む、方法。
(項目2)
上記データベースから上記第1のセンサーのための上記第1のフォーマットのデータを取り出すことは、
データ制御命令を受信することと、
該データベース内のセンサーデータの格納場所から、該データ制御命令に従って該第1のフォーマットのデータを取り出すことと
を含む、上記項目に記載の方法。
(項目3)
上記データ制御命令は、ターゲットデータ名、ターゲットデータアイデンティティ、およびターゲット期間のうちの少なくとも1つを含む、上記項目のいずれかに記載の方法。
(項目4)
上記データ制御命令は、開始制御命令および一時停止制御命令を含み、上記データベース内の上記センサーデータの上記格納場所から該データ制御命令に対応する上記第1のフォーマットのデータを取り出すことは、
該一時停止制御命令の受信に応答して、該第1のフォーマットのデータの取り出しを一時停止し、データ未取り出し状態に入ることと、
該開始制御命令の受信に応答して、該データベース内の該センサーデータの該格納場所から該第1のフォーマットのデータの取り出しを再開し、データ取り出し済状態に入ることと
を含む、上記項目のいずれかに記載の方法。
(項目5)
上記第1のフォーマットのデータを処理して上記第2のフォーマットの上記対応データを取得することは、
上記第1のセンサーのタイプに対応するネットワーク伝送プロトコルに従って該第1のフォーマットのデータを処理し、該第2のフォーマットの対応データを取得すること
を含む、上記項目のいずれかに記載の方法。
(項目6)
上記第1のセンサーは、画像キャプチャデバイスを含み、上記第1のフォーマットのデータは、圧縮された画像データを含み、上記ネットワーク伝送プロトコルは、ギガビットイーサネット(登録商標)ベースの画像伝送標準プロトコルを含み、従って、
上記第1のフォーマットのデータを処理して上記第2のフォーマットの上記対応データを取得することは、
該圧縮された画像データを解凍し、青、緑、赤(BGR)フォーマットの画像データを形成することと、
該BGRフォーマットの該画像データに対して画像フォーマット変換を実行し、該画像伝送標準プロトコルに準拠する1つ以上の元の画像データパケットとして、該画像キャプチャデバイスに対応するベイヤー画像データを形成することと
を含む、上記項目のいずれかに記載の方法。
(項目7)
上記第1のセンサーはライダーを含み、上記第1のフォーマットのデータは点群データパケットグループを含み、上記ネットワーク伝送プロトコルはユーザーデータグラムプロトコル(UDP)および伝送制御プロトコル(TCP)を含み、従って、
上記第1のフォーマットのデータを処理して上記第2のフォーマットの上記対応データを取得することは、
該点群データパケットグループを分解し、該UDPおよび該TCPに準拠する1つ以上の元の点群データパケットとして、該ライダーに対応する1つ以上の点群データパケットを形成すること
を含む、上記項目のいずれかに記載の方法。
(項目8)
上記第1のセンサーは、グローバルナビゲーション衛星システム(GNSS)センサーを含み、上記第1のフォーマットのデータは、格納されたGNSSデータを含み、上記ネットワーク伝送プロトコルは、伝送制御プロトコル(TCP)を含み、従って、
上記第1のフォーマットのデータを処理して上記第2のフォーマットの上記対応データを取得することは、
該格納されたGNSSデータを復号し、GNSS情報データを形成することと、
該GNSS情報データを符号化し、該TCPに準拠する1つ以上の元のGNSSデータパケットとして、該GNSSセンサーに対応する1つ以上のGNSSネットワークデータパケットを形成することと
を含む、上記項目のいずれかに記載の方法。
(項目9)
上記第2のフォーマットのデータを上記第2のコンピューティングデバイスに伝送することは、
上記第1のセンサーと該第2のコンピューティングデバイスとの間のシミュレートされたデータ伝送ラインを介して該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送することであって、
該第1のセンサーは、複数の第1のセンサーを含むか、
該シミュレートされたデータ伝送ラインは、該複数の第1のセンサーのいずれかと該第2のコンピューティングデバイスとの間のネットワークバスであるか、または、
該シミュレートされたデータ伝送ラインは、該複数の第1のセンサーのそれぞれのものと該第2のコンピューティングデバイスとの間の複数のネットワークバス間における中央値の長さを有するネットワークバスである、こと
を含む、上記項目のいずれかに記載の方法。
(項目10)
上記第2のフォーマットのデータは、タイムスタンプ情報を含み、上記第2のフォーマットのデータを上記第2のコンピューティングデバイスに伝送することは、
該第2のフォーマットのデータのタイムスタンプ情報に基づいて、所定の周期において該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送すること
を含む、上記項目のいずれかに記載の方法。
(項目11)
上記第2のフォーマットのデータのタイムスタンプ情報に基づいて、上記第2のフォーマットのデータを上記第2のコンピューティングデバイスに所定の周期/頻度にて伝送することは、
該第2のフォーマットのデータの修正されたタイムスタンプに基づいて、所定の周期にて該第2のフォーマットのデータを該第2のコンピューティングデバイスに伝送することであって、該修正されたタイムスタンプは、該第2のフォーマットのデータのトリガータイムスタンプに時間遅延を加えたものである、こと
を含む、上記項目のいずれかに記載の方法。
(項目12)
上記タイムスタンプ情報は、上記第2のフォーマットのデータのためのトリガータイムスタンプ、露光時間、および処理時間のうちの少なくとも1つを含み、
上記時間遅延は、
所定の露光時間と所定の処理時間との合計、
該第2のフォーマットのデータのための露光時間と該所定の処理時間との合計、または、
該露光時間と該第2のフォーマットのデータのための処理時間との合計
のうちのいずれかを含む、上記項目のいずれかに記載の方法。
(項目13)
上記第2のコンピューティングデバイスによって、上記第2のフォーマットのデータに基づいてシミュレートされたテストを実行することをさらに含み、該シミュレートされたテストを実行することは、
上記第1のセンサーのための上記第2のフォーマットの受信データに対して逆方向処理を実行し、上記第1のフォーマットの対応データを取得することと、
該逆方向処理から得られた該第1のセンサーのための該第1のフォーマットのデータに基づいてシミュレーションテストを実行すること
によって実行され、
該シミュレーションテストを実行することは、
上記データベースから第2のセンサーのための該第1のフォーマットのデータを取り出すことと、
該逆方向処理から得られた該第1のセンサーのための該第1のフォーマットのデータと組み合わせて、該第2のセンサーのための該第1のフォーマットのデータに基づいて該シミュレーション試験を実行することと
を含む、上記項目のいずれかに記載の方法。
(項目14)
コンピュータ読取り可能記憶媒体であって、該コンピュータ読取り可能記憶媒体は、プログラムまたは命令を含み、該プログラムまたは命令は、コンピュータ上で実行されると、該コンピュータに上記項目のいずれかに記載のシミュレーションテストのための方法を実行させる、コンピュータ読取り可能記憶媒体。
(項目15)
コンピューティングデバイスであって、該コンピューティングデバイスは、メモリと、該メモリに通信可能に接続された1つ以上のプロセッサとを含み、
該メモリは、該1つ以上のプロセッサによって実行可能な命令を格納し、該命令は、該1つ以上のプロセッサによって実行されると、該1つ以上のプロセッサに、上記項目のいずれかに記載のシミュレーションテストのための方法を実行させる、コンピューティングデバイス。
(摘要)
本開示は、インテリジェント運転技術に関するものであり、シミュレーションテストのための方法、デバイス、およびシステムを提供する。該方法は、データベースから第1のセンサーのための第1のフォーマットのデータを取り出すことと、第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得することであって、該第2のフォーマットは、実世界の動作環境において第1のセンサーによって収集されたデータのフォーマットである、ことと、第2のフォーマットのデータを第2のコンピューティングデバイスに伝送し、第2のコンピューティングデバイスが第2のフォーマットのデータに基づいてシミュレーションテストを実行するようにする、こととを含む。本開示は、実世界環境により近いシミュレーションテスト環境を提供することが可能である、インテリジェントシステムのためのシミュレーションテスト解決策を提供することができる。
【図面の簡単な説明】
【0016】
本開示または先行技術の実施形態による技術的解決策をより明確に説明するために、実施形態または先行技術の説明に使用される図を以下に簡単に紹介する。明らかに、以下に記載される図は、本開示のいくつかの実施形態を例示するだけであり、他の図は、独創的な努力を必要とすることなく、これらの図面に基づいて当業者によって取得され得る。
【0017】
図1図1は、本開示の実施形態によるシミュレーションテストのための方法100を示す第1のフローチャートである。
【0018】
図2図2は、本開示の実施形態によるシミュレーションテストのための方法200を示す第2のフローチャートである。
【0019】
図3図3は、従来のシミュレーションテストシーンの構造を示す概略図である。
【0020】
図4図4は、本開示の実施形態によるシミュレーションテストシーンの構造を示す概略図である。
【0021】
図5図5は、実車両テストとシミュレーションテストとにおけるソフトウェアデータフローの比較を示す概略図である。
【0022】
図6図6は、本開示の実施形態によるシミュレーションテストのための方法600を示す第3のフローチャートである。
【0023】
図7図7は、本開示の実施形態による、センサーデータの順方向処理および逆方向処理を示す概略図である。
【0024】
図8図8は、本開示の実施形態によるシミュレーションテストのためのデバイス800の構造を示す概略図である。
【0025】
図9図9は、本開示の実施形態によるシミュレーションテストのためのシステム900の構造を示す概略図である。
【0026】
図10図10は、本開示の実施形態によるコンピューティングデバイス1000の構造を示す概略図である。
【発明を実施するための形態】
【0027】
以下では、本開示の実施形態による解決策を、図を参照して明確かつ完全に説明する。明らかに、以下に記載される実施形態は、本開示の実施形態のすべてではなく、ほんの一部である。独創的な努力なしに本開示に記載された実施形態に基づいて当業者によって得ることができる他のすべての実施形態は、本開示の範囲に含まれるべきである。
【0028】
本開示の説明および特許請求の範囲ならびに上記の図における「第1の」および「第2の」という用語は、類似のオブジェクトを互いに区別するために使用され、必ずしも特定の配列または順序を説明するために使用されるわけではないことに留意されたい。このように使用されるデータは、本開示の実施形態を説明する目的で適切に交換することができることを理解されたい。さらに、「含む」および「有する」という用語およびそれらの変形は、非排他的なホウガンを論ずることを意図する。例えば、一連のステップまたはユニットを含むプロセス、方法、製品、またはデバイスは、必ずしも明示的にリストされているステップまたはユニットに限定されるわけではなく、明示的にリストされていない、またはプロセス、方法、システム、製品、またはデバイスに固有の他のステップまたはユニットを含み得る。
【0029】
当業者が本開示をより良く理解できるようにするために、本開示の実施形態で使用される技術用語のいくつかを以下に説明する。
【0030】
点群:測定装置によって取得されたオブジェクトの外面上の点データのセットは、点群と呼ばれる。
【0031】
IMU:慣性計測装置(IMU)は、オブジェクトの3軸姿勢角(または角速度)と加速度を測定するデバイスである。
【0032】
フレーム:観測でセンサーによって受信された測定データ。例えば、データの1つのフレームは、カメラのための画像、またはレーザーレーダーのためのレーザー点群のセットである。
【0033】
本開示で使用される「車両」は、典型的には、電力システム、センサーシステム、制御システム、周辺デバイス、およびコンピューターシステムを含み得る。他の実施形態では、車両は、より多くの、より少ない、または異なるシステムを含み得る。
【0034】
ここで、動力システムとは、エンジン/モーター、トランスミッション、ホイール/タイヤ、および電源ユニットを含む、車両に動力を供給するシステムである。
【0035】
制御システムは、ステアリングユニット、スロットル、およびブレーキユニットなどの車両およびその構成要素を制御するデバイスの組み合わせを含み得る。
【0036】
周辺デバイスは、車両が、無線通信システム、タッチスクリーン、マイクロフォン、またはスピーカーを含むがそれらに限定されない、外部センサー、他の車両、外部コンピューティングデバイス、またはユーザーのうちの少なくとも1つと相互作用することを可能にするデバイスであり得る。
【0037】
上記の車両に基づいて、自律車両は、センサーシステムおよび自律運転制御デバイスをさらに備えることができる。
【0038】
センサーシステムは、車両が配置されている環境に関する情報を感知するための複数のセンサー、およびセンサーのそれぞれの位置または方向を変更する1つ以上のアクチュエーターを含み得る。センサーシステムは、グローバルポジショニングシステム(GPS)センサー、慣性測定ユニット(IMU)、無線検出および測距(RADAR)ユニット、カメラ、レーザー距離計、光検出および測距(LIDAR)ユニット、および音響センサーなどのセンサーの任意の組み合わせを含み得る。センサーシステムは、車両の内部システムを監視するセンサー(Oモニター、燃料計、エンジン温度計など)をさらに含み得る。
【0039】
自律運転制御デバイスは、プロセッサと、少なくとも1つの機械実行可能命令が格納されているメモリとを含み得る。プロセッサは、少なくとも1つの機械実行可能命令を実行して、例えば、地図エンジン、位置決めモジュール、知覚モジュール、ナビゲーションまたはルートモジュール、および自律制御モジュールを含む機能を提供する。地図エンジンおよび位置決めモジュールは、地図情報および位置決め情報を提供するように構成されている。知覚モジュールは、センサーシステムによって取得された情報および地図エンジンによって提供された地図情報に基づいて、車両の周囲の環境内のオブジェクトを知覚するように構成されている。ナビゲーションまたはルートモジュールは、地図エンジン、位置決めモジュール、および知覚モジュールからの処理結果に基づいて、車両の運転ルートを計画するように構成されている。自律制御モジュールは、ナビゲーションまたはルートモジュールなどのモジュールから入力された決定情報を車両制御システムに出力するための制御コマンドに変換し、かつ、車両の自律制御のための車載ネットワーク(例えば、CANバス、ローカル相互接続ネットワーク、マルチメディア指向性システム伝送などを使用して実装される車載電子ネットワークシステム)を介して、制御コマンドを車両制御システムにおける各コンポーネントに伝送するように構成されている。自律制御モジュールは、車載ネットワークを介して車両内のそれぞれのコンポーネントに関する情報を取得することもできる。一般に、さまざまなタイプのセンサーが車両に取り付けられ得、各センサーは、収集されたデータの対応フォーマット(第2のフォーマットまたは元のデータフォーマットと呼ばれる)を有する。通常、第2のフォーマットは、(多数のアルゴリズム機能モジュールを含む)車両サーバーのインテリジェントシステムによって直接使用することはできない。したがって、車両サーバーは、最初に第2のフォーマットのデータを第1のフォーマットに処理し、次に第1のフォーマットのデータをアルゴリズムベースの計算のためにインテリジェントシステムに入力する必要がある。さらに、車両サーバーは、処理されたデータを第1のフォーマットで、格納のためにデータベースにアップロードすることもできる。つまり、第1のフォーマットは、元のデータの処理されたフォーマットまたは格納されたフォーマットである。
【0040】
現在、インテリジェントシステムのシミュレーションテストには、主に以下の2つのスキームがある。
【0041】
1つのスキームは、環境モデルおよびセンサーモデルを使用して仮想シーンからセンサー情報を生成し、センサー情報をシミュレーションテストのためにインテリジェントシステムに入力することである。ただし、このスキームは、3Dレンダリングや3Dモデリングなどのさまざまな問題を伴う、仮想シーンの構築に対する高い要件を有する。この場合、仮想シーンは大量の計算能力によってサポートされる必要があり、構築に高いコストを必要とするが、それは計算リソースの多大な浪費である。仮想シーンは、インテリジェントシステムが動作する実世界のシーンから大きく外れている。その結果、実世界のシーンでインテリジェントシステムの動作状態をシミュレートすることは困難である。
【0042】
別のスキームは、事前に収集されたセンサーデータを再生し、シミュレーションテストのためにインテリジェントシステムに入力することである。ただし、ここで再生されるデータはデータベースから直接取得される。このようなデータは第1のフォーマットであり、使用のためにインテリジェントシステムに直接入力できる。この場合、車両サーバーは、実際の車両が行うようにインテリジェントシステムにそれを入力する前に、第2のフォーマットを第1のフォーマットに処理しないため、センサーソフトウェアの実際のネットワーク負荷とコンピューティングリソースの使用量の一部が無視され、実際の車両環境でのデータ伝送および処理プロセスがシミュレートできない。その結果、インテリジェントシステムのシミュレーションテストは不完全であり、インテリジェントシステムの実際の動作シーンを忠実に反映することができず、シミュレーションテストの精度に影響を及ぼす。
【0043】
図1に示されるように、関連技術の問題を克服するために、本開示の実施形態は、シミュレーションテストのための方法100を提供する。方法100は、仮想センサーコンピューティングプラットフォームまたは実際のセンサーのデータ収集モジュールなしで多数の実際のセンサーの機能を統合することができる仮想センサーシステムであり得る、第1のコンピューティングデバイスで実行され得る。データは、データベースから直接取り出され、処理され、車両サーバーなどの第2のコンピューティングデバイスに伝送され得る。図1に示されるように、方法100は、以下のステップを含む。
【0044】
ステップS101において、データベースから、少なくとも1つの第1のセンサーのための第1のフォーマットのデータが取り出される。
【0045】
ステップS102において、第1のセンサーのための第1のフォーマットのデータは、第2のフォーマットの対応データを取得するために処理される。第2のフォーマットは、第1のセンサーのデータ収集のフォーマットである(すなわち、第2のフォーマットは、第1のセンサーによって収集されたデータのフォーマットである)。
【0046】
ステップS103において、第1のセンサーの第2のフォーマットのデータは、第2のコンピューティングデバイスに伝送され、これによって、第2のコンピューティングデバイスは、第2のフォーマットの受信データに基づいてシミュレーションテストを実行する。ここで、第2のコンピューティングデバイスは、そのインテリジェントシステム上でシミュレーションテストを実行し、インテリジェントシステムは、知覚アルゴリズムモジュール、位置特定アルゴリズムモジュール、決定アルゴリズムモジュール、および制御アルゴリズムモジュールなどの少なくとも1つのアルゴリズムモジュールを含む。
【0047】
当業者が本開示をよりよく理解することを可能にするために、より詳細な実施形態が以下に示される。図2に示されるように、本開示の実施形態は、シミュレーションテストのための方法200を提供する。方法200は、以下のステップを含む。
【0048】
ステップS201において、データ制御命令が受信され、データ制御命令に対応する第1のフォーマットのデータが、データベース内のセンサーデータの格納場所から取り出される。
【0049】
ここで、データ制御命令は、選択されるデータの条件を含み得る。選択されるデータの条件は、ターゲットデータ名、ターゲットデータアイデンティティ、およびターゲット期間のうちの少なくとも1つを含み得る。その中で、ターゲットデータ名およびターゲットデータアイデンティティは、それぞれ、ターゲットドライブテストデータ名およびターゲットドライブテストデータアイデンティティであり得る。
【0050】
次に、データ制御命令を受信し、データベース内のセンサーデータの格納場所からデータ制御命令に対応する第1のフォーマットのデータを取り出すステップS201は、データ制御命令を受信し、データベース内のセンサーデータの格納場所から選択されるデータの条件に対応する第1のフォーマットのデータを取り出すことによって実施され得る。
【0051】
さらに、データ制御命令は、開始制御命令および一時停止制御命令をさらに含み得る。
【0052】
次に、データ制御命令を受信し、データベース内のセンサーデータの格納場所からデータ制御命令に対応する第1のフォーマットのデータを取り出すステップS201は、以下によって実施され得る:
【0053】
第1のフォーマットのデータの取り出し中における一時停止制御命令の受信に応答して、第1のフォーマットのデータの取り出しを一時停止し、データ未取り出し状態に入る;および、
【0054】
データ未取り出し状態での開始制御命令の受信に応答して、データベース内のセンサーデータの格納場所から第1のフォーマットのデータの取り出しを再開し、データ取り出し済状態に入る。
【0055】
ここでは、渋滞シーンや高速シーンなど、異なるシーンにおけるさまざまな種類のセンサーデータが収集されることにより、これらのシーンにおけるセンサーデータはシミュレーションによって再生およびテストされ得、故に、これらの異なるシーンにおける要求条件およびリソース占有条件を分析することができる。
【0056】
データ制御命令は、加速制御命令、減速制御命令などの他の制御命令を含み得ることが理解され得る。本開示は、これらの例に限定されるものではない。加速制御命令の受信に応答して、センサーデータの取り出しは加速され得、または、減速制御命令の受信に応答して、センサーデータの取り出しは減速され得る。特定の加速および減速値は、必要に応じて当業者によって設定され得るが、本開示はそれらに限定されない。
【0057】
ステップS202において、第1のフォーマットのデータは、第1のセンサーのタイプに対応するネットワーク伝送プロトコルに従って処理され(これは、データのシリアル化プロセスを含む順方向処理と呼ばれる)、第2のフォーマットの対応データを取得する。
【0058】
本開示の実施形態によれば、第1のセンサーは、画像キャプチャデバイス、ライダー(lidar)などの点群捕捉デバイス、およびグローバルナビゲーション衛星システム(GNSS)センサーのうちの少なくとも1つを含み得る。
【0059】
画像キャプチャデバイスの場合、第1のフォーマットの対応データは、圧縮された画像データを含み得、ネットワーク伝送プロトコルは、ギガビットイーサネット(登録商標)ベースの画像伝送標準プロトコル(例えば、GigE Vision)を含み得る。この場合、第1のセンサーのための第1のフォーマットのデータを処理することにより第2のフォーマットの対応データを取得するステップS202は、圧縮された画像データを解凍することにより青、緑、赤(BGR)フォーマットの画像データを形成することと、BGRフォーマットの画像データに対して画像フォーマット変換を実行することにより、GigE Visionプロトコルに準拠する1つ以上の元の画像データパケットとして、画像キャプチャデバイスに対応するベイヤー(Bayer)画像データを形成することによって実施され得る。
【0060】
ライダーやレーダーなどの点群キャプチャデバイスの場合、第1のフォーマットの対応データは、点群データパケットグループを含み得、ネットワーク伝送プロトコルは、ユーザーデータグラムプロトコル(UDP)および伝送制御プロトコル(TCP)を含み得る。この場合、第1のセンサーのための第1のフォーマットのデータを処理することにより第2のフォーマットの対応データを取得するステップS202は、点群データパケットグループを分解し、UDPおよびTCPに準拠する1つ以上の元の点群データパケットとして、ライダーなどの点群キャプチャデバイスに対応する1つ以上の点群データパケットを形成することによって実施され得る。
【0061】
ここで、ライダーなどの点群キャプチャデバイスがレーザー点群を収集している場合、通常は1つの円(360°)の収集範囲で、0.2°ごとに収集された点群がデータパケット(つまり、点群データパケット)を形成し、10個のデータパケットごとにデータパケットグループ(つまり、点群データパケットグループ)を構成する。このようにして、ライダーは円ごとに180個のデータパケットグループを生成する。ただし、これらのデータパケットグループは、UDPおよびTCPプロトコルを使用してネットワーク経由で直接伝送することはできない。したがって、これらは、UDPおよびTCPプロトコルに準拠する元のデータパケットとして、データパケットに分解される必要がある。ここで、各データパケットは、点群情報およびライダーのGPS情報を含む。点群情報はUDPを使用して伝送され、ライダーのGPS情報はTCPを使用して伝送されることとなる。
【0062】
GNSSセンサーの場合、第1のフォーマットのデータは、格納されたGNSSデータを含み得、ネットワーク伝送プロトコルは、TCPを含み得る。この場合、第1のセンサーのための第1のフォーマットのデータを処理することにより第2のフォーマットの対応データを取得するステップS202は、格納されたGNSSデータ(例えば、GnssMsgとして示される)を復号化することによりGNSS情報データ(例えば、GnssInfoとして示される)を形成することと、GNSS情報データを符号化することにより、TCPに準拠する1つ以上の元のGNSSデータパケットとして、GNSSセンサーに対応する1つ以上のGNSSネットワークデータパケット(例えば、GnssPacketとして示される)を形成することによって実施され得る。
【0063】
ステップS203において、第2のフォーマットのデータは、第2のフォーマットのデータのタイムスタンプ情報に基づいて所定の周期/頻度にて第2のコンピューティングデバイスに伝送され、これにより、第2のコンピューティングデバイスは、第2のフォーマットのデータに基づきインテリジェントシステムの機能モジュール上においてシミュレーションテストを実行できる。
【0064】
特に、元の各データパケットはタイムスタンプ情報を有する。例えば、3つの連続する元のデータパケットは、順次0.1秒ずつ互いに異なるタイムスタンプ情報を有し、所定の周期は0.1秒である。そして、システム時間に応じて、それぞれのタイムスタンプ情報に対応する元のデータパケットは、0.1秒ごとに伝送され得る。
【0065】
実際のセンサーデータは一定の露光時間および処理時間を有し、かつ、データ露光時間は異なる光条件において異なり得るため、本開示は、データ再生プロセス中のデータ遅延を忠実に再現するために、実際のデータのデータ遅延をさらに記録することができる。好ましくは、タイムスタンプ情報は、第2のフォーマットのデータのための、トリガータイムスタンプ、露光時間、および処理時間のうちの少なくとも1つを含み得る。ここで、露光と処理の実際の時間の長さは、露光時間と処理時間として直接記録され得る。または、露光タイムスタンプと処理完了タイムスタンプ(またはデータ伝送タイムスタンプ)とが記録され得、これらのタイムスタンプとトリガータイムスタンプとの組み合わせに基づいて露光時間と処理時間を計算できる。本開示は、2つの時間長を記録するための特定のスキームに限定されない。ステップS203は、第2のフォーマットのデータの修正されたタイムスタンプに基づいて、所定の周期/頻度で第2のフォーマットのデータを第2のコンピューティングデバイスに伝送することによって実施され得、ここで、修正されたタイムスタンプは、第2のフォーマットのデータのトリガータイムスタンプに時間遅延を加えたものである。
【0066】
ここでは、以下のいずれかが時間遅延として使用される(以下のオプションの1つが選択されると、取得された元のデータパケットのすべてがそれに応じて処理されることとなる):
【0067】
1)所定の露光時間と所定の処理時間との合計;
【0068】
2)第2のフォーマットのデータのための露光時間と所定の処理時間との合計;または、
【0069】
3)露光時間と第2のフォーマットのデータのための処理時間との合計。
【0070】
ここで、所定の露光時間および所定の処理時間は、それぞれ、先験的知識に基づいて得られた平均露光時間および平均処理時間であり得、本開示は、それらの特定の値に限定されない。所定のサイクル頻度で伝送される元のデータパケットは、具体的には、データ伝送が伝送周期ごとにトリガーされることにより現在伝送される必要があるデータを伝送することを意味する。3つの元のデータパケットのトリガータイムスタンプが100ms、200ms、および300msであり、最初の遅延が15msであるとすると、対応する修正されたタイムスタンプは115ms、215ms、および315msであり、トリガー周期は0.1秒である。次に、0.1秒ごとにデータ伝送がトリガーされ、現在伝送する必要のあるキュー内のデータが順番に伝送される。
【0071】
第2のオプションでは、処理時間の遅延は比較的固定されているので、データが再生されるとき、データパケットの露光時間の遅延のみが再現される一方で、処理時間の遅延は単に所定の処理時間であり得るため、これにより、実際のデータ伝送を可能な限り復元することを前提として、データ計算速度を向上させ、それに応じてデータ伝送速度を向上させる。3番目のオプションでは、各データパケットの露光時間および処理時間の両方が再生されるため、実際の車両のデータ伝送プロセスをより忠実に再現でき、テストの精度を向上させることができる。
【0072】
さらに、第1のセンサーと第2のコンピューティングデバイスとの間のシミュレートされたデータ伝送ラインを介して少なくとも1つの第1のセンサーのための第2のフォーマットのデータを第2のコンピューティングデバイスに伝送することによって、第1のセンサーのための第2のフォーマットのデータは、第2のコンピューティングデバイスに伝送され得る。
【0073】
一般に、実世界の動作環境においては複数の第1のセンサーがあり得、各第1のセンサーは、ネットワークバスを介して第2のコンピューティングデバイスに接続される。第1の実装では、シミュレートされたデータ伝送ラインは、複数の第1のセンサーのいずれかと第2のコンピューティングデバイスとの間のネットワークバスであり得る。第2の実装では、シミュレートされたデータ伝送ラインは、複数の第1のセンサーのそれぞれのものと第2のコンピューティングデバイスとの間の複数のネットワークバス間における中央値の長さを有するネットワークバスであり得る。さらに別の実装では、複数の第1のセンサーの各々と第2のコンピューティングデバイスとの間の伝送ラインの長さが計算され得、すべての伝送ラインの平均長さが計算され得る。次に、所定の長さの伝送ラインがシミュレートされたデータ伝送ラインとして選択され得、所定の長さは平均長に等しいかそれより小さい。
【0074】
具体的には、それぞれのセンサーと実車両上のサーバーとの間のネットワークバスの平均パラメータ、例えば平均長は、事前に計算され得、平均パラメータを有するネットワークバスが、所定の経路として選択され得る。それぞれのセンサーのネットワークバスパラメータに大きな違いはなく、長さは各データ伝送に与える影響が比較的小さいため、このアプローチは仮想サーバーの構築を簡素化し、データ伝送の複雑さを軽減し、実世界のデータ伝送条件を再現することができる。
【0075】
第3の実装では、第1のコンピューティングデバイスは、実車両上のそれぞれのタイプのセンサーに対応するデータインターフェースを提供され得、各データインターフェースは、実車両上の対応するセンサー位置と車両サーバーとの間のネットワークバスを使用して、センサーの種類に対応するデータを伝送し、それによって実際のデータ伝送プロセスを完全に再現することができる。
【0076】
当業者が本開示をよりよく理解できるようにするために、本開示のいくつかの実施形態が、実際のシミュレーションテストシーンを参照して以下に説明される。
【0077】
例として自律車両の場合、インテリジェントシステムは自律運転システムである。図3に示されるように、自律運転車両300は、通常、第2のコンピューティングデバイス320、様々なセンサー、およびスイッチ340を備えている。ここで、第2のコンピューティングデバイス320は、インテリジェントシステムが配置されているサーバ(すなわち、自律車両上の車両サーバ)である。様々なセンサーは、例えば、画像キャプチャデバイス331(カメラなど)、点群キャプチャデバイス(ライダーなど)332、およびGNSSセンサー333(統合ナビゲーションデバイスなど)を含み得る。各センサーおよび第2のコンピューティングデバイス320は、スイッチ340を介して互いに通信可能に接続されることによりネットワークバスのデータ伝送経路を形成する。
【0078】
インテリジェントシステム上でシミュレーションテストを実行するために、本開示の実施形態は、図4に示されるように、シミュレーションテストのためのシステム400を提供する。シミュレーションテストのためのシステム400は、様々なセンサーを仮想化するための、第1のコンピューティングデバイス310と呼ばれるサーバーを備えている。第1のコンピューティングデバイス310は、実車両上の様々なセンサーを置き換えることができ、スイッチ340を介して第2のコンピューティングデバイス320に接続されることにより、ネットワークバスのデータ伝送経路を形成することができる。このようにして、シミュレーションテストのためのシステム400は、シミュレーションテストのために、オフィスや工場の建物などの屋内環境に据えられ得、実際の車両環境における実車両フィールドテストの必要はない。また、本開示に記載の第1のコンピューティングデバイス310は、コンピュータ室、オフィス等に提供され得、第2のコンピューティングデバイス320は、コンピュータ室、オフィス、自律車両等に提供され得ることに留意されたい。2つのデバイスは、同じ場所または異なる場所に配置され得、本開示は、これらの例に限定されない。
【0079】
加えて、第1のコンピューティングデバイス310はまた、スイッチ340を介してデータベース350に接続されることにより、処理のためにデータベース350から第1のフォーマットのデータを取り出し、処理されたデータを第2のフォーマットで第2のコンピューティングデバイス320に伝送し得る。自律車両300は、異なるセンサーデータをそれぞれ処理するための複数の(例えば、2つの)第2のコンピューティングデバイス320を含み得ることに留意されたい。同様に、シミュレーションテストのためのシステム400内に1つ以上の第1のコンピューティングデバイス310および1つ以上の第2のコンピューティングデバイス320があり得、本開示は、シミュレーションテストのためのシステム400内の特定の数の第1または第2のコンピューティングデバイスに限定されない。第1のコンピューティングデバイス310は、異なるタイプのセンサーからのデータを処理し、データを対応する第2のコンピューティングデバイス320に伝送するように構成されている。ここで、センサーのタイプ、第1のコンピューティングデバイス(複数可)、および第2のコンピューティングデバイス320(複数可)の間の関連関係は、関連関係に従ってデータを取り出しおよび配信するように、事前に決定され得る。
【0080】
さらに、テスターによるインテリジェントシステムのシミュレーションテストの観察を容易にするために、シミュレーションテストのためのシステム400はまた、ディスプレイフロントエンド360を備えてもよい。第1のコンピューティングデバイス310は、第2のコンピューティングデバイス320、第1のコンピューティングデバイス310のコンピューティングコア、およびディスプレイフロントエンド360とデータを交換し、第1のコンピューティングデバイス310の状態を監視するための状態監視サービス(ソフトウェアサブモジュールであり得る)を備えている。状態監視サービスは、第2のコンピューティングデバイス320から状態制御コマンドを受信し、状態制御コマンドを第1のコンピューティングデバイス310のコンピューティングコアに転送する。コンピューティングコアは、自身の状態をリアルタイムで状態監視サービスに伝送し、状態監視サービスは、表示のために表示フロントエンド360に状態をプッシュするが、それによってテスターは状態を簡単に確認できる。
【0081】
ここで、状態監視サービスは、リモートプロシージャコール(RPC)サービスであり得、該サービスは、Python環境において第2のコンピューティングデバイス320から制御命令を入手する。第1のコンピューティングデバイス310のコンピューティングコアは、C++環境で作動する。したがって、本開示は、HTTPプロトコルを使用する状態監視サービスのためのPythonステートメントとコンピューティングコアのためのC++ステートメントとの間の変換を提供する。また、ディスプレイフロントエンド360は、JavaScript(登録商標)環境で作動し、故に、本開示では、RPCサービスの機能を用いる状態監視サービスとディスプレイフロントエンド360との間のデータ交換を提供する。もちろん、異なる言語環境の間における他の変換スキームもあり、本開示はこれらのスキームのいずれにも限定されない。異なる言語環境のための全ての変換スキームは、本開示の範囲内にある。
【0082】
図5は、実車両テストおよびシミュレーションテストにおけるソフトウェアデータフローの比較を示す。破線部分は実車両環境におけるソフトウェアデータフローを示し、実線部分は仮想センサーシステムが適用されたシミュレートされた環境でのソフトウェアデータフローを示す。このソフトウェアアーキテクチャでは、仮想センサーシステムは車両上の実際のセンサーを完全に置き換えており、伝送されたデータは、実際のハードウェアと同じインターフェースを備えたインテリジェントシステムサーバー上のソフトウェアによって受信されるため、実世界の動作シーンでの自律車両のためのデータ入手および伝送プロセスを効果的にシミュレートできる。仮想サーバー全体は、ハードウェアの観点からは、通常動作しているインテリジェントシステムサーバーから独立しており、インテリジェントシステムサーバーのソフトウェア部分のいかなるパフォーマンスにも影響を与えることはない。本開示は、コンピューティングリソースに関する一貫性を確保するために、実際の車両と一致するハードウェア環境およびIO/CPUリソース消費を作成し、センサーソフトウェア部分の実際のネットワーク負荷およびコンピューティングリソース使用をシミュレートする。さらに、データパケットの取り出し、再現、および伝送は、仮想サーバーにおいて独立して実行されており、これは、インテリジェントシステムサーバーにおける実行時に過剰なメモリ使用量によって発生し得る不安定なフレームレートの現象を効果的に軽減する。
【0083】
このようにして、図6に示されるように、本開示の実施形態は、シミュレーションテストのための方法600を提供する。方法600は、以下のステップを含む。
【0084】
ステップS601において、第1のコンピューティングデバイスは、第2のコンピューティングデバイスから伝送されると、選択されるデータの条件を含むデータ制御命令を受信する。
【0085】
選択されるデータの条件は、ターゲットデータ名、ターゲットデータアイデンティティ(ID)、およびターゲット期間のうちの少なくとも1つを含み得る。概して、ユーザーは、第2のコンピューティングデバイスに関連するディスプレイインターフェース上においてデータ条件を選択することができる。例えば、選択されるデータの条件は、対応するデータ制御命令を生成するために、ボタン選択、プルダウンメニュー表示、または手動入力によって決定され得る。さらに、表示インターフェースは、一時停止、再生開始、ドラッグ、早送り、巻き戻し、およびループ再生などの機能をユーザーに提供するために、データを再生するためのプログレスバーを表示することもでき、それによって対応する一時停止制御命令、開始制御命令、または早送り制御命令などを生成することができる。第1のコンピューティングデバイス310は、対応する状態監視表示インターフェースを有することができ、第2のコンピューティングデバイス320はまた、対応するデータ状態表示インターフェースを有することができることに留意されたい。2つのディスプレイインターフェースは、同じ物理デバイス内または異なる物理デバイス内に実装することができ、本開示はそれに限定されない。
【0086】
ステップS602において、第1のコンピューティングデバイスは、データベース内のセンサーデータの格納場所から、選択されるデータの条件に対応する第1のフォーマットのデータを取り出す。
【0087】
例えば、選択されるデータの条件は、ターゲットドライブテストデータ名がTCハイウェイドライブテストデータであり、ターゲット期間が2020年8月3日の15:00時から2020年8月3日の16:00時までであり得る。したがって、第1のコンピューティングデバイスは、データベース内のセンサーデータの格納場所から、TCハイウェイドライブテストデータ内の対応するターゲット期間のための第1のフォーマットのデータを取り出すことができる。別の例として、選択されるデータの条件は、ターゲットドライブテストデータIDが202008030001であり、ターゲット期間が2020年8月3日の15:00時から2020年8月3日の16:00時までであり得る。したがって、第1のコンピューティングデバイスは、データベース内のセンサーデータの格納場所から、IDが202008030001であるデータ内の対応するターゲット期間のための第1のフォーマットのデータを取り出すことができる。ここで、第2のフォーマットで得られるデータは、点群キャプチャデバイス、画像キャプチャデバイス、GNSSセンサーなどの様々なタイプのセンサーによって以前に収集された実シーンのセンサーデータ、例えば、画像キャプチャデバイスに対応する圧縮画像データ、ライダーに対応する点群データパケットグループ、およびGNSSセンサーに対応する格納されたGNSSデータであり得る。
【0088】
本開示のいくつかの実施形態によれば、データは、Python関数を呼び出すことによってデータベースから取り出され得、Pythonのマルチスレッド呼び出しがサポートされ得る。データベースは、ローカルデータパケットおよびネットワーク接続ストレージ(NAS)データパケットをネイティブにサポートする。特定の実装では、C++はPybind11を呼び出し、Pythonスクリプトを使用して各センサーのためのデータの各フレームを取り出す。Pythonマルチスレッド呼び出しはPython gil(グローバルロック)で保護される必要があるため、異常なダウンタイムなどの現象が発生し得ることに留意されたい。しかし、本開示は、PythonのC++マルチスレッド呼び出しの使用時にはロック保護を使用しない。したがって、この実装では、pybindを呼び出すコードはすべてロックおよび保護されている。
【0089】
取り出したデータはキャッシュされる。本開示は、第1のコンピューティングデバイスにおいて2つのバッファキューを提供する。第1のバッファキューは、データが取り出された後、データが転送処理される前に提供され得、第2のバッファキューは、データが転送処理された後、データが伝送される前に提供され得る。各バッファキューは優先キューであり、優先度はタイムスタンプ(収集されたデータのタイムスタンプなど)に基づいて決定される。タイムスタンプが小さいほど、優先度は高くなる。各バッファキューは、状態値を使用して、データを書き込むか読み取るかを相互作用するモジュールに通知するが、状態値は、空、満杯、および残りのバッファ量の少なくとも1つを含む。また、上記ステップ602を実施するプロセスにおいて、本開示の実施形態によれば、以下のプロセスが実施され得る。
【0090】
第1のコンピューティングデバイスが第1のフォーマットのデータを取り出している間に第2のコンピューティングデバイスからの一時停止制御命令の受信に応答して、第1のコンピューティングデバイスは、第1のフォーマットのデータの取り出しを一時停止し、データ未取り出し状態に入ることができる。このとき、インテリジェントシステムにおける機能モジュールのシミュレーションテストのプロセスも一時停止される。
【0091】
第1のコンピューティングデバイスがデータ未取り出し状態にある間に第2のコンピューティングデバイスからの開始制御命令の受信に応答して、第1のコンピューティングデバイスは、データベース内のセンサーデータの格納場所から第1のフォーマットのデータの取り出しを再開し、データ取り出し済状態に入ることができる。このとき、インテリジェントシステムにおける機能モジュールのシミュレーションテストも再開される。
【0092】
加えて、データベース内のセンサーデータの格納場所から第1のフォーマットのデータAの特定のセグメントを取り出すプロセスにおいて、第1のコンピューティングデバイスは、第2のコンピューティングデバイスからデータ切り替え命令を受信し得る(例えば、第1のフォーマットにてデータAのセグメントからデータBのセグメントに切り替えるための命令)。次に、第1のコンピューティングデバイスは、データ切り替え命令に従って、データベース内のセンサーデータの格納場所から第1のフォーマットのデータBのセグメントを取り出すことができる。その後、第2のコンピューティングデバイスは、第1のフォーマットのデータBのセグメントに基づいて、インテリジェントシステムにおける機能モジュールのシミュレーションテストを継続することができる。特に、データ切り替え命令は、ターゲットデータ名、ターゲットデータアイデンティティ(ID)、またはターゲット期間などの切り替えのうちの1つを含み得るが、本開示はそれに限定されない。
【0093】
ステップS603において、第1のコンピューティングデバイスは、各第1のセンサーのタイプに対応するネットワーク伝送プロトコルに従って第1のフォーマットのデータを処理し、第2のフォーマットの対応データを取得する。
【0094】
これを行う目的は、ネットワークを介した後続の伝送のための、さまざまなタイプのセンサーの元のデータパケットを取得することによりセンサーとインテリジェントシステムサーバーとの間のネットワークデータ伝送をシミュレートし、これにより、インテリジェントシステムサーバーの処理パフォーマンスに対する実際のネットワーク負荷状態の影響を再現するためである。
【0095】
上記のように、センサーのタイプは、画像キャプチャデバイス、ライダーなどの点群キャプチャデバイス、GNSSセンサーなどを含み得る。各タイプのセンサーは、その対応するデータフォーマットとネットワーク伝送プロトコルを有する。特定のデータ変換スキームは、方法200に関連して詳細に説明されており、その説明はここでは省略される。
【0096】
ステップS604において、第1のコンピューティングデバイスは、第2のフォーマットのデータのタイムスタンプ情報に基づいて、所定の周期/頻度において、シミュレートされたデータ伝送ラインを介して第2のフォーマットのデータを第2のコンピューティングデバイスに伝送する。
【0097】
第1のコンピューティングデバイスは、方法200に関連して詳細に開示されたタイムスタンプ情報、例えば、トリガータイムスタンプ、露光時間、処理時間などに基づいて、第2のフォーマットにてデータを伝送するが、ここでその説明は省略される。ここでは、記録プロセスで発生するデータ凍結現象を効果的に再現し、センサーデータの再生精度を向上させるために、データ露光時間と処理時間が記録され得る。仮想サーバーを使用してデータを再生すると、再生プロセス中に発生し得るデータのフリーズをある程度軽減できるため、フレームレートを安定させることができる。すなわち、本開示は、一方では、記録プロセスにおけるデータ凍結を再現することを目的とし、他方では、再生中のデータ凍結を軽減することを目的とする。
【0098】
本開示のいくつかの実施形態によれば、ユーザーは、再生プロセスを制御するために、一時停止、再生、および第2のコンピューティングデバイスのプレーヤープログレスバーでのドラッグなどの機能的操作を選択することができる。記録されたデータパケットの開始時刻をtとし、再生を開始するシステム時刻をTと想定する。再生が通常の再生順序で行われる場合、システム時間とデータ時間の時間差Δtは、T-tに保たれる。時間遅延に基づいて、現在のシステム時間に対応するデータフレームが決定され得る。しかし、ユーザーが一時停止やドラッグなどの操作を行う場合は、現在の新たな時間差は、操作が行われた後のフォーマットデータの時刻tnowと現在のシステム時刻Tnowとに基づいて、Δt’=Tnow-tnowとして決定される必要がある。
【0099】
例えば、ユーザーがプログレスバーのtで一時停止ボタンをクリックすると、この時点でのシステム時刻はTになり、システム時刻は一時停止後のTnowであり、この時点ではtnowはまだtであり、従って、新たな時間差は、Δt’=Tnow-tとなる。同様に、ユーザーがプログレスバーをtからtにドラッグし、ドラッグ後の現在のシステム時刻がTnowの場合、新たな時間差はΔt’=Tnow-tとなる。
【0100】
2つのコンピューティングデバイス間のタイムアライメントおよび同期を確保するために、現在のシステム時間Tnowは、第2のコンピューティングデバイスのシステム時間であり得、第2のコンピューティングデバイスから第1のコンピューティングデバイスに伝送され得る。
【0101】
さらに、第1のコンピューティングデバイスは、TCPを使用して第2のコンピューティングデバイス上の第2の相互作用モジュールに接続され得、第2の相互作用モジュールは、第2のコンピューティングデバイスにおける再生時間および監視状態項目を連続的に転送することができる。第1のコンピューティングデバイスにおける第1の相互作用モジュールは、データを分析することにより、再生、一時停止、ドラッグ時間制御、およびループ再生などの機能を提供することができる。第2の相互作用モジュールは毎秒1回制御情報を伝送し、第1のコンピューティングデバイスは、制御情報中の再生時間に基づいてプレーヤーの再生開始時間を更新し、故に両側の再生時間を確実に同期させる。
【0102】
加えて、伝送データの一貫性を確保するために、伝送プロセス中に、第2のコンピューティングデバイスは、定期的にハートビート情報を仮想サーバーに伝送することができ、第1のコンピューティングデバイスは、第2のコンピューティングデバイスのシステム時間と同期するように、第2のフォーマットでのデータの伝送の進行状況などそれ自体のデータ伝送状態をリアルタイムで報告することができ、これにより、第1のコンピューティングデバイスによってリアルタイムで伝送される第2のフォーマットのデータが、第2のコンピューティングデバイスによって期待されるデータと正確に一致することが保証される。
【0103】
ステップS605において、第2のコンピューティングデバイスは、第2のフォーマットの受信データに基づいて、インテリジェントシステムにおける機能モジュールに対してシミュレーションテストを実行する。
【0104】
一般に、インテリジェントシステムには多くの機能モジュールがあり得る。例えば、自律運転の分野では、機能モジュールは、ローカリゼーションアルゴリズムモジュール(「位置特定」)、知覚アルゴリズムモジュール(「知覚」)、意思決定および計画アルゴリズムモジュール(「計画」)などのさまざまなアルゴリズムモジュール、またはカメラ動作状態監視モジュール(「カメラ1」、「カメラ2」など)、ライダー状態検出モジュール(「ライダー1」、「ライダー2」など)、GNSS信号監視モジュール(「Novatel」)などのさまざまな状態監視モジュールを含み得る。本開示によれば、各シミュレートされたシーンにおいて出力されたセンサーデータは、テストが必要なアルゴリズムモジュールに入力され、アルゴリズムモジュールの実行結果を得る。実世界のシーンと同様のシミュレートされたシーンにおいてアルゴリズムモジュールをテストすることにより、より効果的なテスト結果が取得され得る。例えば、画像のための第2のフォーマットのデータを取得した後、第2のコンピューティングデバイスは、画像ベースの知覚アルゴリズムモジュール(「知覚」)でシミュレーションテストを実行することにより知覚結果が正確であるかどうかを決定することができる。もちろん、実際には、第2のコンピューティングデバイスは、さまざまな機能モジュールでシミュレーションテストを同期的に実行できる。全体的なシミュレーションテストシーンは、センサーによってデータが直接収集されるシーンと同じである。各機能モジュールのシミュレーションテストの詳細は、ここでは省略される。
【0105】
特に、第2のコンピューティングデバイスが第2のフォーマットのデータに基づいてインテリジェントシステム上にてシミュレーションテストを実行するとき、第2のコンピューティングデバイスは最初に(逆シリアル化プロセスを含む第1のコンピューティングデバイスでの順方向処理プロセスとは対照的に)第2のフォーマットのデータに対して逆方向処理を実行し、第1のフォーマットの対応データを取得するのだが、これは、第2のコンピューティングデバイスによって直接使用され得るデータである。シミュレーションのためにデータベースから第1のフォーマットのデータを直接取り出す第2のコンピューティングデバイスと比較して、本開示は、センサーと車両サーバーとの間の実際のデータ伝送および分析プロセスを忠実に再現することができる。
【0106】
図7に示されるように、左側に順方向処理が示され、右側に逆方向処理が示されている。逆方向処理の具体的なプロセスを以下に説明する。
【0107】
例えば、センサーが画像キャプチャデバイスを含む場合、第2のフォーマットの対応データは、1つ以上の元の画像データパケットであり得、それらは、通常はベイヤー画像データである。この場合、ベイヤー画像データが変換されることにより、BGRフォーマットの画像データを形成することができる。次に、BGRフォーマットの画像データは圧縮されることにより、シミュレーションテストのためのデータとして圧縮画像データが取得され得る。
【0108】
別の例として、センサーがライダーなどの点群キャプチャデバイスを含む場合、第2のフォーマットの対応データは、一般に1つ以上の点群データパケットを含む、1つ以上の元の点群データパケットであり得る。この場合、点群データパケットは組み合わされることにより、シミュレーションテストのためのデータとして、点群データパケットグループを形成し得る。
【0109】
さらに別の例として、センサーがGNSSセンサーを含む場合(例えば、統合ナビゲーションシステムデバイスが使用され得る)、第2のフォーマットの対応データは、一般に(例えば、GnssPacketとして示される)1つ以上のGNSSネットワークデータパケットを含む、1つ以上の元のGNSSデータパケットであり得る。この場合、GNSSネットワークデータパケットは復号されることにより、(例えば、GnssInfoとして示される)GNSS情報データを形成し得る。次に、GNSS情報データは符号化されることにより、シミュレーションテストのためのデータとして、(例えば、GnssMsgとして示される)格納されたGNSSデータを形成し得る。
【0110】
第1のフォーマットのデータに対してフォーマット変換が行われる場合、USB伝送プロトコル、PCI-E伝送プロトコルなどの他の伝送プロトコルも使用され得ることが理解され得るが、本開示はそれに限定されない。この場合、第1のコンピューティングデバイスは、伝送プロトコルに従って第1のフォーマットのデータに対して順方向処理を実行し、第2のフォーマットのデータを取得する。第2のフォーマットのデータを受信した後、第2のコンピューティングデバイスは、順方向処理のために伝送プロトコルに関する逆方向処理を実行する。
【0111】
さらに、ステップS605において、第2のコンピューティングデバイスは、以下のように、第2のフォーマットのデータに基づいて、インテリジェントシステム上においてシミュレーションテストを実行することができる。
【0112】
第2のコンピューティングデバイスは、第1のセンサーの第2のフォーマットにて受信されたデータに対して逆方向処理を実行することにより、第1のフォーマットの対応データを取得し、データベースから第2のセンサーのための第1のフォーマットのデータを取り出し、そして逆方向処理から取得された第1のセンサーのための第1のフォーマットのデータと組み合わせて第2のセンサーのための第1のフォーマットのデータに基づいて、インテリジェントシステム上においてシミュレーションテストを実行することができる。ここでは、第1のセンサーは、既知の伝送プロトコルを有するセンサーであり得、第2のセンサーは、未知の伝送プロトコルを有するセンサーであり得る。ここでは、さまざまな種類のセンサー(カメラ、レーザーレーダー、ミリ波レーダーなどの現在主流のセンサーであり、車両バイワイヤ制御は、オープンソースプロトコル、オープンSDKインターフェースを有するか、商用協力を通じて利用可能である)の伝送プロトコルがわかっている場合、センサーデータは、データベースから取り出され、再生され、そして伝送され得る。未知の伝送プロトコルを有する一部のセンサーの場合、第2のコンピューティングデバイスは、再生のためにデータベースから第1のフォーマットのデータを直接取り出し、再生中に、データベースから取り出され、かつ第1のコンピューティングデバイスから伝送されつつ再現されたデータと組み合わせて、第1のフォーマットの再生データに基づいて、第2のコンピューティングデバイス上における機能モジュールのシミュレーションテストを実行することができる。この場合、一方で、第2のコンピューティングデバイスは、第1のコンピューティングデバイスから再現されたデータを取得し、データに対して逆方向処理を実行することができ、他方で、第2のコンピューティングデバイスは、データベースからデータを直接取り出し、再生とシミュレーションテストのために2種類のデータを組み合わせることができる。
【0113】
例えば、画像キャプチャデバイス、ライダー、およびGNSSセンサーの中で、画像キャプチャデバイスの伝送プロトコルは不明であると想定され(例えば、クローズドソース伝送プロトコル、タイプ2センサーを有する)、ライダーおよびGNSSセンサーの伝送プロトコルは既知であると想定される(タイプ1センサー)。画像キャプチャデバイスの圧縮画像データは、第2のコンピューティングデバイスにおける直接データ再生のためにデータベースから取り出され得るが、ライダーとGNSSセンサーの関連データは、第1のコンピューティングデバイスから再現および伝送する必要がある。このようにして、本開示の実施形態は、伝送プロトコルが未知であるいくつかの状況に適合し得る。時間同期を前提として、データ再生スキームと組み合わせて、第2のコンピューティングデバイスのシミュレーションテストの精度を確保できる。
【0114】
本開示の技術的解決策によれば、第1のコンピューティングデバイスは、異なるセンサーおよび車両状態に対する実際のセンサーのドライブテストデータに基づいて、センサー側および車両バイワイヤ制御側の実際の元のデータフォーマットを逆に解決し、次に、それぞれの伝送プロトコルを使用して、それらを第2のコンピューティングデバイスに順番に伝送し得るが、故に、インテリジェントシステム側での差別化されていない動作と、ネットワーク負荷、計算負荷などを含むドライブテスト条件の忠実な再現を実現し、これによって、高い一貫性を確保できる。
【0115】
加えて、図8に示されるように、本開示の実施形態は、以下を含むシミュレーションテストのためのデバイス800を提供する:
【0116】
データベースから第1のセンサーのための第1のフォーマットのデータを取り出すように構成されたデータベース取り出しユニット801;
【0117】
第1のフォーマットのデータを処理して第2のフォーマットの対応データを取得するように構成されたデータ処理ユニット802であり、第2のフォーマットは、実世界の動作環境における第1のセンサーによって収集されたデータのフォーマットである、データ処理ユニット802;および
【0118】
第2のフォーマットのデータを第2のコンピューティングデバイスに伝送するように構成されており、これによって、第2のコンピューティングデバイスが、第2のフォーマットの受信されたデータに基づいてインテリジェントシステム上においてシミュレーションテストを実行する、データ伝送ユニット803。
【0119】
本開示によるシミュレーションテストのためのデバイス800の詳細については、図1から図7の説明を参照することができ、その説明はここでは省略される。
【0120】
加えて、図9に示されるように、本開示の実施形態はまた、シミュレーションテストのためのシステム900を提供し、該システムは、シミュレートされたデータ伝送ライン903を介して互いに接続された第1のコンピューティングデバイス901および第2のコンピューティングデバイス902を含む。ここで、シミュレートされたデータ伝送ライン903は、実際の車両環境における第1のセンサーと第2のコンピューティングデバイスとの間のデータ伝送経路と実質的に同じである。シミュレーション方法の詳細については、方法200の説明を参照することができるが、その説明はここでは省略される。
【0121】
第1のコンピューティングデバイス901は、データベースから第1のセンサーのための第1のフォーマットのデータを取り出し、第1のフォーマットのデータを処理して第2のフォーマットの対応データを取得し、第2のフォーマットのデータを第2のコンピューティングデバイス902に伝送するように構成されている。
【0122】
第2のコンピューティングデバイス902は、第2のフォーマットの受信データに基づいてインテリジェントシステム上においてシミュレーションテストを実行するように構成されている。特に、第2のフォーマットのデータは、第1のフォーマットの対応データを取得するために最初に逆方向処理され、シミュレーションテストは、第1のフォーマットのデータに基づいてインテリジェントシステム上において実行される。さらに、第2のセンサーのための第1のフォーマットのデータは、データベースから取り出され得、シミュレーションテストは、逆方向処理から取得される第1のセンサーのための第1のフォーマットのデータと組み合わせて、第2のセンサーのための第1のフォーマットのデータに基づいてインテリジェントシステム上において実行され得る。
【0123】
さらに、本開示の実施形態は、コンピュータ読取り可能記憶媒体を提供する。コンピュータ読取り可能記憶媒体は、コンピュータ上で実行されると、コンピュータに上記のシミュレーションテストのための方法を実行させるプログラムまたは命令を含む。
【0124】
加えて、本開示の実施形態は、図10に示されるようなコンピューティングデバイス1000を提供し、該コンピューティングデバイスにおいて、本開示において上記で説明された技術が適用され得る。コンピューティングデバイス1000は、第1のコンピューティングデバイスまたは第2のコンピューティングデバイスであり得る。コンピューティングデバイス1000は、メモリ1002と、メモリ1002に通信可能に接続された1つ以上のプロセッサ1003とを含むように実装され得る。メモリは、1つ以上のプロセッサによって実行可能な命令、コード、および/またはストレージデータを格納する。命令は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、上記のシミュレーションテストの方法を実行させる。コンピューティングデバイス1000は、1つ以上の通信プロトコル(例えば、LTE、Wi-Fi)などを実装し得る通信インターフェース1003をさらに含み得る。
【0125】
本開示は、ネットワーク伝送層のシミュレーションのための実際の車両のトポロジーと一致するネットワークトポロジーを作成する。シミュレートされたデータ伝送ラインは、実際のセンサーと車両サーバーとの間のデータ伝送経路と同じであるため、元のデータパケットがセンサーによって収集され、実際の伝送経路を介して車両サーバーに伝送され、車両サーバーによって処理される、インテリジェントな運転中のプロセスを完全にシミュレートすることが可能である。伝送経路の負荷状態は総合的に考慮されており、シミュレーションテスト環境が実世界の環境により近づけられている。その上、本開示は、露光時間および処理時間などの異なる段階でのセンサーの時間遅延をさらにシミュレートし、実世界のシーンでの伝送プロセスおよび処理プロセスにおけるセンサーデータの時間精度を再現し、テスト結果の精度を向上させている。
【0126】
本開示の実施形態は、方法、システム、またはコンピュータプログラム製品として実施され得ることを当業者は理解することができる。本開示は、純粋なハードウェアの実施形態、純粋なソフトウェアの実施形態、およびそれらの任意の組み合わせを含み得る。また、本開示は、コンピュータ読取り可能プログラムコードを含む1つ以上のコンピュータ読取り可能記憶媒体(磁気ディスク記憶装置、CD-ROM、および光学記憶装置を含むがこれらに限定されない)に実装されたコンピュータプログラム製品を含み得る。
【0127】
本開示は、本開示の実施形態による方法、デバイス(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明されてきた。フローチャートおよび/またはブロック図の各プロセスおよび/またはブロック、あるいはそれらの任意の組み合わせは、コンピュータプログラム命令によって実施され得ることが理解され得る。このようなコンピュータプログラム命令は、一般的なコンピュータ、専用コンピュータ、組み込みプロセッサ、または他の任意のプログラム可能なデータ処理デバイスのプロセッサに提供されることにより機械を構成することができ、これによって、コンピュータのプロセッサまたは任意の他のプログラム可能なデータ処理デバイスによって実行される命令が、フローチャートにおける1つ以上のプロセスおよび/またはブロック図における1つ以上のブロックによって指定される機能を実装するための手段を構成できる。
【0128】
これらのコンピュータプログラム命令は、コンピュータまたは任意の他のプログラム可能なデータ処理デバイスに特定の方法で動作するように指示することができる、コンピュータ読取り可能メモリにも格納され得る。したがって、コンピュータ読取り可能メモリに格納された命令は、フローチャートにおける1つ以上のプロセスおよび/またはブロック図における1つ以上のブロックによって指定された機能を実装するための命令手段を含む製品を構成する。
【0129】
これらのコンピュータプログラム命令はまた、コンピュータまたは任意の他のプログラム可能なデータ処理デバイスにもロードされ得、その結果、コンピュータまたはプログラム可能なデータ処理デバイスは、コンピュータで実施されるプロセスを達成するための一連の操作/ステップを実行できる。このようにして、コンピュータまたはプログラム可能なデータ処理デバイスで実行される命令は、フローチャートにおける1つ以上のプロセスおよび/またはブロック図における1つ以上のブロックによって指定される機能を実装するためのステップを提供することができる。
【0130】
本開示において、本開示の原理および実施は、特定の実施形態を参照して説明されてきた。これらの実施形態は、本開示およびその中心的な概念による方法の理解を容易にするための例示にすぎない。さらに、当業者の場合、本開示の原理から逸脱することなく、特定の実装および適用シナリオに修正が加えられ得る。要約すると、本明細書の内容は、本開示を限定するものとして解釈されるべきではない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10