特開 2024-84692 現実情報データベースのシミュレーション用の仮想センサモデルの正確度検証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084692

(43)【公開日】2024-06-25

(54)【発明の名称】現実情報データベースのシミュレーション用の仮想センサモデルの正確度検証方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240618BHJP

   G01M 17/007 20060101ALI20240618BHJP

   B60W 60/00 20200101ALI20240618BHJP

   B60W 40/02 20060101ALI20240618BHJP

   B60W 50/04 20060101ALI20240618BHJP

   G06V 20/56 20220101ALI20240618BHJP

【ＦＩ】

G06T7/00 650B

G01M17/007 B

B60W60/00

B60W40/02

B60W50/04

G06V20/56

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023186429

(22)【出願日】2023-10-31

(31)【優先権主張番号】10-2022-0173316

(32)【優先日】2022-12-13

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】503257778

【氏名又は名称】コリア エレクトロニクス テクノロジ インスティチュート

【住所又は居所原語表記】２５，Ｓａｅｎａｒｉ－ｒｏ，Ｂｕｎｄａｎｇ－ｇｕ，Ｓｅｏｎｇｎａｍ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ １３５０９ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100083138

【弁理士】

【氏名又は名称】相田 伸二

(74)【代理人】

【識別番号】100189625

【弁理士】

【氏名又は名称】鄭 元基

(74)【代理人】

【識別番号】100196139

【弁理士】

【氏名又は名称】相田 京子

(74)【代理人】

【識別番号】100199004

【弁理士】

【氏名又は名称】服部 洋

(72)【発明者】

【氏名】イ ソンヨン

(72)【発明者】

【氏名】ミン キョンウォン

(72)【発明者】

【氏名】ソン ヘンソン

(72)【発明者】

【氏名】シム ヨンボ

(72)【発明者】

【氏名】スン ジホ

(72)【発明者】

【氏名】パク ジンマン

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241BA62

3D241BA63

3D241BB00

3D241CE06

3D241DB01Z

3D241DB02Z

3D241DB12Z

3D241DC01Z

3D241DC18Z

3D241DC21Z

3D241DC25Z

5L096AA06

5L096AA09

5L096BA04

5L096CA02

(57)【要約】      （修正有）

【課題】正確度の向上が期待でき、アルゴリズム開発を速め、安定性も高める現実情報データベースのシミュレーション用の仮想センサモデルの正確度検証方法を提供する。
【解決手段】仮想センサ検証方法は、実際の道路を走る実際の車両の位置とステータス情報を取得し、実際の車両のうち、現実情報の取得車両の実際のセンサが生成するセンサデータを取得することと、取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現し、仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得することと、取得した実際のセンサデータと仮想センサデータとを比較し、仮想センサを検証することと、自律走行のための認知、判断、制御アルゴリズムに供給する仮想センサデータの正確度を測定して検証することと、を含み、自律走行アルゴリズムのシミュレータベースの検証結果に対する正確度の向上が期待できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

実際の道路を走る実際の車両の位置とステータス情報を取得するステップと、
実際の車両のうち、現実情報の取得車両の実際のセンサから生成される実際のセンサデータを取得するステップと、
取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するステップと、
仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得するステップと、
取得された実際のセンサデータと仮想センサデータとを比較し、仮想センサを検証するステップと
を含むことを特徴とする仮想センサ検証方法。

【請求項2】

仮想センサは、
実際のセンサの種類と仕様とを模擬した仮想のセンサであることを特徴とする請求項１に記載の仮想センサ検証方法。

【請求項3】

実際のセンサは、
実際のカメラ、実際のライダ、実際のレーダを含み、
仮想センサは、
仮想カメラ、仮想ライダ、仮想レーダを含むことを特徴とする請求項１に記載の仮想センサ検証方法。

【請求項4】

実際の車両の位置とステータス情報は、
実際の車両に装着されたＧＮＳＳ／ＩＮＳから取得されることを特徴とする請求項１に記載の仮想センサ検証方法。

【請求項5】

実際の車両に装着されたＧＮＳＳ／ＩＮＳは、
現実情報の取得車両に装着されたＧＮＳＳ／ＩＮＳのＧＰＳ時刻を基準に同期化することを特徴とする請求項４に記載の仮想センサ検証方法。

【請求項6】

「現実情報の取得車両のＧＰＳ時刻」と、「ターゲット車両のＧＰＳ時刻」との間の差は、次の数式によって計算され、

【数1】

は、ＧＰＳ時刻差、

は、現実情報の取得車両の取得装備におけるＧＰＳ時刻データ処理の遅延時間、

は、ターゲット車両の取得装備におけるＧＰＳ時刻データ処理の遅延時間、

は、現実情報の取得車両の取得装備におけるＧＰＳ受信の遅延時間、

は、ターゲット車両の取得装備におけるＧＰＳ受信の遅延時間であることを特徴とする請求項５に記載の仮想センサ検証方法。

【請求項7】

現実情報の取得車両の実際のセンサデータは、
現実情報の取得車両のＧＰＳ時刻を基準に同期化することを特徴とする請求項５に記載の仮想センサ検証方法。

【請求項8】

仮想道路は、
仮想空間で実際の道路を同じように模擬した道路であることを特徴とする請求項１に記載の仮想センサ検証方法。

【請求項9】

シミュレータは、
現実情報の取得車両を通じて、自律走行アルゴリズムをテストするためのツールであることを特徴とする請求項１に記載の仮想センサ検証方法。

【請求項10】

実際の道路を走る実際の車両の位置とステータス情報を取得し、実際の車両のうち、現実情報の取得車両の実際のセンサから生成される実際のセンサデータを取得する同期化モジュールと、
取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するシミュレーションモジュールと、
仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得し、取得された実際のセンサデータと仮想センサデータとを比較し、仮想センサを検証する検証モジュールと
を含むことを特徴とする仮想センサ検証システム。

【請求項11】

実際の道路を走る実際の車両から取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するステップと、
仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得するステップと、
取得した仮想センサデータと、実際の車両のうち現実情報の取得車両の実際のセンサから取得した実際のセンサデータとを比較し、仮想センサを検証するステップと
を含むことを特徴とする仮想センサ検証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律走行シミュレーションに関し、より詳細には、シミュレータを用いて自律走行アルゴリズムを仮想の道路環境で検証するために活用する仮想のセンサモデルに対する正確度を検証する方法に関する。

【背景技術】

【0002】

自律走行車の認知、判断及び制御動作のために、車にセンサを搭載し、車の周りをセンシングして全方位にある客体情報を把握する。特に、自律走行車に搭載のカメラ、ライダ、レーダなどのセンサデータから車周辺の客体、道路における走行可能エリア、交通信号状況などの状況を認知し、周辺客体の移動方向、現在の走行可否などを判断し、車の動きを制御する。
自律走行車に搭載する自律走行アルゴリズムを検証するために、実車ベースの検証のみならず、素速くかつ効果的な検証のために、シミュレータベースの方法を同時に使用している。自律走行車に搭載する認知、判断及び制御アルゴリズムの動作にために求める各種センサデータは、仮想のセンサをモデリング及び模擬する方法で生成し、アルゴリズムに供給する。よって、正確なアルゴリズムの動作のために、自律走行シミュレータで使用する仮想センサモデルの出力値が正確さを保つことが重要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、シミュレータベースに自律走行車に搭載される自律走行ＳＷを検証する際、自律走行のための認知、判断、制御アルゴリズムに供給する仮想センサデータの正確度を測定して検証する方法を提供することにある。

【課題を解決するための手段】

【0004】

上記目的を達成するための本発明の一実施例に係る仮想センサ検証方法は、実際の道路を走る実際の車両の位置とステータス情報を取得するステップと、実際の車両のうち、現実情報の取得車両の実際のセンサから生成される実際のセンサデータを取得するステップと、取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するステップと、仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得するステップと、取得された実際のセンサデータと仮想センサデータとを比較し、仮想センサを検証するステップとを含む。
仮想センサは、実際のセンサの種類と仕様とを模擬した仮想のセンサであってよい。

【0005】

実際のセンサは、実際のカメラ、実際のライダ、実際のレーダを含み、仮想センサは、仮想カメラ、仮想ライダ、仮想レーダを含んでよい。
実際の車両の位置とステータス情報は、実際の車両に装着されたＧＮＳＳ／ＩＮＳから取得されてよい。
実際の車両に装着されたＧＮＳＳ／ＩＮＳは、現実情報の取得車両に装着されたＧＮＳＳ／ＩＮＳのＧＰＳ時刻を基準に同期化してよい。
「現実情報の取得車両のＧＰＳ時刻」と、「ターゲット車両のＧＰＳ時刻」との間の差は、次の数式によって計算され、

【0006】

【数1】

【0007】

は、ＧＰＳ時刻差、

は、現実情報の取得車両の取得装備におけるＧＰＳ時刻データ処理の遅延時間、

は、ターゲット車両の取得装備におけるＧＰＳ時刻データ処理の遅延時間、

は、現実情報の取得車両の取得装備におけるＧＰＳ受信の遅延時間、

は、ターゲット車両の取得装備におけるＧＰＳ受信の遅延時間であってよい。
現実情報の取得車両の実際のセンサデータは、現実情報の取得車両のＧＰＳ時刻を基準に同期化してよい。

【0008】

仮想道路は、仮想空間で実際の道路を同じように模擬した道路であってよい。
シミュレータは、現実情報の取得車両を通じて、自律走行アルゴリズムをテストするためのツールであってよい。

【0009】

本発明の別の実施例によると、実際の道路を走る実際の車両の位置とステータス情報を取得し、実際の車両のうち、現実情報の取得車両の実際のセンサから生成される実際のセンサデータを取得する同期化モジュールと、取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するシミュレーションモジュールと、仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得し、取得された実際のセンサデータと仮想センサデータとを比較し、仮想センサを検証する検証モジュールとを含むことを特徴とする仮想センサ検証システムが提供される。

【0010】

本発明の更に別の実施例によると、実際の道路を走る実際の車両から取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するステップと、仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得するステップと、取得した仮想センサデータと、実際の車両のうち現実情報の取得車両の実際のセンサから取得した実際のセンサデータとを比較し、仮想センサを検証するステップとを含むことを特徴とする仮想センサ検証方法が提供される。

【0011】

本発明の更に別の実施例によると、実際の道路を走る実際の車両から取得した位置とステータス情報から、実際の車両を仮想道路に仮想車両で再現するシミュレーションモジュールと、仮想車両のうち、仮想情報の取得車両に装着された仮想センサから出力される仮想センサデータを取得し、取得した仮想センサデータと、実際の車両のうち現実情報の取得車両の実際のセンサから取得した実際のセンサデータとを比較し、仮想センサを検証する検証モジュールとを含むことを特徴とする仮想センサ検証システムが提供される。

【発明の効果】

【0012】

以上説明したように、本発明の実施例によれば、自律走行のための認知、判断、制御アルゴリズムに供給する仮想センサデータの正確度を測定し、検証することができるため、究極的に自律走行アルゴリズムのシミュレータベースの検証結果に対する正確度の向上が期待できるようになる。
更に、本発明の実施例によれば、様々な環境及び条件のシナリオをベースに、自律走行ＳＷ検証が可能であるため、アルゴリズム開発を速めることができ、アルゴリズムの安定性も更に高めることができるようになる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施例に係る仮想センサモデルの検証システムの構成を示す図である。

【図2】本発明の別の実施例に係る仮想センサモデルの検証方法を説明するためのフローチャートである。

【図3】実際の車両から取得したデータの同期化方法を示す図である。

【発明を実施するための形態】

【0014】

以下では、図面を参照し、本発明をより詳細に説明する。
本発明の実施例では、現実情報データベースのシミュレーション用の仮想センサモデルの正確度検証方法を提示する。自律走行アルゴリズムをシミュレータを用いた仮想の道路環境で検証するために活用する、仮想のセンサモデルに対する正確度を測定して検証する技術である。

【0015】

図１は、本発明の一実施例に係る仮想センサモデルの検証システムの構成を示す図である。本発明の実施例に係る仮想センサモデルの検証システムは、図示のように、センサデータ同期化モジュール１１０と、自律走行シミュレーションモジュール１２０と、仮想センサ検証モジュール１３０とを含んで構成される。
センサデータ同期化モジュール１１０は、実際の道路を走る実際の車両１０、１０－１、１０－２、…、１０－ｎからデータを受信して同期化する。実際の車両１０、１０－１、１０－２、…、１０－ｎは、現実情報の取得車両１０と、ターゲット車両１０－１、１０－２、…、１０－ｎとに区分してよい。

【0016】

現実情報の取得車両１０は、実際のセンサデータを生成する対象として、自車（ｅｇｏ ｖｅｈｉｃｌｅ）に該当し、ターゲット車両１０－１、１０－２、…、１０－ｎは、現実情報の取得車両１０の周辺を走る車のことをいう。
現実情報の取得車両１０から収集するデータには、ＧＮＳＳ／ＩＮＳデータと、実際のセンサデータとが含まれる。一方、ターゲット車両１０－１、１０－２、…、１０－ｎからはＧＮＳＳ／ＩＮＳデータのみを収集する。

【0017】

ＧＮＳＳ／ＩＮＳデータは、実際の車両１０、１０－１、１０－２、…、１０－ｎの位置とステータス（車両の位置、方位、速度など）情報を盛り込んでいる。現実情報の取得車両１０に設置されている実際のセンサには、カメラ、ライダ、レーダを含んでよく、その他の別の種類のセンサが更に含まれていてよい。
それにより、センサデータ同期化モジュール１１０は、現実情報の取得車両１０からＧＮＳＳ／ＩＮＳデータと、実際のセンサデータとを受信し、ターゲット車両１０－１、１０－２、…、１０－ｎからは、ＧＮＳＳ／ＩＮＳデータを受信し、受信されたデータを同期化する。センサデータ同期化モジュール１１０による同期化方法については、図３を参照して詳細に後述する。

【0018】

自律走行シミュレーションモジュール１２０は、センサデータ同期化モジュール１１０を介して伝達されるＧＮＳＳ／ＩＮＳデータに収録された実際の車両１０、１０－１、１０－２、…、１０－ｎの位置とステータス情報から、実際の車両１０、１０－１、１０－２、…、１０－ｎを仮想道路に仮想車両として再現する。
自律走行シミュレーションは、仮想車両を介して自律走行アルゴリズムを仮想環境でテストするためのツールである。仮想道路は、仮想空間上の道路として、実際の道路を同じように模擬した道路である。

【0019】

一方、仮想車両のうち、現実情報の取得車両１０に相当する仮想車両である仮想情報の取得車両には、仮想センサモデルが装着される。仮想センサモデルは、現実情報の取得車両１０に設置された実際のセンサの種類と仕様とを同じように模擬した仮想センサである。

【0020】

仮想センサ検証モジュール１３０は、実際のセンサデータと仮想センサデータとを比較し、仮想情報の取得車両に装着された仮想センサモデルの正確度を検証する。実際のセンサデータは、センサデータ同期化モジュール１１０を介して、現実情報の取得車両１０から取得し、仮想センサデータは、自律走行シミュレーションモジュール１２０から取得する。

【0021】

図２は、本発明の別の実施例に係る仮想センサモデルの検証方法を説明するためのフローチャートである。
仮想センサモデルを検証するために、まず、センサデータ同期化モジュール１１０は、実際の道路を走る実際の車両１０、１０－１、１０－２、…、１０－ｎの位置とステータス情報を取得し（Ｓ２１０）、現実情報の取得車両１０から実際のセンサデータを取得する（Ｓ２２０）。

【0022】

次に、自律走行シミュレーションモジュール１２０は、ステップＳ２１０で取得された位置とステータス情報から、実際の車両１０、１０－１、１０－２、…、１０－ｎを仮想道路に仮想車両として再現する（Ｓ２３０）。
そして、仮想センサ検証モジュール１３０は、現実情報の取得車両１０に相当する仮想情報の取得車両に装着された仮想センサモデルから仮想センサデータを取得し（Ｓ２４０）、取得された仮想センサデータを、ステップＳ２２０で取得した実際のセンサデータと比較し、仮想センサモデルの正確度を検証する（Ｓ２５０）。

【0023】

以下では、上述のセンサデータ同期化モジュール１１０による同期化方法について、詳細に説明する。
現実情報の取得車両１０とターゲット車両１０－１、１０－２、…、１０－ｎとから取得したデータから、仮想環境を実現するためには、データを同期化する必要がある。相互異なる実際の車両から取得したデータの同期化方法について、図３に示している。

【0024】

現実情報の取得車両１０のＧＰＳ時刻を基準に、周辺のターゲット車両のＧＮＳＳ／ＩＮＳデータを、図３のように取得していると仮定する。現実情報の取得車両１０から取得したＧＮＳＳ／ＩＮＳデータの取得時刻と、周辺のターゲット車両のＧＮＳＳ／ＩＮＳデータの取得時刻とは、相互異なる可能性が高い。なお、ＧＮＳＳ／ＩＮＳデータを取得し始めた時刻も相互異なるため、自車である現実情報の取得車両１０を基準にデータを同期化する過程が必要となる。

【0025】

図３は、現実情報の取得車両１０に搭載されたデータ取得装備と、周辺のターゲット車両のデータ取得装備から取得したＧＮＳＳ／ＩＮＳデータの例示を示す。ＵＴＣ ｔｉｍｅで比較するために、各データ取得装備の時刻情報を取得し、ＧＰＳ時刻データを取得する。
相互異なる装備から取得したセンサデータを同期化し、正確な比較データを抽出するための

の計算方法は、次の通りである。

【0026】

【数2】

【0027】

上記数式において、取得装備＃１[現実情報の取得車両１０の取得装備]と、取得装備＃２[ターゲット車両１０－１、１０－２、…、１０－ｎの取得装備]から取得したＧＰＳデータのうち、時刻差の小さいデータ

、

を抽出する。

は、取得装備＃１においてＧＰＳ時刻データ処理にかかる遅延時間であり、

は、取得装備＃２においてＧＰＳ時刻データ処理にかかる遅延時間である。

【0028】

なお、

は、取得装備＃１におけるＧＰＳ受信の遅延時間を意味し、

は、取得装備＃２におけるＧＰＳ受信の遅延時間を意味する。

は

であり、この値を

に足すと、

値を推定することができる。よって、

は、取得装備＃１と取得装備＃２とのＧＰＳ時刻差を意味する。

【0029】

一方、現実情報の取得車両１０の実際のセンサデータは、現実情報の取得車両１０のＧＰＳ時刻を基準に同期化する。
これまで、現実情報データベースのシミュレーション用の仮想センサモデルの正確度検証方法について、好適な実施例を挙げて詳細に説明してきた。

【0030】

上記の実施例では、シミュレータベースに自律走行車に搭載される自律走行ＳＷを検証する際、自律走行のための認知、判断、制御アルゴリズムに供給する仮想センサデータの正確度を測定して検証する方法を示している。
それにより、自律走行車に搭載する自律走行アルゴリズム及び認知、判断、制御アルゴリズムのシミュレータベースの検証結果に対する正確度の向上を期待することができ、多様な環境及び条件のシナリオベースに自律走行ＳＷ検証が可能であり、アルゴリズム開発を速めることができ、アルゴリズムの安定性も更に高めることができるようになる。

【0031】

一方、本実施例に係る装置及び方法の機能を行わせるコンピュータプログラムを組み込んだコンピュータで読み取り可能な記録媒体にも、本発明の技術的思想が適用され得る。なお、本発明の多様な実施例に係る技術的思想は、コンピュータで読み取り可能な記録媒体に記録されたコンピュータで読み取り可能なコード形式で実現されてよい。コンピュータで読み取り可能な記録媒体とは、コンピュータによって読み取ることができ、データを保存することができる如何なるデータ保存装置でも可能である。例えば、コンピュータで読み取り可能な記録媒体とは、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光ディスク、ハードディスクドライブなどであってよい。なお、コンピュータで読み取り可能な記録媒体に保存されたコンピュータで読み取り可能なコード又はプログラムは、コンピュータ間で接続されたネットワークを介して伝送されてよい。

【0032】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【図1】

【図2】

【図3】