▶ コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】自律走行車両のレーン追跡のための方法及びシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241016BHJP
G06T 7/277 20170101ALI20241016BHJP
G01C 21/28 20060101ALI20241016BHJP
B60W 30/12 20200101ALI20241016BHJP
B60W 60/00 20200101ALI20241016BHJP
G06N 3/0442 20230101ALI20241016BHJP
【ＦＩ】
G06T7/00 650A
G06T7/00 350C
G06T7/277
G01C21/28
B60W30/12
B60W60/00
G06N3/0442
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024518850
(86)(22)【出願日】2022-09-27
(85)【翻訳文提出日】2024-03-26
(86)【国際出願番号】 EP2022076759
(87)【国際公開番号】W WO2023046975
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】202141043726
(32)【優先日】2021-09-27
(33)【優先権主張国・地域又は機関】IN
(31)【優先権主張番号】2117061.8
(32)【優先日】2021-11-26
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．ＢＬＵＥＴＯＯＴＨ
３．イーサネット
４．ＯＲＡＣＬＥ
(71)【出願人】
【識別番号】322007626
【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100191938
【弁理士】
【氏名又は名称】高原 昭典
(72)【発明者】
【氏名】チャバリ・ポジュラージュ
(72)【発明者】
【氏名】ハリバクタ・スリ・ハリ・ブパラ
(72)【発明者】
【氏名】スリダー・ミュラリクリシュナ
【テーマコード（参考）】
2F129
3D241
5L096
【Ｆターム（参考）】
2F129AA03
2F129BB03
2F129BB48
2F129FF02
2F129FF14
2F129GG17
2F129GG18
3D241BA12
3D241BA50
3D241CE04
3D241CE06
3D241DB01Z
3D241DC37Z
5L096BA04
5L096FA67
5L096FA68
5L096HA05
5L096HA11
5L096KA04
(57)【要約】
開示される主題は、自律走行車両のレーン追跡システムの訓練及びレーン追跡のための方法及びシステムを開示する自律走行車両の分野に関する。訓練段階中、レーン追跡システムは、レーン境界検出点に対応するグラウンドトゥルース値及び測定値を受信し、且つグラウンドトゥルースクロソイド点及び測定されたクロソイド点を決定する。その後、レーン境界をモデル化するために、測定されたクロソイド点についてクロソイドパラメータの係数値が決定され、及び次いで、レーン境界を追跡するために、少なくとも１つのニューラルネットワークを使用して係数値のためのカルマンフィルタパラメータが決定される。更に、クロソイドパラメータの係数値は、カルマンフィルタパラメータを使用して更新され、それを使用して、測定されたクロソイド点が再構成され、且つレーン境界を追跡するために使用される。更に、訓練誤差は、係数ではなく、クロソイド点間のＬ２ノルムによって取得され、それにより訓練誤差の最小化を強化する。訓練されたレーン追跡システムは、その後、動的環境におけるレーン追跡のために展開される。
【特許請求の範囲】
【請求項1】
自律走行車両（１０１）のレーン追跡システム（１０３）を訓練する方法であって、レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
前記レーン追跡システム（１０３）により、各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を含む方法。
【請求項2】
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、請求項１に記載の方法。
【請求項3】
前記レーン追跡システム（１０３）により、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択することを含む、請求項１又は２に記載の方法。
【請求項4】
前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して、前記複数のレーン境界検出点を決定することを含み、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの前記少なくとも一方を取得することを含む、請求項４に記載の方法。
【請求項6】
前記クロソイドパラメータは、レーン境界の初期曲率（ｃｏ）、前記レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定することは、前記レーン追跡システム（１０３）により、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記レーン追跡システム（１０３）により、前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーン追跡システム（１０３）により、前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙｐ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記レーン追跡システム（１０３）により、前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐｐ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を含む、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記レーン追跡システム（１０３）により、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えることを更に含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
自律走行車両（１０１）のレーン追跡の方法であって、レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を含む方法。
【請求項13】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１２に記載の方法。
【請求項14】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１２又は１３に記載の方法。
【請求項15】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１２～１４のいずれか一項に記載の方法。
【請求項16】
自律走行車両（１０１）のレーン追跡システム（１０３）であって、プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に前記レーン追跡システム（１０３）を訓練させるプロセッサ（１０７）命令を格納するメモリ（１１１）と
を含み、訓練のために、前記プロセッサ（１０７）は、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を行うように構成される、レーン追跡システム（１０３）。
【請求項17】
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、請求項１６に記載のレーン追跡システム（１０３）。
【請求項18】
前記プロセッサ（１０７）は、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択する、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項19】
前記複数のレーン境界検出点は、前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して決定され、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、請求項１６～１８のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項20】
前記プロセッサ（１０７）は、前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの少なくとも一方を取得する、請求項１９に記載のレーン追跡システム（１０３）。
【請求項21】
前記クロソイドパラメータは、レーン境界の初期曲率（ｃｏ）、前記レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含む、請求項１６～２０のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項22】
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定するために、前記プロセッサ（１０７）は、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙｐ）を予測することと、
前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐｐ）を予測することと、
前記予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を行うように構成される、請求項１６～２１のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項23】
前記プロセッサ（１０７）は、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えるように更に構成される、請求項１６～２２のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項24】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１６～２３のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項25】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１６～２４のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項26】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１６～２５のいずれか一項に記載のレーン追跡システム（１０３）。
【請求項27】
自律走行車両（１０１）のレーン追跡システム（１０３）であって、プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を行わせるプロセッサ（１０７）命令を格納する、メモリ（１１１）と
を含むレーン追跡システム（１０３）。
【請求項28】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項２７に記載のレーン追跡システム（１０３）。
【請求項29】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項２７又は２８に記載のレーン追跡システム（１０３）。
【請求項30】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項２７～２９のいずれか一項に記載のレーン追跡システム（１０３）。
【発明の詳細な説明】
【技術分野】
【0001】
本主題は、概して、自律走行車両の分野に関し、より詳細には、限定されないが、自律走行車両のレーン追跡のための方法及びシステムに関する。
【背景技術】
【0002】
現在、自動車産業は、自律走行車両に向けて動き始めている。本明細書及び特許請求の範囲で使用される場合、自律走行車とは、人間の介在の有無に関わらず、道路上を移動するために自らの周囲の環境を検知することができる車両である。自律走行車両は、レーザ、光検知測距（ＬＩＤＡＲ）、全地球測位システム（ＧＰＳ）、コンピュータビジョンなど、自律走行車両において構成されたセンサを用いて環境を検知する。自律走行車両は、円滑に移動するために、道路上でのレーン検出及び追跡に大きく依存する。
【0003】
既存のレーン検出及び追跡技法は、レーン境界を追跡するためにカルマンフィルタを使用し得る。特に、カルマンフィルタは、レーンパラメータを予測し、且つレーン境界を追跡するレーン追跡装置の出力を平滑化するために使用され得る。一般に、カルマンフィルタは、ノイズの多い測定値又はノイズの多いプロセスが存在する場合でも状態ベクトルの動態を推定することができるため、レーン境界を追跡する際にカルマンフィルタが選択される。カルマンフィルタを決定するのに役立つ主なパラメータは、プロセスノイズ共分散行列（Ｑ）及び測定ノイズ共分散行列（Ｒ）である。レーン境界を追跡するためにカルマンフィルタに依拠する既存のレーン検出及び追跡技法は、カルマンフィルタを決定するために、事前定義又は固定されたＱ及びＲの値を使用する。実際には、Ｑ及びＲは、シナリオ、測定に使用された検出器、測定及び追跡に使用されたプロセスの種類などに基づいて動的に変化するパラメータである。しかしながら、既存の技法は、Ｑ及びＲの動的な性質を取り込むことができず、代わりにＱ及びＲに固定又は事前定義された値を使用し、これは、レーン追跡のためにカルマンフィルタに基づいて行われる予測の精度に影響を与える。不正確なレーン追跡により、自律走行車両に対して誤ったステアリングコマンド及び警告信号が生成され、その結果、車両の安全性が脅かされることになり得る。
【0004】
加えて、既存の技法では、Ｑ及びＲの値が固定されるため、既存の技法は、時間の経過と共に起こる状態の変化を取り込む柔軟性を欠き、その結果、予測は、数種類のレーン構造又は狭い範囲のレーン構造のみに制限される。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、カルマンフィルタを使用するレーン追跡をより高い精度及び柔軟性で行うことができる方法が必要とされている。
【0006】
本開示の背景のセクションに開示される情報は、本開示の一般的な背景の理解を高めるためのものにすぎず、この情報は、当業者に既に知られている従来技術を形成することの承認又は何らかの形式の示唆として解釈されるべきではない。
【課題を解決するための手段】
【0007】
自律走行車両のレーン追跡システムを訓練する方法が本明細書に開示される。本方法は、レーン追跡システムにより、レーン追跡システムに関連するレーン境界検出システムから、複数のレーン境界検出点に対応するグラウンドトゥルース値と、複数のレーン境界検出点に対応する測定値とを受信することを含む。更に、本方法は、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することを含む。グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、対応するグラウンドトゥルース値とを含み、測定された集合は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む。その後、本方法は、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定することを含む。カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される。カルマンフィルタパラメータを決定すると、本方法は、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新することを含む。更に、本方法は、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成することを含む。それぞれの再構成された測定されたクロソイド点は、レーン追跡システムが自律走行車両のレーン境界を追跡することを可能にする。最後に、本方法は、各サイクルにおいて、再構成された測定されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、訓練誤差が、事前定義された閾値を下回るまで最小化することを含む。
【0008】
更に、本開示は、自律走行車両のレーン追跡システムを含む。レーン追跡システムは、プロセッサと、プロセッサに通信可能に結合されたメモリとを含む。メモリは、実行時、プロセッサにレーン追跡システムを訓練させるプロセッサ命令を格納し、訓練のために、プロセッサが、レーン追跡システムに関連するレーン境界検出システムから、複数のレーン境界検出点に対応するグラウンドトゥルース値と、複数のレーン境界検出点に対応する測定値とを受信するように構成される。更に、プロセッサは、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定する。グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、対応するグラウンドトゥルース値とを含み、測定された集合は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む。その後、プロセッサは、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定する。カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される。カルマンフィルタパラメータを決定すると、プロセッサは、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新する。更に、プロセッサは、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成する。それぞれの再構成された測定されたクロソイド点は、レーン追跡システムが自律走行車両のレーン境界を追跡することを可能にする。最後に、プロセッサは、各サイクルにおいて、再構成された測定されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、訓練誤差が、事前定義された閾値を下回るまで最小化する。
【0009】
更に、本開示は、自律走行車両のレーン追跡の方法を開示する。本方法は、レーン追跡システムにより、レーン追跡システムに関連するレーン境界検出システムから、複数のレーン境界検出点に対応する測定値を受信することを含む。その後、本方法は、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することを含む。測定された集合は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む。その後、本方法は、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定することを含む。カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される。カルマンフィルタを決定すると、本方法は、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新することを含む。最後に、本方法は、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成することを含む。それぞれの再構成された測定されたクロソイド点は、レーン追跡システムが自律走行車両のレーン境界を追跡することを可能にする。
【0010】
更に、本開示は、自律走行車両のレーン追跡システムを開示する。レーン追跡システムは、プロセッサと、プロセッサに通信可能に結合されたメモリとを含む。メモリは、実行時、プロセッサに、レーン追跡システムに関連するレーン境界検出システムから、複数のレーン境界検出点に対応する測定値を受信させるプロセッサ命令を格納する。その後、プロセッサは、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定する。測定された集合は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む。その後、プロセッサは、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定する。カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される。カルマンフィルタを決定すると、プロセッサは、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新する。最後に、プロセッサは、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成する。それぞれの再構成された測定されたクロソイド点は、レーン追跡システムが自律走行車両のレーン境界を追跡することを可能にする。
【0011】
上記の概要は、単なる例示であり、決して限定することを意図するものではない。上述の例示的な態様、実施形態及び特徴に加えて、更なる態様、実施形態及び特徴が図面及び以下の詳細な記述を参照して明らかになるはずである。
【0012】
本開示に組み込まれ、本開示の一部を構成する添付の図面は、複数の例示的な実施形態を示し、以下の説明と併せて開示する原理を説明する役割を果たす。これらの図では、参照番号の左端の数字は、その参照番号が最初に現れる図を特定する。すべての図を通して同じ番号を用いて同様の特徴及び要素を指す。ここで、本主題の実施形態によるシステム及び／又は方法のいくつかの実施形態を、単なる例として添付の図を参照して説明する。
【図面の簡単な説明】
【0013】
【図1】本開示のいくつかの実施形態による、自律走行車両のレーン追跡を行う例示的なアーキテクチャを示す。
【図2A】本開示のいくつかの実施形態による、自律走行車両のレーン追跡の例示的なレーン追跡システムの詳細なブロック図を示す。
【図2B】本開示のいくつかの実施形態による、例示的なグラウンドトゥルース値に従って連続的に配置された例示的な複数のレーン境界検出点を示す。
【図2C】本開示のいくつかの実施形態による、例示的な測定値に従って連続的に配置された例示的な複数のレーン境界検出点を示す。
【図2D】本開示のいくつかの実施形態による、例示的な再構成されたクロソイド点を使用して追跡された例示的なレーンを示す。
【図2E】本開示のいくつかの実施形態による、自律走行車両が移動している道路に属する、追跡された複数の例示的なレーンを示す。
【図3A】本開示のいくつかの実施形態による、自律走行車両のレーン追跡システムを訓練する方法を示すフローチャートを示す。
【図3B】本開示のいくつかの実施形態による、自律走行車両のレーン追跡システムの方法を示すフローチャートを示す。
【図4】本開示と一致する実施形態を実装するための例示的なコンピュータシステムのブロック図である。
【発明を実施するための形態】
【0014】
本明細書のブロック図は、本主題の原理を具現化する例示的なシステムの概念図を表すものであることが当業者によって理解されるべきである。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体において実質的に表され、コンピュータ又はプロセッサが明示的に示されているか否かに関わらず、かかるコンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことを理解されたい。
【0015】
本明細書において、「例示的」という語は、「例、事例又は例示としての役割を果たすこと」を意味するために本明細書で使用される。「例示的」として本明細書で説明される本主題の実施形態又は実装は、必ずしも他の実施形態よりも好ましい又は有利であると解釈されるものではない。
【0016】
本開示は、様々な修正形態及び代替形態に対する余地がある一方、それらの特定の実施形態を図面において例として示し、以下で詳細に説明する。しかし、開示される形態に本開示を限定することは、意図されず、逆に、本開示は、本開示の範囲内に含まれるすべての修正形態、均等物及び代替形態を包含するものであることを理解されたい。
【0017】
用語「含む」、「含んでいる」、「包含する」又はそれらの任意の他の変形は、コンポーネント又はステップのリストを含むセットアップ、デバイス又は方法が、それらのコンポーネント又はステップのみを含むのではなく、明示的に列挙されていないか又はかかるセットアップ、若しくはデバイス、若しくは方法に固有ではない他のコンポーネント若しくはステップを含み得るように、非排他的な包含をカバーすることを意図される。換言すれば、「含む」に続くシステム又は装置の１つ以上の要素は、更なる制約がない限り、そのシステム又は方法に他の要素又は追加的な要素が存在することを排除しない。
【0018】
自律走行車両のレーン追跡の方法及びシステムが本明細書で開示される。いくつかの実施形態では、レーン追跡は、自律走行車両が移動している道路上の１つ以上のレーンの存在を検出することと、自律走行車両に対する１つ以上のコマンドを生成するために、検出されたレーンを追跡することとを含む。一例として、１つ以上のコマンドは、自律走行車両の移動を促進するステアリングコマンド、ブレーキコマンド、レーン変更コマンド、追い越しコマンド、警告信号などであり得る。本開示は、本開示の背景技術のセクションで述べた既存の技法の１つ以上の問題に対処するように、自律走行車両のレーン追跡を行う、人工知能（ＡＩ）ベースの方法を提供する。本方法はＡＩベースの方法であるため、本開示に開示される自律走行車両のレーンを追跡するレーン追跡システムは、動的環境に展開する前に訓練を必要とする。
【0019】
いくつかの実施形態では、レーン追跡システムは、様々な路上シナリオに対応する画像フレームを使用して決定された複数のレーン境界検出点に対応する測定値と共に、複数のレーン境界検出点に対応するグラウンドトゥルース値と、異なるタイプのレーンとを使用して訓練され得る。いくつかの実施形態では、グラウンドトゥルース値は、元の値、すなわち換言すれば現実のものであることが分かっており、且つ直接観測に基づいて提供される情報を指し得る。しかし、測定値は、システムによって決定又は予測される値であり、グラウンドトゥルース値のように直接観測に基づくものではない。したがって、測定値及びグラウンドトゥルース値は、測定値の精度に応じて、同じであることも異なることもある。いくつかの実施形態では、測定されたクロソイド点を形成するために測定値のサブセットが使用され得、グラウンドトゥルースクロソイド点を形成するためにグラウンドトゥルース値のサブセットが使用され得る。訓練段階中、レーン追跡システムは、カルマンフィルタを決定して、測定されたクロソイド点のクロソイドパラメータの係数値を更新し、次いでクロソイドパラメータの更新された係数値を使用して測定されたクロソイド点を再構成するように訓練され得る。その後、レーン追跡システムは、訓練誤差を決定し、サイクルごとの訓練誤差を最小化するように訓練され得る。クロソイド点に基づく自律走行車両のレーンを追跡するレーン追跡システムの訓練段階について、本開示の詳細な説明の後の部分で適切な図を用いて詳細に説明する。
【0020】
訓練段階中、レーン追跡システムは、１つ以上のニューラルネットワークを使用してカルマンフィルタパラメータを決定し得る。１つ以上のニューラルネットワークは、回帰型ニューラルネットワーク（ＲＮＮ）又は長・短期記憶（ＬＳＴＭ）ニューラルネットワークなどの時間記憶を伴うニューラルネットワークを含み得る。１つ以上のニューラルネットワークは、過去のイベントに関連する記憶を格納することができ、格納された記憶に基づいて長期依存性を学習することができる。本開示では、レーン追跡システムは、訓練段階中、１つ以上の同じ又は異なるニューラルネットワークを使用して測定ノイズ共分散行列（Ｒ）及びプロセスノイズ共分散行列（Ｑ）を動的に決定するように訓練され得る。例えば、測定ノイズ共分散行列（Ｒ）が、第１のニューラルネットワークを使用して動的に決定され得、プロセスノイズ共分散行列（Ｑ）が、第２のニューラルネットワークを使用して動的に決定され得る。第１のニューラルネットワーク及び第２のニューラルネットワークのそれぞれが、時間記憶を伴うニューラルネットワーク、例えば、ＲＮＮ又はＬＳＴＭネットワークであり得る。いくつかの他の実施形態では、測定ノイズ共分散行列（Ｒ）及びプロセスノイズ共分散行列（Ｑ）は、同じニューラルネットワークを使用して動的に決定され得る。実際には、Ｑ及びＲは、シナリオ、測定に使用された検出器、測定及び追跡に使用されたプロセスの種類などに基づいて動的に変化する。ニューラルネットワークを使用してＱ及びＲを決定することにより、ニューラルネットワークにより、自律走行車両の過去のサイクルからの取り込まれた過去のデータに基づいてＱ及びＲを決めることが可能になる。したがって、ニューラルネットワークは、経時的な変化を分析することによってＱ及びＲを決定するため、Ｑ及びＲは共に進展することになり得る。したがって、ニューラルネットワーク（複数可）を使用して決定されたＱ及びＲの値は、何らかのランダムな事前定義された値又は静的な値ではなく、画像フレームに取り込まれた現在のシナリオに固有のものである。Ｑ及びＲの値は、データドリブンであるニューラルネットワーク、すなわち、過去のサイクルからの取り込まれた過去のデータに基づいて分析し、その分析結果を使用して現在のシナリオのＱ及びＲを決定するニューラルネットワークを使用して決定されるため、Ｑ及びＲの決定された値は正確且つロバストである。更に、ニューラルネットワークは、訓練段階中、測定値と共にグラウンドトゥルース値を使用して訓練されるため、Ｑ及びＲの決定された値はグラウンドトゥルース値に近く、これにより動的に決定されたＱ及びＲの値の精度レベルが高まる。このような動的に決定された正確なＱ及びＲの値により、レーン追跡の正確なカルマンフィルタを決定することができ、その結果、クロソイドパラメータの正確な更新された係数値及び再構成された測定されたクロソイド点が得られる。
【0021】
再構成されたクロソイド点に起因して発生し得る訓練誤差は、各サイクルにおいて、再構成されたクロソイド点と、対応するグラウンドトゥルース集合、すなわち対応するレーン境界検出点のグラウンドトゥルース値のサブセットとの間の差分に基づいて決定され得る。このような訓練誤差は、訓練誤差が、事前定義された閾値を下回るまで最小化され得る。したがって、訓練段階中に訓練誤差を最小化することにより、レーン追跡の精度に悪影響を及ぼし得るわずかな訓練誤差も低減される。本開示では、訓練誤差は、いくつかの既存の技法で使用されるクロソイド係数を使用するのではなく、クロソイド点間のＬ２ノルムを使用することによって取得され得る。したがって、本開示では、誤差を最小化する新しい方法が続けられ、この新しい方法は、再構成された測定されたクロソイド点と、再構成された、測定されたクロソイド点を形成するために最初に使用された対応するレーン境界検出点のグラウンドトゥルース値とを比較することを含む。これにより、測定されたクロソイド点のクロソイドパラメータの更新された係数値と、グラウンドトゥルースクロソイド点のクロソイドパラメータの係数値とを比較することを含む従来の誤差最小化技法と比較して、よりよい方法且つより少ないサイクル数で誤差最小化が強化される。
【0022】
追加的に、Ｑ及びＲはそれぞれプロセスノイズ及び測定ノイズを本質的に示すため、Ｑ及びＲの決定は自律走行車両において構成された１つ以上のセンサのデータを必要とする。ＲＮＮ又はＬＳＴＭネットワークなどのニューラルネットワークの使用は、ニューラルネットワークにセンサ誤差モデルを含める柔軟性を本開示に提供し得る。このようなセンサ誤差モデルは、測定に関わるノイズの量、測定プロセスに関わるノイズの量など、１つ以上のセンサに関連する低レベルの特徴量を提供し得る。このような低レベルの特徴量は、センサ誤差モデルを使用してセンサ誤差を直接修正するのに役立ち、その結果、Ｑ及びＲの動的に決定された値の精度が向上する。したがって、これは、最大限の精度でレーン追跡を行うのに役立つ。したがって、ニューラルネットワーク及びカルマンフィルタを使用してクロソイドパラメータに基づくレーン追跡を行うことにより、正確なレーン追跡が可能になるだけでなく、誤ったステアリングコマンド及び警告信号の生成を低減し、自律走行車両の安全性を高める。
【0023】
互いに通信するいくつかのコンポーネントを有する実施形態の説明は、すべてのそのようなコンポーネントが必要とされることを意味するものではない。反対に、様々な任意選択のコンポーネントが、本開示の多様な可能な実施形態を例示するために説明される。
【0024】
本開示の実施形態の以下の詳細な説明において、この一部を形成し、本開示が実施され得る特定の実施形態を例示として示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施することを可能にするために十分に詳細に説明され、他の実施形態が利用され得、本開示の範囲から逸脱することなく変更形態がなされ得ることを理解されたい。したがって、以下の説明は、限定する意味で解釈されるべきではない。
【0025】
図１は、本開示のいくつかの実施形態による自律走行車両のレーン追跡の例示的なアーキテクチャを示す。
【0026】
アーキテクチャ１００は、自律走行車両１０１と、レーン追跡システム１０３及びレーン境界検出システム１０５と、センサ１１３１からセンサ１１３ｎ（１つ以上のセンサ１１３とも呼ばれる）と、画像取込デバイス１１５とを含む。一例として、自律走行車両１０１は、自律走行車両の車載ネットワークを介して通信することができる電子制御ユニット（ＥＣＵ）及びシステムと統合される自動車、バス、トラック、貨物自動車などであり得る。いくつかの実施形態では、レーン境界検出システム１０５は、通信ネットワーク（図１には示さず）を介してレーン追跡システム１０３と関連し得る。通信ネットワークは、有線通信ネットワーク及び無線通信ネットワークの少なくとも一方であり得る。いくつかの実施形態では、レーン境界検出システム１０５及びレーン追跡システム１０３の両方が、車両１０１において自律走行車両１０１のレーン追跡を行うように構成され得る。いくつかの他の実施形態では、レーン境界検出システム１０５及びレーン追跡システム１０３の両方が、自律走行車両１０１のレーン追跡を行う自律走行車両１０１のＥＣＵに外部で関連し得る。更に他の実施形態では、システムの一方が、自律走行車両１０１において構成され得、システムの他方が、自律走行車両１０１のレーン追跡を行う自律走行車両１０１のＥＣＵに外部で関連し得る。
【0027】
いくつかの実施形態では、自律走行車両１０１は、１つ以上のセンサ１１３と画像取込デバイス１１５とを有して構成され得る。自律走行車両１０１は、レーザ、光検知測距（ＬＩＤＡＲ）、全地球測位システム（ＧＰＳ）、コンピュータビジョンなど、１つ以上のセンサ１１３を用いて環境を検知し得る。更に、画像取込デバイス１１５は、自律走行車両１０１の前方の領域の画像フレームを取り込むように、自律走行車両１０１に取り付けられ得る。いくつかの実施形態では、画像取込デバイス１１５は、赤緑青（ＲＧＢ）カメラ、モノクロカメラ、深度カメラ、３６０度カメラ、暗視カメラなどを含み得るが、これらに限定されない。いくつかの実施形態では、自律走行車両１０１は、２つ以上の画像取込デバイス１１５を取り付けられ得る。画像取込デバイス１１５は、自律走行車両１０１の前方の領域が画像フレームで適切にカバーされるように、自律走行車両１０１の領域に取り付けられ得る。例えば、画像取込デバイス１１５は、自律走行車両１０１の上に、自律走行車両１０１の前照灯領域に、外部バックミラー上などに取り付けられ得る。
【0028】
いくつかの実施形態では、レーン追跡システム１０３は、人工知能（ＡＩ）ベースのシステムであり、自律走行車両１０１が移動している動的環境にレーン追跡システム１０３を展開する前に、自律走行車両１０１のレーン追跡を行うように訓練され得る。いくつかの実施形態では、訓練段階中、レーン追跡システム１０３は、レーン境界検出システム１０５から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、複数のレーン境界検出点に対応する測定値とを受信し得る。いくつかの実施形態では、グラウンドトゥルース値は、元の値、すなわち換言すれば、現実のものであることが分かっており、且つ直接観測に基づいて提供される情報を指し得る。しかし、測定値は、システムによって決定又は予測される値であり、グラウンドトゥルース値のように直接観測に基づくものではない。いくつかの実施形態では、レーン境界は、レーンの区域を示す線であり得る。各レーンは、そのレーンを囲む左レーン境界及び右レーン境界を有し得る。いくつかの実施形態では、複数のレーン境界検出点は、自律走行車両１０１が移動している道路の境界領域を示す点であり得る。換言すれば、複数のレーン境界検出点は、自律走行車両１０１が移動する道路に属する複数のレーンの左レーン境界及び右レーン境界に対応する。連続したレーン境界検出点のサブセットと、対応するグラウンドトゥルース値とは、グラウンドトゥルース集合と呼ばれ得、連続したレーン境界検出点のサブセットと、対応する測定値とは、測定された集合と呼ばれ得る。その後、レーン追跡システム１０３は、グラウンドトゥルース集合を用いてグラウンドトゥルースクロソイド点を生成し、測定された集合を用いて測定されたクロソイド点を生成し得る。いくつかの実施形態では、この訓練段階中、レーン追跡システム１０３は、グラウンドトゥルースクロソイド点及び測定されたクロソイド点をそれぞれ生成するために必要なグラウンドトゥルース集合及び測定された集合を選択するように訓練され得る。クロソイド点は、一般に、曲率が円弧の長さにわたって直線的に変化する螺旋曲線であり、自律走行車両１０１が水平方向の曲率が異なる道路セグメントを移動しているときに、ステアリングホイールの滑らかな動きを可能にする。その後、レーン追跡システム１０３は、自律走行車両１０１が移動するレーンのレーン境界をモデル化するために、グラウンドトゥルースクロソイド点及び測定されたクロソイド点についてクロソイドパラメータの係数値を決定するように訓練され得る。いくつかの実施形態では、クロソイドパラメータは、限定されるものではないが、レーン境界の初期曲率（ｃｏ）、レーン境界の曲率変化率（ｃ１）及び自律走行車両の走行方向に対する向首角（β）を含み得る。いくつかの実施形態では、レーン境界の初期曲率（ｃｏ）は、画像フレームにおいて決定されたレーンの第１の曲率角度として定義され、レーン境界の曲率変化率（ｃ１）は、初期曲率と比較した場合に画像フレームにおいてレーンの曲率が変化している変化率として定義され、向首角（β）は、そのレーン上の自律走行車両に対するレーンの曲率角度として定義され得る。その後、レーンのレーン境界を追跡するために、レーン追跡システム１０３は、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定するように訓練される。いくつかの実施形態では、レーン追跡システム１０３は、ＲＮＮ又は長・短期記憶（ＬＳＴＭ）ネットワークなどの少なくとも１つのニューラルネットワークを使用してカルマンフィルタパラメータを決定し得る。カルマンフィルタパラメータを決定すると、レーン追跡システム１０３は、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新するように訓練され得る。その後、レーン追跡システム１０３は、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成するように訓練され得る。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。次いで、レーン追跡システム１０３は、再構成されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分を計算することにより、訓練誤差を決定し得る。訓練段階中、レーン追跡システム１０３は、各サイクルにおいて、訓練誤差が、事前定義された閾値を下回るまで、決定された訓練誤差を最小化し得る。
【0029】
このようにして訓練されたレーン追跡システム１０３は、自律走行車両１０１が道路を移動している動的環境で使用され得る。いくつかの実施形態では、レーン追跡システム１０３は、図１に示すように、プロセッサ１０７と、入力／出力（Ｉ／Ｏ）インターフェース１０９と、メモリ１１１とを含み得る。レーン追跡システム１０３のＩ／Ｏインターフェース１０９は、レーン境界検出システム１０５から、複数のレーン境界検出点に対応する測定値を受信し得る。複数のレーン境界検出点は、自律走行車両１０１が移動しているレーンの左レーン境界及び右レーン境界に対応する。プロセッサ１０７は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む測定された集合に基づいて測定されたクロソイド点を生成し得る。いくつかの実施形態では、プロセッサ１０７は、測定された集合を形成するために連続したレーン境界検出点のサブセットを動的に選択し得る。いくつかの実施形態では、プロセッサ１０７は、レーンのレーン境界をモデル化するために、測定されたクロソイド点のクロソイドパラメータの係数値を決定し得る。その後、プロセッサ１０７は、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定し、カルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新し得る。最後に、プロセッサ１０７は、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成し得る。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。
【0030】
図２Ａは、開示のいくつかの実施形態による、自律走行車両のレーン追跡システム１０３の詳細なブロック図を示す。
【0031】
いくつかの実装形態では、レーン追跡システム１０３は、データ２０３とモジュール２０５とを含み得る。一例として、データ２０３は、図２Ａに示すように、レーン追跡システム１０３のメモリ１１１に格納される。一実施形態では、データ２０３は、訓練データ２０７と、クロソイド点データ２０９と、カルマンフィルタパラメトリックデータ２１１と、再構成されたデータ２１３と、他のデータ２１５とを含み得る。図２Ａにおいて、モジュール２０５を本明細書で詳細に説明する。
【0032】
いくつかの実施形態では、データ２０３は、様々なデータ構造の形態でメモリ１１１に格納され得る。加えて、データ２０３は、リレーショナル又は階層データモデルなどのデータモデルを使用して整理することができる。他のデータ２１５は、レーン追跡システム１０３の様々な機能を実行するためにモジュール２０５によって生成された、一時データ及び一時ファイルを含むデータを格納し得る。
【0033】
いくつかの実施形態では、訓練データ２０７は、自律走行車両１０１のレーン追跡のためのレーン追跡システム１０３の訓練に使用されたデータを含み得る。例えば、訓練データ２０７は、複数のレーン境界検出点に対応するグラウンドトゥルース値及び複数のレーン境界検出点に対応する測定値、グラウンドトゥルース集合及び測定された集合をそれぞれ使用して生成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点、カルマンフィルタパラメータ及び測定されたクロソイド点について決定されたクロソイドパラメータの係数値、クロソイドパラメータの更新された係数値、再構成された測定されたクロソイド点並びにレーン追跡システム１０３の訓練のために使用される訓練誤差を含み得るが、これらに限定されない。
【0034】
いくつかの実施形態では、クロソイド点データ２０９は、自律走行車両１０１が道路上を移動している動的環境で生成されたクロソイド点に関連するデータを含み得る。一例として、クロソイド点データ２０９は、測定されたクロソイド点、複数の連続したレーン境界検出点のサブセット及び測定されたクロソイド点を生成するために使用される対応する測定値を含む測定された集合並びに測定されたクロソイド点について決定されたクロソイドパラメータの係数値を含み得るが、これらに限定されない。
【0035】
いくつかの実施形態では、カルマンフィルタパラメトリックデータ２１１は、ＲＮＮ又は短期記憶（ＬＳＴＭ）ネットワークを含み得る少なくとも１つのニューラルネットワークを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値について決定されたカルマンフィルタパラメータを含み得るが、これらに限定されない。
【0036】
いくつかの実施形態では、少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含み得る。時間記憶を伴うニューラルネットワークは、長期依存性を学習することができる特殊な回帰型ニューラルネットワーク（ＲＮＮ）であり得る。少なくとも１つのニューラルネットワークは、長期依存性の問題を回避するように明示的に設計されたＬＳＴＭを含み得る。すべてのＲＮＮは、ニューラルネットワークの繰り返されるモジュールのチェーンの形態を有する。標準的なＲＮＮでは、この繰り返されるモジュールは、１つの双曲線正接層などの極めて単純な構造を有する。ＬＳＴＭもこのチェーン様の構造を有するが、ＬＳＴＭの繰り返されるモジュールは、一般的なＲＮＮと異なる構造を有する。単一のニューラルネットワーク層を有するのではなく、特別な方法で相互作用する４つのニューラルネットワークが存在する。ＬＳＴＭは、ゲートと呼ばれる構造によって慎重に制御された、セル状態から情報を削除するか又はセル状態に情報を追加する能力を有する。ゲートは、任意選択的に情報を通す方法である。例えば、セル状態を保護及び制御するために、ＬＳＴＭには、以下の３つのこのゲートがある。（ａ）入力ゲート－いずれの新しい情報をセル状態に格納するかを決定する、（ｂ）忘却ゲート－いずれの情報をセル状態から捨てるかを決定する、（ｃ）出力ゲート－いずれの情報を出力とするかを決定する。
【0037】
いくつかの実施形態では、再構成されたデータ２１３は、再構成された測定されたクロソイド点及び測定されたクロソイド点の再構成に使用される測定されたクロソイド点について決定されたクロソイドパラメータの更新された係数値を含み得るが、これらに限定されない。
【0038】
いくつかの実施形態では、メモリ１１１に格納されたデータ２０３は、レーン追跡システム１０３のモジュール２０５によって処理され得る。モジュール２０５は、メモリ１１１内に格納され得る。一例では、レーン追跡システム１０３のプロセッサ１０７に通信可能に結合されたモジュール２０５は、図２Ａに示すようにメモリ１１１の外部にも存在し、ハードウェアとして実装され得る。本明細書で使用される場合、モジュール２０５という用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、１つ以上のソフトウェア若しくはファームウェアプログラムを実行するプロセッサ（共有、専用又はグループ）及びメモリ、組み合わせ論理回路並びに／又は説明された機能を提供する他の適切なコンポーネントを指し得る。
【0039】
いくつかの実施形態では、モジュール２０５は、例えば、受信モジュール２２１と、係数値決定モジュール２２３と、カルマンフィルタ決定モジュール２２５と、再構成モジュール２２７と、学習モジュール２２９と、他のモジュール２３１とを含み得る。他のモジュール２３１は、レーン追跡システム１０３の様々な雑多な機能を実行するために使用され得る。かかる前述のモジュール２０５は、単一のモジュール又は異なるモジュールの組み合わせとして表され得ることを理解されたい。
【0040】
レーン追跡システム１０３は、自律走行車両１０１が移動している動的環境にレーン追跡システム１０３を展開する前に、自律走行車両１０１のレーン追跡を行うように訓練され得る。
【0041】
いくつかの実施形態では、訓練段階中、受信モジュール２２１は、レーン追跡システム１０３に関連するレーン境界検出システム１０５から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、複数のレーン境界検出点に対応する測定値とを受信し得る。いくつかの実施形態では、複数のレーン境界検出点は、自律走行車両１０１が移動している道路に属する複数のレーンの左レーン境界及び右レーン境界に対応する。いくつかの実施形態では、レーン境界検出システム１０５は、自律走行車両１０１に構成された１つ以上のセンサ１１３から受信したレーンデータと、リアルタイムで受信したレーンの画像フレームとの少なくとも一方を使用して複数のレーン境界検出点を決定し得る。いくつかの実施形態では、レーンの画像フレームは、自律走行車両１０１に関連する画像取込デバイス１１５から受信される。いくつかの実施形態では、レーンデータとリアルタイムで取り込まれた画像フレームとを格納するように構成されたデータベースから、レーンデータとレーンの画像フレームとの少なくとも一方が取得される。一例として、レーンデータは、レーン標示、レーンパターン、レーンの色、レーンの数などを含み得るが、これらに限定されない。図２Ｂは、例示的なグラウンドトゥルース値に従って連続的に配置された例示的な複数のレーン境界検出点２３３を示す例示的な図を示す。例示的な複数のレーン境界検出点２３３に対応するグラウンドトゥルース値は元の値であるため、図２Ｂのレーン上に白色で示した線は、道路のレーン上に適切に重なる滑らかな線である。図２Ｃは、例示的な測定値に従って連続的に配置された例示的な複数のレーン境界検出点２３５を示す例示的な図を示す。例示的な複数のレーン境界検出点２３５に対応する測定値は訓練されたレーン追跡システム１０３によって測定されるため、図２Ｂのレーン上に白色で示した線は、滑らかではなく、道路のレーン上に重ならない。
【0042】
更に、いくつかの実施形態では、訓練段階中、係数値決定モジュール２２３は、連続したレーン境界検出点のサブセットと、対応するグラウンドトゥルース値とをグラウンドトゥルース集合として選択し、連続したレーン境界検出点のサブセットと、対応する測定値とを測定された集合として選択し得る。係数値決定モジュール２２３は、グラウンドトゥルース集合を用いてグラウンドトゥルースクロソイド点を生成し、測定された集合を用いて測定されたクロソイド点を生成し得る。いくつかの実施形態では、クロソイド点は、一般に、事前定義された数の連続したレーン境界検出点を使用して生成される。したがって、自律走行車両１０１が道路のレーンに沿って移動しているとき、グラウンドトゥルース集合及び測定された集合は、それぞれのグラウンドトゥルースクロソイド点及び測定されたクロソイド点を生成するために次々と連続的に選択される。グラウンドトゥルース値のレーン境界検出点を「Ｎ」個含む例示的なグラウンドトゥルース集合は、以下のように示すことができる。
［（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），……（ｘｎ－１，ｙｎ－１）］
［（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），……（ｘｎ－１，ｙｎ－１）］
【0043】
同様に、測定値のレーン境界検出点を「Ｍ」個含む例示的なグラウンドトゥルース集合は、以下のように示すことができる。
［（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），……（ｘｍ－１，ｙｍ－１）］
［（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），……（ｘｍ－１，ｙｍ－１）］
【0044】
その後、訓練段階中、自律走行車両１０１が移動するレーンのレーン境界をモデル化するために、係数値決定モジュール２２３は、グラウンドトゥルースクロソイド点及び測定されたクロソイド点についてクロソイドパラメータの係数値を決定するように訓練され得る。いくつかの実施形態では、クロソイドパラメータは、限定されるものではないが、レーン境界の初期曲率（ｃｏ）、レーン境界の曲率変化率（ｃ１）及び自律走行車両の走行方向に対する向首角（β）を含み得る。いくつかの実施形態では、レーン境界の初期曲率（ｃｏ）は、画像フレームにおいて決定されたレーンの第１の曲率角度として定義され、レーン境界の曲率変化率（ｃ１）は、初期曲率と比較した場合に画像フレームにおいてレーンの曲率が変化している変化率として定義され、向首角（β）は、レーンの曲率に対する、自律走行車両が前進すると予期される角度として定義され得る。
【0045】
いくつかの実施形態では、クロソイド点は閉形式で評価することができないため、係数値決定モジュール２２３は、以下の式１を使用してグラウンドトゥルースクロソイド点及び測定されたクロソイド点を決定するように訓練され得る。
【数1】
【0046】
上記の式１において、
－ ｘ及びｙは、グラウンドトゥルース集合又は測定された集合の一方のレーン境界検出点を指し、
－ ｃｏは、レーン境界の初期曲率を指し、
－ ｃ１は、レーン境界の曲率変化率を指し、
－ βは、自律走行車両の走行方向に対する向首角を指し、
－ ｘｏｆｆｓｅｔは、レーン境界と自律走行車両１０１（自車）との間の初期横方向オフセットを指す。
－ ｘ及びｙは、グラウンドトゥルース集合又は測定された集合の一方のレーン境界検出点を指し、
－ ｃｏは、レーン境界の初期曲率を指し、
－ ｃ１は、レーン境界の曲率変化率を指し、
－ βは、自律走行車両の走行方向に対する向首角を指し、
－ ｘｏｆｆｓｅｔは、レーン境界と自律走行車両１０１（自車）との間の初期横方向オフセットを指す。
【0047】
いくつかの実施形態では、係数値決定モジュール２２３は、以下の式２を使用して、グラウンドトゥルースクロソイド点のクロソイドパラメータの係数値を決定するように訓練され得る。
【数2】
【0048】
上記の式２において、Ａは、以下のとおりである。
グラウンドトゥルース集合のレーン検出境界点のデルタ値は、以下のように決定される。
ｃｏは、レーン境界の初期曲率を指し、
ｃ１は、レーン境界の曲率変化率を指し、
βは、自律走行車両の走行方向に対する向首角を指す。
【数3】
【数4】
ｃ１は、レーン境界の曲率変化率を指し、
βは、自律走行車両の走行方向に対する向首角を指す。
【0049】
上記の式２を使用して、係数値決定モジュール２２３は、測定されたクロソイド点のクロソイドパラメータの係数値も決定し得る。いくつかの実施形態では、グラウンドトゥルースクロソイド点及び測定されたクロソイド点のクロソイドパラメータの係数値は、訓練段階中に自律走行車両１０１が移動しているレーンの境界の状態を表す。
【0050】
その後、カルマンフィルタ決定モジュール２２５は、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定するように訓練され得る。いくつかの実施形態では、カルマンフィルタ決定モジュール２２５は、ＲＮＮ又は長・短期記憶（ＬＳＴＭ）ネットワークなどの少なくとも１つのニューラルネットワークを使用してカルマンフィルタパラメータを決定し得る。カルマンフィルタ決定モジュール２２５は、１つ以上のニューラルネットワークを使用してカルマンフィルタパラメータを決定し得る。いくつかの実施形態では、カルマンフィルタ決定モジュール２２５は、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を第１のニューラルネットワークへの入力として最初に提供し得る。いくつかの実施形態では、第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定されたクロソイドパラメータの過去の係数値に基づいて訓練され得る。その後、カルマンフィルタ決定モジュール２２５は、第１のニューラルネットワークを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を使用して測定ノイズ共分散行列（Ｒ）を決定し得る。第１のニューラルネットワークは、長期依存性を学習することが可能であり得る。第１のニューラルネットワークは、ＲＮＮ又はＬＳＴＭネットワークを含み得る。「Ｒ」を決定すると、カルマンフィルタ決定モジュール２２５は、レーンに沿って移動する自律走行車両１０１の速度と連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、測定されたクロソイド点について決定されたクロソイドパラメータの係数値の状態遷移（Ｙｐ）を予測し得る。いくつかの実施形態では、状態遷移は、次に示す行列を使用して予測され得る。
【数5】
【0051】
上記の行列において、
「ｖ」は、自律走行車両の速度を指し、
「Δｔ」は、連続した画像フレーム間の時間差を指す。
「ｖ」は、自律走行車両の速度を指し、
「Δｔ」は、連続した画像フレーム間の時間差を指す。
【0052】
その後、カルマンフィルタ決定モジュール２２５は、予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定し得る。いくつかの実施形態では、第２のニューラルネットワークも過去の自車速度値及び時間差値を使用して訓練され得る。第２のニューラルネットワークは、長期依存性を学習することが可能であり得る。第２のニューラルネットワークは、ＲＮＮ又はＬＳＴＭネットワークを含み得る。決定されたプロセスノイズ共分散行列（Ｑ）を使用して、カルマンフィルタ決定モジュール２２５は、予測された状態遷移の誤差共分散（Ｐｐ）を予測し得る。最後に、カルマンフィルタ決定モジュール２２５は、予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、決定された測定ノイズ共分散行列（Ｒ）並びに測定されたクロソイド点について決定されたクロソイドパラメータの係数値に基づいて、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定し得る。いくつかの実施形態では、広義には、カルマンフィルタは、時間（ｔ）における、状態ベクトル（ｙ）、状態遷移行列（ｆ）、状態誤差共分散行列（Ｐ）、プロセスノイズ共分散行列（Ｑ）、カルマンゲイン（Ｋ）、測定ノイズ共分散行列（Ｒ）及び測定値（ｚ）（複数のレーン境界検出点に対応する測定値とも呼ばれる）を含み得るが、これらに限定されない。上述のように、カルマンフィルタ決定モジュール２２５は、それぞれ第１のニューラルネットワーク及び第２のニューラルネットワークを使用してＱ及びＲを学習し得る。以下の式１～５は、カルマンフィルタパラメータの残りの部分の決定を示す。式１及び２はカルマンフィルタパラメータの予測に関連し、式３～５はカルマンフィルタパラメータの更新に関連する。
【0053】
下記の式１において、
は、時間「ｔ」における予測された状態ベクトルを示し、
は、状態遷移行列である。
【数6】
【数7】
【数8】
【0054】
下記の式２において、
は、時間「ｔ」における予測された状態誤差共分散行列を示し、
は、時間（ｔ－１）において決定された状態誤差共分散行列を示し、「Ｆ」は、「ｆ」の行列表現であり、「Ｑ」は、プロセスノイズ共分散行列（Ｑ）を示す。
【数9】
【数10】
【数11】
【0055】
下記の式３において、
は、時間「ｔ」における予測された状態誤差共分散を示し、「Ｒ」は、測定ノイズ共分散行列を示し、「Ｋｔ」は、時間「ｔ」におけるカルマンゲインを示す。
【数12】
【数13】
【0056】
下記の式４において、
は、時間「ｔ」における更新された状態ベクトルを示し、
は、時間「ｔ」における予測された状態ベクトルを示し、「Ｋｔ」は、時間「ｔ」におけるカルマンゲインを示し、「ｚ」は、時間「ｔ」における、複数のレーン境界検出点に対応する測定値である。
【数14】
【数15】
【数16】
【0057】
下記の式５において、
は、時間「ｔ」における予測された状態誤差共分散行列を示し、
は、時間「ｔ」における更新された状態誤差共分散行列を示し、「Ｋｔ」は、時間「ｔ」におけるカルマンゲインを示し、「Ｉ」は、単位行列を示す。
【数17】
【数18】
【数19】
【0058】
カルマンフィルタパラメータを決定すると、再構成モジュール２２７は、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新するように訓練され得る。一例として、カルマンフィルタパラメータに基づいて更新されたクロソイドパラメータの係数値は、以下のように示される。
【数20】
【0059】
上記の例では、ＫＦはカルマンフィルタパラメータを指し、「ＫＦ」が付けられたクロソイドパラメータは、決定されたカルマンフィルタパラメータが、クロソイドパラメータの係数値を更新するためにクロソイドパラメータに適用されることを示す。
【0060】
いくつかの実施形態では、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新すると、再構成モジュール２２７は、クロソイドパラメータの対応する更新された係数値を使用して測定されたクロソイド点を再構成するように訓練され得る。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。いくつかの実施形態では、再構成モジュール２２７は、レーン境界と自車との間の初期横方向オフセットを再構成された測定されたクロソイド点に加え得る。一例として、再構成されたクロソイド点に基づいて形成された、例示的な追跡されモデル化されたレーン２３７は、図２Ｄに示すとおりである。更なる例では、図２Ｅは、自律走行車両１０１が移動している道路に属する、追跡された複数の例示的なレーンを示す。図２Ｅでは、参照番号２３５で示される線は、例示的な複数のレーン境界検出点２３５に対応する初期測定値を表し、参照番号２３７で示される線は、再構成された測定されたクロソイド点に基づいて形成された例示的な追跡されモデル化されたレーン２３７を表す。したがって、本開示では、レーン追跡システム１０３は、自律走行車両１０１が移動しているレーンの左境界レーン及び右境界レーンを意味する自車レーンを追跡するだけでなく、図２Ｅに示すように、道路の他のレーンも追跡する。
【0061】
更に、学習モジュール２２９は、再構成されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分を計算することにより、訓練誤差を決定し得る。再構成されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分を計算することにより、学習モジュール２２９は、誤差の最小化を強化することができ、これは、動的環境に展開されたときに自律走行車両１０１のレーン追跡を行うために、再構成された測定されたクロソイド点を正確に決定することにつながる。訓練段階中、学習モジュール２２９は、各サイクルにおいて、訓練誤差が、事前定義された閾値を下回るまで、決定された訓練誤差を最小化し得る。
【0062】
いくつかの実施形態では、このようにして訓練されたレーン追跡システム１０３は、自律走行車両１０１が道路を移動している動的環境で使用され得る。
【0063】
いくつかの実施形態では、動的環境において、受信モジュール２２１は、レーン境界検出システム１０５から、複数のレーン境界検出点に対応する測定値を受信し得る。複数のレーン境界検出点は、自律走行車両１０１が現在移動しているレーンの左レーン境界及び右レーン境界に対応する。
【0064】
その後、係数値決定モジュール２２３は、連続したレーン境界検出点のサブセットと、対応する測定値とを含む測定された集合に基づいて測定されたクロソイド点を生成し得る。いくつかの実施形態では、係数値決定モジュール２２３は、自律走行車両１０１が道路を移動しているときに、測定された集合を形成するために連続したレーン境界検出点のサブセットを動的に選択し得る。次いで、係数値決定モジュール２２３は、レーンのレーン境界をモデル化するために、測定されたクロソイド点のクロソイドパラメータの係数値を決定し得る。
【0065】
更に、いくつかの実施形態では、カルマンフィルタ決定モジュール２２５は、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定し得る。いくつかの実施形態では、カルマンフィルタ決定モジュール２２５は、予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、決定された測定ノイズ共分散行列（Ｒ）並びに測定されたクロソイド点について決定されたクロソイドパラメータの係数値に基づいて、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定し得る。
【0066】
その後、再構成モジュール２２７は、カルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新し得る。最後に、再構成モジュール２２７は、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成し得る。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。
【0067】
図３Ａは、本開示のいくつかの実施形態による、自律走行車両のレーン追跡システムを訓練する方法を示すフローチャートを示す。
【0068】
図３Ａに示すように、方法３００ａは、自律走行車両１０１のレーン追跡システムを訓練する方法を示す１つ以上のブロックを含む。方法３００ａは、コンピュータ実行可能命令に一般的に関連して記述され得る。一般に、コンピュータ実行可能命令は、関数を実行する又は抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール及び関数を含み得る。
【0069】
方法３００ａを説明する順序は、限定として解釈されることを意図されず、任意の数の説明する方法ブロックを任意の順序で組み合わせて方法３００ａを実装することができる。加えて、個々のブロックは、本明細書で説明される主題の趣旨及び範囲から逸脱することなく、方法から削除され得る。更に、方法３００ａは、任意の適当なハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせによって実施され得る。
【0070】
ブロック３０１において、方法３００ａは、レーン追跡システム１０３のプロセッサ１０７により、訓練段階中、レーン追跡システム１０３に関連するレーン境界検出システム１０５から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、複数のレーン境界検出点に対応する測定値とを受信することを含み得る。いくつかの実施形態では、複数のレーン境界検出点は、車両１０１に構成された１つ以上のセンサ１１３から受信したレーンデータと、リアルタイムで受信したレーンの画像フレームとの少なくとも一方を使用して決定され得る。いくつかの実施形態では、レーンの画像フレームは、自律走行車両１０１に関連する画像取込デバイス１１５から受信される。いくつかの他の実施形態では、レーンデータとリアルタイムで取り込まれた画像フレームとを格納するように構成されたデータベースから、レーンデータとレーンの画像フレームとの少なくとも一方が取得される。データベースは、レーン追跡システム１０３に関連し得る。
【0071】
ブロック３０３において、方法３００ａは、訓練段階中、プロセッサ１０７により、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することを含み得る。いくつかの実施形態では、プロセッサ１０７は、連続したレーン境界検出点のサブセットと、対応するグラウンドトゥルース値とを選択して、グラウンドトゥルース集合を形成し、連続したレーン境界検出点のサブセットと、対応する測定値とを選択して、測定された集合を形成し得る。いくつかの実施形態では、グラウンドトゥルース集合及び測定された集合を形成するために選択された連続したレーン境界検出点の数は、事前定義され得る。しかし、選択は、リアルタイムでプロセッサ１０７によって行われる。いくつかの他の実施形態では、グラウンドトゥルース集合及び測定された集合を形成するために選択された連続したレーン境界検出点の数は、画像フレームごとにプロセッサ１０７によって要件ごとに決定され得る。いくつかの実施形態では、クロソイドパラメータは、限定されるものではないが、レーン境界の初期曲率（ｃｏ）、レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含み得る。
【0072】
ブロック３０５において、方法３００ａは、訓練段階中、プロセッサ１０７により、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定することを含む。いくつかの実施形態では、プロセッサ１０７は、ＲＮＮ又は長・短期記憶（ＬＳＴＭ）ネットワークなどのニューラルネットワークを使用してカルマンフィルタパラメータを決定し得る。
【0073】
ブロック３０７において、方法３００ａは、訓練段階中、プロセッサ１０７により、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新することを含み得る。
【0074】
ブロック３０９において、方法３００ａは、訓練段階中、プロセッサ１０７により、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成することを含む。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。
【0075】
ブロック３１１において、方法３００ａは、訓練段階中、プロセッサ１０７により、各サイクルにおいて、再構成された測定されたクロソイド点と、対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、訓練誤差が、事前定義された閾値を下回るまで最小化することを含む。このようにして、サイクルごとに、プロセッサ１０７は、訓練中にレーン追跡システム１０３を使用してレーンを追跡する際の誤差を減らす。いくつかの実施形態では、プロセッサ１０７は、レーン境界と自律走行車両１０１との間の初期横方向オフセットを再構成された測定されたクロソイド点に加え得る。
【0076】
図３Ｂは、本開示のいくつかの実施形態による自律走行車両のレーン追跡の方法を示すフローチャートを示す。
【0077】
図３Ａに示すように、方法３００ｂは、自律走行車両１０１のレーン追跡の方法を示す１つ以上のブロックを含む。方法３００ｂは、コンピュータ実行可能命令に一般的に関連して記述され得る。一般に、コンピュータ実行可能命令は、関数を実行する又は抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール及び関数を含み得る。
【0078】
方法３００ｂを説明する順序は、限定として解釈されることを意図されず、任意の数の説明する方法ブロックを任意の順序で組み合わせて方法３００ｂを実装することができる。加えて、個々のブロックは、本明細書で説明される主題の趣旨及び範囲から逸脱することなく、方法から削除され得る。更に、方法３００ｂは、任意の適当なハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより実施され得る。
【0079】
ブロック３１３において、方法３００ｂは、レーン追跡システム１０３のプロセッサ１０７により、自律走行車両１０１が道路を移動している動的環境において、レーン追跡システム１０３に関連するレーン境界検出システム１０５から、複数のレーン境界検出点に対応する測定値を受信することを含み得る。いくつかの実施形態では、複数のレーン境界検出点は、自律走行車両１０１に構成された１つ以上のセンサ１１３から受信したレーンデータと、リアルタイムで受信したレーンの画像フレームとの少なくとも一方を使用して決定される。いくつかの実施形態では、プロセッサ１０７は、自律走行車両１０１に関連する画像取込デバイス１１５からレーンの画像フレームを受信し得る。いくつかの実施形態では、プロセッサ１０７は、レーンデータとリアルタイムで取り込まれた画像フレームとを格納するように構成されたデータベースから、レーンデータとレーンの画像フレームとの少なくとも一方を取得し得る。データベースは、レーン追跡システム１０３に関連し得る。
【0080】
ブロック３１５において、方法３００ｂは、動的環境において、プロセッサ１０７により、レーンのレーン境界をモデル化するために、それぞれ測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することを含み得る。いくつかの実施形態では、プロセッサ１０７は、測定された集合を形成するために連続したレーン境界検出点のサブセット及び対応する測定値を選択し得る。いくつかの実施形態では、測定された集合を形成するために選択された連続したレーン境界検出点の数は、事前定義され得る。しかし、選択は、リアルタイムでプロセッサ１０７によって行われる。いくつかの他の実施形態では、測定された集合を形成するために選択された連続したレーン境界検出点の数は、画像フレームごとにプロセッサ１０７によって要件ごとに決定され得る。いくつかの実施形態では、クロソイドパラメータは、限定されるものではないが、レーン境界の初期曲率（ｃｏ）、レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含み得る。
【0081】
ブロック３１７において、方法３００ｂは、動的環境において、プロセッサ１０７により、レーンのレーン境界を追跡するために、測定されたクロソイド点について決定されたクロソイドパラメータの係数値のためのカルマンフィルタパラメータを決定することを含み得る。いくつかの実施形態では、プロセッサ１０７は、長期依存性を学習することができるニューラルネットワーク、例えば、ＲＮＮ又は長・短期記憶（ＬＳＴＭ）ネットワークを使用してカルマンフィルタパラメータを決定し得る。
【0082】
ブロック３１９において、方法３００ｂは、動的環境において、プロセッサ１０７により、対応するカルマンフィルタパラメータを使用して、測定されたクロソイド点について決定されたクロソイドパラメータの係数値を更新することを含み得る。
【0083】
ブロック３２１において、方法３００ｂは、動的環境において、プロセッサ１０７により、クロソイドパラメータの対応する更新された係数値を使用して、測定されたクロソイド点を再構成することを含み得る。いくつかの実施形態では、それぞれの再構成された測定されたクロソイド点は、レーン追跡システム１０３が自律走行車両１０１のレーン境界を追跡することを可能にする。
【0084】
図４は、本開示と一致する実施形態を実装するための例示的なコンピュータシステムのブロック図である。
【0085】
いくつかの実施形態では、図４は、本発明と一致する実施形態を実装するための例示的なコンピュータシステム４００のブロック図を示す。いくつかの実施形態では、コンピュータシステム４００は、図４に示すように、自律走行車両のレーン追跡のレーン追跡システム１０３であり得る。コンピュータシステム４００は、中央処理装置（「ＣＰＵ」又は「プロセッサ」）４０２を含み得る。プロセッサ４０２は、ユーザ又はシステムが生成したビジネスプロセスを実行するためのプログラムコンポーネントを実行するための少なくとも１つのデータプロセッサを含み得る。ユーザは、人、本発明に含まれるものなどのデバイスを使用する人又はかかるデバイス自体を含み得る。プロセッサ４０２は、統合システム（バス）コントローラ、メモリ管理制御ユニット、浮動小数点ユニット、グラフィックス処理ユニット、デジタル信号処理ユニットなどの専用処理ユニットを含み得る。
【0086】
プロセッサ４０２は、Ｉ／Ｏインターフェース４０１を介して入力デバイス４１１及び出力デバイス４１２と連絡して配置され得る。Ｉ／Ｏインターフェース４０１は、オーディオ、アナログ、デジタル、ステレオ、ＩＥＥＥ－１３９４、シリアルバス、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＰＳ／２、ＢＮＣ、同軸、コンポーネント、コンポジット、デジタルビジュアルインターフェース（ＤＶＩ）、高解像度マルチメディアインターフェース（ＨＤＭＩ）、無線周波数（ＲＦ）アンテナ、Ｓ－Ｖｉｄｅｏ、ビデオグラフィックスアレイ（ＶＧＡ）、ＩＥＥＥ ８０２．ｎ／ｂ／ｇ／ｎ／ｘ、Ｂｌｕｅｔｏｏｔｈ、セルラー（例えば、符号分割多元接続（ＣＤＭＡ）、高速パケットアクセス（ＨＳＰＡ＋）、汎欧州デジタル移動電話方式（ＧＳＭ）、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘなど）の通信プロトコル／方法を採用し得るが、これらに限定されない。
【0087】
Ｉ／Ｏインターフェース４０１を使用して、コンピュータシステム４００は、入力デバイス４１１及び出力デバイス４１２と通信し得る。
【0088】
いくつかの実施形態では、プロセッサ４０２は、ネットワークインターフェース４０３を介して通信ネットワーク４０９と連絡して配置され得る。ネットワークインターフェース４０３は、通信ネットワーク４０９と通信可能である。ネットワークインターフェース４０３は、これらに限定されないが、ダイレクトコネクト、イーサネット（例えば、ツイストペア１０／１００／１０００ Ｂａｓｅ Ｔ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ ８０２．１１ａ／ｂ／ｇ／ｎ／ｘなどを含む接続プロトコルを採用し得る。ネットワークインターフェース４０３及び通信ネットワーク４０９を使用して、コンピュータシステム４００は、レーン境界検出システム１０５、１つ以上のセンサ１１３及び画像取込デバイス１１５と通信し得る。いくつかの実施形態では、レーン追跡システム１０３は、データベース（図４には示さず）にも関連し得る。通信ネットワーク４０９は、イントラネット又はローカルエリアネットワーク（ＬＡＮ）、クローズドエリアネットワーク（ＣＡＮ）など、及び自律車両内部のような異なる種類のネットワークの１つとして実装することができる。通信ネットワーク４０９は、専用ネットワーク又は共有ネットワークのいずれか一方であり得、これは、互いに通信するために、種々のプロトコル、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）、ＣＡＮプロトコル、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）などを使用する異なる種類のネットワークの関連を表す。更に、通信ネットワーク４０９は、ルータ、ブリッジ、サーバ、コンピューティングデバイス、ストレージデバイスなどを含む様々なネットワークデバイスを含み得る。１つ以上のセンサ１１３は、光検知測距（ＬＩＤＡＲ）システム、全地球測位システム（ＧＰＳ）、レーザなどを含み得るが、これらに限定されない。いくつかの実施形態では、プロセッサ４０２は、ストレージインターフェース４０４を介してメモリ４０５（例えば、ＲＡＭ、ＲＯＭなど。図４には示さず）と連絡して配置され得る。ストレージインターフェース４０４は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ（ＩＤＥ）、ＩＥＥＥ－１３９４、ユニバーサルシリアルバス（ＵＳＢ）、ファイバーチャネル、小型計算機システムインターフェース（ＳＣＳＩ）などの接続プロトコルを採用して、メモリドライブ、リムーバブルディスクドライブなどを含むが、これらに限定されないメモリ４０５に接続し得る。メモリドライブは、ドラム、磁気ディスクドライブ、磁気光学ドライブ、光学ドライブ、Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｃ（ＲＡＩＤ）、ソリッドステートメモリデバイス、ソリッドステートドライブなどを更に含み得る。
【0089】
メモリ４０５は、ユーザインターフェース４０６、オペレーティングシステム４０７、Ｗｅｂブラウザ４０８などを含むがこれらに限定されないプログラム又はデータベースコンポーネントの集合を格納し得る。いくつかの実施形態では、コンピュータシステム４００は、本発明において説明するようなデータ、変数、記録などのユーザ／アプリケーションデータを格納し得る。かかるデータベースは、Ｏｒａｃｌｅ又はＳｙｂａｓｅなどのフォールトトレラント、リレーショナル、スケーラブルで、セキュアなデータベースとして実装され得る。
【0090】
オペレーティングシステム４０７は、コンピュータシステム４００のリソース管理及び動作を容易にし得る。オペレーティングシステム４０７の例としては、ＡＰＰＬＥ（登録商標）ＭＡＣＩＮＴＯＳＨ（登録商標）ＯＳ Ｘ（登録商標）、ＵＮＩＸ（登録商標）、ＵＮＩＸ系システムディストリビューション（例えば、ＢＥＲＫＥＬＥＹ ＳＯＦＴＷＡＲＥ ＤＩＳＴＲＩＢＵＴＩＯＮ（登録商標）（ＢＳＤ）、ＦＲＥＥＢＳＤ（登録商標）、ＮＥＴＢＳＤ（登録商標）、ＯＰＥＮＢＳＤなど）、ＬＩＮＵＸ（登録商標）ディストリビューション（例えば、ＲＥＤ ＨＡＴ（登録商標）、ＵＢＵＮＴＵ（登録商標）、ＫＵＢＵＮＴＵ（登録商標）など）、ＩＢＭ（登録商標）ＯＳ／２（登録商標）、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）（ＸＰ（登録商標）、ＶＩＳＴＡ（登録商標）／７／８、１０など）、ＡＰＰＬＥ（登録商標）ＩＯＳ（登録商標）、ＧＯＯＧＬＥ（商標）ＡＮＤＲＯＩＤ（商標）、ＢＬＡＣＫＢＥＲＲＹ（登録商標）ＯＳなどが挙げられるが、これらに限定されない。ユーザインターフェース４０６は、テキスト又はグラフィック機能を介してプログラムコンポーネントの表示、実行、対話、操作又は動作を容易にし得る。例えば、ユーザインターフェース４０６は、カーソル、アイコン、チェックボックス、メニュー、スクローラ、ウィンドウ、ウィジェットなど、コンピュータシステム４００に動作可能に接続されるディスプレイシステム上のコンピュータ対話インターフェース要素を提供し得る。Ａｐｐｌｅ（登録商標）Ｍａｃｉｎｔｏｓｈ（登録商標）オペレーティングシステムのＡｑｕａ（登録商標）、ＩＢＭ（登録商標）ＯＳ／２（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）（例えば、Ａｅｒｏ、Ｍｅｔｒｏなど）、Ｗｅｂインターフェースライブラリ（例えば、ＡｃｔｉｖｅＸ（登録商標）、Ｊａｖａ（登録商標）、Ｊａｖａｓｃｒｉｐｔ（登録商標）、ＡＪＡＸ、ＨＴＭＬ、Ａｄｏｂｅ（登録商標）Ｆｌａｓｈ（登録商標）など）などを含むがこれらに限定されないグラフィカルユーザインターフェース（ＧＵＩ）が採用され得る。
【0091】
いくつかの実施形態では、コンピュータシステム４００は、Ｗｅｂブラウザ４０８格納プログラムコンポーネントを実装し得る。Ｗｅｂブラウザ４０８は、ＭＩＣＲＯＳＯＦＴ（登録商標）ＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲ（登録商標）、ＧＯＯＧＬＥ（商標）ＣＨＲＯＭＥ（商標）、ＭＯＺＩＬＬＡ（登録商標）ＦＩＲＥＦＯＸ（登録商標）、ＡＰＰＬＥ（登録商標）ＳＡＦＡＲＩ（登録商標）などのハイパーテキスト閲覧アプリケーションであり得る。セキュアウェブブラウジングは、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、Ｓｅｃｕｒｅ Ｓｏｃｋｅｔｓ Ｌａｙｅｒ（ＳＳＬ）、トランスポート層セキュリティ（ＴＬＳ）などを使用して提供され得る。Ｗｅｂブラウザ４０８は、ＡＪＡＸ、ＤＨＴＭＬ、ＡＤＯＢＥ（登録商標）ＦＬＡＳＨ（登録商標）、ＪＡＶＡＳＣＲＩＰＴ（登録商標）、ＪＡＶＡ（登録商標）、アプリケーションプログラミングインターフェース（ＡＰＩ）などの機能を利用し得る。いくつかの実施形態では、コンピュータシステム４００は、メールサーバ格納プログラムコンポーネントを実装し得る。メールサーバは、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｈａｎｇｅなどのインターネットメールサーバであり得る。メールサーバは、アクティブサーバページ（ＡＳＰ）、ＡＣＴＩＶＥＸ（登録商標）、ＡＮＳＩ（登録商標）Ｃ＋＋／Ｃ＃、ＭＩＣＲＯＳＯＦＴ（登録商標）、．ＮＥＴ、ＣＧＩスクリプト、ＪＡＶＡ（登録商標）、ＪＡＶＡＳＣＲＩＰＴ（登録商標）、ＰＥＲＬ（登録商標）、ＰＨＰ、ＰＹＴＨＯＮ（登録商標）、ＷＥＢＯＢＪＥＣＴＳ（登録商標）などの機能を利用し得る。メールサーバは、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）、Ｍｅｓｓａｇｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ（ＭＡＰＩ）、ＭＩＣＲＯＳＯＦＴ（登録商標）ｅｘｃｈａｎｇｅ、ポストオフィスプロトコル（ＰＯＰ）、簡易メール転送プロトコル（ＳＭＴＰ）などの通信プロトコルを利用し得る。いくつかの実施形態では、コンピュータシステム４００は、メールクライアント格納プログラムコンポーネントを実装し得る。メールクライアントは、ＡＰＰＬＥ（登録商標）ＭＡＩＬ、ＭＩＣＲＯＳＯＦＴ（登録商標）ＥＮＴＯＵＲＡＧＥ（登録商標）、ＭＩＣＲＯＳＯＦＴ（登録商標）ＯＵＴＬＯＯＫ（登録商標）、ＭＯＺＩＬＬＡ（登録商標）ＴＨＵＮＤＥＲＢＩＲＤ（登録商標）などのメール閲覧アプリケーションであり得る。
【0092】
更に、１つ以上のコンピュータ可読記憶媒体は、本発明と一致する実施形態を実装することにおいて利用され得る。コンピュータ可読記憶媒体は、プロセッサ可読な情報又はデータを格納できる任意の種類の物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書で説明される複数の実施形態と一致するステップ又は段階をプロセッサ（複数可）に実行させる命令を含む、１つ以上のプロセッサにより実行される命令を格納することができる。「コンピュータ可読媒体」という用語は、有形のアイテムを含み、搬送波及び過渡信号を除外し、すなわち非一時的であると理解されたい。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、コンパクトディスク（ＣＤ）ＲＯＭ、デジタルビデオディスク（ＤＶＤ）、フラッシュドライブ、ディスク及び他の任意の公知の物理的記憶媒体が挙げられる。
【0093】
互いに通信するいくつかのコンポーネントを有する実施形態の説明は、すべてのそのようなコンポーネントが必要とされることを意味するものではない。反対に、様々な任意選択のコンポーネントは、本発明の多様な可能な実施形態を例示するために説明される。単一のデバイス又は物品が本明細書で説明される場合、単一のデバイス／物品の代わりに２つ以上のデバイス／物品（それらが協働するか否かに関わらず）が使用され得ることが明らかであろう。同様に、２つ以上のデバイス又は物品が本明細書で説明される場合（それらが協働するか否かに関わらず）、単一のデバイス／物品は、２つ以上のデバイス若しくは物品の代わりに使用され得るか、又は異なる数のデバイス／物品は、示した数のデバイス若しくはプログラムの代わりに使用され得ることが明らかであろう。デバイスの機能及び／又は特徴は、かかる機能／特徴を有するものとして明示的に説明されていない１つ以上の他のデバイスによって代替として具現化され得る。したがって、本発明の他の実施形態は、デバイス自体を含む必要はない。
【0094】
本明細書は、自律走行車両１０１のレーン追跡の方法及びシステムを説明した。図示のステップは、示した例示的な実施形態を説明するために提示され、進行中の技術開発が、特定の機能が実行される様式を変化させるであろうことは予期すべきである。これらの例は、例示の目的のために本明細書に提示され、限定するものではない。更に、機能構成ブロックの境界は、説明の便宜上、本明細書で任意に定義されている。指定された機能及びその関係が適切に実行される限り、代替の境界を定義することができる。代替形態（本明細書で説明するものの均等物、拡張形態、変形形態、逸脱などを含む）は、本明細書に含まれる教示に基づいて、関連する技術分野の当業者に明らかであろう。かかる代替形態は、開示した実施形態の範囲及び趣旨に含まれる。また、単語「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形態は、意味において同等であり、これらの単語のいずれか１つに続く項目が、かかる項目の網羅的な列挙であることを意味するものでも、又は列挙された単数又は複数の項目のみに限定されることを意味するものでもない点でオープンエンドであることを意図する。本明細書及び添付の特許請求の範囲で使用する場合、単数形「１つの（ａ）」、「１つの（ａｎ）」及び「その」は、文脈で明確に規定しない限り、複数の言及を含むことにも留意されたい。
【0095】
最終的に、本明細書において用いられる言語は、主に読みやすさ及び教示する目的のために選択されたものであり、本発明の主題を線引き又は限定するために選択されたものではない。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づく出願に関して発行される特許請求の範囲によって限定されることを意図する。したがって、本発明の実施形態は、以下の特許請求の範囲に記載する本発明の範囲を例示することを意図するが、限定するものではない。
【符号の説明】
【0096】
１００ アーキテクチャ
１０１ 自律走行車両
１０３ レーン追跡システム
１０５ レーン境界検出システム
１０７ プロセッサ
１０９ Ｉ／Ｏインターフェース
１１１ メモリ
１１３ １つ以上のセンサ
１１５ 画像取込デバイス
２０３ データ
２０５ モジュール
２０７ 訓練データ
２０９ クロソイド点データ
２１１ カルマンフィルタパラメトリックデータ
２１３ 再構成されたデータ
２１５ 他のデータ
２２１ 受信モジュール
２２３ 係数値決定モジュール
２２５ カルマンフィルタ決定モジュール
２２７ 再構成モジュール
２２９ 学習モジュール
２３１ 他のモジュール
２３３ 測定値に対応する例示的な複数のレーン境界検出点
２３５ グラウンドトゥルース値に対応する例示的な複数のレーン境界検出点
２３７ 再構成されたクロソイド点に基づいて追跡されモデル化された例示的なレーン
４００ 例示的なコンピュータシステム
４０１ 例示的なコンピュータシステムのＩ／Ｏインターフェース
４０２ 例示的なコンピュータシステムのプロセッサ
４０３ ネットワークインターフェース
４０４ ストレージインターフェース
４０５ 例示的なコンピュータシステムのメモリ
４０６ ユーザインターフェース
４０７ オペレーティングシステム
４０８ Ｗｅｂブラウザ
４０９ 通信ネットワーク
４１１ 入力デバイス
４１２ 出力デバイス
１０１ 自律走行車両
１０３ レーン追跡システム
１０５ レーン境界検出システム
１０７ プロセッサ
１０９ Ｉ／Ｏインターフェース
１１１ メモリ
１１３ １つ以上のセンサ
１１５ 画像取込デバイス
２０３ データ
２０５ モジュール
２０７ 訓練データ
２０９ クロソイド点データ
２１１ カルマンフィルタパラメトリックデータ
２１３ 再構成されたデータ
２１５ 他のデータ
２２１ 受信モジュール
２２３ 係数値決定モジュール
２２５ カルマンフィルタ決定モジュール
２２７ 再構成モジュール
２２９ 学習モジュール
２３１ 他のモジュール
２３３ 測定値に対応する例示的な複数のレーン境界検出点
２３５ グラウンドトゥルース値に対応する例示的な複数のレーン境界検出点
２３７ 再構成されたクロソイド点に基づいて追跡されモデル化された例示的なレーン
４００ 例示的なコンピュータシステム
４０１ 例示的なコンピュータシステムのＩ／Ｏインターフェース
４０２ 例示的なコンピュータシステムのプロセッサ
４０３ ネットワークインターフェース
４０４ ストレージインターフェース
４０５ 例示的なコンピュータシステムのメモリ
４０６ ユーザインターフェース
４０７ オペレーティングシステム
４０８ Ｗｅｂブラウザ
４０９ 通信ネットワーク
４１１ 入力デバイス
４１２ 出力デバイス
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図3A】
【図3B】
【図4】
【手続補正書】
【提出日】2024-04-08
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【0095】
最終的に、本明細書において用いられる言語は、主に読みやすさ及び教示する目的のために選択されたものであり、本発明の主題を線引き又は限定するために選択されたものではない。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づく出願に関して発行される特許請求の範囲によって限定されることを意図する。したがって、本発明の実施形態は、以下の特許請求の範囲に記載する本発明の範囲を例示することを意図するが、限定するものではない。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
自律走行車両（１０１）のレーン追跡システム（１０３）を訓練する方法であって、
レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
前記レーン追跡システム（１０３）により、各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を含む方法。
２．
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、上記１に記載の方法。
３．
前記レーン追跡システム（１０３）により、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択することを含む、上記１又は２に記載の方法。
４．
前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して、前記複数のレーン境界検出点を決定することを含み、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、上記１～３のいずれか一つに記載の方法。
５．
前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの前記少なくとも一方を取得することを含む、上記４に記載の方法。
６．
前記クロソイドパラメータは、レーン境界の初期曲率（ｃ ｏ ）、前記レーン境界の曲率変化率（ｃ １ ）及び車両の走行方向に対する向首角（β）を含む、上記１～５のいずれか一つに記載の方法。
７．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１～６のいずれか一つに記載の方法。
８．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１～７のいずれか一つに記載の方法。
９．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１～８のいずれか一つに記載の方法。
１０．
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定することは、
前記レーン追跡システム（１０３）により、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記レーン追跡システム（１０３）により、前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーン追跡システム（１０３）により、前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙ ｐ ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記レーン追跡システム（１０３）により、前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐ ｐ ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移（Ｙ ｐ ）及び共分散（Ｐ ｐ ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を含む、上記１～９のいずれか一つに記載の方法。
１１．
前記レーン追跡システム（１０３）により、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えることを更に含む、上記１～１０のいずれか一つに記載の方法。
１２．
自律走行車両（１０１）のレーン追跡の方法であって、
レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を含む方法。
１３．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１２に記載の方法。
１４．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１２又は１３に記載の方法。
１５．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１２～１４のいずれか一つに記載の方法。
１６．
自律走行車両（１０１）のレーン追跡システム（１０３）であって、
プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に前記レーン追跡システム（１０３）を訓練させるプロセッサ（１０７）命令を格納するメモリ（１１１）と
を含み、訓練のために、前記プロセッサ（１０７）は、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を行うように構成される、レーン追跡システム（１０３）。
１７．
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、上記１６に記載のレーン追跡システム（１０３）。
１８．
前記プロセッサ（１０７）は、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択する、上記１６又は１７に記載のレーン追跡システム（１０３）。
１９．
前記複数のレーン境界検出点は、前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して決定され、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、上記１６～１８のいずれか一つに記載のレーン追跡システム（１０３）。
２０．
前記プロセッサ（１０７）は、前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの少なくとも一方を取得する、上記１９に記載のレーン追跡システム（１０３）。
２１．
前記クロソイドパラメータは、レーン境界の初期曲率（ｃ ｏ ）、前記レーン境界の曲率変化率（ｃ １ ）及び車両の走行方向に対する向首角（β）を含む、上記１６～２０のいずれか一つに記載のレーン追跡システム（１０３）。
２２．
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定するために、前記プロセッサ（１０７）は、
前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙ ｐ ）を予測することと、
前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐ ｐ ）を予測することと、
前記予測された状態遷移（Ｙ ｐ ）及び共分散（Ｐ ｐ ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を行うように構成される、上記１６～２１のいずれか一つに記載のレーン追跡システム（１０３）。
２３．
前記プロセッサ（１０７）は、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えるように更に構成される、上記１６～２２のいずれか一つに記載のレーン追跡システム（１０３）。
２４．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１６～２３のいずれか一つに記載のレーン追跡システム（１０３）。
２５、
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１６～２４のいずれか一つに記載のレーン追跡システム（１０３）。
２６．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１６～２５のいずれか一つに記載のレーン追跡システム（１０３）。
２７．
自律走行車両（１０１）のレーン追跡システム（１０３）であって、
プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を行わせるプロセッサ（１０７）命令を格納する、メモリ（１１１）と
を含むレーン追跡システム（１０３）。
２８．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記２７に記載のレーン追跡システム（１０３）。
２９．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記２７又は２８に記載のレーン追跡システム（１０３）。
３０．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記２７～２９のいずれか一つに記載のレーン追跡システム（１０３）。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下も含む。
１．
自律走行車両（１０１）のレーン追跡システム（１０３）を訓練する方法であって、
レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
前記レーン追跡システム（１０３）により、各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を含む方法。
２．
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、上記１に記載の方法。
３．
前記レーン追跡システム（１０３）により、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択することを含む、上記１又は２に記載の方法。
４．
前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して、前記複数のレーン境界検出点を決定することを含み、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、上記１～３のいずれか一つに記載の方法。
５．
前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの前記少なくとも一方を取得することを含む、上記４に記載の方法。
６．
前記クロソイドパラメータは、レーン境界の初期曲率（ｃ ｏ ）、前記レーン境界の曲率変化率（ｃ １ ）及び車両の走行方向に対する向首角（β）を含む、上記１～５のいずれか一つに記載の方法。
７．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１～６のいずれか一つに記載の方法。
８．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１～７のいずれか一つに記載の方法。
９．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１～８のいずれか一つに記載の方法。
１０．
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定することは、
前記レーン追跡システム（１０３）により、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記レーン追跡システム（１０３）により、前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーン追跡システム（１０３）により、前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙ ｐ ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記レーン追跡システム（１０３）により、前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐ ｐ ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移（Ｙ ｐ ）及び共分散（Ｐ ｐ ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を含む、上記１～９のいずれか一つに記載の方法。
１１．
前記レーン追跡システム（１０３）により、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えることを更に含む、上記１～１０のいずれか一つに記載の方法。
１２．
自律走行車両（１０１）のレーン追跡の方法であって、
レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を含む方法。
１３．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１２に記載の方法。
１４．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１２又は１３に記載の方法。
１５．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１２～１４のいずれか一つに記載の方法。
１６．
自律走行車両（１０１）のレーン追跡システム（１０３）であって、
プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に前記レーン追跡システム（１０３）を訓練させるプロセッサ（１０７）命令を格納するメモリ（１１１）と
を含み、訓練のために、前記プロセッサ（１０７）は、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を行うように構成される、レーン追跡システム（１０３）。
１７．
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、上記１６に記載のレーン追跡システム（１０３）。
１８．
前記プロセッサ（１０７）は、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択する、上記１６又は１７に記載のレーン追跡システム（１０３）。
１９．
前記複数のレーン境界検出点は、前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して決定され、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、上記１６～１８のいずれか一つに記載のレーン追跡システム（１０３）。
２０．
前記プロセッサ（１０７）は、前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの少なくとも一方を取得する、上記１９に記載のレーン追跡システム（１０３）。
２１．
前記クロソイドパラメータは、レーン境界の初期曲率（ｃ ｏ ）、前記レーン境界の曲率変化率（ｃ １ ）及び車両の走行方向に対する向首角（β）を含む、上記１６～２０のいずれか一つに記載のレーン追跡システム（１０３）。
２２．
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定するために、前記プロセッサ（１０７）は、
前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙ ｐ ）を予測することと、
前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐ ｐ ）を予測することと、
前記予測された状態遷移（Ｙ ｐ ）及び共分散（Ｐ ｐ ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を行うように構成される、上記１６～２１のいずれか一つに記載のレーン追跡システム（１０３）。
２３．
前記プロセッサ（１０７）は、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えるように更に構成される、上記１６～２２のいずれか一つに記載のレーン追跡システム（１０３）。
２４．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記１６～２３のいずれか一つに記載のレーン追跡システム（１０３）。
２５、
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記１６～２４のいずれか一つに記載のレーン追跡システム（１０３）。
２６．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記１６～２５のいずれか一つに記載のレーン追跡システム（１０３）。
２７．
自律走行車両（１０１）のレーン追跡システム（１０３）であって、
プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を行わせるプロセッサ（１０７）命令を格納する、メモリ（１１１）と
を含むレーン追跡システム（１０３）。
２８．
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、上記２７に記載のレーン追跡システム（１０３）。
２９．
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、上記２７又は２８に記載のレーン追跡システム（１０３）。
３０．
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、上記２７～２９のいずれか一つに記載のレーン追跡システム（１０３）。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自律走行車両（１０１）のレーン追跡システム（１０３）を訓練する方法であって、レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
前記レーン追跡システム（１０３）により、各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を含む方法。
【請求項2】
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、請求項１に記載の方法。
【請求項3】
前記レーン追跡システム（１０３）により、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択することを含む、請求項１又は２に記載の方法。
【請求項4】
前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して、前記複数のレーン境界検出点を決定することを含み、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、請求項１又は２に記載の方法。
【請求項5】
前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの前記少なくとも一方を取得することを含む、請求項４に記載の方法。
【請求項6】
前記クロソイドパラメータは、レーン境界の初期曲率（ｃｏ）、前記レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含む、請求項１又は２に記載の方法。
【請求項7】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１又は２に記載の方法。
【請求項8】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１又は２に記載の方法。
【請求項9】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１又は２に記載の方法。
【請求項10】
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定することは、前記レーン追跡システム（１０３）により、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記レーン追跡システム（１０３）により、前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーン追跡システム（１０３）により、前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙｐ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記レーン追跡システム（１０３）により、前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐｐ）を予測することと、
前記レーン追跡システム（１０３）により、前記予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を含む、請求項１又は２に記載の方法。
【請求項11】
前記レーン追跡システム（１０３）により、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えることを更に含む、請求項１又は２に記載の方法。
【請求項12】
自律走行車両（１０１）のレーン追跡の方法であって、レーン追跡システム（１０３）により、前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
前記レーン追跡システム（１０３）により、レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーン追跡システム（１０３）により、前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記レーン追跡システム（１０３）により、前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記レーン追跡システム（１０３）により、前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を含む方法。
【請求項13】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１２に記載の方法。
【請求項14】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１２又は１３に記載の方法。
【請求項15】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１２又は１３に記載の方法。
【請求項16】
自律走行車両（１０１）のレーン追跡システム（１０３）であって、プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に前記レーン追跡システム（１０３）を訓練させるプロセッサ（１０７）命令を格納するメモリ（１１１）と
を含み、訓練のために、前記プロセッサ（１０７）は、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応するグラウンドトゥルース値と、前記複数のレーン境界検出点に対応する測定値とを受信することと、
レーンのレーン境界をモデル化するために、それぞれグラウンドトゥルース集合及び測定された集合を使用して形成されたグラウンドトゥルースクロソイド点及び測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記グラウンドトゥルース集合は、連続したレーン境界検出点のサブセットと、前記対応するグラウンドトゥルース値とを含み、及び前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと、
各サイクルにおいて、前記再構成された測定されたクロソイド点と、前記対応するグラウンドトゥルース集合との間の差分に基づく訓練誤差を、前記訓練誤差が、事前定義された閾値を下回るまで最小化することと
を行うように構成される、レーン追跡システム（１０３）。
【請求項17】
前記複数のレーン境界検出点は、前記レーンの左レーン境界及び右レーン境界に対応する、請求項１６に記載のレーン追跡システム（１０３）。
【請求項18】
前記プロセッサ（１０７）は、それぞれ前記グラウンドトゥルースクロソイド点及び前記測定されたクロソイド点を生成するために必要な前記グラウンドトゥルース集合及び前記測定された集合を動的に選択する、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項19】
前記複数のレーン境界検出点は、前記車両において構成された１つ以上のセンサ（１１３）から受信されたレーンデータと、リアルタイムで受信された前記レーンの画像フレームとの少なくとも一方を使用して決定され、前記レーンの前記画像フレームは、前記自律走行車両（１０１）に関連する画像取込デバイス（１１５）から受信される、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項20】
前記プロセッサ（１０７）は、前記レーンデータと、リアルタイムで取り込まれた前記画像フレームとを格納するように構成されたデータベースから、前記レーンデータと、前記レーンの前記画像フレームとの少なくとも一方を取得する、請求項１９に記載のレーン追跡システム（１０３）。
【請求項21】
前記クロソイドパラメータは、レーン境界の初期曲率（ｃｏ）、前記レーン境界の曲率変化率（ｃ１）及び車両の走行方向に対する向首角（β）を含む、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項22】
前記少なくとも１つのニューラルネットワークを使用して前記カルマンフィルタパラメータを決定するために、前記プロセッサ（１０７）は、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を第１のニューラルネットワークへの入力として提供することであって、前記第１のニューラルネットワークは、過去の測定された集合及びグラウンドトゥルース集合を使用して形成されたクロソイド点について決定された前記クロソイドパラメータの過去の係数値に基づいて訓練される、提供することと、
前記第１のニューラルネットワークを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を使用して測定ノイズ共分散行列（Ｒ）を決定することと、
前記レーンに沿って移動する前記自律走行車両（１０１）の速度と、連続した画像フレーム間の時間差とに基づいて、１つの画像フレームから別の画像フレームへの、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値の状態遷移（Ｙｐ）を予測することと、
前記予測された状態遷移を第２のニューラルネットワークへの入力として使用してプロセスノイズ共分散行列（Ｑ）を決定することであって、前記第２のニューラルネットワークは、過去の自律走行車両（１０１）速度値及び時間差値を使用して訓練される、決定することと、
前記決定されたプロセスノイズ共分散行列（Ｑ）を使用して、前記予測された状態遷移の誤差共分散（Ｐｐ）を予測することと、
前記予測された状態遷移（Ｙｐ）及び共分散（Ｐｐ）、前記決定された測定ノイズ共分散行列（Ｒ）並びに前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値に基づいて、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のための前記カルマンフィルタパラメータを決定することと
を行うように構成される、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項23】
前記プロセッサ（１０７）は、前記レーン境界と前記自律走行車両（１０１）との間の初期横方向オフセットを、前記再構成された測定されたクロソイド点に加えるように更に構成される、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項24】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項25】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項26】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項１６又は１７に記載のレーン追跡システム（１０３）。
【請求項27】
自律走行車両（１０１）のレーン追跡システム（１０３）であって、プロセッサ（１０７）と、
前記プロセッサ（１０７）に通信可能に結合されたメモリ（１１１）であって、実行時、前記プロセッサ（１０７）に、
前記レーン追跡システム（１０３）に関連するレーン境界検出システム（１０５）から、複数のレーン境界検出点に対応する測定値を受信することと、
レーンのレーン境界をモデル化するために、測定された集合を使用して形成された測定されたクロソイド点について、クロソイドパラメータの係数値を決定することであって、前記測定された集合は、連続したレーン境界検出点のサブセットと、前記対応する測定値とを含む、決定することと、
前記レーンの前記レーン境界を追跡するために、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値のためのカルマンフィルタパラメータを決定することであって、前記カルマンフィルタパラメータは、少なくとも１つのニューラルネットワークを使用して決定される、決定することと、
前記対応するカルマンフィルタパラメータを使用して、前記測定されたクロソイド点について決定された前記クロソイドパラメータの前記係数値を更新することと、
前記クロソイドパラメータの前記対応する更新された係数値を使用して、前記測定されたクロソイド点を再構成することであって、それぞれの再構成された測定されたクロソイド点は、前記レーン追跡システム（１０３）が前記自律走行車両（１０１）の前記レーン境界を追跡することを可能にする、再構成することと
を行わせるプロセッサ（１０７）命令を格納する、メモリ（１１１）と
を含むレーン追跡システム（１０３）。
【請求項28】
前記少なくとも１つのニューラルネットワークは、時間記憶を伴うニューラルネットワークを含む、請求項２７に記載のレーン追跡システム（１０３）。
【請求項29】
前記少なくとも１つのニューラルネットワークは、回帰型ニューラルネットワークを含む、請求項２７又は２８に記載のレーン追跡システム（１０３）。
【請求項30】
前記少なくとも１つのニューラルネットワークは、長・短期記憶ニューラルネットワークを含む、請求項２７又は２８に記載のレーン追跡システム（１０３）。
【国際調査報告】