特表 2023-519940 車両をナビゲートするための制御ループ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-05-15

(54)【発明の名称】車両をナビゲートするための制御ループ

(51)【国際特許分類】

   B60W 30/10 20060101AFI20230508BHJP

   G08G 1/00 20060101ALI20230508BHJP

   G08G 1/16 20060101ALI20230508BHJP

   B62D 6/00 20060101ALI20230508BHJP

   B60W 30/14 20060101ALI20230508BHJP

【ＦＩ】

B60W30/10

G08G1/00 X

G08G1/16 C

B62D6/00

B60W30/14

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022559415

(86)(22)【出願日】2021-04-01

(85)【翻訳文提出日】2022-11-25

(86)【国際出願番号】 IB2021000201

(87)【国際公開番号】W WO2021198775

(87)【国際公開日】2021-10-07

(31)【優先権主張番号】63/003,487

(32)【優先日】2020-04-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】515168961

【氏名又は名称】モービルアイ ビジョン テクノロジーズ リミテッド

【住所又は居所原語表記】Ｐ．Ｏ．Ｂ． ４５１５７，１３ ＨＡＲＴＯＭ ＳＴＲＥＥＴ， ＨＡＲ ＨＯＴＺＶＩＭ， ＪＥＲＵＳＡＬＥＭ， ９７７７５１３ ＩＳＲＡＥＬ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】モルナー、モラン

(72)【発明者】

【氏名】セリグ、イラン

(72)【発明者】

【氏名】ロジャス、ロネン

【テーマコード（参考）】

3D232

3D241

5H181

【Ｆターム（参考）】

3D232CC20

3D232DA23

3D232DA25

3D232DA33

3D232DA77

3D232DA78

3D232DA87

3D232DA88

3D232DC01

3D232DC02

3D232DC38

3D232DD01

3D232DD05

3D232DD12

3D232DD18

3D232EC35

3D232GG01

3D241BA01

3D241BA11

3D241CE01

3D241CE02

3D241CE04

3D241CE05

3D241DA52Z

3D241DB02Z

3D241DB09Z

3D241DB12Z

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF05

5H181FF10

5H181FF14

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

車両をナビゲートするためのシステムは、車両センサによって提供される出力を受信し、車両センサによって提供される出力に基づいて道路セグメントに沿う車両用のナビゲーション操作を決定するようにプログラムされたプロセッサを備えてもよい。プロセッサはまた、ナビゲーション操作を実装するため、ヨーレートコマンドおよび速度コマンドを決定するようにプログラムされてもよい。プロセッサはまた、第１制御サブシステムを使用して、ヨーレートおよび速度コマンドに基づき第１車両ステアリング角を決定し、且つ、第２制御サブシステムを使用して、ヨーレートおよび速度コマンドに基づき第２車両ステアリング角を決定するようにプログラムされてもよい。プロセッサはさらに、第１および第２ステアリング角の組み合わせに基づいて、車両用の全体的な操縦コマンドを決定し、且つ、車両に関連するアクチュエータに、全体的な操縦コマンドを実装させるようにプログラムされてもよい。

【特許請求の範囲】

【請求項1】

車両をナビゲートするためのシステムであって、
回路およびメモリを有する少なくとも１つのプロセッサを備え、
前記メモリは、前記回路によって実行された場合に、前記少なくとも１つのプロセッサに、
少なくとも１つの車両センサによって提供される出力を受信させ、
前記少なくとも１つの車両センサによって提供される前記出力に基づいて、道路セグメントに沿う前記車両用の少なくとも１つのナビゲーション操作を決定させ、
前記ナビゲーション操作を実装するため、車両ヨーレートコマンドおよび車両速度コマンドを決定させ、
前記少なくとも１つのプロセッサによって実装される第１制御サブシステムを使用し、前記車両ヨーレートコマンドおよび前記車両速度コマンドに基づいて少なくとも第１車両ステアリング角を決定させ、
前記少なくとも１つのプロセッサによって実装される第２制御サブシステムを使用し、前記車両ヨーレートコマンドおよび前記車両速度コマンドに基づいて少なくとも第２車両ステアリング角を決定させ、
前記第１車両ステアリング角および前記第２車両ステアリング角の組み合わせに基づいて、前記車両用の全体的な操縦コマンドを決定させ、
前記車両に関連する少なくとも１つのアクチュエータに、前記全体的な操縦コマンドを実装させる、
命令を含む、
システム。

【請求項2】

前記第１制御サブシステムは、１つまたは複数のフィードフォワード計算に基づいて前記第１車両ステアリング角を決定するように構成される、
請求項１に記載のシステム。

【請求項3】

前記１つまたは複数のフィードフォワード計算は、前記車両の動きを表す少なくとも１つの運動方程式に基づく、
請求項２に記載のシステム。

【請求項4】

前記１つまたは複数のフィードフォワード計算は、前記車両に関連する少なくとも１つの所定の操縦挙動特徴に基づく、
請求項２に記載のシステム。

【請求項5】

前記少なくとも１つの所定の操縦挙動特徴は、操縦アクチュエータ制御入力を、実際の車両ステアリング角に関連付ける、
請求項４に記載のシステム。

【請求項6】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両速度に関連付ける、
請求項４に記載のシステム。

【請求項7】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両の横方向加速度に関連付ける、
請求項４に記載のシステム。

【請求項8】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両ステアリング角に関連付ける、
請求項４に記載のシステム。

【請求項9】

前記少なくとも１つの所定の操縦挙動特徴は、以前の１つまたは複数のドライブセグメント中に収集されたドライブ情報に基づいて決定される、
請求項４に記載のシステム。

【請求項10】

前記第２制御サブシステムは、前記車両ヨーレートコマンドに関連する１つまたは複数の値を、測定された車両ヨーレートに関連する１つまたは複数の値と比較するフィードバックループに基づいて、前記第２車両ステアリング角を決定するように構成される、
請求項１に記載のシステム。

【請求項11】

前記第１制御サブシステムは、訓練されたシステムを含む、
請求項１に記載のシステム。

【請求項12】

前記訓練されたシステムは、ニューラルネットワークを含む、
請求項１１に記載のシステム。

【請求項13】

前記訓練されたニューラルネットワークは、前記車両の運動学的状態を表す１つまたは複数の入力に基づいて前記第１車両ステアリング角を出力するように訓練されている、
請求項１２に記載のシステム。

【請求項14】

前記少なくとも１つの車両センサは、カメラ、レーダデバイス、ＬＩＤＡＲデバイス、速度センサ、加速度センサ、ブレーキセンサ、または、サスペンションセンサのうちの少なくとも１つを含む、
請求項１に記載のシステム。

【請求項15】

前記少なくとも１つの車両センサによって提供される前記出力は、前記車両に搭載される１つまたは複数のカメラによって取り込まれる１つまたは複数の画像を含む、
請求項１に記載のシステム。

【請求項16】

前記全体的な操縦コマンドは、前記車両を旋回させることを含む、
請求項１に記載のシステム。

【請求項17】

前記全体的な操縦コマンドは、前記車両の現在位置の所定距離前方に前記車両を旋回させることを含む、
請求項１に記載のシステム。

【請求項18】

前記車両ヨーレートコマンドまたは前記車両速度コマンドのうちの１つまたは複数を決定することは、所定のマップ情報の分析に基づく、
請求項１に記載のシステム。

【請求項19】

前記所定のマップ情報は、前記道路セグメントに沿う前記車両用の目標軌跡を含む、
請求項１８に記載のシステム。

【請求項20】

前記第２制御サブシステムは、比例積分微分コントローラを含む、
請求項１に記載のシステム。

【請求項21】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１制御サブシステムによって決定される前記第１車両ステアリング角、および、前記第２制御サブシステムによって決定される前記第２車両ステアリング角の合計に基づく、
請求項１に記載のシステム。

【請求項22】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１車両ステアリング角および前記第２車両ステアリング角の前記合計に、あるゲインを乗算することにさらに基づく、
請求項２１に記載のシステム。

【請求項23】

前記ゲインは、０．６から０．８の間である、
請求項２２に記載のシステム。

【請求項24】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１車両ステアリング角および前記第２車両ステアリング角の差分または関係に基づく、
請求項１に記載のシステム。

【請求項25】

前記車両用の前記全体的な操縦コマンドを決定することは、訓練されたシステムによる、前記第１車両ステアリング角および前記第２車両ステアリング角の分析に基づく、
請求項１に記載のシステム。

【請求項26】

前記訓練されたシステムは、ニューラルネットワークを含む、
請求項２５に記載のシステム。

【請求項27】

少なくとも１つのプロセッサによって実行された場合に、前記少なくとも１つのプロセッサに、
少なくとも１つの車両センサによって提供される出力を受信すること、
前記少なくとも１つの車両センサによって提供される前記出力に基づいて、道路セグメントに沿う車両用の少なくとも１つのナビゲーション操作を決定すること、
前記ナビゲーション操作を実装するため、車両ヨーレートコマンドおよび車両速度コマンドを決定すること、
第１制御サブシステムを使用し、前記車両ヨーレートコマンドおよび前記車両速度コマンドに基づいて少なくとも第１車両ステアリング角を決定すること、
第２制御サブシステムを使用し、前記車両ヨーレートコマンドおよび前記車両速度コマンドに基づいて少なくとも第２車両ステアリング角を決定すること、
前記第１車両ステアリング角および前記第２車両ステアリング角の組み合わせに基づいて、前記車両用の全体的な操縦コマンドを決定すること、
前記車両に関連する少なくとも１つのアクチュエータに、前記全体的な操縦コマンドを実装させること、
を含む操作を実行させる命令を備えるプログラム。

【請求項28】

前記第１制御サブシステムは、１つまたは複数のフィードフォワード計算に基づいて前記第１車両ステアリング角を決定するように構成される、
請求項２７に記載のプログラム。

【請求項29】

前記１つまたは複数のフィードフォワード計算は、前記車両の動きを表す少なくとも１つの運動方程式に基づく、
請求項２８に記載のプログラム。

【請求項30】

前記１つまたは複数のフィードフォワード計算は、前記車両に関連する少なくとも１つの所定の操縦挙動特徴に基づく、
請求項２８に記載のプログラム。

【請求項31】

前記少なくとも１つの所定の操縦挙動特徴は、操縦アクチュエータ制御入力を、実際の車両ステアリング角に関連付ける、
請求項３０に記載のプログラム。

【請求項32】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両速度に関連付ける、
請求項３０に記載のプログラム。

【請求項33】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両の横方向加速度に関連付ける、
請求項３０に記載のプログラム。

【請求項34】

前記少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両ステアリング角に関連付ける、
請求項３０に記載のプログラム。

【請求項35】

前記少なくとも１つの所定の操縦挙動特徴は、以前の１つまたは複数のドライブセグメント中に収集されたドライブ情報に基づいて決定される、
請求項３０に記載のプログラム。

【請求項36】

前記第２制御サブシステムは、前記車両ヨーレートコマンドに関連する１つまたは複数の値を、測定された車両ヨーレートに関連する１つまたは複数の値と比較するフィードバックループに基づいて、前記第２車両ステアリング角を決定するように構成される、
請求項２７に記載のプログラム。

【請求項37】

前記第１制御サブシステムは、訓練されたシステムを含む、
請求項２７に記載のプログラム。

【請求項38】

前記訓練されたシステムは、ニューラルネットワークを含む、
請求項３７に記載のプログラム。

【請求項39】

前記訓練されたニューラルネットワークは、前記車両の運動学的状態を表す１つまたは複数の入力に基づいて前記第１車両ステアリング角を出力するように訓練されている、
請求項３８に記載のプログラム。

【請求項40】

前記少なくとも１つの車両センサは、カメラ、レーダデバイス、ＬＩＤＡＲデバイス、速度センサ、加速度センサ、ブレーキセンサ、または、サスペンションセンサのうちの少なくとも１つを含む、
請求項２７に記載のプログラム。

【請求項41】

前記少なくとも１つの車両センサによって提供される前記出力は、前記車両に搭載される１つまたは複数のカメラによって取り込まれる１つまたは複数の画像を含む、
請求項２７に記載のプログラム。

【請求項42】

前記全体的な操縦コマンドは、前記車両を旋回させることを含む、
請求項２７に記載のプログラム。

【請求項43】

前記全体的な操縦コマンドは、前記車両の現在位置の所定距離前方に前記車両を旋回させることを含む、
請求項２７に記載のプログラム。

【請求項44】

前記車両ヨーレートコマンドまたは前記車両速度コマンドのうちの１つまたは複数を決定することは、所定のマップ情報の分析に基づく、
請求項２７に記載のプログラム。

【請求項45】

前記所定のマップ情報は、前記道路セグメントに沿う前記車両用の目標軌跡を含む、
請求項４４に記載のプログラム。

【請求項46】

前記第２制御サブシステムは、比例積分微分コントローラを含む、
請求項２７に記載のプログラム。

【請求項47】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１制御サブシステムによって決定される前記第１車両ステアリング角、および、前記第２制御サブシステムによって決定される前記第２車両ステアリング角の合計に基づく、
請求項２７に記載のプログラム。

【請求項48】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１車両ステアリング角および前記第２車両ステアリング角の前記合計に、あるゲインを乗算することにさらに基づく、
請求項４７に記載のプログラム。

【請求項49】

前記ゲインは、０．６から０．８の間である、
請求項４８に記載のプログラム。

【請求項50】

前記車両用の前記全体的な操縦コマンドを決定することは、前記第１車両ステアリング角および前記第２車両ステアリング角の差分または関係に基づく、
請求項２７に記載のプログラム。

【請求項51】

前記車両用の前記全体的な操縦コマンドを決定することは、訓練されたシステムによる、前記第１車両ステアリング角および前記第２車両ステアリング角の分析に基づく、
請求項２７に記載のプログラム。

【請求項52】

前記訓練されたシステムは、ニューラルネットワークを含む、
請求項５１に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０２０年４月１日出願の米国仮特許出願第６３／００３，４８７号の優先権の利益を主張する。前述の出願は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は概して、自動運転車ナビゲーションに関する。
［背景情報］

【0003】

技術が発展を続けるにつれて、車道をナビゲートできる完全自動運転車の目標が近づいている。自動運転車は様々な要因を考慮し、こうした要因に基づいて適切な判定を行い、意図した目的地に安全且つ正確に到達することが必要になり得る。例えば、自動運転車は、視覚情報（例えば、カメラから取り込まれた情報）を処理して解釈することが必要になる場合があり、他の情報源（例えば、ＧＰＳデバイス、速度センサ、加速度計、サスペンションセンサなどで）から取得した情報も用いることがある。それと同時に、目的地にナビゲートするために、自動運転車は、特定の車道（例えば、複数車線道路での特定の車線）における自車の位置を識別し、他の車両と並んでナビゲートし、障害物や歩行者を避け、交通信号や標識を順守し、適切な交差点またはインターチェンジで、ある道路から別の道路へと走行することも必要になり得る。自動運転車が目的地まで走行するときに当該車両が収集する膨大な情報の利用および解釈は、多くの設計上の課題をもたらす。自動運転車が分析する、アクセスする、および／または格納するのに必要となり得る莫大な量のデータ（例えば、取り込まれた画像データ、マップデータ、ＧＰＳデータ、センサデータなど）は、実際に自動ナビゲーションを制限する可能性のある、または悪影響さえ与える可能性のある課題をもたらす。さらに、自動運転車が従来のマッピング技術を利用してナビゲートする場合、マップの格納および更新を行うのに必要な莫大な量のデータは、非常に困難な課題をもたらす。

【発明の概要】

【0004】

本開示と矛盾しない実施形態が、車両ナビゲーション用のシステムおよび方法を提供する。

【0005】

一実施形態において、車両をナビゲートするためのシステムは、回路およびメモリを有する少なくとも１つのプロセッサを含んでもよい。メモリは、回路によって実行された場合に、少なくとも１つのプロセッサに、少なくとも１つの車両センサによって提供される出力を受信させ得る命令を含んでもよい。回路はまた、少なくとも１つのプロセッサに、少なくとも１つの車両センサによって提供される出力に基づいて、道路セグメントに沿う、車両用の少なくとも１つのナビゲーション操作を決定させてもよい。回路はさらに、少なくとも１つのプロセッサに、ナビゲーション操作を実装するため、車両ヨーレートコマンドおよび車両速度コマンドを決定させてもよい。回路はまた、少なくとも１つのプロセッサに、車両ヨーレートコマンドおよび車両速度コマンドに基づき、少なくとも１つのプロセッサによって実装される第１制御サブシステムを使用して、少なくとも第１車両ステアリング角を決定させてもよい。回路はさらに、少なくとも１つのプロセッサに、車両ヨーレートコマンドおよび車両速度コマンドに基づき、少なくとも１つのプロセッサによって実装される第２制御サブシステムを使用して、少なくとも第２車両ステアリング角を決定させてもよい。回路はまた、少なくとも１つのプロセッサに、第１車両ステアリング角および第２車両ステアリング角の組み合わせに基づいて、車両用の全体的な操縦コマンドを決定させてもよい。回路はさらに、少なくとも１つのプロセッサに、車両に関連する少なくとも１つのアクチュエータに全体的な操縦コマンドを実装させることをさせてもよい。

【0006】

一実施形態において、非一時的コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行された場合に、少なくとも１つのプロセッサに、少なくとも１つの車両センサによって提供される出力を受信することを含む操作を実行させ得る命令を含んでもよい。操作はまた、少なくとも１つの車両センサによって提供される出力に基づいて、道路セグメントに沿う、車両用の少なくとも１つのナビゲーション操作を決定することを含んでもよい。操作はまた、ナビゲーション操作を実装するため、車両ヨーレートコマンドおよび車両速度コマンドを決定することを含んでもよい。操作はさらに、車両ヨーレートコマンドおよび車両速度コマンドに基づき、第１制御サブシステムを使用して、少なくとも第１車両ステアリング角を決定することを含んでもよい。操作はまた、車両ヨーレートコマンドおよび車両速度コマンドに基づき、第２制御サブシステムを使用して、少なくとも第２車両ステアリング角を決定することを含んでもよい。操作はさらに、第１車両ステアリング角および第２車両ステアリング角の組み合わせに基づいて、車両用の全体的な操縦コマンドを決定することを含んでもよい。操作はまた、車両に関連する少なくとも１つのアクチュエータに、全体的な操縦コマンドを実装させることを含んでもよい。

【0007】

前述の概要および以下の詳細な説明は、例示的であり説明のためのものでしかなく、特許請求の範囲を限定することはない。

【図面の簡単な説明】

【0008】

本開示に組み込まれ、本開示の一部を構成する添付図面が、開示する様々な実施形態を示している。その図面は以下の通りである。

【0009】

【図1】開示する実施形態と矛盾しない例示的なシステムの概略図である。

【0010】

【図2A】開示する実施形態と矛盾しないシステムを含む例示的な車両の概略側面図である。

【0011】

【図2B】開示する実施形態と矛盾しない図２Ａに示す車両およびシステムの概略上面図である。

【0012】

【図2C】開示する実施形態と矛盾しないシステムを含む車両の別の実施形態の概略上面図である。

【0013】

【図2D】開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。

【0014】

【図2E】開示する実施形態と矛盾しないシステムを含む車両のさらに別の実施形態の概略上面図である。

【0015】

【図2F】開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。

【0016】

【図3A】開示する実施形態と矛盾しない、車両撮像システム用のバックミラーおよびユーザインタフェースを含む車両の内側の概略図である。

【0017】

【図3B】開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。

【0018】

【図3C】開示する実施形態と矛盾しない図３Ｂに示すカメラマウントを別の角度から見た図である。

【0019】

【図3D】開示する実施形態と矛盾しない、バックミラーの背後に車両のフロントガラスに接触して配置されるように構成された、カメラマウントの一例を示す図である。

【0020】

【図4】開示する実施形態と矛盾しない、１つまたは複数の動作を行うための命令を格納するように構成された、メモリの例示的なブロック図である。

【0021】

【図5A】開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。

【0022】

【図5B】開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセスを示すフローチャートである。

【0023】

【図5C】開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセスを示すフローチャートである。

【0024】

【図5D】開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセスを示すフローチャートである。

【0025】

【図5E】開示する実施形態と矛盾しない、車両経路に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。

【0026】

【図5F】開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセスを示すフローチャートである。

【0027】

【図6】開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。

【0028】

【図7】開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセスを示すフローチャートである。

【0029】

【図8】開示する実施形態と矛盾しない、自動運転車ナビゲーションを提供するためのスパースマップを示す図である。

【0030】

【図9A】開示する実施形態と矛盾しない、道路セグメントの一部の多項式表現を示す図である。

【0031】

【図9B】開示する実施形態と矛盾しないスパースマップに含まれる、特定の道路セグメントについての車両の目標軌跡を表す、３次元空間における曲線を示す図である。

【0032】

【図10】開示する実施形態と矛盾しないスパースマップに含まれ得る例示的なランドマークを示す図である。

【0033】

【図11A】開示する実施形態と矛盾しない軌跡の多項式表現を示す図である。

【0034】

【図11B】開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。

【図11C】開示する実施形態と矛盾しない、複数車線道路に沿った目標軌跡を示す図である。

【0035】

【図11D】開示する実施形態と矛盾しない例示的な道路シグネチャプロファイルを示す図である。

【0036】

【図12】開示する実施形態と矛盾しない、複数の車両から受信したクラウドソーシングデータを自動運転車ナビゲーションに用いるシステムの概略図である。

【0037】

【図13】開示する実施形態と矛盾しない、複数の３次元スプラインで表される例示的な自動運転車向け道路ナビゲーションモデルを示す図である。

【0038】

【図14】開示する実施形態と矛盾しない、複数のドライブからの位置情報を組み合わせて生成された、マップの骨組みを示す図である。

【0039】

【図15】開示する実施形態と矛盾しない、ランドマークとなる例示的な標識と２つのドライブとを長手方向に揃えた一例を示す図である。

【0040】

【図16】開示する実施形態と矛盾しない、ランドマークとしての例示的な標識と複数のドライブとを長手方向に揃えた一例を示す図である。

【0041】

【図17】開示する実施形態と矛盾しない、カメラ、車両、およびサーバを用いてドライブデータを生成するためのシステムの概略図である。

【0042】

【図18】開示する実施形態と矛盾しない、スパースマップをクラウドソーシングするためのシステムの概略図である。

【0043】

【図19】開示する実施形態と矛盾しない、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための、例示的プロセスを示すフローチャートである。

【0044】

【図20】開示する実施形態と矛盾しないサーバのブロック図を示す図である。

【0045】

【図21】開示する実施形態と矛盾しないメモリのブロック図を示す図である。

【0046】

【図22】開示する実施形態と矛盾しない、車両に関連づけられた車両軌跡をクラスタ化するプロセスを示す図である。

【0047】

【図23】開示する実施形態と矛盾しない、自動ナビゲーションに用いられ得る車両用ナビゲーションシステムを示す図である。

【0048】

【図24A】開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。

【図24B】開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。

【図24C】開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。

【図24D】開示する実施形態と矛盾しない、検出され得る例示的な車線標示を示す図である。

【0049】

【図24E】開示する実施形態と矛盾しない、マッピングされた例示的な車線標示を示す図である。

【0050】

【図24F】開示する実施形態と矛盾しない、車線標示の検出に関連した例示的な異常を示す図である。

【0051】

【図25A】開示する実施形態と矛盾しない、マッピングされた車線標示に基づくナビゲーション用の、車両の周辺環境についての例示的な画像を示す図である。

【0052】

【図25B】開示する実施形態と矛盾しない、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示す図である。

【0053】

【図25C】スパースマップに含まれるマッピングされた特徴を用いて、目標軌跡に沿ってホスト車両を位置特定するための位置特定手法の概念表現を提供する。

【図25D】スパースマップに含まれるマッピングされた特徴を用いて、目標軌跡に沿ってホスト車両を位置特定するための位置特定手法の概念表現を提供する。

【0054】

【図26A】開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする、例示的なプロセスを示すフローチャートである。

【0055】

【図26B】開示する実施形態と矛盾しない、マッピングされた車線標示を用いて道路セグメントに沿ってホスト車両を自律的にナビゲートするための、例示的なプロセスを示すフローチャートである。

【0056】

【図27】開示する実施形態と矛盾しない例示的な車両の概略図である。

【0057】

【図28】開示する実施形態と矛盾しない、操縦コマンドを生成するための例示的なプロセスの概略図である。

【0058】

【図29】開示する実施形態と矛盾しない、例示的な操縦モデルを示す。

【0059】

【図30】開示する実施形態と矛盾しない、例示的な車両のブロック図である。

【0060】

【図31】開示する実施形態と矛盾しない、車両をナビゲートするための例示的なプロセスを示すフローチャートである。

【発明を実施するための形態】

【0061】

以下の詳細な説明では、添付図面を参照する。図面および以下の説明では、可能な限り、同じまたは同様の部分を指すために同じ参照番号が用いられる。いくつかの例示的な実施形態が本明細書で説明されるが、変更、改作、および他の実装例も可能である。例えば、図面に示されている構成要素に対して置換、追加、および変更を行ってもよく、本明細書で説明される例示的方法が、開示する方法に対して段階を置き換える、並べ替える、削除する、または追加することによって変更されてよい。したがって、以下の詳細な説明は、開示する実施形態および例に限定されない。その代わりに、添付の特許請求の範囲によって、適切な範囲が定められる。

【0062】

［自動運転車の概要］

【0063】

本開示全体にわたって用いられる場合、用語「自動運転車」とは、運転者の入力を必要とすることなく、少なくとも１つのナビゲーション変更を実施できる車両を指す。「ナビゲーション変更」とは、車両の操縦、ブレーキ、もしくは加速のうちの１つまたは複数における変更を指す。自動であるためには、車両が完全に自動（例えば、運転者を必要としない、または運転者の入力を必要としない完全動作）である必要はない。むしろ、自動運転車は、一定の期間の間、運転者の制御の下で動作し、他の期間では運転者の制御を必要とせずに動作できるものも含む。自動運転車には、（例えば、車両車線制限線の間に車両進路を維持するために）操縦などの車両ナビゲーションの一部の側面だけを制御するが、他の側面（例えば、ブレーキ）は運転者に任せる場合がある車両も含まれてよい。場合によっては、車両のブレーキ、速度制御、および／または操縦の一部または全部の側面を、自動運転車が担ってもよい。

【0064】

人の運転者は通常、視覚的な手がかりや観測結果を利用して車両を制御するので、それに基づいて交通インフラが構築されており、したがって、車線標示、交通標識、および信号機は全て、視覚情報を運転者に提供するように設計されている。交通インフラのこれらの設計的特徴を考慮して、自動運転車が、カメラと、車両の環境から取り込まれた視覚情報を分析する処理ユニットとを含んでよい。視覚情報には、例えば、運転者が観測可能な交通インフラの構成要素（例えば、車線標示、交通標識、信号機など）、および他の障害物（例えば、他の車両、歩行者、ゴミなど）が含まれてよい。さらに、自動運転車は、ナビゲート時に、車両の環境のモデルを提供する情報などの、格納済みの情報も用いてよい。例えば、車両は、ＧＰＳデータ、（例えば、加速度計、速度センサ、サスペンションセンサなど）のセンサデータ、および／または他のマップデータを用いて、車両が走行している間に、その環境に関連する情報を提供してよく、当該車両（および他の車両）は、その情報を用いてモデル上で自車の位置を特定してよい。

【0065】

本開示のいくつかの実施形態では、自動運転車が、ナビゲートしている間に（例えば、カメラ、ＧＰＳデバイス、加速度計、速度センサ、サスペンションセンサなどから）取得した情報を用いてよい。他の実施形態では、自動運転車が、当該車両（または他の車両）による過去のナビゲーションから取得された情報をナビゲート中に用いてよい。さらに他の実施形態では、自動運転車が、ナビゲート中に取得された情報と過去のナビゲーションから取得された情報とを組み合わせて用いてよい。以下のセクションでは、開示する実施形態と矛盾しないシステムの概要を提供し、その後に、当該システムと矛盾しない前面撮像システムおよび方法の概要が続く。この後のセクションでは、自動運転車ナビゲーション用のスパースマップを構築する、用いる、且つ更新するためのシステムおよび方法を開示する。

【0066】

［システム概要］

【0067】

図１は、開示する例示的な実施形態と矛盾しないシステム１００のブロック図である。システム１００は、具体的な実装例の要件に応じて、様々な構成要素を含んでよい。いくつかの実施形態において、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つまたは複数のメモリユニット１４０、１５０、マップデータベース１６０、ユーザインタフェース１７０、および無線送受信機１７２を含んでよい。処理ユニット１１０は、１つまたは複数の処理デバイスを含んでよい。いくつかの実施形態において、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、または任意の他の好適な処理デバイスを含んでよい。同様に、画像取得ユニット１２０は、特定の用途についての要件に応じて、任意の数の画像取得デバイスおよび構成要素を含んでよい。いくつかの実施形態において、画像取得ユニット１２０は、画像取り込みデバイス１２２、画像取り込みデバイス１２４、および画像取り込みデバイス１２６などの１つまたは複数の画像取り込みデバイス（例えば、カメラ）を含んでよい。システム１００は、処理デバイス１１０を画像取得デバイス１２０に通信可能に接続するデータインタフェース１２８も含んでよい。例えば、データインタフェース１２８は、画像取得デバイス１２０で取得した画像データを処理ユニット１１０に送信するための、１つまたは複数の任意の有線リンクおよび／または無線リンクを含んでよい。

【0068】

無線送受信機１７２は、無線周波数、赤外線周波数、磁界、または電界を用いて、１つまたは複数のネットワーク（例えば、セルラ、インターネットなど）に対するエアインターフェースを介した送信をやり取りするように構成された１つまたは複数のデバイスを含んでよい。無線送受信機１７２は、任意の既知の規格（例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｓｍａｒｔ、８０２．１５．４、ＺｉｇＢｅｅ（登録商標）など）を用いて、データの送信および／または受信を行ってよい。そのような送信には、ホスト車両から遠隔に配置された１つまたは複数のサーバへの通信が含まれてよい。そのような送信には、（例えば、ホスト車両の環境内にいる対象車両を考慮して、またはその対象車両と一緒に、ホスト車両のナビゲーションの調整を容易にするための）ホスト車両とホスト車両の環境内にいる１つまたは複数の対象車両との間の通信（一方向または双方向）、または送信車両の近くにいる不特定受信者へのブロードキャスト送信さえも含まれてよい。

【0069】

アプリケーションプロセッサ１８０および画像プロセッサ１９０は両方とも、様々なタイプの処理デバイスを含んでよい。例えば、アプリケーションプロセッサ１８０および画像プロセッサ１９０のいずれかまたは両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックス処理装置（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、またはアプリケーションの実行並びに画像処理および分析に好適な任意の他のタイプのデバイスを含んでよい。いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、任意のタイプのシングルコアプロセッサまたはマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置などを含んでよい。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）などといった製造業者から入手可能なプロセッサ、またはＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）などといった製造業者から入手可能なＧＰＵを含む様々な処理デバイスが用いられてよく、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含んでよい。

【0070】

いくつかの実施形態において、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、Ｍｏｂｉｌｅｙｅ（登録商標）から入手可能なＥｙｅＱシリーズのプロセッサチップのうちのいずれかを含んでよい。これらのプロセッサ設計は各々、ローカルメモリおよび命令セットを有する複数の処理ユニットを含む。そのようなプロセッサは、複数のイメージセンサから画像データを受信するためのビデオ入力を含んでよく、またビデオ出力機能も含んでよい。一例において、ＥｙｅＱ２（登録商標）は９０ｎｍテクノロジを用い、３３２ＭＨｚで動作する。ＥｙｅＱ２（登録商標）アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ型ＣＰＵ（ＭＩＰＳ３２（登録商標）３４Ｋ（登録商標）コア）、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ（ＶＭＰ（登録商標））、Ｄｅｎａｌｉの６４ビットモバイルＤＤＲコントローラ、１２８ビット内蔵Ｓｏｎｉｃｓ Ｉｎｔｅｒｃｏｎｎｅｃｔ、１６ビットビデオ入力および１８ビットビデオ出力のデュアルコントローラ、１６チャネルＤＭＡ、およびいくつかの周辺機器で構成される。ＭＩＰＳ３４Ｋ ＣＰＵは、５つのＶＣＥ、３つのＶＭＰ（登録商標）およびＤＭＡ、第２のＭＩＰＳ３４Ｋ ＣＰＵおよびマルチチャネルＤＭＡ並びにその他の周辺機器を管理する。５つのＶＣＥ、３つのＶＭＰ（登録商標）、およびＭＩＰＳ３４Ｋ ＣＰＵは、多機能バンドル型アプリケーションが必要とする集中的なビジョン計算を行うことができる。別の例において、第３世代プロセッサであり、ＥｙｅＱ２（登録商標）より処理能力が６倍高いＥｙｅＱ３（登録商標）が、開示する実施形態に用いられてよい。他の例において、ＥｙｅＱ４（登録商標）および／またはＥｙｅＱ５（登録商標）が、開示する実施形態に用いられてよい。当然ながら、任意の新規または将来のＥｙｅＱ処理デバイスも、開示する実施形態と一緒に用いられてよい。

【0071】

本明細書で開示する処理デバイスのうちのいずれかが、特定の機能を行うように構成されてよい。説明したＥｙｅＱプロセッサまたは他のコントローラもしくはマイクロプロセッサのうちのいずれかなどの処理デバイスを構成して、特定の機能を行うことには、コンピュータ実行可能命令をプログラムすること、および処理デバイスの動作時にこれらの命令を処理デバイスが実行のために利用できるようにすることが含まれてよい。いくつかの実施形態において、処理デバイスを構成することには、処理デバイスをアーキテクチャ命令で直接プログラムすることが含まれてよい。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）などといった処理デバイスが、例えば、１つまたは複数のハードウェア記述言語（ＨＤＬ）を用いて構成されてよい。

【0072】

他の実施形態において、処理デバイスを構成することは、処理デバイスが動作時にアクセスできるメモリに実行可能命令を格納することを含んでよい。例えば、処理デバイスが動作時に、メモリにアクセスして、格納された命令を取得し実行してよい。どちらの場合にも、本明細書で開示するセンシング、画像分析、および／またはナビゲーション機能を行うように構成された処理デバイスは、ホスト車両のハードウェアベースの複数の構成要素を制御する専用ハードウェアベースのシステムを表している。

【0073】

図１は処理ユニット１１０に含まれる２つの別個の処理デバイスを示しているが、もっと多いまたは少ない処理デバイスを用いてもよい。例えば、いくつかの実施形態において、単一の処理デバイスを用いて、アプリケーションプロセッサ１８０および画像プロセッサ１９０のタスクを達成してもよい。他の実施形態において、これらのタスクを２つより多くの処理デバイスで行ってもよい。さらに、いくつかの実施形態において、システム１００は、画像取得ユニット１２０などの他の構成要素を含むことなく、処理ユニット１１０のうちの１つまたは複数を含んでよい。

【0074】

処理ユニット１１０は、様々なタイプのデバイスを含んでよい。例えば、処理ユニット１１０は、コントローラ、画像プリプロセッサ、中央演算処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、または画像処理および分析用の任意の他のタイプのデバイスといった様々なデバイスを含んでよい。画像プリプロセッサは、イメージセンサからの画像を取り込み、デジタル化し、処理するためのビデオプロセッサを含んでよい。ＣＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサを含んでよい。ＧＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサも含んでよい。支援回路は、例えば、キャッシュ回路、電源回路、クロック回路、および入出力回路を含む、当技術分野で一般によく知られている任意の数の回路であってよい。メモリは、プロセッサにより実行されると、本システムの動作を制御するソフトウェアを格納してよい。メモリは、データベースおよび画像処理ソフトウェアを含んでよい。メモリは、任意の数のランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および他のタイプのストレージを含んでよい。一例において、メモリは処理ユニット１１０から分かれてもよい。別の例において、メモリは処理ユニット１１０に統合されてもよい。

【0075】

各メモリ１４０、１５０はソフトウェア命令を含んでよく、この命令は、プロセッサ（例えば、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０）によって実行されると、システム１００の様々な態様の動作を制御し得る。例えば、これらのメモリユニットは、様々なデータベースおよび画像処理ソフトウェア、並びに、ニューラルネットワークまたはディープニューラルネットワークなどの訓練されたシステムを含んでよい。メモリユニットは、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および／または任意の他のタイプのストレージを含んでよい。いくつかの実施形態において、メモリユニット１４０、１５０は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０から分かれていてもよい。他の実施形態において、これらのメモリユニットは、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０に統合されてもよい。

【0076】

位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を決定するのに好適な任意のタイプのデバイスを含んでよい。いくつかの実施形態において、位置センサ１３０はＧＰＳ受信機を含んでよい。そのような受信器は、全地球測位システム用の衛星がブロードキャストする信号を処理することで、ユーザ位置および速度を決定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０が利用できるようにしてよい。

【0077】

いくつかの実施形態において、システム１００は、車両２００の速度を測定するための速度センサ（例えば、回転速度計、速度計）、および／または車両２００の加速度を測定するための加速度計（単軸または多軸のいずれか）などの構成要素を含んでよい。

【0078】

ユーザインタフェース１７０は、システム１００の１人または複数のユーザに情報を提供するか、またはそのユーザからの入力を受信するのに好適な任意のデバイスを含んでよい。いくつかの実施形態において、ユーザインタフェース１７０はユーザ入力デバイスを含んでよく、そのようなデバイスには、例えば、タッチスクリーン、マイク、キーボード、ポインタデバイス、トラックホイール、カメラ、つまみ、ボタンなどが含まれる。そのような入力デバイスを用いて、ユーザは情報入力またはコマンドをシステム１００に提供することができ、例えば、命令または情報を打ち込む、音声コマンドを提供する、ボタン、ポインタ、または視線追跡機能を用いてスクリーン上のメニューオプションを選択する、あるいは情報をシステム１００に伝えるための任意の他の好適な手法が使われてよい。

【0079】

ユーザインタフェース１７０は、ユーザとの間で情報の受け渡しを行い、例えば、アプリケーションプロセッサ１８０が用いるために当該情報を処理するように構成された１つまたは複数の処理デバイスを備えてよい。いくつかの実施形態において、そのような処理デバイスは、目の動きを認識して追跡する命令、音声コマンドを受信して解釈する命令、タッチスクリーン上で行われたタッチおよび／またはジェスチャーを認識して解釈する命令、キーボード入力またはメニュー選択に応答する命令などを実行してよい。いくつかの実施形態において、ユーザインタフェース１７０は、ディスプレイ、スピーカ、触知デバイス、および／または、出力情報をユーザに提供するための任意の他のデバイスを含んでよい。

【0080】

マップデータベース１６０は、システム１００にとって有用なマップデータを格納するための、任意のタイプのデータベースを含んでよい。いくつかの実施形態において、マップデータベース１６０は、様々な種目の基準座標系における位置に関連するデータを含んでよく、そのような種目には、道路、ウォータフィーチャ、地理的特徴、商店、関心のある特定の地点、レストラン、ガソリンスタンドなどが含まれる。マップデータベース１６０は、そのような種目の位置だけでなく、これらの種目に関連する記述子も格納してよく、そのような記述子には、例えば、格納された特徴のうちのいずれかに関連した名称が含まれる。いくつかの実施形態において、マップデータベース１６０は、システム１００の他の構成要素と共に物理的に配置されてよい。その代わりに、またはそれに加えて、マップデータベース１６０またはその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に対して遠隔に配置されてもよい。そのような実施形態において、マップデータベース１６０からの情報が、ネットワークへの有線データ接続または無線データ接続を介して（例えば、セルラネットワークおよび／またはインターネットなどを介して）ダウンロードされてよい。場合によっては、マップデータベース１６０は、特定の道路特徴（例えば、車線標示）またはホスト車両の目標軌跡の多項式表現を含むスパースデータモデルを格納してよい。そのようなマップを生成するシステムおよび方法を、図８～図１９を参照して以下で論じる。

【0081】

画像取り込みデバイス１２２、１２４、および１２６は各々、環境から少なくとも１つの画像を取り込むのに好適な任意のタイプのデバイスを含んでよい。さらに、任意の数の画像取り込みデバイスを用いて、画像プロセッサに入力する画像を取得してもよい。いくつかの実施形態では、画像取り込みデバイスを１つだけ含んでよいが、他の実施形態では、画像取り込みデバイスを２つ、３つ、もしくは４つさえも、またはそれより多く含んでよい。画像取り込みデバイス１２２、１２４、および１２６はさらに、図２Ｂ～図２Ｅを参照して以下で説明される。

【0082】

システム１００またはその様々な構成要素は、様々な別のプラットフォームに組み込まれてもよい。いくつかの実施形態において、システム１００は、図２Ａに示すように、車両２００に含まれてよい。例えば、車両２００は、図１に関連して上述したように、処理ユニット１１０、およびシステム１００の他の構成要素のうちのいずれかを備えてよい。いくつかの実施形態において、車両２００は画像取り込みデバイス（例えば、カメラ）を１つだけ備えてよいが、図２Ｂ～図２Ｅに関連して論じられるもののような他の実施形態では、複数の画像取り込みデバイスを用いることがある。例えば、図２Ａに示すように、車両２００の画像取り込みデバイス１２２および１２４のいずれかが、ＡＤＡＳ（先進運転者支援システム）撮像装置の一部であってよい。

【0083】

画像取得ユニット１２０の一部として車両２００に含まれる画像取り込みデバイスは、任意の好適な場所に配置されてよい。いくつかの実施形態では、図２Ａ～図２Ｅおよび図３Ａ～図３Ｃに示すように、画像取り込みデバイス１２２をバックミラーの近くに配置してよい。この位置は、車両２００の運転者の視線と同様の視線を提供することができ、そのため、運転者に何が見えるか、何が見えないかを判定するのに役立ち得る。バックミラーに近い任意の場所に画像取り込みデバイス１２２を配置してよいが、ミラーの運転席側に画像取り込みデバイス１２２を配置すると、運転者の視野および／または視線を表す画像を取得するのにさらに役立ち得る。

【0084】

画像取得ユニット１２０の画像取り込みデバイスについては、他の場所も用いてよい。例えば、画像取り込みデバイス１２４を、車両２００のバンパー上またはバンパー内に配置してもよい。そのような場所は、広い視野を有する画像取り込みデバイスには特に好適かもしれない。バンパーに配置された画像取り込みデバイスの視線は運転者の視線とは異なり得、したがって、バンパーの画像取り込みデバイスおよび運転者は常に同じ物体を見ているとは限らないかもしれない。画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）は、他の場所にも配置されてよい。例えば、画像取り込みデバイスは、車両２００の一方または両方のサイドミラー上またはサイドミラー内、車両２００のルーフ上、車両２００のボンネット上、車両２００のトランク上、車両２００の側面上に位置してよく、車両２００の窓ガラスのうちのいずれかに取り付けられても、その背後に配置されても、その前に配置されてもよく、車両２００の前部および／または後部にある照明装置内またはその近くなどに取り付けられてよい。

【0085】

画像取り込みデバイスに加えて、車両２００はシステム１００の様々な他の構成要素を含んでよい。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と一体化して、またはＥＣＵから分かれて車両２００に含まれてよい。車両２００は、ＧＰＳ受信機などの位置センサ１３０も備えてよく、マップデータベース１６０並びにメモリユニット１４０および１５０も含んでよい。

【0086】

先に論じたように、無線送受信機１７２は、１つまたは複数のネットワーク（例えば、セルラネットワーク、インターネットなど）を介してデータの送信および／または受信を行ってよい。例えば、無線送受信機１７２は、システム１００が収集したデータを１つまたは複数のサーバにアップロードし、１つまたは複数のサーバからデータをダウンロードしてよい。無線送受信機１７２を介して、システム１００は、例えば、マップデータベース１６０、メモリ１４０、および／またはメモリ１５０に格納されたデータに対する定期更新または要求に応じた更新を受信してよい。同様に、無線送受信機１７２は、システム１００からのあらゆるデータ（例えば、画像取得ユニット１２０により取り込まれた画像、位置センサ１３０または他のセンサ、車両制御システムなどが受信したデータ）、および／または処理ユニット１１０が処理したあらゆるデータを１つまたは複数のサーバにアップロードしてよい。

【0087】

システム１００は、プライバシーレベル設定に基づいて、データをサーバに（例えば、クラウドに）アップロードしてよい。例えば、システム１００は、サーバに送られる、車両および／または車両の運転者／所有者を一意に識別し得るデータ（メタデータを含む）のタイプを規制または限定するように、プライバシーレベル設定を実施してよい。そのような設定は、例えば、無線送受信機１７２を介してユーザが設定してもよく、工場出荷時の設定または無線送受信機１７２が受信したデータで初期化されてもよい。

【0088】

いくつかの実施形態において、システム１００は、プライバシーレベル「高」に従ってデータをアップロードしてよく、設定を設定している最中では、システム１００は、特定の車両および／または運転者／所有者に関するいかなる詳細も用いずに、データ（例えば、ルートに関連する位置情報、取り込まれた画像など）を送信してよい。例えば、プライバシー設定「高」に従ってデータをアップロードする場合、システム１００は、車両登録番号（ＶＩＮ）も車両の運転者または所有者の名称も含まなくてよく、その代わりに、取り込まれた画像および／またはルートに関連する限定された位置情報などのデータを送信してよい。

【0089】

他のプライバシーレベルも考えられる。例えば、システム１００は、プライバシーレベル「中」に従ってデータをサーバに送信し、プライバシーレベル「高」では含まれない追加の情報、例えば、車両のメーカーおよび／または型式、並びに／または車両タイプ（例えば、乗用車、多目的スポーツ車、トラックなど）といった情報を含めてよい。いくつかの実施形態において、システム１００は、プライバシーレベル「低」に従ってデータをアップロードしてよい。プライバシーレベル設定「低」では、システム１００は、データをアップロードし、特定の車両、所有者／運転者、および／または車両が走行するルートの一部もしくは全体を一意に識別するのに十分な情報を含めることができる。そのようなプライバシーレベル「低」のデータは、例えば、ＶＩＮ、運転者／所有者の名前、出発前の車両の起点、車両の意図した目的地、車両のメーカーおよび／または型式、車両のタイプなどのうちの１つまたは複数を含んでよい。

【0090】

図２Ａは、開示する実施形態と矛盾しない例示的な車両撮像システムの概略側面図である。図２Ｂは、図２Ａに示す実施形態の概略上面図である。図２Ｂに示すように、開示する実施形態は車両２００を含んでよく、その車体には、車両２００のバックミラーの近くおよび／または運転者の近くに配置された第１の画像取り込みデバイス１２２と、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置された第２の画像取り込みデバイス１２４と、処理ユニット１１０とを有するシステム１００が含まれる。

【0091】

図２Ｃに示すように、画像取り込みデバイス１２２および１２４は両方とも、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよい。さらに、図２Ｂおよび図２Ｃには、２つの画像取り込みデバイス１２２および１２４が示されているが、他の実施形態では２つより多くの画像取り込みデバイスを含んでもよいことを理解されたい。例えば、図２Ｄおよび図２Ｅに示す実施形態では、第１の画像取り込みデバイス１２２、第２の画像取り込みデバイス１２４、および第３の画像取り込みデバイス１２６が、車両２００のシステム１００に含まれている。

【0092】

図２Ｄに示すように、画像取り込みデバイス１２２は、車両２００のバックミラーの近くおよび／または運転者の近くに配置されてよく、画像取り込みデバイス１２４および１２６は、車両２００のバンパー領域（例えば、バンパー領域２１０のうちの１つ）にまたはその中に配置されてよい。また、図２Ｅに示すように、画像取り込みデバイス１２２、１２４、および１２６が、車両２００のバックミラーの近くおよび／または運転席の近くに配置されてよい。開示する実施形態は、画像取り込みデバイスのいかなる特定の数および構成にも限定されることはなく、画像取り込みデバイスは車両２００の内部および／またはその上の任意の適切な場所に配置されてよい。

【0093】

開示する実施形態は、車両に限定されることはなく、他の状況にも適用されることがあることを理解されたい。開示する実施形態は、車両２００の特定のタイプに限定されることはなく、自動車、トラック、トレーラ、および他のタイプの車両を含むあらゆるタイプの車両に適用可能であってよいことも理解されたい。

【0094】

第１の画像取り込みデバイス１２２は、任意の好適なタイプの画像取り込みデバイスを含んでよい。画像取り込みデバイス１２２は、光軸を含んでよい。一例において、画像取り込みデバイス１２２は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。他の実施形態において、画像取り込みデバイス１２２は、１２８０×９６０画素の解像度を提供してよく、またローリングシャッタを含んでよい。画像取り込みデバイス１２２は、様々な光学素子を含んでよい。いくつかの実施形態では、例えば、所望の焦点距離および視野を画像取り込みデバイスに提供するために、１つまたは複数のレンズが含まれてよい。いくつかの実施形態において、画像取り込みデバイス１２２は、６ｍｍレンズまたは１２ｍｍレンズに関連してよい。いくつかの実施形態では、画像取り込みデバイス１２２は、図２Ｄに示すように、所望の視野（ＦＯＶ）２０２を有する画像を取り込むように構成されてよい。例えば、画像取り込みデバイス１２２は、４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、またはそれより広いＦＯＶを含む４０度～５６度の範囲内といった標準のＦＯＶを有するように構成されてよい。あるいは、画像取り込みデバイス１２２は、２８度のＦＯＶまたは３６度のＦＯＶといった２３～４０度の範囲内の狭ＦＯＶを有するように構成されてもよい。さらに、画像取り込みデバイス１２２は１００～１８０度の範囲内の広ＦＯＶを有するように構成されてもよい。いくつかの実施形態において、画像取り込みデバイス１２２は、広角バンパーカメラ、または、最大１８０度のＦＯＶを有するそれを含んでよい。いくつかの実施形態において、画像取り込みデバイス１２２は、約２：１のアスペクト比（例えば、Ｈ×Ｖ＝３８００×１９００画素）および約１００度の水平ＦＯＶを有する７．２Ｍ画素の画像取り込みデバイスであってよい。そのような画像取り込みデバイスを、３画像取り込みデバイス構成の代わりに用いてよい。そのような画像取り込みデバイスの垂直ＦＯＶは、著しいレンズ歪みにより、画像取り込みデバイスが半径方向に対称なレンズを用いる実装例では５０度より著しく小さいことがある。例えば、そのようなレンズは半径方向に対称でなくてもよく、そうすることで、１００度の水平ＦＯＶで５０度より大きい垂直ＦＯＶが可能になるであろう。

【0095】

第１の画像取り込みデバイス１２２は、車両２００に関連するシーンに対して複数の第１画像を取得してよい。複数の第１画像の各々は、一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各走査線は、複数の画素を含み得る。

【0096】

第１の画像取り込みデバイス１２２は、第１の一連の画像走査線の各々を取得することに関連した走査速度を有してよい。走査速度とは、特定の走査線に含まれる各画素に関連した画像データをイメージセンサが取得できる速度を指してよい。

【0097】

画像取り込みデバイス１２２、１２４、および１２６は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含む、任意の好適なタイプおよび数のイメージセンサを内蔵してよい。一実施形態では、ＣＭＯＳイメージセンサがローリングシャッタと連動して使用されてよく、これにより、ある行の各画素が１つずつ読み出され、画像フレーム全体が取り込まれるまで、行の走査が行ごとに進行する。いくつかの実施形態において、各行は、フレームに対して上部から下部へと順次取り込まれてよい。

【0098】

いくつかの実施形態において、本明細書で開示する画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、および１２６）のうちの１つまたは複数は、高解像度撮像装置を構成してよく、５Ｍ画素、７Ｍ画素、１０Ｍ画素、またはそれより多くの画を超える解像度を有してよい。

【0099】

ローリングシャッタを用いると、異なる行の画素が異なる時間に露光され且つ取り込まれることになり得るため、取り込まれた画像フレームにスキューおよび他の画像アーチファクトが生じる場合がある。一方、画像取り込みデバイス１２２がグローバルシャッタまたは同期シャッタで動作するように構成されている場合、全ての画素が同じ時間の間、共通の露光期間に露光され得る。その結果、グローバルシャッタを使用するシステムで収集されたフレームの画像データは、特定の時間におけるＦＯＶ全体（ＦＯＶ２０２など）のスナップショットを表す。これに対して、ローリングシャッタを適用した場合には、異なる時間にフレーム内の各行が露光され、データが取り込まれる。したがって、ローリングシャッタを有する画像取り込みデバイスでは、移動する物体が歪んだように見えることがある。この現象は、以下でより詳細に説明する。

【0100】

第２の画像取り込みデバイス１２４および第３の画像取り込みデバイス１２６は、任意のタイプの画像取り込みデバイスであってよい。第１の画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６の各々は光軸を含んでよい。一実施形態において、画像取り込みデバイス１２４および１２６の各々は、グローバルシャッタを備えたＡｐｔｉｎａ製Ｍ９Ｖ０２４ ＷＶＧＡセンサを含んでよい。あるいは、画像取り込みデバイス１２４および１２６の各々は、ローリングシャッタを含んでもよい。画像取り込みデバイス１２２のように、画像取り込みデバイス１２４および１２６は、様々なレンズおよび光学素子を含むように構成されてよい。いくつかの実施形態では、画像取り込みデバイス１２４および１２６に関連するレンズが、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）と同じまたはそれより狭いＦＯＶ（ＦＯＶ２０４および２０６など）を提供してよい。例えば、画像取り込みデバイス１２４および１２６は、４０度、３０度、２６度、２３度、２０度、またはそれより狭いＦＯＶを有してよい。

【0101】

画像取り込みデバイス１２４および１２６は、車両２００に関連するシーンに対して、複数の第２画像および第３画像を取得してよい。複数の第２画像および第３画像の各々は、第２および第３の一連の画像走査線として取得されてよく、これらの画像はローリングシャッタを用いて取り込まれてよい。各々の走査線または行は、複数の画素を含み得る。画像取り込みデバイス１２４および１２６は、第２および第３の一連の画像走査線に含まれる複数の画像走査線の各々を取得することに関連した第２走査速度および第３走査速度を有してよい。

【0102】

画像取り込みデバイス１２２、１２４、および１２６は各々、車両２００に対して任意の好適な位置および方位で配置されてよい。画像取り込みデバイス１２２、１２４、および１２６の相対配置は、画像取り込みデバイスから取得される情報を融合させるのに役立つように選択されてよい。例えば、いくつかの実施形態では、画像取り込みデバイス１２４に関連するＦＯＶ（ＦＯＶ２０４など）が、画像取り込みデバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）および画像取り込みデバイス１２６に関連するＦＯＶ（ＦＯＶ２０６など）と部分的にまたは完全に重なり合ってよい。

【0103】

画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な相対的高さで、車両２００に配置されてよい。一例において、画像取り込みデバイス１２２、１２４、および１２６の間には高さの違いがあってよく、これにより、ステレオ分析を可能とする十分な視差情報が提供され得る。例えば、図２Ａに示すように、２つの画像取り込みデバイス１２２および１２４の高さは異なる。例えば、画像取り込みデバイス１２２、１２４、および１２６の間には横方向の変位差もあってよく、これが、処理ユニット１１０によるステレオ分析に対して追加の視差情報を与える。横方向変位の差異は、図２Ｃおよび図２Ｄに示すように、ｄ_ｘで表されてよい。いくつかの実施形態では、前または後ろへの変位（例えば、範囲変位）が画像取り込みデバイス１２２、１２４、および１２６の間に存在してよい。例えば、画像取り込みデバイス１２２は、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の０．５～２メートル後ろに、またはもっと後ろに位置してよい。この種の変位によって、これらの画像取り込みデバイスのうちの１つが１つまたは複数の他の画像取り込みデバイスの潜在的な死角を補うことが可能になり得る。

【0104】

画像取り込みデバイス１２２は、任意の好適な解像能力（例えば、イメージセンサに関連する画素数）を有してよく、画像取り込みデバイス１２２に関連する１つまたは複数のイメージセンサの解像度は、画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサの解像度より高くても、低くても、同じであってもよい。いくつかの実施形態において、画像取り込みデバイス１２２並びに／または画像取り込みデバイス１２４および１２６に関連する１つまたは複数のイメージセンサは、６４０×４８０、１０２４×７６８、１２８０×９６０の解像度、または任意の他の好適な解像度を有してよい。

【0105】

フレームレート（例えば、画像取り込みデバイスが１つの画像フレームの画素データのセットを、次の画像フレームに関連する画素データの取り込みに移る前に取得するレート）が制御可能であってよい。画像取り込みデバイス１２２に関連するフレームレートは、画像取り込みデバイス１２４および１２６に関連するフレームレートより高くても、低くても、同じであってもよい。画像取り込みデバイス１２２、１２４、および１２６に関連するフレームレートは、フレームレートのタイミングに影響を与え得る様々な要因に依存し得る。例えば、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサの１つまたは複数の画素に関連する画像データを取得する前または後に課される選択可能な画素遅延期間を含んでよい。一般に、各画素に対応する画像データは、デバイスのクロックレートに従って取得されてよい（例えば、クロックサイクルごとに１つの画素が取得されてよい）。さらに、ローリングシャッタを含む実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および／または１２６に含まれるイメージセンサのある行の画素に関連する画像データを取得する前または後に課される選択可能な水平帰線消去期間を含んでよい。さらに、画像取り込みデバイス１２２、１２４、および／または１２６のうちの１つまたは複数が、画像取り込みデバイス１２２、１２４、および１２６の画像フレームに関連する画像データを取得する前または後に課される選択可能な垂直帰線消去期間を含んでよい。

【0106】

これらのタイミング制御は、画像取り込みデバイス１２２、１２４、および１２６に関連する各フレームレートの同期を、各々のライン走査速度が異なる場合でさえも可能にし得る。さらに、以下でより詳細に論じられることになるが、これらの選択可能なタイミング制御は、他の要因（例えば、イメージセンサの解像度、最大ライン走査速度など）の中でもとりわけ、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および１２６のＦＯＶと異なる場合でさえも、画像取り込みデバイス１２２のＦＯＶが画像取り込みデバイス１２４および１２６のうちの１つまたは複数のＦＯＶと重なり合う領域からの画像取り込みの同期を可能にし得る。

【0107】

画像取り込みデバイス１２２、１２４、および１２６におけるフレームレートタイミングが、関連するイメージセンサの解像度に依存し得る。例えば、両方のデバイスのライン走査速度が同様であると仮定すると、一方のデバイスが６４０×４８０の解像度を有するイメージセンサを含み、もう一方のデバイスが１２８０×９６０の解像度を有するイメージセンサを含むならば、高解像度を有するセンサの方が、１フレームの画像データを取得するのに必要な時間が長くかかる。

【0108】

画像取り込みデバイス１２２、１２４、および１２６における画像データ取得のタイミングに影響を与え得る別の要因が、最大ライン走査速度である。例えば、画像取り込みデバイス１２２、１２４、および１２６に含まれるイメージセンサから、ある行の画像データを取得するには、ある程度の最低限の時間が必要になる。画素遅延期間が追加されないと仮定すると、ある行の画像データを取得するためのこの最低限の時間は、特定のデバイスの最大ライン走査速度に関連することになる。高い最大ライン走査速度を提供するデバイスには、低い最大ライン走査速度を有するデバイスより高いフレームレートを提供できる可能性がある。いくつかの実施形態では、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２に関連する最大ライン走査速度より高い最大ライン走査速度を有してよい。いくつかの実施形態において、画像取り込みデバイス１２４および／または１２６の最大ライン走査速度は、画像取り込みデバイス１２２の最大ライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくてもよい。

【0109】

別の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は同じ最大ライン走査速度を有してよいが、画像取り込みデバイス１２２は、その最大走査速度より小さいまたはそれに等しい走査速度で動作してよい。本システムは、画像取り込みデバイス１２４および１２６のうちの一方または両方が、画像取り込みデバイス１２２のライン走査速度に等しいライン走査速度で動作するように構成されてよい。他の例において、本システムは、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のライン走査速度が画像取り込みデバイス１２２のライン走査速度の１．２５倍、１．５倍、１．７５倍、もしくは２倍、またはそれより大きくなり得るように構成されてよい。

【0110】

いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は非対称であってよい。すなわち、これらの画像取り込みデバイスは、異なる視野（ＦＯＶ）および焦点距離を有するカメラを含んでよい。画像取り込みデバイス１２２、１２４、および１２６の視野は、例えば、車両２００の環境に対して任意の所望の領域を含んでよい。いくつかの実施形態では、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００の前方、車両２００の後方、車両２００の側方、またはその組み合わせの環境から画像データを取得するように構成されてよい。

【0111】

さらに、画像取り込みデバイス１２２、１２４、および／または１２６の各々に関連する焦点距離は、各デバイスが車両２００に対して所望の距離範囲にある物体の画像を取得するように、（例えば、適切なレンズなどを含むことによって）選択可能であってよい。例えば、いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、車両から数メートルの範囲内の至近距離にある物体の画像を取得してよい。画像取り込みデバイス１２２、１２４、および１２６は、車両からもっと遠く（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、またはもっと）離れている範囲の物体の画像を取得するようにも構成されてよい。さらに、画像取り込みデバイス１２２、１２４、および１２６の焦点距離は、１つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２）が車両に比較的近い（例えば、１０ｍの範囲内、または２０ｍの範囲内の）物体の画像を取得でき、その一方で、他の画像取り込みデバイス（例えば、画像取り込みデバイス１２４および１２６）が車両２００からもっと遠く（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍを超えるなど）にある物体の画像を取得できるように選択されてよい。

【0112】

いくつかの実施形態によれば、１つまたは複数の画像取り込みデバイス１２２、１２４、および１２６のＦＯＶは広角であってよい。例えば、１４０度のＦＯＶを有することは、車両２００に近い領域の画像を取り込むのに用いられ得る画像取り込みデバイス１２２、１２４、および１２６に取っては特に有利になり得る。例えば、画像取り込みデバイス１２２は、車両２００の右側または左側の領域の画像を取り込むのに用いられてよく、そのような実施形態では、画像取り込みデバイス１２２が広ＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいかもしれない。

【0113】

画像取り込みデバイス１２２、１２４、および１２６の各々に関連する視野は、それぞれの焦点距離に依存し得る。例えば、焦点距離が長くなるに連れて、対応する視野は狭くなる。

【0114】

画像取り込みデバイス１２２、１２４、および１２６は、任意の好適な視野を有するように構成されてよい。１つの特定例において、画像取り込みデバイス１２２は４６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２３度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２３度～４６度の間の水平ＦＯＶを有してよい。別の例において、画像取り込みデバイス１２２は５２度の水平ＦＯＶを有してよく、画像取り込みデバイス１２４は２６度の水平ＦＯＶを有してよく、画像取り込みデバイス１２６は２６度～５２度の間の水平ＦＯＶを有してよい。いくつかの実施形態では、画像取り込みデバイス１２２のＦＯＶと、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６のＦＯＶとの比率が、１．５から２．０まで変化し得る。他の実施形態では、この比率が１．２５～２．２５の間で変化し得る。

【0115】

システム１００は、画像取り込みデバイス１２２の視野が画像取り込みデバイス１２４および／または画像取り込みデバイス１２６の視野と少なくとも部分的に、または完全に重なり合うように構成されてよい。いくつかの実施形態において、システム１００は、例えば、画像取り込みデバイス１２４および１２６の視野が画像取り込みデバイス１２２の視野に含まれ（例えば、画像取り込みデバイス１２２の視野より狭い）、画像取り込みデバイス１２２の視野と共通の中心を共有するように構成されてよい。他の実施形態において、画像取り込みデバイス１２２、１２４、および１２６は、隣接するＦＯＶを取り込んでもよく、それぞれのＦＯＶの中に部分的な重複を有してもよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の視野は、狭ＦＯＶの画像取り込みデバイス１２４および／または１２６の中心が広ＦＯＶのデバイス１２２の視野の下半分に位置し得るように揃えられてよい。

【0116】

図２Ｆは、開示する実施形態と矛盾しない例示的な車両制御システムの概略図である。図２Ｆに示すように、車両２００は、スロットル装置２２０と、ブレーキ装置２３０と、操縦装置２４０とを含んでよい。システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に、１つまたは複数のデータリンク（例えば、データ送信用の１つまたは複数の任意の有線リンクおよび／または無線リンク）を介して入力（例えば、制御信号）を提供してよい。例えば、画像取り込みデバイス１２２、１２４、および／または１２６が取得した画像の分析に基づいて、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を提供して、（例えば、加速、旋回、車線移動などを引き起こすことにより）車両２００をナビゲートしてよい。さらに、システム１００は、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数から、車両２００の動作状態（例えば、速度、車両２００がブレーキをかけているかどうかおよび／または旋回しているかどうかなど）を示す入力を受信してよい。さらなる詳細を、図４～図７に関連して以下に提供する。

【0117】

図３Ａに示すように、車両２００は、車両２００の運転者または乗員と対話するためのユーザインタフェース１７０も含んでよい。例えば、車両アプリケーションのユーザインタフェース１７０は、タッチスクリーン３２０、つまみ３３０、ボタン３４０、およびマイク３５０を含んでよい。車両２００の運転者または乗員は、ハンドル（例えば、車両２００のステアリングコラムに、またはその近くに位置し、例えば方向指示器レバーを含む）およびボタン（例えば、車両２００のハンドルに位置している）なども用いて、システム１００と対話してよい。いくつかの実施形態において、マイク３５０はバックミラー３１０に隣接して配置されてよい。同様に、いくつかの実施形態において、画像取り込みデバイス１２２はバックミラー３１０の近くに配置されてよい。いくつかの実施形態において、ユーザインタフェース１７０は、１つまたは複数のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）も含んでよい。例えば、システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供してよい。

【0118】

図３Ｂ～図３Ｄは、開示する実施形態と矛盾しない、バックミラー（例えば、バックミラー３１０）の背後に車両のフロントガラスに接触して配置されるように構成された、例示的なカメラマウント３７０の図である。図３Ｂに示すように、カメラマウント３７０には、画像取り込みデバイス１２２、１２４、および１２６が含まれてよい。画像取り込みデバイス１２４および１２６は、グレアシールド３８０の背後に配置されてよく、このグレアシールドは、車両のフロントガラスに直接張り付き、フィルム材料および／または反射防止材料の構成物を含んでよい。例えば、グレアシールド３８０は、同じ傾斜を有する車両のフロントガラスに当該シールドが接触して揃うように配置されてよい。いくつかの実施形態において、画像取り込みデバイス１２２、１２４、および１２６の各々は、例えば図３Ｄに示すように、グレアシールド３８０の背後に配置されてよい。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６、カメラマウント３７０、並びにグレアシールド３８０のいかなる特定の構成にも限定されない。図３Ｃは、図３Ｂに示すカメラマウント３７０を正面から見た図である。

【0119】

本開示の恩恵を受ける当業者であれば理解するであろうが、前述の開示した実施形態に対して、多数の変形および／または変更を行うことができる。例えば、全ての構成要素がシステム１００の動作に不可欠であるわけではない。さらに、いかなる構成要素もシステム１００の任意の適切な部分に配置されてよく、これらの構成要素は、開示した実施形態の機能性を提供すると共に、様々な構成に再配置されてよい。したがって、前述の構成は例であり、上述した構成に関係なく、システム１００は幅広い機能性を提供して、車両２００の周囲にあるものを分析し、その分析に応答して車両２００をナビゲートすることができる。

【0120】

以下でさらに詳細に論じるように、また開示する様々な実施形態と矛盾しないように、システム１００は、自動運転および／または運転者支援技術に関連する様々な機能を提供することができる。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳによる位置情報）、マップデータ、速度データ、および／または、車両２００に含まれるセンサからのデータを分析することができる。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、および他のセンサから、分析用のデータを収集することができる。さらに、システム１００は、収集したデータを分析して、車両２００が特定の動作を起こすべきか否かを判定し、次に、判定された動作を人の介在なしに自動的に起こすことができる。例えば、車両２００が人の介在なしにナビゲートする場合、システム１００は、（例えば、スロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０のうちの１つまたは複数に制御信号を送ることにより）車両２００のブレーキ、加速、および／または操縦を自動的に制御することができる。さらに、システム１００は、収集したデータを分析し、収集したデータの分析に基づいて、警告および／またはアラートを車両の乗員に発することができる。システム１００により提供される様々な実施形態に関するさらなる詳細を、以下に提供する。

【0121】

［前面マルチ撮像システム］

【0122】

上述したように、システム１００は、マルチカメラシステムを用いる運転支援機能を提供することができる。マルチカメラシステムは、車両の前進方向を向いている１つまたは複数のカメラを用いてよい。他の実施形態において、マルチカメラシステムは、車両の側方または車両の後方を向いている１つまたは複数のカメラを含んでよい。一実施形態において、例えば、システム１００は、２カメラ方式の撮像システムを用いてよく、このシステムでは、第１カメラおよび第２カメラ（例えば、画像取り込みデバイス１２２および１２４）が車両（例えば、車両２００）の前部および／または両側面に配置されてよい。第１カメラは、第２カメラの視野より大きい視野、第２カメラの視野より小さい視野、または第２カメラの視野と部分的に重なり合っている視野を有してよい。さらに、第１カメラは、第１カメラにより提供される画像の単眼画像分析を行う第１画像プロセッサに接続されてよく、第２カメラは、第２カメラにより提供される画像の単眼画像分析を行う第２画像プロセッサに接続されてよい。第１画像プロセッサおよび第２画像プロセッサの出力（例えば、処理された情報）は組み合わされてよい。いくつかの実施形態において、第２画像プロセッサは、第１カメラおよび第２カメラの両方から画像を受信して、ステレオ分析を行ってよい。別の実施形態において、システム１００は、複数のカメラの各々が異なる視野を有する３カメラ方式の撮像システムを用いてよい。したがって、そのようなシステムでは、車両の前部および両側部の両方に対して様々な距離に位置する物体から得られた情報に基づいて判定を行うことができる。単眼画像分析への言及は、単一の視点から（例えば、単一のカメラから）取り込まれた画像に基づいて画像分析を行う場合を意味し得る。ステレオ画像分析とは、画像取り込みパラメータの１つまたは複数の変化を伴って取り込まれた２つまたはそれより多くの画像に基づいて画像分析を行う場合を意味し得る。例えば、ステレオ画像分析を行うのに好適な取り込み画像には、２つまたはそれより多くの異なる位置から取り込まれた画像、異なる視野から取り込まれた画像、異なる焦点距離を用いて取り込まれた画像、視差情報と共に取り込まれた画像などが含まれてよい。

【0123】

例えば、一実施形態において、システム１００は、画像取り込みデバイス１２２、１２４、および１２６を用いる３カメラ構成を実施してよい。そのような構成において、画像取り込みデバイス１２２は狭い視野（例えば、３４度、または約２０～４５度の範囲から選択した他の値など）を提供してよく、画像取り込みデバイス１２４は広い視野（例えば、１５０度、または約１００～約１８０度の範囲から選択した他の値）を提供してよく、画像取り込みデバイス１２６は中間の視野（例えば、４６度、または約３５～約６０度の範囲から選択した他の値）を提供してよい。いくつかの実施形態において、画像取り込みデバイス１２６は、メインカメラまたは一次カメラとしての役割を果たし得る。画像取り込みデバイス１２２、１２４、および１２６は、バックミラー３１０の背後に配置され、且つ実質的に横並びで（例えば、６ｃｍ離れて）配置されてよい。さらに、いくつかの実施形態では上述したように、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数が、車両２００のフロントガラスと同一平面にあるグレアシールド３８０の背後に取り付けられてよい。そのようなシールドは、画像取り込みデバイス１２２、１２４、および１２６に対する、自動車の内側からのいかなる反射の影響も最小限に抑えるように作用し得る。

【0124】

別の実施形態では、図３Ｂおよび図３Ｃに関連して上述したように、広視野カメラ（例えば、上の例では画像取り込みデバイス１２４）は、狭視野カメラおよびメイン視野カメラ（例えば、上の例では画像デバイス１２２および１２６）より低く取り付けられてよい。この構成により、広視野カメラからの自由な視線が提供され得る。反射を低減するために、カメラは、車両２００のフロントガラスに近いところに取り付けられてよく、カメラには反射光を減衰させるために偏光板が含まれてよい。

【0125】

３カメラシステムが、特定の性能特性を提供し得る。例えば、いくつかの実施形態は、あるカメラによる物体の検出を別のカメラの検出結果に基づいて確認する機能を含んでよい。上述した３カメラ構成において、処理ユニット１１０は、例えば、３つの処理デバイス（例えば上述したような、ＥｙｅＱシリーズの３つのプロセッサチップ）を含んでよく、各処理デバイスは、画像取り込みデバイス１２２、１２４、および１２６のうちの１つまたは複数により取り込まれた画像の処理に特化している。

【0126】

３カメラシステムでは、第１処理デバイスがメインカメラおよび狭視野カメラの両方から画像を受信し、狭ＦＯＶカメラによるビジョン処理を行って、例えば、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第１処理デバイスは、メインカメラおよび狭視野カメラからの画像同士の画素の視差を計算し、車両２００の環境の３Ｄ復元図を作成してよい。第１処理デバイスは次に、３Ｄ復元図と、３Ｄマップデータまたは別のカメラからの情報に基づいて計算した３Ｄ情報とを組み合わせてよい。

【0127】

第２処理デバイスは、メインカメラから画像を受信してビジョン処理を行い、他の車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。さらに、第２処理デバイスは、カメラ変位を計算し、その変位に基づいて、連続する画像間の画素の視差を計算して、シーンの３Ｄ復元図（例えば、ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：ＳｆＭ）を作成してよい。第２処理デバイスは、ステレオ３Ｄ画像と組み合わされるＳｆＭベースの３Ｄ復元図を第１処理デバイスに送ってよい。

【0128】

第３処理デバイスは、広ＦＯＶのカメラから画像を受信し、その画像を処理して、車両、歩行者、車線標示、交通標識、信号機、および他の道路地物を検出してよい。第３処理デバイスはさらに、追加の処理命令を実行し、画像を分析して、車線を変更する車両、歩行者などといった画像内を移動する物体を識別してよい。

【0129】

いくつかの実施形態では、画像ベースの情報のストリームが独立して取り込まれ且つ処理されるようにすることで、システムに冗長性をもたらす機会が提供され得る。そのような冗長性には、例えば、第１の画像取り込みデバイスおよび当該デバイスからの処理された画像を用いて、少なくとも第２の画像取り込みデバイスからの画像情報を取り込んで処理することにより取得された情報を確認する且つ／または補足することが含まれてよい。

【0130】

いくつかの実施形態において、システム１００は、車両２００にナビゲーション支援を提供する際に、２つの画像取り込みデバイス（例えば、画像取り込みデバイス１２２および１２４）を用いてよく、また第３の画像取り込みデバイス（例えば、画像取り込みデバイス１２６）を用いて、冗長性を提供し、他の２つの画像取り込みデバイスから受信したデータの分析を確認してよい。例えば、そのような構成において、画像取り込みデバイス１２２および１２４は、車両２００をナビゲートするために、システム１００によるステレオ分析用に画像を提供してよく、その一方で、画像取り込みデバイス１２６は、システム１００による単眼分析用に画像を提供して、画像取り込みデバイス１２２および／または画像取り込みデバイス１２４から取り込まれた画像に基づいて取得された情報の冗長性および有効性を提供してよい。すなわち、画像取り込みデバイス１２６（および対応する処理デバイス）は、画像取り込みデバイス１２２および１２４から得られた分析に対してチェックを提供するための冗長サブシステムを提供する（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供する）とみなされてよい。さらに、いくつかの実施形態では、受信したデータの冗長性および有効性が、１つまたは複数のセンサから受信した情報（例えば、レーダ、ＬＩＤＡＲ、音響センサ、車両の外側にある１つまたは複数の送受信機から受信した情報など）に基づいて補足されてよい。

【0131】

当業者であれば、上記のカメラ構成、カメラの配置、カメラの数、カメラの位置などは、単なる例であることを認識するであろう。全体的なシステムに対して説明されたこれらの構成要素などは、開示する実施形態の範囲から逸脱することなく、様々な異なる構成で編成され且つ用いられてよい。運転者支援および／または自動運転車機能を提供するマルチカメラシステムの使用に関するさらなる詳細が以下に続く。

【0132】

図４は、メモリ１４０および／または１５０の例示的な機能ブロック図であり、これらは、開示する実施形態と矛盾しない１つまたは複数の動作を行うための命令と共に格納され／プログラムされてよい。以下ではメモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納され得ることを認識するであろう。

【0133】

図４に示すように、メモリ１４０は、単眼画像分析モジュール４０２、ステレオ画像分析モジュール４０４、速度加速度モジュール４０６、およびナビゲーション応答モジュール４０８を格納してよい。開示する実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２、４０４、４０６、および４０８のうちのいずれかに格納された命令を実行してよい。当業者であれば、以下の説明における処理ユニット１１０への言及が、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個々にまたは集合的に指し得ることを理解するであろう。したがって、以下のプロセスのうちのいずれかの各段階が、１つまたは複数の処理デバイスによって行われてよい。

【0134】

一実施形態において、単眼画像分析モジュール４０２は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちの１つによって取得された画像のセットの単眼画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、画像のセットからの情報と、追加の知覚情報（例えば、レーダ、ＬＩＤＡＲなどからの情報）とを組み合わせて単眼画像分析を行ってよい。図５Ａ～図５Ｄに関連して以下に説明するように、単眼画像分析モジュール４０２は、画像のセット内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、危険物、および車両の環境に関連する任意の他の特徴といった特徴のセットを検出するための命令を含んでよい。分析に基づいて、システム１００（例えば、処理ユニット１１０）は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。

【0135】

一実施形態において、ステレオ画像分析モジュール４０４は命令（コンピュータビジョンソフトウェアなど）を格納してよく、この命令は、処理ユニット１１０により実行されると、画像取り込みデバイス１２２、１２４、および１２６のうちのいずれかから選択された画像取り込みデバイスの組み合わせにより取得された第１セットおよび第２セットの画像のステレオ画像分析を行う。いくつかの実施形態において、処理ユニット１１０は、第１セットおよび第２セットの画像からの情報と、追加の知覚情報（例えば、レーダからの情報）とを組み合わせて、ステレオ画像分析を行ってよい。例えば、ステレオ画像分析モジュール４０４は、画像取り込みデバイス１２４により取得された第１セットの画像と、画像取り込みデバイス１２６により取得された第２セットの画像とに基づいて、ステレオ画像分析を行うための命令を含んでよい。図６に関連して以下で説明するように、ステレオ画像分析モジュール４０４は、第１セットおよび第２セットの画像内にある、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および危険物などといった特徴のセットを検出するための命令を含んでよい。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して以下で論じるように、車両２００において１つまたは複数のナビゲーション応答、例えば、旋回、車線移動、および加速の変更などを生じさせてよい。さらに、いくつかの実施形態において、ステレオ画像分析モジュール４０４は、訓練されたシステム（ニューラルネットワークまたはディープニューラルネットワークなど）または訓練されていないシステム（コンピュータビジョンアルゴリズムを用いて、知覚情報が取り込まれて処理された環境内の物体を検出する且つ／またはラベルを付けるように構成され得るシステムなど）に関連する手法を実施してよい。一実施形態において、ステレオ画像分析モジュール４０４および／または他の画像処理モジュールは、訓練されたシステムと訓練されていないシステムとの組み合わせを用いるように構成されてよい。

【0136】

一実施形態において、速度加速度モジュール４０６は、車両２００内の１つまたは複数のコンピューティング電気機械的デバイスであって、車両２００の速度および／または加速度に変化を起こさせるように構成された１つまたは複数のコンピューティング電気機械的デバイスから受信したデータを分析するように構成されたソフトウェアを格納してよい。例えば、処理ユニット１１０は、速度加速度モジュール４０６に関連する命令を実行し、単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて、車両２００の目標速度を計算してよい。そのようなデータには、例えば、目標位置、速度および／または加速度、近くの車両、歩行者、または道路地物に対する車両２００の位置および／または速度、並びに道路の車線標示に対する車両２００の位置情報などが含まれてよい。さらに、処理ユニット１１０は、知覚入力（例えば、レーダからの情報）と、車両２００の他のシステム、例えば、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０からの入力とに基づいて、車両２００の目標速度を計算してよい。計算した目標速度に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０に電子信号を送信し、例えば、車両２００のブレーキを物理的に踏み込むか、またはアクセルを緩めることにより、速度および／または加速度の変化を引き起こしてよい。

【0137】

一実施形態において、ナビゲーション応答モジュール４０８は、処理ユニット１１０が単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から得られたデータに基づいて所望のナビゲーション応答を決定するように実行可能なソフトウェアを格納してよい。そのようなデータには、近くの車両、歩行者、および道路地物に関連する位置情報および速度情報、並びに車両２００の目標位置情報などが含まれてよい。さらに、いくつかの実施形態において、ナビゲーション応答は、マップデータ、車両２００の所定の位置、並びに／または車両２００と単眼画像分析モジュール４０２および／またはステレオ画像分析モジュール４０４の実行から検出された１つまたは複数の物体との間の相対速度または相対加速度に（部分的にまたは完全に）基づいてよい。ナビゲーション応答モジュール４０８は、知覚入力（例えば、レーダからの情報）と車両２００の他のシステム（車両２００のスロットル装置２２０、ブレーキ装置２３０、および／または操縦装置２４０など）からの入力とに基づいて、所望のナビゲーション応答を決定してもよい。所望のナビゲーション応答に基づいて、処理ユニット１１０は、車両２００のスロットル装置２２０、ブレーキ装置２３０、および操縦装置２４０に電子信号を送信し、例えば、車両２００のハンドルを回して所定の角度の回転を達成することにより、所望のナビゲーション応答を引き起こしてよい。いくつかの実施形態において、処理ユニット１１０は、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を、車両２００の速度の変化を計算するために速度加速度モジュール４０６を実行するための入力として用いてよい。

【0138】

さらに、本明細書で開示するモジュール（例えば、モジュール４０２、４０４、および４０６）のうちのいずれかが、訓練されたシステム（ニューラルネットワークまたはディープニューラルネットワークなど）または訓練されていないシステムに関連する手法を実施してよい。

【0139】

図５Ａは、開示する実施形態と矛盾しない、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ａを示すフローチャートである。段階５１０において、処理ユニット１１０が処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像取り込みデバイス１２２など）が、車両２００の前方（または、例えば車両の側方または後方）の領域についての複数の画像を取り込み、これらの画像をデータ接続（例えば、デジタル、有線、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。処理ユニット１１０は、図５Ｂ～図５Ｄに関連して以下でさらに詳細に説明されるように、段階５２０で、単眼画像分析モジュール４０２を実行して複数の画像を分析してよい。分析を行うことで、処理ユニット１１０は、画像のセット内の特徴のセット、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、および信号機などを検出してよい。

【0140】

処理ユニット１１０は、段階５２０において、単眼画像分析モジュール４０２を実行して、例えば、トラックのタイヤの一部、落下した道路標識、緩んだ貨物、および小動物などといった様々な道路障害物も検出してよい。道路障害物は、構造、形状、サイズ、および色が異なり得るため、そのような危険要素の検出がより難しいものになる場合がある。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、複数の画像に対してマルチフレーム分析を行い、道路障害物を検出してよい。例えば、処理ユニット１１０は、連続した画像フレーム間のカメラの動きを推定し、フレーム間の画素の視差を計算して道路の３Ｄマップを構築してよい。処理ユニット１１０は次に、３Ｄマップを用いて、路面と路面上に存在する危険要素とを検出してよい。

【0141】

段階５３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階５２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。例えば、処理ユニット１１０は、例えば、車両２００の操縦装置２４０およびスロットル装置２２０に制御信号を順次送信することにより、車両２００を、１つの車線を横切って移動させて次いで加速させることができる。あるいは、処理ユニット１１０は、例えば、車両２００のブレーキ装置２３０および操縦装置２４０に制御信号を同時に送信することにより、車両２００にブレーキをかけさせながら、同時に車線を移動させることができる。

【0142】

図５Ｂは、開示する実施形態と矛盾しない、画像のセットに含まれる１つもしくは複数の車両および／または１人もしくは複数の歩行者を検出するための、例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｂを実施してよい。段階５４０において、処理ユニット１１０は、可能性のある車両および／または歩行者を表す候補物体のセットを決定してよい。例えば、処理ユニット１１０は、１つまたは複数の画像を走査し、その画像と１つまたは複数の所定のパターンとを比較し、関心のある物体（例えば、車両、歩行者、またはその一部）を含み得る、可能性のある場所を各画像内で識別してよい。所定のパターンは、高確率の「誤検知（ｆａｌｓｅ ｈｉｔ）」および低確率の「見逃し（ｍｉｓｓ）」を達成するようなやり方で設計されてよい。例えば、処理ユニット１１０は、可能性のある車両または歩行者として候補物体を識別するために、所定のパターンとの類似性に低い閾値を用いてよい。そうすることで、処理ユニット１１０が車両または歩行者を表す候補物体を見逃す（例えば、識別しない）確率を低減することが可能になり得る。

【0143】

段階５４２では、処理ユニット１１０は、候補物体のセットをフィルタにかけて、分類基準に基づいて特定の候補（例えば、無関係または関連性があまりない物体）を排除してよい。そのような基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納された物体のタイプに関連する様々な特性から得られてよい。これらの特性には、物体形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などが含まれてよい。したがって、処理ユニット１１０は、１つまたは複数のセットの基準を用いて、候補物体のセットから間違った候補を排除してよい。

【0144】

段階５４４では、処理ユニット１１０は、画像の複数のフレームを分析して、候補物体のセットに含まれる物体が車両および／または歩行者を表しているかどうかを判定してよい。例えば、処理ユニット１１０は、検出された候補物体を連続したフレーム全体を通して追跡し、検出された物体に関連するフレームごとのデータ（例えば、サイズ、車両２００に対する位置など）を累積してよい。さらに、処理ユニット１１０は、検出された物体のパラメータを推定し、当該物体のフレームごとの位置データと、予測した位置とを比較してよい。

【0145】

段階５４６では、処理ユニット１１０は、検出された物体の測定値のセットを構築してよい。そのような測定値には、例えば、検出された物体に関連する（車両２００に対する）位置、速度、および加速度値が含まれてよい。いくつかの実施形態において、処理ユニット１１０は、カルマンフィルタもしくは線形２次推定（ＬＱＥ）などの一連の時間ベースの観測結果を用いる推定手法に基づいて、且つ／または様々な物体のタイプ（例えば、自動車、トラック、歩行者、自転車、道路標識など）に利用可能なモデル化データに基づいて、測定値を構築してよい。カルマンフィルタは、物体のスケールの測定値に基づいてよく、スケール測定値は、衝突までの時間（例えば、車両２００が物体に到達するまでの時間）に比例する。したがって、段階５４０～５４６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる車両および歩行者を識別し、その車両および歩行者に関連する情報（例えば、位置、速度、サイズ）を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。

【0146】

段階５４８では、処理ユニット１１０は、「誤検知」を検出する確率と、車両または歩行者を表す候補物体を見逃す確率とを低減するために、１つまたは複数の画像のオプティカルフロー分析を行ってよい。オプティカルフロー分析とは、例えば、他の車両および歩行者に関連する１つまたは複数の画像における、車両２００に対する動きパターンの分析を指してよく、この動きパターンは路面の動きとは異なる。処理ユニット１１０は、異なる時間に取り込まれた複数の画像フレーム全体を通して、物体の様々な位置を観測することにより、候補物体の動きを計算してよい。処理ユニット１１０は、位置および時間の値を、候補物体の動きを計算する数学モデルへの入力として用いてよい。したがって、オプティカルフロー分析は、車両２００の近くの車両および歩行者を検出する別の方法を提供し得る。処理ユニット１１０は、段階５４０～５４６と組み合わせてオプティカルフロー分析を行い、車両および歩行者の検出に冗長性を与え、システム１００の信頼性を高めることができる。

【0147】

図５Ｃは、開示する実施形態と矛盾しない、画像のセットに含まれる道路標示および／または車線の幾何構造情報を検出するための、例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｃを実施してよい。段階５５０において、処理ユニット１１０は、１つまたは複数の画像を走査することで、物体のセットを検出してよい。車線標示、車線の幾何構造情報、および他の関連する道路標示のセグメントを検出するために、処理ユニット１１０は、物体のセットをフィルタにかけて、無関係であると判定されたもの（例えば、小さいくぼみ、小石など）を排除してよい。段階５５２において、処理ユニット１１０は、段階５５０で検出された、同じ道路標示または車線標示に属するセグメントを一緒にグループ化してよい。このグループ化に基づいて、処理ユニット１１０は、検出されたセグメントを表す数学モデルなどのモデルを発展させてよい。

【0148】

段階５５４において、処理ユニット１１０は、検出されたセグメントに関連する測定値のセットを構築してよい。いくつかの実施形態において、処理ユニット１１０は、検出されたセグメントの、画像平面から実際の平面上への投影図を作成してよい。この投影図は、検出された道路の位置、傾き、曲率、および曲率微分などの物理的特性に対応する係数を有する３次多項式を用いることを特徴とし得る。投影図を生成する際に、処理ユニット１１０は、路面の変化、および車両２００に関連するピッチレートおよびロールレートを考慮してよい。さらに、処理ユニット１１０は、位置および路面上に存在するモーションキューを分析することで、道路標高をモデル化してよい。さらに、処理ユニット１１０は、１つまたは複数の画像内の特徴点のセットを追跡することにより、車両２００に関連するピッチレートおよびロールレートを推定してよい。

【0149】

段階５５６において、処理ユニット１１０は、例えば、検出されたセグメントを連続した画像フレーム全体を通して追跡して、検出されたセグメントに関連するフレームごとのデータを累積することにより、マルチフレーム分析を行ってよい。処理ユニット１１０がマルチフレーム分析を行うと、段階５５４で構築された測定値のセットは、より信頼できるようになり、次第に高い信頼度に関連づけられるようになるであろう。したがって、段階５５０、５５２、５５４、および５５６を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる道路標示を識別し、車線の幾何構造情報を得ることができる。この識別および得られた情報に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。

【0150】

段階５５８において、処理ユニット１１０は、車両２００の安全モデルを、その周囲にあるものとの関連でさらに発展させるために、追加の情報源を考慮してよい。処理ユニット１１０は、安全モデルを用いて、システム１００が車両２００の自動制御を安全な方式で実行し得る状況を定義してよい。安全モデルを発展させるために、いくつかの実施形態において、処理ユニット１１０は、他の車両の位置および動き、検出された道路エッジおよび道路障壁、並びに／またはマップデータ（マップデータベース１６０のデータなど）から抽出された一般的な道路形状描写を考慮してよい。追加の情報源を考慮することで、処理ユニット１１０は、道路標示および車線の幾何構造の検出に冗長性を与え、システム１００の信頼性を高めることができる。

【0151】

図５Ｄは、開示する実施形態と矛盾しない、画像のセットに含まれる信号機を検出するための、例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、単眼画像分析モジュール４０２を実行して、プロセス５００Ｄを実施してよい。段階５６０において、処理ユニット１１０は、画像のセットを走査して、信号機を含む可能性がある画像内の位置に現れる物体を識別してよい。例えば、処理ユニット１１０は、候補物体のセットを構築するために、識別した物体をフィルタにかけて、信号機に対応する可能性が低い物体を排除してよい。このフィルタリングは、形状、寸法、テクスチャ、および位置（例えば、車両２００に対する位置）などといった、信号機に関連する様々な特性に基づいて行われてよい。そのような特性は、信号機および交通管制信号の複数の例に基づいてよく、データベースに格納されてよい。いくつかの実施形態において、処理ユニット１１０は、可能性のある信号機を反映した候補物体のセットに対してマルチフレーム分析を行ってよい。例えば、処理ユニット１１０は、連続した画像フレーム全体を通して候補物体を追跡し、候補物体の実際の位置を推定し、移動している物体（信号機である可能性が低い物体）を除外してよい。いくつかの実施形態において、処理ユニット１１０は、候補物体に対して色分析を行い、可能性のある信号機の内側に現れる検出された色の相対位置を識別してよい。

【0152】

段階５６２において、処理ユニット１１０は、交差点の幾何構造を分析してよい。この分析は、（ｉ）車両２００の両側で検出された車線の数、（ｉｉ）道路上で検出された標示（矢印標示など）、および（ｉｉｉ）マップデータ（マップデータベース１６０のデータなど）から抽出された交差点の記述のあらゆる組み合わせに基づいてよい。処理ユニット１１０は、単眼分析モジュール４０２の実行から得られた情報を用いて分析を行ってよい。さらに、処理ユニット１１０は、段階５６０で検出された信号機と車両２００の近くに現れる車線との対応関係を特定してよい。

【0153】

車両２００が交差点に近づくと、段階５６４において、処理ユニット１１０は、分析した交差点の幾何構造と検出された信号機とに関連する信頼度を更新してよい。例えば、交差点に現れると推定した信号機の数は、交差点に実際に現れる数と比較すると、信頼度に影響を与え得る。したがって、信頼度に基づいて、処理ユニット１１０は、安全条件を向上させるために、制御権を車両２００の運転者に委ねてよい。段階５６０、５６２、および５６４を行うことで、処理ユニット１１０は、取り込まれた画像のセット内に現れる信号機を識別し、交差点の幾何構造情報を分析してよい。この識別および分析に基づいて、処理ユニット１１０は、図５Ａに関連して上で説明したように、車両２００において１つまたは複数のナビゲーション応答を発生させることができる。

【0154】

図５Ｅは、開示する実施形態と矛盾しない、車両経路に基づいて車両２００において１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス５００Ｅを示すフローチャートである。段階５７０において、処理ユニット１１０は、車両２００に関連する初期車両経路を構築してよい。この車両経路は、座標（ｘ，ｚ）で表現される点のセットを用いて表されてよく、これらの点のセット内の２点間の距離ｄ_ｉは、１～５メートルの範囲に含まれ得る。一実施形態において、処理ユニット１１０は、２つの多項式、例えば、左右の道路多項式を用いて初期車両経路を構築してよい。処理ユニット１１０は、２つの多項式間の幾何中点を計算し、オフセットがもしあれば（ゼロのオフセットは車線の中央を走行していることに対応し得る）、結果として生じる車両経路に含まれる各点を所定のオフセット（例えば、スマート車線オフセット）だけずらしてよい。このオフセットは、車両経路内の任意の２点間のセグメントに対して垂直な方向に存在し得る。別の実施形態において、処理ユニット１１０は、１つの多項式と推定した車線幅とを用いて、車両経路の各点を、推定した車線幅の半分に所定のオフセット（例えば、スマート車線オフセット）を加えた分だけずらしてよい。

【0155】

段階５７２において、処理ユニット１１０は、段階５７０で構築した車両経路を更新してよい。処理ユニット１１０は、段階５７０で構築した車両経路を高い解像度を用いて再構築してよく、これにより、車両経路を表す点のセット内の２点間の距離ｄ_ｋは上述した距離ｄ_ｉより小さくなる。例えば、距離ｄ_ｋは、０．１～０．３メートルの範囲に含まれ得る。処理ユニット１１０は、放物線スプラインアルゴリズムを用いて車両経路を再構築してよく、これにより、車両経路の全長に対応する（すなわち、車両経路を表す点のセットに基づく）累積距離ベクトルＳがもたらされ得る。

【0156】

段階５７４において、処理ユニット１１０は、段階５７２で構築した更新後の車両経路に基づいて、（座標（ｘ_ｌ，ｚ_ｌ）として表現される）ルックアヘッド点を決定してよい。処理ユニット１１０は累積距離ベクトルＳからルックアヘッド点を抽出してよく、ルックアヘッド点はルックアヘッド距離およびルックアヘッド時間に関連づけられてよい。ルックアヘッド距離は、１０～２０メートルの範囲にある下限値を有してよく、車両２００の速度とルックアヘッド時間との積として計算されてよい。例えば、車両２００の速度が低下すると、ルックアヘッド距離も（例えば、下限値に到達するまで）減少し得る。ルックアヘッド時間は、０．５～１．５秒の範囲にあってよく、車両２００においてナビゲーション応答を発生させることに関連する１つまたは複数の制御ループ（方位誤差追跡制御ループなど）のゲインに反比例し得る。例えば、方位誤差追跡制御ループのゲインは、ヨーレートループの帯域幅、ステアリングアクチュエータループ、および自動車の横方向の力学などに依存し得る。したがって、方位誤差追跡制御ループのゲインが高いほど、ルックアヘッド時間が短くなる。

【0157】

段階５７６において、処理ユニット１１０は、段階５７４で決定したルックアヘッド点に基づいて、方位誤差およびヨーレートコマンドを決定してよい。処理ユニット１１０は、ルックアヘッド点の逆正接、例えばａｒｃｔａｎ（ｘ_ｌ／ｚ_ｌ）を計算することにより、方位誤差を決定してよい。処理ユニット１１０は、方位誤差と高レベル制御ゲインとの積として、ヨーレートコマンドを決定してよい。高レベル制御ゲインは、ルックアヘッド距離が下限値にない場合には、（２／［ルックアヘッド時間］）に等しくなり得る。そうでない場合には、高レベル制御ゲインは、（２×［車両２００の速度］／［ルックアヘッド距離］）に等しくなり得る。

【0158】

図５Ｆは、開示する実施形態と矛盾しない、先行車両が車線を変更中であるかどうかを判定するための、例示的なプロセス５００Ｆを示すフローチャートである。段階５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前方を走行する車両）に関連するナビゲーション情報を特定してよい。例えば、処理ユニット１１０は、先行車両の位置、速度（例えば、方向および速度）、および／または加速度を、図５Ａおよび図５Ｂに関連して上で説明した手法を用いて決定してよい。処理ユニット１１０は、図５Ｅに関連して上で説明された手法を用いて、１つまたは複数の道路多項式、（車両２００に関連する）ルックアヘッド点、および／またはスネイルトレイル（例えば、先行車両が通った経路を記述する点のセット）を決定してもよい。

【0159】

段階５８２において、処理ユニット１１０は、段階５８０で特定したナビゲーション情報を分析してよい。一実施形態において、処理ユニット１１０は、スネイルトレイルと道路多項式との間の（例えば、トレイルに沿った）距離を計算してよい。トレイルに沿ったこの距離の分散が所定の閾値（例えば、直線道路では０．１～０．２メートル、緩やかなカーブの道路では０．３～０．４メートル、および急なカーブの道路では０．５～０．６メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。複数の車両が車両２００の前方を走行していることが検出された場合、処理ユニット１１０は、各車両に関連するスネイルトレイルを比較してよい。この比較に基づいて、処理ユニット１１０は、スネイルトレイルが他の車両のスネイルトレイルと一致しない車両がおそらく車線を変更中であると判定してよい。処理ユニット１１０はさらに、（先行車両に関連する）スネイルトレイルの曲率と、先行車両が走行している道路セグメントの予期される曲率とを比較してよい。予期される曲率は、マップデータ（例えば、マップデータベース１６０からのデータ）、道路多項式、他の車両のスネイルトレイル、および道路に関する予備知識などから抽出されてよい。スネイルトレイルの曲率と道路セグメントの予期される曲率との差異が所定の閾値を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。

【0160】

別の実施形態において、処理ユニット１１０は、先行車両の瞬時位置と（車両２００に関連する）ルックアヘッド点とを特定の期間（例えば、０．５～１．５秒）にわたって比較してよい。先行車両の瞬時位置とルックアヘッド点との間の距離が特定の期間の間に変化し、且つ変化量の累積合計が所定の閾値（例えば、直線道路では０．３～０．４メートル、緩やかなカーブの道路では０．７～０．８メートル、また急なカーブの道路では１．３～１．７メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は、トレイルに沿った横方向移動距離とスネイルトレイルの予期される曲率とを比較することにより、スネイルトレイルの幾何構造を分析してよい。予期される曲率半径は、（δ_ｚ ^２＋δ_ｘ ^２）／２／（δ_ｘ）という計算に従って求められてよい。ここで、δ_ｘは横方向移動距離を表しており、δ_ｚは縦方向移動距離を表している。横方向移動距離と予期される曲率との差異が所定の閾値（例えば、５００～７００メートル）を超える場合、処理ユニット１１０は、先行車両がおそらく車線を変更中であると判定してよい。別の実施形態において、処理ユニット１１０は先行車両の位置を分析してよい。先行車両の位置が道路多項式を見えなくさせている（例えば、先行車両が道路多項式の上に重ねられている）場合、処理ユニット１１０は次いで、先行車両がおそらく車線を変更中であると判定してよい。先行車両の前方に別の車両が検出され、２つの車両のスネイルトレイルが平行ではないというような先行車両の位置の場合、処理ユニット１１０は、（近い方の）先行車両がおそらく車線を変更中であると判定してよい。

【0161】

段階５８４において、処理ユニット１１０は、段階５８２で行われた分析に基づいて、先行車両２００が車線を変更中であるか否かを判定してよい。例えば、処理ユニット１１０は、段階５８２で行われた個々の分析の加重平均に基づいて、判定を行ってよい。そのような方式では、例えば、特定のタイプの分析に基づいた、先行車両がおそらく車線を変更中であるとの処理ユニット１１０による判定には、「１」の値が割り当てられてよい（「０」は、先行車両がおそらく車線を変更中ではないとの判定を表す）。段階５８２で行われる様々な分析には異なる重みが割り当てられてよく、開示する実施形態は、分析および重みのいかなる特定の組み合わせにも限定されない。

【0162】

図６は、開示する実施形態と矛盾しない、ステレオ画像分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス６００を示すフローチャートである。段階６１０において、処理ユニット１１０は、データインタフェース１２８を介して第１および第２の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２および２０４を有する画像取り込みデバイス１２２および１２４など）が、車両２００の前方の領域の第１および第２の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１および第２の複数の画像を２つまたはそれより多くのデータインタフェースを介して受信してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。

【0163】

段階６２０において、処理ユニット１１０はステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像のステレオ画像分析を行い、車両の前方の道路の３Ｄマップを作成し、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。ステレオ画像分析は、図５Ａ～図５Ｄに関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、ステレオ画像分析モジュール４０４を実行して、第１および第２の複数の画像内の候補物体（例えば、車両、歩行者、道路標示、信号機、道路障害物など）を検出し、様々な基準に基づいて候補物体のサブセットを除外し、さらにマルチフレーム分析を行い、測定値を構築し、残りの候補物体の信頼度を特定してよい。上記の段階を行う際に、処理ユニット１１０は、１つのセットの画像だけからの情報ではなくむしろ、第１および第２の複数の画像の双方からの情報を考慮してよい。例えば、処理ユニット１１０は、第１および第２の複数の画像の双方に現れる候補物体の画素レベルのデータ（または、取り込まれた画像の２つのストリームのうちの他のデータサブセット）における差異を分析してよい。別の例として、処理ユニット１１０は、（例えば、車両２００に対する）候補物体の位置および／または速度を、その物体が複数の画像のうちの１つに現れるが、その他の画像には現れないことを観測することにより推定してもよく、２つの画像ストリームがある場合に現れる物体に関連して存在し得る他の差異と比較して推定してよい。例えば、車両２００に対する位置、速度、および／または加速度が、２つの画像ストリームの一方または両方に現れる物体に関連する特徴の軌跡、位置、運動特性などに基づいて決定されてよい。

【0164】

段階６３０において、処理ユニット１１０は、ナビゲーション応答モジュール４０８を実行して、段階６２０で行われた分析と図４に関連して上述した手法とに基づき、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。ナビゲーション応答には、例えば、旋回、車線移動、加速度の変更、速度の変更、およびブレーキなどが含まれてよい。いくつかの実施形態において、処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてよい。さらに、複数のナビゲーション応答が同時に、順番に、またはそのあらゆる組み合わせで生じてよい。

【0165】

図７は、開示する実施形態と矛盾しない、３つのセットの画像の分析に基づいて１つまたは複数のナビゲーション応答を発生させるための、例示的なプロセス７００を示すフローチャートである。段階７１０において、処理ユニット１１０は、データインタフェース１２８を介して第１、第２、および第３の複数の画像を受信してよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、および２０６を有する画像取り込みデバイス１２２、１２４、および１２６など）が、車両２００の前方および／または側方の領域の第１、第２、および第３の複数の画像を取り込み、これらの画像をデジタル接続（例えば、ＵＳＢ、無線、Ｂｌｕｅｔｏｏｔｈなど）を介して処理ユニット１１０に送信してよい。いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像を３つまたはそれより多くのデータインタフェースを介して受信してよい。例えば、画像取り込みデバイス１２２、１２４、１２６の各々は、処理ユニット１１０にデータを通信するための関連データインタフェースを有してよい。開示する実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。

【0166】

段階７２０において、処理ユニット１１０は、第１、第２、および第３の複数の画像を分析して、これらの画像内の特徴、例えば、車線標示、車両、歩行者、道路標識、高速道路出口ランプ、信号機、および道路障害物などを検出してよい。この分析は、図５Ａ～図５Ｄおよび図６に関連して上で説明した段階と同様の方式で行われてよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって、且つ図５Ａ～図５Ｄに関連して上で説明した段階に基づいて）第１、第２、および第３の複数の画像の各々に対して単眼画像分析を行ってよい。あるいは、処理ユニット１１０は、（例えば、ステレオ画像分析モジュール４０４の実行によって、且つ図６に関連して上で説明した段階に基づいて）第１および第２の複数の画像、第２および第３の複数の画像、並びに／または第１および第３の複数の画像に対してステレオ画像分析を行ってよい。第１、第２、および／または第３の複数の画像の分析に対応する処理済み情報は、組み合わされてよい。いくつかの実施形態において、処理ユニット１１０は、単眼画像分析とステレオ画像分析との組み合わせを行ってよい。例えば、処理ユニット１１０は、（例えば、単眼画像分析モジュール４０２の実行によって）第１の複数の画像に対して単眼画像分析を行い、（例えば、ステレオ画像分析モジュール４０４の実行によって）第２および第３の複数の画像に対してステレオ画像分析を行ってよい。画像取り込みデバイス１２２、１２４、および１２６の構成（それぞれの位置および視野２０２、２０４および２０６を含む）は、第１、第２、および第３の複数の画像に対して行われる分析のタイプに影響を与え得る。開示する実施形態は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成、または第１、第２、および第３の複数の画像に対して行われる分析のタイプに限定されない。

【0167】

いくつかの実施形態において、処理ユニット１１０は、段階７１０および７２０で取得され且つ分析された画像に基づいて、システム１００に対して試験を行ってよい。そのような試験は、画像取り込みデバイス１２２、１２４、および１２６の特定の構成に対して、システム１００の全体的な性能の指標を与え得る。例えば、処理ユニット１１０は、「誤検知」（例えば、システム１００が車両または歩行者の存在を間違って判定した場合）および「見逃し」の割合を求めてよい。

【0168】

段階７３０において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られた情報に基づいて、車両２００において１つまたは複数のナビゲーション応答を発生させてよい。第１、第２、および第３の複数の画像のうちの２つの選択は、様々な要因、例えば、複数の画像の各々で検出される物体の数、タイプ、およびサイズなどに依存し得る。処理ユニット１１０は、画質および解像度、画像に反映された有効視野、取り込まれたフレームの数、１つまたは複数の関心のある物体が実際にフレームに現れる程度（例えば、物体が現れるフレームの割合、そのような各フレームに現れる物体の割合など）などに基づいて選択を行ってもよい。

【0169】

いくつかの実施形態において、処理ユニット１１０は、第１、第２、および第３の複数の画像のうちの２つから得られる情報を、ある画像ソースから得られた情報が他の画像ソースから得られた情報と一致する程度を特定することにより選択してよい。例えば、処理ユニット１１０は、画像取り込みデバイス１２２、１２４、および１２６の各々から得られた処理済みの情報を（単眼分析によるものであろうと、ステレオ分析によるものであろうと、この２つの任意の組み合わせによるものであろうと）組み合わせて、画像取り込みデバイス１２２、１２４、および１２６の各々から取り込まれた画像に一貫している視覚的指標（例えば、車線標示、検出された車両並びにその位置および／または経路、検出された信号機など）を特定してよい。処理ユニット１１０は、取り込まれた画像に一貫していない情報（例えば、車線を変更している車両、車両２００に近過ぎる車両を示す車線モデルなど）を排除してもよい。したがって、処理ユニット１１０は、一貫している情報および一貫していない情報という判定に基づいて、第１、第２、および第３の複数の画像のうちの２つから得られる情報を選択してよい。

【0170】

ナビゲーション応答には、例えば、旋回、車線移動、および加速度の変更などが含まれてよい。処理ユニット１１０は、段階７２０で行われた分析と図４に関連して上述した手法とに基づいて、１つまたは複数のナビゲーション応答を発生させてよい。処理ユニット１１０は、速度加速度モジュール４０６の実行から得られたデータを用いて、１つまたは複数のナビゲーション応答を発生させてもよい。いくつかの実施形態において、処理ユニット１１０は、車両２００と第１、第２、および第３の複数の画像のうちのいずれかで検出された物体との相対位置、相対速度、および／または相対加速度に基づいて、１つまたは複数のナビゲーション応答を発生させてよい。複数のナビゲーション応答が同時に、順番に、またはその任意の組み合わせで行われてよい。

【0171】

［自動運転車ナビゲーション用のスパース道路モデル］

【0172】

いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを用いてよい。具体的には、スパースマップは、道路セグメントに沿った自動運転車ナビゲーション用であってよい。例えば、スパースマップは、自動運転車をナビゲートするのに十分な情報を、大量のデータの格納および／または更新を行うことなく提供することができる。以下でさらに詳細に論じるように、自動運転車は、スパースマップを用い、格納された１つまたは複数の軌跡に基づいて１つまたは複数の道路をナビゲートすることができる。

【0173】

［自動運転車ナビゲーション用のスパースマップ］

【0174】

いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、スパースマップは、過度のデータストレージまたはデータ転送レートを必要とすることなく、ナビゲーションに十分な情報を提供することができる。以下でさらに詳細に論じるように、車両（自動運転車であってよい）は、スパースマップを用いて１つまたは複数の道路をナビゲートすることができる。例えば、いくつかの実施形態において、スパースマップは、道路および場合によっては道路に沿うランドマークに関連するデータを含んでよく、このデータは車両ナビゲーションに十分かもしれないが、データフットプリントが小さいことも示している。例えば、以下で詳細に説明するスパースデータマップは、詳細なマップ情報（道路に沿って収集した画像データなど）を含むデジタルマップと比較すると、必要なストレージ領域およびデータ転送帯域幅が著しく少なくてよい。

【0175】

例えば、スパースデータマップは、道路セグメントの詳細な表現を格納するのではなくむしろ、道路に沿った好ましい車両経路の３次元多項式表現を格納することができる。これらの経路は、データストレージ領域をほとんど必要としなくてよい。さらに、説明したスパースデータマップでは、ナビゲーションに役立つように、ランドマークが識別され、スパースマップ道路モデルに含まれてよい。これらのランドマークは、車両ナビゲーションを可能にするのに好適な任意の間隔で配置されてよいが、場合によっては、そのようなランドマークを識別したり、高密度且つ狭い間隔でモデルに含めたりする必要はない。むしろ、場合によっては、少なくとも５０メートル、少なくとも１００メートル、少なくとも５００メートル、少なくとも１キロメートル、または少なくとも２キロメートルの間隔を置いて配置したランドマークに基づいて、ナビゲーションが可能になり得る。他のセクションでより詳細に論じることになるが、スパースマップは、車両が車道に沿って走行するときに、様々なセンサおよびデバイス、例えば、画像取り込みデバイス、全地球測位システム用のセンサ、モーションセンサなどを備えた車両によって収集または測定されたデータに基づいて生成されてよい。場合によっては、スパースマップは、特定の車道に沿った１つまたは複数の車両の複数のドライブで収集されたデータに基づいて生成されてよい。１つまたは複数の車両の複数のドライブを用いてスパースマップを生成することは、スパースマップの「クラウドソーシング」と呼ばれることがある。

【0176】

開示する実施形態と矛盾せずに、自動運転車システムがナビゲーション用のスパースマップを用いてよい。例えば、開示するシステムおよび方法は、自動運転車用の道路ナビゲーションモデルを生成するためにスパースマップを配信してよく、スパースマップおよび／または生成した道路ナビゲーションモデルを用いて、道路セグメントに沿って自動運転車をナビゲートしてよい。本開示と矛盾しないスパースマップには、自動運転車が関連する道路セグメントに沿って移動するときに通行し得る所定の軌跡を表し得る１つまたは複数の３次元等高線図が含まれてよい。

【0177】

本開示と矛盾しないスパースマップには、１つまたは複数の道路特徴を表すデータも含まれてよい。そのような道路特徴には、認識済みのランドマーク、ロードシグネチャプロファイル、および車両をナビゲートするのに有用な任意の他の道路関連の特徴が含まれてよい。本開示と矛盾しないスパースマップによって、スパースマップに含まれる比較的少量のデータに基づく車両の自動ナビゲーションが可能になり得る。例えば、開示するスパースマップの実施形態は、道路エッジ、道路曲率、道路セグメントに関連する画像、または道路セグメントに関連する他の物理的特徴を詳述しているデータなどの道路の詳細な表現を含むのではなくむしろ、比較的少ないストレージ領域（およびスパースマップの各部分を車両に転送する場合には比較的少ない帯域幅）しか必要としなくてよいが、それでも、十分に自動運転車ナビゲーションを提供し得る。以下でさらに詳細に論じるが、開示するスパースマップの小さいデータフットプリントは、いくつかの実施形態では、少量のデータしか必要としないが、それでも自動ナビゲーションを可能とする道路関連要素の表現を格納することで達成され得る。

【0178】

例えば、開示するスパースマップは、道路の様々な態様の詳細な表現を格納するのではなくむしろ、車両が道路に沿って進み得る１つまたは複数の軌跡の多項式表現を格納してよい。したがって、道路に沿ったナビゲーションを可能にするために、道路の物理的性質に関する詳細を格納する（または詳細を転送する必要がある）のではなくむしろ、開示するスパースマップを用いると、場合によっては、道路の物理的態様を解釈する必要がなく、むしろ車両の走行経路と特定の道路セグメントに沿った軌跡（例えば、多項式スプライン）とを揃えることにより、特定の道路セグメントに沿って車両をナビゲートすることができる。このように、車両は、主に格納された軌跡（例えば、多項式スプライン）に基づいてナビゲートされてよく、格納された軌跡は、車道画像、道路パラメータ、道路レイアウトなどの格納を必要とする手法よりもはるかに少ないストレージ領域しか必要としなくてよい。

【0179】

道路セグメントに沿った軌跡についての格納された多項式表現に加えて、開示するスパースマップは、道路特徴を表し得るスモールデータオブジェクトも含んでよい。いくつかの実施形態において、スモールデータオブジェクトはデジタル署名を含んでよく、デジタル署名は、道路セグメントに沿って走行する車両に搭載されたセンサ（例えば、カメラ、またはサスペンションセンサなどの他のセンサ）により取得されたデジタル画像（またはデジタル信号）から得られる。デジタル署名は、センサにより取得された信号と比較してサイズが小さくてよい。いくつかの実施形態において、デジタル署名は、例えば、その後のドライブでセンサにより取得される信号からの道路特徴を検出して識別するように構成された分類器機能と互換性があるように作成されてよい。いくつかの実施形態において、デジタル署名は、デジタル署名ができるだけ小さいフットプリントを有すると共に、同じ道路セグメントに沿って走行する車両に搭載されたカメラにより次の機会に取り込まれる道路特徴の画像（または、格納された署名が画像に基づいていない且つ／または他のデータを含む場合には、センサにより生成されるデジタル信号）に基づいて、道路特徴を格納された署名に関連づけるまたは一致させる機能を保持するように作成されてよい。

【0180】

いくつかの実施形態において、データオブジェクトのサイズはさらに、道路特徴の一意性に関連してよい。例えば、車両に搭載されたカメラにより検出可能な道路特徴について、車両に搭載されたカメラシステムが、当該道路特徴に対応する画像データを特定のタイプの道路特徴（例えば、道路標識）に関連しているものとして区別できる分類器に結合される場合、且つそのような道路標識が当該領域で局所的に一意である（例えば、全く同じ道路標識も、同じタイプの道路標識も近くにない）場合、道路特徴のタイプおよびその位置を示すデータを格納することで十分であろう。

【0181】

以下でさらに詳細に論じられることになるが、道路特徴（例えば、道路セグメントに沿うランドマーク）は、比較的少ないバイト数で道路特徴を表し得るスモールデータオブジェクトとして格納されてよく、同時に、そのような特徴をナビゲーション用に認識し且つ用いるのに十分な情報を提供し得る。一例において、道路標識が、車両のナビゲーションが根拠とし得る認識済みのランドマークとして識別されてよい。道路標識の表現がスパースマップに格納されてよく、スパースマップには、例えば、ランドマークのタイプ（例えば、一時停止標識）を示す数バイトのデータ、およびランドマークの位置（例えば、座標）を示す数バイトのデータが含まれる。ランドマークのそのようなデータライト表現に基づいてナビゲートすること（例えば、ランドマークに基づいて、位置特定を行い、認識し、ナビゲートするのに十分な表現を用いること）により、スパースマップに関連するデータオーバーヘッドを著しく増加させることなく、スパースマップに関連する所望のレベルのナビゲーション機能が提供され得る。ランドマーク（および他の道路特徴）のこの効率的な表現は、特定の道路特徴を検出し、識別し、且つ／または分類するように構成されるような車両に搭載されたセンサおよびプロセッサを利用してよい。

【0182】

例えば、所与の領域において、標識または標識の特定のタイプでさえも局所的に一意である場合（例えば、他の標識もなく、同じタイプの他の標識もない場合）、スパースマップはランドマークのタイプ（標識または特定のタイプの標識）を示すデータを用いてよく、ナビゲーション（例えば、自動ナビゲーション）の際に、自動運転車に搭載されたカメラが標識（または特定のタイプの標識）を含む領域の画像を取り込むと、プロセッサは画像を処理し、標識を（実際に画像内に存在するならば）検出し、画像を標識として（または特定のタイプの標識として）分類し、画像の位置とスパースマップに格納された標識の位置とを関連づけてよい。

【0183】

スパースマップは、道路セグメントに沿って識別される物体の任意の好適な表現を含んでもよい。場合によっては、物体は、セマンティックな物体または非セマンティックな物体と呼ばれてもよい。セマンティックな物体は、例えば、所定のタイプ分類に関連する物体を含んでもよい。このタイプ分類は、環境において認識されるセマンティックな物体を記述するのに必要とされるデータの量を削減する際に有用であってもよく、これは、（例えば複数の収集車両からサーバへとドライブ情報を転送するための帯域幅の使用に関連するコストを低減する）収集段階とナビゲーション段階中との両方において有益なものとなり得る（例えば、マップデータの減少によって、サーバからナビゲート車両へのマップタイルの転送を速めることができ、且つ、そのような転送のための帯域幅の使用に関連するコストを低減することもできる）。セマンティックな物体分類タイプは、車道に沿って遭遇されると予期される任意のタイプの物体または特徴に割り当てられてもよい。

【0184】

セマンティックな物体はさらに、２つまたはそれより多くの論理グループへと分割されてもよい。例えば、場合によっては、セマンティックな物体タイプの１つのグループは、所定の寸法に関連してもよい。そのようなセマンティックな物体は、特定の速度制限標識、優先道路標識、マージ標識、一時停止標識、信号機、車道上の方向矢印、マンホールカバー、または、標準化されたサイズに関連し得る任意の他のタイプの物体、を含んでもよい。そのようなセマンティックな物体によって提供される１つの利益は、物体を表す／完全に定義するのに、データをほとんど必要としないかもしれないことである。例えば、制限速度サイズの標準化されたサイズが既知であるならば、収集車両が次に、サーバ側でのマップ生成用に十分な情報を提供するべく、検出された制限速度標識の位置のインジケーション（例えば、取り込まれた画像における、標識の中心または標識の特定のコーナーの２Ｄ位置（または、その代わりに、実際の座標における３Ｄ位置））と共に、制限速度標識（認識されるタイプ）の存在を（取り込まれた画像の分析によって）識別することだけを必要としてもよい。２Ｄ画像位置がサーバに送信される場合、サーバは（例えば、１つまたは複数の収集車両から取り込まれた複数の画像を使用するモーション手法における構造を介して）標識の実際の位置を特定できるので、取り込まれた画像に関連する、標識が検出された位置もまた送信されてよい。（各々の検出された物体を定義するのにたった数バイトしか必要としない）この限定された情報を伴っていてもなお、サーバは、１つまたは複数の収集車両から、検出された標識の位置情報と共に受信される（制限速度標識を表す）タイプ分類に基づいて完全に表される制限速度標識を含むマップを構築してもよい。

【0185】

セマンティックな物体もまた、特定の標準化された特性に関連しない、他の認識される物体または特徴タイプを含んでもよい。そのような物体または特徴は、道路にできた穴、タールシーム、街灯柱、標準化されていない信号、縁石、樹木、木の枝、または、１つまたは複数の可変特性（例えば可変寸法）を備えた任意の他のタイプの認識される物体のタイプ、を含んでもよい。そのような場合、（例えば、道路にできた穴、ポールなどの）検出された物体または特徴タイプのインジケーションおよび検出された物体または特徴の位置情報をサーバに送信することに加えて、収集車両はまた、物体または特徴のサイズのインジケーションも送信してよい。サイズは、（例えば、バウンディングボックス、もしくは、１つまたは複数の寸法値、を伴う）２Ｄ画像寸法、または、（ＬＩＤＡＲまたはＲＡＤＡＲシステムの出力、訓練されたニューラルネットワークの出力、などに基づく運動計算における構造を介して特定される）実際の寸法で表されてもよい。

【0186】

非セマンティックな物体または特徴は、認識される種類またはタイプの範囲外であるがそれでもマップ生成において価値ある情報を与え得る、任意の検出可能な物体または特徴を含んでもよい。場合によっては、そのような非セマンティックな特徴は、ビルの検出されたコーナーまたはビルの検出された窓ガラスのコーナー、車道の近くの独特な石または物体、路肩におけるコンクリートスプラッタ、もしくは、任意の他の検出可能な物体または特徴、を含んでもよい。そのような物体または特徴を検出する際、１つまたは複数の収集車両は、検出された物体／特徴に関連する１つまたは複数の点（２Ｄ画像点または３Ｄ現実世界点）の位置をマップ生成サーバへと送信してもよい。さらに、検出された物体または特徴を含む取り込まれた画像の領域について、圧縮された又は簡略化された画像セグメント（例えば、画像ハッシュ）が生成されてもよい。この画像ハッシュは、所定の画像処理アルゴリズムに基づいて計算されてもよく、且つ、検出された非セマンティックな物体または特徴について効果的な署名を形式してもよい。車道を行き来する車両は、取り込まれた画像においてマッピングされた非セマンティックな特徴または物体の存在を検証／立証するために、画像ハッシュを生成するのに使用されるアルゴリズムに類似するアルゴリズムを適用し得るので、そのような署名は、非セマンティックな特徴または物体を含むスパースマップに関連するナビゲーションに有用であるかもしれない。この手法を使用することにより、非セマンティックな特徴は、著しいデータオーバーヘッドを追加することなく、スパースマップの豊富さを追加するかもしれない（そして、例えば、ナビゲーションにおけるそれらの実用性を向上させるかもしれない）。

【0187】

言及されたように、目標軌跡は、スパースマップに格納されてもよい。これらの目標軌跡（例えば、３Ｄスプライン）は、車道の各々の利用可能な車線用の、交差点を通る各々の有効な経路用の、合流地点および出口のための、などで好ましいまたは推奨される経路を表してもよい。目標軌跡に加えて、他の道路特徴もまた、検出され、収集され、且つ、代表スプラインの形でスパースマップに組み込まれてもよい。そのような特徴は、例えば、道路エッジ、車線標示、縁石、ガードレール、または、車道または道路セグメントに沿って拡張している任意の他の物体もしくは特徴、を含んでもよい。

【0188】

［スパースマップの生成］

【0189】

いくつかの実施形態では、スパースマップが、道路セグメントに沿って延びる路面特徴に関する少なくとも１つのライン表現と、道路セグメントに関連する複数のランドマークとを含んでよい。特定の態様において、スパースマップは「クラウドソーシング」を介して、例えば、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって生成されてよい。

【0190】

図８は、１つまたは複数の車両、例えば、車両２００（これは、自動運転車であってよい）が自動運転車ナビゲーションを提供するためにアクセスし得るスパースマップ８００を示している。スパースマップ８００は、メモリ１４０または１５０などのメモリに格納されてよい。そのようなメモリデバイスは、任意のタイプの非一時的ストレージデバイスまたはコンピュータ可読媒体を含んでもよい。例えば、いくつかの実施形態において、メモリ１４０または１５０は、ハードドライブ、コンパクトディスク、フラッシュメモリ、磁気ベースのメモリデバイス、光ベースのメモリデバイスなどを含んでよい。いくつかの実施形態において、スパースマップ８００は、メモリ１４０もしくは１５０、または他のタイプのストレージデバイスに格納され得るデータベース（例えば、マップデータベース１６０）に格納されてよい。

【0191】

いくつかの実施形態において、スパースマップ８００は、車両２００に搭載されたストレージデバイスまたは非一時的コンピュータ可読媒体（例えば、車両２００に搭載されたナビゲーションシステムに含まれるストレージデバイス）に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）が、自動運転車２００が道路セグメントを通行するときに当該車両を誘導するためのナビゲーション命令を生成するために、車両２００に搭載されたストレージデバイスまたはコンピュータ可読媒体に格納されたスパースマップ８００にアクセスしてよい。

【0192】

しかしながら、スパースマップ８００は、車両に対してローカルに格納される必要はない。いくつかの実施形態において、スパースマップ８００は、車両２００または車両２００に関連するデバイスと通信するリモートサーバに設けられたストレージデバイスまたはコンピュータ可読媒体に格納されてよい。車両２００に設けられたプロセッサ（例えば、処理ユニット１１０）は、スパースマップ８００に含まれるデータをリモートサーバから受信してよく、車両２００の自動運転を誘導するために、このデータを実行してよい。そのような実施形態において、リモートサーバは、スパースマップ８００の全て、またはその一部だけを格納してよい。これを受けて、車両２００に搭載された、および／または、１つまたは複数の追加の車両に搭載されたストレージデバイスまたはコンピュータ可読媒体は、スパースマップ８００の１つまたは複数の残りの部分を格納してよい。

【0193】

さらに、そのような実施形態では、様々な道路セグメントを通行する複数の車両（例えば、数十台、数百台、数千台、または数百万台の車両など）がスパースマップ８００にアクセスできるようにしてよい。スパースマップ８００は複数のサブマップを含んでよいことにも留意されたい。例えば、いくつかの実施形態において、スパースマップ８００は、車両をナビゲートする際に用いられ得る数百、数千、数百万、またはもっと多くのサブマップ（例えばマップタイル）を含んでよい。そのようなサブマップはローカルマップまたはマップタイルと呼ばれることがあり、車道に沿って走行する車両が、車両が走行している場所に関連する任意の数のローカルマップにアクセスしてよい。スパースマップ８００のローカルマップ区域は、スパースマップ８００のデータベースの索引としての全球測位衛星システム（ＧＮＳＳ）キーと共に格納されてよい。したがって、本システムにおいてホスト車両をナビゲートするためのステアリング角の計算が、ホスト車両のＧＮＳＳの位置、道路特徴、またはランドマークに頼ることなく行われてよいが、そのようなＧＮＳＳの情報が関連するローカルマップの検索に用いられてもよい。

【0194】

一般に、スパースマップ８００は、１つまたは複数の車両が車道に沿って走行するときに当該車両から収集されたデータ（例えばドライブ情報）に基づいて生成されてよい。例えば、１つまたは複数の車両に載せられたセンサ（例えば、カメラ、速度計、ＧＰＳ、加速度計など）を用いて、１つまたは複数の車両が車道に沿って走行する軌跡を記録することができ、この車道に沿ってその後に移動する車両の好ましい軌跡の多項式表現を、１つまたは複数の車両が走行し収集された軌跡に基づいて求めることができる。同様に、１つまたは複数の車両が収集したデータは、特定の車道沿いの可能性のあるランドマークを識別するのに役立ち得る。通行する車両から収集したデータは、道路プロファイル情報、例えば、道路幅プロファイル、道路凹凸プロファイル、車線間隔プロファイル、道路状態などを識別するためにも用いられてよい。収集した情報を用いて、スパースマップ８００は、１つまたは複数の自動運転車をナビゲートする際に用いるのに生成され、（例えば、ローカルストレージ用に、またはオンザフライ方式のデータ送信によって）配信されてよい。しかしながら、いくつかの実施形態では、マップ生成が、マップの初期生成で終了しないことがある。以下でより詳細に論じることになるが、スパースマップ８００は、車両がスパースマップ８００に含まれる車道を継続して通行するときに、当該車両から収集されたデータに基づいて、常にまたは定期的に更新されてよい。

【0195】

スパースマップ８００に記録されるデータには、全地球測位システム（ＧＰＳ）データに基づく位置情報が含まれてよい。例えば位置情報は、例えば、ランドマークの位置、道路プロファイルの位置などを含む様々なマップ要素についてのスパースマップ８００に含まれてよい。スパースマップ８００に含まれるマップ要素の位置が、車道を通行する車両から収集されたＧＰＳデータを用いて取得されてよい。例えば、識別されたランドマークを通過する車両が、車両に関連するＧＰＳ位置情報と、車両に対する識別されたランドマークの位置の（例えば、車両に搭載された１つまたは複数のカメラから収集されたデータの画像分析に基づく）決定とを用いて、識別されたランドマークの位置を決定してよい。識別されたランドマーク（またはスパースマップ８００に含まれる任意の他の特徴）のそのような位置決定は、識別されたランドマークの位置をさらなる車両が通過するたびに繰り返されてよい。さらなる位置決定の一部または全部が、スパースマップ８００に格納されている識別されたランドマークに関する位置情報を微調整するのに用いられてよい。例えば、いくつかの実施形態では、スパースマップ８００に格納された特定の特徴に関する複数の位置測定値が、まとめて平均化されてよい。しかしながら、マップ要素について決定された複数の位置に基づいて、格納されたマップ要素の位置を微調整するのに、任意の他の数学的操作も用いてよい。

【0196】

特定の例では、収集車両は特定の道路セグメントを通行してもよい。各収集車両は、それぞれの環境の画像を取り込む。画像は、任意の好適なフレームキャプチャレート（例えば９Ｈｚなど）で収集されてもよい。各収集車両に載せられた１つまたは複数の画像分析プロセッサは、取り込まれた画像を分析して、セマンティックなおよび／または非セマンティックな特徴／物体の存在を検出する。高いレベルで、収集車両は、これらの物体／特徴に関連する位置と共に、セマンティックなおよび／または非セマンティックな物体／特徴の検出のインジケーションをマッピングサーバへと送信する。より詳細には、タイプ指標、寸法指標などが、位置情報と一緒に送信されてもよい。位置情報は、マッピングサーバが検出された物体／特徴をナビゲーションにおいて有用なスパースマップへと集約することを可能にするのに好適な任意の情報を含んでもよい。場合によっては、位置情報は、取り込まれた画像において、セマンティックなまたは非セマンティックな特徴／物体が検出された１つまたは複数の２Ｄ画像位置（例えばＸ－Ｙ画素位置）を含んでもよい。そのような画像位置は、特徴／物体の中心、コーナーなどに対応してもよい。このシナリオにおいて、マッピングサーバが、ドライブ情報を再構築し、複数の収集車両からのドライブ情報を揃えるのを助けるべく、各収集車両もまた、各画像が取り込まれた位置（例えばＧＰＳ位置）をサーバに提供してもよい。

【0197】

他の場合では、収集車両は、検出された物体／特徴に関連する１つまたは複数の３Ｄ実世界点をサーバに提供してもよい。そのような３Ｄ点は、（ドライブセグメントの原点のような）所定の原点に関連してもよく、且つ、任意の好適な手法によって特定されてもよい。場合によっては、モーション手法における構造が使用されて、検出された物体／特徴の３Ｄ現実世界位置を特定してもよい。例えば、２つまたはそれより多くの取り込まれた画像において、特定の制限速度標識のような特定の物体が検出されてもよい。取り込まれた画像における制限速度標識の観測された変化（Ｘ－Ｙ画素位置における変化、サイズにおける変化など）と共に、複数の取り込まれた画像間における収集車両の既知のエゴモーション（速度、軌跡、ＧＰＳ位置など）のような情報を使用することにより、制限速度標識に関連する１つまたは複数の点の実際の位置が特定され、マッピングサーバに渡されてもよい。そのような手法は、収集車両システムの一部においてより多くの計算を必要とするので、オプションである。開示する実施形態のスパースマップにより、比較的少量の格納データを用いた車両の自動ナビゲーションが可能になり得る。いくつかの実施形態において、スパースマップ８００は、道路１キロメートル当たり２ＭＢ未満、道路１キロメートル当たり１ＭＢ未満、道路１キロメートル当たり５００ｋＢ未満、または道路１キロメートル当たり１００ｋＢ未満のデータ密度（例えば、目標軌跡、ランドマーク、および任意の他の格納された道路特徴を表すデータを含む）を有してよい。いくつかの実施形態において、スパースマップ８００のデータ密度は、道路１キロメートル当たり１０ｋＢ未満もしくはさらに道路１キロメートル当たり２ｋＢ未満（例えば、１キロメートル当たり１．６ｋＢ）であっても、道路１キロメートル当たり１０ｋＢ以下であっても、道路１キロメートル当たり２０ｋＢ以下であってもよい。いくつかの実施形態において、米国の車道の全てではないとしてもほとんどが、合計４ＧＢ以下のデータを有するスパースマップを用いて自律的にナビゲートされ得る。これらのデータ密度値は、スパースマップ８００全体に関する平均、スパースマップ８００内のローカルマップに関する平均、および／またはスパースマップ８００内の特定の道路セグメントに関する平均を表し得る。

【0198】

言及したように、スパースマップ８００は、道路セグメントに沿った自動運転またはナビゲーションを誘導するための複数の目標軌跡の表現８１０を含んでよい。そのような目標軌跡は、３次元スプラインとして格納されてよい。スパースマップ８００に格納される目標軌跡は、例えば、特定の道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。道路セグメントは、単一の目標軌跡に関連づけられても、複数の目標軌跡に関連づけられてもよい。例えば、２車線道路では、道路に沿って第１方向に走行する目標経路を表すのに第１目標軌跡が格納されてよく、道路に沿って別の方向（例えば、第１方向とは反対）に走行する目標経路を表すのに第２目標軌跡が格納されてよい。特定の道路セグメントに対して、追加の目標軌跡が格納されることがある。例えば、複数車線道路では、１つまたは複数の目標軌跡を格納して、複数車線道路に関連した１つまたは複数の車線にいる複数の車両用の目標走行経路を表してよい。いくつかの実施形態では、複数車線道路の各車線は、独自の目標軌跡に関連づけられてよい。他の実施形態では、複数車線道路に存在する車線より少ない目標軌跡が格納されることがある。そのような場合には、複数車線道路をナビゲートする車両が、目標軌跡が格納されている車線からの車線オフセット量を考慮して、格納された複数の目標軌跡のうちのいずれかを用いてナビゲーションを誘導してよい（例えば、車両が３車線高速道路の左端車線を走行中であり、且つ高速道路の中央車線用の目標軌跡だけが格納されている場合、車両は、ナビゲーション命令を生成するときに中央車線と左端車線との間の車線オフセット量を考慮することにより、中央車線の目標軌跡を用いてナビゲートしてよい）。

【0199】

いくつかの実施形態において、目標軌跡は、車両が走行するときに、当該車両が通るべき理想的な経路を表し得る。目標軌跡は、例えば、走行車線のほぼ中心に位置してよい。他の場合では、目標軌跡が道路セグメントに対して他の箇所に位置することがある。例えば、目標軌跡が、道路の中心、道路のエッジ、または車線のエッジなどとほぼ一致してよい。そのような場合、目標軌跡に基づくナビゲーションには、目標軌跡の位置に対して維持される決定済みのオフセット量が含まれてよい。さらに、いくつかの実施形態において、目標軌跡の位置に対して維持される決定済みのオフセット量は、車両のタイプに基づいて異なってもよい（例えば、目標軌跡の少なくとも一部に沿って、２つの車軸を含む乗用車が２つより多くの車軸を含むトラックとは異なるオフセットを有してよい）。

【0200】

スパースマップ８００は、特定の道路セグメント、ローカルマップなどに関連づけられた複数の所定のランドマーク８２０に関連するデータも含んでよい。以下でより詳細に論じるが、これらのランドマークは、自動運転車のナビゲーションに用いられてよい。例えば、いくつかの実施形態において、これらのランドマークは格納された目標軌跡に対する車両の現在位置を決定するのに用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。

【0201】

複数のランドマーク８２０は、任意の好適な間隔で識別され、スパースマップ８００に格納されてよい。いくつかの実施形態では、ランドマークが比較的高密度で（例えば、数メートルごとに、またはもっと高密度で）格納されてよい。しかしながら、いくつかの実施形態では、著しく大きいランドマーク間隔値が使用されることがある。例えば、スパースマップ８００では、識別（または認識）されたランドマークが、１０メートル、２０メートル、５０メートル、１００メートル、１キロメートル、または２キロメートルの間隔を置いて配置されてよい。場合によっては、識別されたランドマークは、２キロメートルを超える距離さえも離れて配置されてよい。

【0202】

ランドマーク間、したがって目標軌跡に対する車両位置の決定の間においては、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。推測航法によるナビゲーションでは誤差が累積され得るため、時間の経過と共に、目標軌跡に対する位置決定の精度が次第に低くなることがある。車両は、スパースマップ８００に存在するランドマーク（および、その既知の位置）を用いて、位置決定での推測航法による誤差を取り除くことができる。このように、スパースマップ８００に含まれる識別されたランドマークは、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。位置探索では一定量の誤差であれば許容できることがあるため、識別されたランドマークが必ずしも自動運転車に利用可能である必要はない。むしろ、好適なナビゲーションは、上述したように、１０メートル、２０メートル、５０メートル、１００メートル、５００メートル、１キロメートル、２キロメートル、またはもっと長いランドマーク間隔に基づいてさえも可能であってよい。いくつかの実施形態では、道路１ｋｍごとに１つの識別されたランドマークという密度が、縦方向位置決定の精度を１ｍ以内に維持するのに十分であるかもしれない。したがって、道路セグメント沿いに現れるあらゆる可能性のあるランドマークをスパースマップ８００に格納する必要はない。

【0203】

さらに、いくつかの実施形態では、ランドマーク間で車両の位置特定を行うのに車線標示が用いられてよい。ランドマーク間で車線標示を用いることにより、推測航法によるナビゲーション時の誤差の累積を最小限に抑えることができる。

【0204】

目標軌跡および識別したランドマークに加えて、スパースマップ８００は、様々な他の道路特徴に関連する情報を含んでよい。例えば図９Ａは、スパースマップ８００に格納され得る特定の道路セグメントに沿ったカーブの表現を示している。いくつかの実施形態では、道路の単一の車線が、道路の左側および右側を３次元多項式で記述することによってモデル化されてよい。単一車線の左側および右側を表すそのような多項式が、図９Ａに示されている。道路にいくつの車線があり得るかに関係なく、道路は、図９Ａに示したのと同様のやり方で、多項式を用いて表されることができる。例えば、複数車線道路の左側および右側が、図９Ａに示すのと同様の多項式で表されてよく、複数車線道路に含まれる中間の車線標示（例えば、車線境界を表す破線標示、異なる方向に走行する車線間の境界を表す黄色の実線など）も図９Ａに示すような多項式を用いて表されてよい。

【0205】

図９Ａに示すように、車線９００は多項式（例えば、１次、２次、３次、または任意の好適な次数の多項式）を用いて表されてよい。説明のために、車線９００は２次元車線として示されており、多項式は２次元多項式として示されている。図９Ａに示すように、車線９００は、左側９１０および右側９２０を含む。いくつかの実施形態では、１つより多くの多項式を用いて、道路の各々の側または車線境界の位置を表すことがある。例えば、左側９１０および右側９２０の各々は、任意の好適な長さの複数の多項式で表されてよい。場合によっては、これらの多項式は、約１００ｍの長さを有することがあるが、１００ｍより長いまたは短い他の長さも用いてよい。さらに、こうした多項式は、ホスト車両が車道に沿って走行するときに次に遭遇した多項式に基づいてナビゲートする際のシームレスな移行を容易にするために、互いに重なり合ってよい。例えば、左側９１０および右側９２０の各々は、約１００メートルの長さ（第１の所定範囲の一例）のセグメントに分割され且つ互いに約５０メートルが重なり合っている複数の３次多項式で表されてよい。左側９１０および右側９２０を表す多項式は、同じ次数であってもなくてもよい。例えば、いくつかの実施形態では、多項式のなかには２次多項式があってもよく、３次多項式があってもよく、４次多項式があってもよい。

【0206】

図９Ａに示す例では、車線９００の左側９１０が、２つのグループの３次多項式で表されている。第１グループには、多項式セグメント９１１、９１２、および９１３が含まれている。第２グループには、多項式セグメント９１４、９１５、および９１６が含まれている。２つのグループは、実質的に互いに対して平行であると共に、道路のそれぞれの側の位置に沿って延びている。多項式セグメント９１１、９１２、９１３、９１４、９１５、および９１６は約１００メートルの長さがあり、約５０メートルが隣接するセグメントと連続して重なり合っている。しかしながら前述したように、異なる長さおよび異なる重なり量の多項式も用いてよい。例えば、多項式は、５００ｍ、１ｋｍ、またはもっと長い長さであってもよく、重なり量は、０～５０ｍ、５０ｍ～１００ｍ、または１００ｍを超える量で変化してよい。さらに、図９Ａは２Ｄ空間（例えば、紙面上）に延びる多項式を表すものとして示されているが、これらの多項式は（例えば、高さ成分を含む）３次元に延びる曲線を表し、Ｘ－Ｙ面の曲率に加えて、道路セグメントの標高変動も表してよいことを理解されたい。図９Ａに示す例では、車線９００の右側９２０がさらに、多項式セグメント９２１、９２２、および９２３を有する第１グループと、多項式セグメント９２４、９２５、および９２６を有する第２グループとで表されている。

【0207】

スパースマップ８００の目標軌跡に戻ると、図９Ｂは、特定の道路セグメントに沿って走行する車両の目標軌跡を表す３次元多項式を示している。目標軌跡は、ホスト車両が特定の道路セグメントに沿って走行すべきＸ－Ｙ面の経路だけでなく、ホスト車両が道路セグメントに沿って走行するときに経験する標高変動も表している。したがって、スパースマップ８００に含まれる各目標軌跡は、図９Ｂに示す３次元多項式９５０のような、１つまたは複数の３次元多項式で表されてよい。スパースマップ８００は、複数の軌跡（例えば、世界中の車道に沿う様々な道路セグメントに沿った車両の軌跡を表す数百万または数十億またはもっと多くの軌跡）を含んでよい。いくつかの実施形態において、各目標軌跡は、３次元多項式セグメントを接続したスプラインに対応してよい。

【0208】

スパースマップ８００に格納された多項式曲線のデータフットプリントに関しては、いくつかの実施形態において、各々の３次多項式が４つのパラメータで表されてよく、各パラメータは４バイトのデータを必要とする。１００ｍごとに約１９２バイトのデータを必要とする３次多項式を用いて、好適な表現を取得することができる。これは、約１００ｋｍ／ｈｒで走行するホスト車両では、１時間当たり約２００ｋＢのデータ利用／転送要件に相当し得る。

【0209】

スパースマップ８００は、幾何構造記述子とメタデータとの組み合わせを用いて車線のネットワークを記述してよい。幾何構造は、上述した多項式またはスプラインで記述されてよい。メタデータは、車線数、特別な特性（相乗り車線など）、および場合によっては他のスパースラベルを記述してよい。そのような指標の総フットプリントは、ごくわずかかもしれない。

【0210】

したがって、本開示の実施形態によるスパースマップが、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を含んでよく、各ライン表現は、路面特徴に実質的に対応する道路セグメントに沿った経路を表す。いくつかの実施形態では、上述したように、路面特徴の少なくとも１つのライン表現は、スプライン、多項式表現、または曲線を含んでよい。さらに、いくつかの実施形態において、路面特徴は、道路エッジまたは車線標示のうちの少なくとも一方を含んでよい。さらに、「クラウドソーシング」に関して以下で論じるように、路面特徴は、１つまたは複数の車両が道路セグメントを通行するときに取得される複数の画像の画像分析によって識別されてよい。

【0211】

前述したように、スパースマップ８００は、道路セグメントに関連する複数の所定のランドマークを含んでよい。ランドマークの実画像を格納して、例えば、取り込まれた画像および格納した画像に基づく画像認識分析を利用するのではなくむしろ、スパースマップ８００に含まれる各ランドマークは、実画像を格納した場合に必要となるよりも少ないデータを用いて表され且つ認識され得る。それでも、ランドマークを表すデータには、道路沿いのランドマークを記述するまたは識別するのに十分な情報が含まれ得る。ランドマークの実画像ではなくむしろ、ランドマークの特性を記述するデータを格納することで、スパースマップ８００のサイズを削減することができる。

【0212】

図１０は、スパースマップ８００に表され得るランドマークのタイプの例を示している。これらのランドマークには、道路セグメント沿いのあらゆる視認可能で識別可能な物体が含まれてよい。ランドマークは、固定されたものであり且つその位置および／または内容に関する変更が頻繁に行われないように選択されてよい。スパースマップ８００に含まれるランドマークは、車両が特定の道路セグメントを通行するときに、目標軌跡に関する車両２００の位置を決定するのに役立ち得る。ランドマークの例には、交通標識、方向標識、一般標識（例えば、長方形の標識）、路側固定物（例えば、街灯柱、反射鏡など）、および任意の他の好適な種類が含まれてよい。いくつかの実施形態において、道路上の車線標示も、スパースマップ８００のランドマークとして含まれてよい。

【0213】

図１０に示すランドマークの例には、交通標識、方向標識、路側固定物、および一般標識が含まれている。交通標識には、例えば、制限速度標識（例えば、制限速度標識１０００）、優先道路標識（例えば、優先道路標識１００５）、路線番号標識（例えば、路線番号標識１０１０）、信号機標識（例えば、信号機標識１０１５）、一時停止標識（例えば、一時停止標識１０２０）が含まれてよい。方向標識には、異なる場所への１つまたは複数の方向を示す１つまたは複数の矢印を含む標識が含まれてよい。例えば、方向標識には、異なる道路または場所に車両を誘導する矢印を有する高速道路標識１０２５、道路から降りるように車両を誘導する矢印を有する出口標識１０３０などが含まれてよい。したがって、複数のランドマークのうちの少なくとも１つには道路標識が含まれてよい。

【0214】

一般標識は、交通に無関係であってよい。例えば、一般標識には、広告に用いる掲示板、または２つの国、州、郡、都市、または町の境界に隣接しているウェルカムボードが含まれてよい。図１０には、一般標識１０４０（「ジョーズ・レストラン」）が示されている。一般標識１０４０は図１０に示すように長方形形状でよいが、一般標識１０４０は、正方形、円形、三角形などといった他の形状であってもよい。

【0215】

ランドマークには、路側固定物も含まれてよい。路側固定物とは、標識ではない物体であってよく、交通に関連しなくても方向に関連しなくてもよい。例えば、路側固定物には、街灯柱（例えば、街灯柱１０３５）、電柱、信号機柱などが含まれてよい。

【0216】

ランドマークには、自動運転車ナビゲーションシステムでの使用を目的に特別に設計され得るビーコンも含まれてよい。例えば、そのようなビーコンには、ホスト車両をナビゲートする際に役立つように所定の間隔で配置されたスタンドアローン型構造物が含まれてよい。そのようなビーコンには、道路セグメントに沿って走行する車両が識別または認識できる、既存の道路標識に追加された視覚／図形情報（例えば、アイコン、エンブレム、バーコードなど）も含まれてよい。そのようなビーコンには、電子部品も含まれてよい。そのような実施形態では、電子ビーコン（例えば、ＲＦＩＤタグなど）を用いて、非視覚情報をホスト車両に送信してよい。そのような情報には、例えば、ホスト車両が目標軌跡に沿った自車の位置を決定する際に用いることができるランドマーク識別情報および／またはランドマークの位置情報が含まれてよい。

【0217】

いくつかの実施形態において、スパースマップ８００に含まれるランドマークは、所定サイズのデータオブジェクトで表されてよい。ランドマークを表すデータには、特定のランドマークを識別するのに好適な任意のパラメータが含まれてよい。例えば、いくつかの実施形態において、スパースマップ８００に格納されたランドマークには、ランドマークの物理的サイズ（例えば、既知のサイズ／スケールに基づいてランドマークまでの距離の推定を支援するためのもの）、直前のランドマークまでの距離、横方向オフセット、高さ、タイプコード（例えば、ランドマークのタイプ、つまり、どのタイプの方向標識、交通標識などであるか）、ＧＰＳ座標（例えば、広範囲な位置特定を支援するためのもの）といったパラメータ、および任意の他の好適なパラメータが含まれてよい。各パラメータは、データサイズに関連づけられてよい。例えば、ランドマークのサイズは、８バイトのデータを用いて格納されてよい。直前のランドマークまでの距離、横方向オフセット、および高さは、１２バイトのデータを用いて指定されてよい。方向標識または交通標識などのランドマークに関連づけられるタイプコードには、約２バイトのデータが必要になり得る。一般標識では、一般標識の識別を可能にする画像署名が、５０バイトのデータストレージを用いて格納されてよい。ランドマークのＧＰＳ位置は、１６バイトのデータストレージに関連づけられてよい。各パラメータのこれらのデータサイズは単なる例であり、他のデータサイズも用いてよい。このようにしてランドマークをスパースマップ８００に表すことで、ランドマークをデータベースに効率的に表すための効率的な解決策を提供することができる。いくつかの実施形態において、物体は、標準的でセマンティックな物体または非標準的でセマンティックな物体と呼ばれてもよい。標準的でセマンティックな物体には、複数の特性の標準化されたセット（例えば、既知の寸法または他の特性を有する、制限速度標識、警告標識、方向標識、信号機など）が存在する任意のクラスの物体が含まれてよい。非標準的でセマンティックな物体には、標準化された特性のセットに関連していない任意の物体（例えば、可変寸法を有し得る、一般的な広告標識、企業を識別する標識、道路にできた穴、樹木など）が含まれてよい。各々の非標準的でセマンティックな物体は、３８バイトのデータ（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセットおよび高さには１２バイト、タイプコードには２バイト、位置座標には１６バイト）で表されてよい。マッピングサーバはサイズ情報がスパースマップにおける物体を完全に表すことを必要としないかもしれないので、標準的でセマンティックな物体は、さらに少ないデータを用いて表されてよい。

【0218】

スパースマップ８００は、タグシステムを用いて、ランドマークのタイプを表してよい。場合によっては、各々の交通標識または方向標識は独自のタグに関連づけられてよく、このタグは、ランドマーク識別情報の一部としてデータベースに格納されてよい。例えば、データベースには、様々な交通標識を表すのに１０００個程度の異なるタグと、方向標識を表すための約１００００個程度の異なるタグが含まれてよい。当然ながら、任意の好適な数のタグを用いてもよく、必要に応じて追加のタグを作成してもよい。いくつかの実施形態では、汎用標識が、約１００バイト未満（例えば、サイズには８バイト、直前のランドマークまでの距離、横方向オフセット、および高さには１２バイト、画像署名には５０バイト、ＧＰＳ座標には１６バイトを含む約８６バイト）を用いて表されてよい。

【0219】

したがって、画像署名を必要としないセマンティックな道路標識の場合、スパースマップ８００へのデータ密度の影響は、５０ｍ当たり約１つという比較的高いランドマーク密度でさえも、１キロメートル当たり約７６０バイト程度（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり３８バイト］＝７６０バイト）になり得る。画像署名成分を含む汎用標識の場合でさえも、データ密度の影響は、１ｋｍ当たり約１．７２ｋＢである（例えば、［１ｋｍ当たり２０個のランドマーク］×［ランドマーク当たり８６バイト］＝１，７２０バイト）。セマンティックな道路標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約７６ｋＢのデータ使用量に相当する。汎用標識の場合、この影響は、１００ｋｍ／ｈｒで走行する車両にとって、１時間当たり約１７０ｋＢに相当する。いくつかの環境（例えば都市環境）においては、スパースマップ内に含まれるもののために利用可能な、検出された物体が、かなり高い密度で（おそらく１メートルごとに１つよりも多く）存在し得ることに留意すべきである。いくつかの実施形態では、概して長方形の物体、例えば長方形の標識が、１００バイト以下のデータでスパースマップ８００に表されてよい。スパースマップ８００における概して長方形の物体（例えば、一般標識１０４０）の表現には、概して長方形の物体に関連づけられる短縮画像署名または画像ハッシュ（例えば、短縮画像署名１０４５）が含まれてよい。この短縮画像署名／画像ハッシュは、任意の好適な画像ハッシュアルゴリズムを用いることによって判定されることができ、且つ、この短縮画像署名／画像ハッシュを用いると、例えば認識したランドマークとして、例えば汎用標識を識別するのに役立てることができる。そのような短縮画像署名（例えば、ある物体を表す実画像データから得られた画像情報）によって、物体の実画像を格納する必要も、ランドマークを認識するために実画像に対して行われる比較画像分析の必要もなくすことができる。

【0220】

図１０を参照すると、スパースマップ８００は、一般標識１０４０の実画像ではなくむしろ、一般標識１０４０に関連づけられる短縮画像署名１０４５を含んでも、格納してもよい。例えば、画像取り込みデバイス（例えば、画像取り込みデバイス１２２、１２４、または１２６）が一般標識１０４０の画像を取り込んだ後に、プロセッサ（例えば、ホスト車両に載せられて、またはホスト車両に対して遠隔に位置して、画像を処理できる画像プロセッサ１９０または任意の他のプロセッサ）が、画像分析を行って、一般標識１０４０に関連づけられる一意の署名またはパターンを含む短縮画像署名１０４５を抽出／作成してよい。一実施形態において、短縮画像署名１０４５には、形状、色パターン、明度パターン、または一般標識１０４０の画像から抽出され得る一般標識１０４０を記述するための任意の他の特徴が含まれてよい。

【0221】

例えば図１０において、短縮画像署名１０４５に示される円形、三角形、および星形は、異なる色の領域を表してよい。円形、三角形、および星形で表されたパターンは、例えば、画像署名を含むように指定された５０バイト以内で、スパースマップ８００に格納されてよい。特に、円形、三角形、および星形は、そのような形状が画像署名の一部として格納されていることを示すことを必ずしも意味するものではない。むしろ、これらの形状は、識別可能な色差、テクスチャ領域、図形形状、または汎用標識に関連し得る特性の他のバリエーションを有する認識可能な領域を概念的に表すことを意図している。そのような短縮画像署名を用いると、一般標識の形でランドマークを識別することができる。例えば、短縮画像署名を用いると、格納された短縮画像署名と、例えば自動運転車に搭載されたカメラを用いて取り込まれた画像データとの比較に基づいて、同定分析を行うことができる。

【0222】

したがって、複数のランドマークは、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の画像分析によって、識別されてよい。以下で「クラウドソーシング」に関して説明するように、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れることを含んでよい。さらに、いくつかの実施形態において、複数のランドマークを識別するための画像分析は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを排除することを含んでよい。

【0223】

ホスト車両が特定の道路セグメントをナビゲートするのに用い得る目標軌跡に戻ると、図１１Ａは、スパースマップ８００を構築または維持するプロセスで取り込まれた多項式表現の軌跡を示している。スパースマップ８００に含まれる目標軌跡の多項式表現が、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡に基づいて求められてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の集合体であってよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡の多項式表現は、同じ道路セグメントに沿った車両の以前の通行に関する２つまたはそれより多くの再構築された軌跡の平均であってよい。他の数学的操作も、ある道路セグメントに沿って通行する車両から収集される、再構築された軌跡に基づいて、道路経路に沿った目標軌跡を構築するのに用いられてよい。

【0224】

図１１Ａに示すように、道路セグメント１１００では、異なる時間に複数の車両２００が走行し得る。各車両２００は、車両が道路セグメントに沿って通った経路に関連するデータを収集してよい。特定の車両が走行する経路は、他の可能性のある情報源の中でもとりわけ、カメラデータ、加速度計情報、速度センサ情報、および／またはＧＰＳ情報に基づいて決定されてよい。そのようなデータを用いて、道路セグメントに沿って走行する車両の軌跡を再構築することができ、これらの再構築された軌跡に基づいて、目標軌跡（または複数の目標軌跡）が特定の道路セグメントに対して決定され得る。そのような目標軌跡は、ホスト車両が道路セグメントに沿って走行するときの（例えば、自動ナビゲーションシステムにより誘導される）当該車両の好ましい経路を表してよい。

【0225】

図１１Ａに示す例では、第１の再構築された軌跡１１０１が、第１期間（例えば、曜日１）に道路セグメント１１００を通行する第１の車両から受信したデータに基づいて決定されてよく、第２の再構築された軌跡１１０２が、第２期間（例えば、曜日２）に道路セグメント１１００を通行する第２の車両から取得されてよく、第３の再構築された軌跡１１０３が第３期間（例えば、曜日３）に道路セグメント１１００を通行する第３車両から取得されてよい。各軌跡１１０１、１１０２、および１１０３は、３次元多項式などの多項式で表されてよい。いくつかの実施形態では、再構築された軌跡のうちのいずれかが、道路セグメント１１００を通行する車両内で編成されてよいことに留意されたい。

【0226】

さらに、またはその代わりに、そのような再構築された軌跡は、道路セグメント１１００を通行する車両から受信した情報に基づいてサーバ側で決定されてよい。例えば、いくつかの実施形態において、車両２００は、道路セグメント１１００に沿った自車の動きに関連するデータ（例えば、特に、ステアリング角、進行方向、時間、位置、速度、検知された道路の幾何構造、および／または検知されたランドマーク）を１つまたは複数のサーバに送信してよい。サーバは、受信したデータに基づいて、車両２００の軌跡を再構築してよい。サーバは、後に同じ道路セグメント１１００に沿って走行する自動運転車のナビゲーションを誘導するための目標軌跡も、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３に基づいて生成してよい。目標軌跡が道路セグメントの単一の以前の通行に関連づけられてよいが、いくつかの実施形態において、スパースマップ８００に含まれる各目標軌跡は、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡に基づいて決定されてよい。図１１Ａには、目標軌跡が１１１０で表されている。いくつかの実施形態において、目標軌跡１１１０は、第１の軌跡１１０１、第２の軌跡１１０２、および第３の軌跡１１０３の平均に基づいて生成されてよい。いくつかの実施形態において、スパースマップ８００に含まれる目標軌跡１１１０は、２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけされた組み合わせ）であってよい。

【0227】

マッピングサーバでは、サーバは、道路セグメントを通行する複数の収集車両から、特定の道路セグメント用の実際の軌跡を受信してもよい。道路セグメントに沿う各々の有効な経路（例えば、各々の車線、各々の走行方向、交差点を通る各々の経路、など）用の目標軌跡を生成するべく、受信された実際の軌跡は揃えられてもよい。アライメントプロセスは、実際の収集された軌跡を互いに関連づけるべく、道路セグメントに沿って識別される検出された物体／特徴を、それらの検出された物体／特徴の収集された位置と共に用いることを含んでもよい。一旦揃えられると、各々の利用可能な車線などのための平均的な又は「最良適合」な目標軌跡が、集約され、且つ、関連づけられた／揃えられた実際の軌跡に基づいて判定されてもよい。

【0228】

図１１Ｂおよび図１１Ｃはさらに、地理的領域１１１１に存在する道路セグメントに関連づけられる目標軌跡の概念を示している。図１１Ｂに示すように、地理的領域１１１１内の第１道路セグメント１１２０は複数車線道路を含んでよく、この複数車線道路には、第１方向への車両走行に指定された２つの車線１１２２と、第１方向とは反対の第２方向への車両走行に指定された２つの追加車線１１２４とが含まれている。車線１１２２および車線１１２４は、二重黄色線１１２３で分離されてよい。地理的領域１１１１には、道路セグメント１１２０と交差する分岐道路セグメント１１３０も含まれてよい。道路セグメント１１３０には２車線道路が含まれてよく、各車線は異なる方向の走行に指定されている。地理的領域１１１１には、他の道路特徴、例えば、一時停止線１１３２、一時停止標識１１３４、制限速度標識１１３６、および危険標識１１３８も含まれてよい。

【0229】

図１１Ｃに示すように、スパースマップ８００には、地理的領域１１１１内の車両を自動ナビゲーションで支援するための道路モデルを含むローカルマップ１１４０が含まれてよい。例えば、ローカルマップ１１４０には、地理的領域１１１１内の道路セグメント１１２０および／または１１３０に関連づけられた、１つまたは複数の車線の目標軌跡が含まれてよい。例えば、ローカルマップ１１４０には、自動運転車が車線１１２２を通行するときにアクセスできる、または利用できる目標軌跡１１４１および／または１１４２が含まれてよい。同様に、ローカルマップ１１４０には、自動運転車が車線１１２４を通行するときにアクセスできる、または利用できる目標軌跡１１４３および／または１１４４が含まれてよい。さらに、ローカルマップ１１４０には、自動運転車が道路セグメント１１３０を通行するときにアクセスできる、または利用できる目標軌跡１１４５および／または１１４６が含まれてよい。目標軌跡１１４７は、自動運転車が車線１１２０（具体的には、車線１１２０の右端車線に関連づけられた目標軌跡１１４１に対応）から道路セグメント１１３０（具体的には、道路セグメント１１３０の第１の側に関連づけられた目標軌跡１１４５に対応）に移行するときに進むべき好ましい経路を表してよい。同様に、目標軌跡１１４８は、自動運転車が道路セグメント１１３０（具体的には、目標軌跡１１４６に対応）から道路セグメント１１２４の一部（具体的には図示するように、車線１１２４の左車線に関連づけられた目標軌跡１１４３に対応）に移行するときに進むべき好ましい経路を表している。

【0230】

スパースマップ８００には、地理的領域１１１１に関連する他の道路関連の特徴についての表現も含まれてよい。例えば、スパースマップ８００には、地理的領域１１１１で識別された１つまたは複数のランドマークについての表現も含まれてよい。そのようなランドマークには、一時停止線１１３２に関連づけられた第１ランドマーク１１５０、一時停止標識１１３４に関連づけられた第２ランドマーク１１５２、制限速度標識１１５４に関連づけられた第３ランドマーク、および危険標識１１３８に関連づけられた第４ランドマーク１１５６が含まれてよい。そのようなランドマークは、例えば、示された目標軌跡のうちのいずれかに対する自車の現在位置を決定する際に、自動運転車を支援するのに用いられてよい。これにより、車両はその決定位置において、目標軌跡の方向と一致するように自車の進行方向を調整することができる。

【0231】

いくつかの実施形態において、スパースマップ８００には、ロードシグネチャプロファイルも含まれてよい。そのようなロードシグネチャプロファイルは、道路に関連する少なくとも１つのパラメータにおける任意の識別可能／測定可能な変化に関連づけられてよい。例えば、場合によっては、そのようなプロファイルは、路面情報の変化、例えば、特定の道路セグメントの路面凹凸の変化、特定の道路セグメント全体の道路幅の変化、特定の道路セグメントに沿って塗装された破線間の距離の変化、特定の道路セグメントに沿った道路曲率の変化などに関連づけられてよい。図１１Ｄは、ロードシグネチャプロファイル１１６０の一例を示している。プロファイル１１６０は、上述したパラメータなどのうちのいずれかを表してよいが、一例において、プロファイル１１６０は、例えば、車両が特定の道路セグメントを走行するときのサスペンション変位の量を示す出力を提供する１つまたは複数のセンサを監視することにより取得された、路面凹凸の測定値を表してよい。

【0232】

その代わりに、または同時に、プロファイル１１６０は道路幅の変化を表してよく、この変化は、特定の道路セグメントを走行する車両に搭載されたカメラによって取得された画像データに基づいて特定される。そのようなプロファイルは、例えば、特定の目標軌跡に対する自動運転車の特定の位置を決定する際に役立ち得る。すなわち、自動運転車が、ある道路セグメントを通行するときに、当該道路セグメントに関連づけられる１つまたは複数のパラメータに関連するプロファイルを測定してよい。測定したプロファイルが、道路セグメントに沿う位置に関するパラメータの変化をプロットした所定のプロファイルに関連づけられ得る／一致し得る場合、次いで、道路セグメントに沿う現在位置、したがって道路セグメントの目標軌跡に対する現在位置を決定するために、測定したプロファイルおよび所定のプロファイルを（例えば、測定したプロファイルおよび所定のプロファイルの対応する部分同士を重ねることにより）用いてよい。

【0233】

いくつかの実施形態において、スパースマップ８００には、自動運転車のユーザ、環境状態、且つ／または走行に関連する他のパラメータに関連づけられた様々な特性に基づく様々な軌跡が含まれてよい。例えば、いくつかの実施形態では、様々なユーザ嗜好および／またはプロファイルに基づいて、様々な軌跡が生成されてよい。そのような様々な軌跡を含むスパースマップ８００は、様々なユーザの様々な自動運転車に提供されてよい。例えば、一部のユーザは有料道路を避けることを好むかもしれないが、他のユーザは、ルート上に有料道路があるかどうかに関係なく、最短または最速のルートを通ることを好むかもしれない。開示するシステムは、そのような様々なユーザ嗜好またはプロファイルに基づく様々な軌跡を有する様々なスパースマップを生成してよい。別の例として、一部のユーザは高速車線を走行することを好むかもしれないが、他のユーザは、常に位置を中央車線に維持することを好むかもしれない。

【0234】

様々な軌跡が、日中および夜間、雪、雨、霧などといった様々な環境状態に基づいて生成され、スパースマップ８００に含まれてよい。様々な環境状態下で走行する自動運転車には、そのような様々な環境状態に基づいて生成されたスパースマップ８００が提供されてよい。いくつかの実施形態では、自動運転車に設けられたカメラが環境状態を検出してよく、そのような情報を、スパースマップを生成し且つ提供するサーバに戻す形で提供してよい。例えば、サーバは、検出された環境状態下での自動運転にとって、より好適または安全かもしれない軌跡を含むようにスパースマップ８００を生成しても、すでに生成されているスパースマップ８００を更新してもよい。環境状態に基づくスパースマップ８００の更新は、自動運転車が道路に沿って走行しているときに、動的に行われてよい。

【0235】

走行に関連する他の様々なパラメータも、様々なスパースマップを生成して様々な自動運転車にこれを提供するための基礎として用いられてよい。例えば、自動運転車が高速で走行している場合、旋回がよりきつくなり得る。自動運転車が特定の軌跡を進むときに、当該車両が特定の車線を維持できるように、道路ではなくむしろ特定の車線に関連づけられた軌跡がスパースマップ８００に含まれてよい。自動運転車に搭載されたカメラにより取り込まれた画像が、車両が車線から外れて移動した（例えば、車線標示を横切った）ことを示した場合、特定の軌跡に従って車両を指定の車線に戻す動作が車両内で作動してよい。

【0236】

［スパースマップのクラウドソーシング］

【0237】

開示されるスパースマップは、クラウドソーシングの力によって効率的に（且つ受動的に）生成されてもよい。例えば、カメラ（例えば、現在の車両においてＯＥＭ装置として日ごろから含まれる単純な低解像度カメラ）を備える任意の自家用車または商用車、および、適切な画像分析プロセッサが、収集車両としての役割を果たすことができる。特別な装備（例えば高解像度撮像および／または測位システム）は必要とされない。開示されるクラウドソーシング手法の結果として、生成されるスパースマップは、極めて正確であり得、且つ、マップ生成処理への入力としていかなる特殊用途の撮像またはセンシング装置も必要とすることなく、（１０ｃｍまたはそれより狭いナビゲーションの誤差制限を可能にする）極めて微調整された位置情報を含み得る。マッピングサーバシステムは、収集車両としての役割も果たすべく最小限に装備された自家用車または商用車によって行き来される任意の道路からの新たなドライブ情報を常に利用できるので、クラウドソーシングもまた、生成されたマップに対する、はるかに高速な（且つ安価な）更新を可能にする。指定された車両は、高解像度撮像およびマッピングセンサを備える必要がない。したがって、そのような特殊用途の車両を構築することに関連する費用を避けることができる。さらに、現在開示されているスパースマップの更新は、専用の特殊用途のマッピング車両（その費用および特別な装備により、通常は、開示される収集手法を実行するためにすでに利用できる自家用車または商用車の数よりもはるかに少ない数の特殊用途の車両の車両隊に制限される）を利用するシステムよりも、はるかに高速に行われ得る。

【0238】

クラウドソーシングによって生成される、開示されるスパースマップは、特定の道路セグメントに沿って収集されたドライブ情報を有する複数の（数十、数百、数百万などの）収集車両からの複数の入力に基づいて生成され得るので、極めて正確であり得る。例えば、特定の道路セグメントに沿って運転している収集車両ごとに、その実際の軌跡を記録してもよく、且つ、道路セグメントに沿って検出された物体／特徴に関連する位置情報を特定してもよい。この情報は、複数の収集車両からサーバに渡される。実際の軌跡は集約され、道路セグメントに沿う各々の有効な運転経路用に微調整された目標軌跡が生成される。さらに、複数の収集車両から収集される、道路セグメントに沿って検出された（セマンティックなまたは非セマンティックな）物体／特徴の各々の位置情報もまた、集約され得る。その結果として、各々検出された物体／特徴のマッピングされた位置は、各々の検出された物体／特徴について個々に特定された、数百、数千または数百万の位置の平均を構成してもよい。そのような手法は、検出された物体／特徴について、極めて正確にマッピングされた位置をもたらし得る。

【0239】

いくつかの実施形態において、開示するシステムおよび方法は、自動運転車ナビゲーション用のスパースマップを生成し得る。例えば、開示するシステムおよび方法は、１つまたは複数の自動運転車があるシステムの道路に沿ってナビゲートするのに用い得るスパースマップの生成に、クラウドソーシングによるデータを用いてよい。本明細書で用いる場合、「クラウドソーシング」とは、ある道路セグメントを異なる時間に走行する様々な車両（例えば、自動運転車）からデータを受信することを意味し、そのようなデータは、スパースマップタイルを含む道路モデルを生成する且つ／または更新するのに用いられる。このモデル、または、その複数のスパースマップタイルのうちのいずれかは、次に、自動運転車ナビゲーションを支援するために、当該車両または後に当該道路セグメントに沿って走行する他の車両に送信されてよい。道路モデルには、ある道路セグメントを自動運転車が通行するときに進むべき好ましい軌跡を表す複数の目標軌跡が含まれてよい。これらの目標軌跡は、道路セグメントを通行する車両から収集された実際の軌跡を再構築したものと同じであってよく、収集された実際の軌跡は当該車両からサーバに送信されてよい。いくつかの実施形態において、目標軌跡は、１つまたは複数の車両が道路セグメントを通行したときに以前に通った実際の軌跡と異なる場合がある。目標軌跡は、実際の軌跡に基づいて（例えば、平均化、または任意の他の好適な操作により）生成されてよい。

【0240】

車両がサーバにアップロードし得る車両軌跡データは、車両の実際の再構築された軌跡に対応してもよく、推奨軌跡に対応してもよい。推奨軌跡は、車両の実際の再構築された軌跡に基づいても、これに関連してもよいが、実際の再構築された軌跡と異なる場合がある。例えば、車両は自車の実際の再構築された軌跡を変更し、変更した実際の軌跡をサーバに提出（例えば、推奨）してよい。道路モデルは、推奨された変更済みの軌跡を他の車両の自動ナビゲーション用の目標軌跡として用いてよい。

【0241】

軌跡情報に加えて、スパースデータマップ８００を構築する際に用いる可能性のある他の情報が、可能性のあるランドマーク候補に関連する情報を含んでよい。例えば、情報のクラウドソーシングによって、開示するシステムおよび方法は、環境内の可能性のあるランドマークを識別し、ランドマークの位置を微調整することができる。これらのランドマークは、自動運転車のナビゲーションシステムが目標軌跡に沿った車両の位置を決定し且つ／または調整するのに用いられてよい。

【0242】

車両が道路に沿って走行するときに車両が生成し得る再構築された軌跡は、任意の好適な方法で取得されてよい。いくつかの実施形態において、例えば、エゴモーション推定（例えば、カメラ、したがって車両本体の、３次元並進および３次元回転）を用いて、車両の動きの複数の部分をつなぎ合わせることで、再構築された軌跡を発展させることができる。回転および並進の推定は、１つまたは複数の画像取り込みデバイスにより取り込まれた画像を他のセンサまたはデバイス（慣性センサおよび速度センサなど）からの情報と共に分析した結果に基づいて決定されてよい。例えば、慣性センサは、車体の並進および／または回転の変化を測定するように構成された加速度計または他の好適なセンサを含んでよい。車両は、車両の速度を測定する速度センサを含んでよい。

【0243】

いくつかの実施形態において、カメラ（したがって車体）のエゴモーションは、取り込まれた画像のオプティカルフロー分析に基づいて推定されてよい。一連の画像のオプティカルフロー分析では、当該一連の画像の画素の動きを識別し、識別した動きに基づいて、車両の動きを特定する。エゴモーションは、車両が進んだ道路セグメントに関連づけられた軌跡を再構築するために、時間の経過と共に道路セグメントに沿って集積されてよい。

【0244】

ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータ（例えば、再構築された軌跡）が、スパースデータマップ８００に含まれる（例えば、目標軌跡などを含む）道路モデルを構築するのに用いられてよい。ある道路セグメントに沿った異なる時間での複数のドライブにおいて複数の車両により収集されたデータが、モデルの精度を高めるために平均化されてもよい。いくつかの実施形態において、道路の幾何構造および／またはランドマークに関するデータが、共通の道路セグメントを異なる時間に通り抜ける複数の車両から受信されてよい。異なる車両から受信されるそのようなデータは、道路モデルの生成および／または道路モデルの更新のために組み合わされてよい。

【0245】

道路セグメントに沿った再構築された軌跡の幾何構造は（目標軌跡の幾何構造も）、３次元空間の曲線で表されてよく、この曲線は３次元多項式を接続するスプラインであってよい。再構築された軌跡の曲線は、車両に設置されたカメラにより取り込まれたビデオストリームまたは複数の画像の分析から求められてよい。いくつかの実施形態では、車両の現在位置の数メートル前方にある各フレームまたは画像で位置が識別される。この位置は、所定の期間の後に車両が走行すると予期されているところである。この操作はフレームごとに繰り返されてよく、同時に、車両はカメラのエゴモーション（回転および並進）を計算してよい。各フレームまたは画像では、カメラに取り付けられた基準フレーム内の車両により、所望の経路の短距離モデルが生成される。複数の短距離モデルをつなぎ合わせて、何らかの座標フレーム内の道路の３次元モデルを取得してよく、この座標フレームは任意の座標フレームでも所定の座標フレームでもよい。道路の３次元モデルは次に、スプラインにフィッティングされてよく、このスプラインは好適な次数の１つまたは複数の多項式を含んでも、この多項式を接続してもよい。

【0246】

各フレームで短距離道路モデルを完成させるために、１つまたは複数の検出モジュールが用いられてよい。例えば、ボトムアップ型車線検出モジュールが用いられてよい。ボトムアップ型車線検出モジュールは、道路上に車線標示が描かれている場合に役立ち得る。このモジュールは、画像内のエッジを探し出し、これらのエッジを一緒に編成して車線標示を形成してよい。第２モジュールが、ボトムアップ型車線検出モジュールと一緒に用いられてよい。第２モジュールはエンドツーエンド型ディープニューラルネットワークであり、このディープニューラルネットワークは、正確な短距離経路を入力画像から予測するように訓練されてよい。どちらのモジュールでも、道路モデルが画像座標フレーム内で検出され、カメラに仮想的に取り付けられ得る３次元空間に変換されてよい。

【0247】

再構築された軌跡のモデル化方法では、長期間にわたるエゴモーションの集積により、ノイズ成分を含み得る誤差の累積をもたらすことがあるが、そのような誤差は、生成されたモデルが地域規模でのナビゲーションに十分な精度を提供し得るので重要でないかもしれない。さらに、衛星画像または測地測量などの外部の情報源を用いることで、集積誤差を相殺することが可能である。例えば、開示するシステムおよび方法は、ＧＮＳＳ受信機を用いて累積誤差を相殺してよい。しかしながら、ＧＮＳＳ測位信号は、常に利用できて正確であるとは限らないかもしれない。開示するシステムおよび方法によって、ＧＮＳＳ測位の可用性および精度にあまり依存しないステアリングアプリケーションが可能になり得る。そのようなシステムでは、ＧＮＳＳ信号の使用が限定されてよい。例えば、いくつかの実施形態において、開示するシステムは、データベースの索引作成目的のためだけにＧＮＳＳ信号を用いてよい。

【0248】

いくつかの実施形態において、自動運転車ナビゲーションのステアリングアプリケーションに適切かもしれない距離範囲（例えば、地域規模）は、５０メートル、１００メートル、２００メートル、３００メートル程度などであってもよい。そのような距離が用いられてよいのは、幾何道路モデルが用いられる目的が主に２つ、軌跡を事前に計画すること、および道路モデルで車両の位置を特定することであるためである。いくつかの実施形態において、計画策定タスクは４０メートル前方（または任意の他の好適な前方距離、例えば２０メートル、３０メートル、５０メートル）という典型的な範囲にわたるモデルを用いてよく、このとき制御アルゴリズムは、１．３秒先（または任意の他の時間、例えば、１．５秒、１．７秒、２秒など）に位置する目標地点に従って車両を操縦する。位置特定タスクは、別のセクションでより詳細に説明される「テールアライメント」と呼ばれる方法に従って、自動車の後方６０メートル（または任意の他の好適な距離、例えば、５０メートル、１００メートル、１５０メートルなど）という典型的な範囲にわたる道路モデルを用いる。開示するシステムおよび方法は、計画した軌跡が、例えば、車線中央から３０ｃｍを超えて逸脱することがないように、１００メートルなどの特定の範囲にわたり十分な精度を有する幾何モデルを生成してよい。

【0249】

上述したように、短距離部分を検出して、これらを一緒につなぎ合わせることから、３次元道路モデルが構築されてよい。このつなぎ合わせは、カメラにより取り込まれた映像および／または画像、車両の動きを反映する慣性センサからのデータ、およびホスト車両の速度信号を用いて、６段階のエゴモーションモデルを計算することにより可能になり得る。累積誤差は、１００メートル程度といった、ある程度の局所的範囲の規模では十分に小さくなり得る。これが全て、特定の道路セグメントの１つのドライブで完了してよい。

【0250】

いくつかの実施形態では、結果として生じるモデルを平均化して精度をさらに高めるために、複数のドライブが用いられてよい。同じ自動車が同じルートを複数回走行してもよく、複数の自動車がそれぞれ収集したモデルデータを中央サーバに送信してもよい。いずれにしても、目標軌跡を生成するために、重なり合っているモデルを識別して平均化できるように、マッチング手順が行われてよい。構築された（例えば、目標軌跡を含む）モデルは、一旦、収束基準を満たすと、操縦に用いられてよい。さらなるモデルの改良のために、またインフラの変化に適応するために、その後のドライブが用いられてよい。

【0251】

複数の自動車同士による走行経験（検知データなど）の共有が、これらの自動車が中央サーバに接続されている場合に実現可能になる。各車両クライアントは、それぞれの現在位置に関連し得る汎用道路モデルの部分的コピーを格納してよい。車両とサーバとの間の双方向の更新手順が、車両およびサーバによって行われてよい。上述した小フットプリントの概念により、開示するシステムおよび方法は、非常に小さい帯域幅を用いて双方向の更新を行うことが可能になる。

【0252】

可能性のあるランドマークに関連する情報も、特定されて中央サーバに転送されてよい。例えば、開示するシステムおよび方法は、可能性のあるランドマークの１つまたは複数の物理的特性を、ランドマークを含む１つまたは複数の画像に基づいて特定してよい。これらの物理的特性には、ランドマークの物理的サイズ（例えば、高さ、幅）、車両からランドマークまでの距離、ランドマークから直前のランドマークまでの距離、ランドマークの横方向位置（例えば、走行車線に対するランドマークの位置）、ランドマークのＧＰＳ座標、ランドマークのタイプ、ランドマークに関するテキストの識別などが含まれてよい。例えば、車両は、カメラにより取り込まれた１つまたは複数の画像を分析して、制限速度標識などの、可能性のあるランドマークを検出してよい。

【0253】

車両は、１つまたは複数の画像の分析に基づいて、車両からランドマークまでの距離、または、ランドマーク（例えば、道路セグメントに沿う任意のセマンティックな又は非セマンティックな物体又は特徴）に関連づけられた位置を決定してよい。いくつかの実施形態において、この距離は、ランドマークの画像の分析に基づき、スケーリング法および／またはオプティカルフロー法などの好適な画像分析方法を用いて決定されてよい。前述したように、物体／特徴の位置は、物体／特徴に関連づけられた１つまたは複数の点の２Ｄ画像位置（例えば、１つまたは複数の取り込まれた画像におけるＸ－Ｙ画素位置）を含んでもよく、または、（例えば、ＬＩＤＡＲまたはＲＡＤＡＲ情報など、モーション／オプティカルフロー手法における構造を通じて判定される）１つまたは複数の点の３Ｄの実際の位置を含んでもよい。いくつかの実施形態において、開示するシステムおよび方法は、可能性のあるランドマークのタイプまたは分類を決定するように構成されてよい。特定の可能性のあるランドマークがスパースマップに格納された所定のタイプまたは分類に対応すると車両が判定した場合、車両が当該ランドマークのタイプまたは分類のインジケーションをランドマークの位置と共にサーバに伝えるだけで十分であろう。サーバは、そのようなインジケーションを格納してよい。後に、ナビゲーション中、ナビゲート車両がこのランドマークの表現を含む画像を取り込み、当該画像を（例えば、分類器を用いて）処理し、マッピングされたランドマークの検出を検証するために、且つ、スパースマップに対してナビゲート車両の位置を特定する際にマッピングされたランドマークを用いるために、結果として得られるランドマークを比較してもよい。

【0254】

いくつかの実施形態では、ある道路セグメントを走行する複数の自動運転車がサーバと通信してよい。車両（またはクライアント）は、自車のドライブを（例えば、エゴモーションの集積によって）描く曲線を任意の座標フレームに生成してよい。車両は、ランドマークを検出し、当該ランドマークを同じフレームに配置してよい。車両は、曲線およびランドマークをサーバにアップロードしてよい。サーバは、車両から複数のドライブによるデータを収集し、統合された道路モデルを生成してよい。例えば、図１９に関して以下で論じるように、サーバは、アップロードされた曲線およびランドマークを用いて、統合された道路モデルを有するスパースマップを生成してよい。

【0255】

サーバは、このモデルをクライアント（例えば、車両）に配信してもよい。例えば、サーバはスパースマップを１つまたは複数の車両に配信してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的に更新してよい。例えば、サーバは、新たなデータを処理し、サーバでデータの更新または新たなデータの作成を作動させるべき情報が当該データに含まれているかどうかを評価してよい。サーバは、自動運転車ナビゲーションを提供するために、更新されたモデルまたは更新情報を車両に配信してよい。

【0256】

サーバは、車両から受信した新たなデータがモデルの更新を作動させるのか、または新たなデータの作成を作動させるのかを判定するために、１つまたは複数の基準を用いてよい。例えば、以前に認識した特定の位置にあるランドマークがもはや存在していない、または別のランドマークに置き換えられていることを新たなデータが示している場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。別の例として、ある道路セグメントが閉鎖されていることを新たなデータが示している場合、且つこのことが他の車両から受信したデータによって裏付けられている場合、サーバは、新たなデータがモデルの更新を作動させるべきと判定してよい。

【0257】

サーバは、更新したモデル（またはモデルの更新部分）を、モデルの更新が関連づけられている道路セグメントを走行している１つまたは複数の車両に配信してよい。サーバは、モデルの更新が関連づけられている道路セグメントを走行する予定の車両、または当該道路セグメントが自車の移動計画に含まれている車両にも、更新したモデルを配信してよい。例えば、自動運転車が、ある更新に関連づけられている道路セグメントに到達する前に別の道路セグメントに沿って走行している間に、サーバは、当該車両がこの道路セグメントに到達する前に、更新情報または更新したモデルを当該自動運転車に配信してよい。

【0258】

いくつかの実施形態において、リモートサーバは、複数のクライアント（例えば、共通の道路セグメントに沿って走行する車両）から軌跡およびランドマークを収集してよい。サーバは、ランドマークを用いて曲線を一致させ、複数の車両から収集した軌跡に基づいて平均的な道路モデルを作成してよい。サーバは、道路セグメントの各交点または接続点において、道路のグラフおよび最も可能性の高い経路も計算してよい。例えば、リモートサーバは、収集した軌跡からクラウドソーシングによるスパースマップを生成するために、これらの軌跡を揃えてよい。

【0259】

サーバは、共通の道路セグメントに沿って走行した複数の車両から受信したランドマークの特性、例えば、複数の車両により測定された、あるランドマークと別のランドマーク（例えば、道路セグメント沿いの直前のランドマーク）との間の距離を平均化して、弧長パラメータを求め、各クライアント車両のために、経路に沿った位置特定および速度較正を支援してよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの物理的寸法を平均化してよい。平均化した物理的寸法は、車両からランドマークまでの距離といった距離推定を支援するのに用いられてよい。サーバは、共通の道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークの横方向位置（例えば、車両が走行している車線からランドマークまでの位置）を平均化してよい。平均化した横方向位置は、車線指定を支援するのに用いられてよい。サーバは、同じ道路セグメントに沿って走行し且つ同じランドマークを認識した複数の車両により測定されたランドマークのＧＰＳ座標を平均化してよい。平均化したランドマークのＧＰＳ座標は、道路モデルにおいて、ランドマークの広範囲な位置特定または測位を支援するのに用いられてよい。

【0260】

いくつかの実施形態において、サーバは、車両から受信したデータに基づいて、モデルの変更点、例えば、工事、迂回路、新たな標識、標識の除去などを識別してよい。サーバは、車両から新たなデータを受信すると、モデルを常にまたは定期的にまたは即座に更新してよい。サーバは、自動ナビゲーションを提供するために、モデルの更新情報または更新されたモデルを車両に配信してよい。例えば、以下でさらに論じるように、サーバは、車両が検出された「ゴースト」ランドマークを除外するために、クラウドソーシングによるデータを用いてよい。

【0261】

いくつかの実施形態において、サーバは、自動運転時に運転者の介入を分析してよい。サーバは、介入が行われた時間および場所で車両から受信したデータ、および／または介入が行われた時間の前に受信したデータを分析してよい。サーバは、介入を引き起こした、または介入に密接に関連しているデータ、例えば、一時的な車線通行止めの設定を示すデータ、道路に歩行者がいることを示すデータのある程度の部分を識別してよい。サーバは、識別したデータに基づいてモデルを更新してよい。例えば、サーバは、モデルに格納された１つまたは複数の軌跡を変更してよい。

【0262】

図１２は、クラウドソーシングを用いてスパースマップを生成する（および、クラウドソーシングによるスパースマップを配信し、これを用いてナビゲートする）システムの概略図である。図１２は、１つまたは複数の車線を含む道路セグメント１２００を示している。複数の車両１２０５、１２１０、１２１５、１２２０および、１２２５は（図１２には道路セグメント１２００に同時に現れるように示されているが）、道路セグメント１２００を同時に走行しても、異なる時間に走行してもよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つは、自動運転車であってよい。本例を簡単にするために、車両１２０５、１２１０、１２１５、１２２０、および１２２５の全てが自動運転車であると仮定する。

【0263】

各車両は、他の実施形態で開示された車両（例えば、車両２００）と同様であってよく、他の実施形態で開示された車両に含まれる、またはその車両に関連する構成要素またはデバイスを含んでもよい。各車両は、画像取り込みデバイスまたはカメラ（例えば、画像取り込みデバイス１２２またはカメラ１２２）を備えてよい。各車両は、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを介し）、破線で示されている無線通信経路１２３５を通じてリモートサーバ１２３０と通信してよい。各車両は、データをサーバ１２３０に送信し、サーバ１２３０からデータを受信してよい。例えば、サーバ１２３０は、道路セグメント１２００を異なる時間に走行する複数の車両からデータを収集してよく、収集したデータを処理して、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を生成してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、サーバ１２３０にデータを送信した車両に送信してよい。サーバ１２３０は、自動運転車向け道路ナビゲーションモデルまたは当該モデルの更新を、後に道路セグメント１２００を走行する他の車両に送信してよい。

【0264】

車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００を走行すると、車両１２０５、１２１０、１２１５、１２２０、および１２２５により収集された（例えば、検出された、検知された、または測定された）ナビゲーション情報がサーバ１２３０に送信されてよい。いくつかの実施形態において、ナビゲーション情報は共通の道路セグメント１２００に関連づけられてよい。ナビゲーション情報は、各車両が道路セグメント１２００を走行するときに車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に関連づけられる軌跡を含んでよい。いくつかの実施形態において、軌跡は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータに基づいて再構築されてよい。例えば、軌跡は、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造またはプロファイルデータ、車両測位データ、およびエゴモーションデータのうちの少なくとも１つに基づいて再構築されてよい。いくつかの実施形態において、軌跡は、加速度計などの慣性センサからのデータ、および速度センサにより検知された車両１２０５の速度に基づいて再構築されてよい。さらに、いくつかの実施形態において、軌跡は（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に搭載したプロセッサにより）、３次元並進および／または３次元回転（または回転運動）を示し得る検知されたカメラのエゴモーションに基づいて決定されてよい。カメラ（したがって、車体）のエゴモーションは、カメラが取り込んだ１つまたは複数の画像の分析から特定されてよい。

【0265】

いくつかの実施形態において、車両１２０５の軌跡は、車両１２０５に搭載されたプロセッサにより決定されて、サーバ１２３０に送信されてよい。他の実施形態において、サーバ１２３０は、車両１２０５に設けられた様々なセンサおよびデバイスにより検知されたデータを受信し、車両１２０５から受信したデータに基づいて軌跡を決定してよい。

【0266】

いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５からサーバ１２３０に送信されるナビゲーション情報には、路面、道路の幾何構造、または道路プロファイルに関するデータが含まれてよい。道路セグメント１２００の幾何構造には、車線構成および／またはランドマークが含まれてよい。車線構成には、道路セグメント１２００の車線総数、車線のタイプ（例えば、一方通行車線、双方向車線、走行車線、追い越し車線など）、車線上の標示、車線の幅などが含まれてよい。いくつかの実施形態において、ナビゲーション情報には、車線指定、例えば複数の車線のうちのどの車線を車両が走行することになるかが含まれてよい。例えば、車線指定は数値に関連づけられてよく、「３」は車両が左または右から３番目の車線を走行することを示している。別の例として、車線指定はテキスト値に関連づけられてよく、「中央車線」は車両が中央車線を走行することを示している。

【0267】

サーバ１２３０は、ナビゲーション情報を非一時的コンピュータ可読媒体に、例えば、ハードドライブ、コンパクトディスク、テープ、メモリなどに格納してよい。サーバ１２３０は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント１２００用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を（例えば、サーバ１２３０に含まれるプロセッサにより）生成してよく、このモデルをスパースマップの一部として格納してよい。サーバ１２３０は、道路セグメントの車線を異なる時間に走行する複数の車両（例えば、１２０５、１２１０、１２１５、１２２０、および１２２５）から受信したクラウドソーシングによるデータ（例えば、ナビゲーション情報）に基づいて、各車線に関連づけられる軌跡を決定してよい。サーバ１２３０は、クラウドソーシングによるナビゲーションデータに基づいて決定された複数の軌跡に基づいて、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部（例えば、更新部分）を生成してよい。サーバ１２３０は、車両のナビゲーションシステムに提供された既存の自動運転車向け道路ナビゲーションモデルを更新するために、道路セグメント１２００を走行する自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数、または後に道路セグメントを走行する任意の他の自動運転車に、モデルまたはモデルの更新部分を送信してよい。自動運転車向け道路ナビゲーションモデルは、自動運転車が共通の道路セグメント１２００に沿って自律的にナビゲートする際に用いられてよい。

【0268】

上述したように、自動運転車向け道路ナビゲーションモデルは、スパースマップ（例えば、図８に示すスパースマップ８００）に含まれてよい。スパースマップ８００は、道路の幾何構造および／または道路沿いのランドマークに関連するデータのスパース記録を含んでよく、これは、自動運転車の自動ナビゲーションを誘導するのに十分な情報を与えることができ、しかも、過度のデータストレージを必要としない。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、スパースマップ８００とは別に格納されてよく、ナビゲーションのためにモデルが実行されると、スパースマップ８００からのマップデータを用いてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、自動運転車１２０５、１２１０、１２１５、１２２０、および１２２５、または後に道路セグメント１２００に沿って走行する他の車両の自動ナビゲーションを誘導するために、スパースマップ８００に含まれるマップデータを用いて、道路セグメント１２００に沿った目標軌跡を決定してよい。例えば、車両１２０５のナビゲーションシステムに含まれるプロセッサによって自動運転車向け道路ナビゲーションモデルが実行されると、モデルは、車両１２０５から受信したナビゲーション情報に基づいて決定された軌跡とスパースマップ８００に含まれる所定の軌跡とをプロセッサに比較させて、車両１２０５の現在の走行コースを確認する且つ／または補正してよい。

【0269】

自動運転車向け道路ナビゲーションモデルでは、道路特徴または目標軌跡の幾何構造は、３次元空間内の曲線によって符号化されてよい。一実施形態において、この曲線は、１つまたは複数の接続３次元多項式を含む３次元スプラインであってよい。当業者であれば理解しているであろうが、スプラインとは、データをフィッティングするために一連の多項式によって区分的に定義されている数値関数であってよい。道路の３次元幾何構造データをフィッティングするためのスプラインには、線形スプライン（１次）、２次スプライン（２次）、３次スプライン（３次）、もしくは任意の他のスプライン（他の次数）、またはこの組み合わせが含まれてよい。スプラインには、道路の３次元幾何構造データのデータ点を接続する（例えば、フィッティングする）様々な次数の１つまたは複数の３次元多項式が含まれてよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルには、共通の道路セグメント（例えば、道路セグメント１２００）または道路セグメント１２００の車線に沿った目標軌跡に対応する３次元スプラインが含まれてよい。

【0270】

上述したように、スパースマップに含まれる自動運転車向け道路ナビゲーションモデルは、他の情報、例えば、道路セグメント１２００沿いの少なくとも１つのランドマークの識別情報を含んでもよい。ランドマークは、車両１２０５、１２１０、１２１５、１２２０、および１２２５の各々に設置されたカメラ（例えば、カメラ１２２）の視野内で視認可能であってよい。いくつかの実施形態において、カメラ１２２はランドマークの画像を取り込んでよい。車両１２０５に設けられたプロセッサ（例えば、プロセッサ１８０、１９０、または処理ユニット１１０）は、ランドマークの画像を処理して、ランドマークの識別情報を抽出してよい。ランドマークの実画像ではなくむしろ、ランドマークの識別情報はスパースマップ８００に格納されてよい。ランドマークの識別情報は、実画像よりはるかに少ないストレージ領域しか必要としなくてよい。他のセンサまたはシステム（例えば、ＧＰＳシステム）も、ランドマークの特定の識別情報（例えば、ランドマークの位置）を提供してよい。ランドマークには、交通標識、矢印標示、車線標示、破線の車線標示、信号機、一時停止線、方向標識（例えば、方向を示す矢印付きの高速道路出口標識、別の方向または場所を指し示す矢印付きの高速道路標識）、ランドマークビーコン、または街灯柱のうちの少なくとも１つが含まれてよい。ランドマークビーコンとは、車両に設置された受信器に信号を送信するまたは反射する、道路セグメントに沿って設置されたデバイス（例えば、ＲＦＩＤデバイス）を指し、車両がこのデバイスのそばを通ると、車両が受信するビーコンと（例えば、デバイスのＧＰＳ位置から決定される）デバイスの位置とが、自動運転車向け道路ナビゲーションモデルおよび／またはスパースマップ８００に含まれることになるランドマークとして用いられてよい。

【0271】

少なくとも１つのランドマークの識別情報は、少なくとも１つのランドマークの位置を含んでよい。ランドマークの位置は、複数の車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられたセンサシステム（例えば、全地球測位システム、慣性ベースの測位システム、ランドマークビーコンなど）を用いて行われた位置測定法に基づいて決定されてよい。いくつかの実施形態において、ランドマークの位置は、異なる車両１２０５、１２１０、１２１５、１２２０、および１２２５のセンサシステムにより複数のドライブで検出され、収集され、または受信された位置測定値を平均化することにより決定されてよい。例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５は位置測定値のデータをサーバ１２３０に送信してよく、サーバは、位置測定値を平均化し、平均化した位置測定値をランドマークの位置として用いてよい。ランドマークの位置は、その後のドライブで車両から受信する測定値によって常に微調整されてよい。

【0272】

ランドマークの識別情報には、ランドマークのサイズが含まれてよい。車両（例えば、１２０５）に設けられたプロセッサは、画像の分析に基づいてランドマークの物理的サイズを推定してよい。サーバ１２３０は、異なる車両から異なるドライブによる、同じランドマークの物理的サイズに関する複数の推定値を受信してよい。サーバ１２３０は、ランドマークの物理的サイズに到達するように様々な推定値を平均化し、そのランドマークのサイズを道路モデルに格納してよい。物理的サイズの推定値はさらに、車両からランドマークまでの距離を決定または推定するために用いられてよい。ランドマークまでの距離は、車両の現在の速度と、カメラの拡張焦点に対する画像に現れるランドマークの位置に基づく拡張スケールとに基づいて推定されてよい。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒは時間ｔ１におけるランドマークから拡張焦点までの画像内の距離であり、Ｄはｔ１からｔ２までの画像内のランドマークについての距離の変化である。ｄｔは（ｔ２－ｔ１）を表している。例えば、ランドマークまでの距離は、Ｚ＝Ｖ×ｄｔ×Ｒ／Ｄで推定されてよく、ここで、Ｖは車両の速度であり、Ｒはランドマークと拡張焦点との間の画像内の距離であり、ｄｔは時間間隔であり、Ｄはエピポーラ線に沿ったランドマークの画像変位である。上記の式と等価な他の式、例えば、Ｚ＝Ｖ×ω／Δωが、ランドマークまでの距離を推定するのに用いられてよい。ここで、Ｖは車両速度であり、ωは画像長（物体幅のようなもの）であり、Δωは単位時間における画像長の変化である。

【0273】

ランドマークの物理的サイズが既知である場合、ランドマークまでの距離も、次式、Ｚ＝ｆ×Ｗ／ωに基づいて決定されてよい。ここで、ｆは焦点距離であり、Ｗはランドマークのサイズ（例えば、高さまたは幅）であり、ωはランドマークが画像を離れたときの画素の数である。上記の式から、距離Ｚの変化が、ΔＺ＝ｆ×Ｗ×Δω／ω^２＋ｆ×ΔＷ／ωを用いて計算されてよい。ここで、ΔＷは平均化でゼロに減衰し、Δωは画像のバウンディングボックス精度を表す画素の数である。ランドマークの物理的サイズを推定する値が、複数の観測結果をサーバ側で平均化することで計算されてよい。距離推定で結果として生じる誤差は、非常に小さくなり得る。上記の式を用いるときに生じ得る誤差の発生源は２つある。すなわち、ΔＷおよびΔωである。距離誤差に対するそれぞれの寄与分は、ΔＺ＝ｆ×Ｗ×Δω／ω^２＋ｆ×ΔＷ／ωで与えられる。しかしながら、ΔＷは平均化によりゼロに減衰するので、ΔＺはΔω（例えば、画像のバウンディングボックスの不正確さ）で求められる。

【0274】

未知の寸法のランドマークの場合、ランドマークまでの距離は、連続するフレームにわたってランドマーク上の特徴点を追跡することで推定され得る。例えば、制限速度標識上に現れる特定の特徴が２つまたはそれより多くの画像フレームにわたって追跡されてよい。追跡したこれらの特徴に基づいて、特徴点ごとの距離の分布が生成されてよい。距離推定値は、距離の分布から抽出されてよい。例えば、距離の分布に現れる最も頻度が高い距離を、距離推定値として用いてよい。別の例として、距離の分布の平均を距離推定値として用いてよい。

【0275】

図１３は、複数の３次元スプライン１３０１、１３０２、および１３０３で表される例示的な自動運転車向け道路ナビゲーションモデルを示している。図１３に示す曲線１３０１、１３０２、および１３０３は、説明目的のためだけのものである。各スプラインには、複数のデータ点１３１０を接続した１つまたは複数の３次元多項式が含まれてよい。各多項式は、１次多項式、２次多項式、３次多項式、または異なる次数を有する任意の好適な多項式の組み合わせであってもよい。各データ点１３１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に関連づけられてよい。いくつかの実施形態において、各データ点１３１０は、ランドマークに関連するデータ（例えば、ランドマークのサイズ、位置、および識別情報）および／またはロードシグネチャプロファイル（例えば、道路の幾何構造、道路凹凸プロファイル、道路曲率プロファイル、道路幅プロファイル）に関連づけられてよい。いくつかの実施形態において、データ点１３１０のなかには、ランドマークに関連するデータに関連づけられるものもあってよく、ロードシグネチャプロファイルに関連するデータに関連づけられるものもあってよい。

【0276】

図１４は、５つの別々のドライブから受信した未処理の位置データ１４１０（例えば、ＧＰＳデータ）を示している。あるドライブを別々の車両が同時に通行した場合、同じ車両が別々の時間に通行した場合、または別々の車両が別々の時間に通行した場合、当該ドライブは別のドライブから分かれてよい。位置データ１４１０の誤差および同じ車線内の複数の車両の異なる位置（例えば、ある車両が別の車両よりも車線の左側の近くを走行しているかもしれない）を考慮するために、サーバ１２３０は、１つまたは複数の統計的手法を用いてマップの骨組み１４２０を生成し、未処理の位置データ１４１０の変化が実際の相違を表しているのか、統計誤差を表しているのかを判定してよい。マップの骨組み１４２０に含まれる各経路は、その経路を形成した未処理データ１４１０にあらためて関連づけられてよい。例えば、マップの骨組み１４２０に含まれるＡとＢとの間の経路は、ドライブ２、３、４、および５からの未処理データ１４１０に関連づけられるが、ドライブ１からの未処理データには関連づけられない。骨組み１４２０は、（例えば、上述したスプラインと異なり、同じ道路の複数の車線からのドライブを組み合わせるため）車両のナビゲートに用いられるほど詳細でなくてもよいが、有用なトポロジー情報を提供することができ、交差点を定義するのに用いることができる。

【0277】

図１５は、マップの骨組みのセグメント（例えば、骨組み１４２０に含まれるセグメントＡ～Ｂ）に含まれるスパースマップ用に、さらなる詳細が生成され得る例を示している。図１５に示すように、データ（例えば、エゴモーションデータ、道路標示のデータなど）が、ドライブに沿った位置Ｓ（またはＳ_１もしくはＳ_２）に応じて示されてよい。サーバ１２３０は、ドライブ１５１０のランドマーク１５０１、１５０３、および１５０５と、ドライブ１５２０のランドマーク１５０７および１５０９との一意の一致を識別することにより、スパースマップ用のランドマークを識別してよい。そのようなマッチングアルゴリズムによって、ランドマーク１５１１、１５１３、および１５１５を識別することになり得る。しかしながら当業者であれば、他のマッチングアルゴリズムを用いてもよいことを認識するであろう。例えば、一意の一致の代わりに、またはこれと組み合わせて確率最適化を用いてもよい。サーバ１２３０は、各ドライブを長手方向に揃えて、一致したランドマークを揃えてよい。例えばサーバ１２３０は、１つのドライブ（例えば、ドライブ１５２０）を基準ドライブとして選択し、次いで１つまたは複数のその他のドライブ（例えば、ドライブ１５１０）を揃えるために移動させる且つ／または弾性的に引き延ばしてよい。

【0278】

図１６は、スパースマップに用いるためにランドマークのデータを揃えた一例を示している。図１６の例では、ランドマーク１６１０は道路標識を含む。図１６の例はさらに、複数のドライブ１６０１、１６０３、１６０５、１６０７、１６０９、１６１１、および１６１３からのデータを示している。図１６の例では、ドライブ１６１３からのデータは「ゴースト」ランドマークで構成されており、サーバ１２３０はこのデータをそのようなものとして識別してよい。なぜならば、ドライブ１６０１、１６０３、１６０５、１６０７、１６０９、および１６１１のどれにも、ドライブ１６１３で識別されたランドマークの近くにランドマークの識別情報が含まれないからである。したがって、サーバ１２３０は、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れてよく、且つ／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除してよい。

【0279】

図１７は、スパースマップをクラウドソーシングするのに用いられ得る、ドライブデータを生成するためのシステム１７００を示している。図１７に示すように、システム１７００は、カメラ１７０１と位置特定デバイス１７０３（例えば、ＧＰＳロケータ）を含んでよい。カメラ１７０１および位置特定デバイス１７０３は、車両（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つ）に取り付けられてよい。カメラ１７０１は、複数のタイプの複数のデータ、例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成してよい。カメラデータおよび位置データは、複数のドライブセグメント１７０５に分割されてよい。例えば、複数のドライブセグメント１７０５は各々、１ｋｍ未満の走行からのカメラデータおよび位置データを有してよい。

【0280】

いくつかの実施形態において、システム１７００は、ドライブセグメント１７０５の冗長性を取り除いてよい。例えば、カメラ１７０１からの複数の画像にランドマークが現れる場合、ドライブセグメント１７０５にはランドマークの位置およびランドマークに関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。さらなる例として、カメラ１７０１からの複数の画像に車線標示が現れる場合、ドライブセグメント１７０５には車線標示の位置および車線標示に関連する任意のメタデータが１部だけ含まれるように、システム１７００は冗長なデータを取り除いてよい。

【0281】

システム１７００は、サーバ（例えば、サーバ１２３０）も含む。サーバ１２３０は、車両からドライブセグメント１７０５を受信し、これらのドライブセグメント１７０５を再結合して１つのドライブ１７０７にしてよい。そのようなやり方によって、車両とサーバとの間でデータを転送するときの帯域幅要件の低減が可能になると共に、サーバがドライブ全体に関連するデータを格納することも可能になり得る。

【0282】

図１８は、さらにスパースマップをクラウドソーシングするように構成された、図１７のシステム１７００を示す。図１７にあるように、システム１７００は車両１８１０を含み、当該車両は、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。図１７にあるように、車両１８１０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ １」、「ＤＳ２ １」、「ＤＳＮ １」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ１」と示されている）を再構築する。

【0283】

図１８にさらに示すように、システム１７００は追加の車両からもデータを受信する。例えば、車両１８２０も、例えば、カメラ（これは例えば、エゴモーションデータ、交通標識データ、または道路データなどを生成する）および位置特定デバイス（例えば、ＧＰＳロケータ）を用いてドライブデータを取り込む。車両１８１０と同様に、車両１８２０は、収集したデータを複数のドライブセグメント（図１８には「ＤＳ１ ２」、「ＤＳ２ ２」、「ＤＳＮ ２」と示されている）に分割する。サーバ１２３０は次に、ドライブセグメントを受信し、受信したこれらのセグメントから１つのドライブ（図１８には「ドライブ２」と示されている）を再構築する。任意の数の追加の車両が用いられてよい。例えば、図１８は自動車Ｎも含み、当該自動車は、ドライブデータを取り込み、そのデータを複数のドライブセグメント（図１８には「ＤＳ１ Ｎ」、「ＤＳ２ Ｎ」、「ＤＳＮ Ｎ」と示されている）に分割し、これらをサーバ１２３０に送信して１つのドライブ（図１８には「ドライブＮ」と示されている）に再構築する。

【0284】

図１８に示すように、サーバ１２３０は、複数の車両（例えば、「自動車１」（車両１８１０とも表示されている）、「自動車２」（車両１８２０とも表示されている）、および「自動車Ｎ」）から収集した再構築済みのドライブ（例えば、「ドライブ１」、「ドライブ２」、および「ドライブＮ」）を用いて、スパースマップ（「マップ」と示されている）を構築してよい。

【0285】

図１９は、道路セグメントに沿った自動運転車ナビゲーション用のスパースマップを生成するための例示的なプロセス１９００を示すフローチャートである。プロセス１９００は、サーバ１２３０に含まれる１つまたは複数の処理デバイスにより行われてよい。

【0286】

プロセス１９００は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像を受信する段階（段階１９０５）を含んでよい。サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数に含まれるカメラから画像を受信してよい。例えば、カメラ１２２は、車両１２０５が道路セグメント１２００に沿って走行するときに、車両１２０５を取り囲む環境に関する１つまたは複数の画像を取り込んでよい。いくつかの実施形態において、サーバ１２３０は、図１７に関して上述したように、車両１２０５に搭載されたプロセッサによって冗長性が取り除かれた、余分なものを除いた画像データも受信してよい。

【0287】

プロセス１９００はさらに、複数の画像に基づいて、道路セグメントに沿って延びる路面特徴の少なくとも１つのライン表現を識別する段階（段階１９１０）を含んでよい。各ライン表現は、路面特徴と実質的に対応する、道路セグメントに沿った経路を表してよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路エッジまたは車線標示を識別して、道路エッジまたは車線標示に関連づけられる道路セグメント１２００に沿った走行の軌跡を決定してよい。いくつかの実施形態において、軌跡（またはライン表現）は、スプライン、多項式表現、または曲線を含んでよい。サーバ１２３０は、段階１９０５で受信したカメラのエゴモーション（例えば、３次元並進運動および／または３次元回転運動）に基づいて、車両１２０５の走行の軌跡を決定してよい。

【0288】

プロセス１９００は、複数の画像に基づいて、道路セグメントに関連づけられる複数のランドマークを識別する段階（段階１９１５）も含んでよい。例えば、サーバ１２３０は、カメラ１２２から受信した環境画像を分析し、道路セグメント１２００沿いの道路標識などの１つまたは複数のランドマークを識別してよい。サーバ１２３０は、１つまたは複数の車両が道路セグメントを通行するときに取得した複数の画像の分析を用いて、ランドマークを識別してよい。クラウドソーシングを可能にするために、分析には、道路セグメントに関連する可能性のあるランドマークを受け入れること、および排除することに関するルールが含まれてよい。例えば、分析には、ランドマークが現れる画像とランドマークが現れない画像との比率が閾値を超える場合、可能性のあるランドマークを受け入れる段階、および／またはランドマークが現れない画像とランドマークが現れる画像との比率が閾値を超える場合、可能性のあるランドマークを排除する段階を含んでよい。

【0289】

プロセス１９００は、サーバ１２３０により行われる他の操作または段階を含んでよい。例えば、ナビゲーション情報には車両が道路セグメントに沿って走行するための目標軌跡が含まれてよく、プロセス１９００は、以下でさらに詳細に論じるように、サーバ１２３０が道路セグメントを走行する複数の車両に関連する車両軌跡をクラスタ化して、クラスタ化した車両軌跡に基づいて目標軌跡を決定する段階を含んでよい。車両軌跡をクラスタ化する段階は、サーバ１２３０が、車両の絶対進行方向または車両の車線指定のうちの少なくとも一方に基づいて、道路セグメントを走行する車両に関連する複数の軌跡をクラスタ化して複数のクラスタにする段階を含んでよい。目標軌跡を生成する段階は、サーバ１２３０が、クラスタ化した軌跡を平均化する段階を含んでよい。さらなる例として、プロセス１９００は、段階１９０５で受信したデータを揃える段階を含んでよい。サーバ１２３０により行われる他のプロセスまたは段階も、上述したように、プロセス１９００に含まれてよい。

【0290】

開示するシステムおよび方法は、他の特徴を含んでよい。例えば、開示するシステムは、グローバル座標ではなくむしろローカル座標を用いてよい。自動運転の場合、いくつかのシステムは、ワールド座標でデータを示すことがある。例えば、地表面の経度および緯度による座標が用いられてよい。ホスト車両は、マップを操縦に用いるために、マップに対する自車の位置および方位を決定してよい。マップ上で車両を測位するために、且つ本体基準フレームとワールド基準フレーム（例えば、北、東、および南）との間の回転変換を求めるために、搭載されたＧＰＳデバイスを用いるのは自然なことのように思われる。一旦本体基準フレームをマップ基準フレームに揃えると、次に、所望のルートを本体基準フレームで表現することができ、操縦コマンドを計算することも、生成することもできる。

【0291】

開示するシステムおよび方法は、低フットプリントモデルを用いた自動運転車ナビゲーション（例えば、操縦制御）を可能にしてよく、このモデルは、高価な測量機器の助けを借りることなく、自動運転車そのものによって収集されてよい。自動ナビゲーション（例えば、ステアリングアプリケーション）を支援するために、道路モデルは、モデルに含まれる軌跡に沿った車両の位置または位置を決定するのに用いられ得る道路の幾何構造、その車線構成、およびランドマークを有するスパースマップを含んでよい。上述したように、スパースマップの生成は、道路を走行する車両と通信し且つ車両からデータを受信するリモートサーバにより行われてよい。このデータには、検知データ、検知データに基づいて再構築された軌跡、および／または再構築された軌跡の変更を表し得る推奨軌跡が含まれてよい。以下で論じるように、サーバは、車両または後に道路を走行する他の車両にあらためてモデルを送信して、自動ナビゲーションに役立てることができる。

【0292】

図２０は、サーバ１２３０のブロック図を示している。サーバ１２３０は通信ユニット２００５を含んでよく、このユニットは、ハードウェアコンポーネント（例えば、通信制御回路、スイッチ、およびアンテナ）とソフトウェアコンポーネント（例えば、通信プロトコル、コンピュータコード）とを両方とも含んでよい。例えば、通信ユニット２００５は、少なくとも１つのネットワークインタフェースを含んでよい。サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５と通信してよい。例えば、サーバ１２３０は、通信ユニット２００５を介して、車両１２０５、１２１０、１２１５、１２２０、および１２２５から送信されるナビゲーション情報を受信してよい。サーバ１２３０は、通信ユニット２００５を介して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車に配信してよい。

【0293】

サーバ１２３０は、少なくとも１つの非一時的記憶媒体２０１０、例えば、ハードドライブ、コンパクトディスク、テープなどを含んでよい。ストレージデバイス１４１０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などのデータ、並びに／またはナビゲーション情報に基づいてサーバ１２３０が生成する自動運転車向け道路ナビゲーションモデルを格納するように構成されてよい。ストレージデバイス２０１０は、スパースマップ（例えば、図８に関して上述したスパースマップ８００）などの任意の他の情報を格納するように構成されてよい。

【0294】

ストレージデバイス２０１０に加えて、またはその代わりに、サーバ１２３０はメモリ２０１５を含んでよい。メモリ２０１５は、メモリ１４０または１５０と同様であっても、これと異なってもよい。メモリ２０１５は、フラッシュメモリ、ランダムアクセスメモリなどといった、非一時的メモリであってよい。メモリ２０１５はデータを格納するように構成されてよく、そのようなデータには、プロセッサ（例えば、プロセッサ２０２０）が実行可能なコンピュータコードもしくは命令、マップデータ（例えば、スパースマップ８００のデータ）、自動運転車向け道路ナビゲーションモデル、並びに／または車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報などがある。

【0295】

サーバ１２３０は、メモリ２０１５に格納されたコンピュータコードまたは命令を実行して、様々な機能を果たすように構成された少なくとも１つの処理デバイス２０２０を含んでよい。例えば、処理デバイス２０２０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報を分析し、この分析に基づいて自動運転車向け道路ナビゲーションモデルを生成してよい。処理デバイス２０２０は、通信ユニット１４０５を制御して、自動運転車向け道路ナビゲーションモデルを１つまたは複数の自動運転車（例えば、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの１つまたは複数、あるいは後に道路セグメント１２００を走行する任意の車両）に配信してよい。処理デバイス２０２０は、プロセッサ１８０、１９０、または処理ユニット１１０と同様であっても、異なってもよい。

【0296】

図２１は、メモリ２０１５のブロック図を示しており、このメモリは、自動運転車ナビゲーションに用いる道路ナビゲーションモデルを生成するのに１つまたは複数の操作を行うためのコンピュータコードまたは命令を格納してよい。図２１に示すように、メモリ２０１５は、車両ナビゲーション情報を処理する操作を行うための１つまたは複数のモジュールを格納してよい。例えば、メモリ２０１５は、モデル生成モジュール２１０５とモデル配信モジュール２１１０とを含んでよい。プロセッサ２０２０は、メモリ２０１５に含まれるモジュール２１０５および２１１０のうちのいずれかに格納された命令を実行してよい。

【0297】

モデル生成モジュール２１０５は命令を格納してよく、この命令は、プロセッサ２０２０により実行されると、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したナビゲーション情報に基づいて、共通の道路セグメント（例えば、道路セグメント１２００）用の自動運転車向け道路ナビゲーションモデルの少なくとも一部を生成してよい。例えば、自動運転車向け道路ナビゲーションモデルを生成する際に、プロセッサ２０２０は、共通の道路セグメント１２００に沿った車両軌跡を様々なクラスタにクラスタ化してよい。プロセッサ２０２０は、様々なクラスタの各々のクラスタ化された車両軌跡に基づいて、共通の道路セグメント１２００に沿った目標軌跡を決定してよい。そのような操作には、各クラスタにおいて、クラスタ化された車両軌跡の平均軌跡を（例えば、クラスタ化された車両軌跡を表すデータを平均化することにより）求める段階が含まれてよい。いくつかの実施形態において、目標軌跡は、共通の道路セグメント１２００の単一の車線に関連づけられてよい。

【0298】

道路モデルおよび／またはスパースマップは、道路セグメントに関連づけられた軌跡を格納してよい。これらの軌跡は、目標軌跡と呼ばれることがあり、自動ナビゲーションのために自動運転車に提供される。目標軌跡は、複数の車両から受信されてもよく、複数の車両から受信した実際の軌跡または推奨軌跡（一部の変更を伴った実際の軌跡）に基づいて生成されてもよい。道路モデルまたはスパースマップに含まれる目標軌跡は、他の車両から受信した新たな軌跡を用いて常に更新（例えば、平均化）されてよい。

【0299】

道路セグメントを走行する車両は、様々なセンサでデータを収集してよい。データは、ランドマーク、ロードシグネチャプロファイル、車両の動き（例えば、加速度計データ、速度データ）、車両位置（例えば、ＧＰＳデータ）を含んでよく、実際の軌跡そのものを再構築するか、またはデータをサーバに送信するかのいずれかであってもよく、サーバは実際の軌跡を車両用に再構築することになる。いくつかの実施形態において、車両は、軌跡（例えば、任意の基準フレームにおける曲線）に関連するデータ、ランドマークデータ、および走行経路に沿った車線指定をサーバ１２３０に送信してよい。同じ道路セグメントに沿って複数のドライブで走行する様々な車両が、別々の軌跡を有してよい。サーバ１２３０は、クラスタ化プロセスを通じて車両から受信した軌跡から、各車線に関連づけられたルートまたは軌跡を識別してよい。

【0300】

図２２は、共通の道路セグメント（例えば、道路セグメント１２００）の目標軌跡を決定するために、車両１２０５、１２１０、１２１５、１２２０、および１２２５に関連づけられた車両軌跡をクラスタ化するプロセスを示している。クラスタ化プロセスから決定される目標軌跡または複数の目標軌跡は、自動運転車向け道路ナビゲーションモデルまたはスパースマップ８００に含まれてよい。いくつかの実施形態において、道路セグメント１２００に沿って走行する車両１２０５、１２１０、１２１５、１２２０、および１２２５は、複数の軌跡２２００をサーバ１２３０に送信してよい。いくつかの実施形態において、サーバ１２３０は、車両１２０５、１２１０、１２１５、１２２０、および１２２５から受信したランドマーク、道路の幾何構造、および車両の動き情報に基づいて、軌跡を生成してよい。自動運転車向け道路ナビゲーションモデルを生成するために、サーバ１２３０は、図２２に示すように、車両軌跡１６００をクラスタ化して複数のクラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０にしてよい。

【0301】

クラスタ化は、様々な基準を用いて行われてよい。いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００に沿った絶対進行方向に関して類似していてよい。絶対進行方向は、車両１２０５、１２１０、１２１５、１２２０、および１２２５により受信されるＧＰＳ信号から取得されてよい。いくつかの実施形態において、絶対進行方向は推測航法を用いて取得されてよい。推測航法は、当業者であれば理解できるように、現在位置、したがって車両１２０５、１２１０、１２１５、１２２０、および１２２５の進行方向を、以前に決定された位置、推定速度などを用いて決定するのに用いられてよい。絶対進行方向によりクラスタ化された軌跡は、車道に沿ってルートを識別するのに役立ち得る。

【0302】

いくつかの実施形態では、クラスタに含まれる全てのドライブが、道路セグメント１２００のドライブに沿った車線指定（例えば、交差点の前後では同じ車線）に関して類似していてよい。車線指定によりクラスタ化された軌跡は、車道に沿って車線を識別するのに役立ち得る。いくつかの実施形態では、両方の基準（例えば、絶対進行方向および車線指定）がクラスタ化に用いられてよい。

【0303】

各クラスタ２２０５、２２１０、２２１５、２２２０、２２２５、および２２３０では、これらの軌跡を平均化して、特定のクラスタに関連づけられる目標軌跡を取得してよい。例えば、同じ車線クラスタに関連づけられた複数のドライブからの軌跡を平均化してよい。平均化された軌跡は、特定の車線に関連づけられた目標軌跡であってよい。あるクラスタの軌跡を平均化するために、サーバ１２３０は、任意の軌跡Ｃ０の基準フレームを選択してよい。全ての他の軌跡（Ｃ１、…、Ｃｎ）について、サーバ１２３０は、ＣｉをＣ０にマッピングするリジッド変換を求めてよい。ここで、ｉ＝１、２、…、ｎであり、ｎはクラスタに含まれる軌跡の総数に対応する正の整数である。サーバ１２３０は、Ｃ０基準フレームにおける平均曲線または軌跡を計算してよい。

【0304】

いくつかの実施形態において、ランドマークは、異なるドライブ間で一致する弧長を規定してよく、これは軌跡と車線とを揃えるのに用いられてよい。いくつかの実施形態では、交差点の前後の車線標示が、軌跡と車線とを揃えるのに用いられることがある。

【0305】

これらの軌跡から車線を編成するために、サーバ１２３０は、任意の車線の基準フレームを選択してよい。サーバ１２３０は、選択した基準フレームに、部分的に重なり合っている車線をマッピングしてよい。サーバ１２３０は、全ての車線が同じ基準フレームに入るまでマッピングを継続してよい。互いに隣り合う車線が、あたかも同じ車線であるかのように揃えられてよく、後にこれを横方向に移動させてよい。

【0306】

道路セグメントに沿って認識されたランドマークが、まず車線レベルで、次に交差点レベルで共通の基準フレームにマッピングされてよい。例えば、同じランドマークは、複数のドライブで複数の車両により複数回認識されることがある。異なるドライブで受信した同じランドマークに関するデータは、わずかに異なることがある。そのようなデータは、平均化されて、Ｃ０基準フレームなどの同じ基準フレームにマッピングされてよい。さらに、またはその代わりに、複数のドライブで受信した同じランドマークのデータの分散を計算してもよい。

【0307】

いくつかの実施形態において、道路セグメント１２０の各車線は、目標軌跡および特定のランドマークに関連づけられてよい。この目標軌跡または複数のそのような目標軌跡は、自動運転車向け道路ナビゲーションモデルに含まれてよく、同じ道路セグメント１２００に沿って走行する他の自動運転車によって後に用いられてよい。車両１２０５、１２１０、１２１５、１２２０、および１２２５が道路セグメント１２００に沿って走行している間に、これらの車両により識別されたランドマークが、目標軌跡と共に記録されてよい。目標軌跡およびランドマークのデータは、その後のドライブで他の車両から受信した新たなデータで常にまたは定期的に更新されてよい。

【0308】

自動運転車の位置特定のために、開示するシステムおよび方法は、拡張カルマンフィルタを用いてよい。車両の位置は、３次元位置データおよび／または３次元方位データ、エゴモーションの集積による車両の現在位置の前方の将来位置の予測に基づいて決定されてよい。車両の位置特定は、ランドマークの画像観測によって補正されても、調整されてもよい。例えば、車両がカメラにより取り込まれた画像内にあるランドマークを検出した場合、当該ランドマークは道路モデルまたはスパースマップ８００に格納された既知のランドマークと比較されてよい。既知のランドマークは、道路モデルおよび／またはスパースマップ８００に格納された目標軌跡に沿った既知の位置（例えば、ＧＰＳデータ）を有して得る。現在の速度およびランドマークの画像に基づいて、車両からランドマークまでの距離を推定することができる。目標軌跡に沿った車両の位置は、ランドマークまでの距離と（道路モデルまたはスパースマップ８００に格納されている）ランドマークの既知の位置とに基づいて調整されてよい。道路モデルおよび／またはスパースマップ８００に格納されたランドマークの位置／場所データ（例えば、複数のドライブからの平均値）は、正確であると仮定されてよい。

【0309】

いくつかの実施形態において、開示するシステムは閉ループサブシステムを形成してよく、このサブシステムでは、車両の６自由度（例えば、３次元位置データおよび３次元方位データ）の位置推定を用いて、所望の点（例えば、格納された点の１．３秒先）に到達できるように自動運転車をナビゲート（例えば、自動運転車のハンドルを操縦）してよい。次に、操縦および実際のナビゲーションから測定されたデータを用いて、６自由度の位置を推定してよい。

【0310】

いくつかの実施形態では、道路沿いのポール、例えば、街灯柱および送電線またはケーブル線の電柱が、車両の位置を特定するためのランドマークとして用いられることがある。交通標識、信号機、道路上の矢印、一時停止線といった他のランドマーク、および道路セグメント沿いの物体の静的な特徴または署名も、車両の位置を特定するためのランドマークとして用いられてよい。ポールを位置特定に用いる場合、ポールのｙ方向の観測（すなわち、ポールまでの距離）ではなくむしろ、ｘ方向の観測（すなわち、車両からの視野角）が用いられてよい。なぜならば、ポールの下部が遮られることがあり、場合によってはポールが道路面上にないからである。

【0311】

図２３は車両用ナビゲーションシステムを示しており、このシステムは、クラウドソーシングによるスパースマップを用いた自動ナビゲーションに用いられてよい。説明のために、車両は車両１２０５として参照される。図２３に示す車両は、本明細書に開示される任意の他の車両であってよく、例えば、車両１２１０、１２１５、１２２０、および１２２５、並びに他の実施形態に示す車両２００が含まれてよい。図１２に示すように、車両１２０５はサーバ１２３０と通信してよい。車両１２０５には、画像取り込みデバイス１２２（例えば、カメラ１２２）が含まれてよい。車両１２０５には、車両１２０５が道路（例えば、道路セグメント１２００）を走行するためのナビゲーションガイダンスを提供するように構成されたナビゲーションシステム２３００が含まれてよい。車両１２０５には、速度センサ２３２０および加速度計２３２５などの他のセンサも含まれてよい。速度センサ２３２０は、車両１２０５の速度を検出するように構成されてよい。加速度計２３２５は、車両１２０５の加速または減速を検出するように構成されてよい。図２３に示す車両１２０５は自動運転車であってよく、ナビゲーションシステム２３００は自動運転用のナビゲーションガイダンスを提供するのに用いられてよい。あるいは、車両１２０５は、非自律的で人が制御する車両であってもよく、ナビゲーションシステム２３００はそれでも、ナビゲーションガイダンスを提供するのに用いられてよい。

【0312】

ナビゲーションシステム２３００には、通信経路１２３５を介してサーバ１２３０と通信するように構成された通信ユニット２３０５が含まれてよい。ナビゲーションシステム２３００には、ＧＰＳ信号を受信して処理するように構成されたＧＰＳユニット２３１０も含まれてよい。ナビゲーションシステム２３００にはさらに、少なくとも１つのプロセッサ２３１５が含まれてよく、このプロセッサは、ＧＰＳ信号、スパースマップ８００からのマップデータ（このデータは、車両１２０５に搭載されたストレージデバイスに格納されてもよく且つ／またはサーバ１２３０から受信されてもよい）、道路プロファイルセンサ２３３０により検知された道路の幾何構造、カメラ１２２により取り込まれた画像、並びに／またはサーバ１２３０から受信した自動運転車向け道路ナビゲーションモデルなどのデータを処理するように構成される。道路プロファイルセンサ２３３０には、路面凹凸、道路幅、道路標高、道路曲率などといった異なるタイプの道路プロファイルを測定するための、異なるタイプのデバイスが含まれてよい。例えば、道路プロファイルセンサ２３３０には、道路凹凸プロファイルを得るために、車両２３０５のサスペンションの動きを測定するデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、車両１２０５から路側部（例えば、路側部の障壁）までの距離を測定するレーダーセンサが含まれてよく、これにより、道路の幅が測定される。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路の標高の上昇および下降を測定するように構成されたデバイスが含まれてよい。いくつかの実施形態において、道路プロファイルセンサ２３３０には、道路曲率を測定するように構成されたデバイスが含まれてよい。例えば、カメラ（例えば、カメラ１２２または別のカメラ）を用いて、道路曲率を示す道路の画像を取り込んでもよい。車両１２０５は、そのような画像を用いて、道路曲率を検出してよい。

【0313】

少なくとも１つのプロセッサ２３１５は、車両１２０５に関連する少なくとも１つの環境画像をカメラ１２２から受信するようにプログラムされてよい。少なくとも１つのプロセッサ２３１５は、少なくとも１つの環境画像を分析して、車両１２０５に関連するナビゲーション情報を特定してよい。ナビゲーション情報には、道路セグメント１２００に沿った車両１２０５の走行に関連する軌跡が含まれてよい。少なくとも１つのプロセッサ２３１５は、カメラ１２２（したがって車両）の動き、例えば、３次元並進運動および３次元回転運動などに基づいて軌跡を決定してよい。いくつかの実施形態において、少なくとも１つのプロセッサ２３１５は、カメラ１２２が取得した複数の画像の分析に基づいて、カメラ１２２の並進運動および回転運動を特定してよい。いくつかの実施形態において、ナビゲーション情報には、車線指定情報（例えば、車両１２０５が道路セグメント１２００に沿ってどの車線を走行するか）が含まれてよい。車両１２０５からサーバ１２３０に送信されるナビゲーション情報は、サーバ１２３０が自動運転車向け道路ナビゲーションモデルを生成する且つ／または更新するのに用いられてよく、この情報は、自動ナビゲーションガイダンスを車両１２０５に提供するために、あらためてサーバ１２３０から車両１２０５に送信されてよい。

【0314】

少なくとも１つのプロセッサ２３１５は、車両１２０５からサーバ１２３０にナビゲーション情報を送信するようにもプログラムされてよい。いくつかの実施形態において、ナビゲーション情報は、道路情報と共にサーバ１２３０に送信されてよい。道路位置情報には、ＧＰＳユニット２３１０が受信するＧＰＳ信号、ランドマーク情報、道路の幾何構造、車線情報などのうちの少なくとも１つが含まれてよい。少なくとも１つのプロセッサ２３１５は、自動運転車向け道路ナビゲーションモデルまたはそのモデルの一部をサーバ１２３０から受信してよい。サーバ１２３０から受信する自動運転車向け道路ナビゲーションモデルには、車両１２０５からサーバ１２３０に送信されたナビゲーション情報に基づく少なくとも１つの更新が含まれてよい。サーバ１２３０から車両１２０５に送信されるモデルの一部には、モデルの更新部分が含まれてよい。少なくとも１つのプロセッサ２３１５は、受信した自動運転車向け道路ナビゲーションモデルまたはモデルの更新部分に基づいた、車両１２０５による少なくとも１つのナビゲーション操作（例えば、旋回を行う、ブレーキをかける、加速する、別の車両を追い越すなどといった操縦）を発生させてよい。

【0315】

少なくとも１つのプロセッサ２３１５は、車両１２０５に含まれる様々なセンサおよび構成要素と通信するように構成されてよく、そのようなセンサおよび構成要素には、通信ユニット１７０５、ＧＰＳユニット２３１５、カメラ１２２、速度センサ２３２０、加速度計２３２５、および道路プロファイルセンサ２３３０が含まれる。少なくとも１つのプロセッサ２３１５は、様々なセンサおよび構成要素から情報またはデータを収集して、その情報またはデータをサーバ１２３０に通信ユニット２３０５を介して送信してよい。その代わりに、またはそれに加えて、車両１２０５の様々なセンサまたは構成要素も、サーバ１２３０と通信して、センサまたは構成要素が収集したデータまたは情報をサーバ１２３０に送信してよい。

【0316】

いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は互いに通信してよく、ナビゲーション情報を互いに共有してよい。これにより、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つが、クラウドソーシングを用いて、例えば、他の車両により共有された情報に基づいて、自動運転車向け道路ナビゲーションモデルを生成してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５は、互いにナビゲーション情報を共有してよく、各車両は各車両に提供された自車の自動運転車向け道路ナビゲーションモデルを更新してよい。いくつかの実施形態において、車両１２０５、１２１０、１２１５、１２２０、および１２２５のうちの少なくとも１つ（例えば、車両１２０５）が、ハブ車両として機能してよい。ハブ車両（例えば、車両１２０５）の少なくとも１つのプロセッサ２３１５は、サーバ１２３０により行われる機能の一部または全部を果たしてよい。例えば、ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両と通信して、他の車両からナビゲーション情報を受信してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、他の車両から受信した共有情報に基づいて、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を生成してよい。ハブ車両の少なくとも１つのプロセッサ２３１５は、自動ナビゲーションガイダンスを提供するために、自動運転車向け道路ナビゲーションモデルまたはモデルの更新を他の車両に送信してよい。

【0317】

［スパースマップに基づくナビゲーション］

【0318】

前述したように、スパースマップ８００を含む自動運転車向け道路ナビゲーションモデルには、道路セグメントに関連づけられた、複数のマッピングされた車線標示、および、複数のマッピングされた物体／特徴が含まれてよい。以下でより詳細に論じるように、これらのマッピングされた車線標示、物体および特徴は、自動運転車がナビゲートするときに用いられてよい。例えば、いくつかの実施形態において、マッピングされた物体および特徴は、マップに対して（例えば、マッピングされた目標軌跡に対して）ホスト車両の位置を特定するのに用いられてよい。マッピングされた車線標示は、計画された軌跡又は目標軌跡に対する横方向位置および／または方位を決定するのに、（例えばチェックとして）用いられてよい。この位置情報を用いて、自動運転車は、決定位置において、目標軌跡の方向と一致するように進行方向を調整することが可能になり得る。

【0319】

車両２００は、所与の道路セグメントにおいて車線標示を検出するように構成されてよい。道路セグメントには、車道の車両交通を誘導するための、道路上のあらゆる標示が含まれてよい。例えば、車線標示は、走行車線のエッジを画定する実線または破線であってよい。車線標示には、例えば、隣接車線で追い越しが許可されているかどうかを示す、二重実線、二重破線、または実線と破線との組み合わせなどの二重線も含まれてよい。車線標示には、高速道路の入口および出口の標示も含まれてよく、この標示は、例えば、出口ランプ用の減速車線、または車線が旋回専用であること、もしくは車線が終了することを示す点線を示している。これらの標示はさらに、作業区間、一時的な車線移動、交差点を通り抜ける経路、中央分離帯、専用車線（例えば、自転車専用車線、ＨＯＶ車線など）、または他の様々な標示（例えば、横断歩道、車両減速用ハンプ、踏切、一時停止線など）を示してよい。

【0320】

車両２００は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４などのカメラを用いて、周辺の車線標示の画像を取り込んでよい。車両２００は、これらの画像を分析して、取り込まれた画像のうちの１つまたは複数で識別された特徴に基づいて、車線標示に関連する点の位置を検出してよい。これらの点の位置は、スパースマップ８００に車線標示を表すために、サーバにアップロードされてよい。カメラの位置および視野に応じて、単一の画像から車両の両側の車線標示が同時に検出されることがある。他の実施形態では、車両の複数の面に取り付けた様々なカメラを用いて、画像を取り込むことがある。車線標示の実画像をアップロードするのではなくむしろ、これらの標示は、スプラインまたは一連の点としてスパースマップ８００に格納されてよく、したがって、車両が遠隔にアップロードする必要があるスパースマップ８００および／またはデータのサイズが削減される。

【0321】

図２４Ａ～図２４Ｄは、車両２００により検出され得る、特定の車線標示を表すための例示的な点の位置を示している。上述したランドマークと同様に、車両２００は様々な画像認識アルゴリズムまたはソフトウェアを用いて、取り込まれた画像内の点の位置を識別してよい。例えば、車両２００は、特定の車線標示に関連づけられる一連のエッジ点、コーナー点、または様々な他の点の位置を認識してよい。図２４Ａは、車両２００により検出され得る実線車線標示２４１０を示している。車線標示２４１０は、車道の外側エッジを表し、実線の白線で表されてよい。図２４Ａに示すように、車両２００は、車線標示に沿った複数のエッジ位置点２４１１を検出するように構成されてよい。これらの位置点２４１１は、スパースマップにおいてマッピングされた車線標示を作成するのに十分な任意の間隔で車線標示を表すように収集されてよい。例えば、車線標示は、検出されたエッジの１メートルごとに１つの点、検出されたエッジの５メートルごとに１つの点、または他の好適な間隔で表されてよい。いくつかの実施形態において、この間隔は、例えば、車両２００が検出点の位置に関する最高信頼度ランキングを有する点に基づくなどの所定の間隔ではなくむしろ、他の要因で決定されてもよい。図２４Ａは、車線標示２４１０の内側エッジ上のエッジ位置点を示しているが、点は線の外側エッジ上で、または両方のエッジに沿って収集されてもよい。さらに、図２４Ａには１つの線が示されているが、二重実線についても同様のエッジ点が検出されてよい。例えば、点２４１１が実線の一方または両方のエッジに沿って検出されてよい。

【0322】

車両２００は、車線標示のタイプまたは形状に応じて、車線標示も違うように表してよい。図２４Ｂは、車両２００により検出され得る例示的な破線車線標示２４２０を示している。図２４Ａにあるようにエッジ点を識別するのではなくむしろ、車両は、破線の全境界を画定する車線破線のコーナーを表す一連のコーナー点２４２１を検出してよい。図２４Ｂは、所与の破線標示の各コーナーが位置特定されていることを示しているが、車両２００は、図に示すこれらの点のサブセットを検出しても、アップロードしてもよい。例えば、車両２００は、所与の破線標示の先頭エッジまたは先頭コーナーを検出してもよく、車線の内側に最も近い２つのコーナー点を検出してもよい。さらに、全ての破線標示を取り込まなくてもよく、例えば、車両２００は、破線標示のサンプル（例えば、１つおき、３つごと、５つごとなど）を表す点、または所定の間隔（例えば、１メートルごと、５メートルごと、１０メートルごとなど）で破線標示を表す点を取り込む且つ／または記録してよい。同様な車線標示、例えば、ある車線が出口ランプ用であること、特定の車線が終了することを示す標示、または検出可能なコーナー点を有し得る他の様々な車線標示についても、コーナー点が検出されてよい。二重破線または実線と破線との組み合わせで構成される車線標示についても、コーナー点が検出されてよい。

【0323】

いくつかの実施形態において、マッピングされた車線標示を生成するためにサーバにアップロードされた点は、検出されたエッジ点またはコーナー点のほかに他の点を表してよい。図２４Ｃは、所与の車線標示の中心線を表し得る一連の点を示している。例えば、実線車線２４１０は、車線標示の中心線２４４０に沿った中心線点２４４１で表されてよい。いくつかの実施形態において、車両２００は、これらの中心点を様々な画像認識手法を用いて検出するように構成されてよく、そのような手法には、畳み込みニューラルネットワーク（ＣＮＮ）、スケール不変特徴変換（ＳＩＦＴ）、勾配方向ヒストグラム（ＨＯＧ）特徴、または他の手法などがある。あるいは、車両２００は、図２４Ａに示すエッジ点２４１１などの他の点を検出してよく、また、例えば、各エッジに沿った点を検出してエッジ点間の中点を求めることにより、中心線点２４４１を計算してよい。同様に、破線車線標示２４２０は、車線標示の中心線２４５０に沿った中心線点２４５１で表されてよい。中心線点は、図２４Ｃに示すように破線のエッジに配置されても、中心線に沿った様々な他の場所に配置されてもよい。例えば、各破線は、破線の幾何中心に１つの点で表されてよい。各点は、中心線に沿って所定の間隔を空けて配置されてもよい（例えば、１メートルごと、５メートルごと、１０メートルごとなど）。中心線点２４５１は、車両２００により直接的に検出されてもよく、図２４Ｂに示すように、コーナー点２４２１などの他の検出された基準点に基づいて計算されてもよい。上記と同様の手法を用いて、二重線などの他の車線標示タイプを表すのにも中心線が用いられてよい。

【0324】

いくつかの実施形態において、車両２００は、２つの交差する車線標示間の交点などの、他の特徴を表している点を識別してよい。図２４Ｄは、２つの車線標示２４６０と２４６５との交差点を表す例示的な点を示している。車両２００は、２つの車線標示間の交差点を表している交点２４６６を計算してよい。例えば、車線標示２４６０または２４６５のうちの一方が、道路セグメント内の列車の交差領域または他の交差領域を表してよい。車線標示２４６０および２４６５は互いに垂直に交差しているように示されているが、様々な他の構成が検出されてもよい。例えば、車線標示２４６０および２４６５は他の角度で交差してもよく、これらの車線標示の一方または両方が交点２４６６で終了してもよい。同様の手法が、破線または他の車線標示タイプ同士の交差点にも適用されてよい。交点２４６６に加えて、車線標示２４６０および２４６５の方位に関するさらなる情報を提供する様々な他の点２４６７も検出されてよい。

【0325】

車両２００は、実際の座標を車線標示の各々の検出点に関連づけてよい。例えば、各点の座標を含む位置識別子を生成して、車線標示をマッピングするためにサーバにアップロードしてよい。位置識別子はさらに、これらの点がコーナー点を表すのか、エッジ点を表すのか、中心点を表すのかなどを含む、これらの点に関する他の識別情報を含んでよい。したがって、車両２００は、画像の分析に基づいて、各点の実際の位置を決定するように構成されてよい。例えば、車両２００は、上述した様々なランドマークなどの画像内の他の特徴を検出して、車線標示の実際の位置を特定してよい。これには、検出されたランドマークに対する画像内の車線標示の位置を決定すること、または検出されたランドマークに基づいて車両の位置を決定し、次いで車両（または車両の目標軌跡）から車線標示までの距離を決定することが含まれてよい。ランドマークが利用できない場合、車線標示点の位置は、推測航法に基づいて決定された車両の位置に対して決定されてよい。位置識別子に含まれる実際の座標は、絶対座標（例えば、緯度／経度による座標）として表されてもよく、目標軌跡に沿った縦方向位置と目標軌跡からの横方向距離とに基づくなどの、他の特徴に関連してもよい。位置識別子は次に、ナビゲーションモデル（スパースマップ８００など）においてマッピングされた車線標示を生成するために、サーバにアップロードされてよい。いくつかの実施形態において、サーバは、道路セグメントの車線標示を表すスプラインを構築してよい。あるいは、車両２００はスプラインを生成して、このスプラインがナビゲーションモデルに記録されるように、サーバにアップロードしてよい。

【0326】

図２４Ｅは、マッピングされた車線標示を含む対応する道路セグメントの例示的なナビゲーションモデルまたはスパースマップを示している。スパースマップは、車両が道路セグメントに沿って進むための目標軌跡２４７５を含んでよい。上述したように、目標軌跡２４７５は、車両が対応する道路セグメントを走行するときに通る理想的な経路を表してもよく、道路上の他の箇所（例えば、道路の中心線など）に位置してもよい。目標軌跡２４７５は、例えば、同じ道路セグメントを通行する車両の２つまたはそれより多くの再構築された軌跡の集合体（例えば、重みづけした組み合わせ）に基づいて、上述した様々な方法で計算されてよい。

【0327】

いくつかの実施形態において、目標軌跡は、全ての車両タイプおよび全ての道路、車両、並びに／または環境状態に対して等しく生成されてよい。しかしながら、他の実施形態では、様々な他の要因または変数も、目標軌跡を生成する際に考慮されてよい。異なるタイプの車両（例えば、自家用車、軽トラック、およびフルトレーラ）には異なる目標軌跡が生成されてよい。例えば、比較的小さい旋回半径を有する目標軌跡が、大型のセミトレーラートラックではなく、小型の自家用車用に生成されてよい。いくつかの実施形態では、道路、車両、および環境状態も考慮されてよい。例えば、異なる道路状態（例えば、ぬれている、雪が積もっている、凍結している、乾いているなど）、車両状態（例えば、タイヤ状態または推定したタイヤ状態、ブレーキ状態または推定したブレーキ状態、燃料の残量など）、または環境要因（例えば、時刻、視認性、天候など）に対して異なる目標軌跡が生成されてよい。目標軌跡は、特定の道路セグメントの１つまたは複数の態様または特徴（例えば、制限速度、旋回の頻度およびサイズ、勾配など）にも依存してよい。いくつかの実施形態において、設定運転モード（例えば、所望の運転積極性、エコノミーモードなど）などの様々なユーザ設定も、目標軌跡を決定するのに用いられてよい。

【0328】

スパースマップは、道路セグメントに沿った車線標示を表すマッピングされた車線標示２４７０および２４８０も含んでよい。マッピングされた車線標示は、複数の位置識別子２４７１および２４８１で表されてよい。上述したように、位置識別子は、検出された車線標示に関連づけられた点の実際の座標における位置を含んでよい。モデル内の目標軌跡と同様に、車線標示も標高データを含んでよく、３次元空間の曲線として表されてよい。例えば、この曲線は、好適な次数の３次元多項式を接続したスプラインであってよく、この曲線は位置識別子に基づいて計算されてよい。マッピングされた車線標示も、車線標示のタイプ（例えば、同じ走行方向の２つの車線間、反対の走行方向の２つの車線間、車道のエッジなど）の識別子、および／または車線標示の他の特性（例えば、実線、破線、１つの線、二重線、黄色線、白線など）などの、車線標示に関する他の情報またはメタデータを含んでよい。いくつかの実施形態において、マッピングされた車線標示は、例えば、クラウドソーシング手法を用いて、モデル内で常に更新されてよい。同じ車両は、同じ道路セグメントを走行するという複数の機会において位置識別子をアップロードしてもよく、道路セグメントを異なる時間に走行する複数の車両（１２０５、１２１０、１２１５、１２２０、および１２２５など）からデータが選択されてもよい。スパースマップ８００は次に、車両から受信され且つシステムに格納される、その後の位置識別子に基づいて更新されても、微調整されてもよい。マッピングされた車線標示が更新され、微調整されると、更新された道路ナビゲーションモデルおよび／またはスパースマップは、複数の自動運転車に配信されてよい。

【0329】

スパースマップにおけるマッピングされた車線標示の生成には、画像または実際の車線標示そのものに含まれる異常に基づいた誤りの検出および／または軽減も含まれてよい。図２４Ｆは、車線標示２４９０の検出に関連した例示的な異常２４９５を示している。異常２４９５は、例えば、車線標示に関するカメラの視界を遮る物体、レンズに付着したゴミなどによって、車両２００により取り込まれた画像に現れることがある。場合によっては、異常が車線標示そのものに起因していることがあり、車線標示が傷んでいるもしくは摩耗している、または、例えば、土、ゴミ、水、雪、もしくは道路上の他の物質で部分的に覆われている場合がある。異常２４９５によって、間違った点２４９１が車両２００により検出されることになり得る。スパースマップ８００は、マッピングされた車線標示を補正し、誤りを排除してよい。いくつかの実施形態において、車両２００は、例えば、画像内の異常２４９５を検出することで、または異常の前後で検出された車線標示点に基づいて誤りを識別することで、間違った点２４９１を検出してよい。異常の検出に基づいて、車両は、点２４９１を除外してもよく、この点を他の検出点に従うように調整してもよい。他の実施形態では、この点がアップロードされた後に、例えば、同じ移動中にアップロードされた他の点に基づいて、または同じ道路セグメントに沿った以前の移動からのデータの集合体に基づいて、この点が予期される閾値から外れていると判定することにより、誤りを補正してよい。

【0330】

ナビゲーションモデルおよび／またはスパースマップにおいてマッピングされた車線標示は、対応する車道を通行する自動運転車によるナビゲーションにも用いられてよい。例えば、目標軌跡に沿ってナビゲートする車両が、スパースマップにおけるマッピングされた車線標示を定期的に用いて、この車線標示そのものを目標軌跡と揃えてよい。上述したように、ランドマーク間では、車両は推測航法に基づいてナビゲートすることができ、推測航法では、車両がセンサを用いて自車のエゴモーションを特定し、目標軌跡に対する自車の位置を推定する。誤差が時間の経過と共に累積され得るため、目標軌跡に対する車両の位置決定の精度が次第に低くなることがある。したがって、車両はスパースマップ８００に存在する車線標示（および、その既知の位置）を用いて、位置決定での推測航法による誤差を低減することができる。このように、スパースマップ８００に含まれる識別された車線標示は、目標軌跡に対する車両の正確な位置を決定し得るナビゲーションの要としての役割を果たすことができる。

【0331】

図２５Ａは、マッピングされた車線標示に基づく、ナビゲーションに用いられ得る、車両の周辺環境の例示的な画像２５００を示している。画像２５００は、例えば、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介して車両２００により取り込まれてよい。画像２５００には、図２５Ａに示すように、少なくとも１つの車線標示２５１０の画像が含まれてよい。画像２５００には、上述したナビゲーションに用いられる道路標識などの、１つまたは複数のランドマーク２５２１も含まれてよい。取り込まれた画像２５００には現れないが、車両２００により検出される且つ／または特定される要素２５１１、２５３０、および２５２０などの図２５Ａに示す一部の要素も、参照のために示されている。

【0332】

図２４Ａ～図２４Ｄおよび図２４Ｆに関して上述した様々な手法を用いて、車両が画像２５００を分析し、車線標示２５１０を識別してよい。画像内の車線標示の特徴に対応する様々な点２５１１が、検出されてよい。例えば、点２５１１は、車線標示のエッジ、車線標示のコーナー、車線標示の中点、２つの交差する車線標示同士の交点、または様々な他の特徴または位置に対応してよい。サーバから受信したナビゲーションモデルに格納された点の位置に対応する点２５１１が検出されてよい。例えば、マッピングされた車線標示の中心線を表す点を含むスパースマップが受信された場合、点２５１１も、車線標示２５１０の中心線に基づいて検出されてよい。

【0333】

車両は、要素２５２０で表され且つ目標軌跡に沿って位置する縦方向位置も決定してよい。縦方向位置２５２０は、例えば、画像２５００内のランドマーク２５２１を検出して、測定した位置と道路モデルまたはスパースマップ８００に格納された既知のランドマークの位置とを比較することにより、画像２５００から決定されてよい。目標軌跡に沿った車両の位置は次に、ランドマークまでの距離とランドマークの既知の位置とに基づいて決定されてよい。縦方向位置２５２０は、車線標示の位置を決定するのに用いられる画像以外の画像からも決定されてよい。例えば、縦方向位置２５２０は、画像取得ユニット１２０内の他のカメラから同時にまたはほぼ同時に画像２５００を撮った画像に含まれるランドマークを検出することによって決定されてよい。場合によっては、車両は、縦方向位置２５２０を決定するための、いかなるランドマークの近くにも、他の基準点の近くにもいないことがある。そのような場合、車両は推測航法に基づいてナビゲートしてよく、したがって、センサを用いて自車のエゴモーションを特定し、目標軌跡に対する縦方向位置２５２０を推定してよい。車両は、車両と、１つまたは複数の取り込まれた画像内で観測される車線標示２５１０との間の実際の距離を表す距離２５３０も決定してよい。カメラアングル、車両の速度、車両の幅、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。

【0334】

図２５Ｂは、道路ナビゲーションモデルにおけるマッピングされた車線標示に基づく、車両の横方向位置特定の補正を示している。上述したように、車両２００は、車両２００により取り込まれた１つまたは複数の画像を用いて、車両２００と車線標示２５１０との間の距離２５３０を決定してよい。車両２００は、マッピングされた車線標示２５５０および目標軌跡２５５５を含み得るスパースマップ８００などの道路ナビゲーションモデルにもアクセスできてよい。マッピングされた車線標示２５５０は、上述した手法を用いてモデル化されてよく、例えば、複数の車両により取り込まれたクラウドソーシングによる位置識別子を用いる。目標軌跡２５５５は、上述した様々な手法を用いて生成されてもよい。車両２００は、図２５Ａに関して上述したように、目標軌跡２５５５に沿った縦方向位置２５２０も決定または推定してよい。車両２００は次に、目標軌跡２５５５と、縦方向位置２５２０に対応するマッピングされた車線標示２５５０との間の横方向距離に基づいて、予期される距離２５４０を決定してよい。車両２００の横方向位置特定は、１つまたは複数の取り込まれた画像を用いて測定された実際の距離２５３０と、モデルからの予期される距離２５４０とを比較することにより、補正されても調整されてもよい。

【0335】

図２５Ｃおよび２５Ｄは、ナビゲーション中にスパースマップにおけるマッピングされたランドマーク／物体／特徴に基づいてホスト車両の位置を特定する別の例に関連する図を提供する。図２５Ｃは、道路セグメント２５６０に沿ってナビゲートしている車両から取り込まれた一連の画像を概念的に表す。この例では、道路セグメント２５６０は、道路エッジ２５６１および２５６２ならびに中央車線標示２５６３によって記述された、２車線に分割されている高速道路の直線部分を含む。示されるように、ホスト車両は、マッピングされた目標軌跡２５６５に関連する車線２５６４に沿ってナビゲートしている。したがって、理想的な状況（且つ、車道に対象車両または物体が存在することなどのインフルエンサがない場合）において、ホスト車両は、道路セグメント２５６０の車線２５６４に沿ってナビゲートするので、マッピングされた目標軌跡２５６５を近くで追跡するべきである。現実では、ホスト車両は、マッピングされた目標軌跡２５６５に沿ってナビゲートするので、ドリフトを経験してもよい。効果的且つ安全なナビゲーションのために、このドリフトは、許容限界の範囲内（例えば、目標軌跡２５６５から＋／－１０ｃｍの横方向変位、または、任意の他の好適な閾値）で維持されるべきである。定期的にドリフトを考慮に入れ、且つ、必要とされる任意のコース補正を行って、ホスト車両が目標軌跡２５６５を進むことを確保するべく、開示されるナビゲーションシステムは、スパースマップに含まれる１つまたは複数のマッピングされた特徴／物体を使用して、目標軌跡２５６５に沿うホスト車両の位置を特定すること（例えば、目標軌跡２５６５に関連するホスト車両の横方向および縦方向位置を特定すること）が可能であってもよい。

【0336】

簡単な例として、図２５Ｃは、ホスト車両が道路セグメント２５６０に沿ってナビゲートするに連れて順次に取り込まれた５つの様々な画像に現れ得るような制限速度標識２５６６を示す。例えば、第１の時間、ｔ_０において、標識２５６６は、取り込まれた画像において、水平線の近くに現れ得る。ホスト車両が標識２５６６に近づくので、その後の時間ｔ_１、ｔ_２、ｔ_３およびｔ_４で取り込まれた画像では、標識２５６６は取り込まれた画像の異なる２Ｄ Ｘ－Ｙ画素位置に現れるであろう。例えば、取り込まれた画像空間において、標識２５６６は、下方へ、且つ、カーブ２５６７（例えば、５つの取り込まれた画像フレームの各々において、標識の中心を通って延びるカーブ）に沿って右へ移動するであろう。標識２５６６は、ホスト車両が近づくに連れてサイズが大きくなるようにも見えるであろう（すなわち、次に取り込まれた画像において多数の画素を占有するであろう）。

【0337】

標識２５６６のような物体の画像空間表現におけるこれらの変化は、目標軌跡に沿う位置を特定されたホスト車両の位置を決定するのに活用されてもよい。例えば、本開示で説明されるように、標識２５６６のようなセマンティックな特徴や、検出可能且つ非セマンティックな特徴などの、任意の検出可能な物体または特徴が、以前に道路セグメント（例えば道路セグメント２５６０）を行き来した１つまたは複数の収集車両によって識別されてもよい。マッピングサーバが、複数の車両から収集されたドライブ情報を収集し、その情報を集約して関連づけ、且つ、例えば道路セグメント２５６０の車線２５６４用の目標軌跡２５６５を含むスパースマップを生成してもよい。スパースマップはまた、標識２５６６の位置も（タイプ情報などと共に）格納してよい。ナビゲーション中に（例えば道路セグメント２５６０に入る前に）、ホスト車両は、道路セグメント２５６０用のスパースマップを含むマップタイルを供給されてもよい。道路セグメント２５６０の車線２５６４においてナビゲートするべく、ホスト車両は、マッピングされた目標軌跡２５６５を進んでもよい。

【0338】

標識２５６６のマッピングされた表現は、ホスト車両によって、目標軌跡に関連する、それ自身の位置を特定するのに使用されてもよい。例えば、ホスト車両上のカメラが、ホスト車両の環境の画像２５７０を取り込むこととなり、その取り込まれた画像２５７０は、図２５Ｄに示されるように、特定のサイズおよび特定のＸ－Ｙ画像位置を有する標識２５６６の画像表現を含んでもよい。このサイズおよびＸ－Ｙ画像位置は、目標軌跡２５６５に関連するホスト車両の位置を特定するのに使用されることができる。例えば、標識２５６６の表現を含むスパースマップに基づいて、ホスト車両のナビゲーションプロセッサは、ホスト車両が目標軌跡２５６５に沿って走行していることに応答して、取り込まれた画像において、標識２５６６の中心がライン２５６７に沿って（画像空間内で）移動するように標識２５６６の表現が見えるべきであると決定することができる。画像２５７０などの取り込まれた画像が、ライン２５６７（例えば予期されている画像空間軌跡）からずらされた中心（または他の基準点）を示しているならば、次に、ホスト車両ナビゲーションシステムは、取り込まれた画像の時間において、目標軌跡２５６５上に配置されていなかったと決定することができる。しかしながら、ナビゲーションプロセッサは、画像から、ホスト車両を目標軌跡２５６５に戻すのに適切なナビゲーション補正を決定することができる。例えば、画像においてライン２５６７上の予期されている画像空間位置の左へと距離２５７２だけずらされている標識２５６６の画像位置が分析結果に示されているならば、ナビゲーションプロセッサは次に、ホスト車両に進行変更をさせて（例えばハンドルのステアリング角を変更させて）、ホスト車両を距離２５７３だけ左に移動させてもよい。このように、各々の取り込まれた画像は、フィードバックループプロセスの一部として使用されることができ、その結果、標識２５６６の観測された画像位置と予期されている画像軌跡２５６７との間の差異が最小限に抑えられて、ホスト車両がほとんど逸脱することなく目標軌跡２５６５に沿い続けることを確保してもよい。当然ながら、利用できるマッピングされた物体が多ければ多いほど、説明された位置特定手法はより頻繁に使用され得、これは、目標軌跡２５６５からのドリフトによる逸脱を低減または解消することができる。

【0339】

上述した処理は、目標軌跡に関連するホスト車両の横方向の方位または変位を検出するのに有用かもしれない。目標軌跡２５６５に関連するホスト車両の位置特定はまた、目標軌跡に沿う対象車両の縦方向位置の判定も含んでよい。例えば、取り込まれた画像２５７０は、特定の画像サイズ（例えば、２Ｄ Ｘ－Ｙ画素領域）を有するような標識２５６６の表現を含む。ライン２５６７に沿う画像空間を通って走行するので（例えば、図２５Ｃに示されるように、標識のサイズは漸進的に増加するので）、このサイズは、マッピングされた標識２５６６の予期されている画像サイズと比べられることができる。画像２５７０における標識２５６６の画像サイズに基づいて、且つ、マッピングされた目標軌跡２５６５に関連する画像空間中の予期されているサイズプログレッションに基づいて、ホスト車両は、（画像２５７０が取り込まれた時間の）目標軌跡２５６５に対する縦方向位置を特定することができる。この、目標軌跡２５６５に対する任意の横方向変位と結合される縦方向位置は、上述した通り、ホスト車両が道路２５６０に沿ってナビゲートするので、目標軌跡２５６５に関連するホスト車両の全位置特定を可能にする。

【0340】

図２５Ｃおよび２５Ｄは、１つのマッピングされた物体および１つの目標軌跡を使用する、開示される位置特定手法の単なる一例を提供する。他の例では、ずっとより多くの目標軌跡（例えば、複数車線高速道路、都市街路、複雑な交差点などの、各々の実現可能な車線ごとに１つの目標軌跡）が存在してもよく、且つ、ずっとより多くの、位置特定に利用できるマッピングされたものが存在してもよい。例えば、都市環境を表すスパースマップは、１メートルごとに、位置特定に利用できる多数の目的を含んでもよい。

【0341】

図２６Ａは、開示する実施形態と矛盾しない、自動運転車ナビゲーションに用いるための車線標示をマッピングする例示的なプロセス２６００Ａを示すフローチャートである。段階２６１０において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子を受信する段階を含んでよい。例えば、段階２６１０は、サーバ１２３０またはサーバに関連づけられた１つまたは複数のプロセッサにより行われてよい。位置識別子には、図２４Ｅに関して上述したように、検出された車線標示に関連づけられた点の実際の座標における位置が含まれてよい。いくつかの実施形態において、位置識別子は道路セグメントまたは車線標示に関する追加の情報などの、他のデータも含まれてよい。追加のデータ、例えば、加速度計データ、速度データ、ランドマークデータ、道路の幾何構造もしくはプロファイルデータ、車両測位データ、エゴモーションデータ、または上述した様々な他の形式のデータも、段階２６１０で受信されてよい。位置識別子は、車両１２０５、１２１０、１２１５、１２２０、および１２２５などの車両により、この車両が取り込んだ画像に基づいて生成されてよい。例えば、識別子は、ホスト車両に関連づけられたカメラからの、ホスト車両の環境を表す少なくとも１つの画像の取得と、ホスト車両の環境に含まれる車線標示を検出するための少なくとも１つの画像の分析と、ホスト車両に関連づけられた位置に対する検出された車線標示の位置を決定するための少なくとも１つの画像の分析とに基づいて決定されてよい。上述したように、車線標示には様々な異なる標示タイプが含まれてよく、位置識別子は車線標示に関連する様々な点に対応してよい。例えば、検出された車線標示が車線境界を表す破線標示の一部である場合、これらの点は、検出された車線標示のコーナーに対応してよい。検出された車線標示が車線境界を表す実線標示の一部である場合、これらの点は、上述した様々な間隔で検出された車線標示のエッジに対応してよい。いくつかの実施形態において、これらの点は、図２４Ｃに示すように、検出された車線標示の中心線に対応してもよく、図２４Ｄに示すように、２つの交差する車線標示同士の交点と、交差する車線標示に関連づけられた少なくとも一方の他の２つの点とに対応してもよい。

【0342】

段階２６１２において、プロセス２６００Ａは、検出された車線標示を、対応する道路セグメントに関連づける段階を含んでよい。例えば、サーバ１２３０は、段階２６１０で受信した実際の座標または他の情報を分析し、この座標または他の情報と、自動運転車向け道路ナビゲーションモデルに格納された位置情報とを比較してよい。サーバ１２３０は、車線標示が検出された実際の道路セグメントに対応するモデルにおいて、道路セグメントを決定してよい。

【0343】

段階２６１４において、プロセス２６００Ａは、検出された車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、対応する道路セグメントに関連する自動運転車向け道路ナビゲーションモデルを更新する段階を含んでよい。例えば、自動道路ナビゲーションモデルはスパースマップ８００であってよく、サーバ１２３０は、スパースマップを更新して、マッピングされた車線標示をモデルに含めても、これを調整してもよい。サーバ１２３０は、図２４Ｅに関して上述した様々な方法またはプロセスに基づいてモデルを更新してよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルを更新する段階には、検出された車線標示の実際の座標における位置の１つまたは複数の指標を格納することが含まれてよい。自動運転車向け道路ナビゲーションモデルには、図２４Ｅに示すように、車両が対応する道路セグメントに沿って進むための少なくとも１つの目標軌跡も含まれてよい。

【0344】

段階２６１６において、プロセス２６００Ａは、更新した自動運転車向け道路ナビゲーションモデルを複数の自動運転車に配信する段階を含んでよい。例えば、サーバ１２３０は、更新した自動運転車向け道路ナビゲーションモデルを、ナビゲーションのためにこのモデルを用い得る車両１２０５、１２１０、１２１５、１２２０、および１２２５に配信してよい。自動運転車向け道路ナビゲーションモデルは、図１２に示すように、１つまたは複数のネットワークを介し（例えば、セルラネットワークおよび／またはインターネットなどを使い）、無線通信経路１２３５を通じて配信されてよい。

【0345】

いくつかの実施形態において、車線標示は、図２４Ｅに関して上述したように、クラウドソーシング手法などで複数の車両から受信したデータを用いてマッピングされてよい。例えば、プロセス２６００Ａは、検出された車線標示に関連づけられた位置識別子を含む第１通信を第１ホスト車両から受信する段階と、検出された車線標示に関連づけられた追加の位置識別子を含む第２通信を第２ホスト車両から受信する段階とを含んでよい。例えば、第２通信は同じ道路セグメントを走行するその後の車両から受信されても、同じ道路セグメントに沿ったその後の移動で同じ車両から受信されてもよい。プロセス２６００Ａはさらに、第１通信で受信した位置識別子に基づいて、且つ第２通信で受信した追加の位置識別子に基づいて、検出された車線標示に関連づけられた少なくとも１つの位置の決定を微調整する段階を含んでよい。この段階には、複数の位置識別子の平均を用いること、および／または車線標示の実際の位置を反映していないかもしれない「ゴースト」識別子を除外することが含まれてよい。

【0346】

図２６Ｂは、マッピングされた車線標示を用いて、道路セグメントに沿ってホスト車両を自律的にナビゲートするための例示的なプロセス２６００Ｂを示すフローチャートである。プロセス２６００Ｂは、例えば、自動運転車２００の処理ユニット１１０により行われてよい。段階２６２０において、プロセス２６００Ｂは、サーバベースのシステムから自動運転車向け道路ナビゲーションモデルを受信する段階を含んでよい。いくつかの実施形態において、自動運転車向け道路ナビゲーションモデルは、道路セグメントに沿ったホスト車両用の目標軌跡と、道路セグメントに関連づけられた１つまたは複数の車線標示に関連づけられた位置識別子とを含んでよい。例えば、車両２００は、プロセス２６００Ａを用いて発展したスパースマップ８００または別の道路ナビゲーションモデルを受信してよい。いくつかの実施形態において、目標軌跡は、例えば図９Ｂに示すように、３次元スプラインとして表されてよい。図２４Ａ～図２４Ｆに関して上述したように、位置識別子は、車線標示に関連づけられた点（例えば、破線車線標示のコーナー点、実線車線標示のエッジ点、２つの交差する車線標示同士の交点および交差する車線標示に関連づけられた他の点、車線標示に関連づけられた中心線など）の実際の座標における位置を含んでよい。

【0347】

段階２６２１において、プロセス２６００Ｂは、車両の環境を表す少なくとも１つの画像を受信する段階を含んでよい。この画像は、画像取得ユニット１２０に含まれる画像取り込みデバイス１２２および１２４を介するなどして、車両の画像取り込みデバイスから受信されてよい。この画像には、上述した画像２５００と同様に、１つまたは複数の車線標示の画像が含まれてよい。

【0348】

段階２６２２において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の縦方向位置を決定する段階を含んでよい。図２５Ａに関して上述したように、これは、取り込まれた画像に含まれる他の情報（例えば、ランドマークなど）に基づいてもよく、検出されたランドマーク間での車両の推測航法によってもよい。

【0349】

段階２６２３において、プロセス２６００Ｂは、目標軌跡に沿ったホスト車両の決定された縦方向位置に基づいて、且つ少なくとも１つの車線標示に関連づけられた２つまたはそれより多くの位置識別子に基づいて、車線標示までの予期される横方向距離を決定する段階を含んでよい。例えば、車両２００は、スパースマップ８００を用いて車線標示までの予期される横方向距離を決定してよい。図２５Ｂに示すように、目標軌跡２５５５に沿った縦方向位置２５２０は、段階２６２２において決定されてよい。スパースマップ８００を用いると、車両２００は、縦方向位置２５２０に対応するマッピングされた車線標示２５５０までの予期される距離２５４０を決定することができる。

【0350】

段階２６２４において、プロセス２６００Ｂは、少なくとも１つの画像を分析して、少なくとも１つの車線標示を識別する段階を含んでよい。車両２００は、例えば上述したように、様々な画像認識手法またはアルゴリズムを用いて、画像内の車線標示を識別してよい。例えば、車線標示２５１０は、図２５Ａに示すように、画像２５００の画像分析によって検出されてよい。

【0351】

段階２６２５において、プロセス２６００Ｂは、少なくとも１つの画像の分析に基づいて、少なくとも１つの車線標示までの実際の横方向距離を決定する段階を含んでよい。例えば、車両は、図２５Ａに示すように、車両と車線標示２５１０との間の実際の距離を表す距離２５３０を決定してよい。カメラアングル、車両の速度、車両の幅、車両に対するカメラの位置、または様々な他の要因が、距離２５３０を決定する際に考慮されてよい。

【0352】

段階２６２６において、プロセス２６００Ｂは、少なくとも１つの車線標示までの予期される横方向距離と、少なくとも１つの車線標示までの決定された実際の横方向距離との差異に基づいて、ホスト車両の自動操縦動作を決定する段階を含んでよい。例えば、図２５Ｂに関して上述したように、車両２００は、実際の距離２５３０と予期される距離２５４０とを比較してよい。実際の距離と予期される距離との差異は、車両の実際の位置と車両が進む目標軌跡との誤差（およびその大きさ）を示し得る。したがって、車両は、この差異に基づいて、自動操縦動作または他の自動動作を決定してよい。例えば、図２５Ｂに示すように、実際の距離２５３０が予期される距離２５４０より小さい場合、車両は、車両を車線標示２５１０から離れて左側に誘導するための自動操縦動作を決定してよい。したがって、目標軌跡に対する車両の位置を補正することができる。例えば、プロセス２６００Ｂは、ランドマーク間の車両のナビゲーションを向上させるのに用いられてよい。

【0353】

プロセス２６００Ａおよび２６００Ｂは、開示されるスパースマップを使用してホスト車両をナビゲートするために使用され得る手法の単なる例を提供する。他の例では、図２５Ｃおよび２５Ｄに関連して説明されたそれらと矛盾しないプロセスもまた使用され得る。

【0354】

［制御ループ設計］

【0355】

計画された軌跡に沿って車両を制御することは、自動モードでナビゲートする場合に重要である。道路セグメントに沿ってナビゲートするべく、車両は、道路セグメントに関連する目標軌跡を受信し、且つ、計画された軌跡コマンドを生成して、（高レベルの制御で）ポリシーレベルからの目標軌跡に従ってもよい。様々な状態（例えば、ぬれている道路、風、など）は、いくつかの計画された軌跡コマンドの実行に影響し得る。例えば、車両は、車両を０．１度のステアリング角だけ左方向に旋回するための操縦コマンドを生成してもよい。操縦コマンドを実装する間に、車両の操縦装置は実際に、車両と別の車両との衝突につながり得る、道路の滑り易い状態に起因して、車両を０．２度のステアリング角だけ左方向に旋回してもよい。様々な状態の下で、軌跡コマンドの正確な実行を実施することが望ましいかもしれない。

【0356】

本開示は、１つまたは複数の制御ループを使用して車両をナビゲートするためのシステムおよび方法を提供する。例えば、車両の目標軌跡は、縦方向制御ループおよび横方向制御ループの２つの別々の制御ループを実装することによって達成されてもよい。縦方向制御ループは、縦方向（すなわち、車両の前部／後部に対して前後方向）に沿って移動するよう車両を制御するように構成されてもよい。縦方向制御ループは、車両速度および加速度の正確な実行の責任を担ってもよい。いくつかの実施形態において、縦方向制御ループに関連するコマンドは、スロットル装置および／またはブレーキ装置に入力され得る、所望の速度および加速度を含んでもよい。スロットル装置および／またはブレーキ装置は、車両を、コマンドに従う所望の速度および加速度で走行させてもよい。横方向制御ループは、車両の横方向（すなわち、車両の左側／右側に対して左右方向）の動きを制御するように構成されてもよい。横方向制御ループは、目標軌跡に沿って車両を操縦することの正確な実行の責任を担ってもよい。いくつかの実施形態において、横方向制御ループに関連するコマンドは、車両が沿って走行し得る経路の曲率を含んでもよい。コマンドは、１つまたは複数のアクチュエータに、操縦可能な車輪をコマンドに基づいて操縦させ得る操縦装置へと入力されてもよい。

【0357】

図２７に示されるように、車両２７０１は、道路セグメント２７１１に沿って走行し、且つ、道路セグメント２７１２に向かって移動してもよい。車両２７０１は、本明細書で説明される縦方向制御ループおよび／または横方向制御ループに基づいて生成されるコマンドに従い、目標軌跡２７２１に沿って安全に走行し得る。例えば、いくつかの実施形態において、開示されるシステムおよび方法は、直接的な操縦コマンド計算に基づく横方向制御ループ、および、当該直接的な操縦コマンド計算の不正確さを補償するヨーレート閉鎖ループを提供する。直接的な操縦コマンド計算の目的は、半径Ｒの所与の円弧を運転するためのステアリング角を推定することであってもよい。直接的な操縦コマンド計算は、車両の動きを表す１つまたは複数の運動方程式と、および、以前のドライブセグメントから収集された、同様の状況下での車両挙動の情報にフィッティングしている車両操縦モデルとによるフィードフォワード計算に基づいてもよい。開示されるシステムおよび方法の複数の利点のうちの１つは、（例えば、フィードフォワード計算の利点に起因する）高速な計算と、干渉に対する堅牢性と、スタビリティとを含み得る。

【0358】

例として、図２８は、本開示のいくつかの実施形態と矛盾しない、操縦コマンドを生成するための例示的なプロセスを示す。図２８に示されるように、車両は、目標軌跡に基づいて、曲率コマンド（例えばヨーレートコマンド）および速度コマンドを生成してもよい。曲率コマンドおよび速度コマンドは、フィードフォワード計算のためのモデル（例えば、ソフトウェアベースのシステム）へと入力されてもよく、これは、１つまたは複数の操縦可能な車輪を旋回するための第１ステアリング角を出力してもよい。曲率コマンドおよび速度コマンドはまた、ヨーレートループへと入力されてもよく、これは、第２ステアリング角を決定するべく、目標ステアリング角を実際のステアリング角と比較するように構成されてもよい。車両はさらに、フィードフォワード計算に基づいて生成される第１ステアリング角、および、ヨーレートループに基づいて生成される第２ステアリング角に基づいて、全体的な操縦コマンドを決定するように構成されてもよい。車両は、全体的な操縦コマンドを実装して、１つまたは複数のアクチュエータに、操縦可能な車輪を目標ステアリング角だけ回させるようにも構成されてよい。

【0359】

いくつかの実施形態において、直接的な操縦計算は、２つのステージで実行されてもよい。第１ステージでは、アッカーマンモデルを使用した基本的な運動学的計算が実行されてもよい。例として、図２９は、アッカーマンの操縦モデルを示す。図２９に示されるように、車両は、左前輪および右前輪の、２つの操縦可能な車輪を含んでもよい。複数の左前輪は、中心（黒い点）を共有するが異なる半径を有する完全な円上を回転すると仮定してもよい。２つの後輪の間の中点もまた、同じ中心であるが異なる半径（Ｒ）を有する円上を回転してもよい。車両の進行方向は、当該円に接していてもよい。２つの後輪間の距離はｗで表され、前輪と後輪との間の距離は、車輪ベースであって、Ｌで表される。左前輪は半径ｒ１を有する円上を回転されてもよく、車両の進行方向に対するこの車輪の角度はθである。同様に、右前輪は半径ｒ２を有する円上を回転されてもよく、車両の進行方向に対するその角度はφである。複数の前輪の角度は、以下の式を満たしてもよい。

【0360】

【数1】

…（１）

【0361】

【数2】

…（２）

【0362】

いくつかの実施形態において、操縦装置の入力は、ステアリング角を含んでもよく、コマンド（

【数3】

）は、

【数4】

および

【数5】

の平均であってもよく、これは以下のように表されてもよい。

【0363】

【数6】

…（３）

【0364】

アッカーマンのモデルは、Ｒ＞＞ｗである自転車モデルを使用して単純化されてもよい。これを受けて、ハンドルの角度は以下のように表されてもよい。

【0365】

【数7】

…（４）

【0366】

直接的な操縦計算の第２ステージでは、上記のように取得された基本的な運動学的計算が、（例えば、高速、高ステアリング角、および／または、横方向の高加速度、などにおける）車両の非線形挙動に適合するように調整されてもよい。いくつかの実施形態において、車両の操縦装置は、操縦コマンドを計算する際に考慮に入れられ得るいくつかの部分から構成されてもよい。例えば、操縦アクチュエータの挙動および／または操縦の非線形性は、操縦コマンドの計算に影響を与えるかもしれない。例として、様々な速度での操縦の非線形性は、数時間の運転からのデータの線形回帰から観察され得る。線形回帰用のモデルは、以下のように表されてもよい。

【0367】

【数8】

（有効ハンドル角＝測定ステアリング角／基本比率×（ａ０＋ａ１×速度＋ａ^２×速度^２）

【0368】

【数9】

（有効車輪ステアリング角＝アークタンジェント（Ｌ×実際の曲率）

【0369】

【数10】

（実際の曲率＝ヨーレイト／速度）

【0370】

線形回帰は、Ｒ＝０．９９９３１１をもたらす。

【0371】

係数：ａ０＝１．０２６６１６９３、ａ１＝１．６４３２８７０１ｅ－０２、ａ２＝６．２９３３２５９８ｅ－０６、Ｂａｓｉｃ＿Ｒａｔｉｏ（基本比率）＝１４．８。

【0372】

この例における操縦コマンド計算は、以下のように決定されてもよい。

【0373】

【数11】

（ステアリングコマンド＝アークタンジェント（Ｌ×曲率コマンド）×基本比率／（ａ_０×基本比率＋ａ_１×速度＋ａ_２×速度^２）。

【0374】

いくつかの実施形態において、ヨーレート閉鎖ループは、車両状態の差異、道路状態の差異、モデル化されていない操縦エフェクト、または、それらの組み合わせ、によって発生させられる、フィードフォワードモデルの不正確さを補償するのに用いられてもよい。ヨーレートコマンドは、以下のように計算されてもよい。

【0375】

【数12】

（ヨーレイトコマンド＝速度×曲率コマンド）。

【0376】

ノッチフィルタを用いてダンパー周波数（２．５Ｈｚ）でフィルタリングした後に測定される変数は「ヨージャイロ（ｙａｗ ｇｙｒｏ）」であってもよく、ヨーレートコントローラは、車両速度に従って入力ステアリング角を乗算するためのゲインスケジューリングを備えた通常の比例積分（ＰＩ）コントローラを含んでもよい。

【0377】

図３０は、開示する実施形態と矛盾しない例示的な車両２７０１のブロック図である。図３０に示されるように、車両２７０１は、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）と、制御システム３０２０と、メモリ３０３０と、少なくとも１つのストレージデバイス（例えばストレージデバイス３０４０）と、通信ポート３０５０と、１つまたは複数のセンサ３０６０と、ＬＩＤＡＲシステム３０７０と、ナビゲーションシステム３０８０とを含んでもよい。

【0378】

プロセッサ３０１０は、本開示において説明される車両２７０１の１つまたは複数の機能を実行するように構成されてもよい。プロセッサ３０１０は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックス処理装置（ＧＰＵ）、中央演算処理装置（ＣＰＵ）、支援回路、デジタル信号プロセッサ、集積回路、メモリ、またはアプリケーションの実行または計算タスクの実行に好適な任意の他のタイプのデバイスを含んでよい。いくつかの実施形態において、プロセッサ３０１０は、任意のタイプのシングルコアプロセッサまたはマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、中央演算処理装置などを含んでよい。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）などといった製造業者から入手可能なプロセッサ、またはＮＶＩＤＩＡ（登録商標）、ＡＴＩ（登録商標）などといった製造業者から入手可能なＧＰＵを含む様々な処理デバイスが用いられてよく、様々なアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含んでよい。本明細書で開示する処理デバイスのうちのいずれかが、特定の機能を行うように構成されてよい。説明したプロセッサまたは他のコントローラもしくはマイクロプロセッサのうちのいずれかなどの処理デバイスを構成して、特定の機能を行うことには、コンピュータ実行可能命令をプログラムすること、および処理デバイスの動作時にこれらの命令を処理デバイスが実行のために利用できるようにすることが含まれてよい。いくつかの実施形態において、処理デバイスを構成することには、処理デバイスをアーキテクチャ命令で直接プログラムすることが含まれてよい。例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および特定用途向け集積回路（ＡＳＩＣ）などといった処理デバイスが、例えば、１つまたは複数のハードウェア記述言語（ＨＤＬ）を用いて構成されてよい。

【0379】

いくつかの実施形態において、プロセッサ３０１０は、回路３０１１およびメモリ３０１２を含んでもよい。メモリ３０１２は、回路３０１１によって実行された場合に、プロセッサ３０１０に、本明細書で説明されるプロセッサ３０１０の機能を実行させる命令を格納してもよい。回路３０１１は、本明細書において説明される複数の例のうちの任意の１つまたは複数を含んでもよい。

【0380】

プロセッサ３０１０は、制御システム３０２０を用いて、車両２７０１をナビゲートするための１つまたは複数のパラメータを決定してもよい。例えば、プロセッサ３０１０は、制御システム３０２０を用いて、（例えば、図２Ｆに示され且つ上述された操縦装置２４０を介して）操縦アクチュエータを制御するためのステアリング角を決定してもよい。ステアリング角は、車両２７０１の１つまたは複数の操縦可能な車輪の角度を指してもよい。いくつかの実施形態において、制御システム３０２０は、第１制御サブシステム３０２１および第２制御サブシステム３０２２を含んでもよい。いくつかの実施形態において、第２制御サブシステム３０２２は、第１制御サブシステム３０２１と異なってもよい。例えば、第１制御サブシステム３０２１は、車両２７０１の動きを表す、１つまたは複数のフィードフォワード計算に基づいて、ステアリング角を決定するためのモデルを含んでもよく、第２制御サブシステム３０２２は、車両ヨーレートコマンドに関連する１つまたは複数の値を、測定された車両ヨーレートに関連する１つまたは複数の値と比較し得るフィードバックループに基づいてステアリング角を決定するためのモデルを含んでもよい。プロセッサ３０１０は、第１制御サブシステム３０２１を用いて第１ステアリング角を決定し、且つ、第２制御サブシステム３０２２を用いて第２ステアリング角を決定するようにプログラムされてもよい。プロセッサ３０１０はまた、第１および第２ステアリング角に基づいて、全体的なステアリング角を決定するようにプログラムされてもよい。

【0381】

車両２７０１は、車両２７０１の様々な構成要素のための命令を格納し得るメモリ３０３０を備えてもよい。例えば、メモリ３０３０は、プロセッサ３０１０によって実行された場合に、プロセッサ３０１０に、本明細書で説明される１つまたは複数の機能を実行させるように構成され得る命令を格納してもよい。メモリ３０３０は、任意の数のランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、着脱式ストレージ、および他のタイプのストレージを含んでよい。一例では、メモリ３０３０は、プロセッサ３０１０から分かれていてもよい。別の例では、メモリ３０３０は、プロセッサ３０１０へと一体化されてもよい。いくつかの実施形態において、メモリ３０３０は、ニューラルネットワークまたはｑディープニューラルネットワークのような訓練されたシステムだけでなく、１つまたは複数の計算タスクを実行するためのソフトウェアを含んでもよい。いくつかの実施形態において、メモリ３０３０は、必要とされた場合にプロセッサ３０１０によってロードされ得る、第１制御サブシステム３０２１および第２制御サブシステム３０２２を格納してもよい。

【0382】

ストレージデバイス３０４０は、車両２７０１の１つまたは複数の構成要素のために、様々なデータおよび情報を格納するように構成されてもよい。ストレージデバイス３０４０は、１つまたは複数のハードドライブ、テープ、１つまたは複数のソリッドステートドライブ、データの書き込みおよび読み出しに好適な任意のデバイスなど、またはそれらの組み合わせを含んでもよい。ストレージデバイス３０４０は、例えば、プロセッサ３０１０によってアクセスされ得る１つまたは複数のマップセグメントのデータを含む、マップデータを格納してもよい。いくつかの実施形態において、ストレージデバイス３０４０は、マップデータベースを格納してもよい。プロセッサ３０１０は、マップデータベースから１つまたは複数のマップセグメントのデータを取得してもよい。例えば、プロセッサ３０１０は、マップセグメントに関連する１つまたは複数の目標軌跡を取得してもよい。いくつかの実施形態において、ストレージデバイス３０４０は、必要とされた場合にプロセッサ３０１０によってロードされ得る第１制御サブシステム３０２１および第２制御サブシステム３０２２を格納してもよい。

【0383】

通信ポート３０５０は、ネットワークを介する、車両２７０１と、本明細書で説明される開示のシステムの１つまたは複数の構成要素との間におけるデータ通信を容易にするように構成されてもよい。例えば、通信ポート３０５０は、インターネット、イントラネット、ＷＡＮ（Ｗｉｄｅ－Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ－Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＥＥＥ ８０２．１１ａ/ｂ/ｇ/ｎ規格に準拠する無線ネットワーク、専用線、などを含む、１つまたは複数のパブリックまたはプライベートネットワークを介して、サーバからデータを受信し、且つ、それへデータを送信するように構成されてもよい。

【0384】

センサ３０６０は、車両２７０１および／または車両２７０１の環境に関連する情報を収集するように構成されてもよい。センサ３０６０は、イメージセンサ（例えばカメラ）、レーダデバイス、ＬＩＤＡＲデバイス、速度センサ、加速度センサ、ブレーキセンサ、サスペンションセンサ、測位デバイス（例えば全地球測位システム（ＧＰＳ）デバイス）、加速度計、ジャイロセンサ、速度計など、またはそれらの組み合わせ、のうちの１つまたは複数を備えてもよい。例えば、車両２７０１は、自己の環境の１つまたは複数の画像を取り込むように構成されたイメージセンサ（例えばカメラ）を備えてもよく、これは、物体の表現（またはそれの少なくとも一部）を備えてもよい。いくつかの実施形態において、車両２７０１は、本開示における他の箇所で説明された、画像取り込みデバイス１２２、画像取り込みデバイス１２４および／または画像取り込みデバイス１２６と同様の１つまたは複数の画像センサを備えてもよい。別の例として、車両２７０１は、一定期間に亘って、車両２７０１の位置に関連する測位データを収集するように構成されたＧＰＳデバイスを備えてもよい。

【0385】

ＬＩＤＡＲシステム３０７０は、１つまたは複数のＬＩＤＡＲユニットを有してもよい。いくつかの実施形態において、１つまたは複数のＬＩＤＡＲユニットは、車両２７０１のルーフ上に配置されてもよい。そのようなユニットは、車両２７０１周りの３６０度視野内の、または、３６０度視野の任意のサブ部分（例えば、各々が３６０度未満を表す１つまたは複数のＦＯＶ）からのＬＩＤＡＲ反射情報を集めるように構成された回転ユニットを備えてもよい。いくつかの実施形態において、ＬＩＤＡＲユニットは、車両２７０１上の前方の場所に（例えば、ヘッドライトの近くに、フロントグリルに、フォグランプの近くに、前方バンパーに、または、任意の他の好適な場所に）配置されてもよい。場合によっては、車両２７０１の前方部分に設置された１つまたは複数のＬＩＤＡＲユニットは、車両２７０１の前方の環境における視野からの反射情報を収集してもよい。ＬＩＤＡＲシステム３０７０によって収集されるデータは、プロセッサ３０１０へと提供されてもよい。その代わりに、またはそれに加えて、データは、ネットワークを介して、本開示における他の箇所で説明されるサーバおよび／またはデータベースへと送信されてもよい。

【0386】

任意の好適なタイプのＬＩＤＡＲユニットが、車両２７０１上に含まれてもよい。場合によっては、ＬＩＤＡＲシステム３０７０は、ＬＩＤＡＲ視野（ＦＯＶ）全体が単一のレーザパルスで照射される、１つまたは複数のフラッシュＬＩＤＡＲユニット（例えば３ＤフラッシュＬＩＤＡＲ）と、戻り光強度およびフライト時間／深度情報を記録する画素の行および列を含むセンサとを備えてもよい。そのようなフラッシュシステムは、毎秒複数回、シーンを照射してＬＩＤＡＲ「画像」を収集してもよい。走査ＬＩＤＡＲユニットもまた使用されてもよい。そのような走査ＬＩＤＡＲユニットは、特定のＦＯＶに亘ってレーザビームを分散させるための１つまたは複数の手法を利用してもよい。場合によっては、走査ＬＩＤＡＲユニットは、ＦＯＶ内の複数の物体に向かってレーザビームを偏向させ且つ誘導する走査ミラーを備えてもよい。走査ミラーは、３６０度完全に回転してもよく、３６０度未満を単軸または複数の軸に沿って回転し、所定のＦＯＶに向けてレーザを誘導してもよい。場合によっては、ＬＩＤＡＲユニットは、１つの水平線を走査してもよい。他の場合では、ＬＩＤＡＲユニットは、ＦＯＶ内の複数の水平線を走査してもよく、これは、毎秒複数回、特定のＦＯＶを効果的にラスタライズする。

【0387】

ＬＩＤＡＲシステム３０７０におけるＬＩＤＡＲユニットは、任意の好適なレーザ光源を含んでもよい。いくつかの実施形態において、ＬＩＤＡＲユニットは、連続レーザを使用してもよい。他の場合では、ＬＩＤＡＲユニットは、パルスレーザ放射を利用してもよい。さらに、任意の好適なレーザ波長が使用されてもよい。場合によっては、約６００ｎｍから約１０００ｎｍまでの間の波長が使用されてもよい。

【0388】

ＬＩＤＡＲシステム３０７０におけるＬＩＤＡＲユニットはまた、任意の好適なタイプのセンサを含み、且つ、任意の好適なタイプの出力を提供してもよい。場合によっては、ＬＩＤＡＲユニットのセンサは、１つまたは複数のフォトダイオードまたは光電子倍増管などの固体光検出器を備えてもよい。センサはまた、任意の数の画素を含む１つまたは複数のＣＭＯＳまたはＣＣＤデバイスを備えてもよい。これらのセンサは、ＬＩＤＡＲ ＦＯＶ内のシーンから反映されるレーザ光に敏感であってもよい。センサは、ＬＩＤＡＲユニットからの様々なタイプの出力を可能にしてもよい。場合によっては、ＬＩＤＡＲユニットは、各センサで、もしくは、特定のセンサの各画素またはサブ構成要素で収集される反射レーザ光を表す、フライト時間情報および生の光強度値を出力してもよい。さらに、またはその代わりに、ＬＩＤＡＲユニットは、各々の収集されたポイントに対応する光強度および深度／距離情報を含み得るポイントクラウド（例えば３Ｄポイントクラウド）を出力してもよい。ＬＩＤＡＲユニットはまた、光反射振幅、および、視野内の複数の点までの距離を表す、様々なタイプの深度マップを出力してもよい。ＬＩＤＡＲユニットは、ＬＩＤＡＲの光源からの光が最初にＦＯＶに向けて投影された時間を記録し、且つ、入射レーザ光がＬＩＤＡＲユニットのセンサによって受信された時間を記録することによって、ＦＯＶ内の特定の点に関する深度または距離情報を与えてもよい。時差は、フライト時間を表してもよく、これは、入射レーザ光がレーザ源から反射物体まで行ってＬＩＤＡＲユニットへと戻るまでに走行したラウンドトリップ距離に直接関連してもよい。ＬＩＤＡＲ ＦＯＶの、個々のレーザスポットまたは小さな部分に関連するフライト時間情報を監視することによって、ＦＯＶ内の複数の点についての正確な距離情報を与えてもよい（例えば、ＦＯＶ内の物体の非常に小さな特徴にさえもマッピングする）。場合によっては、ＬＩＤＡＲユニットは、１つまたは複数のレーザ反射を、レーザ反射が取得された、あるタイプの物体と関連づける、分類情報のような、より複雑な情報を出力してもよい。

【0389】

ナビゲーションシステム３０８０は、車両２７０１の運転者を支援して車両２７０１を動作させるように構成されてもよい。その代わりに、またはそれに加えて、ナビゲーションシステム３０８０は、本開示における他の箇所で説明されるように、車両２７０１の動きを制御するように構成される自動運転車ナビゲーションシステムを含んでもよい。例えば、ナビゲーションシステム３０８０は、プロセッサ３０１０から受信した命令に基づいて車両２７０１を制御するように構成されてもよい。例として、プロセッサ３０１０は、ナビゲーションシステム３０８０に、制御システム３０２０を使用して決定されたステアリング角に基づき、少なくとも１つの目標軌跡に沿ってナビゲートするよう車両２７０１を制御させてもよい。いくつかの実施形態において、ナビゲーションシステム３０８０は、最新運転者支援システム（ＡＤＡＳ）を含んでもよい。

【0390】

図３１は、開示される実施形態と矛盾しない、車両をナビゲートするための例示的なプロセス３１００を示すフローチャートである。プロセス３１００の１つまたは複数の段階は、車両（例えば車両２７０１）、ホスト車両に関連するデバイス、および／または、サーバによって実行されてもよい。以下で提供されるプロセス３１００の説明は、例として車両２７０１を用いるが、当業者であれば、プロセス３１００の１つまたは複数の段階がサーバおよび／または車両デバイスによって実行され得ることを理解するであろう。例えば、一実施形態では、車両をナビゲートするためのシステムは、回路およびメモリを有する少なくとも１つのプロセッサを備える。メモリは、回路によって実行された場合に、少なくとも１つのプロセッサに、本明細書および／または図３１に関連して論じた複数の操作のうちのいずれかのような、１つまたは複数の動作を実行させる命令を含む。別の例として、別の実施形態において、非一時的コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行された場合に、少なくとも１つのプロセッサに、本明細書においておよび／または図３１に関連して論じられる複数の操作のうちのいずれかのような、１つまたは複数の動作を実行させ得る命令を含んでもよい。

【0391】

段階３１０１において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、少なくとも１つの車両センサによって提供される出力を受信する。例えば、少なくとも１つのプロセッサは、１つまたは複数のセンサ３０６０（例えば、カメラ、レーダデバイス、ＬＩＤＡＲデバイス、速度センサ、加速度センサ、ブレーキセンサ、またはサスペンションセンサのうちの少なくとも１つ）によって提供される出力を受信するようにプログラムされてもよい。例として、（上述された画像取り込みデバイス１２２、１２４および１２６と同様であり得る）車両に搭載される１つまたは複数のカメラは、車両の環境から１つまたは複数の画像を取り込むように構成されてもよい。少なくとも１つのプロセッサは、１つまたは複数のカメラから１つまたは複数の画像を受信するようにプログラムされてもよい。

【0392】

段階３１０２において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、少なくとも１つの車両センサによって提供される出力に基づいて、道路セグメントに沿う車両のための少なくとも１つのナビゲーション操作を決定する。例として、図２７に示されるように、車両２７０１は、道路セグメント２７１１に沿って走行し、且つ、道路セグメント２７１２へと入る予定である。少なくとも１つのプロセッサは、車載カメラによって車両２７０１の環境から取り込まれた１つまたは複数の画像を受信してもよい。少なくとも１つのプロセッサはまた、道路セグメント２７１２に対する車両２７０１の位置を決定してもよい。

【0393】

段階３１０３において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、ナビゲーション操作を実装するため、車両ヨーレートコマンドおよび車両速度コマンドを決定する。車両ヨーレートコマンドは、計画された軌跡における曲率に沿ってナビゲートするために車両進行方向が変化しなければならないレートおよび横方向変化に対応してもよい。速度コマンドは、計画された軌跡における曲率に沿ってナビゲートするために車両進行方向が変化しなければならないレートおよび前後方向変化に対応してもよい。速度コマンドは、速度および加速度の双方の構成要素を含んでもよい。例えば、少なくとも１つのプロセッサは、１つまたは複数の車載センサによって提供される出力に基づいて、操縦装置（例えば操縦装置２４０）を制御するための車両ヨーレートコマンドと、スロットル装置（例えばスロットル装置２２０）および／またはブレーキ装置（例えばブレーキ装置２３０）を制御するための車両速度コマンドとを決定するようにプログラムされてもよい。

【0394】

いくつかの実施形態において、少なくとも１つのプロセッサは、所定のマップ情報の分析に基づいて、車両ヨーレートコマンドまたは車両速度コマンドのうちの１つまたは複数を決定するようにプログラムされてもよい。例として、図２７に示されるように、車両２７０１は、道路セグメント２７１１に沿って走行し、且つ、道路セグメント２７１２へ入る予定である。少なくとも１つのプロセッサは、道路セグメント２７１１および／または道路セグメント２７１２に関連する所定のマップ情報にアクセスするようにプログラムされてもよく、これらはストレージデバイス３０４０に格納されてもよい。所定のマップ情報は、道路セグメント２７１１（および／または道路セグメント２７１２）に沿う目標軌跡２７２１を含んでもよい。少なくとも１つのプロセッサはまた、車両２７０１が道路セグメント２７１１および／または道路セグメント２７１２に沿って走行する間に目標軌跡２７２１に従い得るように、所定のマップ情報（例えば目標軌跡２７２１）の分析に基づいて、車両ヨーレートコマンドまたは車両速度コマンドのうちの１つまたは複数を決定するようにプログラムされてもよい。

【0395】

いくつかの実施形態において、少なくとも１つのプロセッサは、所定のマップ情報の分析および１つまたは複数のセンサからの出力に基づいて、車両ヨーレートコマンドまたは車両速度コマンドのうちの１つまたは複数を決定するようにプログラムされてもよい。例えば、本開示における他の箇所で説明されるように、少なくとも１つのプロセッサは、１つまたは複数のセンサ３０６０によって提供される出力（例えば、カメラによって取り込まれる画像）に基づいて、目標軌跡に対する自己の位置を決定するようにプログラムされてもよい。少なくとも１つのプロセッサは、車両が車両ヨーレートコマンドおよび／または車両速度コマンド（もしくはそれらの変更版）を実行することにより目標軌跡に沿ってナビゲートし得るように、目標軌跡に対する車両の位置に基づいて車両ヨーレートコマンドまたは車両速度コマンドのうちの１つまたは複数を決定するようにプログラムされてもよい。

【0396】

段階３１０４において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、車両ヨーレートコマンドおよび車両速度コマンドに基づき、少なくとも１つのプロセッサによって実装される第１制御サブシステム（例えば第１制御サブシステム３０２１）を使用して、少なくとも第１車両ステアリング角を決定する。ステアリング角は、操縦可能な車輪（例えば前輪）の角度を指してもよい。例えば、第１制御サブシステム３０２１は、１つまたは複数のフィードフォワード計算に基づいてステアリング角を決定するためのモデルを含んでもよい。例として、１つまたは複数のフィードフォワード計算は、本開示における他の箇所（例えば、図２９、および、その関連記載事項）で説明されたような、車両の動きを表す少なくとも１つの運動方程式に基づいてもよい。その代わりに、またはそれに加えて、１つまたは複数のフィードフォワード計算は、車両に関連する少なくとも１つの所定の操縦挙動特徴に基づいてもよい。例えば、少なくとも１つの所定の操縦挙動特徴は、操縦アクチュエータ制御入力（例えば操縦装置２４０への操縦コマンド入力）を、実際の車両ステアリング角（例えば、操縦装置２４０により操縦コマンド入力に応答して出力された実際の車両ステアリング角）に関連付けてもよい。その代わりに、またはそれに加えて、少なくとも１つの所定の操縦挙動特徴は、操縦アクチュエータ制御入力を、実際の車両ステアリング角に関連付けてもよい。例として、少なくとも１つの所定の操縦挙動特徴は、操縦コマンド入力において指定されるステアリング角と、特定の状況下（例えば、車両の速度が所定の速度を上回った場合、道路が天候に起因してぬれている場合、など）において操縦装置２４０によって出力される実際のステアリング角との間のオフセット値を含んでもよい。その代わりに、またはそれに加えて、少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を車両速度に関連付けてもよい。例えば、少なくとも１つの所定の操縦挙動特徴は、操縦線形性を、閾値速度以下の車両速度に関連付け、且つ、操縦高非線形性（例えば、入力ステアリング角により敏感である操縦）を、当該閾値を上回る車両速度に関連付けてもよい。その代わりに、またはそれに加えて、少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を、車両の横方向加速度に関連付けてもよい。その代わりに、またはそれに加えて、少なくとも１つの所定の操縦挙動特徴は、操縦非線形性を、車両ステアリング角に関連付けてもよい。いくつかの実施形態において、少なくとも１つの所定の操縦挙動特徴は、以前の１つまたは複数のドライブセグメント中に収集された（例えば、車両および／または１つまたは複数の他の車両によって収集された）ドライブ情報に基づいて決定されてもよい。例えば、操縦装置２４０は、操縦装置２４０が操縦コマンド入力において指定される目標ステアリング角に応答して出力する実際のステアリング角を測定するように構成されたステアリング角センサを含んでもよい。少なくとも１つのプロセッサは、目標ステアリング角と実際のステアリング角との間のオフセット値を決定し、且つ、決定されたオフセット値を、少なくとも１つの所定の操縦挙動特徴（または、そこに含まれる情報の一部）として格納するようにプログラムされてもよい。その代わりに、またはそれに加えて、第１制御サブシステム３０２１は、訓練されたシステムを含んでもよい。例えば、第１制御サブシステム３０２１は、訓練されたニューラルネットワークを含んでもよい。いくつかの実施形態において訓練されたニューラルネットワークは、車両の運動学的状態を表す１つまたは複数の入力に基づいて第１車両ステアリング角を出力するように訓練されてもよい。例えば、ニューラルネットワークは、車両（例えば車両２７０１および／または他の車両）の運動学的状態を表す１つまたは複数の入力、および、以前の１つまたは複数のドライブセグメント中に収集されたステアリング角出力を有する訓練サンプルを使用して訓練されてもよい。少なくとも１つのプロセッサは、車両２７０１の運動学的状態を表す１つまたは複数の入力を、訓練されたニューラルネットワークへと入れてもよく、これは、１つまたは複数の当該入力に応答してステアリング角を出力してもよい。

【0397】

段階３１０５において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、車両ヨーレートコマンドおよび車両速度コマンドに基づき、少なくとも１つのプロセッサによって実装される第２制御サブシステム（例えば第２制御サブシステム３０２２）を使用して、少なくとも第２車両ステアリング角を決定する。例えば、第２制御サブシステム３０２２は、車両ヨーレートコマンドに関連する１つまたは複数の値を、観測または測定された車両ヨーレートに関連する１つまたは複数の値と比較し得るフィードバックループに基づいて第２車両ステアリング角を決定するように構成されてもよい。例として、第２制御サブシステムは、車両ヨーレートコマンド（または目標ヨーレート）に関連する１つまたは複数の値と、測定された車両ヨーレートとの間の差異として誤り値を計算するように構成された比例積分微分（ＰＩＤ）コントローラを含んでもよい。ＰＩＤコントローラは、比例項、積分項、および微分項に基づいて補正を適用するようにも構成されてよい。

【0398】

段階３１０６において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、第１車両ステアリング角および第２車両ステアリング角の組み合わせに基づいて、車両用の全体的な操縦コマンドを決定する。いくつかの実施形態において、全体的な操縦コマンドは、車両を旋回させることを含んでもよい。例えば、少なくとも１つのプロセッサは、第１車両ステアリング角および第２車両ステアリング角に基づいて、ステアリング角だけ車両を旋回させるための、全体的な操縦コマンドを決定するようにプログラムされてもよい。その代わりに、またはそれに加えて、全体的な操縦コマンドは、車両の現在位置の所定距離前方に車両を旋回させることを含んでもよい。

【0399】

いくつかの実施形態において、車両用の全体的な操縦コマンドは、第１制御サブシステムによって決定された第１車両ステアリング角と、第２制御サブシステムによって決定された第２車両ステアリング角との合計に基づいてもよい。例えば、少なくとも１つのプロセッサは、１度の第１ステアリング角を決定し、且つ、０．５度の第２ステアリング角を決定するようにプログラムされてもよい。少なくとも１つのプロセッサはまた、車両を１．５度だけ（すなわち、第１ステアリング角および第２ステアリング角の合計だけ）旋回させるための全体的な操縦コマンドを決定するようにプログラムされてもよい。いくつかの実施形態において、車両用の全体的な操縦コマンドを決定することは、第１車両ステアリング角および第２車両ステアリング角の合計に、あるゲインを乗算することにさらに基づいてもよい。ゲインは、０．１倍から５倍の範囲であってもよい。例えば、ゲインは、０．６から０．８の間であってもよい。いくつかの実施形態において、車両用の全体的な操縦コマンドを決定することは、第１車両ステアリング角と第２車両ステアリング角との差分または関係に基づいてもよい。例えば、少なくとも１つのプロセッサは、１度の第１ステアリング角を決定し、且つ、０．５度の第２ステアリング角を決定するようにプログラムされてもよい。少なくとも１つのプロセッサはまた、車両を０．５度だけ（すなわち、第１ステアリング角と第２ステアリング角との差分だけ）旋回させるための全体的な操縦コマンドを決定するようにプログラムされてもよい。別の例として、第１車両ステアリング角は、１つまたは複数の操縦可能な車輪を旋回するための目標ステアリング角であってもよく、且つ、第２車両ステアリング角は、同様の状況下（例えば、車両の現在の速度が所定の速度範囲にある、道路状態がぬれているまたは滑り易くなっている、など）で目標ステアリング角に等しい入力ステアリング角に応答して、操縦装置２４０による出力ステアリング角を補償または補正するためのオフセット値であってもよい。少なくとも１つのプロセッサは、第１車両ステアリング角および第２車両ステアリング角の間の関係に基づいて（例えば、第１車両ステアリング角に第２車両ステアリング角を加算することで、またはそれから第２車両ステアリング角を減算することで）、車両用の全体的な操縦コマンドを決定するようにプログラムされてもよい。

【0400】

いくつかの実施形態において、少なくとも１つのプロセッサは、訓練されたシステムによる、第１車両ステアリング角および第２車両ステアリング角の分析に基づいて、車両用の全体的な操縦コマンドを決定してもよい。例えば、機械学習モデルは、第１ステアリング角入力および第２ステアリング角入力に基づいて全体的な操縦コマンドを出力するように訓練されてもよい。例えば、訓練されたシステムは、第１ステアリング角および第２ステアリング角のペアの入力、および、（例えば、車両２７０１および／または他の車両によって）以前のドライブセグメント中に収集された全体的な操縦コマンドの出力を有する訓練サンプルを使用して訓練された、訓練済のニューラルネットワークを含んでもよい。少なくとも１つのプロセッサは、入力として、段階３１０４および３１０５において決定された第１ステアリング角および第２ステアリング角を、訓練されたニューラルネットワークへと入れてもよく、これは、全体的な操縦コマンドを出力してもよい。

【0401】

段階３１０７において、少なくとも１つのプロセッサ（例えばプロセッサ３０１０）は、車両に関連する少なくとも１つのアクチュエータに、全体的な操縦コマンドを実装させる。例えば、操縦装置２４０は、左前輪および右前輪の双方のステアリング角を同時に制御するように構成された前輪アクチュエータを含んでもよい。例えば、少なくとも１つのプロセッサは、車両を、一定期間内に、あるステアリング角（例えば、０．５度、０．６度、０．８度、１度、１．５度、２度、など）だけ右方向に旋回させるべく、全体的な操縦コマンドを決定してもよい。さらに、少なくとも１つのプロセッサは、全体的な操縦コマンドを操縦装置２４０に送信するようにプログラムされてもよく、これは、前輪アクチュエータに、左前輪および右前輪を、一定期間内に、当該ステアリング角（例えば、０．５度、０．６度、０．８度、１度、１．５度、２度、など）だけ右方向に旋回させてもよい。

【0402】

前述の記載事項は、説明のために提示されている。これは網羅的ではなく、また開示したそのままの形式または実施形態に限定されない。本明細書を検討し且つ開示した実施形態を実践することから、当業者には複数の変更および改作が明らかになるであろう。さらに、開示した実施形態の各態様がメモリに格納されるものとして説明されているが、これらの態様は、二次ストレージデバイスなどの他のタイプのコンピュータ可読媒体、例えば、ハードディスクもしくはＣＤ－ＲＯＭ、または他の形式のＲＡＭもしくはＲＯＭ、ＵＳＢ媒体、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、４Ｋ超高精細度Ｂｌｕ－ｒａｙ（登録商標）、あるいは他の光ドライブ媒体にも格納できることを、当業者であれば理解するであろう。

【0403】

記載した明細書および開示した方法に基づくコンピュータプログラムは、経験ある開発者の技能の範囲内である。様々なプログラムまたはプログラムモジュールは、当業者に知られている手法のうちのいずれかを用いて作成することもでき、既存のソフトウェアに関連して設計することもできる。例えば、プログラムセクションまたはプログラムモジュールの設計は、．Ｎｅｔ Ｆｒａｍｅｗｏｒｋ、．Ｎｅｔ Ｃｏｍｐａｃｔ Ｆｒａｍｅｗｏｒｋ（および、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｃなどといった関連言語）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ－Ｃ、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、またはＪａｖａ（登録商標）アプレットを含んだＨＴＭＬで行うことも、これを用いて行うこともできる。

【0404】

さらに、例示的実施形態が本明細書に説明されているが、あらゆる実施形態の範囲には、均等な要素、変更、省略、（例えば、様々な実施形態にわたる態様の）組み合わせ、改作、および／または改変が含まれており、こうしたことは当業者が本開示に基づいて理解するであろう。特許請求の範囲における限定は、特許請求の範囲で使用されている用語に基づいて広く解釈されるべきであり、本明細書においてまたは本願の審査手続き中に説明される例に限定されない。これらの例は、非排他的であると解釈されるべきである。さらに、開示した方法の段階は、段階の並べ替え、および／または段階の挿入もしくは削除を含む任意の方式で変更されてよい。したがって、本明細書および例は単なる例示に過ぎないとみなされることが意図されており、実際の範囲および趣旨は以下の特許請求の範囲およびその均等物の全範囲によって示されている。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24A】

【図24B】

【図24C】

【図24D】

【図24E】

【図24F】

【図25A】

【図25B】

【図25C】

【図25D】

【図26A】

【図26B】

【図27】

【図28】

【図29】

【図30】

【図31】

【国際調査報告】