特許 7150159 自律車両の信号機検知および車線状態認識

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】自律車両の信号機検知および車線状態認識

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220930BHJP

   G06T 7/00 20170101ALI20220930BHJP

   G06N 20/00 20190101ALI20220930BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 350B

G06T7/00 650A

G06N20/00

【請求項の数】 16

(21)【出願番号】P 2021519126

(86)(22)【出願日】2019-10-18

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 US2019056941

(87)【国際公開番号】W WO2020086398

(87)【国際公開日】2020-04-30

【審査請求日】2021-05-10

(31)【優先権主張番号】16/169,080

(32)【優先日】2018-10-24

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】クリヴォコン，マキシム

(72)【発明者】

【氏名】オーガル，アビジット，エス．

(72)【発明者】

【氏名】シャオ，エドワード

(72)【発明者】

【氏名】ウェンデル，アンドリアス

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０１４－２３５７３７（ＪＰ，Ａ）

【文献】特開２０１８－０６０５６３（ＪＰ，Ａ）

【文献】特開２０１０－２２４９２５（ＪＰ，Ａ）

【文献】特開２０１７－０３０３９６（ＪＰ，Ａ）

【文献】特開２０１３－１４３０４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ － ９９／００

(57)【特許請求の範囲】

【請求項1】

関心対象の車線の状態を判定するためのモデルをトレーニングする方法であって、
１つ以上のサーバコンピューティングデバイスによって、画像と、少なくとも１つの信号機、前記少なくとも１つの信号機の状態、および前記少なくとも１つの信号機によって制御される車線を識別する、関連付けられたラベルと、を含む、画像データを受信することと、
前記少なくとも１つの信号機によって制御される前記車線に対応する道路区間を前記画像に投影して、前記投影の線または前記投影の領域を判定することと、
画像および前記画像に含まれる関心対象の車線を受信することに応答して、前記モデルが前記関心対象の車線の車線状態を出力するように構成されるように、前記１つ以上のサーバコンピューティングデバイスによって、前記投影することに基づいて、前記画像データを使用して、前記モデルをトレーニングすることと、を含む、方法。

【請求項2】

前記トレーニングの前に、前記画像および前記投影を使用して、第２の画像を生成することをさらに含み、前記第２の画像は、前記画像内の前記投影の領域を強調表示し、前記モデルをトレーニングすることは、前記第２の画像にさらに基づく、請求項１に記載の方法。

【請求項3】

前記画像に、前記少なくとも１つの信号機の３次元位置を投影することによって前記関連付けられたラベルを生成することをさらに含む、請求項１に記載の方法。

【請求項4】

前記画像を処理して前記投影の領域内の色の塊を識別することによって前記車線状態を判定することをさらに含む、請求項３に記載の方法。

【請求項5】

前記車線状態が、その車線内の車両が前進する、停止する、または注意を払う必要があるかどうかを識別する、請求項１に記載の方法。

【請求項6】

前記関心対象の車線に関連する画像内の停止線の位置を識別するラベルを使用することによって、前記モデルをトレーニングすることをさらに含む、請求項１に記載の方法。

【請求項7】

前記画像データが、第２の画像と、前記少なくとも１つの信号機、前記第２の画像における前記少なくとも１つの信号機の第２の状態を識別する第２の関連付けられたラベルと、をさらに含み、前記第２の状態は、前記トレーニングが、異なる状態において異なる時間にキャプチャされた前記少なくとも１つの信号機の画像を使用することを含むように、前記少なくとも１つの信号機の前記状態とは異なる、請求項１に記載の方法。

【請求項8】

モデルを使用して、関心対象の車線の状態を判定する方法であって、
車両の認知システムによって生成された画像を、１つ以上のプロセッサによって受信することと、
前記１つ以上のプロセッサによって、関心対象の車線を識別することと、
前記１つ以上のプロセッサによって、前記モデルへの入力として前記画像および前記関心対象の車線を使用して、前記画像内の信号機の状態に従って、前記関心対象の車線の車線状態を出力することと、
前記１つ以上のプロセッサによって、前記関心対象の車線の前記車線状態に基づいて、自律運転モードにおいて前記車両を制御することと、を含み、
前記関心対象の車線を識別することは、前記車両が現在運転している車線に対応する道路区間の前記画像への投影の線または前記投影の領域を判定するために前記投影に基づく、方法。

【請求項9】

前記関心対象の車線の前記車線状態を、前記車線内の第２の信号機の状態に基づいて判定された前記車線の車線状態と比較することをさらに含み、前記車両を制御することは、前記比較することにさらに基づく、請求項８に記載の方法。

【請求項10】

前記車線状態が、その車線内の車両が前進する、停止する、または注意を払う必要があるかどうかを識別する、請求項９に記載の方法。

【請求項11】

前記モデルは、前記関心対象の車線に関連する前記画像内の停止線の位置をさらに出力し、前記車両を制御することは、前記停止線の前記位置にさらに基づく、請求項８に記載の方法。

【請求項12】

前記画像をキャプチャする前に、事前に記憶された地図情報に基づいて、前記自律運転モードにおいて前記車両を制御することをさらに含み、前記画像は、前記車両が前記地図情報に含まれていない領域に位置するとき、前記モデルに入力される、請求項８に記載の方法。

【請求項13】

前記画像をキャプチャする前に、事前に記憶された地図情報に基づいて、前記自律運転モードにおいて前記車両を制御することをさらに含み、前記画像は、前記車両が、前記地図情報が最新でない領域に位置するときに、前記モデルに入力される、請求項８に記載の方法。

【請求項14】

前記車線の前記車線状態を、前記車線内の第２の信号機の状態に基づいて判定された前記車線の車線状態と比較することをさらに含み、前記車両を制御することは、前記比較することにさらに基づく、請求項８に記載の方法。

【請求項15】

モデルを使用して、関心対象の車線の状態を判定するためのシステムであって、
車両の認知システムによって生成された画像を受信することと、
関心対象の車線を識別することと、
前記画像と前記関心対象の車線を前記モデルへの入力として使用して、前記画像内の信号機の状態に応じて前記関心対象の車線の車線状態を出力することと、
前記関心対象の車線の前記車線状態に基づいて、自律運転モードにおいて前記車両を制御することと、を行うように構成された１つ以上のプロセッサを備え、
前記１つ以上のプロセッサは、前記車両が現在運転している車線に対応する道路区間の前記画像への投影の線または前記投影の領域を判定するために前記投影を使用することによって、前記画像に前記関心対象の車線でラベル付けするようにさらに構成される、システム。

【請求項16】

前記車両をさらに含む、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年１０月２４日に出願された出願第１６／１６９，０８０号の優先権を主張し、その開示は参照により本明細書に組み込まれる。

【背景技術】

【0002】

ある位置から別の位置への乗客または物品の輸送を支援するために、自律運転モードで操作するとき、人間の運転手を必要としない車両などの自律車両を使用することができる。自律車両の重要な構成要素は、カメラ、レーダー、ＬＩＤＡＲセンサなどのセンサ、および他の同様のデバイスを使用して車両がその周囲を認知し、解釈することを可能にする認知システムである。例えば、認知システムおよび／または車両のコンピューティングデバイスは、これらのセンサからのデータを処理して、物体、ならびに位置、形状、サイズ、配向、進行方向、加速または減速、タイプなどのそれらの特徴を識別することができる。この情報は、車両のコンピューティングシステムがその車両の適切な運転決定を行えるようにするために重要である。

【発明の概要】

【0003】

本開示の態様は、関心対象の車線の状態を判定するためのモデルをトレーニングする方法を提供する。この方法は、１つ以上のサーバコンピューティングデバイスによって、少なくとも１つの信号機、その少なくとも１つの信号機の状態、およびその少なくとも１つの信号機によって制御される車線を識別する画像および関連付けられたラベルを含む画像データを受信することと、１つ以上のサーバコンピューティングデバイスによって、画像およびその画像に含まれる関心対象の車線の受信に応答して、モデルがその関心対象の車線の車線状態を出力するように構成されるように、画像データを使用してモデルをトレーニングすることと、を含む。

【0004】

一例では、この方法は、トレーニングの前に、車線に対応する道路区間を画像に投影することをさらに含む。別の例では、方法は、トレーニングの前に、画像および投影を使用して第２の画像を生成することをさらに含み、第２の画像は、画像内の投影の領域を強調し、モデルをトレーニングすることは、第２の画像にさらに基づく。別の例では、この方法は、少なくとも１つの信号機の３次元位置を画像に投影することによって、関連付けられたラベルを生成することも含む。この例では、この方法は、画像を処理して、投影の領域内の色の塊を識別することによって状態を判定することも含む。別の例では、車線状態は、その車線内の車両が前進する、停止する、または注意を払う必要があるかどうかを識別する。別の例では、この方法はまた、関心対象の車線に関連する画像内の停止線を識別するためにモデルをトレーニングすることを含む。この例では、トレーニングには、画像内の停止線の位置を識別するラベルを使用することがさらに含まれる。別の例では、画像データは、少なくとも１つの信号機を識別する第２の画像および第２の関連付けられたラベルと、第２の画像の少なくとも１つの信号機の第２の状態をさらに含み、第２の状態は、トレーニングに、異なる状態で異なる時間にキャプチャされた少なくとも１つの信号機の画像を使用することが含まれるという点で、少なくとも１つの信号機の状態とは異なる。

【0005】

本開示の別の態様は、関心対象の車線の状態を判定するためにモデルを使用する方法を提供する。この方法は、車両の認知システムによって生成された画像を１つ以上のプロセッサによって受信することと、１つ以上のプロセッサによって、関心対象の車線を識別することと、１つ以上のプロセッサによって、モデルへの入力として画像および関心対象の車線を使用して、画像内の信号機の状態に従って関心対象の車線の状態を出力することと、１つ以上のプロセッサによって、関心対象の車線の状態に基づいて自律運転モードで車両を制御することと、を含む。

【0006】

一例では、関心対象の車線で画像を識別することは、画像に、車両が現在運転している車線に対応する道路区間を投影することを含む。別の例では、この方法はまた、関心対象の車線の状態を画像内の信号機の判定された状態と比較することを含み、車両を制御することは、比較することにさらに基づく。この例では、車線状態は、その車線の車両が前進する、停止する、または注意を払う必要があるかどうかを識別する。別の例では、モデルは、関心対象の車線に関連する画像内の停止線の位置をさらに出力し、車両を制御することは、停止線の位置にさらに基づく。別の例では、この方法はまた、画像をキャプチャする前に、事前に記憶された地図情報に基づいて自律運転モードで車両を制御することを含み、車両が地図情報に含まれていないエリアに位置するときに、画像がモデルに入力される。別の例では、この方法はまた、画像をキャプチャする前に、事前に記憶された地図情報に基づいて自律運転モードで車両を制御することを含み、車両が地図情報が最新でないエリアに位置するときに、画像がモデルに入力される。別の例では、この方法はまた、車線の状態を、第２の信号機の状態に基づいて判定された車線の状態と比較することを含み、車両を制御することは、この比較することにさらに基づく。

【0007】

本開示の別の態様は、モデルを使用して関心対象の車線の状態を判定するためのシステムを提供する。システムは、車両の認知システムによって生成された画像を受信することと、関心対象の車線を識別することと、画像と関心対象の車線をモデルへの入力として使用して画像内の信号機の状態に応じて関心対象の車線の状態を出力し、関心対象の車線の状態に基づいて、自律運転モードで車両を制御することと、を行うように構成された１つ以上のプロセッサを含む。

【0008】

一例では、１つ以上のプロセッサは、車両が現在運転している車線に対応する道路区間を画像に投影することによって、関心対象の車線で画像にラベル付けするようにさらに構成される。他の例では、システムはまた、車両を含む。

【図面の簡単な説明】

【0009】

【図1】例示的な実施形態による例示的な車両の機能図である。

【図2】本開示の態様による地図情報の一例である。

【図3】本開示の態様にかかる車両の例示的な外観図である。

【図4】本開示の態様による例示的なシステムのイラスト図である。

【図5】本開示の態様による図４のシステムの機能図である。

【図6】本開示の態様による例示的なカメラ画像である。

【図7】本開示の態様による、ＬＩＤＡＲセンサフレームの上面図および対応する部分の例である。

【図8】本開示の態様による例示的な画像およびデータである。

【図9】本開示の態様による例示的な画像およびデータである。

【図10】本開示の態様による例示的な画像およびデータである。

【図11】本開示の態様による例示的な画像およびデータである。

【図12】本開示の態様による例示的なフロー図である。

【図13】本開示の態様による例示的なフロー図である。

【発明を実施するための形態】

【0010】

概要
本技術は、自律車両のマッピングされていない信号機の検出と対応に関する。信号機の位置と状態（赤、緑、黄色、緑の矢印、赤の点滅など）を検出するために、一部の画像処理技術が使用され得るが、自律車両は、どの車線が信号機によって制御されているかを判定することができないことには、信号機に有用な方法で応答することができない。通常、このような情報は車両の地図情報（例えば、車線を識別する道路図）に記憶され、信号機や車線状態を識別するために必要に応じて検索することができる。しかしながら、地図情報が不正確または古くなっているために信号機が地図情報に含まれていない場合など、状況によっては、車両は、どの車線が信号機によって制御されているか、車両がその信号機に反応するべきかを実際に識別することができない場合がある。そのため、車両は、何をすべきかの「指示」を受けるために、人間のオペレータに遠隔支援の要求を送信する場合がある。これを回避するために、ラベル付きのカメラ画像と地図データを使用して機械学習モデルをトレーニングし、信号機の位置、識別の車線に対する信号機の関係、ならびにそれらの車線状態を識別し得る。

【0011】

モデルの初期トレーニングデータは、様々な方法で生成され得る。例えば信号機の画像ならびに信号機の状態にラベル付けするために、既存のモデルまたは画像処理技術が使用され得る。トレーニングデータは、車線情報も含み得る。例えば、識別の信号機のラベルは、その信号機によって制御される車線にリンクされ得る。したがって、所与の信号機のラベルを使用して、その信号機によって制御される車線の状態を推定し得る。加えて、または代替的に、モデルは、時間の経過とともにキャプチャされた同じ信号機のラベル付き画像を使用してトレーニングし得る。

【0012】

次いで、トレーニングされたモデルを使用して、車両が信号機を検出して応答するのを支援し得る。例えば、車両の認知システムのカメラによってキャプチャされた画像は、関心対象の車線とともにモデルに入力され得る（ここでも、これは、車両が現在運転している車線である可能性が高い）。モデルの出力は、車両が現在運転している車線の状態を判定するために、車両のコンピューティングデバイスによって使用され得る。次いで、車両は、関心対象の車線の状態に従って制御され得る。言い換えれば、出力は、信号機に応答するかどうか、およびどのように応答するかを判定するために使用され得る。モデルは、車両の様々なシステムの動作を確認するために、使用され得る。

【0013】

本明細書に記載の特徴は、自律車両が、信号機を事前に識別することを必要とせず、あるいはむしろ、車両の地図情報にすでに格納されていなくても、リアルタイムで信号機を検出して応答することを可能にし得る。これは、マッピングされていないエリアや、地図が正しくないか、または最新でないエリアで特に役立つ。

【0014】

例示的なシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに通常存在する他の構成要素を含むコンピューティングデバイス１１０を有し得る。

【0015】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３４およびデータ１３２が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読出し専用メモリなどの電子デバイスを使って読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含み得、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

【0016】

命令１３４は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の一連の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶され得る。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされる独立したソースコードモジュールのスクリプトもしくはコレクションを含む、いずれかの他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

【0017】

データ１３２は、命令１３４に従ってプロセッサ１２０によって検索、記憶、または修正され得る。例えば、特許請求された主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶され得る。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされ得る。

【0018】

１つ以上のプロセッサ１２０は、市販されているＣＰＵまたはＧＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。

【0019】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロフォン）、様々な電子ディスプレイ（例えば、スクリーン、または情報を表示するように動作可能であるいずれかの他の電気デバイスを有するモニタ）などのコンピューティングデバイスと接続して通常使用される全ての構成要素であってもよい。この例では、車両は、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含み、情報または音響映像体験を提供する。この点について、内部電子ディスプレイ１５２は、車両１００の車室内に配置され得、コンピューティングデバイス１１０によって使用されて、車両１００内の乗員に情報を提供し得る。

【0020】

コンピューティングデバイス１１０はまた、１つ以上の無線ネットワーク接続１５６も含み、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスとの通信を容易にすることができる。無線ネットワーク接続には、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに上記の様々な組み合わせが含まれ得る。

【0021】

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。この自律運転コンピューティングシステムは、自律運転モードにおいて車両を制御するために車両の様々な構成要素と通信することが可能であってもよい。例えば、図１に戻ると、コンピューティングデバイス１１０は、自律運転モードにおいて、メモリ１３０の命令１３４に従って車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、プランナシステム１６８、測位システム１７０、および認知システム１７２など、車両１００の様々なシステムと通信し得る。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転計算システムとして再度、コンピューティングデバイス１１０の中に組み込まれ得る。

【0022】

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と情報をやり取りし得る。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両を旋回させるための車輪の角度を制御する構成要素を含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、他の運転手または車両に車両の意図を伝えるために、コンピューティングデバイス１１０によって使用され得る。

【0023】

プランナシステム１６８は、ある位置までのルートを判定して、従うために、コンピューティングデバイス１１０によって使用され得る。これに関して、プランナシステム１６８および／またはデータ１３２は、詳細な地図情報、例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、交通信号、建物、標識、リアルタイムの交通情報、停車スポットの植物、または他のそのような物体および情報を識別する非常に詳細な地図を記憶することができる。

【0024】

図２は、交差点２０２および２０４を含む、車道の区分に関する地図情報２００の実施例である。地図情報２００は、コンピューティングデバイス１１０のメモリ１３０に格納された地図情報のローカルバージョンでもよい。地図情報の他のバージョンもまた、以下でさらに考察される記憶システム４５０に記憶し得る。この例では、地図情報２００は、車線境界線２１０、２１２、２１４、信号機２２０、２２２、停止線２２４、横断歩道２３０、歩道２４０、一時停止標識２５０、２５２、および譲れの標識２６０の形状、位置、ならびに他の特徴を識別する情報を含む。これに関して、地図情報は、信号機２２０、２２２の３次元（３Ｄ）位置、ならびにこれらの信号機によって制御される車線を識別する情報を含む。例えば、信号機２２０は、道路区間２１８に対応する車線２１６によって制御し得る。明確かつ単純にするために道路区間２１８のみが示されているが、地図情報２００は、地図情報の運転可能な全ての領域の道路区間を含み得る。本明細書では、地図情報は、画像ベースの地図として図示されているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスタ）。例えば、地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、および道路区分で表し得るこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの実施例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。

【0025】

測位システム１７０は、地図上または地球上での車両の相対または絶対位置を判別するコンピューティングデバイス１１０によって使用され得る。例えば、測位システム１７０は、デバイスの緯度、経度、および／または高度の位置を判別するためのＧＰＳ受信機を含み得る。レーザを利用した位置特定システム、慣性支援ＧＰＳ、またはカメラを利用した位置特定などの他の位置特定システムも、車両の位置を特定するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれ得、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで判定することができる。

【0026】

測位システム１７０はまた、車両の方向および速度、またはそれらの変化を判別するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、コンピューティングデバイス１１０と通信する他のデバイスも含むことができる。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判別し得る。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

【0027】

知覚システム１７２はまた、他の車両、道路内の障害物、交通信号、標識、樹木などの車両の外部にある対象物を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、レーザ、ソナー、レーダー、カメラ、および／またはコンピューティングデバイス１１０が処理することができるデータを記録する任意の他の検出デバイスを含んでもよい。車両がミニバンなどの搭乗者車両である場合には、ミニバンは、屋根または他の都合の良い場所に搭載されるレーザまたは他のセンサを含んでもよい。例えば、図３は、車両１００の例示的な外観図である。この例では、屋根上にある筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサ、ならびに各種のカメラおよびレーダーユニットを含んでもよい。加えて、車両１００の前端部に位置する筐体３２０、ならびに車両の運転者側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを記憶し得る。例えば、筐体３３０は、運転者ドア３６０の前部に位置している。車両１００はまた、車両１００のルーフ上にまた位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、および／または屋根もしくは屋根上にある筐体３１０に沿った他の位置に設置され得る。

【0028】

一例では、コンピューティングデバイス１１０は、自律運転コンピューティングシステムの制御コンピューティングデバイスであり得るか、または車両１００に組み込まれ得る。この自律運転コンピューティングシステムは、メモリ１３０のプライマリ車両制御コードに従って車両１００の動きを制御するために、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３４に従って、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、プランナシステム１６８、測位システム１７０、認知システム１７２、および動力系１７４（すなわち、車両のエンジンまたはモータ）など、車両１００の様々なシステムと通信し得る。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されるが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとして再度、コンピューティングデバイス１１０の中に組み込まれ得る。

【0029】

車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自律車両制御ソフトウェアを使用して機能し得る。一例として、認知システム１７２の認知システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどの自律車両の１つ以上のセンサによって生成されたセンサデータを使用して、物体およびその特徴を検出および識別することができる。これらの特徴には、位置、タイプ、進行方向、配向、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、オブジェクトタイプに基づいて様々な動作モデルを使用する動作予測システムソフトウェアモジュールに特徴を入力して、検出されたオブジェクトの予測される将来の動作を出力する。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに、車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、建設ゾーンまたはオブジェクトが緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および配向を識別する測位システム１７０からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランナシステム１６８のプランナシステムソフトウェアモジュールに入力し得る。プランニングシステムおよび／またはコンピューティングデバイス１１０は、この入力を使用して、車両が将来のある短い期間にわたってたどるルートおよび軌道を生成し得る。コンピューティングデバイス１１０の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成し得る。

【0030】

コンピューティングデバイス１１０は、様々な構成要素を制御することによって、車両の方向および速度を制御し得る。例として、コンピューティングデバイス１１０は、詳細な地図情報およびプランナシステム１６８からのデータを使用して、車両を目的の位置に完全に自律的にナビゲートすることができる。コンピューティングデバイス１１０は、測位システム１７０を使用して車両の位置を判別し、その位置に安全に到着する必要がある場合には、知覚システム１７２を使用して対象物を検出して応答することができる。ここでも、そのために、コンピューティングデバイス１１０は、軌道を生成し、車両にこれらの軌道を追従させ、（例えば、加速システム１６２により、エンジンまたは動力系１７４に燃料または他のエネルギーを供給することによって）車両を加速させ、（例えば、エンジンまたは動力系１７４に供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向変換させ、（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）そのような変更を信号通知することができる。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。再び、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両のドライブトレインを制御することもできる。

【0031】

車両１００のコンピューティングデバイス１１０はまた、輸送サービスの一部であるコンピューティングデバイスならびに他のコンピューティングデバイスのような他のコンピューティングデバイスとの間で情報を受信または転送することもできる。図４および図５は、それぞれ、例示的なシステム４００のイラスト図および機能図であり、システムは、ネットワーク４６０を介して接続された複数のコンピューティングデバイス４１０、４２０、４３０、４４０、および記憶システム４５０を含む。システム４００は、車両１００、および車両１００と同じまたは同様に構成され得る車両１００Ａ、１００Ｂも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、通常のシステムは、これよりもはるかに多くのものを含み得る。

【0032】

図４に示されるように、コンピューティングデバイス４１０、４２０、４３０、４４０の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含み得る。そのようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、メモリ１３０、データ１３２、および命令１３４と同様に構成され得る。

【0033】

ネットワーク４６０および仲介ノードは、Ｂｌｕｅｔｏｏｔｈ、ＢｌｕｅｔｏｏｔｈＬＥ、インターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰ、ならびに上記の様々な組み合わせなどの短距離通信プロトコルを含む様々な構成およびプロトコルを含んでもよい。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送受信することができるいずれかのデバイスによって容易に行われ得る。

【0034】

一例では、１つ以上のコンピューティングデバイス１１０は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する、例えば、負荷分散サーバファームなど、複数のコンピューティングデバイスを有する１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、１つ以上のコンピューティングデバイス４１０は、ネットワーク４６０を介して、車両１００のコンピューティングデバイス１１０、または車両１００Ａ、１００Ｂの同様のコンピューティングデバイス、ならびにコンピューティングデバイス４２０、４３０、４４０と通信可能な１つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両１００、１００Ａ、１００Ｂは、サーバコンピューティングデバイス４１０からの情報を送信および受信することができる車両隊の一部でもよい。加えて、サーバコンピューティングデバイス４１０は、ネットワーク４６０を使用して、コンピューティングデバイス４２０、４３０、４４０のディスプレイ４２４、４３４、４４４のようなディスプレイ上に、ユーザ４２２、４３２、４４２などのユーザに情報を送信および提示し得る。この点について、コンピューティングデバイス４２０、４３０、４４０は、クライアントコンピューティングデバイスとみなされ得る。

【0035】

図４に示すように、各クライアントコンピューティングデバイス４２０、４３０、４４０は、ユーザ４２２、４３２、４４２が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、１つ以上のプロセッサ（例えば、中央処理装置（ＣＰＵ））、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ４２４、４３４、４４４などのディスプレイ（例えば、画面を有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス）、ならびにユーザ入力デバイス４２６、４３６、４４６（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフフォン）を含む、パーソナルコンピューティングデバイスと接続して通常使用される全ての構成要素を有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用される全ての構成要素を含み得る。

【0036】

クライアントコンピューティングデバイス４２０、４３０、および４４０は、各々、フルサイズのパーソナルコンピューティングデバイスを含んでもよいが、代替的に、インターネットなどのネットワークを介してサーバとデータを無線で交換することが可能であるモバイルコンピューティングデバイスを含んでもよい。ほんの一例として、クライアントコンピューティングデバイス４２０は、携帯電話、または無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックであってもよい。別の例では、クライアントコンピューティングデバイス４３０は、図４に示されるように、腕時計として示されるウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いる映像信号、またはタッチスクリーンを使用して、情報を入力し得る。

【0037】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み出し専用メモリなどの、サーバコンピューティングデバイス４１０によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。さらに、記憶システム４５０は、データが、同じまたは異なる地理的位置に物理的に設置され得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム４５０は、図４および図５に示すように、ネットワーク４６０を介してコンピューティングデバイスに接続され得、かつ／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続されるか、もしくは組み込まれ得る。

【0038】

記憶システム４５０は、以下でより詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載する特徴のうちのいくつかまたは全てを実行するために、１つ以上のサーバコンピューティングデバイスなどのサーバコンピューティングデバイスによって検索、さもなければアクセスし得る。この情報は、本明細書で記載する特徴のうちのいくつかまたは全てを実行するために、１つ以上のサーバコンピューティングデバイス４１０などのサーバコンピューティングデバイスによって検索または別様にアクセスされ得る。

【0039】

例えば、記憶システム４５０は、車両１００の認知システム１７２などのような車両の認知システムによってキャプチャされたセンサデータを記憶し得る。このセンサデータは、複数の画像４７２を含み得る。この複数の画像は、これらの画像に現れる可能性のある標識の、最も関連性のあるコンテキストおよび配向を提供するために、自律車両の認知システムによってキャプチャされた画像を含み得る。例えば、複数の画像は、静止カメラおよび／またはビデオカメラによって、または車両１００または１００Ａなどの１つ以上の車両に取り付けられ、ネットワーク４６０を介してアップロードされるか、さもなければ記憶のために記憶システム４５０に送られる他のセンサでキャプチャされた画像またはフレームでもよい。したがって、画像は、カメラまたは車両の認知システムの視野から、道路および様々な物体の認知を正確に反映し得る。これらの画像の少なくとも一部は、以下でさらに説明するように、ラベルおよび他の情報に関連付けられ得る。

【0040】

各画像は、画像がキャプチャされた位置および配向を識別する位置情報、および／または他の画像との比較および／または画像と同時に認知システム１７２のＬＩＤＡＲセンサによってキャプチャされたＬＩＤＡＲセンサデータから判定された画像内の様々な表面の地理情報など、より詳細な情報に関連付けられ得る。例えば、ＬＩＤＡＲセンサデータは、ＬＩＤＡＲセンサによって生成された光が反射されてＬＩＤＡＲセンサに戻る表面の位置および強度（または反射率）に対応するデータポイントを含み得る。この情報は、カメラ画像内のこれらの表面の対応を判定するために使用され得る。

【0041】

記憶システム４５０および車両１００のデータ１３２には、１つ以上のモデル４７０ならびにそのような各モデルのモデルパラメータ値４７４を記憶し得る。例えば、記憶システムは、関心対象の車線の状態を判定するための１つ以上のモデルを記憶し得る。モデル４７０は、ニューラルネットワーク、ディープニューラルネットワーク、判定木、ブースティングツリーなどなどの分類子を含み得る。さらに、記憶システム４５０は、さらに下記に考察されるように、モデルをトレーニングするために使用できるトレーニングサブシステム４７６を含み得る。

【0042】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み取り専用メモリなどの、サーバコンピューティングデバイス４１０によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ記憶装置であり得る。さらに、記憶システム４５０は、データが、同じまたは異なる地理的位置に物理的に設置され得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム４５０は、図４に示されるようにネットワーク４６０を介してコンピューティングデバイスに接続され得、および／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続または組み込まれ得る。

【0043】

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理され得、ステップもまた、追加または省略され得る。

【0044】

１つ以上のモデル４７０のうちの１つのモデルを使用して信号機を識別することができるようにするために、そのモデルは、最初に「オフライン」で、すなわち、事前におよび／またはリモートコンピューティングデバイスでトレーニングされ、その後、ネットワーク４６０および無線ネットワーク接続１５６を介して車両１００に送られ得る。例えば、１つ以上のサーバコンピューティングデバイス４１０は、最初に記憶システム４５０からトレーニングデータを検索することによって、モデルパラメータ値４７４を生成することができる。

【0045】

例えば、１つ以上のサーバコンピューティングデバイス４１０は、画像のセットを検索し得る。上記のように、これらの画像は、図２の交差点２０２などの信号機によって制御される地図情報の交差点から所定の距離にあり、交差点に向けられている画像など、信号機が見える可能性が高い位置に対応する記憶システム４５０の複数の画像４７２を含み得る。例えば、カメラが信号機の識別の距離内にあり、信号機の方を向いている、車両１００などの車両に取り付けられたカメラまたは他のセンサによってキャプチャされた画像を取得および／またはセットに含めることができる。いくつかの例では、部分的に遮蔽された、または完全に遮蔽された信号機を含む画像は、検索されないか、および／またはセットに含まれない場合がある。他の例では、閉塞された信号機を含む画像が検索され、セットに含まれて、各画像が部分的または完全に閉塞された信号機を含むかどうか、および信号機の状態が部分的に閉塞された信号機の画像から判定できるかどうかを判定または予測するために使用し得る。いくつかの例では、遮蔽された画像が信号機の状態を判定するのに十分な信号機のビューを含むかどうかの予測は、モデル４７０を使用して実行することができる。他の例では、別のモデル（図示せず）を使用して、信号機が見える可能性が高い画像のセットに含まれる信号機の状態を判定するのに十分な信号機のビューを備えた遮蔽画像を示す出力を提供することができる。図６は、車両が地図情報の交差点２０２に接近するときに、車両１００の認知システム１７２のカメラによってキャプチャされた例示的なカメラ画像６００である。この例では、信号機６２０と交差点６３０および車線６４０の一部がカメラ画像６００にキャプチャされている。このカメラ画像をモデルの初期トレーニングデータを生成するために処理して使用できる。

【0046】

上記のように、記憶システムの画像は、画像がキャプチャされた位置および配向を識別する情報に関連付けられ得る。例えば、図７は、交差点７０２および７０４を含む道路７００の区画で操縦されている車両１００を示す。図７の例では、交差点７０２および７０４は、それぞれ地図情報２００の交差点２０２および２０４に対応する。この例では、車線境界線７１０、７１２、および７１４は、車線境界線２１０、２１２、および２１４の形状、位置、および他の特徴にそれぞれ対応する。同様に、横断歩道７３０は、横断歩道２３０の形状、位置、および他の特徴にそれぞれ対応し、歩道７４０は、歩道２４０に対応し、交通信号灯７２０、７２２は、交通信号燈２２０、２２２にそれぞれ対応し、一時停止標識７５０、７５２は、一時停止標識２５０、２５２にそれぞれ対応し、譲れの標識７６０は、譲れの標識２６０に対応する。車両１００は、画像６００がキャプチャされた位置および配向で交差点７０２に接近している。これに関して、画像６００は、記憶システム４５０から検索され、画像のセットに含まれ得る。

【0047】

モデルの初期トレーニングデータは、様々な方法で画像のセットから生成できる。例えば、人間のオペレータは、画像を確認し、信号機の周囲に境界ボックスを描画し、信号機の状態を識別することによって、信号機の画像ならびに信号機の状態にラベル付けし得る。加えて、または代替的に、既存のモデルまたは画像処理技術を使用して、信号機の画像ならびに信号機の状態にラベル付けし得る。上記のように、車両１００は、地図情報２００で識別されたものなどの事前の位置に基づいて既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュールを利用し得る。このソフトウェアモジュールは、信号機の位置とその状態を検出するために使用し得る。例えば、地図情報で識別された信号機の３次元位置は、車両の認知システムによってキャプチャされた画像に投影され得る。

【0048】

例えば、信号機２２０の３次元位置は、図８に示されるように画像６００に投影され得る。次いで、画像内のこの投影８１０の領域を処理して、画像６００内の信号機の状態を判定し得る。したがって、図９を参照すると、画像６００のラベル９１０は、信号機２２０の３次元位置（地図情報２００から）および／または信号機６２０の２次元位置（投影の領域８１０から）を含んで生成し得る。

【0049】

次いで、投影の領域を処理して、信号機の状態を判断するために、色および／または形状（丸い緑、矢印、緑など）を識別し得る。この情報使用して、信号機によって制御される車線の状態を識別する画像に対する第２のラベルを生成し得る。信号機で制御される車線には、様々な状態があってもよい。例えば、車線には、「進め」または「前進」（緑）、「停止」（赤）、前進する前に「停止」（「赤く点滅」）、「注意」または「譲れ」（黄色または黄色に点滅）、「左折可」（左折車線へ進めの変形）、「右折可」（右折車線へ進めの変形）などのような状態を有し得る。これに関して、図９に戻ると、ラベル９２０は、画像６００から判定される信号機６２０の状態を含み得る。

【0050】

トレーニングデータは、車線情報も含み得る。例えば、識別の信号機の２次元または３次元位置を識別するラベルは、その信号機によって制御される車線を識別することもできる。これは、画像内のラベル付き信号機によって制御される地図情報で提供されるように、車線の位置、例えば車線の中心をその画像に描画または投影することによって達成することができる。投影することは、３次元世界座標から画像座標への既知の３次元変換を使用して達成することができる。例えば、地図情報２００は、信号機２２０が車線２１６に対応する道路区間２１８を制御することを識別し得る。図１０を参照すると、この車線の領域または道路区間の形状を画像６００に投影して、投影線１０１０または第２の投影１０２０の領域を判定し得る。次いで、この投影、例えば、線または領域のいずれか、および場合によっては、画像内の信号機６２０からの距離および方向を使用して、例えば、関心対象の車線の位置を着色、さもなければ識別するラベル１０３０を生成し得る。したがって、ラベル１０３０は、関心対象の車線、ここでは車線６４０および／または道路区間２１８を識別する。

【0051】

代替的に、画像に別のラベルを適用する代わりに、追加の画像を生成することができる。例えば、同じ画像を処理して、車線、またはむしろ、白などのある色で投影の領域を強調表示し、画像の残りの部分を黒などの別の色で描写することができる。当然のことながら、関心対象の車線を識別する任意の数の異なる方法が存在する。

【0052】

これに関して、画像および関心対象の車線（通常、車両が現在運転している車線）が与えられると、モデルが、画像内の信号機の状態ではなく、車線の状態を出力するようにトレーニングし得る。例えば、画像６００などのラベル付けされた画像およびラベル９１０、９２０、および１０３０を使用して、モデルをトレーニングしても、またはむしろ、モデルパラメータ４７４を生成し得る。一例として、画像６００およびラベル１０３０などの信号機の関心対象の車線の位置を識別する画像およびラベルを、トレーニング入力として提供され得、ラベル９１０および９２０などのような、車線の状態および信号機の２次元または３次元位置、および関心対象の車線と信号機との間の関係を識別するラベルを、対応するトレーニング出力として提供され得る。この点に関して、モデルはまた、関心対象の車線に対応する１つ以上の信号機、ならびにその信号機と関心対象の車線との間の関係を識別するようにトレーニングし得る。モデルをトレーニングするために使用される画像およびラベルが多ければ多いほど、モデルパラメータ２７４はより正確になり得る。同時に、モデルのトレーニングに使用される画像とラベルが多いほど、モデルが関心対象の車線の状態をより良好に予測する。

【0053】

場合によっては、モデルを、アクティブ要素と非アクティブ要素の両方、および／または信号機の構成を識別するようにトレーニングし得る。例えば、トレーニングデータは、信号燈のどのライトが点灯および消灯し得るか、および／または信号機の要素の数（例えば、赤、緑、黄色、緑に変わるなどのライトの数）を識別し得る。

【0054】

場合によっては、モデル、関心対象の車線の停止線と停止線までの距離も識別するようにトレーニングし得る。言い換えれば、画像は、ここでも、画像に投影され、地図情報で以前に識別された停止線でラベル付けし得る。例えば、図１１を参照すると、画像６００はまた、投影領域１１１０によって示されるように、停止線２２４の位置を画像６００に投影することによって処理され得る。次いで、その位置を含むこの投影１１１０の領域、および場合によっては画像内の信号機６２０からの距離および方向を使用して、モデルをトレーニングするためのトレーニング出力として使用できる別のラベルを生成し得る。結果として、モデルはまた、車両のコンピューティングデバイスに、車両が信号機にどのように応答すべきかについてのより多くの情報を提供しながら、停止線の位置および距離情報を提供するようにトレーニングし得る。

【0055】

追加的に、または代替的に、モデルは、時間の経過とともにキャプチャされた同じ信号機の画像を使用してトレーニングし得る。この点で、モデルはリカレントニューラルネットワークでよく、または長期短期記憶ニューラルネットワークでもよい。例えば、時間の経過とともに、信号機７２０の状態は変化し、異なる時間にキャプチャされた画像では異なって見えるであろう。これ、ならびに、信号機のパターンに関するいくつかのヒューリスティックを使用して、信号機（および車線）の検出された状態を判定または確認し得る。例えば、信号機が緑の場合、信号機の次の色は赤とは限らない。したがって、信号機の状態間の時間的一貫性が強化されるように、車線状態が判定され得る。これは、モデルが赤や黄色のライトの点滅など、ライトの動的状態に関する情報を提供するのにも役立つ。

【0056】

図１２は、モデルを、関心対象の車線の車線状態を識別するために、サーバコンピューティングデバイス４１０のプロセッサなどの１つ以上のコンピューティングデバイスのうちの１つ以上のプロセッサによって実行され得る、本開示の態様による例示的なフロー図１２００である。例えば、ブロック１２１０において、少なくとも１つの信号機、少なくとも１つの信号機の状態、および少なくとも１つの信号機によって制御される車線を識別する画像および関連付けられたラベルを含む画像データが受信される。上記のように、これらのラベルは、様々な方法で生成され得る。ブロック１２２０で、モデルは、画像データを使用して、モデルが画像およびその画像に含まれる関心対象の車線を受信することに応答して、関心対象の車線の車線状態を出力するように構成されるようにトレーニングされる。

【0057】

次いで、モデルは、１台以上の車両のコンピューティングデバイスが、情報に基づいたより良好な運転決定を行うことを可能にするために、それらの車両に提供され得る。例えば、モデル４７０およびモデルパラメータ値４７４は、例えば、ネットワーク４６０を介して、またはそうでなければこの情報をコンピューティングデバイス１１０にロードすることによって、車両１００のコンピューティングデバイス１１０に送信され得る。次いで、この情報は、コンピューティングデバイスがモデルを使用して車両１００の運転決定を行うことを可能にするために、コンピューティングデバイス１１０のメモリ１３０に格納され得る。

【0058】

次いで、トレーニングされたモデルを使用して、車両が信号機を検出して応答するのを支援し得る。例えば、車両１００の認知システム１７２などの車両の認知システムのカメラによってキャプチャされた画像は、関心対象の車線とともにモデルに入力され得る。この関心対象の車線は、モデルへの入力としてコンピューティングデバイス１１０によって識別され得、車両が現在運転している車線および／または車両が将来のある時点で横断するであろう道路区間であり得る。したがって、場合によっては、モデルは、関心対象の車線が常に車が現在入っている車線であると仮定し、特に入力として関心対象の車線の指定を必要とせずにカメラ画像だけに基づいてその車線の状態を予測するようにモデルをトレーニングされ得る。他の例では、関心対象の車線は、隣接する車線（曲がる車線など）、または反対車線または交差車線であり得る。これは、コンピューティングデバイス１１０がそれらの車線の交通によりよく応答するのを助けるだけでなく、車両が現在運転している車線の状態をよりよく評価するのを助けることができる。次いで、関心対象の車線と画像が、モデルに入力され得る。

【0059】

場合によっては、コンピューティングデバイス１１０などの車両のコンピューティングデバイスは、画像に関心対象の車線でラベル付けし得る。そうするために、コンピューティングデバイス１１０は、例えば、上記の技術のいずれかを使用して、画像内の関心対象の車線を識別するラベルを生成する。したがって、ラベル付けされた画像、またはむしろ画像とラベルをモデルに入力し得る。

【0060】

モデルの出力は、関心対象の車線の状態と画像内の対応する信号機を提供し得る。この状態は、車両が現在運転している車線の状態を判定するために、を車両のコンピューティングデバイス２２０で使用され得る。車両は、次いで、関心対象の車線の状態に応じて、自律運転モード（上記で説明したように）で制御し得る。これに関して、コンピューティングデバイス１１０は、前進、停止、または注意しながら前進するために車両を制御することができる。言い換えれば、出力は、信号機に応答するかどうか、およびどのように応答するかを判定するために使用され得る。

【0061】

モデルは、「フルタイム」で使用され得る、つまり、画像から車線の状態を継続的に検出して、マッピングされていない、または車線状態をマッピングされた信号機からも識別し得る。代替的に、モデルを、マッピングされていない、さもなければ、変更された領域（ある程度まで、地図情報とは異なる領域）をバックアップシステムとして使用して、車線状態を識別し得る。言い換えれば、画像とラベルが入力され、画像は、車両が地図情報に含まれない領域に位置している場合のみ、および／または車両が、地図情報のローカルバージョンで最新でない領域に位置している場合にのみ、モデルに入力される。これにより、リモートオペレーターに支援を要求する必要がなくなる場合がある。

【0062】

このモデルを使用して、車両の様々なシステムの動作を確認し得る。例えば、通常、交差点には２つ以上の信号機がある。第２の信号機が見え、さらに、同じ関心対象の車線に接続されている場合は、各信号機から判定されたその車線の状態を比較して、一貫性を確保し得る。これにより、車両は認知システムの問題を識別し、必要に応じて支援を要求できるようになる。

【0063】

図１３は、自律運転モードにおいて、関心対象の車線の車線状態を判定し、車両１００のような車両を制御するために、コンピューティングデバイス１１０のプロセッサ１２０のような、１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実行可能な、本開示の態様による例示のフロー図１３００である。ブロック１３１０で、車両の認知システムによって生成される画像が受信される。ブロック１４２０で、関心対象の車線が識別される。ブロック１３３０において、画像および関心対象の車線を、画像内の信号機の状態に従って関心対象の車線の状態を出力するモデルへの入力として使用する。ブロック１３４０において、車両は、関心対象の車線の状態に基づいて自律運転モードで制御される。

【0064】

本明細書に記載の特徴は、自律車両が、信号機を事前に識別することを必要とせず、あるいはむしろ、車両の地図情報にすでに格納されていなくても、リアルタイムで信号機を検出して応答することを可能にし得る。これは、マッピングされていないエリアや、地図が正しくないか最新でないエリアで特に有用であり得る。

【0065】

別段の記載がない限り、前述の代替的な例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装され得る。上で考察される特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】