特表 2022-510312 未知の標識の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-26

(54)【発明の名称】未知の標識の検出

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220119BHJP

   B60W 40/02 20060101ALI20220119BHJP

【ＦＩ】

G08G1/16 A

B60W40/02

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021531096

(86)(22)【出願日】2019-12-09

(85)【翻訳文提出日】2021-07-16

(86)【国際出願番号】 US2019065189

(87)【国際公開番号】W WO2020123360

(87)【国際公開日】2020-06-18

(31)【優先権主張番号】16/220,225

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】シュー，ジューナン

(72)【発明者】

【氏名】カブカブ，マヤ

(72)【発明者】

【氏名】ウー，チェン

(72)【発明者】

【氏名】コウ，ウージョン

【テーマコード（参考）】

3D241

5H181

【Ｆターム（参考）】

3D241CE01

3D241CE02

3D241CE04

3D241CE05

3D241DC39A

5H181AA01

5H181BB04

5H181BB05

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF10

5H181FF13

5H181FF25

5H181FF27

5H181FF33

5H181LL09

5H181LL14

5H181MC15

5H181MC19

5H181MC27

(57)【要約】

本開示の態様は、未知の標識１０５３の標識タイプを判定することに関する。システムは、１つ以上のプロセッサ１２０を含み得る。１つ以上のプロセッサは、画像を受信し、画像内の交通標識に対応する画像データを識別するように構成され得る。交通標識に対応する画像データは、標識タイプモデル４７０に入力され得る。プロセッサは、標識タイプモデルが交通標識のタイプを識別できなかったと判定し、交通標識の１つ以上の属性を判定し得る。交通標識の１つ以上の属性を他の交通標識の既知の属性と比較し得、この比較に基づいて、交通標識の標識タイプを判定し得る。車両１００は、交通標識の標識タイプに基づいて、自律運転モードで制御されてもよい。
【選択図】図７

【特許請求の範囲】

【請求項1】

未知の標識の標識タイプを判定する方法であって、
１つ以上のプロセッサによって、車両の認知システムによって生成された画像を受信することと、
前記１つ以上のプロセッサによって、前記画像内の交通標識に対応する画像データを識別することと、
前記１つ以上のプロセッサによって、前記交通標識に対応する前記画像データを標識タイプモデルに入力することと、
前記１つ以上のプロセッサによって、前記標識タイプモデルが前記交通標識のタイプを識別できなかったことを判定することと、
前記１つ以上のプロセッサによって、前記交通標識の１つ以上の属性を判定することと、
前記１つ以上のプロセッサによって、前記交通標識の前記１つ以上の属性を他の交通標識の既知の属性と比較することと、
前記１つ以上のプロセッサによって、前記交通標識の前記１つ以上の属性の前記比較に基づいて、前記交通標識の標識タイプを判定することと、
前記１つ以上のプロセッサによって、前記交通標識の前記標識タイプに基づいて自律運転モードで前記車両を制御することと、を含む、方法。

【請求項2】

他の交通標識の前記既知の属性が、１対多のデータ構造に格納される、請求項１に記載の方法。

【請求項3】

前記標識タイプモデルが前記交通標識のタイプを識別できないことが、前記モデルが前記交通標識の前記標識タイプを最低信頼レベルまで識別できないことを含む、請求項１に記載の方法。

【請求項4】

前記交通標識の前記１つ以上の属性が、画像処理技術を使用して判定される、請求項１に記載の方法。

【請求項5】

前記属性が、標識タイプ、色、形状、反射係数、配置、テキスト、図形、または付属品のうちの１つ以上を含む、請求項１に記載の方法。

【請求項6】

前記交通標識の前記１つ以上の属性を他の交通標識の既知の属性と比較することによって、前記交通標識の内容を判定することをさらに含む、請求項１に記載の方法。

【請求項7】

前記交通標識の前記内容が、情報提供的または指示的なものである、請求項６に記載の方法。

【請求項8】

前記交通標識の前記標識タイプが、規制、警告、誘導、サービス、レクリエーション、工事、または学校区域のうちの１つ以上を含む、請求項１に記載の方法。

【請求項9】

前記交通標識の前記標識タイプに基づいて自律運転モードで前記車両を制御することが、前記交通標識の前記標識タイプに基づいて何の行動も取らないことを含む、請求項７に記載の方法。

【請求項10】

前記交通標識の前記標識タイプに基づいて自律運転モードで前記車両を制御することが、
前記交通標識の内容が行動を指示するものであると判定することと、
前記行動を実行することと、を含む、請求項１に記載の方法。

【請求項11】

未知の標識の標識タイプを判定するためのシステムであって、前記システムが、
１つ以上のプロセッサを含み、前記１つ以上のプロセッサが、
車両の認知システムによって生成された画像を受信することと、
前記画像内の交通標識に対応する画像データを識別することと、
前記交通標識に対応する前記画像データを標識タイプモデルに入力することと、
前記標識タイプモデルが、前記交通標識の前記１つ以上の属性を判定する前記交通標識のタイプを識別できなかったことを判定することと、
前記交通標識の前記１つ以上の属性を他の交通標識の既知の属性と比較することと、
前記交通標識の前記１つ以上の属性の前記比較に基づいて、前記交通標識の標識タイプを判定することと、
前記交通標識の前記標識タイプに基づいて、自律運転モードで前記車両を制御することと、を行うように構成される、システム。

【請求項12】

他の交通標識の前記既知の属性が、１対多のデータ構造に格納される、請求項１１に記載のシステム。

【請求項13】

他の交通標識の前記既知の属性が、オペレータによって、および／または画像処理技術を使用することによって、手動でラベル付けされる、請求項１１に記載のシステム。

【請求項14】

前記交通標識の前記１つ以上の属性が、画像処理技術を使用して判定される、請求項１１に記載のシステム。

【請求項15】

前記属性が、標識タイプ、色、形状、反射係数、配置、テキスト、図形、または付属品のうちの１つ以上を含む、請求項１１に記載のシステム。

【請求項16】

前記１つ以上のプロセッサが、前記交通標識の前記１つ以上の属性を他の交通標識の既知の属性と比較することによって、前記交通標識の内容を判定するようにさらに構成されている、請求項１１に記載のシステム。

【請求項17】

前記交通標識の前記内容が、情報提供的または指示的なものである、請求項１６に記載のシステム。

【請求項18】

前記交通標識の前記標識タイプに基づいて自律運転モードで前記車両を制御することが、前記標識タイプに基づいて何の行動も取らないことを含む、請求項１７に記載のシステム。

【請求項19】

前記交通標識の前記標識タイプに基づいて自律運転モードで前記車両を制御することが、
前記交通標識の内容が行動を指示するものであると判定することと、
前記行動を実行することと、を含む、請求項１８に記載のシステム。

【請求項20】

前記システムが、前記車両を含む、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年１２月１４日に出願された出願番号第１６／２２０，２２５号の利点を主張し、その開示は参照により本明細書に組み込まれている。

【背景技術】

【0002】

ある位置から別の位置への乗客または物品の輸送を支援するために、自律運転モードで動作させるとき、人間の運転手を必要としない車両などの自律車両を使用することができる。自律車両の重要な構成要素は、カメラ、レーダー、ＬＩＤＡＲセンサなどのセンサ、および他の同様のデバイスを使用して車両がその周囲を認知し、解釈することを可能にする認知システムである。例えば、認知システムおよび／または車両のコンピューティングデバイスは、これらのセンサからのデータを処理して、物体、ならびに位置、形状、サイズ、方位、加速または減速、速度、タイプなどのようなそれらの特性を識別することができる。この情報は、車両のコンピューティングシステムが車両の適切な運転決定を行うために重要である。

【発明の概要】

【0003】

本開示の態様は、未知の標識の標識タイプを判定するための方法を証明する。この方法は、１つ以上のプロセッサによって、車両の認知システムによって生成された画像を受信することと、１つ以上のプロセッサによって、画像内の交通標識に対応する画像データを識別することと、１つ以上のプロセッサによって、交通標識に対応する画像データを標識タイプモデルに入力することと、１つ以上のプロセッサによって、標識タイプモデルが交通標識のタイプを識別できなかったことを判定することと、１つ以上のプロセッサによって、交通標識の１つ以上の属性を判定することと、１つ以上のプロセッサによって、交通標識の１つ以上の属性を他の交通標識の既知の属性と比較することと、１つ以上のプロセッサによって、交通標識の１つ以上の属性の比較に基づいて、交通標識の標識タイプを判定することと、１つ以上のプロセッサによって、交通標識の標識タイプに基づいて自律運転モードで車両を制御することと、を含み得る。

【0004】

場合によっては、他の交通標識の既知の属性が、１対多のデータ構造に格納され得る。

【0005】

場合によっては、標識タイプモデルが交通標識のタイプを識別できないことが、モデルが交通標識の標識タイプを最低信頼レベルまで識別できないことを含む。

【0006】

場合によっては、交通標識の１つ以上の属性が、画像処理技術を使用して判定される。

【0007】

場合によっては、属性は、標識タイプ、色、形状、反射係数、配置、テキスト、図形、または付属品のうちの１つ以上を含み得る。

【0008】

場合によっては、この方法は、交通標識の１つ以上の属性を他の交通標識の既知の属性と比較することによって、交通標識の内容を判定することをさらに含み得る。いくつかの例では、交通標識の内容は、情報提供的または指示的なものであり得る。いくつかの例では、交通標識の標識タイプに基づいて自律運転モードで車両を制御することは、交通標識の標識タイプに基づいて何の行動も取らないことを含み得る。

【0009】

場合によっては、交通標識の標識タイプは、規制、警告、誘導、サービス、レクリエーション、工事、または学校区域のうちの１つ以上を含み得る。

【0010】

場合によっては、交通標識の標識タイプに基づいて自律運転モードで車両を制御することは、交通標識の内容が行動を指示するものであると判定することと、行動を実行することと、を含み得る。

【0011】

本開示の態様は、未知の標識の標識タイプを判定するためのシステムを提供し得る。システムは、１つ以上のプロセッサであって、１つ以上のプロセッサは、車両の認知システムによって生成された画像を受信することと、画像内の交通標識に対応する画像データを識別することと、交通標識に対応する画像データを標識タイプモデルに入力することと、標識タイプモデルが、交通標識の１つ以上の属性を判定する交通標識のタイプを識別できなかったことを判定することと、交通標識の１つ以上の属性を他の交通標識の既知の属性と比較することと、交通標識の１つ以上の属性の比較に基づいて、交通標識の標識タイプを判定することと、交通標識の標識タイプに基づいて、自律運転モードで車両を制御することと、を行うように構成された、１つ以上のプロセッサを含み得る。

【0012】

場合によっては、他の交通標識の既知の属性が、１対多のデータ構造に格納され得る。

【0013】

場合によっては、他の交通標識の既知の属性は、オペレータによって、および／または画像処理技術を使用することによって、手動でラベル付けされ得る。

【0014】

場合によっては、交通標識の１つ以上の属性は、画像処理技術を使用して判定され得る。

【0015】

場合によっては、属性は、標識タイプ、色、形状、反射係数、配置、テキスト、図形、または付属品のうちの１つ以上を含み得る。

【0016】

場合によっては、１つ以上のプロセッサは、交通標識の１つ以上の属性を他の交通標識の既知の属性と比較することによって、交通標識の内容を判定するようにさらに構成され得る。いくつかの例では、交通標識の内容は、情報提供的または指示的なものである。いくつかの例では、交通標識の標識タイプに基づいて自律運転モードで車両を制御することは、標識タイプに基づいて何の行動も取らないことを含み得る。いくつかの例では、交通標識の標識タイプに基づいて自律運転モードで車両を制御することは、交通標識の内容が行動を指示するものであると判定することと、行動を実行することと、を含み得る。

【0017】

場合によっては、システムは、車両を含み得る。

【図面の簡単な説明】

【0018】

【図1】例示的な実施形態による例示的な車両の機能図である。

【図2】本開示の態様による地図情報の一例である。

【図3】本開示の態様による車両の例示的な外観図である。

【図4】本開示の態様による例示的なシステムのイラスト図である。

【図5】本開示の態様による図４のシステムの機能図である。

【図6】本開示の態様による例示的なカメラ画像である。

【図7】本開示の態様による例示的な画像および対応するラベルである。

【図8】本開示の態様による例示的な画像、および対応するラベルならびに属性である。

【図9】本開示の態様による例示的な画像である。

【図10】本開示の態様による例示的な画像である。

【図11】本開示の態様による例示的なフロー図である。

【図12】本開示の態様による地図情報の例示的なフロー図である。

【発明を実施するための形態】

【0019】

概要
この技術は、自律車両が行動を実行する必要があるかどうかを判定するために交通標識の特性を使用することに関する。人間の運転者は、旅行中に定期的に交通標識に遭遇し、それに反応する。この点において、人間の運転者は、交通標識を観察すると、交通標識に呼応して特定の行動を起こすか、または何の行動も起こさない場合がある。例えば、人間の運転者は一時停止標識を観察して、運転している車両を停止させる可能性がある。別の例では、人間の運転者が休憩所の交通標識を観察し、交通標識の観察に呼応して何の行動も起こさない可能性がある。

【0020】

自律車両は、人間と同じように交通標識を判断する能力を有さないため、交通標識に呼応して行動を起こすときおよび起こさないときも判定する必要がある。この点において、自律車両が使用する地図情報は、特定の交通標識が位置するあるかを示すことができる。例えば、すべての一時停止標識の位置は地図情報内で見つけることができ、自律車両はそれらの位置で停止できる。ただし、交通標識は移動、削除、または異なる標識に置き換えられる可能性があり、それによって地図情報が不正確になる可能性がある。このように、交通標識が検出されない場合、または新しい標識が検出された場合、車両は人間のオペレータに遠隔支援の要求を送信して指示を受信することができ、それによって走行の遅延が発生する。さらに、すべての交通標識をマッピングし、そのような地図情報を最新の状態に保つには、多くのリソースが必要である。

【0021】

これらの問題に対処するために、自律車両は交通標識をリアルタイムで検出し、交通標識とその内容との検出に呼応して取るべき適切な行動を判定することができる。例えば、自律車両の１つ以上のセンサが、車両の近傍の交通標識を検出し得る。自律車両の１つ以上のコンピューティングデバイス、およびそのタイプ、ならびに色、形状、反射係数、配置、テキスト、図形、付属品などのような他の属性などの交通標識の特性によって分析され得る交通標識に対応するセンサデータは、判定され得る。場合によっては、機械学習モデルを使用して、標識タイプの判定を支援し得る。交通標識タイプ、および場合によっては交通標識の他の属性のいくつかに応じて、標識の内容（例えば、指示的な内容、情報提供的な内容など）の判定が行われ得る。標識のタイプおよび内容に基づいて、車両が行動を実行する必要があるかどうかを判定し得る。

【0022】

本明細書に記載の特徴は、自律車両が、交通標識を事前に識別することを必要とせず、またはむしろ、車両の地図情報にすでに格納されていなくても、リアルタイムで交通標識を検出して応答することを可能にし得る。これは、マッピングされていないエリアや、地図が正しくないか最新でないエリアで特に有用であり得る。さらに、本明細書に記載の特徴により、自律車両は、機械学習モデルでは識別することができない、または一時的な標識もしくは手作りの標識など、地図情報内で見つけられない交通標識を識別することができるようになる。このように、自律車両は、未知の標識に対しても行動を起こすべきかどうかを判定できる可能性がある。加えて、標識の内容の検出および識別は、特に新しく識別された標識がマッピングデータに典型的に追加されるタイプのものである場合、未知の標識をマッピングデータに追加するのに役立ち得る。

【0023】

加えて、本明細書に記載の特徴により、車両が標識タイプを検出（すなわち、正常に判定）したが、その内容を判定することができない場合に、人間のオペレータに対して支援の要求を優先することができる。この点において、規制標識など、車両の安全な動作に影響を与える可能性のある未知の標識に車両が遭遇した場合、レクリエーション標識などの車両の安全な動作に影響を与えない未知の標識による支援の要求よりも、人間のオペレータに対する車両の支援の要求が優先され得る。場合によっては、車両が特定の標識タイプを有する未知の標識を検出した場合、支援の要求を行わないことも可能であり、および／または人間のオペレータがそのような要求を無視してもよい。

【0024】

例示的なシステム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス１１０を有し得る。

【0025】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３４およびデータ１３２が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を記憶することができる任意のタイプのメモリであってもよく、それには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読出し専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

【0026】

命令１３４は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の一連の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接的な処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

【0027】

データ１３２は、命令１３４に従ってプロセッサ１２０によって検索、記憶、または修正されてもよい。例えば、特許請求された主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

【0028】

１つ以上のプロセッサ１２０は、市販されているＣＰＵまたはＧＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。

【0029】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロフォン）、および様々な電子ディスプレイ（例えば、スクリーン、または情報を表示するように動作可能である任意の他の電気デバイスを有するモニタ）などのコンピューティングデバイスと接続して通常使用されるすべての構成要素を含み得る。この例では、車両は、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含み、情報または視聴覚体験を提供する。この点について、内部電子ディスプレイ１５２は、車両１００の車室内に位置し得、コンピューティングデバイス１１０によって使用されて、車両１００内の乗員に情報を提供し得る。

【0030】

コンピューティングデバイス１１０はまた、１つ以上の無線ネットワーク接続１５６も含み、以下に詳細に説明するクライアントコンピューティングデバイスおよびサーバコンピューティングデバイスなどの他のコンピューティングデバイスとの通信を容易にすることができる。無線ネットワーク接続には、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈローエネルギー（ＬＥ）、携帯電話接続などの短距離通信プロトコル、ならびにインターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰを含む様々な構成およびプロトコル、ならびに上記の様々な組み合わせが含まれ得る。

【0031】

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、自律運転モードにおいて車両を制御するために車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、自律運転モードにおいて、メモリ１３０の命令１３４に従って車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、プランナシステム１６８、測位システム１７０、および認知システム１７２など、車両１００の様々なシステムと通信し得る。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転計算システムとして再度、コンピューティングデバイス１１０の中に組み込まれ得る。

【0032】

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と情報をやり取りし得る。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両を旋回させるための車輪の角度を制御する構成要素を含んでいてもよい。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、他の運転手または車両に車両の意図を伝えるために、コンピューティングデバイス１１０によって使用され得る。

【0033】

プランニングシステム１６８は、ある位置までのルートを決定して、辿るために、コンピューティングデバイス１１０によって使用され得る。この点において、プランニングシステム１６８および／またはデータ１３２は、詳細な地図情報、例えば、車道の形状および高度、車線境界線、交差点、横断歩道、制限速度、交通信号、建物、標識、リアルタイムの交通情報、停車スポット、植物、または他のそのような物体および情報を識別する非常に詳細な地図を格納し得る。

【0034】

図２は、交差点２０２および２０４を含む、車道の区分に関する地図情報２００の実施例である。地図情報２００は、コンピューティングデバイス１１０のメモリ１３０に格納された地図情報のローカルバージョンでもよい。地図情報の他のバージョンもまた、以下でさらに考察される記憶システム４５０に記憶し得る。この例では、地図情報２００は、車線境界線２１０、２１２、２１４、信号機２２０、２２２、停止線２２４、横断歩道２３０、２３２、歩道２４０、および交通標識２５０、２５２の形状、位置、ならびに他の特性を識別する情報を含む。本明細書では、地図情報は、画像ベースの地図として図示されているが、地図情報は、完全に画像ベースである必要はない。例えば、地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、および道路区分で表し得るこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的位置などの情報と関連付けられ得、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの実施例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。

【0035】

測位システム１７０は、地図上または地球上での車両の相対または絶対位置を判定するコンピューティングデバイス１１０によって使用され得る。例えば、測位システム１７０は、デバイスの緯度、経度、および／または高度の位置を判定するためのＧＰＳ受信機を含んでいてもよい。レーザを利用した位置特定システム、慣性支援ＧＰＳ、またはカメラを利用した位置特定などの他の位置特定システムも、車両の位置を識別するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれてもよく、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで判定することができる。

【0036】

測位システム１７０はまた、車両の方向および速度、またはそれらの変化を判定するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなどの、コンピューティングデバイス１１０と通信する他のデバイスも含むことができる。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

【0037】

知覚システム１７２はまた、他の車両、道路内の障害物、交通信号、標識、樹木などの車両の外部にある対象物を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、レーザ、ソナー、レーダー、カメラ、および／またはコンピューティングデバイス１１０が処理することができるデータを記録する任意の他の検出デバイスを含んでもよい。車両がミニバンなどの搭乗者車両である場合には、ミニバンは、屋根または他の都合の良い位置に搭載されるレーザまたは他のセンサを含んでもよい。例えば、図３は、車両１００の例示的な外観図である。この例では、ルーフ上部筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサ、ならびに様々なカメラおよびレーダーユニットを含み得る。加えて、車両１００の前端部に位置する筐体３２０、ならびに車両の運転者側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを記憶し得る。例えば、筐体３３０は、運転者ドア３６０の前部に位置している。車両１００はまた、車両１００のルーフ上にまた位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、および／または屋根もしくは屋根上にある筐体３１０に沿った他の位置に位置し得る。

【0038】

一例では、コンピューティングデバイス１１０は、自律運転コンピューティングシステムの制御コンピューティングデバイスであり得るか、または車両１００に組み込まれ得る。自律運転コンピューティングシステムは、メモリ１３０のプライマリ車両制御コードに従って車両１００の動きを制御するために、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３４に従って車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、シグナリングシステム１６６、プランニングシステム１６８、測位システム１７０、認知システム１７２、およびパワーシステム１７４（すなわち、車両のエンジンまたはモータ）など、車両１００の様々なシステムと通信し得る。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されるが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとして再度、コンピューティングデバイス１１０の中に組み込まれ得る。

【0039】

車両の様々なシステムは、どのように車両を制御するかを判定するため、および車両を制御するために、自律車両制御ソフトウェアを使用して機能し得る。一例として、認知システム１７２の認知システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどの自律車両の１つ以上のセンサによって生成されたセンサデータを使用して、物体およびその特徴を検出および識別することができる。これらの特性には、位置、タイプ、進行方向、方位、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、物体タイプに基づいて様々な動作モデルを使用する動作予測システムソフトウェアモジュールに特性を入力して、検出された物体の予測された将来の行動を出力する。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、工事ゾーンまたは物体が緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および方位を識別する測位システム１７０からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランニングシステム１６８のプランニングシステムソフトウェアモジュールに入力し得る。プランニングシステムおよび／またはコンピューティングデバイス１１０は、この入力を使用して、車両が将来のある短い期間にわたってたどるルートおよび軌道を生成し得る。コンピューティングデバイス１１０の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成し得る。

【0040】

コンピューティングデバイス１１０は、様々な構成要素を制御することによって、車両を制御し得る。例として、例えば、コンピューティングデバイス１１０は、詳細な地図情報およびプランニングシステム１６８からのデータを使用して、車両を目的地の位置に完全に自律的にナビゲートすることができる。コンピューティングデバイス１１０は、測位システム１７０を使用して車両の位置を判定し、その位置に安全に到着する必要がある場合には、知覚システム１７２を使用して対象物を検出して応答することができる。ここでも、そのために、コンピューティングデバイス１１０は、軌道を生成し、車両にこれらの軌道を追従させ、（例えば、加速システム１６２により、エンジンまたは動力系１７４に燃料または他のエネルギーを供給することによって）車両を加速させ、（例えば、エンジンまたは動力系１７４に供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向変換させ、（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）そのような変更を信号通知することができる。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。再び、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両のドライブトレインを制御することもできる。

【0041】

車両１００のコンピューティングデバイス１１０はまた、輸送サービスの一部であるコンピューティングデバイスならびに他のコンピューティングデバイスのような他のコンピューティングデバイスとの間で情報を受信または転送することもできる。図４および図５は、それぞれ、例示的なシステム４００のイラスト図および機能図であり、システムは、ネットワーク４６０を介して接続された複数のコンピューティングデバイス４１０、４２０、４３０、４４０、および記憶システム４５０を含む。システム４００は、車両１００、および車両１００と同じまたは同様に構成され得る車両１００Ａ、１００Ｂも含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含み得る。

【0042】

図４に示されるように、コンピューティングデバイス４１０、４２０、４３０、４４０の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含み得る。そのようなプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、メモリ１３０、データ１３２、および命令１３４と同様に構成されてもよい。

【0043】

ネットワーク４６０および仲介ノードは、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ ＬＥ、インターネット、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉ、およびＨＴＴＰ、ならびに上記の様々な組み合わせなどの短距離通信プロトコルを含む様々な構成およびプロトコルを含んでもよい。そのような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送信することができるいずれかのデバイスによって容易に行われ得る。

【0044】

一例では、１つ以上のコンピューティングデバイス１１０は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する、例えば、負荷分散サーバファームなど、複数のコンピューティングデバイスを有する１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、１つ以上のコンピューティングデバイス４１０は、ネットワーク４６０を介して、車両１００のコンピューティングデバイス１１０、または車両１００Ａ、１００Ｂの同様のコンピューティングデバイス、ならびにコンピューティングデバイス４２０、４３０、４４０と通信可能な１つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両１００、１００Ａ、１００Ｂは、サーバコンピューティングデバイス４１０からの情報を送信および受信することができる車両隊の一部でもよい。加えて、サーバコンピューティングデバイス４１０は、ネットワーク４６０を使用して、コンピューティングデバイス４２０、４３０、４４０のディスプレイ４２４、４３４、４４４のうちの１つ以上のようなディスプレイ上に、ユーザ４２２、４３２、４４２のうちの１人以上などのユーザに情報を送信および提示し得る。この点について、コンピューティングデバイス４２０、４３０、４４０は、クライアントコンピューティングデバイスとみなされ得る。

【0045】

図４に示されるように、各クライアントコンピューティングデバイス４２０、４３０、４４０は、ユーザ４２２、４３２、４４２のうちの１人以上が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、１つ以上のプロセッサ（例えば、中央処理装置（ＣＰＵ））、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ４２４、４３４、４４４などのディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス）、およびユーザ入力デバイス４２６、４３６、４４６（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン）を含む、パーソナルコンピューティングデバイスと接続して通常使用されるすべての構成要素を有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、マイク、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含んでもよい。

【0046】

クライアントコンピューティングデバイス４２０、４３０、および４４０は、各々、フルサイズのパーソナルコンピューティングデバイスを含んでもよいが、代替的に、インターネットなどのネットワークを介してサーバとデータを無線で交換することが可能であるモバイルコンピューティングデバイスを含んでもよい。ほんの一例として、クライアントコンピューティングデバイス４２０は、携帯電話、または無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックであってもよい。別の例では、クライアントコンピューティングデバイス４３０は、図４に示されるように、腕時計として示されるウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いる映像信号、またはタッチスクリーンを使用して、情報を入力し得る。

【0047】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み出し専用メモリなどの、サーバコンピューティングデバイス４１０によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。加えて、記憶システム４５０は、データが、同じまたは異なる地理的位置に物理的に位置し得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム４５０は、図４および図５に示すように、ネットワーク４６０を介してコンピューティングデバイスに接続され得、かつ／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続されるか、もしくは組み込まれ得る。

【0048】

記憶システム４５０は、以下でより詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載する特徴のうちのいくつかまたはすべてを実行するために、１つ以上のサーバコンピューティングデバイス４１０などのサーバコンピューティングデバイスによって検索または別様にアクセスされ得る。

【0049】

例えば、記憶システム４５０は、車両１００の認知システム１７２などのような車両の認知システムによってキャプチャされたセンサデータを記憶し得る。このセンサデータは、複数の画像４７２を含み得る。この複数の画像は、これらの画像に現れる可能性のある標識のタイプを提供するために、自律車両の認知システムによってキャプチャされた画像を含み得る。例えば、複数の画像は、静止カメラおよび／またはビデオカメラによって、または車両１００または１００Ａなどの１つ以上の車両に取り付けられ、ネットワーク４６０を介してアップロードされるか、さもなければ記憶のために記憶システム４５０に送られる他のセンサでキャプチャされた画像またはフレームでもよい。したがって、画像は、カメラまたは車両の認知システムの視野から、道路および様々な物体の認知を正確に反映し得る。これらの画像の少なくとも一部は、以下でさらに説明するように、ラベルおよび他の情報に関連付けられ得る。記憶システム４５０はまた、本明細書で論じられるように、交通標識タイプおよびそれらのそれぞれの属性を格納し得る。

【0050】

各画像は、画像がキャプチャされた位置および方位を識別する位置情報、および／または他の画像との比較および／または画像と同時に認知システム１７２のＬＩＤＡＲセンサによってキャプチャされたＬＩＤＡＲセンサデータから判定された画像内の様々な表面の地理情報など、より詳細な位置情報に関連付けられ得る。例えば、ＬＩＤＡＲセンサデータは、ＬＩＤＡＲセンサによって生成された光が反射されてＬＩＤＡＲセンサに戻る表面の位置および強度（または反射率）に対応するデータポイントを含み得る。この情報は、カメラ画像内のこれらの表面の対応を判定するために使用され得る。

【0051】

記憶システム４５０および車両１００のデータ１３２には、１つ以上のモデル４７０ならびにそのような各モデルのモデルパラメータ値４７４を記憶し得る。例えば、記憶システムは、交通標識タイプおよび状況を判定するための１つ以上のモデルを格納し得る。モデル４７０は、ニューラルネットワーク、ディープニューラルネットワーク、決定木、ブースティングツリーなどのような識別子を含み得る。加えて、記憶システム４５０は、さらに下に考察されるように、モデルをトレーニングするために使用することができるトレーニングサブシステム４７６を含み得る。場合によっては、記憶システムは、本明細書で説明するように階層データ構造４７８を格納することができる。

【0052】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み取り専用メモリなどの、サーバコンピューティングデバイス４１０によりアクセス可能である情報を記憶することができる、任意のタイプのコンピュータ記憶装置であり得る。加えて、記憶システム４５０は、データが、同じまたは異なる地理的位置に物理的に位置し得る複数の異なる記憶デバイス上に記憶される分散型記憶システムを含んでもよい。記憶システム４５０は、図４に示されるようにネットワーク４６０を介してコンピューティングデバイスに接続され得、および／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続または組み込まれ得る。

【0053】

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実行される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。

【0054】

上記のように、モデル４７０は、交通標識の特性を取り入れて、交通標識タイプを出力することができる。この点において、交通標識タイプは、規制、警告、誘導、サービス、レクリエーション、工事、学校区域などを含み得る。場合によっては、一時停止標識または踏切標識などの特定の標識が標識タイプと見なされ得る。

【0055】

モデル４７０を使用して交通標識タイプを識別することができるようにするために、モデルは、最初に「オフライン」で、すなわち、事前におよび／またはリモートコンピューティングデバイスでトレーニングされ、その後、ネットワーク４６０および無線ネットワーク接続１５６を介して車両１００に送られ得る。例えば、１つ以上のサーバコンピューティングデバイス４１０は、最初に記憶システム４５０からトレーニングデータを検索することによって、モデルパラメータ値４７４を生成することができる。

【0056】

例えば、１つ以上のサーバコンピューティングデバイス４１０は、画像のセットを検索し得る。上述したように、これらの画像は、既知の交通標識から所定の距離にあり、既知の交通標識に向けられた画像など、交通標識が見える可能性が高い位置に対応する記憶システム４５０の複数の画像４７２を含み得る。例えば、車両１００などの車両に搭載されたカメラまたは他のセンサによってキャプチャされた画像で、カメラが交通標識から特定の距離内にあり、交通標識の方を向いているものが検索され、および／またはセットに含まれ得る。図６は、車両が地図情報の交差点２０４に接近するときに、車両１００の認知システム１７２のカメラによってキャプチャされた例示的なカメラ画像６００である。この例では、交通標識２５３および車線２１６の一部がカメラ画像６００にキャプチャされている。このカメラ画像をモデルの初期トレーニングデータを生成するために処理して使用できる。上記のように、記憶システムの画像は、画像がキャプチャされた位置および方位を識別する情報に関連付けられ得る。

【0057】

モデル４７０の初期トレーニングデータは、様々な方法で画像のセットから生成することができる。例えば、人間のオペレータは、画像を確認し、交通標識の周囲に境界ボックスを描画し、交通標識のタイプを識別することにより、交通標識の画像ならびに交通標識のタイプにラベルを付けることができる。加えて、または代替的に、既存のモデルまたは画像処理技術を使用して、交通標識の画像ならびに交通標識のタイプにラベル付けし得る。

【0058】

トレーニング入力とみなすことができる交通標識の画像と、トレーニング出力とみなすことができる交通標識タイプを示すラベルが与えられた場合、モデルは、キャプチャされた画像で発見された交通標識のタイプを出力するようにトレーニングされ得る。言い換えれば、トレーニング入力およびトレーニング出力は、モデルが取得する入力および生成する出力についてモデルをトレーニングするために使用される。一例として、モデルは、図７に示すように、画像７５３、７５４、および２５３を受信し得る。モデルはまた、「規制標識」、「警告標識」、および「レクリエーション標識」を含む、各画像が示す標識のタイプを示すラベル７６３、７６４、および７６４を受信し得る。場合によっては、図７のラベル７６３および７６４にさらに示されているように、標識のタイプは、「譲れの標識」および「前方に踏切」などの特定のものである場合がある。このトレーニングデータに基づいて、モデルは類似の交通標識を識別することを学習し得る。この点において、トレーニングはモデルのトレーニングに使用されるトレーニングデータ（入力および出力）が多いほど、標識タイプの識別におけるモデルの精度が高くなるように、モデルの精度を高め得る。

【0059】

場合によっては、標識の内容を示す追加のラベルを提供するようにモデルを構成し得る。この点において、機械学習モデルのトレーニング中、トレーニングデータは、交通標識の属性に対応するラベルを含み得る。例えば、図８に示すように、「長方形状」、「青色」、および「休憩所は右隣」を示す「テキスト」を含むサービス標識の属性を示すラベル８６３を、サービス標識として標識タイプを示すラベルと一緒に機械学習モデルに入力し得る。したがって、トレーニングモデルがサービス標識８５３およびラベル８６３の画像に対して実行されるとき、モデルは、標識８５３が前方の休憩エリアを示すサービス標識であることを学習し得る。この判定に基づいて、モデルは、「長方形の形状」、「青色」、および「右隣の休憩所」を示す「テキスト」などの属性を含む他の標識もサービス標識である可能性があることを学習することができる。

【0060】

モデル４７０がトレーニングされると、車両１００のメモリ１５０などのコンピューティングシステムのメモリに送信または別様にロードして使用し得る。例えば、車両１００のような車両が運転するとき、車両の認知システム１７２は、その周囲のセンサデータをキャプチャすることができる。交通標識の任意の画像を含むこのセンサデータは、コンピューティングデバイス１１０によって定期的または継続的にモデル４７０に入力され得る。その後、モデル４７０は、画像内の各交通標識に対応する標識タイプを提供することができる。例えば、車両１００などの車両は、図９に示すように、標識９５３を含む画像９００などの画像をキャプチャし得る。モデルは、標識タイプが「警告標識」であることを示すラベルを出力し得る。場合によっては、モデルが標識の特定のタイプも提供し得る。例えば、モデルは、標識９５３の「警告標識」および「前方に踏切」標識タイプを出力し得る。次に、提供された標識タイプおよび属性を使用して、本明細書で説明するように、検出された標識に適切に応答するために、車両を制御する方法を判定し得る。

【0061】

モデルによって出力される特定の標識タイプを示す各ラベルについて、モデルは、出力ラベルが正しい確率を示す信頼度を判定し、割り当てることができる。場合によっては、モデルに入力された交通標識画像の交通標識タイプを示すラベルをモデルが判定できない場合がある。この場合、モデルは交通標識画像を「識別不能」または「不明」に分類し得る。また、特定の閾値レベルを満たさない信頼度を有する特定の標識タイプを示すラベルは、識別不能または不明として分類し得る。状況によっては、車両１００などの自律車両は、モデル４７０によって、または地図情報内で識別できない、または特定の信頼性で識別できない交通標識に遭遇し得る（例えば、モデルは、特定の信頼閾値を満たすために交通標識タイプを判定できない）。ただし、交通標識は一般的に、連邦道路管理局などの政府機関による規制に従ってタイプ別に分類されるが、規制は地域／国によって異なる場合がある。このように、ほとんどの交通標識は、色および形状などの特定の属性が、特定の標識タイプに対応する規制を満たしているかどうかによって分類することができる。交通標識の各タイプに割り当てられる属性は、色または形状に基づき得る。例えば、赤の標識は規制でもよく（例えば、一時停止の標識および譲れの標識）、黄色の標識は警告標識でもよく（例えば、鉄道または前方合流ありの標識）、誘導標識は緑でもよく（例えば、車道の出口標識）、一時的な交通規制標識はオレンジ色でもよく（例えば、道路工事の標識）、レクリエーション標識は茶色でもよく（ピクニックエリアの標識など）、サービス標識は青色でもよい、（例えば、休憩エリアの標識）などである。

【0062】

ただし、多くの交通標識は独特または比較的わかりにくいもの（総称して「未知の標識」）であり、これらの未知の標識は標識タイプに応じた規制に従い得るが、特に学習モデルに未知の標識のタイプと内容に対応するトレーニングデータが設けられていない場合には、その内容は機械学習モデルによって識別されない場合がある。さらに、いくつかの交通標識は、規制に従っていないか、または別様に典型的な交通標識のカテゴリに適合しない可能性がある。例えば、ＬＥＤボードまたは手作りの標識は、典型的な交通標識のカテゴリに適合しないか、または規制に従っていない場合がある。例えば、「前方工事中」というメッセージ、または車に曲がるように指示する手作りの一時的な標識を含むＬＥＤボードは、「臨時交通管制」標識の規制に適合しない可能性があり、識別できないか、モデル４７０などのモデルによって、十分に高い信頼性で識別できない可能性がある。

【0063】

未知の標識のタイプおよび内容を判定するために、未知の標識の属性を既知の標識の属性と比較し得る。この点において、既知の交通標識の属性は、人間のオペレータによって、および／または本明細書に記載の画像処理技術を使用することによってラベル付けされ得る。次に、ラベル付けされた属性は、データ構造４７８などのデータ構造に配置され得、データ構造は、リレーショナルデータベースまたは１対多のマッピングをサポートする別の連想構造とすることができる。例えば、タイプ、色、形状、反射係数、配置、テキスト、図形、付属品などのような既知の標識の属性にラベル付けすることができ、これらのラベルをデータ構造に格納され得る。例えば、交通標識８５３の属性のラベル８６３は、格納装置４５０など、交通標識８５３に関連するデータ構造に格納され得る。車両１００内のコンピューティングデバイス１１０などのコンピューティングデバイスは、未知の標識の属性をデータ構造内の属性と比較して、未知の標識のタイプおよび内容を判定し得る。ここでの例では、モデル４７０などの機械学習モデルを実装した後に、未知の記号の属性をデータ構造内の属性と比較して、未知の標識のタイプと内容を判定することを説明したが、属性の比較は、機械学習モデルの実装をせずに、またはする前に起き得る。

【0064】

一例では、認知システム１７２内のセンサなどの自律車両のセンサは、図６に示すように、走行中に道路２１６上の未知の交通標識２５３を含む画像６００をキャプチャし得る。コンピューティングデバイス１１０は、交通標識の属性をデータ構造内の属性と比較することにより、未知の交通標識２５３のタイプおよび内容を判定することを試み得る。例えば、コンピューティングデバイス１１０は、未知の交通標識が長方形状、茶色、および書かれたテキストの属性を有すると判定し得る。これらの属性は、データ構造内の標識の属性と比較し得、比較に基づいて、未知の交通標識がレクリエーション標識と一致すると判定し得る。別の例では、キャプチャされた交通標識は、八角形状、赤色、およびテキストの属性を有すると判定され得る。コンピューティングデバイス１１０は、これらの属性をデータ構造内の標識の属性と比較し、キャプチャされた交通標識が規制標識と「停止」するための指示内容とが一致すると判定し得る。

【0065】

標識の追加の属性は、標識の内容を判定するために、コンピューティングデバイス１１０によって使用され得る。この点において、標識の内容を判定するために標識のテキストまたは図を分析し得る。例えば、図１０の未知の標識１０５３は、テキスト１０５４を有する「レクリエーション標識」であると判定され得る。コンピューティングデバイス１１０などの車両のコンピューティングデバイスは、光学文字認識（ＯＣＲ）を使用するなどして、テキスト１０５４を分析して、「ヨセミテ国立公園、次を右」というテキスト１０５４を判定することができる。このテキストに基づいて、コンピューティングデバイス１１０は、標識１０５３の内容がヨセミテ国立公園について情報提供的であり、指示的であると判定し得る。この点において、車両のコンピューティングデバイスは、近くのランドマークの名前／位置、方向用語、および／または番地など、テキスト内の１つ以上のキーワードを識別し得る。これらのキーワードに基づいて、車両のコンピューティングデバイスは標識の内容を判定し得る。例えば、コンピューティングデバイス１１０は、テキスト１０５４からキーワード「ヨセミテ国立公園」、および「次」、および「右」を判定し得、これらのキーワードに基づいて、標識１０５３の内容が、ヨセミテ国立公園への道順を提供するための情報提供的なものであると判定し得る。図形に基づいて同様の判定を行うこともできる。例えば、右を指す矢印により、コンピューティングデバイスは、標識の内容が右への迂回を指示するものであると判定し得る。

【0066】

標識タイプおよび／または内容に基づいて、自律車両の様々なシステムは、行動を実行するかどうかを判定し得る。この点において、規制、警告、誘導標識、工事標識などのようないくつかの標識は、車両による行動を自動的に引き起こし得る。例えば、車両のプランニングシステム１６８は、一時停止標識、迂回標識、または制限速度標識にそれぞれ遭遇したときに、車両１００に対して停止、迂回、または速度変更を指示し得る。レクリエーションまたは休憩エリアの標識などの他の標識は、車両１００がそれらのエリアへの走行を試みていない限り、車両のプランニングシステム１６８によって無視され得る。

【0067】

図１１は、標識タイプを判定するために機械学習モデルをトレーニングするために、コンピューティングデバイス１１０のプロセッサ１２０など、１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実行され得る、本開示の態様による例示的なフロー図１１００である。ブロック１１１０において、画像および画像内の少なくとも１つの交通標識に対応する関連するラベル（複数可）を含む画像データが受信される。ブロック１１２０に示すように、交通標識の画像の受信に呼応して、交通標識の標識タイプおよび／または内容を出力するようにモデルが構成されるように、モデルを画像データを使用してトレーニングし得る。

【0068】

図１２は、標識タイプを判定し、判定された標識タイプに基づいて車両を制御するために、コンピューティングデバイス１１０のプロセッサ１２０など、１つ以上のコンピューティングデバイスの１つ以上のプロセッサによって実行され得る、本開示の態様による例示的なフロー図１２００である。ブロック１２１０で、車両の認知システムによって生成された画像を、１つ以上のプロセッサによって受信し得る。ブロック１２２０で、１つ以上のプロセッサが画像内の交通標識に対応する画像データを識別し、ブロック１２３０で、交通標識に対応する画像データをモデルに入力して、交通標識の標識タイプを生成し得る。１つ以上のプロセッサは、ブロック１２４０で標識タイプモデルが交通標識のタイプを識別できなかったことを判定し、ブロック１２５０で交通標識の１つ以上の属性を判定し得る。ブロック１２６０に示すように、１つ以上のプロセッサは、交通標識を他の交通標識の既知の属性と比較し得る。ブロック１２７０に示すように、交通標識の１つ以上の属性の比較に基づいて、交通標識の標識タイプを判定し得る。自律運転モードの車両は、ブロック１２８０に示すように、交通標識の標識タイプに基づいて、１つ以上のプロセッサによって制御し得る。

【0069】

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装することができる。上で考察される特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題の限定としてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を識別することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】