特許 7376682 視覚追跡および画像再投影による自律運転のための物体位置特定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】視覚追跡および画像再投影による自律運転のための物体位置特定

(51)【国際特許分類】

   B60W 40/02 20060101AFI20231031BHJP

   G06V 20/56 20220101ALI20231031BHJP

   G06T 7/00 20170101ALI20231031BHJP

   B60W 60/00 20200101ALI20231031BHJP

【ＦＩ】

B60W40/02

G06V20/56

G06T7/00 650A

B60W60/00

【請求項の数】 20

(21)【出願番号】P 2022504109

(86)(22)【出願日】2020-08-07

(65)【公表番号】

(43)【公表日】2022-10-12

(86)【国際出願番号】 US2020045384

(87)【国際公開番号】W WO2021026444

(87)【国際公開日】2021-02-11

【審査請求日】2022-03-18

(31)【優先権主張番号】62/883,745

(32)【優先日】2019-08-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/598,162

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】バンサール，マヤンク

【審査官】二之湯 正俊

(56)【参考文献】

【文献】特開２００４－０３８６４０（ＪＰ，Ａ）

【文献】米国特許第１０１５６８５１（ＵＳ，Ｂ１）

【文献】特開２０１８－１８５１５６（ＪＰ，Ａ）

【文献】特開２０１７－０９７４９５（ＪＰ，Ａ）

【文献】特開２０１６－２１５７６１（ＪＰ，Ａ）

【文献】特開２０１８－０４９０１４（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３１６１６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０６Ｖ ２０／５６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

自律運転モードを有する車両を制御するための方法であって、
１つ以上のプロセッサによって、前記車両の環境の複数の画像を受信することと、
前記１つ以上のプロセッサによって、前記複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、
前記１つ以上のプロセッサによって、複数の異なる位置特定技術を使用して、前記物体についての複数の推定場所を判定することと、
前記複数の推定場所の各々について、前記１つ以上のプロセッサによって、誤差スコアを判定することと、
前記１つ以上のプロセッサによって、前記判定された誤差スコアに基づいて、前記複数の推定場所から推定場所を選択することと、
前記１つ以上のプロセッサによって、前記選択された推定場所に基づいて、前記自律運転モードで前記車両を制御することと、を含む、方法。

【請求項2】

前記特定のタイプの前記物体は、一時停止標識である、請求項１に記載の方法。

【請求項3】

前記特定のタイプの前記物体は、譲れの標識である、請求項１に記載の方法。

【請求項4】

前記車両と、前記自律運転モードで前記車両を制御するために使用される事前に記憶された地図情報における一時停止標識の場所との間の距離に基づいて、前記複数の画像を捕捉させることをさらに含む、請求項１に記載の方法。

【請求項5】

前記車両の知覚システムによる前記特定のタイプの物体の検出に基づいて、前記複数の画像を捕捉させることをさらに含む、請求項１に記載の方法。

【請求項6】

前記複数の画像のうちの前記画像のうちの第１の画像における前記特定のタイプの物体に対応するパッチを識別することをさらに含み、前記誤差スコアは、前記パッチにさらに基づいて判定される、請求項１に記載の方法。

【請求項7】

前記特定のタイプの前記関連付けられた物体を識別することは、
前記複数の画像のうちの前記画像のうちの第１の画像における前記特定のタイプの物体に対応する第１のパッチを識別することと、
前記複数の画像のうちの前記画像のうちの第２の画像における前記特定のタイプの物体に対応する第２のパッチを識別することと、
前記第１のパッチの中心を前記第２の画像に投影することと、
前記投影された中心が、前記第２のパッチの領域内にあるかどうかを判定することと、を含む、請求項１に記載の方法。

【請求項8】

前記複数の異なる位置特定技術は、前記特定のタイプの物体の予想されるサイズに基づく物体サイズ位置特定を含む、請求項１に記載の方法。

【請求項9】

前記複数の異なる位置特定技術は、前記車両のＬＩＤＡＲセンサによって生成されるセンサデータに基づく深度地図位置特定を含む、請求項１に記載の方法。

【請求項10】

前記複数の異なる位置特定技術は、前記複数の画像のうちのある画像におけるパッチの中心の方向に対応する光線を、前記自律運転モードで前記車両を制御するために使用される事前に記憶された地図情報に投影することを含む、道路グラフベースの位置特定を含む、請求項１に記載の方法。

【請求項11】

前記道路グラフベースの位置特定は、前記投影された光線の閾値距離内にある、前記地図情報における前記特定のタイプの物体を識別することを含む、請求項１０に記載の方法。

【請求項12】

前記複数の画像のうちの前記画像の各画像について、前記複数の推定場所の各々について再投影誤差を判定することをさらに含み、前記誤差スコアを判定することは、前記再投影誤差にさらに基づいている、請求項１に記載の方法。

【請求項13】

前記誤差スコアのうちの１つを判定することは、
前記複数の画像のうちの前記画像のうちの第１の画像における前記特定のタイプの物体に対応するパッチを識別することと、
前記複数の推定場所のうちの１つの推定場所を前記第１の画像に投影することと、
前記投影された場所と前記パッチの領域との間の距離を判定することと、を含む、請求項１に記載の方法。

【請求項14】

前記距離を判定することは、前記投影された場所の中心と前記パッチの前記領域の中心との間の距離を判定することを含む、請求項１３に記載の方法。

【請求項15】

前記複数の推定場所のうちの１つの前記推定場所を前記第１の画像に投影することは、前記第１の画像の姿勢に基づいている、請求項１３に記載の方法。

【請求項16】

前記距離は、前記再投影誤差のうちの１つである、請求項１３に記載の方法。

【請求項17】

前記誤差スコアのうちの１つを判定することは、前記複数の場所推定のうちの所与の１つについて、再投影誤差を平均することを含む、請求項１３に記載の方法。

【請求項18】

前記選択された推定場所を選択することは、前記誤差スコアのうちの最も低いものを有する推定場所を選択することを含む、請求項１に記載の方法。

【請求項19】

自律運転モードを有する車両を制御するためのシステムであって、
前記車両の環境の複数の画像を受信することと、
前記複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、
複数の異なる位置特定技術を使用して、前記物体についての複数の推定場所を判定することと、
前記複数の推定場所の各々について、誤差スコアを判定することと、
前記判定された誤差スコアに基づいて、前記複数の推定場所から推定場所を選択することと、
前記選択された推定場所に基づいて、前記自律運転モードで前記車両を制御することと、を行うように構成された１つ以上のプロセッサを含む、システム。

【請求項20】

前記車両をさらに含む、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年８月７日に出願された米国仮特許出願第６２／８８３，７４５号の利益を主張する、２０１９年１０月１０日に出願された米国特許出願第１６／５９８，１６２号の出願日の利益を主張し、それらの開示は参照により本明細書に組み込まれる。

【背景技術】

【0002】

人間の運転手を必要としない車両などの自律型車両が、ある場所から別の場所への搭乗者または物品の輸送を支援するために使用される場合がある。このような車両は、搭乗者が目的地などの何らかの初期入力を提供し、車両がその目的地に車両自体を操縦する、完全な自律運転モードで動作することができる。したがって、このような車両は、常時自律型車両の場所を判定し、かつ、他の車両、停止信号、歩行者などの車両の外部にある物体を検出し識別することができるシステムに大きく依存することがある。

【発明の概要】

【0003】

本開示の一態様は、自律運転モードを有する車両を制御するための方法を提供する。本方法は、１つ以上のプロセッサによって、車両の環境の複数の画像を受信することと、１つ以上のプロセッサによって、複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、１つ以上のプロセッサによって、複数の異なる位置特定技術を使用して、物体についての複数の推定場所を判定することと、複数の推定場所の各々について、１つ以上のプロセッサによって、誤差スコアを判定することと、１つ以上のプロセッサによって、判定された誤差スコアに基づいて、複数の推定場所から推定場所を選択することと、１つ以上のプロセッサによって、選択された推定場所に基づいて、自律運転モードで車両を制御することと、を含む。

【0004】

一例では、特定のタイプの物体は、一時停止標識である。別の例では、特定のタイプの物体は、譲れの標識である。別の例では、方法はまた、車両と、自律運転モードで車両を制御するために使用される事前に記憶された地図情報における一時停止標識の場所との間の距離に基づいて、複数の画像を捕捉させることを含む。別の例では、方法はまた、車両の知覚システムによる特定のタイプの物体の検出に基づいて、複数の画像を捕捉させることを含む。別の例では、方法はまた、複数の画像のうちの画像のうちの第１の画像における特定のタイプの物体に対応するパッチを識別することを含み、誤差スコアは、パッチにさらに基づいて判定される。別の例では、特定のタイプの関連付けられた物体を識別することは、複数の画像のうちの画像のうちの第１の画像における特定のタイプの物体に対応する第１のパッチを識別することと、複数の画像のうちの画像のうちの第２の画像における特定のタイプの物体に対応する第２のパッチを識別することと、第１のパッチの中心を第２の画像に投影することと、投影された中心が、第２のパッチの領域内にあるかどうかを判定することと、を含む。別の例では、複数の異なる位置特定技術は、特定のタイプの物体の予想されるサイズに基づく物体サイズ位置特定を含む。別の例では、複数の異なる位置特定技術は、車両のＬＩＤＡＲセンサによって生成されるセンサデータに基づいている深度地図位置特定を含む。別の例では、複数の異なる位置特定技術は、複数の画像のうちのある画像におけるパッチの中心の方向に対応する光線を、自律運転モードで車両を制御するために使用される事前に記憶された地図情報に投影することを含む、道路グラフベースの位置特定を含む。この例では、道路グラフベースの位置特定は、投影された光線の閾値距離内にある、地図情報における特定のタイプの物体を識別することを含む。別の例では、方法はまた、複数の画像のうちの画像の各画像について、複数の推定場所の各々の再投影誤差を判定することを含み、誤差スコアを判定することは、再投影誤差にさらに基づいている。別の例では、誤差スコアのうちの１つを判定することは、複数の画像のうちの画像のうちの第１の画像における特定のタイプの物体に対応するパッチを識別することと、複数の推定場所のうちの１つの推定場所を第１の画像に投影することと、投影された場所とパッチの領域との間の距離を判定することと、を含む。この例では、距離を判定することは、投影された場所の中心とパッチの領域の中心との間の距離を判定することを含む。加えて、または代替的に、複数の推定場所のうちの１つの推定場所を第１の画像に投影することは、第１の画像の姿勢に基づいている。加えて、または代替的に、距離は、再投影誤差のうちの１つである。加えて、または代替的に、誤差スコアのうちの１つを判定することは、複数の場所推定のうちの所与の１つについて、再投影誤差を平均することを含む。別の例では、選択された推定場所を選択することは、誤差スコアのうちの最も低いものを有する推定場所を選択することを含む。

【0005】

本開示の一態様は、自律運転モードを有する車両を制御するためのシステムを提供する。本システムは、車両の環境の複数の画像を受信することと、複数の画像のうちの画像における特定のタイプの関連付けられた物体を識別することと、複数の異なる位置特定技術を使用して、物体についての複数の推定場所を判定することと、複数の推定場所の各々について、誤差スコアを判定することと、判定された誤差スコアに基づいて、複数の推定場所から推定場所を選択することと、選択された推定場所に基づいて、自律運転モードで車両を制御することと、を行うように構成された１つ以上のプロセッサを含む。

【0006】

一例では、システムはまた、車両を含む。

【図面の簡単な説明】

【0007】

【図1】本開示の態様による、例示的な車両の機能図である。

【図2】本開示の態様による、例示的地図情報である。

【図3】本開示の態様による、車両の例示的な描写図である。

【図4A】本開示の態様による、複数の画像である。

【図4B】本開示の態様による、例示的な画像およびパッチである。

【図4C】本開示の態様による、例示的な画像およびパッチである。

【図4D】本開示の態様による、例示的な画像およびパッチである。

【図5】本開示の態様による、地理的領域内を運転する車両の例示的な描写である。

【図6】本開示の態様による、地図情報および光線の投影の例示的な描写である。

【図7】本開示の態様による、パッチの中心の、画像への投影の例示的な図である。

【図8】本開示の態様による、地理的領域および物体の推定場所の例示的な描写である。

【図9A】本開示の態様による、画像パッチ、投影された推定場所、および再投影誤差を含む画像の例示的な描写である。

【図9B】本開示の態様による、画像パッチ、投影された推定場所、および再投影誤差を含む画像の例示的な描写である。

【図9C】本開示の態様による、画像パッチ、投影された推定場所、および再投影誤差を含む画像の例示的な描写である。

【図10】本開示の態様による、例示的なフロー図である。

【発明を実施するための形態】

【0008】

概要
本技術は、自律型車両または自律運転モードで動作するように構成された車両のための、物体の場所を検証または確認する方法に関する。例えば、異なる位置特定技術は、同じ物体について異なる場所を提供し得る。その結果、同じ物体が、同時に異なる場所にあるように表示され得る。物体が一時停止標識である状況では、これらの場所に依存して動作する自律型車両は、異なる場所の各々の標識に反応する場合がある。例えば、車両は、車道沿いの様々な点で、これらの場所に一時停止標識がなくても停止する場合がある。したがって、物体について「最適な」場所を選択することは、車両が、車道をより正確またはスムーズにナビゲートすることが可能であり得る。

【0009】

車両の知覚システムの１つ以上のカメラは、物体を含み得る複数の画像を捕捉することができる。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢（車両が動いていない場合）または異なる姿勢（車両が動いている場合）にあるときに、これらの画像の各々が捕捉され得る。加えて、複数の画像は、知覚システムが特定のタイプの物体を検出し、車両が一時停止標識または譲れの標識などの物体に接近していることに反応して、または、車両が、地図情報で識別されるような特定のタイプの物体の予測された場所から所定の距離にあるときに、捕捉され得る。

【0010】

車両のコンピューティングデバイスは、複数の画像のうちの第１の画像における物体を識別するように構成され得る。これは、様々な物体認識技術を使用して、物体に対応する第１の画像における「パッチ」または複数のピクセルを識別することを含み得る。コンピューティングデバイスは、継続的に、または車両が、地図情報に記憶された情報から判定されるような一時停止標識または譲れの標識などの特定のタイプの物体の場所から設定される距離にある場合などの特定の状況でのみ、物体認識技術に従事するように構成され得る。

【0011】

第１の画像で識別された物体が、特定のタイプである場合、物体は、複数の異なる位置特定技術を使用して位置特定され得る。第１の例示的な位置特定技術には、物体サイズ位置特定が含まれ得る。例えば、物体のタイプに基づいて、車両のコンピューティングデバイスは、物体の予想されるサイズを使用して、車両と物体との間の距離を推定し得る。この推定された距離を、画像が捕捉されたときの画像捕捉場所の姿勢と組み合わせることは、物体の三次元（３Ｄ）場所を推定するために、使用され得る。場合によっては、物体の予想されるサイズが正しくない場合、画像における物体が部分的に遮られている場合、または物体が、予想されるサイズに単に適合していない場合（つまり、壊れた標識または製造誤差）、この技術を使用して判定された物体の推定場所は、正しくない可能性がある。

【0012】

第２の例示的な位置特定技術には、深度地図位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、知覚システムのＬＩＤＡＲセンサによって生成されたセンサデータを使用して、深度地図を生成し得る。カメラの姿勢を使用して深度地図を画像に投影することにより、物体の３Ｄ場所を推定し得る。場合によっては、ＬＩＤＡＲセンサの物体のビューが、別の道路利用者、がれき、落ち葉、木の枝、標識、または他の物体などによって部分的に遮られている場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。

【0013】

第３の例示的な位置特定技術には、道路グラフベースの位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、カメラ（および／または車両）の場所に対するパッチ上の中心または他のある場所の配向を判定し、次いでこの配向を使用して、地図情報に光線を投影し得る。この光線は、画像が捕捉されたとき、物体がカメラの姿勢に対する画像における物体の所与の場所を見つけ得る座標を表し得る。計算された光線に沿って、またはその所定の距離内にある、マッピングされた一時停止標識などの１つ以上の物体を識別し得る。次いで、物体の別の推定場所は、地図情報内の任意の識別された物体の場所を使用して判定され得る。場合によっては、物体が、損傷または移動している（例えば、一時停止標識または譲れの標識用の曲がった標識ポール）、一時的（一時的な一時停止標識など）、もしくは新しい、および地図情報に表示されない場合、または光線に沿って同じタイプの複数の物体がある場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。

【0014】

車両のコンピューティングデバイスは、画像における任意の物体が複数の画像のうちの他の画像における物体と同じ物体であるかどうかを判定し得、これらの物体を互いに関連付け得る。例えば、コンピューティングデバイスは、同じ一時停止標識が複数の画像の各々に表示されるかどうかを判定することができる。関連付けは、１つの物体における１つの物体のピクセル場所を、別の画像における別の物体のピクセル場所に投影することによって生成し得る。投影されたピクセル場所は、２つの画像が捕捉されたときのカメラの姿勢間の違いに応じて調整され得る。１つの画像における１つの物体の投影されたピクセル場所が、別の画像における別の物体のピクセル場所の閾値ピクセル距離内にある場合、各画像におけるパッチが同じ物体（以下、関連付けられた物体）を表すことを示す関連付けが生成される。これらの関連付けを使用して、推定場所を検証し、第１の画像が捕捉されたときの物体の場所についての推定場所のうちの１つを選択し得る。

【0015】

別の画像における別の物体と関連付けられた物体を含む各画像について、車両のコンピューティングデバイスは、関連付けられた物体の推定場所の各々について、再投影誤差を判定し得る。そうするために、関連付けられた物体についての各推定場所は、関連付けられた物体が識別された各画像に投影され得る。再投影誤差は、投影された推定場所と、その画像に関連付けられたものに対応するパッチとの間の距離であり得る（またはそれから導き出され得る）。このプロセスは、任意の他の推定場所に対して、および関連付けられた物体が識別されている画像の所定の数（例えば、３つ以上の画像またはそれ以下）またはすべてに対して繰り返し得る。

【0016】

次いで、車両のコンピューティングデバイスは、各位置特定技術について、またはむしろ、異なる位置特定技術を使用して判定された各推定場所について、誤差スコアを判定し得る。一例として、関連付けられた物体が表示される異なる画像に投影された同じ推定場所の投影から判定された再投影誤差スコアは、一緒に平均され得る。この点で、物体について３つの位置特定技術または３つの推定場所がある場合、３つの誤差スコアがある。

【0017】

次いで、車両のコンピューティングデバイスは、判定された誤差スコアに基づいて、第１の画像が捕捉された時点での物体の位置特定技術または推定場所を選択し得る。例えば、最も低い誤差スコアを有する推定場所は、第１の画像が捕捉された時点での物体の場所であると判定され得る。

【0018】

コンピューティングデバイス１１０は、選択された推定場所に従って物体に応答するために、自律運転モードで車両を制御するように構成され得る。例えば、物体が一時停止標識である場合、車両のコンピューティングデバイスは、１つ以上の自律運転システムを動作させて、自律型車両を、選択された推定場所に従って停止し、一時停止標識についてのすべての他の推定場所を無視するようにナビゲートし得る。同様に、物体が譲れの標識である場合、車両のコンピューティングデバイスは、１つ以上の自律運転システムを動作させて、自律型車両を、譲れの標識の選択された推定場所に従って譲り、譲れの標識についてのすべての他の推定場所を無視するようにナビゲートし得る。

【0019】

上記の特徴は、自律型車両の車道に沿った特定のタイプの物体の場所をより正確に識別するシステムを提供し得る。特に、一時停止標識場所を特定し得る。その結果、自律型車両は、物体の正しくない場所に応答する、例えば、一時停止標識のない場所で不適切に停止する、または譲れの標識のない場所で譲る行動を示す可能性が低くなり得る。このような状況は、自律型車両だけでなく他の道路利用者にとっても混乱を招き、潜在的に危険な場合がある。さらに、このような行動を回避することができるため、自律型車両の乗員は、よりスムーズな乗り心地を体験し、より効率的に目的地に到達し得る。加えて、自律型車両の資源は、誤って位置特定された物体に応答するために使用する必要がないため、より効率的に利用され得る。

【0020】

例示的なシステム
図１は、様々な構成要素を含む車両１００の例示的なブロック図を提供する。本開示のいくつかの態様は、特定のタイプの車両に関連して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーション車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。車両は、１つ以上のコンピューティングデバイス、例えば、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイス１１０を有し得る。

【0021】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能な情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読出し専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの異なる部分が、異なるタイプの媒体に記憶される。

【0022】

命令１３２は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令セットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点について、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のための物体コード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

【0023】

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正され得る。例えば、特許請求される主題は、いかなる特定のデータ構造にも限定されないが、データは、コンピューティングデバイスレジスタ内に、すなわち、複数の異なるフィールドおよびレコードを有する表、ＸＭＬドキュメント、またはフラットファイルとしてリレーショナルデータベース内に記憶されてもよい。データはまた、任意のコンピューティングデバイス可読形式でフォーマットされてもよい。

【0024】

１つ以上のプロセッサ１２０は、市販されているＣＰＵまたはＧＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであり得る。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に例示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができることは、当業者により、理解されるであろう。例えば、メモリは、ハードドライブ、またはコンピューティングデバイス１１０の筐体とは異なる筐体内に配置された他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことを理解されたい。

【0025】

一態様では、コンピューティングデバイス１１０は、自律運転モードで車両を制御するために、車両の様々な構成要素と通信することが可能である自律制御システムの一部であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、自律運転モードにおいて、メモリ１３０の命令１３２に従って、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、ルーティングシステム１６６、プランニングシステム１６８、測位システム１７０、および知覚システム１７２など、車両１００の様々なシステムと通信してもよい。

【0026】

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用されてもよい。例えば、車両１００が自動車またはトラックのように道路で使用するように構成されている場合、ステアリングシステムは、車両の向きを変えるための車輪の角度を制御する構成要素を含んでもよい。

【0027】

プランニングシステム１６８は、ある場所までの、ルーティングシステム１６６によって生成された経路を判定し、これをたどるために、コンピューティングデバイス１１０によって使用され得る。例えば、ルーティングシステム１６６は、地図情報を使用して、車両の現在の場所から降車場所までの経路を判定し得る。プランニングシステム１６８は、目的地への経路（車両の現在の経路）をたどるために、定期的に、軌道、または未来のある期間にわたって車両を制御するための短期計画を生成し得る。この点について、プランニングシステム１６８、ルーティングシステム１６６、および／またはデータ１３４は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図を記憶し得る。

【0028】

地図情報は、事前に記憶され得、１つ以上の道路グラフ、または道路、車線、交差点、および道路区分で表し得るこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、他の関連する特徴にリンクされているかどうかにかかわらず、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含み、特定の道路グラフの特徴の効率的な検索を可能にし得る。

【0029】

図２に示されるように、地図情報の例、ここでは地図情報２００は、交差点２０２および２０４に関連する詳細を含む。車道２１０および２１２は、交差点２０２で合流し、車道２１２および２１４は、交差点２０４で合流する。車道２１０は、第１の方向に向かう車線２３０と、第１の方向と反対の第２の方向に向かう車線２３２とを有する。車道２１２は、第１および第２の方向に垂直な第３の方向に向かう車線２３４を有する。車道２１４は、第３の方向に向かう車線２３６と、第３の方向と反対の第４の方向に向かい、交差点２０２を通過する車線２３８とを有する。地図情報にはまた、一時停止標識２２０、２２２の場所情報も含まれている。特に、一時停止標識２２０の場所は、車道２１０の車線Ａ側の交差点２０２にあるように示され得、一時停止標識２２２の場所は、車道２１４の車線２３６の側の交差点２０４にあるように示され得る。

【0030】

測位システム１７０は、コンピューティングデバイス１１０により、地図上または地球上の車両の相対的または絶対的位置を判定するために使用され得る。例えば、測位システム１７０は、デバイスの緯度、経度、および／または標高の位置を判定するためのＧＰＳ受信機を含むことができる。レーザベースの位置特定システム、慣性支援ＧＰＳ、またはカメラベースの位置特定などの他の位置特定システムもまた、車両の位置を特定するために使用することができる。車両の位置には、緯度、経度、高度などの絶対的な地理的位置情報の他に、すぐ周りの他の車両に対する位置などの相対的な位置情報が含まれてもよく、これは、多くの場合、絶対的な地理的位置よりも少ないノイズで判定することができる。

【0031】

測位システム１７０はまた、車両の方向および速度、またはそれらの変化を判定するための加速度計、ジャイロスコープ、または別の方向／速度検出デバイスなど、コンピューティングデバイス１１０のコンピューティングデバイスと通信している他のデバイスを含み得る。例示に過ぎないが、加速デバイスは、重力の方向、または重力に対して垂直な平面に対する車両の縦揺れ、偏揺れ、または横揺れ（またはそれらの変化）を判定してもよい。このデバイスはまた、速度の増減、およびそのような変化の方向を追跡することもできる。本明細書で説明したようなデバイスの位置および方位データの提供は、コンピューティングデバイス１１０、他のコンピューティングデバイス、および上記の組み合わせに自動的に提供され得る。

【0032】

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部にある物体を検出するための１つ以上の構成要素を含む。例えば、知覚システム１７２は、レーザ、ソナー、レーダー、カメラ、および／またはコンピューティングデバイス１１０のコンピューティングデバイスによって処理され得るデータを記録する任意の他の検出デバイスを含み得る。車両がミニバンなどの乗客車両である場合には、ミニバンは、ルーフまたは他の都合の良い位置に搭載されるレーザまたは他のセンサを含んでもよい。

【0033】

図３は、知覚システム１７２の態様を含む車両１００の例示的な外観図である。例えば、ルーフ上にある筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサまたはシステム、および様々なカメラおよびレーダーユニットを含んでもよい。加えて、車両１００の前端に位置する筐体３２０、ならびに車両の運転手側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを格納してもよい。例えば、筐体３３０は、運転者ドア３６０の前部に位置している。車両１００はまた、車両１００のルーフ上にまた位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／またはルーフもしくはルーフ上にある筐体３１０に沿った他の位置上に位置し得る。

【0034】

コンピューティングデバイス１１０は、コンピューティングデバイス１１０のメモリのプライマリ車両制御コードに従って車両１００の動きを制御するために、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、メモリ１３０の命令１３２に従って、車両１００の動き、速度などを制御するために、減速システム１６０、加速システム１６２、ステアリングシステム１６４、ルーティングシステム１６６、プランニングシステム１６８、測位システム１７０、および知覚システム１７２、電源システム１７４（すなわち、車両のエンジンまたはモータ）など、車両１００の様々なシステムと通信している様々なコンピューティングデバイスを含み得る。

【0035】

車両の様々なシステムは、どのように車両を制御するかを判定するためおよび制御するために、自律型車両制御ソフトウェアを使用して機能し得る。一例として、知覚システム１７２の知覚システムソフトウェアモジュールは、カメラ、ＬＩＤＡＲセンサ、レーダーユニット、ソナーユニットなどのような自律型車両の１つ以上のセンサによって生成されるセンサデータを使用して、物体およびその特徴を検出および識別し得る。これらの特徴には、場所、タイプ、進行方向、配向、速度、加速度、加速度の変化、サイズ、形状などを含み得る。場合によっては、物体タイプに基づいて様々な行動モデルを使用する行動予測システムソフトウェアモジュールに特徴を入力して、検出された物体の予測される将来の行動を出力し得る。他の例では、特徴は、既知の交通信号の状態を検出するように構成された信号機検出システムソフトウェアモジュール、車両の１つ以上のセンサによって生成されたセンサデータから建設ゾーンを検出するように構成された建設ゾーン検出システムソフトウェアモジュール、ならびに、車両のセンサによって生成されたセンサデータから緊急車両を検出するように構成された緊急車両検出システムなどの１つ以上の検出システムソフトウェアモジュールに入れることができる。これらの検出システムソフトウェアモジュールの各々は、様々なモデルを使用して、建設ゾーンまたは物体が緊急車両である可能性を出力し得る。検出された物体、予測された将来の行動、検出システムソフトウェアモジュールからの様々な可能性、車両の環境を識別する地図情報、車両の位置および方位を識別する測位システム１７０からの位置情報、車両の目的地、ならびに車両の様々な他のシステムからのフィードバックをプランニングシステム１６８のプランニングシステムソフトウェアモジュールに入力し得る。プランニングシステムは、この入力を使用して、ルーティングシステム１６６のルーティングモジュールによって生成された経路に基づいて、将来のある短い期間にわたって車両がたどる軌道を生成し得る。コンピューティングデバイス１１０の制御システムソフトウェアモジュールは、例えば、軌道をたどるために、車両の制動、加速、およびステアリングを制御することによって、車両の動きを制御するように構成し得る。

【0036】

コンピューティングデバイス１１０は、様々な構成要素を制御することにより、自律運転モードで車両を制御することができる。例として、例えば、コンピューティングデバイス１１０は、詳細な地図情報およびプランニングシステム１６８からのデータを使用して、車両を目的地場所に完全に自律的にナビゲートし得る。コンピューティングデバイス１１０は、測位システム１７０を使用して、車両の場所を判定し、知覚システム１７２を使用して、その場所に安全に到着する必要があるときに、物体を検出し、物体に応答し得る。繰り返すが、そうするために、コンピューティングデバイス１１０は、軌道を生成し、例えば、車両に、（例えば、加速システム１６２により、エンジンまたは電源システム１７４に燃料または他のエネルギーを供給することによって）加速させ、（例えば、エンジンまたは電源システム１７４に供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向を変更させ、（例えば、車両の方向指示器を点灯することによって）そのような変更を信号で伝えることによって、車両にこれらの軌道を追従させ得る。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御し得る。

【0037】

例示的な方法
上述し、図に示した動作に加えて、様々な動作を、ここで説明する。以下の動作は、以下に説明する正確な順序で実施される必要がないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。

【0038】

図１０は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、知覚システム１７２の１つ以上のプロセッサ、または両方の組み合わせなどの１つ以上のプロセッサによって実行され得る自律運転を有する車両を制御する例示的な方法の例示的なフロー図１０００である。例えば、ブロック１０１０で、自律運転モードを有する車両の環境の複数の画像を受信し得る。一例として、車両の知覚システム１７２の１つ以上のカメラは、物体を含み得る複数の画像を捕捉し得る。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢（車両が動いていない場合）または異なる姿勢（車両が動いている場合）にあるときに、これらの画像の各々が捕捉され得る。

【0039】

複数の画像は、様々な理由で捕捉され得る。車両がその環境を通って運転されるとき、車両の知覚システムは、一時停止標識または譲れの標識などの特定のタイプの物体を含む物体を検出および識別し得る。車両が特定のタイプの物体に接近している場合、コンピューティングデバイス１１０は、複数の画像を捕捉することによって、物体の推定場所を判定し得る。代替的に、車両が、地図情報で識別されるような特定のタイプの物体の予想される場所からの、深度地図位置特定に使用されるＬＩＤＡＲセンサなどの車両のセンサの最大範囲に対応し得る、所定の距離にある場合、および、車両が物体に接近している場合、複数の画像を捕捉し得る。

【0040】

図５に示されるように、車両１００は、記憶された地図部分２００に示される地理的領域を含む地理的領域５００内を運転し得る。これに関して、交差点５０２、５０４の各々の形状および場所は、一般に、交差点２０２、２０４の各々の形状および場所にそれぞれ対応し、一時停止標識５２０、５２２の形状および場所は、一般に、一時停止標識２２０、２２２の形状および場所に対応し、車線５３０、５３２、５３４、５３６、５３８の各々の形状および場所は、一般に、それぞれ、車線２３０、２３２、２３４、２３６、２３８の各々の形状および場所に対応する。

【0041】

この例では、知覚システム１７２は、一時停止標識５２０を一時停止標識として識別し、この情報をコンピューティングデバイス１１０に提供し得る。それに応じて、コンピューティングデバイスは、知覚システム１７２に複数の画像を捕捉させ得る。代替的に、一時停止標識の識別に基づいて、知覚システムは、複数の画像を自動的に捕捉し得る。別の代替案として、コンピューティングデバイス１１０は、車両が、直線距離にある、または車両が現在たどっている経路に沿ってのいずれかの、地図情報内の一時停止標識２２０から所定の距離にあるとコンピューティングデバイスが判定すると、知覚システム１７２に複数の画像を捕捉させ得る。

【0042】

例えば、一時停止標識が知覚システム１７２によって検出されたとき、または車両１００が地図情報２００内の一時停止標識の場所から所定の距離にあるときに、複数の画像を捕捉し得る。場合によっては、複数の画像は、同じカメラまたは異なるカメラによって経時的に捕捉された一連の画像であり得る。同じカメラを使用する場合、カメラが同じ姿勢（車両が動いていない場合）または異なる姿勢（車両が動いている場合）にあるときに、これらの画像の各々が捕捉され得る。図４Ａは、第１の画像４０１Ａが、知覚システム１７２のカメラの第１の姿勢で第１の時点で捕捉され得、第２の画像４０１Ｂが、カメラの第２の姿勢で第１の時点の後の第２の時点で捕捉され得、および第３の画像４０１Ｃが、第３の姿勢で第２の時点の後の第３の時点で捕捉され得ること含む例示的な複数の画像４００を提供する。第１、第２、および第３の画像は、１０Ｈｚまたは他の周波数で連続して捕捉され得る。これに関して、図５は、画像４０１Ａが捕捉された時間を表し得る。車両が一時停止標識５２０に近づくにつれて、第２の画像４０１Ｂが捕捉され得、その後、第３の画像４０１Ｃが捕捉され得る。

【0043】

いくつかの実施態様では、複数の画像は、第１の画像４０１Ａを含み得、第２の画像４０１Ｂは、本明細書に記載されるように捕捉され、処理され得る。第３の画像４０１Ｃなどの第１の画像４０１Ａおよび第２の画像４０１Ｂを超える追加の画像は、複数の画像に含まれ得、したがって、本明細書に記載されるように捕捉および処理される。捕捉および処理される追加の画像の数は、システムの遅延要件または一時停止標識の推定場所が必要な時間枠に依存し得る。例えば、所与の一時停止標識を検出してから０．５秒以内に推定場所が必要であり、処理に０．１秒かかる場合、４つの画像を１０Ｈｚ以上の周波数で捕捉し、処理し得る。

【0044】

複数の画像の各画像の姿勢は、車両の場所、および車両に対する、画像を捕捉したカメラの相対的な場所に基づいて判定され得る。例えば、測位システム１７０および地図情報を使用して、車両のコンピューティングデバイス１１０は、第１の画像４０１Ａが知覚システム１７２のカメラから捕捉されたときに、車両１００が交差点５０４に向かう方向に進行する車道２１０の車線５３０に位置することを判定し得る。これを、画像が捕捉された時点における、車両１００に対する、画像を捕捉したカメラの相対的な場所および配向と組み合わせて、第１の画像４０１Ａの第１の姿勢を判定するために使用し得る。複数の画像の各画像について、同様のプロセスを繰り返し得る。

【0045】

この例では、第１の画像４０１Ａは、交差点４０２Ａ、４０４Ａ、車道４１０Ａ、４１２Ａ、４１４Ａ、および一時停止標識４２０Ａ、４２２Ａを捕捉し得る。車道４１０Ａは、第１方向に向かう車両１００の走行車線である車線Ａ（車線２３０に対応する）と、第１方向とは反対の第２方向に向かう車線Ｂ（車線２３２に対応する）を含み得、車道４１２Ａは、第１および第２の方向に垂直な第３の方向に向かう１つ以上の車線を含み得、車道４１４Ａは、第３の方向に向かう車線Ｄ（車線２３６に対応する）と、第３の方向とは反対の第４の方向に向かう車線Ｅとを含み得る。車両１００が車線Ａをある距離を移動した後に撮影された第２の画像４０１Ｂは、交差点４０２Ｂ、４０４Ｂ、車道４１０Ｂ、４１２Ｂ、４１４Ｂ、および一時停止標識４２０Ｂを捕捉し得る。車両１００が車線Ａをさらなる距離を移動した後に撮影された第３の画像４０１Ｃは、交差点４０２Ｃ、車道４１０Ｃ、４１２Ｃ、および一時停止標識４２０Ｃを捕捉し得る。この例では、一時停止標識４２０Ａ、４２０Ｂ、および４２０Ｃは、同じ一時停止標識であり得るが、これらの３つの画像の各々における一時停止標識の検出のみに基づいて、この関連付けは、コンピューティングデバイス１１０に「知られて」いない。

【0046】

図１０に戻ると、ブロック１０２０で、複数の画像のうちの画像における特定のタイプの関連付けられた物体が識別される。例えば、コンピューティングデバイス１１０は、複数の画像のうちの第１の画像における特定のタイプの物体を識別するように構成され得る。この第１の画像は、時間的に第１の画像、時間的に第２の画像、または複数のうちの他のある画像であり得る。物体を識別することは、様々な物体認識技術を使用して、物体に対応する第１の画像における「パッチ」または複数のピクセルを識別することを含み得る。このような技術には、カメラ画像における特定の物体領域を検出する畳み込みディープネットワークが含まれ得る。これらのネットワークは、一時停止標識または譲れの標識などの特定の物体を含むトレーニング画像の領域のラベル付きの例を使用して、教師あり学習によってトレーニングされ得る。

【0047】

例えば、図４Ｂは、画像４０１Ａの一時停止標識４２０Ａの例示的なパッチ（破線で囲まれた領域で表されている）を描写している。同様のパッチ４３０Ｂ、４３０Ｃはまた、それぞれ、図４Ｃおよび４Ｄに示されるように、画像４０１Ｂ１および４０１Ｃの一時停止標識４２０Ｂおよび４２０Ｃについて判定され得る。コンピューティングデバイス１１０は、継続的に、または車両が、地図情報に記憶された情報から判定されるような一時停止標識または譲れの標識などの特定のタイプの物体の場所から設定された距離にある場合などの特定の状況でのみ、物体認識技術に従事するように構成され得る。このプロセスは、複数の他の画像における特定のタイプの他の物体を識別するために使用され得る。

【0048】

コンピューティングデバイス１１０は、画像における任意の物体が複数の画像のうちの他の画像における物体と同じ物体であるかどうかを判定し得、これらの物体を互いに関連付け得る。例えば、コンピューティングデバイスは、同じ一時停止標識が複数の画像の各々に表示されるかどうかを判定することができる。関連付けは、１つの画像における１つの物体のパッチの中心を、別の画像における別の物体の画像に投影することによって生成し得る。投影されたピクセル場所は、２つの画像が捕捉されたときのカメラの姿勢間の違いに応じて調整され得る。投影が、別の画像における別の物体に対応するパッチと重なるか、またはそれを備える領域内にある場合、各画像におけるパッチが同じ物体（以下、関連付けられた物体）を表すことを示す関連付けが生成される。そうでなければ、パッチは、同じ物体に対応しない。関連付けを使用して、推定場所を検証し、第１の画像が捕捉されたときの物体の場所についての推定場所のうちの１つを選択し得る。関連付けは、推定場所を生成する前、それと同時に、またはそれを生成した後に生成され得る。

【0049】

図７に示されるように、一時停止標識４２０Ｂのパッチ４３０Ｂの中心７１０は、画像４０１Ａに投影され得る。この例では、パッチ４３０Ｂの中心７１０は、パッチ４３０Ａの領域内にある。したがって、コンピューティングデバイス１１０は、一時停止標識４２０Ａのパッチとパッチ４３０Ｂが同じ物体であると判定することができる。さらに、パッチ４３０Ａの中心は、第２の画像４０１Ｂに投影され得る。パッチ４３０Ａの中心の投影位置がパッチ４３０Ｂの領域内にある場合、コンピューティングデバイス１１０は、一時停止標識４２０Ｂに対応するパッチ、および一時停止標識４２０Ａに対応するパッチが同じ物体であると判定し得る。これらの投影は、特定のタイプの物体に対応する識別されたパッチを有する複数の画像のうちの画像の各ペアに対して実行され得る。

【0050】

図１０に戻ると、ブロック１０３０において、複数の異なる位置特定技術を使用して、物体について複数の推定場所が判定される。第１の例示的な位置特定技術には、物体サイズ位置特定が含まれ得る。例えば、物体のタイプに基づいて、車両のコンピューティングデバイスは、物体の予想されるサイズまたは予想される寸法を使用して、車両と物体との間の距離を推定し得る。これには、パッチの寸法、例えば、ピクセルの高さおよびまたは幅を、様々な距離での物体の予想される寸法と比較し、パッチの寸法に最も近い予想される寸法と関連付けられた距離を特定することが含まれ得る。代替的に、パッチの寸法を、物体の予想される寸法に基づいて、推定された距離を提供する方程式に入力することもできる。これは、一時停止標識および譲れの標識などの特定の物体の寸法が、かなり一貫しているか、またはそうでなければ法律によって規制または指示され得るため、有益である場合がある。この推定された距離を、画像が捕捉されたときの画像捕捉場所の姿勢と組み合わせることは、物体の三次元（３Ｄ）場所を推定するために、使用され得る。例えば、画像４０１Ａ、４０１Ｂ、および４０１Ｃを比較すると、一時停止標識４２０Ａ、４２０Ｂ、４２０Ｃは、車両（または画像を捕捉したカメラ）と一時停止標識との間の距離が小さくなるにつれて大きく表示される。図４Ａの例に目を向けると、車両のコンピューティングデバイス１１０は、上記のような物体サイズ位置特定などの第１の位置特定技術を使用して、一時停止標識４２０Ａの第１の推定場所を判定し得る。

【0051】

第２の例示的な位置特定技術には、深度地図位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、知覚システムのＬＩＤＡＲセンサによって生成されたセンサデータを使用し得、深度地図を提供し得る。カメラの姿勢を使用して画像を深度地図に投影することにより、物体の３Ｄ場所を推定し得る。図４Ａの例に戻ると、コンピューティングデバイス１１０は、深度地図位置特定などの第２の位置特定技術を使用して、一時停止標識４２０Ａの第２の推定場所を判定し得る。画像４０１Ａが捕捉されたと同時に、または時間的に非常に近くに、知覚システム１７２のＬＩＤＡＲセンサは、車両の環境内の物体の表面の場所（ｘ、ｙ、ｚ）および強度を識別するセンサデータを生成し得る。このセンサデータを使用して、車両の環境内の表面を相互に３Ｄで識別する深度地図を生成し得、画像４０１Ａまたは単にパッチ４３０Ａを、画像が捕捉されたときの画像４０１Ａを捕捉したカメラの姿勢を使用して、深度地図に投影し得る。パッチ４３０Ａが投影される深度地図の表面の場所は、一時停止標識４２０Ａの第２の推定場所であり得る。

【0052】

第３の例示的な位置特定技術には、道路グラフベースの位置特定が含まれ得る。例えば、車両のコンピューティングデバイスは、カメラ（および／または車両）の場所に対するパッチ上の中心または他のある場所の配向を判定し、次いでこの配向を使用して、地図情報に光線を投影し得る。この光線は、画像が捕捉されたとき、物体がカメラの姿勢に対する画像における物体の所与の場所を見つけ得る座標を表し得る。計算された光線に沿って、またはその所定の距離内にある、マッピングされた一時停止標識など１つ以上の物体を識別し得る。次いで、物体の別の推定場所は、地図情報内の任意の識別された物体の場所を使用して判定され得る。

【0053】

図４Ａの例に戻ると、コンピューティングデバイス１１０は、道路グラフベースの位置特定などの第３の位置特定技術を使用して、一時停止標識４２０Ａの第３の推定場所を判定し得る。道路グラフベースの位置特定は、一時停止標識４２０Ａを位置特定して、物体の別の推定場所を取得し得る。道路グラフベースの位置特定は、画像が、第１の画像４０１Ａ内のパッチ４３０Ａの中心を通して捕捉されたときに第１の画像４０１Ａを捕捉したカメラの場所からの三次元光線を計算することを含み得る。カメラの場所は、第１の姿勢、車両の位置、および画像４０１Ａが捕捉されたときの車両に対するカメラの場所から導き出すことができる。

【0054】

図６に示されるように、パッチ４３０の中心に対応する方向に配向された光線６１０は、カメラの第１の姿勢に基づいて、車両１００の判定された場所から地図情報に投影され得る。カメラの第１の姿勢に対する投影された光線の角度は、第１の画像４０１Ａの中心に対する一時停止標識４２０Ａの場所を判定し、一時停止標識４２０Ａの場所と第１の画像４０１Ａの中心との間の差を、地理的領域５００の角距離にマッピングすることによって判定し得る。

【0055】

マッピングされた一時停止標識は、光線の座標に沿って、または光線の座標から閾値距離内にｘ座標、ｙ座標を有するものとして識別され得る。場合によっては、ｚ座標の閾値距離内にあることも必要になることがある。閾値距離は、地理的領域内の一時停止標識の間の曖昧さを解消するために、一時停止標識の密度に基づいて判定し得る。例えば、一時停止標識の密度がより高い場合は、一時停止標識の密度がより低い場合よりも低い閾値距離が必要になり得る。図６に示すように、ｘ次元で５フィート、ｙ次元で５フィートの閾値距離を使用すると、光線６１０は、地図部分２００の地図情報内の第１の一時停止標識２２０の場所情報による、第１の一時停止標識２２０のｘ次元およびｙ次元で５フィート以内を通過し得る。第２の一時停止標識２２２などの他の一時停止標識は、光線６１０から５フィート以内にはない。したがって、第１の一時停止標識２２０を特定することができる。

【0056】

地図情報に記憶された第１のマッピングされた一時停止標識の座標は、道路グラフベースの位置特定の推定場所であると判定し得る。例えば、第１の一時停止標識２２０の場所情報は、第１の画像４０１Ａで捕捉された一時停止標識４２０Ａの第３の推定場所として使用され得る。

【0057】

場合によっては、追加の数のマッピングされた一時停止標識はまた、上記の道路グラフベースの位置特定を使用して、計算された光線からの閾値距離内にｘ、ｙ座標を有し、検出可能な配向を有すると識別され得る。追加の数のマッピングされた一時停止標識の各々の座標は、第１の一時停止標識についての推定場所のセットに追加され得る。代替的に、第１のマッピングされた一時停止標識のうちの計算された光線に最も近いマッピングされた一時停止標識、および追加の数のマッピングされた一時停止標識の座標を、第１の一時停止標識の推定場所として選択して、推定場所のセットに追加さし得る。

【0058】

他の例では、光線の所定の閾値距離に沿ってまたはその範囲内にあると識別される第１のマッピングされた一時停止標識はまた、カメラが、第１のマッピングされた一時停止標識を一時停止標識として検出することを可能にする配向を有すると識別され得る。例えば、図６に戻ると、地図部分２００の地図情報に基づいて、第１の一時停止標識２２０の配向は、第１の一時停止標識２２０上のＳＴＯＰという単語がカメラによって検出可能であるように、車両１００が走行している車線２３０に面していると判定され得る。第１のマッピングされた一時停止標識が、カメラが第１のマッピングされた一時停止標識を一時停止標識として検出することを可能にする配向を有しない場合、第１のマッピングされた一時停止標識は、位置特定プロセスから除外され得る。例えば、地図情報によれば、第２の一時停止標識２２２の配向は、ＳＴＯＰという単語が、車両１００のカメラによって捕捉されるように、車線２３０に面していない。したがって、第２の一時停止標識２２２が光線の座標から閾値距離内にある場合、第２の一時停止標識２２２は、道路グラフ位置特定プロセスから除外され、および／または車両によって無視される。

【0059】

図８は、第１の位置特定技術、第２の位置特定技術、および物体サイズ位置特定、深度地図位置特定、および上記の道路グラフベースの位置特定技術などの第３の位置特定技術によって判定され得る、一時停止標識５２０の複数の推定場所８２０Ａ、８２０Ｂ、８２０Ｃの例示的な描写を提供する。この例では、各位置特定技術は、ある関連付けられた誤差を有し得る。例えば、物体サイズ位置特定について、物体の予想されるサイズまたは寸法が正しくない場合、画像における物体が部分的に遮られている場合、または物体が、予想されるサイズまたは寸法に単に適合していない場合（つまり、壊れた記号、製造誤差、またはその他の不整合）、この技術を使用して判定された物体の推定場所が正しくない可能性がある。別の例として、深度地図位置特定について、ＬＩＤＡＲセンサの物体のビューが、別の道路利用者、がれき、落ち葉、木の枝、標識、または他の物体などによって部分的に遮られている場合この技術を使用して判定された物体の推定場所が正しくない可能性がある。別の例として、道路グラフベースの位置特定は、物体が、損傷または移動している（例えば、一時停止標識または譲れの標識用の曲がった標識ポール）、一時的（一時的な一時停止標識など）、もしくは新しい、および地図情報に表示されない場合、または光線に沿って同じタイプの複数の物体がある場合、この技術を使用して判定された物体の推定場所が正しくない可能性がある。

【0060】

図１０に戻ると、ブロック１０４０で、複数の推定場所の各々について、誤差スコアが判定され得る。この誤差スコアは、再投影誤差に基づいている可能性がある。例えば、別の画像における別の物体と関連付けられた物体を含む各画像について、コンピューティングデバイス１１０は、関連付けられた物体の推定場所の各々について再投影誤差を判定し得る。そうするために、関連付けられた物体の各推定場所は、関連付けられた物体が識別された各画像に投影され得る。再投影誤差は、投影された推定場所と、その画像に関連付けられたものに対応するパッチとの間の距離であり得る（またはそれから導き出され得る）。このプロセスは、任意の他の推定場所に対して、および関連付けられた物体が存在している画像の所定の数（例えば、３つ以上の画像またはそれ以下）またはすべてに対して繰り返し得る

【0061】

図９Ａ、９Ｂ、および９Ｃは、それぞれ、画像４０１Ａ、４０１Ｂ、４０１Ｃの詳細図を表し、理解を容易にするために画像自体の詳細なしで、それぞれパッチ４３０Ａ、４３０Ｂ、４３０Ｃの領域を示している。図９Ａに示されるように、第１の推定場所８２０Ａ、第２の推定場所８２０Ｂ、および第３の推定場所８２０Ｃは、第１の画像４０１Ａに投影され得る。点９２０Ａ、９２０Ｂ、９２０Ｃは、それぞれ、推定場所８２０Ａ、８２０Ｂ、８２０Ｃの中心を表し、点９３０Ａ、９３０Ｂ、９３０Ｃは、それぞれパッチ４３０Ａ、４３０Ｂ、４３０Ｃの中心を表す。

【0062】

推定場所とパッチ４３０Ａとの間、例えば、パッチ４３０Ａの中心と推定場所の各々の中心との間の距離ＤＡ１、ＤＢ１、およびＤＣ１は、推定場所の各々についての第１の再投影誤差として識別され得る。図８Ｂに目を向けると、第１の推定場所８２０Ａ、第２の推定場所８２０Ｂ、および第３の推定場所８２０Ｃは、第１の画像４０１Ｂに投影され得る。一時停止標識４２０Ｂについて識別された画像４０１Ｂのピクセルに対応する推定場所とパッチ４３０Ｂとの間の距離ＤＡ２、ＤＢ２、およびＤＣ２、例えば、パッチの中心と推定場所の各々の中心との間の距離は、推定場所の各々についての第２の再投影誤差として識別され得る。図８Ｃに目を向けると、第１の推定場所８２０Ａ、第２の推定場所８２０Ｂ、および第３の推定場所８２０Ｃは、第１の画像４０１Ｂに投影され得る。推定場所とパッチ４３０Ｃとの間、例えば、パッチ４３０Ｃの中心と推定場所の各々の中心との間の距離ＤＡ３、ＤＣ３、およびＤＣ３は、推定場所の各々についての再投影誤差として識別され得る。

【0063】

次いで、コンピューティングデバイス１１０は、各位置特定技術について、またはむしろ、異なる位置特定技術を使用して判定された複数の推定場所の各推定場所について、誤差スコアを判定し得る。一例として、関連付けられた物体が表示される異なる画像に投影された同じ推定場所の投影から判定された再投影誤差スコアは、一緒に平均され得る。例えば、距離ＤＡ１、ＤＡ２、およびＤＡ３を一緒に平均して、推定場所８２０Ａの誤差スコアを判定することができる。さらに、距離ＤＢ１、ＤＢ２、およびＤＢ３を一緒に平均して、推定場所８２０Ｂの誤差スコアを判定することができ、距離ＤＣ１、ＤＣ２、およびＤＣ３を一緒に平均して、推定場所８２０Ａの誤差スコアを判定することができる。

【0064】

誤差スコアの数は、複数の位置特定技術のうちの位置特定技術の数に依存し得る。例えば、物体について２つの位置特定技術または２つの推定場所がある場合、２つの誤差スコアがある。同様に、物体について３つの位置特定技術または３つの推定場所がある場合、３つの誤差スコアがある。そのため、物体について追加の位置特定技術または推定場所がある場合、追加の誤差スコアがある。

【0065】

図１０に戻ると、ブロック１０５０において、推定場所は、判定された誤差スコアに基づいて、複数の推定場所から選択される。例えば、コンピューティングデバイス１１０は、判定された誤差スコアに基づいて、第１の画像が捕捉された時点での物体についての複数の推定場所から、位置特定技術または推定場所を選択し得る。例えば、最も低い誤差スコアを有する推定場所は、第１の画像が捕捉された時点での物体の場所であると判定され得る。換言すれば、複数の画像のパッチまでの最も短い平均投影距離を有する推定場所を選択し得る。例えば、距離ＤＣ１、ＤＣ２、およびＤＣ３の平均が、距離ＤＡ１、ＤＡ２、およびＤＡ３の平均、ならびに距離ＤＣ１、ＤＣ２、およびＤＣ３の平均よりも小さい可能性があるとして、推定場所８２０Ｂが選択され得る。

【0066】

図１０に戻ると、ブロック１０６０で、車両は、選択された推定場所に基づいて、自律運転モードで制御される。例えば、コンピューティングデバイス１１０は、選択された推定場所に従って物体に応答するために、自律運転モードで車両を制御するように構成され得る。これは、選択された場所をプランニングシステム１６８または行動モデルに入力することを含み得る。例えば、物体が一時停止標識である場合、車両のコンピューティングデバイスは、１つ以上の自律運転システムを動作させて、自律型車両を、選択された推定場所に従って停止し、一時停止標識についてのすべての他の推定場所を無視するようにナビゲートする。同様に、物体が譲れの標識である場合、車両のコンピューティングデバイスは、１つ以上の自律運転システムを動作させて、自律型車両を、譲れの標識の選択された推定場所に従って譲り、譲れの標識についてのすべての他の推定場所を無視するようにナビゲートする。

【0067】

場合によっては、物体が一時停止標識であり、選択された一時停止標識の推定場所が、マッピングされた一時停止標識の座標に対応していない（例えば、同じではない、または非常に近い）場合、一時停止標識は、一時的、または新しい可能性のある一時停止標識として識別される。同じことが譲れの標識または他のタイプの物体にも当てはまり得る。加えて、この情報は、地図情報に記憶され、および／またはさらなる分析のためにリモートコンピューティングデバイスに送信され得る。

【0068】

代替の例では、車両のコンピューティングデバイス１１０は、複数の画像を使用して、移動する標識の軌道を識別するようにさらに構成され得る。移動する標識は、ハンドヘルドの一時停止標識またはバスの一時停止標識など、アクティブな位置に移動する一時的な標識であり得る。一時的な標識の場所または一時的な標識がアクティブ位置にあるタイミングに関する予測は、コンピューティングデバイス１１０によって判定され得る。次いで、車両１００は、予測に従ってナビゲートするために、コンピューティングデバイスによって動作され得る。

【0069】

上記の特徴は、自律型車両の車道に沿った特定のタイプの物体の場所をより正確に識別するシステムを提供し得る。特に、一時停止標識場所を特定し得る。その結果、自律型車両は、物体の正しくない場所に応答する、例えば、一時停止標識のない場所で不適切に停止する、または譲れの標識のない場所で譲る行動を示す可能性が低くなり得る。このような状況は、自律型車両だけでなく他の道路利用者にとっても混乱を招き、潜在的に危険な場合がある。さらに、このような行動を回避することができるため、自律型車両の乗員は、よりスムーズな乗り心地を体験し、より効率的に目的地に到達し得る。加えて、自律型車両の資源は、誤って位置特定された物体に応答するために使用する必要がないため、より効率的に利用され得る。

【0070】

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装することができる。上で考察された特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された語句の提示は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面の同じ参照符号は、同じまたは類似の要素を特定することができる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図10】