特開 2022-119905 遮蔽を伴う道路利用者反応モデリングに従って自律車両を動作させること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022119905

(43)【公開日】2022-08-17

(54)【発明の名称】遮蔽を伴う道路利用者反応モデリングに従って自律車両を動作させること

(51)【国際特許分類】

   G08G 1/16 20060101AFI20220809BHJP

   B60W 30/08 20120101ALI20220809BHJP

   B60W 40/02 20060101ALI20220809BHJP

   B60W 60/00 20200101ALI20220809BHJP

【ＦＩ】

G08G1/16 D

B60W30/08

B60W40/02

B60W60/00

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022086350

(22)【出願日】2022-05-26

(62)【分割の表示】P 2021532040の分割

【原出願日】2019-12-03

(31)【優先権主張番号】16/220,144

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ラッセル，ジャレッド，スティーブン

(72)【発明者】

【氏名】グートマン，ジェンズ－ステフェン，ラルフ

(57)【要約】

【課題】本開示は、自律車両１００を動作させるための方法を提供する。
【解決手段】自律車両を動作させるために、自律車両の環境内にある複数の車線セグメントが判定され、環境内の第１の物体および第２の物体が検出される。第１の物体の第１の位置が、複数の車線セグメントに対して判定され、第１の物体によって遮蔽される特定の車線セグメントが、第１の位置を使用して判定される。遮蔽された車線セグメントに従って、第２の物体の反応時間が判定され、自律車両に対する運転命令が、反応時間に従って判定される。次いで、自律車両が、運転命令に基づいて動作される。
【選択図】図８Ａ

【特許請求の範囲】

【請求項1】

自律車両を動作させるための方法であって、前記方法は、
１つ以上のコンピューティングデバイスによって、前記自律車両の環境内にある複数の車線セグメントを判定することと、
前記自律車両の検出システムを使用して、前記１つ以上のコンピューティングデバイスによって、前記自律車両の環境内の第１の物体および第２の物体を検出することと、
前記１つ以上のコンピューティングデバイスによって、前記複数の車線セグメントに対する前記第１の物体の位置を判定することと、
前記１つ以上のコンピューティングデバイスによって、前記複数の車線セグメントのうちの１つ以上の車線セグメントが、前記位置に従って、設定された時間間隔中に、前記自律車両の視点から、前記第１の物体によって遮蔽されることを判定することと、
前記１つ以上のコンピューティングデバイスによって、前記遮蔽された１つ以上の車線セグメントに従って、前記第２の物体の反応時間を判定することと、
前記１つ以上のコンピューティングデバイスによって、前記第２の物体の前記判定された反応時間に従って、前記自律車両に対する運転命令を判定することであって、前記運転命令が、前記自律車両の操縦のためのタイミングを含む、判定することと、
前記１つ以上のコンピューティングデバイスによって、前記運転命令に基づいて、前記自律車両を動作させることと、を含む、方法。

【請求項2】

前記１つ以上の車線セグメントが遮蔽されることを判定することが、前記設定された時間間隔中に、前記第１の物体の場所と前記自律車両の場所との間の関係を判定することを含む、請求項１に記載の方法。

【請求項3】

前記設定された時間間隔中に、前記第１の物体の前記場所と前記自律車両の前記場所との間の前記関係を判定することが、前記設定された時間間隔中に、前記場所において、ある領域が、前記自律車両の視野からブロックされると判定することを含む、請求項２に記載の方法。

【請求項4】

前記第２の物体が、名目上の人間の行為者に関連付けられたあるタイプの車両であり、
前記反応時間を判定することは、前記第２の物体に関連付けられた前記名目上の人間の行為者が、前記名目上の人間の行為者の視野が前記自律車両の場所を含むように位置付けられているかどうかを判定することを含む、請求項１に記載の方法。

【請求項5】

前記反応時間を判定することが、前記自律車両の下部構造と前記名目上の人間の行為者の予測された場所との間の線分を計算することをさらに含む、請求項４に記載の方法。

【請求項6】

前記反応時間を判定することが、
前記第２の物体が前記自律車両に反応し始める可能性が最も高い刺激点を判定することと、
推定された知覚時間を前記刺激点に追加することと、を含む、請求項１に記載の方法。

【請求項7】

前記１つ以上のコンピューティングデバイスによって、１つ以上の第２の車線セグメントが、前記設定された時間間隔の直後の次の時間間隔中に、前記第１の物体によって遮蔽されることを判定することによって、前記複数の車線セグメント上の遮蔽を追跡することをさらに含む、請求項１に記載の方法。

【請求項8】

自律車両の自動運転システムであって、前記自動運転システムが、
前記自律車両の環境内の物体を検出するように構成されている検出システムと、
前記検出システムと通信する１つ以上のコンピューティングデバイスと、を備え、前記１つ以上のコンピューティングデバイスは、
前記自律車両の環境内にある複数の車線セグメントを判定することと、
前記検出システムを使用して、前記自律車両の環境内の第１の物体および第２の物体を検出することと、
前記複数の車線セグメントに対する前記第１の物体の位置を判定することと、
前記複数の車線セグメントのうちの１つ以上の車線セグメントが、前記位置に従って、設定された時間間隔中に、前記自律車両の視点から、前記第１の物体によって遮蔽されることを判定することと、
前記遮蔽された１つ以上の車線セグメントに従って、前記第２の物体の反応時間を判定することと、
前記第２の物体の前記判定された反応時間に従って、前記自律車両に対する運転命令を判定することであって、前記運転命令が、前記自律車両の操縦のためのタイミングを含む、判定することと、
前記運転命令に基づいて、前記自動運転システムを動作させることと、を行うように構成されている、自動運転システム。

【請求項9】

前記１つ以上の車線セグメントが、前記設定された時間間隔中に、前記自律車両の視野から前記第１の物体によってブロックされる領域に基づいて遮蔽されると判定される、請求項８に記載の自動運転システム。

【請求項10】

前記第２の物体が、名目上の人間の行為者に関連付けられたあるタイプの車両であり、
前記反応時間は、前記第２の物体に関連付けられた前記名目上の人間の行為者が、前記名目上の人間の行為者の視野が前記自律車両の場所を含むように位置付けられているかどうかに基づいて判定される、請求項８に記載の自動運転システム。

【請求項11】

前記反応時間が、前記自律車両の下部構造と前記名目上の人間の行為者の予測された場所との間の計算された線分に基づいてさらに判定される、請求項１０に記載の自動運転システム。

【請求項12】

前記反応時間が、
前記第２の物体が前記自律車両に反応し始める可能性が最も高い刺激点と、
前記刺激点に対する追加の推定された知覚時間と、に基づいて判定される、請求項８に記載の自動運転システム。

【請求項13】

前記１つ以上のコンピューティングデバイスは、１つ以上の第２の車線セグメントが、前記設定された時間間隔の直後の次の時間間隔中に、前記第１の物体によって遮蔽されることを判定することによって、前記複数の車線セグメント上の遮蔽を追跡するようにさらに構成されている、請求項８に記載の自動運転システム。

【請求項14】

前記自律車両をさらに備える、請求項８に記載の自動運転システム。

【請求項15】

プログラムのコンピュータ可読命令が記憶されている非一時的有形コンピュータ可読記憶媒体であって、前記命令が、１つ以上のプロセッサによって実行されたとき、前記１つ以上のプロセッサに方法を実行させ、前記方法は、
自律車両の環境内にある複数の車線セグメントを判定することと、
前記自律車両の検出システムを使用して、前記自律車両の環境内の第１の物体および第２の物体を検出することと、
前記複数の車線セグメントに対する前記第１の物体の位置を判定することと、
前記複数の車線セグメントのうちの１つ以上の車線セグメントが、前記位置に従って、設定された時間間隔中に、前記自律車両の視点から、前記第１の物体によって遮蔽されることを判定することと、
前記遮蔽された１つ以上の車線セグメントに従って、前記第２の物体の反応時間を判定することと、
前記第２の物体の前記判定された反応時間に従って、前記自律車両に対する運転命令を判定することであって、前記運転命令が、前記自律車両の操縦のためのタイミングを含む、判定することと、
前記運転命令に基づいて、前記自律車両を動作させることと、を含む、非一時的有形コンピュータ可読記憶媒体。

【請求項16】

前記１つ以上の車線セグメントが遮蔽されることを判定することが、前記設定された時間間隔中に、前記第１の物体の場所と前記自律車両の場所との間の関係を判定することを含む、請求項１５に記載の媒体。

【請求項17】

前記設定された時間間隔中に、前記第１の物体の前記場所と前記自律車両の前記場所との間の前記関係を判定することが、前記設定された時間間隔中に、前記場所において、ある領域が、前記自律車両の視野からブロックされると判定することを含む、請求項１６に記載の媒体。

【請求項18】

前記第２の物体が、名目上の人間の行為者に関連付けられたあるタイプの車両であり、
前記反応時間を判定することは、前記第２の物体に関連付けられた前記名目上の人間の行為者が、前記名目上の人間の行為者の視野が前記自律車両の場所を含むように位置付けられているかどうかを判定することを含む、請求項１５に記載の媒体。

【請求項19】

前記反応時間を判定することが、前記自律車両の下部構造と前記名目上の人間の行為者の予測された場所との間の線分を計算することをさらに含む、請求項１８に記載の媒体。

【請求項20】

前記反応時間を判定することが、
前記第２の物体が前記自律車両に反応し始める可能性が最も高い刺激点を判定することと、
推定された知覚時間を前記刺激点に追加することと、を含む、請求項１５に記載の媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１８年１２月１４日に出願された米国出願第１６／２２０，１４４号の利益を主張し、その開示全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

人間の運転者を必要としない車両などの自律車両が、ある場所から別の場所への乗客または物品の輸送を支援するために使用される場合がある。かかる車両は、乗客がピックアップ場所または目的地などの何らかの初期入力を提供することができ、かつ車両がその場所まで車両自体を操縦する、完全な自律モードで動作し得る。

【0003】

このような車両には、典型的には、周囲の物体を検出するために様々なタイプのセンサが装備されている。例えば、自律車両は、レーザー、ソナー、レーダー、カメラ、および車両の周囲からのデータを走査して記録する他のデバイスを含み得る。これらのデバイスのうちの１つ以上からのセンサデータは、物体およびそれらのそれぞれの特性（位置、形状、進行方向、速度など）を検出するために使用され得る。これらの特性は、他の物体の軌道を予測するために使用され得る。これらの軌道は、物体が将来のある短い期間の間に何をする可能性があるかを定義する場合がある。次いで、これらの軌道を使用して、これらの物体を回避するために車両を制御することができる。したがって、検出、識別、および予測は、自律車両の安全な動作にとって重要な機能である。

【発明の概要】

【0004】

本開示の態様は、自律車両を動作させるための方法を提供する。この方法は、１つ以上のコンピューティングデバイスによって、自律車両の環境内にある複数の車線セグメントを判定することと、自律車両の検出システムを使用して、１つ以上のコンピューティングデバイスによって、自律車両の環境内の第１の物体および第２の物体を検出することと、１つ以上のコンピューティングデバイスによって、複数の車線セグメントに対する第１の物体の位置を判定することと、１つ以上のコンピューティングデバイスによって、複数の車線セグメントのうちの１つ以上の車線セグメントが、位置に従って、設定された時間間隔中に、自律車両の視点から、第１の物体によって遮蔽されることを判定することと、１つ以上のコンピューティングデバイスによって、遮蔽された１つ以上の車線セグメントに従って、第２の物体の反応時間を判定することと、１つ以上のコンピューティングデバイスによって、第２の物体の判定された反応時間に従って、自律車両に対する運転命令を判定することであって、運転命令が、自律車両の操縦のためのタイミングを含む、判定することと、１つ以上のコンピューティングデバイスによって、運転命令に基づいて、自律車両を動作させることと、を含む。

【0005】

一例では、１つ以上の車線セグメントが遮蔽されることを判定することは、設定された時間間隔中に、第１の物体の場所と自律車両の場所との間の関係を判定することを含む。この例では、設定された時間間隔中に、第１の物体の場所と自律車両の場所との間の関係を判定することは、設定された時間間隔中に、その場所において、ある領域が、自律車両の視野からブロックされると判定することを含む。

【0006】

別の例では、第２の物体は、名目上の人間の行為者に関連付けられたあるタイプの車両である。この例では、反応時間を判定することは、第２の物体に関連付けられた名目上の人間の行為者が、名目上の人間の行為者の視野が自律車両の場所を含むように位置付けられているかどうかを判定することを含む。反応時間を判定することはまた、任意選択で、自律車両の下部構造と名目上の人間の行為者の予測された場所との間の線分を計算することを含む。

【0007】

さらなる例では、反応時間を判定することは、第２の物体が自律車両に反応し始める可能性が最も高い刺激点を判定することと、推定された知覚時間を刺激点に追加することと、を含む。さらに別の例では、この方法はまた、１つ以上のコンピューティングデバイスによって、１つ以上の第２の車線セグメントが、設定された時間間隔の直後の次の時間間隔中に、第１の物体によって遮蔽されることを判定することによって、複数の車線セグメント上の遮蔽を追跡することを含む。

【0008】

本開示の他の態様は、自律車両の自動運転システムを提供する。自動運転システムは、自律車両の環境内の物体を検出するように構成されている検出システムと、検出システムと通信する１つ以上のコンピューティングデバイスと、を含む。１つ以上のコンピューティングデバイスは、自律車両の環境内にある複数の車線セグメントを判定することと、検出システムを使用して、自律車両の環境内の第１の物体および第２の物体を検出することと、複数の車線セグメントに対する第１の物体の位置を判定することと、複数の車線セグメントのうちの１つ以上の車線セグメントが、位置に従って、設定された時間間隔中に、自律車両の視点から、第１の物体によって遮蔽されることを判定することと、遮蔽された１つ以上の車線セグメントに従って、第２の物体の反応時間を判定することと、第２の物体の判定された反応時間に従って、自律車両に対する運転命令を判定することであって、運転命令が、自律車両の操縦のためのタイミングを含む、判定することと、運転命令に基づいて、自動運転システムを動作させることと、を行うように構成されている。

【0009】

一例では、１つ以上の車線セグメントは、設定された時間間隔中に、自律車両の視野から第１の物体によってブロックされる領域に基づいて遮蔽されると判定される。別の例では、第２の物体は、名目上の人間の行為者に関連付けられたあるタイプの車両であり、反応時間は、第２の物体に関連付けられた名目上の人間の行為者が、名目上の人間の行為者の視野が自律車両の場所を含むように位置付けられているかどうかに基づいて判定される。この例では、反応時間は、自律車両の下部構造と名目上の人間の行為者の予測された場所との間の計算された線分に基づいてさらに判定される。

【0010】

別の例では、反応時間は、第２の物体が自律車両に反応し始める可能性が最も高い刺激点と、刺激点に対する追加の推定された知覚時間と、に基づいて判定される。さらなる例では、１つ以上のコンピューティングデバイスは、１つ以上の第２の車線セグメントが、設定された時間間隔の直後の次の時間間隔中に、第１の物体によって遮蔽されることを判定することによって、複数の車線セグメント上の遮蔽を追跡するようにさらに構成されている。さらに別の例では、システムは、自律車両も含む。

【0011】

本開示のさらなる態様は、プログラムのコンピュータ可読命令が記憶されている非一時的有形コンピュータ可読記憶媒体を提供する。命令は、１つ以上のプロセッサによって実行されたとき、１つ以上のプロセッサに、方法を実行させる。この方法は、自律車両の環境内にある複数の車線セグメントを判定することと、自律車両の検出システムを使用して、自律車両の環境内の第１の物体および第２の物体を検出することと、複数の車線セグメントに対する第１の物体の位置を判定することと、複数の車線セグメントのうちの１つ以上の車線セグメントが、位置に従って、設定された時間間隔中に、自律車両の視点から、第１の物体によって遮蔽されることを判定することと、遮蔽された１つ以上の車線セグメントに従って、第２の物体の反応時間を判定することと、第２の物体の判定された反応時間に従って、自律車両に対する運転命令を判定することであって、運転命令が、自律車両の操縦のためのタイミングを含む、判定することと、運転命令に基づいて、自律車両を動作させることと、を含む。

【0012】

一例では、１つ以上の車線セグメントが遮蔽されることを判定することは、設定された時間間隔中に、第１の物体の場所と自律車両の場所との間の関係を判定することを含む。この例では、設定された時間間隔中に、第１の物体の場所と自律車両の場所との間の関係を判定することは、設定された時間間隔中に、その場所において、ある領域が、自律車両の視野からブロックされると判定することを含む。

【0013】

別の例では、第２の物体は、名目上の人間の行為者に関連付けられたあるタイプの車両であり、反応時間を判定することは、第２の物体に関連付けられた名目上の人間の行為者が、名目上の人間の行為者の視野が自律車両の場所を含むように位置付けられているかどうかを判定することを含む。この例では、反応時間を判定することは、自律車両の下部構造と名目上の人間の行為者の予測された場所との間の線分を計算することをさらに含む。さらなる例では、反応時間を判定することは、第２の物体が自律車両に反応し始める可能性が最も高い刺激点を判定することと、推定された知覚時間を刺激点に追加することと、を含む。

【図面の簡単な説明】

【0014】

【図1】本開示の態様にかかる例示的な車両の機能図である。

【図2】本開示の態様にかかる例示的な地図情報である。

【図3】本開示の態様にかかる車両の例示的な外観図である。

【図4】本開示の態様にかかるシステムの例示的な絵図である。

【図5】本開示の態様にかかるシステムの例示的な機能図である。

【図6】本開示の態様にかかる車両を動作させるための方法の流れ図６００である。

【図7】本開示の態様にかかるシナリオ７００の例示的な絵図である。

【図8A-8B】本開示の態様にかかるシナリオ７００のさらなる例示的な絵図である。

【図9】本開示の態様にかかるシナリオ９００の絵図である。

【図10】本開示の態様にかかるシナリオ７００の絵図である。

【発明を実施するための形態】

【0015】

概要
この技術は、車両の環境内の遮蔽された車線セグメントを使用して、車両の環境内の道路利用者の挙動を予測することに関する。車両の環境内で１つ以上の物体が検出される場合がある。保護されていない左折など、車両の操縦のタイミングを判定するために、１つ以上の物体の各物体の予測される挙動を判定することができる。予測される挙動は、物体が車両を見て、その車両に反応できるかどうかに依存する場合がある。したがって、予測される挙動を判定することは、車両により近い物体が、物体が走行するであろう車線セグメント、またはむしろ、物体が通過すると予測される車線セグメントを遮蔽するかどうかを検出することを含み得る。

【0016】

上記の特徴は、物体の挙動のより正確な予測を提供し、物体の挙動が予測されたものと異なっているために、それほど頻繁に経路を再計算する必要のない、より安全でより効率的な自動運転システムをもたらし得る。さらに、説明したように車線セグメントレベルで遮蔽を追跡すると、複雑なマルチボディ問題を解決する必要がなく、有限または一定数の車線セグメントを使用することによってプロセスが簡素化される。システムは、マルチボディ問題を解決する必要がある、より特定の領域を認識するように設計されているため、より少ない計算能力が必要とされ得る。自動運転システムは、予測をより迅速に調整し、その近傍の物体により迅速に反応し得る。

【0017】

例示的なシステム
図１に示されるように、本開示の一態様にかかる車両１００は、様々な構成要素を含む。本開示の特定の態様は、特定のタイプの車両に関して特に有用であるが、車両は、限定されるものではないが、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含む、任意のタイプの車両であり得る。車両は、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイス内に典型的に存在する他の構成要素を含む、コンピューティングデバイス１１０などの１つ以上のコンピューティングデバイスを有し得る。

【0018】

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能な情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを用いて読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

【0019】

命令１３２は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令セットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点について、「命令」および「プログラム」という用語は、本明細書では、互換的に使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下にさらに詳細に説明される。

【0020】

データ１３４は、命令１３２にしたがって、プロセッサ１２０によって検索、記憶、または修正され得る。一例として、メモリ１３０のデータ１３４は、所定のシナリオを記憶し得る。所与のシナリオは、物体のタイプ、車両に対する物体の場所の範囲、ならびに自律車両が物体の周りを操縦できるかどうか、物体が方向指示器を使用しているかどうか、物体の現在の場所に関連する信号機の状態、物体が一時停止標識に接近しているかどうかなどの他の要因を含む、シナリオ要件のセットを識別し得る。要件は、「右方向指示器がオンである」もしくは「右折専用車線内で」などの離散値、または「車両の現在の経路から３０～６０度オフセットされる角度で配向される進行方向を有する」などの値の範囲を含み得る。いくつかの例では、所定のシナリオは、複数の物体に関して同様の情報を含み得る。

【0021】

１つ以上のプロセッサ１２０は、市販されているＣＰＵなど、任意の従来のプロセッサであってもよい。あるいは、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、コンピューティングデバイス１１０のプロセッサ、メモリ、および他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよいことが、当業者により、理解されるであろう。一例として、内部電子ディスプレイ１５２は、高帯域幅または他のネットワーク接続を介してコンピューティングデバイス１１０とインターフェースし得る、それ自体のＣＰＵまたは他のプロセッサ、メモリなどを有する専用コンピューティングデバイスによって制御され得る。いくつかの例では、このコンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであり得る。同様に、メモリは、コンピューティングデバイス１１０の筐体とは異なる筐体内に位置するハードドライブ、または他の記憶媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されよう。

【0022】

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）、および様々な電子ディスプレイ（例えば、スクリーンを有するモニタ、または情報を表示するように動作可能である任意の他の電気デバイス）など、コンピューティングデバイスと接続して通常使用される構成要素のすべてを有してもよい。この例では、車両は、情報または視聴覚体験を提供するために、内部電子ディスプレイ１５２、ならびに１つ以上のスピーカ１５４を含む。この点について、内部電子ディスプレイ１５２は、車両１００の車内に位置していてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。内部スピーカに加えて、１つ以上のスピーカ１５４は、車両１００の外部の物体に可聴通知を提供するために、車両上の様々な場所に配置された外部スピーカを含むことができる。車両１００のコンピューティングデバイス１１０はまた、例えば、無線ネットワーク接続１５６を使用して、他のコンピューティングデバイスとの間で情報を受信または転送し得る。

【0023】

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス１１０は、車両の乗客からの連続的または定期的な入力を要求または必要としない自律運転モードにおいてメモリ１３０の命令１３２に従って車両１００の移動、速度などを制御するために、（車両のブレーキを制御するための）減速システム１６０、（車両の加速を制御するための）加速システム１６２、（車輪の配向および車両の方向を制御するための）ステアリングシステム１６４、（方向指示器を制御するための）シグナリングシステム１６６、（車両を場所にまたは物体の周りにナビゲートするための）ナビゲーションシステム１６８、（車両の位置を判定するための）測位システム１７０、（車両の環境内の物体を検出するための）知覚システム１７２、ならびに動力システム１７４（例えば、バッテリおよび／またはガスもしくはディーゼル動力エンジン）など、車両１００の様々なシステムと通信し得る。この場合も、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されているが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとして、ここでもコンピューティングデバイス１１０に組み込まれてもよい。

【0024】

コンピューティングデバイス１１０は、様々な構成要素を制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス１１０は、地図情報およびナビゲーションシステム１６８からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス１１０は、測位システム１７０を使用して車両の場所を判定し、必要に応じて、その場所に安全に到着するために、知覚システム１７２を使用して物体を検出して、それに反応することができる。そうするために、コンピューティングデバイス１１０は、車両を（例えば、加速システム１６２により、エンジンに供給される燃料または他のエネルギーを増加させることによって）加速させ、（例えば、エンジンに供給される燃料を減少させ、ギヤを変更し、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向を変え、（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）そのような変更を知らせることができる。したがって、加速システム１６２および減速システム１６０は、車両のエンジンと、車両の車輪との間の様々な構成要素を含むドライブトレインの一部であってもよい。ここでも、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両のドライブトレインを制御することもできる。

【0025】

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２とインターフェースし得る。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が乗用車またはトラックのように道路上で使用するように構成されている場合、ステアリングシステムは、車両を転回するために車輪の角度を制御するための構成要素を含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、他の運転手または車両に車両の意図を伝えるために、コンピューティングデバイス１１０によって使用され得る。

【0026】

ナビゲーションシステム１６８は、ある場所までのルートを判定して辿るために、コンピューティングデバイス１１０によって使用され得る。この点について、ナビゲーションシステム１６８および／またはデータ１３４は、地図情報、例えば、コンピューティングデバイス１１０が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道の形状および高さ、車線マーカー、交差点、横断歩道、速度制限、信号機、建物、標識、リアルタイムもしくは履歴の交通情報、植生、または他のそのような物体および情報を識別し得る。車線マーカーは、実線または破線の、二重または単一の車線ライン、実線または破線の車線ライン、反射板などの特徴を含み得る。所与の車線は、車線の境界を画定する、左右の車線ラインまたは他の車線マーカーと関連付けられ得る。このため、ほとんどの車線は、１つの車線ラインの左端と、別の車線ラインの右端とによって境界付けられ得る。上記のように、地図情報は、過去の同様の時間における特定のピックアップ場所からの既知の交通もしくは混雑情報および／またはおよび交通機関スケジュール（電車、バスなど）を記憶し得る。この情報は、コンピューティングデバイス１１０によって受信された情報によってリアルタイムでも更新され得る。

【0027】

図２は、交差点２３０を含む、車道のセクションに関する地図情報２００の例である。この例では、地図情報２００は、様々な特徴の形状、場所、および他の特性を識別する情報を含む地図情報の一部を示している。例えば、地図情報２００は、交差点２３０において交差する道路２１０および道路２２０を含む。地図情報２００は、交差点２３０の第１の側にある道路２１０の車線マーカーまたは車線ライン２４１Ａおよび２４３Ａ、交差点２３０の第１の側の反対側の第２の側にある道路２１０の車線ライン２４１Ｂおよび２４３Ｂを含む。さらに、地図情報は、交差点２３０を第３の側から第３の側の反対側の第４の側に通過する道路２２０の車線ライン２４２および２４６、交差点２３０の第３の側にある道路２２０の車線ライン２４４Ａ、ならびに交差点２３０の第４の側にある道路２２０の車線ライン２４４Ｂを含む。車線ラインは、二重の車線ライン２４１Ａ、２４１Ｂ、２４４Ａ、および２４４Ｂ、ならびに破線の車線ライン２４２、２４３Ａ、２４３Ｂ、および２４６など、異なるタイプの車線ラインであってもよい。車線ラインはまた、車線２５１、２５２、２５３、２５４、２５５、２５６、および２５８など、様々な車線を画定することもできる。道路２１０の車線部分２５１Ａ、２５３Ａ、および２５５Ａは、交差点２３０の第１の側にあり、道路２１０の車線部分２５１Ｂ、２５３Ｂ、および２５５Ｂは、交差点２３０の第１の側の反対側の第２の側にある。道路２２０の車線部分２５２Ａ、２５４Ａ、２５６Ａ、および２５８Ａは、交差点２３０の第３側にあり、道路２２０の車線部分２５２Ｂ、２５４Ｂ、２５６Ｂ、および２５８Ｂは、交差点２３０の第３側の反対側の第４側にある。車線は、示されているように地図情報２００において明示的に識別されてもよいし、道路の幅によって暗示されてもよい。地図情報２００は、自転車車線を識別することもできる。示されているように、地図情報２００は、道路２１０の停止線２６１および２６３も含むことができる。

【0028】

これらの特徴に加えて、地図情報２００はまた、各車線の交通の方向および速度制限を識別する情報、ならびにコンピューティングデバイス１１０が、車両が特定の操縦を完了する（例えば、ターンを完了するか、または交通車線もしくは交差点を横断する）ための通行権を有するかどうかを判定することを可能にする情報を含み得る。地図情報２００は、信号機、一時停止標識、一方通行標識、方向転換禁止標識など、交通標識に関する情報をさらに含み得る。地図情報２００は、縁石、建物、駐車場、車道、水路、植生など、他の環境特徴に関する情報を含み得る。

【0029】

本明細書では詳細な地図情報は、画像ベースの地図として描かれているが、地図情報は、完全に画像ベース（例えば、ラスタ）である必要はない。例えば、詳細な地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の接続などの情報のグラフネットワークを含み得る。各特徴は、グラフデータとして記憶され得、地理的場所などの情報と関連付けられ得、他の関連する特徴にリンクされているかどうかにかかわらず、例えば、一時停止標識は、道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、道路グラフのグリッドベースのインデックスを含んで、特定の道路グラフの特徴の効率的な検索を可能にし得る。

【0030】

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木など、車両の外部にある物体を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、１つ以上のＬＩＤＡＲセンサ、ソナーデバイス、レーダーユニット、カメラ、および／またはコンピューティングデバイス１１０によって処理され得るデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、物体、ならびに場所、配向、サイズ、形状、タイプ（例えば、車両、歩行者、自転車利用者など）、進行方向、および移動速度などのそれらの特性を検出し得る。センサおよび／または前述の特性からの未加工データは、知覚システム１７２によって生成されると、記述関数、ベクトル、および／または境界ボックスに定量化または構成され、さらなる処理のために定期的かつ連続的にコンピューティングデバイス１１０に送信され得る。以下にさらに詳細に論じるように、コンピューティングデバイス１１０は、測位システム１７０を使用して車両の場所を判定し、必要に応じて、場所に安全に到着するために、知覚システム１７２を使用して物体を検出して、それに反応することができる。

【0031】

図３は、車両１００の例示的な外観図である。この例では、ルーフ上部筐体３１０およびドーム状筐体３１２は、ＬＩＤＡＲセンサ、ならびに様々なカメラおよびレーダーユニットを含み得る。加えて、車両１００の前端部に位置する筐体３２０、ならびに車両の運転手側および助手席側の筐体３３０、３３２は、各々、ＬＩＤＡＲセンサを格納し得る。例えば、筐体３３０は、運転手ドア３５０の前部に位置している。車両１００はまた、これも車両１００のルーフ上に位置するレーダーユニットおよび／またはカメラのための筐体３４０、３４２を含む。追加のレーダーユニットおよびカメラ（図示せず）は、車両１００の前端および後端に、ならびに／またはルーフもしくはルーフ上部筐体３１０に沿った他の位置上に位置し得る。車両１００はまた、ドア３５０、３５２、車輪３６０、３６２などの典型的な乗用車両の多くの特徴を含む。

【0032】

近くの物体が検出されると、コンピューティングデバイス１１０および／または知覚システム１７２は、物体のタイプ、例えば、トラフィックコーン、歩行者、車両（乗用車、トラック、バスなど）、自転車などを判定し得る。物体は、物体のサイズ、物体の速度（自転車は、時速４０マイルより速く、または時速０．１マイルより遅く進む傾向はない）、自転車から来る熱（自転車は、体から熱を発する乗り手を有する傾向がある）など、検出された物体の様々な特性を考慮することができる様々なモデルによって識別され得る。加えて、物体は、車両上に表示されるライセンスプレート、バンパーステッカー、またはロゴに含まれる情報など、物体の特定の属性に基づいて分類され得る。

【0033】

メモリ１３０は、車両１００をどのように制御すべきかに関する判定を行うためにコンピューティングデバイス１１０によって使用される様々なモデルを記憶することができる。例えば、メモリ１３０は、センサデータから検出された道路利用者および物体を識別するための１つ以上の物体認識モデルを記憶することができる。別の例では、メモリ１３０は、検出された物体に対して取られる１つ以上のアクションの確率を提供するための、１つ以上の挙動モデルを記憶することができる。別の例では、メモリ１３０は、ナビゲーションシステム１６８からの地図情報２００、および知覚システム１７２からのセンサデータによって検出された他の道路利用者の予測される軌道に基づいて、車両１００の速度プロファイルを判定するための１つ以上の速度計画モデルを記憶することができる．

【0034】

図４および図５は、それぞれ、例示的なシステム４００の絵図および機能図であり、システムは、ネットワーク４６０を介して接続された複数のコンピューティングデバイス４１０、４２０、４３０、４４０、および記憶システム４５０を含む。システム４００はまた、車両１００、および車両１００と同様に構成され得る車両１００Ａを含む。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含み得る。

【0035】

図４に示されるように、コンピューティングデバイス４１０、４２０、４３０、４４０の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含むことができる。かかるプロセッサ、メモリ、データ、および命令は、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０、メモリ１３０、データ１３４、および命令１３２と同様に構成されてもよい。

【0036】

ネットワーク４６０および介在ノードは、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＢＬＵＥＴＯＯＴＨ ＬＥ、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業が所有する通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含むことができる。このような通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを送信することができる任意のデバイスによって容易に行われ得る。

【0037】

一例では、コンピューティングデバイス１１０は、他のコンピューティングデバイスとの間でデータを受信、処理、および送信する目的で、ネットワークの様々なノードと情報を交換する複数のコンピューティングデバイスを有するサーバ、例えば、負荷分散サーバファームを含んでもよい。例えば、１つ以上のコンピューティングデバイス４１０は、ネットワーク４６０を介して、車両１００のコンピューティングデバイス１１０、または車両１００Ａの同様のコンピューティングデバイス、ならびにコンピューティングデバイス４２０、４３０、４４０と通信することができる１つ以上のサーバコンピューティングデバイスを含んでもよい。例えば、車両１００および車両１００Ａは、サーバコンピューティングデバイスによって様々な場所に配車され得る車両群の一部であり得る。この点について、車両群は、車両のそれぞれの測位システムにより提供される場所情報をサーバコンピューティングデバイスに定期的に送信してもよく、１つ以上のサーバコンピューティングデバイスは、車両の場所を追跡してもよい。

【0038】

加えて、サーバコンピューティングデバイス４１０は、ネットワーク４６０を使用して、コンピューティングデバイス４２０、４３０、４４０のディスプレイ４２４、４３４、４４４などのディスプレイ上に、ユーザ４２２、４３２、４４２などのユーザに情報を送信および提示し得る。この点について、コンピューティングデバイス４２０、４３０、４４０は、クライアントコンピューティングデバイスとみなされ得る。

【0039】

図５に示されるように、各クライアントコンピューティングデバイス４２０、４３０、４４０は、ユーザ４２２、４３２、４４２が使用することを意図されたパーソナルコンピューティングデバイスであってもよく、１つ以上のプロセッサ（例えば、ＣＰＵ）、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ４２４、４３４、４４４などのディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能である他のデバイス）、ならびにユーザ入力デバイス４２６、４３６、４４６（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン）を含む、パーソナルコンピューティングデバイスと接続して通常使用される構成要素のすべてを有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用される構成要素のすべてを含んでもよい。

【0040】

クライアントコンピューティングデバイス４２０、４３０、および４４０は、各々、フルサイズのパーソナルコンピューティングデバイスを備えてもよいが、代替的に、インターネットなどのネットワークを介してサーバとデータを無線で交換することができるモバイルコンピューティングデバイスを備えてもよい。単なる例として、クライアントコンピューティングデバイス４２０は、携帯電話、または無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイスもしくはシステムなどのデバイス、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックであってもよい。別の例では、クライアントコンピューティングデバイス４３０は、図４において腕時計として示される、ウェアラブルコンピューティングシステムであってもよい。一例として、ユーザは、小型キーボード、キーパッド、マイクロフォンを使用して、カメラを用いる視覚信号、またはタッチスクリーンを使用して、情報を入力し得る。

【0041】

いくつかの例では、クライアントコンピューティングデバイス４４０は、ユーザ４２２および４３２などのユーザに遠隔操作者サービスを提供するために、管理者によって使用される遠隔操作者ワークステーションであり得る。例えば、遠隔操作者４４２は、遠隔操作者ワークステーション４４０を使用して、以下にさらに詳細に説明されるように車両１００および車両１００Ａの安全な動作、ならびにユーザの安全を確実とするために、それぞれのクライアントコンピューティングデバイスならびに／または車両１００もしくは車両１００Ａを通してユーザとの電話通話または音声接続を介して通信することができる。単一の遠隔操作者ワークステーション４４０のみが図４および図５に示されているが、任意の数のこのようなワークステーションが通常のシステムに含まれてもよい。

【0042】

記憶システム４５０は、以下により詳細に説明されるように、様々なタイプの情報を記憶することができる。この情報は、本明細書で記載する特徴のうちのいくつかまたはすべてを実行するために、１つ以上のサーバコンピューティングデバイス４１０などのサーバコンピューティングデバイスによって検索または別様にアクセスされ得る。例えば、情報は、１つ以上のサーバコンピューティングデバイスに対してユーザを識別するために使用できる認証情報などのユーザアカウント情報（例えば、従来の単一要素認証の場合のようなユーザ名およびパスワード、ならびにランダム識別子、生体認証などの多要素認証において通常使用される他のタイプの認証情報）を含んでもよい。記憶システム４５０はまた、場所間のルートを生成および評価するためのルーティングデータを記憶し得る。例えば、ルーティング情報は、第１の場所にある車両が第２の場所に到達するのにどのくらいかかり得るかを推定するために使用され得る。この点について、ルーティング情報は、必ずしも上記の詳細な地図情報ほど詳細ではないが、道路を含む地図情報、ならびに方向（一方通行、双方向など）、配向（北、南など）、制限速度などのそれらの道路に関する情報、ならびに予測される交通状況を識別する交通情報などを含んでもよい。記憶システム４５０は、地図情報２００などの地図情報をさらに記憶し得る。

【0043】

記憶システム４５０はまた、物体認識モデル、挙動モデル、速度計画モデルなど、車両１００をルーティングおよび制御するための様々なモデルを記憶し得る。この点について、記憶システム４５０は、これらのモデルのうちのいくつかまたはすべてをトレーニングするために使用されるデータを記憶し得る。例えば、トレーニングデータは、識別された物体を含む手動でラベル付けされた画像、様々な交通パターンで道路利用者が撮影した軌道のビデオを含む場合がある。記憶システム４５０は、パラメータおよび値など、これらのモデルを使用するために必要な他のデータを記憶し得る。

【0044】

記憶システム４５０はまた、ユーザに表示するためにクライアントコンピューティングデバイスに提供され得る情報を記憶し得る。例えば、記憶システム４５０は、車両が所与のピックアップ場所または目的地のために停止する可能性が高い領域を判定するための所定の距離情報を記憶し得る。記憶システム４５０はまた、以下に論じられるように、ユーザに表示され得るグラフィック、アイコン、および他の項目を記憶し得る。

【0045】

メモリ１３０と同様に、記憶システム４５０は、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、書き込み可能メモリ、および読み出し専用メモリなど、サーバコンピューティングデバイス４１０によってアクセス可能な情報を記憶することができる、任意のタイプのコンピュータ化された記憶装置であり得る。さらに、記憶システム４５０は、同じまたは異なる地理的場所に物理的に位置し得る、複数の異なる記憶デバイス上にデータが記憶される分散記憶システムを含み得る。記憶システム４５０は、図４に示されるようにネットワーク４６０を介してコンピューティングデバイスに接続され得、および／またはコンピューティングデバイス１１０、４１０、４２０、４３０、４４０などのいずれかに直接接続されるかもしくは組み込まれ得る。

【0046】

例示的な方法
上述し、図に示したシステムに加えて、様々な動作をここで説明する。コンピューティングデバイス１１０は、以下に説明するように、車両の環境内の遮蔽された車線セグメントを使用して、車両の環境内の道路利用者の挙動を予測することができる。図６に、コンピューティングデバイス１１０によって実行され得る本開示の態様にかかる流れ図６００が示されている。図６は、ブロックを特定の順序で示しているが、順序は変更されてもよく、その多数の動作が同時に実行されてもよい。また、動作は追加または省略されてもよい。

【0047】

ブロック６０２において、コンピューティングデバイス１１０が、車両の環境内にある複数の車線セグメントを判定する。この判定は、道路上の車線を識別するために、車両１００の検出範囲内の道路の交通制御特徴を検出することによって行うことができる。例えば、道路上の車線を識別するために使用される交通制御特徴は、車線ラインまたは車線マーカーを含む場合がある。車線セグメントは、１０フィートの車線など、特定の車線の設定された長さとして定義することができる。長さは、２つの端点間の距離である。長さはまた、長方形または他の形状などの設定された領域として定義することもできる。特定の車線の複数の車線セグメントは、特定の車線の長さに沿って互いに隣接していてもよい。いくつかの実装形態では、車両の環境内の複数の車線セグメントを判定することは、車両１００の場所を判定することと、車両の場所を包含する領域内の車線セグメントを識別する車両のメモリ１３０に記憶された地図データにアクセスすることとを含み得る。図７に示すシナリオ７００では、車両１００は、交差点２３０のそばの車線部分２５３Ａ内にあり得、停止線２６１において停止している。車両１００は、道路２２０の１つ以上の車線を横断するための、計画された操縦７０２を有する場合がある。破線として示される車両の計画された操縦７０２は、車線部分２５３Ａから道路２２０の車線部分２５６Ａへの左折を含む。操縦７０２において、車両１００は、道路２２０の車線２５２および２５４を横断しなければならない。

【0048】

図７に示される車線２５２の部分に対して、車線２５２に沿って端から端まで配置された複数のボックス領域によって示される、１２個の車線セグメントが画定されている。車線セグメントの形状は、他の形状または線分であってもよい。車線２５４、２５６、および２５８の部分にもまた、端から端まで配置された複数のボックス領域によって同じく示される、約１２個の車線セグメントが画定されている。これらの車線セグメントは、コンピューティングデバイス１１０によって画定され得るか、または事前に決定され、車両のメモリ１３０に保存され得る

【0049】

ブロック６０４において、コンピューティングデバイス１１０は、例えば、知覚システム１７２からのセンサデータを使用して、車両の環境内の複数の物体を検出する。センサデータは、物体のサイズ、形状、速度、配向、方向など、各物体の特性も含むことができる。複数の物体は、移動および／または静止物体を含むことができる。特に、複数の物体は、車両、自転車、もしくは歩行者などの他の道路利用者を含むことができ、または建物、柱、樹木、もしくは工事ツールなどの他のタイプの障害物を含むことができる。図７に示すように、トラック７１０およびセダン７２０が車両の環境内にある。コンピューティングデバイス１１０は、知覚システム１７２を使用して、車線２５２および２５４内をそれぞれ走行しているトラック７１０およびセダン７２０を検出し、トラック７１０とセダン７２０の両方を道路利用者として分類することができる。コンピューティングデバイス１１０は、知覚システム１７２を使用して、トラック７１０およびセダン７２０のおおよその寸法および速度を識別することもできる。

【0050】

ブロック６０６において、コンピューティングデバイス１１０は、複数の車線セグメントに対して複数の物体の各々の位置情報を判定する。位置情報は、各物体の場所および各物体の配向を含むことができる。複数の道路利用者のうちの第１の物体について、コンピューティングデバイス１１０は、検出された交通制御特徴に対して第１の物体の場所を検出することができる。いくつかの他の実装形態では、車両の場所に対する第１の物体の場所は、車両のメモリに記憶された地図データを使用して検出および識別され得る。いくつかの実装形態では、位置情報は、軌道など、各物体の予測される挙動も含むことができる。例えば、予測される挙動は、知覚システム１７２によって検出された第１の物体の速度、配向、および／または方向に基づいて判定される第１の物体の軌道を含むことができる。予測される挙動は、第１の物体が静止物体である場合、第１の物体が固定されたままであることであり得る。

【0051】

シナリオ７００では、コンピューティングデバイス１１０は、車線ライン２４２と道路２２０の端との間のトラックの場所、および／または車線セグメント７１２上のトラックの場所に基づいて、トラック７１０が車線部分２５２Ａ内にあると判定することができる。コンピューティングデバイス１１０はまた、トラック７１０が車線部分２５２Ｂを向く配向を有すると判定することができる。同様に、コンピューティングデバイス１１０は、車線ライン２４２と車線ライン２４４Ａとの間のセダンの位置、および／または車線セグメント７２２上のセダンの位置に基づいて、セダン７２０が車線部分２５４Ａ内にあると判定することができる。コンピューティングデバイスはまた、セダン７２０が車線部分２５４Ｂを向く配向を有すると判定することができる。予測される挙動に関して、トラックの予測される挙動は、一定の速度で、または現在の速度内の５ｍｐｈ以内で、第１の時間間隔にわたって車線部分２５２Ａを交差点２３０に向かって運転することを含む。セダンの予測される挙動は、一定の速度で、または現在の速度内の５ｍｐｈ以内で、第１の時間間隔にわたって車線部分２５４Ａを交差点２３０に向かって運転することを含む。第１の時間間隔にわたるセダン７２０の速度は、トラック７１０の速度よりも大きくてもよい。

【0052】

ブロック６０８において、コンピューティングデバイス１１０はさらに、複数の車線セグメントのうちの１つ以上の車線セグメントが、第１の時間間隔の間、複数の物体のうちの少なくとも１つによって遮蔽されるか、または遮蔽されるであろうと判定する。第１の時間間隔は、例えば、５秒、または５秒超もしくは５秒未満に設定することができる。１つ以上の車線セグメントが、第１の時間間隔の間、遮蔽されるか、または遮蔽されるであろうと判定することは、第１の時間間隔中の、例えば、第１の物体を含む各物体の場所と、車両の場所との間の関係を判定することを含み得る。第１の時間間隔の開始は、現在または将来の時間であってもよい。１つ以上の車線セグメントが将来の時点において遮蔽されるであろうと判定したとき、所与の物体の位置および予測される挙動に基づいて、所与の物体の予測された場所を判定することができる。

【0053】

遮蔽物は、第１の時間間隔中に、車両１００の視野から、複数の物体によってブロックされる１つ以上の領域を含むことができる。これらのブロックされる領域は、場所間の関係に基づいて識別され得る。特に、ブロックされる領域は、車両１００の視点から、複数の物体のうちの所与の物体の現在のまたは予測された場所より後ろにある領域を含むことができる。車両１００の視野は、知覚システム１７２のセンサ、および知覚システム１７２によって生成されるセンサデータによって画定され得る。視野は、車両１００の場所から延びるある角度範囲内の、かつ車両１００の場所からある距離内のセンサデータ内の領域を含むことができる。１つ以上の領域内にあるどんな車線セグメントも、第１の時間間隔中に遮蔽されることが判定され得る。

【0054】

シナリオ７００では、コンピューティングデバイス１１０は、トラック７１０によって遮蔽されている１つ以上の車線セグメントを判定する。図７および図８Ａは、第１の時間間隔の開始時のトラック７１０およびセダン７２０の場所を示す。示されるように、トラック７１０とセダン７２０は互いに隣り合って運転しており、セダン７２０は、トラックの前部よりもトラック７１０の後部により近い。図８Ｂは、第１の時間間隔の終了時のトラック７１０およびセダン７２０の予測される将来の場所を示す。示されるように、トラック７１０とセダン７２０の両方は、それぞれの車線部分２５２Ａおよび２５４Ａを運転すると予測され、セダン７２０は、トラック７１０よりも大きい速度で運転すると予測され、したがって、セダン７２０は、トラック７１０の前部により近くなり、第１の時間間隔の終了時には、ある長さだけトラック７１０を追い越し始めることになる。

【0055】

コンピューティングデバイス１１０は、トラック７１０およびセダン７２０が第１の時間間隔の開始と終了との間に移動するときの視野を予想することができる。第１の時間間隔の開始時に、車線部分２５４Ａ内の３つの車線セグメントと、車線部分２５６Ａ内の２つの車線セグメントとは、トラック７１０によって遮蔽され、これは、図８Ａの視野部分８０２、および遮蔽された車線セグメントのシェーディングによって示される。他の地図情報内にある追加の車線セグメントも、遮蔽されていると判定される場合がある。第１の時間間隔の終了時に、車線部分２５４Ａ内の６つの車線セグメントと、車線部分２５６Ａ内の５つの車線セグメントと、車線部分２５８Ａ内の４つの車線セグメントとは、トラック７１０によって遮蔽され、これは、図８Ｂの視野部分８０４、および遮蔽された車線セグメントのシェーディングによって示される。第１の時間間隔の間に遮蔽された車線セグメントは、時間間隔全体にわたって視界からブロックされるすべての車線セグメントである。コンピューティングデバイス１１０は、セダン７２０など、複数の物体のうちの他の物体によって遮蔽される車線セグメントも判定する。例えば、図８Ｂの視界部分８０６、および遮蔽された車線セグメントのハッチングによって示されるように、セダン７２０がトラック７１０を追い越すとき、セダン７２０によって遮蔽される車線部分２５６Ａ内の追加の２つの車線セグメント。

【0056】

次に、ブロック６１０において、コンピューティングデバイス１１０は、遮蔽された１つ以上の車線セグメントに従って、第２の物体など、複数の物体のうちの少なくとも１つの物体の反応時間を判定する。反応時間は、物体が、減速または加速などによって、車両１００の現在のまたは計画された挙動に応じて、その挙動を調整することができる時点である。反応時間が判定される少なくとも１つの物体は、トラック７１０およびセダン７２０など、車両の環境において道路利用者として分類される１つ以上の物体であり得る。さらに、少なくとも１つの物体は、図８Ａおよび図８Ｂに示すように、遮蔽された車線セグメントを走行すると予測されるセダン７２０など、少なくとも１つの物体の予測された挙動に従って、第１の時間間隔中に、遮蔽された１つ以上の車線セグメント内にあると予測される１つ以上の物体であり得る。

【0057】

反応時間は、所与の物体が自律車両１００に気付いて反応し始めると予期される予測時点および／または場所であり得る。所与の物体の気付きは、車両１００に対する、所与の物体または所与の物体に関連する名目上の人間の行為者の場所および配向に基づいて評価され得る。所与の物体に関連する名目上の人間の行為者は、車両の運転手、または自転車に乗ったサイクリスト、または歩行者など、道路利用者の操作者であり得る。例えば、所与の物体は、遮蔽された車線セグメント内になく、関連する名目上の人間の行為者の視野が車両の場所を含むように配向されているとき、所与の物体は、車両１００に気付いていると判定される。名目上の人間の行為者の視野は、１８０°未満の前方を向いた角度範囲に制限される場合がある。

【0058】

遮蔽された１つ以上の車線セグメント内にある物体の場合、反応時間を判定することは、関連する名目上の人間の行為者が、遮蔽された車線セグメント内にいるかどうかに関係なく、名目上の人間の行為者の視野が車両の場所を含むように位置付けられているかどうかを判定することを含み得る。車などの物体が、別の物体の後ろに遮蔽された車線内にいる場合でも、車両の運転手などの人間の行為者は、自律車両１００を見て自律車両１００に反応することができる位置になおいる場合がある。この判定は、遮蔽された車線セグメント内の所与の物体に関連する名目上の人間の行為者の場所が、車両１００の視野内にあることと、所与の物体が、関連する名目上の人間の行為者の視野が車両の場所を含むように配向されていることと、を検出することを含み得る。あるいは、判定は、関連する名目上の人間の行為者の視野が最小量の車両１００を含み得ると判定することを含んでもよい。最小量は、車両１００の表面積の３０％、５０％、または７０％であり得る。名目上の人間の行為者の場所は、車両１００の知覚システム１７２を使用して検出することができるか、または、例えば、運転時の道路表面からの名目上の人間の行為者の眼の平均的な高さに基づいて判定することができる。名目上の人間の行為者の場所はまた、車両の場所および配向を考慮して、車両内の運転手の予測された場所に基づいて判定することもできる。図９に示すシナリオ９００では、トラック７１０およびセダンの位置が、シナリオ７００の位置から入れ替わっており、コンピューティングデバイス１１０は、車両の配向に対してトラック７１０の車内の極右の方角内にトラック運転手を検出し、車両１００がトラック運転手の視野内にあると判定し得る。例えば、トラック運転手の検出された場所と車両１００との間の線分９０２を計算することができ、線分９０２は、トラック運転手の推定された視野内にあり得る。あるいは、トラック運転手の推定された視野内の車両の量は、最小量よりも多いと推定され得る。

【0059】

他の実装形態では、関連する名目上の人間の行為者が、名目上の人間の行為者の視野が車両の場所を含むように位置付けられているかどうかを判定することは、車両１００の本体の最下位点と、遮蔽された１つ以上の車線セグメント内の所与の物体に関連する名目上の人間の行為者の場所との間の線分が、何らかの障害物と交差するかどうかを計算することを含み得る。車両１００の下部構造が、車両１００の本体の最下位点であり得る。障害物が線分と交差したとき、所与の物体は、車両１００に気付いておらず、車両１００に反応することができないと判定される。加えて、車両１００の本体の最下位点と、名目上の人間の行為者の場所との間の線分が、名目上の人間の行為者の視野内にない場合、所与の物体は同じく、車両１００に気付いておらず、車両に反応することができないと判定される。あるいは、名目上の人間の行為者の視野内の車両の部分が車両の最小量よりも小さい場合、所与の物体は、車両１００に気付いておらず、車両に反応することができないと判定され得る。

【0060】

図１０は、セダン７２０が、遮蔽された車線セグメント内にある、図８Ａに示される第１の時間の開始に対応するシナリオ７００の別の絵図である。線分１００２は、車両１００の下部構造と、セダン７２０の名目上の人間の運転手の予測された場所との間で計算され得る。下部構造は、車両の本体の下部の中心として判定される。名目上の人間の運転手の予測される場所は、セダン７２０の配向が車線部分２５２Ａから車線部分２５２Ｂに向かっていると仮定すると、車両１００の視点から見てセダン７２０の車内の極右の方角内として判定される。線分１００２は、トラック７１０の本体と交差する。したがって、コンピューティングデバイス１１０は、第１の時間間隔の開始時にセダン７２０が車両１００に気付いておらず、また、セダン７２０の反応時間が第１の時間間隔の開始後であると判定することができる。

【0061】

反応時間を判定することは、所与の物体が、遮蔽された１つ以上の車線セグメント内を走行しているとき、所与の物体の予測される挙動を調整することを含み得る。特に、１つ以上の物体は、第１の時間間隔中に、遮蔽された１つ以上の車線セグメント内を走行しているとき、車両１００に反応しないと想定することができる。例えば、セダン７２０などの第２の物体は、第１の時間間隔中に、１つ以上の遮蔽された車線セグメントを走行しているとき、第２の物体は、車両１００について車両１００が加速または減速するのを見ない可能性が最も高いので、同じまたは同様の速度を維持することができる。

【0062】

反応時間を判定することはまた、複数の物体の各々が車両１００に反応し始める可能性が最も高い刺激点を判定することと、推定された知覚時間を追加することとを含むことができる。第２の物体などの所与の物体の刺激点は、所与の物体が、１つ以上の遮蔽された車線セグメントの端に到達する時点、または１つ以上の遮蔽された車線セグメントを越えた最小距離に到達する時点であると判定され得る。最小距離は、車両１００の最小量が、第２の物体に関連する名目上の人間の行為者に見えるようになるところであり得る。名目上の人間の行為者が視覚刺激を処理し、次いで、足を動かすこと、およびブレーキを踏むことなど、視覚刺激に反応するのにかかる時間を考慮するために、０．５秒、１．５秒、または別の時間などの知覚時間も、判定された刺激点に追加することができる。知覚時間はまた、名目上の人間の行為者が車両１００に気付くのにかかる時間を含むことができる。所与の物体が、第１の時間間隔中に、１つ以上の遮蔽された車線セグメントの端に到達しなかった場合、所与の物体に対して刺激ポイントは判定されない。

【0063】

シナリオ７００では、コンピューティングデバイス１１０は、セダン７２０の反応時間を判定することができる。セダン７２０は、図８Ａおよび図８Ｂに示すように、第１の間隔の大部分の間、トラック７１０によって遮蔽される車線セグメント内にいるため、セダン７２０は、一定速度を維持するなど、車両１００に対する反応なしに、遮蔽された車線セグメントを走行することを予測され得る。第１の間隔の終了時に、セダン７２０がトラック７１０を追い越する長さは、車両１００がセダン７２０内の名目上の人間の行為者に見えるようになる最小距離に等しくなり得る。したがって、第１の間隔の終了は、コンピューティングデバイス１１０によって、セダン７２０の刺激点として判定され得る。次いで、セダン７２０の反応時間は、第１の時間間隔の終了後の１．５秒として判定される。

【0064】

ブロック６１２において、複数の物体の判定された反応時間に基づいて、コンピューティングデバイス１１０は、車両１００に対する運転命令を判定する。車両１００に対する運転命令は、複数の物体のうちの１つ以上の反応時間に依存する、車両１００の操縦のためのタイミングを含む。例えば、操縦は、単一車線または複数車線の道路を横断する保護されていない左折であり得る。この操縦は、車両１００が左折を行うために横断する必要がある複数車線の道路内の物体の反応時間に依存する。操縦は、交差点の横断または右折など、別のタイプの保護されていない操縦であってもよい。操縦のタイミングを判定するために、コンピューティングデバイス１１０は、対応する反応時間後に、複数の物体の各々の予測される挙動を使用して、１つ以上の物体の軌道および予測される挙動を考慮して、車両１００が操縦を完了するのに十分な時間を有するときに操縦のためのタイミングを選択し得る。いくつかの実装形態では、予測される挙動は、操縦の軌道と交差し得る軌道を有する物体のサブセットに対してのみ判定される。

【0065】

シナリオ７００では、コンピューティングデバイス１１０は、車両１００が、交差点２３０を横切って、複数車線の道路２２０への保護されていない左折を行うための、計画された操縦７０２のタイミングを判定する。セダン７２０の反応時間が、第１の時間間隔の終了時であると予測されるので、コンピューティングデバイス１１０は、計画された操縦７０２が第１の時間間隔の後になるようにタイミングを判定する。特に、セダン７２０は、車両１００を見て反応することなく交差点に到達する可能性が高いため、タイミングは、トラック７１０とセダン７２０の両方が交差点２３０を通過する前ではなく、通過した後であり得る。

【0066】

さらなる例では、コンピューティングデバイス１１０は、第１の時間間隔の直後の第２の時間間隔中に、次の１つ以上の車線セグメントが複数の物体のうちの少なくとも１つによって遮蔽されることを判定することによって、遮蔽された車線セグメントを追跡し続けることができる。第２の時間間隔は、第１の時間間隔と同じ時間長であるか、またはそれよりも長いかもしくはそれ未満であってもよい。この次の１つ以上の車線セグメントを判定することは、第２の時間間隔中の、各物体の予測された場所と、車両の場所との関係に基づくことができる。したがって、車両に対する運転命令が判定されるまで、遮蔽された車線セグメントの判定を必要に応じて繰り返すことができる。

【0067】

いくつかの他の実装形態では、遮蔽された１つ以上の車線セグメント内の仮想の第３の物体について反応時間を判定することができる。遮蔽された車線セグメントが車両１００の知覚システム１７２によって部分的または完全に検出できない場合、コンピューティングデバイス１１０が、遮蔽された車線セグメント内にあり得る仮想物体の反応時間を判定することが有利であろう。そうする際に、コンピューティングデバイス１１０は、場合によっては、検出されない物体を考慮に入れた車両１００の操縦を計画することができる。仮想の第３の物体は、関連する名目上の人間の行為者を有し、交通とともに走行している遮蔽された車線セグメントのうちの少なくとも１つ内にあると想定することができる。仮想の第３の物体は、少なくとも１つの遮蔽された車線セグメントを含む車線内を走行している車両に対して、平均速度または加速度などの平均特性を有すると想定することができる。仮想の第３の物体の反応時間は、遮蔽された車線セグメント内の物体についてブロック６１０において説明したように判定することができる。

【0068】

特段の記述がない限り、前述の代替的な例は、相互に排他的ではないが、独自の有益点を達成するために様々な組み合わせで実装され得る。上述した特徴のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではなく、むしろ、実施例は、多くの可能な実施形態のうちの１つだけを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【手続補正書】

【提出日】2022-06-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自律車両を動作させるための方法であって、前記方法は、
前記自律車両の検出システムを使用して、１つ以上のコンピューティングデバイスによって、前記自律車両の環境内の道路エージェントを検出することと、
前記１つ以上のコンピューティングデバイスによって、設定された時間間隔中に、前記自律車両の視点から遮蔽される１つ以上の車線セグメントを決定することと、
前記１つ以上のコンピューティングデバイスによって、前記遮蔽された１つ以上の車線セグメントおよび前記道路エージェントに関連付けられた名目上の人間の行為者の視野に基づいて、前記道路エージェントの反応時間を決定することと、
前記１つ以上のコンピューティングデバイスによって、前記決定された反応時間に基づいて、前記自律車両を動作させることと、を含む、方法。

【請求項2】

前記１つ以上のコンピューティングデバイスによって、前記道路エージェントが、前記設定された時間間隔中に、前記遮蔽された１つ以上の車線セグメントのうちの少なくとも１つを通過することを予測することをさらに含む、請求項１に記載の方法。

【請求項3】

前記反応時間を決定することは、前記道路エージェントに関連付けられた名目上の人間の行為者が、前記設定された時間間隔中またはその後に、いつ前記自律車両に反応するかを予測することを含む、請求項１に記載の方法。

【請求項4】

前記道路エージェントに関連付けられた前記名目上の人間の行為者がいつ前記自律車両に反応するかを予測することは、前記名目上の人間の行為者の視野がいつ最小量の前記自律車両を含むかを決定することを含む、請求項３に記載の方法。

【請求項5】

前記道路エージェントに関連付けられた前記名目上の人間の行為者がいつ前記自律車両に反応するかを予測することは、前記遮蔽された１つ以上の車線セグメント内の前記道路エージェントに関連付けられた前記名目上の人間の行為者の場所が、前記設定された時間間隔中またはその後に前記自律車両の前記検出システムの視野内にあることを決定することを含む、請求項３に記載の方法。

【請求項6】

前記設定された時間間隔中またはその後に前記名目上の人間の行為者の場所が前記自律車両の前記検出システムの視野内にあることを決定することは、前記自律車両の最下位点と前記名目上の人間の行為者の前記場所との間の線分が障害物と交差するかどうかを決定することを含む、請求項５に記載に方法。

【請求項7】

前記１つ以上のコンピューティングデバイスによって、前記検出システムによって検出された前記道路エージェント内の人間の場所に基づいて、前記名目上の人間の行為者の前記視野を決定することをさらに含む、請求項１に記載の方法。

【請求項8】

前記反応時間を決定することは、前記道路エージェントの場所および配向にさらに基づいている、請求項１に記載の方法。

【請求項9】

前記反応時間を決定することは、前記名目上の人間の行為者の場所および配向にさらに基づいている、請求項１に記載の方法。

【請求項10】

前記反応時間を決定することは、前記道路エージェントが前記遮蔽された１つ以上の車線セグメント内を走行している間の前記道路エージェントの予測される挙動を決定することを含む、請求項１に記載の方法。

【請求項11】

前記反応時間を決定することが、
前記道路エージェントが前記自律車両に反応し始める可能性が最も高い時点を決定することと、
前記名目上の人間の行為者が視覚情報を処理し、前記視覚情報に反応するのに推定される知覚時間を前記時点に追加することと、を含む、請求項１に記載の方法。

【請求項12】

システムであって、
自律車両の環境内の物体を検出するように構成されている検出システムであって、前記検出される物体は道路エージェントを含む、検出システムと、
前記検出システムと通信する１つ以上のコンピューティングデバイスと、を備え、前記１つ以上のコンピューティングデバイスは、
設定された時間間隔中に、前記自律車両の視点から遮蔽される１つ以上の車線セグメントを決定することと、
前記遮蔽された１つ以上の車線セグメントおよび前記道路エージェントに関連付けられた名目上の人間の行為者の視野に基づいて、前記道路エージェントの反応時間を決定することと、
前記反応時間に基づいて、前記自律車両を動作させることと、を行うように構成されている、システム。

【請求項13】

前記１つ以上のコンピューティングデバイスは、前記道路エージェントが、前記設定された時間間隔中に、前記遮蔽された１つ以上の車線セグメントのうちの少なくとも１つを通過することを予測するようにさらに構成されている、請求項１２に記載のシステム。

【請求項14】

前記１つ以上のコンピューティングデバイスは、前記道路エージェントに関連付けられた名目上の人間の行為者が、前記設定された時間間隔中またはその後に前記自律車両に反応する予測時間に基づいて反応時間を決定するように構成されている、請求項１２に記載のシステム。

【請求項15】

前記１つ以上のコンピューティングデバイスは、前記名目上の人間の行為者の前記視野が前記自律車両の最小量を含むときに基づいて前記予測時間を決定するように構成されている、請求項１４に記載のシステム。

【請求項16】

前記１つ以上のコンピューティングデバイスは、前記遮蔽された１つ以上の車線セグメント内の前記道路エージェントに関連付けられた前記名目上の人間の行為者の場所が、前記設定された時間間隔中またはその後に、前記自律車両の前記検出システムの視野にあるときに基づいて前記予測時間を決定するように構成されている、請求項１４に記載のシステム。

【請求項17】

前記１つ以上のコンピューティングデバイスは、前記自律車両の最下位点と前記名目上の人間の行為者の前記場所との間の線分が障害物と交差するかどうかに基づいて、前記名目上の人間の行為者の前記場所が、前記設定された時間間隔中またはその後に、前記自律車両の前記検出システムの視野にあるときを決定するように構成されている、請求項１６に記載のシステム。

【請求項18】

前記１つ以上のコンピューティングデバイスは、前記検出システムによって検出された前記道路エージェント内の人間の場所に基づいて、前記名目上の人間の行為者の前記視野を決定するように構成されている、請求項１２に記載のシステム。

【請求項19】

前記自律車両をさらに備える、請求項１２に記載のシステム。

【請求項20】

プログラムのコンピュータ可読命令が記憶されている非一時的有形コンピュータ可読記憶媒体であって、前記命令が、１つ以上のコンピューティングデバイスによって実行されたとき、前記１つ以上のコンピューティングデバイスに方法を実行させ、前記方法は、
自律車両の検出システムを使用して、前記自律車両の環境内の道路エージェントを検出することと、
設定された時間間隔中に、前記自律車両の視点から遮蔽される１つ以上の車線セグメントを決定することと、
前記遮蔽された１つ以上の車線セグメントおよび前記道路エージェントに関連付けられた名目上の人間の行為者の視野に基づいて、前記道路エージェントの反応時間を決定することと、
前記決定された反応時間に基づいて、前記自律車両を動作させることと、を含む、非一時的有形コンピュータ可読記憶媒体。

【外国語明細書】