(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-11
(54)【発明の名称】直角割り込みトレーニング
(51)【国際特許分類】
B60W 30/095 20120101AFI20230404BHJP
B60W 40/04 20060101ALI20230404BHJP
G08G 1/16 20060101ALI20230404BHJP
G08G 1/09 20060101ALI20230404BHJP
B60T 7/12 20060101ALI20230404BHJP
G01S 13/931 20200101ALN20230404BHJP
【ＦＩ】
B60W30/095
B60W40/04
G08G1/16 D
G08G1/09 V
B60T7/12 Z
G01S13/931
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022551550
(86)(22)【出願日】2021-02-17
(85)【翻訳文提出日】2022-10-26
(86)【国際出願番号】 US2021018341
(87)【国際公開番号】W WO2021173395
(87)【国際公開日】2021-09-02
(31)【優先権主張番号】16/803,644
(32)【優先日】2020-02-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/803,705
(32)【優先日】2020-02-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】マイケル ハグブレード
(72)【発明者】
【氏名】ベンジャミン イサーク マティンソン
【テーマコード（参考）】
3D241
3D246
5H181
5J070
【Ｆターム（参考）】
3D241BA32
3D241BB31
3D241CC08
3D241CC17
3D241CE06
3D241CE08
3D241DB05Z
3D241DB13Z
3D241DB15Z
3D241DB16Z
3D241DC20Z
3D241DC51Z
3D246DA01
3D246GB30
3D246GB34
3D246HA39A
3D246HA42A
3D246HB12A
3D246HB21A
3D246HB24A
3D246HC07
3D246JB56
5H181AA01
5H181BB04
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181FF04
5H181FF25
5H181FF33
5H181LL07
5H181LL08
5H181LL09
5H181LL15
5J070AE01
5J070AE09
5J070AE10
5J070AF03
5J070AK22
(57)【要約】
車両が他の車両の前方の車線領域に進入しようとしていることを検出することに関する技術が説明される。例において、第１の車両に搭載されるコンピューティングデバイスは、第１の車両の環境に関するセンサデータを受信することができる。センサデータから決定される属性に少なくとも部分的に基づいて、コンピューティングデバイスは、（例えば、Ｕターン、Ｎポイントターンの実行、駐車場又は私道からの退出によって）第１の車両の近くにある第２の車両が、異なる進行方向から、第１の車両の前方の車線領域に進入すると予測されると決定することができる。例において、コンピューティングデバイスは、第２の車両が第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定することができる。
【特許請求の範囲】
【請求項1】
システムであって、１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるとき、前記システムに、
第１の車両の環境に関するセンサデータを受信するステップと、
前記センサデータに少なくとも部分的に基づいて、前記第１の車両の近くにいる第２の車両が、前記第１の車両の前方の車線領域に進入することが予測されると決定するステップと、
前記第１の車両の近くにいる前記第２の車両が、前記第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、前記第１の車両を制御するための指示を決定するステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、
を備える、システム。
【請求項2】
前記第２の車両又は前記環境のうちの少なくとも１つに関する１つ以上の属性を決定することに少なくとも部分的に基づいて、前記第２の車両が、前記第１の車両の前方の前記車線領域に進入することが予測されると決定するステップをさらに含む、請求項１に記載のシステム。
【請求項3】
前記１つ以上の属性は、前記第１の車両に対する前記第２の車両の位置、
前記第２の車両の瞬間速度、
運転者が前記第２の車両内にいるかどうかのインジケーション、
前記第２の車両に関するドアが、開いているか、閉じているかのインジケーション、
前記第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
前記第２の車両のブレーキ灯が点灯しているかどうかのインジケーション、
前記第２の車両のヘッドライトが点灯しているかどうかのインジケーション、
前記第２の車両の後退灯が点灯しているかどうかのインジケーション、又は
前記第２の車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つを含む、
請求項２に記載のシステム。
【請求項4】
前記第１の車両と前記第２の車両とは、９０度から指定オフセットの間の角度に位置し、前記指定オフセットは、５０度である、請求項１～３のいずれか１項に記載のシステム。
【請求項5】
前記第２の車両は、前記第１の車両と同じ道路側又は前記第１の車両とは反対の道路側の駐車場、私道、又は路地に位置する、請求項４に記載のシステム。
【請求項6】
前記第１の車両を制御するための指示を決定するステップは、機械学習モデルからの出力に少なくとも部分的に基づき、前記出力は、前記第２の車両が、前記第１の車両の前方の前記車線領域に進入しようとしているかどうかのバイナリインジケーション、又は、前記第２の車両が前記第１の車両の前方の前記車線領域に進入しようとしているかどうかに関する確かさを示すメトリックを含む、請求項１～５のいずれか１項に記載のシステム。
【請求項7】
前記指示は、前記第１の車両に、減速、停止、又は車線変更操作の少なくとも１つを行わせる、請求項１～６のいずれか１項に記載のシステム。
【請求項8】
第１の車両の環境に関するセンサデータを受信するステップと、前記センサデータに少なくとも部分的に基づいて、第２の車両が前記第１の車両の近くにいることを検出するステップであって、前記第２の車両は、前記第１の車両に対して実質的に直角をなす、ステップと、
前記センサデータに少なくとも部分的に基づいて、前記第２の車両が前記第１の車両の前方の車線領域に進入しようとしているかどうかを示す、前記環境又は前記第２の車両に関する属性を決定するステップと、
前記属性に少なくとも部分的に基づいて、前記第２の車両が前記第１の車両の前方の前記車線領域に進入しようとしているかどうかを示すインジケーションを決定するステップと、
前記インジケーションに少なくとも部分的に基づいて、前記第１の車両を制御するための指示を決定するステップと、
を含む、方法。
【請求項9】
前記センサデータに少なくとも部分的に基づいて、前記環境のトップダウン表示を決定するステップと、前記トップダウン表示を機械学習モデルに入力するステップと、
さらに、前記トップダウン表示を前記機械学習モデルに入力することに少なくとも部分的に基づいて、前記第２の車両が前記第１の車両の前方の前記車線領域に進入しようとしていると決定するステップと、
をさらに含む、
請求項８に記載の方法。
【請求項10】
前記属性は、前記第２の車両の瞬間速度、
運転者が前記第２の車両内にいるかどうかのインジケーション、及び前記運転者が前記第２の車両内にいる場合には、前記運転者の頭の方向のインジケーション、
前記第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
前記第２の車両のホイールに関するホイール角度、又は、
前記第２の車両のブレーキ灯、ヘッドライト、後退灯、又は方向指示器のうちの少なくとも１つが点灯しているかどうかのインジケーション
を含む、
請求項８又は９に記載の方法。
【請求項11】
前記第２の車両が前記第１の車両の前方の前記車線領域に進入しようとしていることのインジケーションを予測コンポーネントに入力するステップと、前記予測コンポーネントから、前記第２の車両に関する予測軌道を受信するステップと、
さらに、前記予測軌道に少なくとも部分的に基づいて、前記指示を決定するステップと、
をさらに含む、
請求項８～１０のいずれか１項に記載の方法。
【請求項12】
前記第２の車両は、前記第１の車両とは異なる進行方向に関連付けられる、請求項８～１１のいずれか１項に記載の方法。
【請求項13】
前記第２の車両は、９０度の指定オフセットの範囲内にある前記第２の車両と前記第１の車両との間の角度に少なくとも部分的に基づいて、前記第１の車両に対して実質的に直角をなす、請求項８～１２のいずれか１項に記載の方法。
【請求項14】
前記第２の車両は、前記第１の車両に対して実質的に直角をなす駐車場、私道、又は路地に位置する、請求項８～１３のいずれか１項に記載の方法。
【請求項15】
１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサに、請求項８～１４のいずれか１項に記載の方法を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２０年２月２７日に出願された、「ＰＥＲＰＥＮＤＩＣＵＬＡＲ ＣＵＴ－ＩＮ ＴＲＡＩＮＩＮＧ」と題された米国特許出願第１６／８０３，６４４号明細書、及び２０２０年２月２７日に出願された、「ＰＥＲＰＥＮＤＩＣＵＬＡＲ ＣＵＴ－ＩＮ ＤＥＴＥＣＴＩＯＮ」と題された米国特許出願第１６／８０３，７０５号明細書の優先権を主張し、それらの全体が参照によって本明細書に組み込まれる。
本出願は、２０２０年２月２７日に出願された、「ＰＥＲＰＥＮＤＩＣＵＬＡＲ ＣＵＴ－ＩＮ ＴＲＡＩＮＩＮＧ」と題された米国特許出願第１６／８０３，６４４号明細書、及び２０２０年２月２７日に出願された、「ＰＥＲＰＥＮＤＩＣＵＬＡＲ ＣＵＴ－ＩＮ ＤＥＴＥＣＴＩＯＮ」と題された米国特許出願第１６／８０３，７０５号明細書の優先権を主張し、それらの全体が参照によって本明細書に組み込まれる。
【背景技術】
【0002】
一般に、予測システムは、環境内のオブジェクトに関連付けられている情報を利用して、軌道など、それらのオブジェクトのその後のアクションを推測する。そのような情報は次いで、例えば、環境において車両をどのように制御するかを決定するために使用されることが可能である。
【発明の概要】
【0003】
詳細な説明が、添付の図を参照しながら記述される。それらの図において、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。別々の図における同じ参照番号の使用は、同様の又は同じコンポーネント又は特徴を示す。
【図面の簡単な説明】
【0004】
【図1】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための例示的な環境を示す図である。
【図2】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境を示す図である。
【図3】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境を示す図である。
【図4】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境を示す図である。
【図5】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境を示す図である。
【図6】本明細書において記述されている、技術を実行するための例示的なシステムを示すブロック図である。
【図7】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するためのモデルをトレーニングするための例示的なプロセスを示す図である。
【図8】本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測し、そのような予測に基づいてその別の車両を制御するための例示的なプロセスを示す図である。
【発明を実施するための形態】
【0005】
本明細書において記述されている技術は、車両の環境におけるオブジェクト（例えば、歩行者、動物、自転車に乗った人、その他の車両など）の特定の行動を予測するためのモデルをトレーニングして使用することを対象としている。例えば、自律車両などの別の車両に近接していて実質的に直角の位置にある車両が、私道から抜け出ること、直角の位置にある駐車場から抜け出ること、Ｕターンを行うこと等によってなど、自律車両の前方の車線領域に入ること（例えば、「割り込むこと」）を行うことになるときを予測するために、機械学習を使用してモデルがトレーニングされることが可能である。少なくとも１つの例においては、モデルは、環境において１つ又は複数の車両によって以前に収集されたトレーニングデータに基づいてトレーニングされることが可能である。少なくとも１つの例においては、モデルは、自律車両に提供されることが可能であり、自律車両に近接していて実質的に直角の位置にあるオブジェクト（例えば、その他の車両）がどのように行動する可能性が高いかを予測するために、自律車両に搭載されたコンピューティングデバイスによって利用されることが可能である。
【0006】
例えば、自律車両に搭載されたコンピューティングデバイスは、自律車両に近接していて実質的に直角の位置にある車両が、私道から抜け出ること、直角の位置にある駐車場から抜け出ること、Ｕターンを行うこと等によってなど、自律車両の前方の車線領域に入ること（例えば、「割り込むこと」）を行うことになるときを予測するために、モデルを活用することが可能である。これらのシナリオは、とりわけ、そのような動作主体（これらの操作を実行するその他の車両）が、マップの構造化されていない部分（例えば、私道又は駐車区画内など、車線マーカがない部分）から始動する場合があるという点において、それに加えて、動作主体の動きが、道路のルールに従わない場合があるマルチポイントターンから、構造化された動き及び／又は複雑な動きへの遷移を含む場合があるという事実において、独特の課題を提示している。自律車両に搭載されたコンピューティングデバイスは、そのような予測を利用して、環境において自律車両をどのようにナビゲートするかを決定することが可能である。即ち、自律車両に搭載されたコンピューティングデバイスは、モデルによって出力された予測に基づいて運転操作を適合させることが可能である。従って、自律車両は、モデルを利用して、（ｉ）自律車両に近接していて実質的に直角の位置にある車両が割り込むことになるときを予測することと、（ｉｉ）その別の車両に対応するように自律車両をナビゲートする（例えば、自律車両を減速させ、それによって、その車両と別の車両との間における車間距離を広げる、自律車両がその別の車両に道を譲るようにさせる、及び／又は自律車両を停止させる、自律車両に車線変更操作を実行させる、自律車両が別の車両を安全に迂回するようにさせる、及び／又は自律車両が実行することが可能である操作のいずれかのその他の組合せを自律車両に実行させる）ための軌道を決定することとが可能である。
【0007】
本明細書において記述されている技術は、自律車両などの車両が自分の環境におけるオブジェクトの行動を予測することを可能にするために、例えば機械学習を使用して、モデルをトレーニングすることを対象としている。本明細書において記述されている技術は、ノイズの多いセンサデータ、より具体的には、ノイズの多い予測データ（例えば、処理されたセンサデータ）を利用して、車両に関連付けられている環境におけるオブジェクトの行動を、既存の予測技術を用いるよりも正確に予測することが可能である。さらに、上述されているように、自律車両に対して直角であるか、又は実質的に直角である車両に関しては、そのような車両は、道路網に沿っていない、及び／又は自律車両が知覚及び理解するようにトレーニングされている道路のルールに従っていない場合がある。従って、既存の予測技術は、そのような車両を検知して安全に迂回するには不十分である場合がある。即ち、本明細書において記述されている技術は、既存の予測テクノロジーを上回る技術的な改善を提供する。センサデータが使用されて車両の環境におけるオブジェクトの行動を予測することが可能であることに伴う精度を改善することに加えて、本明細書において記述されている技術は、誤検知を低減すること、及び安全性の結果を改善することが可能である。
【0008】
本明細書において記述されている技術は、いくつかの方法で実施されることが可能である。以降の図を参照しながら、例示的な実施態様が以降で提供される。例示的な実施態様は、自律車両というコンテキストで論じられているが、本明細書において記述されている方法、装置、及びコンポーネントは、様々なコンポーネント（例えば、センサコンポーネント又はロボットプラットフォーム）に適用されることが可能であり、自律車両に限定されない。一例においては、本明細書において記述されている技術は、運転者に制御される車両において利用されることが可能であり、それらの車両においては、そのようなコンポーネントは、様々な操作を実行することが安全であるかどうかについてのインジケーションを車両の運転者に提供することが可能である。別の例においては、これらの技術は、航空若しくは航海のコンテキストにおいて、又はコンポーネントにとって未知である行動に関連付けられている可能性があるオブジェクト若しくはエンティティを含む任意のコンポーネントにおいて利用されることが可能である。いくつかの例においては、これらの技術は、自律車両及び／又は知覚コンポーネント以外のコンテキストにおいて利用されることが可能である。さらに、本明細書において記述されている技術は、実際の（例えば、センサを使用して取り込まれた）データ、シミュレートされた（例えば、シミュレータによって生成された）データ、又はそれら２つの任意の組合せとともに使用されることが可能である。
【0009】
図１は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための例示的な環境１００を示している。
【0010】
例示的な環境１００においては、車両１０２は、走行面１０６の走行車線１０４に配置されることが可能である。少なくとも１つの例においては、車両１０２は、米国高速道路交通安全局によって発行されているレベル５分類に従って動作するように構成されている自律車両であることが可能であり、そのレベル５分類は、運転者（又は乗員）が車両を制御することをいかなる時点においても期待されない状態で行程全体にわたって全ての安全上重要な機能を実行することが可能な車両について記述している。そのような例においては、車両１０２は、全ての駐車機能を含む、始動から停止までの全ての機能を制御するように構成されることが可能であるので、車両１０２は無人であることが可能である。これは例にすぎず、本明細書において記述されているコンポーネント及び方法は、常に運転者によって手動で制御される必要がある車両から、部分的に又は完全に自律的に制御される車両にわたる車両を含む、あらゆる地上輸送用、空中輸送用、又は水上輸送用車両に組み込まれることが可能である。即ち、示されている例においては、車両１０２は自律車両であるが、車両１０２は、任意のその他のタイプの車両であることが可能である。
【0011】
少なくとも１つの例においては、走行車線１０４は、車線領域に関連付けられることが可能であり、走行面１０６は、道路に関連付けられることが可能である。少なくとも１つの例においては、別の車両１０８が環境１００内で検知されることが可能である。いくつかの例においては、別の車両１０８は、別の車両１０８が車両１０２の閾値距離内にあるほどに車両１０２に近接していることが可能である。いくつかの例においては、別の車両１０８は、車両１０２とは異なる走行方向に関連付けられることが可能である。車両１０２の走行方向は、車両１０２が走行している軌道１１０の端にある矢印によって示されている。いくつかの例においては、別の車両１０８は、車両１０２の走行方向とは反対である走行方向に関連付けられることが可能である。その他の例においては、走行方向は、閾値よりも多く別の走行方向からオフセットされることによって、その別の走行方向とは異なることが可能である。
【0012】
いくつかの例においては、別の車両１０８は、車両１０２に対してある角度で配置されることが可能である。少なくとも１つの例においては、その角度は、９０度という指定されたオフセット内にあることが可能であり、それによって、別の車両１０８は、車両１０２に対して実質的に直角である。即ち、この論考の目的のために、車両は、別の車両に対して、それらの２台の車両の間における角度が９０度という指定されたオフセット内にある場合には、「実質的に直角」である。非限定的な例として、その指定されたオフセットは、５０度であることが可能であり、それによって車両１０２及び別の車両１０８（又は任意の２台の車両）は、それらの２台の間における角度が４０度と１４０度との間にある限り、「実質的に直角」であることが可能である。少なくとも１つの例においては、指定されたオフセットは、本明細書において記述されている機械学習技術を使用して学習されることが可能である。いくつかの例においては、指定されるオフセットは、手動で設定されることが可能であり、マップデータに基づくことが可能である（例えば、位置に依存することが可能である）、といった具合である。
【0013】
図１においては、別の車両１０８は、車両１０２に対して実質的に直角に配置されている。非限定的な例として、別の車両１０８は、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道、又は車両１０２に対して実質的に直角である任意のその他の場所から抜け出ているところである可能性がある。いくつかの例においては、そのような駐車場又は駐車区画、裏通り、私道などは、環境１００に関連付けられているマップにおいて注釈を付けられることが可能である。その他の例においては、そのような駐車場又は駐車区画、裏通り、私道などは、マップにおいて注釈を付けられないことが可能である。
【0014】
少なくとも１つの例においては、車両１０２は、１つ又は複数のコンピューティングデバイスを含むことが可能であり、それらのコンピューティングデバイスは、車両１０２に搭載されることが可能である。少なくとも１つの例においては、コンピューティングデバイスは、車両１０２を制御するためのコンポーネントを含むことが可能である。例えば、少なくとも１つの例においては、知覚コンポーネントが、車両１０２のセンサコンポーネントから受信されたセンサデータに少なくとも部分的に基づいてオブジェクトの検知、セグメンテーション、及び／又は分類を実行することが可能である。少なくとも１つの例においては、予測コンポーネントが、センサコンポーネントからのセンサデータ、（例えば、環境１００の）マップに関連付けられているマップデータ、及び／又は知覚コンポーネントから出力された知覚データ（例えば、処理されたセンサデータ）を受信することが可能であり、車両１０２の環境１００内の１つ又は複数のオブジェクトに関連付けられている予測を出力することが可能である。少なくとも１つの例においては、プランニングコンポーネントが、センサコンポーネントから受信されたセンサデータ、マップデータ、及び／又は車両１０２のその他のコンポーネントによって行われたいずれかの決定に少なくとも部分的に基づいて車両１０２を制御するために使用するための出力を決定することが可能である。そのようなコンピューティングデバイスと、関連付けられているコンポーネントとに関連付けられているさらなる詳細が、以降で図６を参照しながら説明される。
【0015】
上述されているように、車両１０２は、１つ又は複数のセンサコンポーネントに関連付けられることが可能である。少なくとも１つの例においては、センサコンポーネントは、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、全地球測位コンポーネント（ＧＰＳ）、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、奥行きなど）、ホイールエンコーダ、マイクロフォン、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、飛行時間（ＴｏＦ）センサなどを含むことが可能である。そのようなセンサデータは、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、超音波トランスデューサデータ、ソナーデータ、位置データ（例えば、全地球測位コンポーネント（ＧＰＳ）、コンパスなど）、慣性データ（例えば、慣性測定ユニットデータ、加速度計データ、磁力計データ、ジャイロスコープデータなど）、カメラデータ（例えば、ＲＧＢデータ、ＩＲデータ、強度データ、奥行きデータなど）、ホイールエンコーダデータ、マイクロフォンデータ、環境センサデータ（例えば、温度センサデータ、湿度センサデータ、光センサデータ、圧力センサデータなど）、ＴｏＦセンサデータなどを含むことが可能であるが、それらに限定されない。
【0016】
少なくとも１つの例においては、知覚コンポーネントは、別の車両１０８を検知することが可能であり、予測コンポーネントは、別の車両１０８が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを予測することが可能である。いくつかの例においては、予測コンポーネントは、機械学習メカニズムによってトレーニングされたモデルを活用して、別の車両１０８が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを示す予測を出力することが可能である。少なくとも１つの例においては、予測コンポーネントは、環境１００に関連付けられている特徴（属性、特性、パラメータ、データなどとも呼ばれる）を分析して、別の車両１０８が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。環境１００の特性に関連付けられることが可能であるそのような特徴は、別の車両１０８が駐車場（例えば、実質的に直角の位置にある駐車場）又は駐車区画、裏通り、私道などに配置されているということを示す、環境１００に関連付けられているマップにおける注釈を含むことが可能である。
【0017】
少なくとも１つの例においては、予測コンポーネントは、別の車両１０８に関連付けられている特徴を分析して、別の車両１０８が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。例えば、別の車両１０８の特性に関連付けられることが可能であるそのような特徴は、車両１０２に対する別の車両１０８の位置（例えば、走行方向、角度オフセットなど）、別の車両１０８の瞬間速度、別の車両１０８に運転者が乗っているかどうかのインジケーション、運転者が見ている方向のインジケーション（例えば、運転者の頭の位置）、別の車両１０８に関連付けられているドアが開いているか若しくは閉じられているかのインジケーション、別の車両１０８のエンジンが動作状態にあるか若しくは停止状態にあるかのインジケーション、別の車両１０８のホイールに関連付けられているホイール角度（そのようなことを決定するためのさらなる詳細が、２０１９年１２月１０日に出願された米国特許出願第１６／７０９，２６３号明細書において記述されており、その全体が、参照によって本明細書に組み込まれている）、別の車両１０８の制動灯が点灯されているかどうかのインジケーション、別の車両１０８のヘッドライトが点灯されているかどうかのインジケーション、別の車両１０８の後退灯が点灯されているかどうかのインジケーション、別の車両１０８のウインカーが点灯されているかどうかのインジケーション、又は別の車両１０８に関連付けられている点灯状態を含むことが可能であるが、それらに限定されない。
【0018】
そのようなモデルに関連付けられているさらなる詳細、及びそのようなモデルをトレーニングするための技術が、以下で図７を参照しながら説明される。
【0019】
図１に示されているように、別の車両１０８が、自分に関連付けられている軌道１１２に従う場合には、別の車両１０８は、車両１０２の前方の走行車線１０４の車線領域に入ることになる（例えば、別の車両１０８が、右折を実行して交通の流れに入る際に）。即ち、別の車両１０８が、自分に関連付けられている軌道１１２に従う場合には、別の車両１０８は、割り込みを実行することになり、それによって、車両１０２に関連付けられているプランニングコンポーネントは、別の車両２０２を考慮して車両１０２を動かすように車両１０２の軌道１１０を修正することが可能である。上述されているように、プランニングコンポーネントは、車両１０２を減速させて、車両１０２と別の車両１０８との間における車間距離を広げること、車両１０２を減速させ、別の車両１０８に道を譲るようにさせる、及び／又は停止させること、車両１０２に車線変更を実行させること、車両１０２が別の車両１０８を安全に迂回するようにさせること、及び／又は、車両１０２が実行することが可能である操作のいずれかのその他の組合せを車両１０２に実行させることが可能である。
【0020】
図２は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境２００を示している。
【0021】
例示的な環境２００は、車両１０２を含み、車両１０２は、走行面１０６の走行車線１０４に配置されることが可能である。少なくとも１つの例においては、図１を参照しながら上述されているように、走行車線１０４は、車線領域に関連付けられることが可能であり、走行面１０６は、道路に関連付けられることが可能である。少なくとも１つの例においては、別の車両２０２が環境２００内で検知されることが可能である。いくつかの例においては、別の車両２０２は、別の車両２０２が車両１０２の閾値距離内にあるほどに車両１０２に近接していることが可能である。さらに、いくつかの例においては、別の車両２０２は、車両１０２とは異なる走行方向に関連付けられることが可能である。車両１０２の走行方向は、車両１０２が走行している軌道１１０の端にある矢印によって示されている。いくつかの例においては、別の車両２０２は、車両１０２の走行方向とは反対である走行方向に関連付けられることが可能である。いくつかの例においては、別の車両２０２は、車両１０２に対してある角度で配置されることが可能である。少なくとも１つの例においては、その角度は、９０度という指定されたオフセット内にあることが可能であり、それによって、別の車両２０２は、車両１０２に対して実質的に直角である。
【0022】
図２においては、別の車両２０２は、車両１０２に対して実質的に直角に配置されている。非限定的な例として、別の車両１０８は、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道、又は車両１０２に対して実質的に直角である任意のその他の場所から抜け出ているところである可能性がある。いくつかの例においては、そのような駐車場又は駐車区画、裏通り、私道などは、環境２００に関連付けられているマップにおいて注釈を付けられることが可能である。その他の例においては、そのような駐車場又は駐車区画、裏通り、私道などは、マップにおいて注釈を付けられないことが可能である。
【0023】
少なくとも１つの例においては、知覚コンポーネントは、別の車両２０２を検知することが可能であり、予測コンポーネントは、別の車両２０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを示す予測を出力することが可能である。いくつかの例においては、予測コンポーネントは、機械学習メカニズムによってトレーニングされたモデルを活用して、別の車両２０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを予測することが可能である。少なくとも１つの例においては、予測コンポーネントは、上述されているように、環境２００及び／又は別の車両２０２に関連付けられている特徴を分析して、別の車両２０２が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。
【0024】
図２に示されているように、別の車両２０２が、自分に関連付けられている軌道２０４に従う場合には、別の車両２０２は、車両１０２の前方の走行車線１０４の車線領域に入ることになる（例えば、別の車両２０２が、左折を実行して交通の流れに入る際に）。即ち、別の車両２０２が、自分に関連付けられている軌道２０４に従う場合には、別の車両２０２は、割り込みを実行することになり、それによって、車両１０２に関連付けられているプランニングコンポーネントは、別の車両２０２を考慮して車両１０２を動かすように車両１０２の軌道１１０を修正することが可能である。上述されているように、プランニングコンポーネントは、車両１０２を減速させて、車両１０２と別の車両２０２との間における車間距離を広げること、車両１０２を減速させて、別の車両２０２に道を譲るようにさせる、及び／又は停止させること、及び／又は、車両１０２が実行することが可能である操作のいずれかのその他の組合せを車両１０２に実行させることが可能である。
【0025】
図１及び図２は、本明細書において記述されている技術の例を示しており、それによって、別の車両１０８及び２０２はそれぞれ、裏通り、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、私道、又は車両１０２及び／又は走行面１０６に対して実質的に直角であるその他の場所から抜け出ている。図１においては、別の車両１０８は、裏通り、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、私道、又は、走行面１０６のうちで車両１０２と同じ側にあるその他の場所に配置されている。即ち、別の車両１０８は、車両１０２が配置されている走行車線１０４に対して実質的に直角に、かつ走行面１０６のうちで走行車線１０４と同じ側に配置されている。図２においては、別の車両２０２は、裏通り、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、私道、又は、走行面１０６のうちで車両１０２とは反対側にあるその他の場所に配置されている。即ち、別の車両１０８は、車両１０２が配置されている走行車線１０４に対して実質的に直角に、かつ走行面１０６のうちで走行車線１０４とは反対側に配置されている。
【0026】
いくつかの例においては、別の車両１０８又は２０２は、車両１０２の前に配置されること、及び車両１０２と実質的に平行に（例えば、同じ方向に）配置されることが可能である。そのような例においては、別の車両１０８又は２０２は、走行車線１０４を横切って左折又は右折を実行することが可能である。車両１０２は、上述されている特徴を活用して、そのような操作を予測することが可能であり、プランニングコンポーネントは、それに従って車両１０２をどのように制御するかを決定することが可能である。
【0027】
図３は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境３００を示している。
【0028】
例示的な環境３００は、車両１０２を含み、車両１０２は、走行面１０６の走行車線１０４に配置されることが可能である。少なくとも１つの例においては、図１を参照しながら上述されているように、走行車線１０４は、車線領域に関連付けられることが可能であり、走行面１０６は、道路に関連付けられることが可能である。少なくとも１つの例においては、別の車両３０２が環境３００内で検知されることが可能である。いくつかの例においては、別の車両３０２は、別の車両３０２が車両１０２の閾値距離内にあるほどに車両１０２に近接していることが可能である。さらに、いくつかの例においては、別の車両３０２は、車両１０２とは異なる走行方向に関連付けられることが可能である。車両１０２の走行方向は、車両１０２が走行している軌道１１０の端にある矢印によって示されている。いくつかの例においては、別の車両３０２は、（例えば、図３に示されているように）車両１０２の走行方向とは反対である走行方向に関連付けられることが可能である。いくつかの例においては、別の車両３０２は、車両１０２に対してある角度で配置されることが可能である。
【0029】
少なくとも１つの例においては、知覚コンポーネントは、別の車両３０２を検知することが可能であり、予測コンポーネントは、別の車両３０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを予測することが可能である。いくつかの例においては、予測コンポーネントは、機械学習メカニズムによってトレーニングされたモデルを活用して、別の車両３０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを示す予測を出力することが可能である。少なくとも１つの例においては、予測コンポーネントは、上述されているように、環境３００及び／又は別の車両３０２に関連付けられている特徴を分析して、別の車両３０２が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。
【0030】
図３に示されているように、別の車両３０２が、自分に関連付けられている軌道３０４に従う場合には、別の車両３０２は、車両１０２の前方の走行車線１０４の車線領域に入ることになる（例えば、別の車両３０２がＵターンを実行する際に）。即ち、別の車両３０２が、自分に関連付けられている軌道３０４に従う場合には、別の車両３０２は、割り込みを実行することになり、それによって、車両１０２に関連付けられているプランニングコンポーネントは、別の車両３０２を考慮して車両１０２を動かすように車両１０２の軌道１１０を修正することが可能である。上述されているように、プランニングコンポーネントは、車両１０２を減速させて、車両１０２と別の車両３０２との間における車間距離を広げること、車両１０２を減速させて、別の車両３０２に道を譲るようにさせる、及び／又は停止させること、及び／又は、車両１０２が実行することが可能である操作のいずれかのその他の組合せを車両１０２に実行させることが可能である。
【0031】
図３は、別の車両３０２がＵターンを実行しているところを示しているが、代替例においては、別の車両３０２は、走行車線１０４を横切って（例えば、私道、街路、裏通りなどへの）ターンを実行することが可能である。そのような例においては、車両１０２は、同じ特徴を活用して、別の車両３０２が車両１０２の前方の走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能であり、プランニングコンポーネントは、それに従って車両１０２をどのように制御するかを決定することが可能である。
【0032】
図４は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境４００を示している。
【0033】
例示的な環境４００は、車両１０２を含み、車両１０２は、走行面１０６の走行車線１０４に配置されることが可能である。少なくとも１つの例においては、図１を参照しながら上述されているように、走行車線１０４は、車線領域に関連付けられることが可能であり、走行面１０６は、道路に関連付けられることが可能である。少なくとも１つの例においては、別の車両４０２が環境４００内で検知されることが可能である。いくつかの例においては、別の車両４０２は、別の車両４０２が車両１０２の閾値距離内にあるほどに車両１０２に近接していることが可能である。さらに、いくつかの例においては、別の車両４０２は、車両１０２とは異なる走行方向に関連付けられることが可能である。車両１０２の走行方向は、車両１０２が走行している軌道１１０の端にある矢印によって示されている。いくつかの例においては、別の車両４０２は、（例えば、図４に示されているように）車両１０２の走行方向とは反対である走行方向に関連付けられることが可能である。いくつかの例においては、別の車両４０２は、車両１０２に対してある角度で配置されることが可能である。
【0034】
少なくとも１つの例においては、知覚コンポーネントは、別の車両４０２を検知することが可能であり、予測コンポーネントは、別の車両４０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを予測することが可能である。いくつかの例においては、予測コンポーネントは、機械学習メカニズムによってトレーニングされたモデルを活用して、別の車両４０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを示す予測を出力することが可能である。少なくとも１つの例においては、予測コンポーネントは、上述されているように、環境４００及び／又は別の車両４０２に関連付けられている特徴を分析して、別の車両４０２が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。
【0035】
図４に示されているように、別の車両４０２が、自分に関連付けられている軌道４０４に従う場合には、別の車両４０２は、車両１０２の前方の走行車線１０４の車線領域に入ることになる（例えば、別の車両４０２が、スリーポイントターン又は任意のＮポイントターンを実行する際に）。即ち、別の車両４０２が、自分に関連付けられている軌道４０４に従う場合には、別の車両４０２は、割り込みを実行することになり、それによって、車両１０２に関連付けられているプランニングコンポーネントは、別の車両４０２を考慮して車両１０２を動かすように車両１０２の軌道１１０を修正することが可能である。上述されているように、プランニングコンポーネントは、車両１０２を減速させて、車両１０２と別の車両４０２との間における車間距離を広げること、車両１０２を減速させて、別の車両４０２に道を譲るようにさせる、及び／又は停止させること、及び／又は、車両１０２が実行することが可能である操作のいずれかのその他の組合せを車両１０２に実行させることが可能である。
【0036】
図５は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測するための別の例示的な環境５００を示している。
【0037】
例示的な環境５００は、車両１０２を含み、車両１０２は、走行面１０６の走行車線１０４に配置されることが可能である。少なくとも１つの例においては、図１を参照しながら上述されているように、走行車線１０４は、車線領域に関連付けられることが可能であり、走行面１０６は、道路に関連付けられることが可能である。少なくとも１つの例においては、別の車両５０２が環境５００内で検知されることが可能である。いくつかの例においては、別の車両５０２は、別の車両５０２が車両１０２の閾値距離内にあるほどに車両１０２に近接していることが可能である。さらに、いくつかの例においては、別の車両５０２は、車両１０２とは異なる走行方向に関連付けられることが可能である。車両１０２の走行方向は、車両１０２が走行している軌道１１０の端にある矢印によって示されている。いくつかの例においては、別の車両５０２は、車両１０２の走行方向とは反対である走行方向に関連付けられることが可能である。いくつかの例においては、別の車両５０２は、車両１０２に対してある角度で配置されることが可能である。図５に示されているように、別の車両５０２は、車両１０２に対して実質的に直角であることが可能である。
【0038】
少なくとも１つの例においては、知覚コンポーネントは、別の車両５０２を検知することが可能であり、予測コンポーネントは、別の車両５０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを予測することが可能である。いくつかの例においては、予測コンポーネントは、機械学習メカニズムによってトレーニングされたモデルを活用して、別の車両５０２が車両１０２の前方の走行車線１０４の車線領域に入ることになるかどうかを示す予測を出力することが可能である。少なくとも１つの例においては、予測コンポーネントは、上述されているように、環境５００及び／又は別の車両５０２に関連付けられている特徴を分析して、別の車両５０２が走行車線１０４の車線領域に入る可能性が高いかどうかを決定することが可能である。
【0039】
図５に示されているように、別の車両５０２が、自分に関連付けられている軌道５０４に従う場合には、別の車両５０２は、車両１０２の前方の走行車線１０４の車線領域に入ることになる（例えば、別の車両５０２が、自分の現在位置から後退し、車両１０２と同じ走行方向に進む際に）。即ち、別の車両５０２が、自分に関連付けられている軌道５０４に従う場合には、別の車両５０２は、割り込みを実行することになり、それによって、車両１０２に関連付けられているプランニングコンポーネントは、別の車両５０２を考慮して車両１０２を動かすように車両１０２の軌道１１０を修正することが可能である。上述されているように、プランニングコンポーネントは、車両１０２を減速させて、車両１０２と別の車両５０２との間における車間距離を広げること、車両１０２に車線を変更させること、車両１０２を減速させて、別の車両５０２に道を譲るようにさせる、及び／又は停止させること、車両１０２が別の車両５０２を安全に迂回するようにさせること、及び／又は、車両１０２が実行することが可能である操作のいずれかのその他の組合せを車両１０２に実行させることが可能である。
【0040】
図５は、別の車両５０２が、走行面１０６のうちで車両１０２と同じ側にある私道、駐車場、裏通りなどから後退して出ているところを示しているが、本明細書において記述されている技術は、走行面１０６のうちで車両１０２とは反対側にある私道、駐車場、裏通りなどから後退して出ているところである別の車両５０２に関しても適用可能である。
【0041】
図１～図５は、車両１０２の前方の走行車線１０４の車線領域に入っているところである、又は本明細書において記述されている「割り込み操作」をその他の形で実行しているところである、車両１０２に近接しているその他の車両の様々な例を示している。そのような例は、左折、右折、Ｕターン、スリーポイントターンなどを含む。さらなる又は代替の例は、本開示の範囲内にある。例えば、本明細書において記述されている技術は、別の車両がＫターン、任意のＮポイントターンなどを実行するときに、又は別の車両が曲がって交通の流れとの間で出入りするときに車両１０２をどのように制御するかを決定するために使用されることが可能である。即ち、本明細書において記述されている技術は、図１～図５において記述されている例に限定されず、また、車両１０２に近接していて、かつ車両１０２と同じ又は異なる走行方向に関連付けられている別の車両が車両１０２の前方の走行車線１０４の車線領域に入る、又は入ると予測される任意の例に適用可能でありうる。さらに、本明細書において記述されている技術は、別の車両が、道路上の（例えば、走行面１０６上の）又は道路から外れた（例えば、走行面１０６上ではない）位置から車線領域に入っているところであるシナリオに適用可能である。
【0042】
図６は、本明細書において記述されている、技術を実行するための例示的なシステム６００を示すブロック図である。少なくとも１つの例においては、車両６０２が、１つ又は複数の車両コンピューティングデバイス６０４と、１つ又は複数のセンサコンポーネント６０６と、１つ又は複数のエミッタ６０８と、１つ又は複数の通信接続６１０と、少なくとも１つの直接接続６１２と、１つ又は複数の運転システム６１４とを含むことが可能である。少なくとも１つの例においては、車両６０２は、図１を参照しながら上述されている車両１０２に対応することが可能である。図１を参照しながら上述されているように、示されている例においては、車両６０２は自律車両であるが、車両６０２は、任意のその他のタイプの車両であることが可能である。図６には単一の車両６０２のみが示されているが、実際の適用においては、例示的なシステム６００は、複数の車両を含むことが可能であり、それらの複数の車両は、いくつかの例においては、車両の群を含むことが可能である。
【0043】
車両コンピューティングデバイス６０４は、プロセッサ６１６、及びプロセッサ６１６と通信可能に結合されているメモリ６１８を含むことが可能である。示されている例においては、車両コンピューティングデバイス６０４のメモリ６１８は、局在化コンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント６２４、プランニングコンポーネント６２６、及び１つ又は複数のシステムコントローラ６２８を記憶している。加えて、メモリ６１８は、ストレージ６３０を含むことが可能であり、ストレージ６３０は、マップ、モデル、以前の出力などを記憶することが可能である。マップは、環境に関する情報を提供することが可能である任意の数のデータ構造であることが可能であり、それらの情報は、トポロジー（ジャンクション、車線、合流ゾーン等など）、街路、山脈、道路、地形、及び環境全般などであるが、それらに限定されない。マップは、実際の環境又はシミュレートされた環境に関連付けられることが可能である。モデルは、以降で記述されているように、機械学習されたモデルを含むことが可能である。いくつかの例においては、ストレージ６３０は、以前の出力を記憶することが可能である。
【0044】
少なくとも１つの例においては、局在化コンポーネント６２０は、センサコンポーネント６０６から受信されたセンサデータ、及び／又はマップに関連付けられている（例えば、マップの）マップデータに少なくとも部分的に基づいて、局所及び／又は全体マップに関連して車両６０２の体勢（位置及び向き）を決定することが可能である。少なくとも１つの例においては、局在化コンポーネント６２０は、較正する（センサコンポーネント６０６のうちの任意の１つ又は複数に関連付けられている様々な内因性の及び外因性のパラメータを決定する）、位置特定する、並びにマッピングするための動作を実質的に同時に実行することが可能である較正コンポーネントを含むか、又はその較正コンポーネントに関連付けられることが可能である。
【0045】
少なくとも１つの例においては、知覚コンポーネント６２２は、センサコンポーネント６０６から受信されたセンサデータに少なくとも部分的に基づいてオブジェクトの検知、セグメンテーション、及び／又は分類を実行することが可能である。少なくとも１つの例においては、知覚コンポーネント６２２は、未処理のセンサデータを（例えば、センサコンポーネント６０６から）受信することが可能である。少なくとも１つの例においては、知覚コンポーネント６２２は、センサデータを受信することが可能であり、センサデータにおいて識別されたオブジェクトに関してオブジェクトの検知、セグメンテーション、及び／又は分類を実行するために１つ又は複数の処理アルゴリズムを利用することが可能である。いくつかの例においては、知覚コンポーネント６２２は、境界領域（又はさもなければインスタンスセグメンテーション）を、識別されたオブジェクトに関連付けることが可能であり、識別されたオブジェクトの分類に関連付けられている信頼スコアを、識別されたオブジェクトに関連付けることが可能である。いくつかの例においては、オブジェクトは、ディスプレイを介してレンダリングされる際には、自分の知覚されたクラスに基づいて色付けされることが可能である。
【0046】
予測コンポーネント６２４は、センサコンポーネント６０６からのセンサデータ、マップに関連付けられている（例えば、ストレージ６３０にあることが可能であるマップの）マップデータ、及び／又は知覚コンポーネント６２２から出力された知覚データ（例えば、処理されたセンサデータ）を受信することが可能であり、車両６０２の環境内の１つ又は複数のオブジェクトに関連付けられている予測を出力することが可能である。少なくとも１つの例においては、プランニングコンポーネント６２６は、センサコンポーネント６０６から受信されたセンサデータ、マップデータ、及び／又は車両６０２のその他のコンポーネントによって行われたいずれかの決定に少なくとも部分的に基づいて車両６０２を制御するために使用するための出力を決定することが可能である。
【0047】
使用可能である局在化コンポーネント、知覚コンポーネント、予測コンポーネント、及び／又はプランニングコンポーネントのさらなる詳細は、２０１７年４月４日に発行された米国特許第９，６１２，１２３号明細書、及び２０１９年７月１６日に発行された米国特許第１０，３５３，３９０号明細書に見いだされることが可能であり、それらの両方の全内容は、参照によって本明細書に組み込まれている。いくつかの例（例えば、車両６０２が自律車両ではない）においては、前述のコンポーネントのうちの１つ又は複数は、車両６０２から省略されることが可能である。上述されているコンポーネントは、車両６０２に「搭載された」ものとして示されているが、その他の実施態様においては、それらのコンポーネントは、車両６０２にとってリモートに配置されることが可能であり、及び／又はアクセス可能でありうる。さらに、コンポーネントは、「コンポーネント」として上述されているが、そのようなコンポーネントは、それらのコンポーネントのそれぞれに帰される動作を実行するために、システムの一部であることが可能である１つ又は複数のコンポーネントを含むことが可能である。
【0048】
少なくとも１つの例においては、局在化コンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント６２４、及び／又はプランニングコンポーネント６２６は、上述されているように、センサデータを処理することが可能であり、各自の出力を、ネットワーク６３２を介してコンピューティングデバイス６３４へ送信することが可能である。少なくとも１つの例においては、局在化コンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント６２４、及び／又はプランニングコンポーネント６２６は、各自の出力をコンピューティングデバイス６３４へ特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、といった具合に送信することが可能である。
【0049】
少なくとも１つの例においては、車両コンピューティングデバイス６０４は、１つ又は複数のシステムコントローラ６２８を含むことが可能であり、それらのシステムコントローラ６２８は、車両６０２のステアリング、推進、制動、安全、エミッタ、通信、及びその他のシステムを制御するように構成されることが可能である。これらのシステムコントローラ６２８は、運転システム６１４の対応するシステム及び／又は車両６０２のその他のシステムに対する通信及び／又は制御を行うことが可能である。
【0050】
少なくとも１つの例においては、センサコンポーネント６０６は、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、奥行きなど）、ホイールエンコーダ、オーディオセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、ＴｏＦセンサなどを含むことが可能である。センサコンポーネント６０６は、車両コンピューティングデバイス６０４への入力を提供することが可能である。いくつかの例においては、センサコンポーネント６０６は、センサデータを車両コンピューティングデバイス６０４へ送信する前に、それらのセンサデータのうちの少なくともいくつかを前処理することが可能である。少なくとも１つの例においては、センサコンポーネント６０６は、センサデータを、ネットワーク６３２を介してコンピューティングデバイス６３４へ特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、といった具合に送信することが可能である。
【0051】
車両６０２は、上述されているように、光及び／又は音を発するための１つ又は複数のエミッタ６０８を含むことも可能である。この例におけるエミッタ６０８は、車両６０２の搭乗者と通信するための内部オーディオ及びビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／又は力のフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナー等）などを含むことが可能である。この例におけるエミッタ６０８はまた、外部エミッタを含む。限定ではなく例として、この例における外部エミッタは、歩行者、その他の運転者、その他の近くの車両などと視覚的に通信するための光エミッタ（例えば、インジケータライト、サイン、ライトアレイ等）、歩行者、その他の運転者、その他の近くの車両などと音声で通信するための１つ又は複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーン等）などを含む。少なくとも１つの例においては、エミッタ６０８は、車両６０２の外部及び／又は内部の周りの様々な場所に配置されることが可能である。
【0052】
車両６０２は、車両６０２と、その他のローカル又はリモートコンピューティングデバイスとの間における通信を可能にする通信接続６１０を含むことも可能である。例えば、通信接続６１０は、車両６０２上のその他のローカルコンピューティングデバイス及び／又は運転システム６１４との通信を容易にすることが可能である。また、通信接続６１０は、車両がその他の近くのコンピューティングデバイス（例えば、その他の近くの車両、交通信号など）と通信することを可能にしうる。通信接続６１０はまた、車両６０２がリモート遠隔動作コンピューティングデバイス又はその他のリモートサービスと通信することを可能にする。
【0053】
通信接続６１０は、車両コンピューティングデバイス６０４を別のコンピューティングデバイス又はネットワーク６３２などのネットワークに接続するための物理インターフェース及び／又は論理インターフェースを含むことが可能である。例えば、通信接続６１０は、ＩＥＥＥ ８０２．１１標準によって定義されている周波数を介するなどのＷｉ－Ｆｉベースの通信、ＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離ワイヤレス周波数、又は、それぞれのコンピューティングデバイスがその他のコンピューティングデバイスとのインターフェースを取ることを可能にする任意の適切な有線通信プロトコル若しくはワイヤレス通信プロトコルを可能にしうる。
【0054】
直接接続６１２は、運転システム６１４と、車両６０２のその他のシステムとを直接接続することが可能である。
【0055】
少なくとも１つの例においては、車両６０２は、運転システム６１４を含むことが可能である。いくつかの例においては、車両６０２は、単一の運転システム６１４を有することが可能である。少なくとも１つの例においては、車両６０２が複数の運転システム６１４を有する場合には、個々の運転システム６１４は、車両６０２の向かい合った端部どうし（例えば、前部及び後部など）に配置されることが可能である。少なくとも１つの例においては、運転システム６１４は、運転システム６１４及び／又は車両６０２の周囲の状況を検知するためのセンサコンポーネントを含むことが可能である。限定ではなく例として、センサコンポーネントは、運転システムのホイールの回転を感知するホイールエンコーダ（例えば、ロータリーエンコーダ）、運転システムの位置及び加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラ又はその他の画像センサ、運転システムの周囲におけるオブジェクトを音響的に検知するための超音波センサ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサなどを含むことが可能である。ホイールエンコーダなどのいくつかのセンサは、運転システム６１４に固有であることが可能である。いくつかのケースにおいては、運転システム６１４上のセンサコンポーネントは、車両６０２の対応するシステム（例えば、センサコンポーネント６０６）と重複すること、又はそれらを補完することが可能である。
【0056】
運転システム６１４は、高電圧バッテリー、車両６０２を推進するためのモータ、バッテリーからの直流電流をその他の車両システムによる使用のために交流電流に変換するためのインバータ、ステアリングモータ及びステアリングラック（電動であることが可能である）を含むステアリングシステム、油圧又は電動アクチュエータを含む制動システム、油圧及び／又は空圧コンポーネントを含むサスペンションシステム、トラクションのロスを軽減して制御を保持するために制動力を分配するための安定制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部の周囲を照らすためのヘッド／テールライトなどの照明）、並びに１つ又は複数のその他のシステム（例えば、冷却システム、安全システム、車載充電システム、その他の電気コンポーネント、例えば、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど）を含む車両システムのうちの多くを含むことが可能である。加えて、運転システム６１４は、運転システムコントローラを含むことが可能であり、この運転システムコントローラは、センサコンポーネントからのデータを受信して前処理し、様々な車両システムの動作を制御することが可能である。いくつかの例においては、運転システムコントローラは、プロセッサ、及びプロセッサと通信可能に結合されているメモリを含むことが可能である。メモリは、運転システム６１４の様々な機能性を実行するための１つ又は複数のコンポーネントを記憶することが可能である。さらに、運転システム６１４はまた、それぞれの運転システムによるその他のローカル又はリモートコンピューティングデバイスとの通信を可能にする通信接続を含む。
【0057】
図６においては、車両コンピューティングデバイス６０４、センサコンポーネント６０６、エミッタ６０８、及び通信接続６１０は、車両６０２に搭載された状態で示されている。しかし、いくつかの例においては、車両コンピューティングデバイス６０４、センサコンポーネント６０６、エミッタ６０８、及び通信接続６１０は、実際の車両の外部に実装されること（即ち、車両６０２に搭載されないこと）が可能である。
【0058】
上述されているように、車両６０２は、センサデータを、ネットワーク６３２を介してコンピューティングデバイス６３４へ送信することが可能である。いくつかの例においては、車両６０２は、未処理のセンサデータをコンピューティングデバイス６３４へ送信することが可能である。その他の例においては、車両６０２は、処理されたセンサデータ及び／又はセンサデータの表示（例えば、局在化コンポーネント６２０、知覚コンポーネント６２２、予測コンポーネント６２４、及び／又はプランニングコンポーネント６２６から出力されたデータ）をコンピューティングデバイス６３４へ送信することが可能である。いくつかの例においては、車両６０２は、センサデータをコンピューティングデバイス６３４へ特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、といった具合に送信することが可能である。
【0059】
コンピューティングデバイス６３４は、車両６０２及び／又はその他のデータ収集デバイスからの（未処理の又は処理された）センサデータ、並びに１つ又は複数の第三者ソース及び／又はシステムからのデータを受信することが可能である。少なくとも１つの例においては、コンピューティングデバイス６３４は、プロセッサ６３６、及びプロセッサ６３６と通信可能に結合されているメモリ６３８を含むことが可能である。示されている例においては、コンピューティングデバイス６３４のメモリ６３８は、トレーニングコンポーネント６４０を記憶しており、トレーニングコンポーネント６４０は、注釈コンポーネント６４２、マップストレージ６４４（例えば、１つ又は複数のマップを記憶している）、トレーニングデータストレージ６４６（例えば、トレーニングコンポーネント６４０にとってアクセス可能なトレーニングデータを記憶している）、及びモデルストレージ６４８（例えば、トレーニングコンポーネント６４０によって出力されたモデル）を含むことが可能である。いくつかの例においては、それらのシステム及び／又はストレージリポジトリのうちの１つ又は複数は、コンピューティングデバイス６３４のメモリ６３８と関連付けられる代わりに、又はそれに加えて、車両６０２と、又はシステム６００に関連付けられているその他のコンピューティングデバイスと関連付けられることが可能である。
【0060】
少なくとも１つの例においては、トレーニングコンポーネント６４０は、モデルをトレーニングすることが可能であり、そのモデルは、本明細書において記述されている様々な動作のために使用されることが可能である。即ち、トレーニングコンポーネント６４０は、モデルをトレーニングすることが可能であり、そのモデルは、第１の車両が別の車両（例えば、車両６０２）の前方の走行車線に入ることになるかどうかを予測するために使用されることが可能である。少なくとも１つの例においては、注釈コンポーネント６４２は、以降で記述されているように、１つ又は複数の車両から受信されたセンサデータ及び／又はそのセンサデータに関連付けられているログデータに少なくとも部分的に基づいて注釈付きデータを受信すること又はその他の形で決定することが可能である。本明細書において使用されている、モデルをトレーニングすることに関連付けられている詳細が、以降で図７を参照しながら記述されている。少なくとも１つの例においては、結果として生じるモデルは、モデルストレージ６４８及び／又は車両６０２上のストレージ６３０に記憶されることが可能であり、車両コンピューティングデバイス６０４の１つ又は複数のコンポーネントによってほぼリアルタイムでアクセスされることが可能である。
【0061】
車両６０２のプロセッサ６１６、及びコンピューティングデバイス６３４のプロセッサ６３６は、データを処理し、本明細書において記述されている動作を実行するための命令を実行することが可能な任意の適切なプロセッサであることが可能である。限定ではなく例として、プロセッサ６１６及び６３６は、１つ又は複数の中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、又は、電子データを処理して、その電子データを、レジスタ及び／又はメモリに記憶されることが可能であるその他の電子データに変換する任意のその他のデバイス若しくはデバイスの部分を含むことが可能である。いくつかの例においては、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及びその他のハードウェアデバイスが、エンコードされた命令を実施するように構成されている限り、それらがプロセッサとみなされることも可能である。
【0062】
メモリ６１８及び６３８は、非一時的コンピュータ可読媒体の例である。メモリ６１８及び６３８は、本明細書において記述されている方法及び様々なシステムに帰される機能を実施するためのオペレーティングシステム並びに１つ又は複数のソフトウェアアプリケーション、命令、プログラム、及び／又はデータを記憶することが可能である。様々な実施態様においては、メモリは、スタティックランダムレシーブメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、又は、情報を記憶することが可能な任意のその他のタイプのメモリなど、任意の適切なメモリテクノロジーを使用して実装されることが可能である。本明細書において記述されているアーキテクチャー、システム、及び個々の要素は、多くのその他の論理的な、プログラム的な、及び物理的なコンポーネントを含むことが可能であり、それらのうちで、添付の図に示されているものは、本明細書における論考に関連している例にすぎない。
【0063】
図６は、分散システムとして示されているが、いくつかの例においては、車両６０２のコンポーネントは、コンピューティングデバイス６３４に関連付けられることが可能であり、及び／又はコンピューティングデバイス６３４のコンポーネントは、車両６０２に関連付けられることが可能であるということに留意されたい。即ち、車両６０２は、コンピューティングデバイス６３４に関連付けられている機能のうちの１つ又は複数を実行することが可能であり、その逆もまた同様である。
【0064】
図７及び図８は、本明細書において記述されている技術を含む例示的なプロセスを示すフローチャートである。図７及び図８に示されているプロセスは、便宜及び理解の容易さのために、図６に示されているシステム６００を参照しながら記述されている。しかし、図７及び図８に示されているプロセスは、システム６００を使用して実行されることに限定されない。その上、本明細書において記述されているシステム６００は、図７及び図８に示されているプロセスを実行することに限定されない。
【0065】
プロセス７００及び８００は、ハードウェア、ソフトウェア、又はそれらの組合せで実施されることが可能である動作のシーケンスを表す論理フローグラフにおけるブロックの集まりとして示されている。ソフトウェアのコンテキストにおいては、それらのブロックは、１つ又は複数のコンピュータ可読記憶媒体上に記憶されているコンピュータ実行可能命令を表し、それらのコンピュータ実行可能命令は、プロセッサによって実行されたときに、列挙されている動作を実行する。一般に、コンピュータ実行可能命令は、特定の機能を実行するか又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作どうしが記述されている順序は、限定として解釈されることを意図されているものではなく、プロセスを実施するために、任意の数の記述されているブロックが任意の順序で及び／又は並列に組み合わされることが可能である。いくつかの実施形態においては、プロセスの１つ又は複数のブロックが完全に省略されることが可能である。その上、プロセス７００及び８００は、互いに又はその他のプロセスと全体的に又は部分的に組み合わされることが可能である。
【0066】
図７は、本明細書において記述されている、車両が別の車両の前方の車線領域に入る（例えば、割り込み操作を実行する）ことになるかどうかを予測するためのモデルをトレーニングするための例示的なプロセス７００を示している。
【0067】
ブロック７０２は、センサデータ、及び／又はそのセンサデータに関連付けられているログデータを受信することを示している。上述されているように、車両６０２など、個々の車両は、センサコンポーネント６０６を含むことが可能である。少なくとも１つの例においては、センサコンポーネント６０６は、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、奥行きなど）、ホイールエンコーダ、オーディオセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、ＴｏＦセンサなどを含むことが可能である。センサコンポーネント６０６は、車両コンピューティングデバイス６０４への入力を提供することが可能である。いくつかの例においては、センサコンポーネント６０６は、センサデータを車両コンピューティングデバイス６０４へ送信する前に、それらのセンサデータのうちの少なくともいくつかを前処理することが可能である。少なくとも１つの例においては、センサコンポーネント６０６は、センサデータを、ネットワーク６３２を介してコンピューティングデバイス６３４へ特定の頻度で、所定の期間の経過後に、ほぼリアルタイムで、といった具合に送信することが可能である。
【0068】
少なくとも１つの例においては、複数の車両（例えば、車両の群）が、センサデータを、ネットワーク６３２を介してコンピューティングデバイス６３４へ送信することが可能である。いくつかの例においては、そのようなセンサデータは、運転ログ（即ち、「ログデータ」）に関連付けられることが可能であり、それらの運転ログは、複数の車両のうちの個々の車両がそれぞれの環境内で経時的にどのように移動したかを示すことが可能である。即ち、そのような運転ログは、複数の車両のうちの個々の車両の経時的な移動を示す運転ログ履歴であることが可能である。いくつかの例においては、そのような運転ログは、経時的に受信されるセンサデータ（時間の特定のインスタンスにおける個々のセンサの出力を含むことが可能である）を含むことが可能である。いくつかの例においては、そのような運転ログは、期間に関連付けられているセンサデータ（例えば、処理されたセンサデータ）に基づく出力を含むことが可能である。即ち、いくつかの例においては、ログデータは、センサコンポーネント６０６から受信された未処理のセンサデータ、並びに車両６０２などの車両の運転ミッション中の個々のメッセージに関する１つ又は複数のダウンストリーム出力（例えば、知覚出力、予測出力、プランナ出力、制御出力など）を含むことが可能である。
【0069】
少なくとも１つの例においては、コンピューティングデバイス６３４のトレーニングコンポーネント６４０は、複数の車両からセンサデータ及び／又は関連付けられている運転ログを受信することが可能である。
【0070】
ブロック７０４は、センサデータ及び／又はログデータをマイニングして、割り込み操作（例えば、本明細書において詳細に記述されている操作のうちの任意の１つ又は複数（割り込み操作が第２の車両に関するものであるか否かにかかわらず））に関連付けられているイベントを検知することを示しており、検知されたイベントは、注釈付きデータを生成するためにセンサデータ及び／又はログデータにおいて注釈を付けられる。少なくとも１つの例においては、トレーニングコンポーネント６４０は、センサデータ及び／又はログデータをマイニングして（例えば、分析して）、割り込み操作（例えば、その割り込み操作は、左折（例えば、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道などからの）、右折（例えば、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道などからの）、Ｕターン、Ｋターン、Ｎポイントターンなどに関連付けられることが可能である）を車両が実行するときを検知することが可能である。例えば、トレーニングコンポーネント６４０は、センサデータ及び／又はログデータを分析して、車両が走行面と位置合わせされていないとき、例えば、車両が走行面に対して実質的に直角であって、その後に走行面と位置合わせされるか、又は走行面に対して実質的に平行になるときを検知することが可能である。少なくとも１つの例においては、注釈コンポーネント６４２は、センサデータ及び／又はログデータに自動的に注釈を付けて、割り込み操作の発生を示すことが可能である。
【0071】
少なくとも１つの例においては、注釈コンポーネント６４２は、割り込み操作に関連付けられている期間を決定することが可能である。即ち、注釈コンポーネント６４２は、検知されたイベント（例えば、割り込み操作に関連付けられている）につながるセンサデータ及び／又はログデータにアクセスすることが可能であり、検知されたイベントが開始及び終了したときを決定することが可能である。移動している車両（例えば、Ｕターン、Ｋポイントターン、Ｎポイントターンなどを行っている車両）に関しては、注釈コンポーネント６４２は、その車両が走行車線からそれ始める最初の時点まで（例えば、ログデータにおいて）後戻りして、イベントに関連付けられている開始時間を決定することが可能である。例えば、注釈コンポーネント６４２は、車両の位置が、走行面（例えば、道路、車線など）の中心線に対して実質的に平行である状態から、その中心線の９０度という指定されたオフセット内にある状態（例えば、その中心線に対して実質的に直角である状態）へ変化していると決定することが可能であり、それに従って、イベントに関連付けられている開始時間を決定することが可能である。停止されている車両（例えば、駐車されている、私道又は裏通りにおいてアイドリングしているなど）に関しては、注釈コンポーネント６４２は、速度における変化を利用して、車両が割り込み操作を実行し始めるときを決定することが可能である。例えば、注釈コンポーネント６４２は、車両がゼロ速度から非ゼロ速度へ移る最初の時間を決定して、イベントに関連付けられている開始時間を決定することが可能である。少なくとも１つの例においては、終了時間は、イベントが発生するときに対応することが可能である。
【0072】
ブロック７０６は、トレーニングデータを生成することを示している。少なくとも１つの例においては、トレーニングコンポーネント６４０は、検知されたイベント（例えば、割り込み操作に関連付けられている）につながるセンサデータ及び／又はログデータにアクセスすることが可能であり、そのようなセンサデータ及び／又はログデータに関連付けられているマルチチャネル画像を生成することが可能である。少なくとも１つの例においては、注釈コンポーネント６４２は、上述されているように、割り込み操作に関連付けられているイベントが開始及び終了したときを決定することが可能であり、開始時間からイベントの発生の直前までのセンサデータ及び／又はログデータにアクセスすることが可能である。例えば、トレーニングコンポーネント６４０は、検知されたイベントの前の１～１０秒のセンサデータ及び／又はログデータにアクセスすることが可能であり、それらのデータは、検知されたイベントの発生の前の環境及び／又は車両の状態を表すマルチチャネル画像を生成するために使用されることが可能である。
【0073】
少なくとも１つの例においては、センサデータ及び／又はログデータは、１つ又は複数のマルチチャネル画像にエンコードされることが可能である。それぞれのチャネルは、特徴に対応することが可能であり、割り込み操作を実行しているものとして検知される車両に関するその特徴は、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道など）を示す環境に関連付けられているマップにおける注釈、車両の位置（例えば、走行方向、別の車両からの角度オフセットなど）、車両の瞬間速度、車両に運転者が乗っているかどうかのインジケーション、運転者が見ている方向のインジケーション（例えば、運転者の頭の方向）、車両に関連付けられているドアが開いているか若しくは閉じられているかのインジケーション、車両のエンジンが動作状態にあるか若しくは停止状態にあるかのインジケーション、車両のホイールに関連付けられているホイール角度、車両の制動灯が点灯されているかどうかのインジケーション、車両のヘッドライトが点灯されているかどうかのインジケーション、車両の後退灯が点灯されているかどうかのインジケーション、車両のウインカーが点灯されているかどうかのインジケーション、又は車両に関連付けられている点灯状態などを含むことが可能であるが、それらに限定されない。少なくとも１つの例においては、それぞれのチャネルは、環境のトップダウンビューに関連付けられることが可能である。即ち、チャネルは、トップダウン表示でモデル化されるセンサ出力又はセンサ出力に基づく情報を表すことが可能である。チャネルは次いで、マルチレイヤモデル、畳み込みニューラルネットワーク等などのモデルに入力されることが可能である。トップダウン畳み込みニューラルネットワークに関連付けられているさらなる詳細は、２０１９年５月２２日に出願された米国特許出願第１６／４２０，０５０号明細書、及び２０１９年７月５日に出願された米国特許出願第１６／５０４，１４７号明細書において記述されており、それらの両方の全内容は、参照によって本明細書に組み込まれている。もちろん、１つのマルチチャネル画像に関して上述されているが、任意の数のマルチチャネル画像（最も直近の時間ステップよりも前の一連の時間を表すことが可能である）及び／又は任意のその他のデータ構造が考えられる。
【0074】
いくつかの例においては、トレーニングデータ、並びに関連付けられているセンサデータ及び／又はログデータは、グラウンドトゥルースと呼ばれることがある。
【0075】
ブロック７０８は、車両が割り込み操作を実行する可能性が高いかどうかのインジケーションに関連付けられている出力を決定するためのモデルにトレーニングデータを入力することを示している。少なくとも１つの例においては、トレーニングデータは、機械学習メカニズムを使用してトレーニングコンポーネント６４０によって分析されることが可能である。例えば、少なくとも１つの例においては、ニューラルネットワーク（例えば、畳み込みニューラルネットワークなど）及びトレーニングデータを使用してモデルがトレーニングされることが可能である。即ち、トレーニングデータは、車両が別の車両の前方の車線に入ることになるかどうか、又は「割り込み操作」として本明細書において記述されている操作をその他の形で実行することになるかどうかの予測に関連付けられている出力を決定するためのモデル（例えば、トップダウン畳み込みニューラルネットワークなど）に入力されることが可能である。そのような「予測」は、割り込み操作の検知、環境におけるその後の車線若しくは位置の予測、又はその中間の何かであることが可能である。いくつかの例においては、出力は、車両が別の車両の前方のその別の車両の走行車線に入ることになるか否かを示すバイナリーインジケータ（例えば、「はい」又は「いいえ」）であることが可能である。いくつかの例においては、出力は、信頼スコアに関連付けられることが可能である。いくつかの例においては、出力は、車両が別の車両の前方のその別の車両の走行車線に入ることになるかどうかの確実性を示すパーセンテージ又はその他のメトリックであることが可能である。上述されているように、いくつかの例においては、出力は、環境における予測された車線又は位置に関連付けられることが可能である。
【0076】
ブロック７１０は、出力と、トレーニングデータに関連付けられている予想出力との間における差を決定することを示している。少なくとも１つの例においては、結果として生じるモデルは、車両が別の車両の前方の車線に入ることになるかどうか、又は本明細書において記述されている割り込み操作をその他の形で実行することになるかどうかの予測に関連付けられている出力を決定することが可能である。トレーニングコンポーネント６４０は、出力を、トレーニングデータ（注釈付きデータに少なくとも部分的に基づくことが可能である）に関連付けられている予想出力と比較して、差を決定することが可能である。少なくとも１つの例においては、トレーニングコンポーネント６４０は、（例えば、勾配降下、逆伝搬などを介して）差に少なくとも部分的に基づいてモデルの１つ又は複数のパラメータを修正することが可能である。
【0077】
ブロック７１２は、差が閾値以上であるかどうかを決定することを示している。少なくとも１つの例においては、トレーニングコンポーネント６４０は、差が閾値以上であるかどうかを決定することが可能である。差が閾値以上である場合には、トレーニングコンポーネント６４０は、ブロック７１４に示されているように、モデルのパラメータを修正することが可能であり、プロセス７００は、ブロック７０２へ戻ることが可能である。差が閾値未満である場合には、トレーニングコンポーネント６４０は、モデルをモデルストレージ６４８、及び／又は車両６０２上のストレージ６３０など、車両上のストレージへ伝送することが可能である。いくつかの例においては、ブロック７１６に示されているように、モデルは、車両６０２などの車両へ伝送されることが可能であり、その車両は、モデルの出力によって制御されるように構成されることが可能である。そのような例においては、結果として生じるモデルは、車両６０２上のストレージ６３０に記憶されることが可能であり、以降で図８を参照しながら記述されているように、車両コンピューティングデバイス６０４の１つ又は複数のコンポーネントによってほぼリアルタイムでアクセスされることが可能である。
【0078】
少なくとも１つの例においては、トレーニングコンポーネント６４０は、機械学習技術を使用してモデルをトレーニングすることが可能である。ブロック７０８は、モデルをトレーニングするために使用されることが可能である１つ又は複数のニューラルネットワークへの参照を行う。モデルをトレーニングするために、追加の又は代替の機械学習アルゴリズムが使用されることが可能である。そのような機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所推定スキャッタープロット平滑化法（ＬＯＥＳＳ））、例に基づくアルゴリズム（例えば、リッジ回帰、最小絶対収縮及び選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類及び回帰ツリー（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定断端、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均１依存性推定器（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均法、ｋメジアン、期待値最大化（ＥＭ）、階層クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、その他のディープビリーフネットワーク（ＤＢＮ）、人工ニューラルネットワーク（ＡＮＮ）、スタックドオートエンコーダ）、次元縮退アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分的最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、投影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、準教師あり学習などを含むことが可能であるが、それらに限定されない。
【0079】
図８は、本明細書において記述されている、車両が別の車両の前方の車線領域に入ることになるかどうかを予測し、そのような予測に基づいてその別の車両を制御するための例示的なプロセス８００を示している。
【0080】
ブロック８０２は、車両の環境に関連付けられているセンサデータを受信することを示している。上述されているように、車両６０２など、個々の車両は、センサコンポーネント６０６を含むことが可能である。少なくとも１つの例においては、センサコンポーネント６０６は、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、超音波トランスデューサ、ソナーセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、奥行きなど）、ホイールエンコーダ、オーディオセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、ＴｏＦセンサなどを含むことが可能である。センサコンポーネント６０６は、車両コンピューティングデバイス６０４への入力を提供することが可能である。
【0081】
ブロック８０４は、車両に近接して別の車両が検知されているかどうかを決定することを示している。上述されているように、車両６０２は、車両６０２に搭載された車両コンピューティングデバイス６０４に関連付けられている１つ又は複数のコンポーネントを含むことが可能である。少なくとも１つの例においては、局在化コンポーネント６２０は、センサコンポーネント６０６から受信されたセンサデータ、及び／又はマップに関連付けられている（例えば、マップの）マップデータに少なくとも部分的に基づいて、局所及び／又は全体マップに関連して車両６０２の体勢（位置及び向き）を決定することが可能である。少なくとも１つの例においては、局在化コンポーネント６２０は、較正する（センサコンポーネント６０６のうちの任意の１つ又は複数に関連付けられている様々な内因性の及び外因性のパラメータを決定する）、位置特定する、並びにマッピングするための動作を実質的に同時に実行することが可能である較正コンポーネントを含むこと、又はその較正コンポーネントに関連付けられることが可能である。
【0082】
少なくとも１つの例においては、知覚コンポーネント６２２は、センサコンポーネント６０６から受信されたセンサデータに少なくとも部分的に基づいてオブジェクトの検知、セグメンテーション、及び／又は分類を実行することが可能である。少なくとも１つの例においては、知覚コンポーネント６２２は、未処理のセンサデータを（例えば、センサコンポーネント６０６から）受信することが可能である。少なくとも１つの例においては、知覚コンポーネント６２２は、センサデータを受信することが可能であり、センサデータにおいて識別されたオブジェクトに関してオブジェクトの検知、セグメンテーション、及び／又は分類を実行するために１つ又は複数の処理アルゴリズムを利用することが可能である。いくつかの例においては、知覚コンポーネント６２２は、境界領域（又はさもなければインスタンスセグメンテーション）を、識別されたオブジェクトに関連付けることが可能であり、識別されたオブジェクトの分類に関連付けられている信頼スコアを、識別されたオブジェクトに関連付けることが可能である。いくつかの例においては、オブジェクトは、ディスプレイを介してレンダリングされる際には、自分の知覚されたクラスに基づいて色付けされることが可能である。
【0083】
少なくとも１つの例においては、予測コンポーネント６２４は、位置特定データ（例えば、局在化コンポーネント６２０から出力された）及び知覚データ（例えば、知覚コンポーネント６２２から出力された）を分析して、別の車両が車両６０２の閾値距離内にあるということを知覚データが示しているかどうかを決定することが可能である。即ち、予測コンポーネント６２４は、別の車両が車両６０２に近接しているかどうかを決定することが可能である。車両６０２に近接していると決定される車両がない場合には、プロセス８００は、ブロック８０２へ戻ることが可能である。別の車両が車両６０２に近接していると決定された場合には、予測コンポーネント６２４は、後述されているように、その別の車両が車両６０２の前方の車線に入ると予測されるかどうかを示す出力を決定することが可能である。
【0084】
ブロック８０６は、別の車両が割り込み操作を実行すると予測されるかどうかを決定することを示している。少なくとも１つの例においては、予測コンポーネント６２４は、図７を参照しながら上述されている機械学習技術を介してトレーニングされたモデルを使用して、別の車両が車両６０２の前方の車両６０２の走行車線に入ることになるかどうか、又は割り込み操作をその他の形で実行することになるかどうかを示す予測を出力することが可能である。即ち、予測コンポーネント６２４は、別の車両が割り込み操作を実行する（例えば、車両６０２の前方の走行車線に入る）可能性が高いかどうかに関する予測を生成するためのモデルを使用することが可能である。
【0085】
少なくとも１つの例においては、予測コンポーネント６２４は、センサデータ（例えば、ブロック８０２において受信された）を環境のトップダウン表示に変換することが可能である。例えば、予測コンポーネント６２４は、そのようなセンサデータに関連付けられているマルチチャネル画像を生成することが可能である。上述されているように、それぞれのチャネルは、特徴に対応することが可能であり、その特徴は、駐車場（例えば、実質的に直角の位置にある駐車場）若しくは駐車区画、裏通り、私道など）を示す環境に関連付けられているマップにおける注釈、車両及び／又は別の車両の位置（例えば、走行方向、別の車両からの角度オフセットなど）、別の車両の瞬間速度、別の車両に運転者が乗っているかどうかのインジケーション、運転者が見ている方向のインジケーション（例えば、運転者の頭の方向）、別の車両に関連付けられているドアが開いているか若しくは閉じられているかのインジケーション、別の車両のエンジンが動作状態にあるか若しくは停止状態にあるかのインジケーション、別の車両のホイールに関連付けられているホイール角度、別の車両の制動灯が点灯されているかどうかのインジケーション、別の車両のヘッドライトが点灯されているかどうかのインジケーション、別の車両の後退灯が点灯されているかどうかのインジケーション、別の車両のウインカーが点灯されているかどうかのインジケーション、又は別の車両に関連付けられている点灯状態などを含むことが可能であるが、それらに限定されない。少なくとも１つの例においては、それぞれのチャネルは、環境のトップダウンビューに関連付けられることが可能である。即ち、チャネルは、トップダウン表示でモデル化されるセンサ出力又はセンサ出力に基づく情報を表すことが可能である。上述のように、最も直近の時間ステップに先行する期間を表す多数のマルチチャネル画像（又は任意のその他のデータ構造）が考えられる。
【0086】
少なくとも１つの例においては、モデルは、センサデータが関連付けられている環境及び／又は別の車両に関連付けられている１つ又は複数の特徴（属性、特性、パラメータ、データなどとも呼ばれる）を分析して、別の車両が車両６０２の前方の車両６０２の走行車線に入ることになるかどうかに関する予測を出力するようにトレーニングされることが可能である。少なくとも１つの例においては、予測コンポーネント６２４は、別の車両が車両６０２の前方の車両６０２の走行車線に入ることになる可能性を示す出力を（例えば、それぞれのモデルから）受信することが可能である。上述されているように、いくつかの例においては、出力は、別の車両が車両６０２の前方の車両６０２の走行車線に入ることになるか否かを示すバイナリーインジケータ（例えば、「はい」又は「いいえ」）であることが可能である。いくつかの例においては、出力は、別の車両が車両６０２の前方の車両６０２の走行車線に入ることになるかどうかの確実性を示すパーセンテージ又はその他のメトリックであることが可能である。そのような例においては、予測コンポーネント６２４は、出力されたパーセンテージ又はその他のメトリックを閾値に比較することが可能であり、出力されたパーセンテージ又はその他のメトリックが閾値以上である場合には、予測コンポーネント６２４は、別の車両が車両６０２の前方のその車両の走行車線に入ると予測されると決定することが可能である。出力されたパーセンテージ又はその他のメトリックが閾値未満である場合には、予測コンポーネント６２４は、別の車両が車両６０２の前方のその車両の走行車線に入ると予測されると決定することが可能である。
【0087】
少なくとも１つの例においては、別の車両が車両６０２の前方の車線に入る（例えば、割り込み操作を実行する）と予測される場合には、車両６０２に関連付けられているプランニングコンポーネント６２６は、その旨のインジケーションを受信することが可能である。プランニングコンポーネント６２６は、ブロック８０８に示されているように、別の車両を考慮して車両６０２を制御するための第１の命令を決定することが可能であり、ブロック８１０に示されているように、車両６０２が第１の命令に少なくとも部分的に基づいて制御されるようにすることが可能である。即ち、上述されているように、プランニングコンポーネント６２６は、モデルの出力を利用して、車両６０２をその環境においてどのようにナビゲートするかを決定することが可能である。例えば、プランニングコンポーネント６２６は、１つ又は複数の軌道を生成することが可能であり、それらの軌道は、モデルによって出力された予測に基づいて運転操作を適合させるために、車両６０２に関連付けられているその他のコンポーネントによって使用されることが可能である。いくつかの例においては、そのような軌道は、以前の軌道の修正であることが可能である。いくつかの例においては、そのような軌道は、第１の命令に基づく新たな軌道であることが可能である。前述のことを考慮して、プランニングコンポーネント６２６は、例えば、車両６０２を減速させ、それによって、車両６０２と別の車両との間における車間距離を広げること、車両６０２を減速させて、その別の車両に道を譲るようにさせる、及び／又は停止させること、車両６０２に車線変更を実行させること、車両６０２が別の車両を安全に迂回するようにさせること、及び／又は車両６０２が実行することが可能である操作のいずれかのその他の組合せによって、別の車両に対応するように車両６０２をナビゲートするための軌道を決定することが可能である。
【0088】
いくつかの例においては、出力は、別の車両がどのように動く可能性が高いかを予測するために予測コンポーネント６２４によって使用されることが可能であり、予測コンポーネント６２４は、そのような予測を表す軌道を出力することが可能である。そのような例においては、別の車両に関連付けられている予測された軌道は、車両６０２をナビゲートするための軌道をプランニングコンポーネント６２６が決定するためにプランニングコンポーネントに提供されることが可能である。
【0089】
少なくとも１つの例においては、別の車両が車両６０２の前方の車線に入ると予測されない場合には、車両６０２に関連付けられているプランニングコンポーネント６２６は、その旨のインジケーションを受信することが可能である。そのような例においては、プランニングコンポーネント６２６は、ブロック８１２に示されているように、車両６０２を制御するための第２の命令を決定することが可能であり、ブロック８１４に示されているように、車両６０２が第２の命令に少なくとも部分的に基づいて制御されるようにすることが可能である。そのような例においては、別の車両が車両６０２の前方の車線に入ると予測されない場合には、プランニングコンポーネント６２６は、環境内を走行するように車両６０２をその他の形で制御する軌道を計画することが可能である（これは、別の車を考慮に入れることも入れないことも可能である）。いくつかの例においては、そのような軌道は、以前に（例えば、別の車両が割り込み操作を実行すると予測されないと決定する前に）決定されたものと同じ軌道であることが可能である。いくつかの例においては、その軌道は、第２の命令に基づく新たな軌道であることが可能である。
【0090】
上述されている図１～図５は、車両６０２の前方の走行車線の車線領域に入っているところである、又は本明細書において記述されている「割り込み操作」をその他の形で実行しているところである、車両６０２などの車両に近接しているその他の車両の様々な例を示している。そのような例は、左折、右折、Ｕターン、スリーポイントターンなどを含む。上述されているように、さらなる又は代替の例は、本開示の範囲内にある（例えば、Ｋターン、任意のＮポイントターンなど）。即ち、上述されているプロセス８００は、車両６０２に近接していて、かつ車両６０２と同じ又は異なる走行方向に関連付けられている別の車両がその車両の前方の走行車線の車線領域に入る、又は入ると予測される任意の例に適用可能でありうる。
【0091】
例示的条項
【0092】
Ａ．方法であって、
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
イベントに関する期間を決定するステップと、
期間に対応するログデータの一部にアクセスするステップと、
期間に対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップと、
モデルによって、他の車両が他の割り込み運転を実行しようとしていることのインジケーションを含む出力を決定するステップと、
出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
モデルを、モデルの他の出力によって制御されるように構成された自律車両に伝送するステップと、
を含む、方法。
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
イベントに関する期間を決定するステップと、
期間に対応するログデータの一部にアクセスするステップと、
期間に対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップと、
モデルによって、他の車両が他の割り込み運転を実行しようとしていることのインジケーションを含む出力を決定するステップと、
出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
モデルを、モデルの他の出力によって制御されるように構成された自律車両に伝送するステップと、
を含む、方法。
【0093】
Ｂ．ログデータは、未加工のセンサデータと、未加工のセンサデータに少なくとも部分的に基づいて決定されたダウンストリーム出力とを含み、ダウンストリーム出力は、知覚データ、予測データ、又はプランナーデータを含む、
条項Ａに記載された方法。
条項Ａに記載された方法。
【0094】
Ｃ．車両の位置が走行面の中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化すると決定するステップと、
車両の位置が中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ａ又はＢに記載の方法。
車両の位置が中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ａ又はＢに記載の方法。
【0095】
Ｄ．車両の速度がイベント前にゼロから非ゼロ速度に変化すると決定するステップと、
車両の速度がイベント前にゼロから非ゼロ速度に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ａ～Ｃのいずれかに記載の方法。
車両の速度がイベント前にゼロから非ゼロ速度に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ａ～Ｃのいずれかに記載の方法。
【0096】
Ｅ．システムであって、１つ以上のプロセッサと、
１つ以上のプロセッサによって実行されたとき、システムに、
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
イベントに対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップと、
モデルを、モデルの他の出力によって制御されるように構成された自律車両に伝送するステップと、を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、
を含む、システム。
１つ以上のプロセッサによって実行されたとき、システムに、
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
イベントに対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップと、
モデルを、モデルの他の出力によって制御されるように構成された自律車両に伝送するステップと、を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、
を含む、システム。
【0097】
Ｆ．動作は、イベントに関する期間を決定するステップと、
期間に対応するログデータの一部にアクセスするステップと、をさらに含み、
環境のトップダウン表示は、期間に対応するログデータの一部に関連付けられる、
条項Ｅに記載のシステム。
期間に対応するログデータの一部にアクセスするステップと、をさらに含み、
環境のトップダウン表示は、期間に対応するログデータの一部に関連付けられる、
条項Ｅに記載のシステム。
【0098】
Ｇ．動作は、
車両の位置が走行面の中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化すると決定するステップと、
車両の位置が中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ｆに記載のシステム。
車両の位置が走行面の中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化すると決定するステップと、
車両の位置が中心線に実質的に平行な状態から、中心線の９０度の指定オフセット範囲内に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ｆに記載のシステム。
【0099】
Ｈ．動作は、
車両の速度がイベント前にゼロから非ゼロ速度に変化すると決定するステップと、
車両の速度がイベント前にゼロから非ゼロ速度に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ｆ又はＧに記載のシステム。
車両の速度がイベント前にゼロから非ゼロ速度に変化すると決定するステップと、
車両の速度がイベント前にゼロから非ゼロ速度に変化するときを決定することに少なくとも部分的に基づいて、期間の開始を決定するステップと、
をさらに含む、条項Ｆ又はＧに記載のシステム。
【0100】
Ｉ．動作は、
モデルによって、他の車両が他の割り込み運転を実行しようとしていることのインジケーションを含む出力を決定するステップと、
出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
をさらに含む、条項Ｅ～Ｈのいずれかに記載のシステム。
モデルによって、他の車両が他の割り込み運転を実行しようとしていることのインジケーションを含む出力を決定するステップと、
出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
をさらに含む、条項Ｅ～Ｈのいずれかに記載のシステム。
【0101】
Ｊ．モデルは、畳み込みニューラルネットワークを含む、
条項Ｅ～Ｉのいずれかに記載のシステム。
条項Ｅ～Ｉのいずれかに記載のシステム。
【0102】
Ｋ．トップダウン表示は、マルチチャネル画像を含み、各チャネルは、
走行面の中心線に対する車両の位置、
車両の瞬間速度、
運転者が車両内にいるかどうかのインジケーション、
車両に関するドアが、開いているか、閉じているかのインジケーション、
車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
車両のブレーキ灯が点灯しているかどうかのインジケーション、
車両のヘッドライトが点灯しているかどうかのインジケーション、
車両の後退灯が点灯しているかどうかのインジケーション、又は
車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つに対応する、条項Ｅ～Ｊのいずれかに記載のシステム。
走行面の中心線に対する車両の位置、
車両の瞬間速度、
運転者が車両内にいるかどうかのインジケーション、
車両に関するドアが、開いているか、閉じているかのインジケーション、
車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
車両のブレーキ灯が点灯しているかどうかのインジケーション、
車両のヘッドライトが点灯しているかどうかのインジケーション、
車両の後退灯が点灯しているかどうかのインジケーション、又は
車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つに対応する、条項Ｅ～Ｊのいずれかに記載のシステム。
【0103】
Ｌ．割り込み運転は、
路地、駐車場、又は私道からの左折、
路地、駐車場、又は私道からの右折、
Ｕターン、
Ｎポイントターン、
Ｋターン、又は
走行車線への後退、
のうちのいずれか１つを含む、条項Ｅ～Ｋのいずれかに記載のシステム。
路地、駐車場、又は私道からの左折、
路地、駐車場、又は私道からの右折、
Ｕターン、
Ｎポイントターン、
Ｋターン、又は
走行車線への後退、
のうちのいずれか１つを含む、条項Ｅ～Ｋのいずれかに記載のシステム。
【0104】
Ｍ．１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
期間に対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップであって、モデルは、他の車両が他の割り込み運転を実行しようとしているかどうかのインジケーションを出力するようにトレーニングされる、ステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体。
環境内の車両に関するログデータを受信するステップと、
ログデータ内のイベントを検出するステップであって、イベントは、車両によって実行される割り込み運転に対応する、ステップと、
期間に対応するログデータの一部を、環境のトップダウン表示に変換することに少なくとも部分的に基づいて、トレーニングデータを生成するステップと、
トレーニングデータをモデルに入力するステップであって、モデルは、他の車両が他の割り込み運転を実行しようとしているかどうかのインジケーションを出力するようにトレーニングされる、ステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体。
【0105】
Ｎ．動作は、モデルを、モデルの他の出力によって制御されるように構成された自律車両に伝送するステップをさらに含む、
条項Ｍに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項Ｍに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0106】
Ｏ．動作は、
イベントに関する期間を決定するステップと、
期間に対応するログデータの一部にアクセスするステップと、
をさらに含み、
環境のトップダウン表示は、期間に対応するログデータの一部に関連付けられる、
条項Ｍ又はＮに記載の１つ以上の非一時的なコンピュータ可読媒体。
イベントに関する期間を決定するステップと、
期間に対応するログデータの一部にアクセスするステップと、
をさらに含み、
環境のトップダウン表示は、期間に対応するログデータの一部に関連付けられる、
条項Ｍ又はＮに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0107】
Ｐ．期間を決定することは、車両の位置の変化又は車両の速度のうちの少なくとも１つに基づく、
条項Ｏに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項Ｏに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0108】
Ｑ．動作は、
モデルの出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
をさらに含む、
条項Ｍ～Ｐのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
モデルの出力と、トレーニングデータに関連付けられた予期される出力との間の差を決定するステップと、
差に基づいて、モデルの１つ以上のパラメータを変更するステップと、
をさらに含む、
条項Ｍ～Ｐのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0109】
Ｒ．モデルは、畳み込みニューラルネットワークを含む、
条項Ｍ～Ｑのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項Ｍ～Ｑのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0110】
Ｓ．トップダウン表示は、マルチチャネル画像を含み、各チャネルは、
走行面の中心線に対する車両の位置、
車両の瞬間速度、
運転者が車両内にいるかどうかのインジケーション、
車両に関するドアが、開いているか、閉じているかのインジケーション、
車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
車両のブレーキ灯が点灯しているかどうかのインジケーション、
車両のヘッドライトが点灯しているかどうかのインジケーション、
車両の後退灯が点灯しているかどうかのインジケーション、又は
車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つに対応する、条項Ｍ～Ｒのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
走行面の中心線に対する車両の位置、
車両の瞬間速度、
運転者が車両内にいるかどうかのインジケーション、
車両に関するドアが、開いているか、閉じているかのインジケーション、
車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
車両のブレーキ灯が点灯しているかどうかのインジケーション、
車両のヘッドライトが点灯しているかどうかのインジケーション、
車両の後退灯が点灯しているかどうかのインジケーション、又は
車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つに対応する、条項Ｍ～Ｒのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0111】
Ｔ．割り込み運転は、
路地、駐車場、又は私道からの左折、
路地、駐車場、又は私道からの右折、
Ｕターン、
Ｎポイントターン、
Ｋターン、又は
走行車線への後退、
のうちのいずれか１つを含む、条項Ｍ～Ｓのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
路地、駐車場、又は私道からの左折、
路地、駐車場、又は私道からの右折、
Ｕターン、
Ｎポイントターン、
Ｋターン、又は
走行車線への後退、
のうちのいずれか１つを含む、条項Ｍ～Ｓのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0112】
Ｕ．方法であって、
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータに少なくとも部分的に基づいて、第１の車両の近くにいる第２の車両を検出するステップであって、第２の車両は、第１の車両に対して実質的に直角である、ステップと、
センサデータに少なくとも部分的に基づいて、第２の車両が第１の車両の前方の車線領域に進入しようとしているかどうかを示す、環境又は第２の車両に関する属性を決定するステップと、
属性に少なくとも部分的に基づいて、第２の車両が第１の車両の前方の車線領域に進入しようとしているかどうかを示すインジケーションを決定するステップと、
インジケーションに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む、方法。
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータに少なくとも部分的に基づいて、第１の車両の近くにいる第２の車両を検出するステップであって、第２の車両は、第１の車両に対して実質的に直角である、ステップと、
センサデータに少なくとも部分的に基づいて、第２の車両が第１の車両の前方の車線領域に進入しようとしているかどうかを示す、環境又は第２の車両に関する属性を決定するステップと、
属性に少なくとも部分的に基づいて、第２の車両が第１の車両の前方の車線領域に進入しようとしているかどうかを示すインジケーションを決定するステップと、
インジケーションに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む、方法。
【0113】
Ｖ．第２の車両は、９０度の指定オフセットの範囲内にある第２の車両と第１の車両との間の角度に少なくとも部分的に基づいて、第１の車両に対して実質的に直角をなす、
条項Ｕに記載の方法。
条項Ｕに記載の方法。
【0114】
Ｗ．指定オフセットは、５０度である、
条項Ｖに記載の方法。
条項Ｖに記載の方法。
【0115】
Ｘ．第２の車両は、第１の車両に対して実質的に直角をなす駐車場、私道、又は路地に位置する、
条項Ｕ～Ｗのいずれかに記載の方法。
条項Ｕ～Ｗのいずれかに記載の方法。
【0116】
Ｙ．第２の車両は、第１の車両とは異なる進行方向に関連付けられる、
条項Ｕ～Ｘのいずれかに記載の方法。
条項Ｕ～Ｘのいずれかに記載の方法。
【0117】
Ｚ．属性は、
第１の車両に対する第２の車両の位置、
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、
第２の車両に関するドアが、開いているか、閉じているかのインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のブレーキ灯が点灯しているかどうかのインジケーション、
第２の車両のヘッドライトが点灯しているかどうかのインジケーション、
第２の車両の後退灯が点灯しているかどうかのインジケーション、又は
第２の車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つを含む、
条項Ｕ～Ｙのいずれかに記載の方法。
第１の車両に対する第２の車両の位置、
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、
第２の車両に関するドアが、開いているか、閉じているかのインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のブレーキ灯が点灯しているかどうかのインジケーション、
第２の車両のヘッドライトが点灯しているかどうかのインジケーション、
第２の車両の後退灯が点灯しているかどうかのインジケーション、又は
第２の車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つを含む、
条項Ｕ～Ｙのいずれかに記載の方法。
【0118】
ＡＡ．システムであって、
１つ以上のプロセッサと、
１つ以上のプロセッサによって実行されたとき、システムに、
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータに少なくとも部分的に基づいて、第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定するステップと、
第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を含むシステム。
１つ以上のプロセッサと、
１つ以上のプロセッサによって実行されたとき、システムに、
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータに少なくとも部分的に基づいて、第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定するステップと、
第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を含むシステム。
【0119】
ＡＢ．第２の車両又は環境のうちの少なくとも１つに関する１つ以上の属性を決定することに少なくとも部分的に基づいて、第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定するステップをさらに含む、
条項ＡＡに記載のシステム。
条項ＡＡに記載のシステム。
【0120】
ＡＣ．１つ以上の属性は、
第１の車両に対する第２の車両の位置、
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、
第２の車両に関するドアが、開いているか、閉じているかのインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のブレーキ灯が点灯しているかどうかのインジケーション、
第２の車両のヘッドライトが点灯しているかどうかのインジケーション、
第２の車両の後退灯が点灯しているかどうかのインジケーション、又は
第２の車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つを含む、
条項ＡＢに記載のシステム。
第１の車両に対する第２の車両の位置、
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、
第２の車両に関するドアが、開いているか、閉じているかのインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のブレーキ灯が点灯しているかどうかのインジケーション、
第２の車両のヘッドライトが点灯しているかどうかのインジケーション、
第２の車両の後退灯が点灯しているかどうかのインジケーション、又は
第２の車両の方向指示器が点灯しているかどうかのインジケーション
のうちの少なくとも１つを含む、
条項ＡＢに記載のシステム。
【0121】
ＡＤ．第１の車両と第２の車両とは、９０度から指定オフセットの間の角度に位置する、
条項ＡＡ～ＡＣのいずれかに記載のシステム。
条項ＡＡ～ＡＣのいずれかに記載のシステム。
【0122】
ＡＥ．第２の車両は、第１の車両と同じ道路側又は第１の車両とは反対の道路側の駐車場、又は私道に位置する、
条項ＡＤに記載のシステム。
条項ＡＤに記載のシステム。
【0123】
ＡＦ．第１の車両を制御するための指示を決定するステップは、機械学習モデルからの出力に少なくとも部分的に基づき、出力は、第２の車両が、第１の車両の前方の車線領域に進入しようとしているかどうかのバイナリインジケーション、又は、第２の車両が第１の車両の前方の車線領域に進入しようとしているかどうかに関する確かさを示すパーセンテージを含む、
条項ＡＡ～ＡＥのいずれかに記載のシステム。
条項ＡＡ～ＡＥのいずれかに記載のシステム。
【0124】
ＡＧ．指示は、第１の車両に、減速、停止、又は車線変更操作の少なくとも１つを行わせる、
条項ＡＡ～ＡＦのいずれかに記載のシステム。
条項ＡＡ～ＡＦのいずれかに記載のシステム。
【0125】
ＡＨ．１つ以上のプロセッサによって実行されるとき、１つ以上のプロセッサに、
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータを環境のトップダウン表示に変換するステップと、
トップダウン表示を機械学習モデルに入力するステップと、
トップダウン表示を機械学習モデルに入力することに少なくとも部分的に基づいて、第１の車両の近くにある第２の車両が第１の車両の前方の車線領域に進入することが予測されると決定するステップと、
第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体。
第１の車両の環境に関するセンサデータを受信するステップと、
センサデータを環境のトップダウン表示に変換するステップと、
トップダウン表示を機械学習モデルに入力するステップと、
トップダウン表示を機械学習モデルに入力することに少なくとも部分的に基づいて、第１の車両の近くにある第２の車両が第１の車両の前方の車線領域に進入することが予測されると決定するステップと、
第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定することに少なくとも部分的に基づいて、第１の車両を制御するための指示を決定するステップと、
を含む動作を実行させる命令を記憶する１つ以上の非一時的なコンピュータ可読媒体。
【0126】
ＡＩ．第１の車両の近くにいる第２の車両が、第１の車両の前方の車線領域に進入することが予測されると決定することは、少なくとも１つの属性に少なくとも部分的に基づき、属性は、
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、及び運転者が第２の車両内にいる場合には、運転者の頭の方向のインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のホイールに関するホイール角度、又は、
第２の車両のブレーキ灯、ヘッドライト、後退灯、又は方向指示器のうちの少なくとも１つが点灯しているかどうかのインジケーション
を含む、条項ＡＨに記載の１つ以上の非一時的なコンピュータ可読媒体。
第２の車両の瞬間速度、
運転者が第２の車両内にいるかどうかのインジケーション、及び運転者が第２の車両内にいる場合には、運転者の頭の方向のインジケーション、
第２の車両のエンジンが、動作状態にあるか、停止状態にあるかのインジケーション、
第２の車両のホイールに関するホイール角度、又は、
第２の車両のブレーキ灯、ヘッドライト、後退灯、又は方向指示器のうちの少なくとも１つが点灯しているかどうかのインジケーション
を含む、条項ＡＨに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0127】
ＡＪ．第２の車両は、第１の車両とは異なる進行方向に関連付けられる、
条項ＡＨ又はＡＩに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項ＡＨ又はＡＩに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0128】
ＡＫ．第２の車両と第１の車両とは、９０度の指定オフセット範囲内の角度に位置する、
条項ＡＨ～ＡＪのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項ＡＨ～ＡＪのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0129】
ＡＬ．第２の車両は、（ｉ）第１の車両と同じ道路側の駐車場又は私道、又は、（ｉｉ）第１の車両とは反対の道路側の駐車場又は私道のいずれかに位置する、
条項ＡＨ～ＡＫのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項ＡＨ～ＡＫのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0130】
ＡＭ．動作は、
第１の車両の近くにある第２の車両が第１の車両の前方の車線領域に進入すると予測されることのインジケーションを予測コンポーネントに入力するステップと、
予測コンポーネントから、第２の車両に関する予測軌道を受信するステップと、
さらに、予測軌道に少なくとも部分的に基づいて、指示を決定するステップと、
をさらに含む、
条項ＡＨ～ＡＬのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
第１の車両の近くにある第２の車両が第１の車両の前方の車線領域に進入すると予測されることのインジケーションを予測コンポーネントに入力するステップと、
予測コンポーネントから、第２の車両に関する予測軌道を受信するステップと、
さらに、予測軌道に少なくとも部分的に基づいて、指示を決定するステップと、
をさらに含む、
条項ＡＨ～ＡＬのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0131】
ＡＮ．命令は、第１の車両に、減速又は車線変更の操作の少なくとも１つを行わせる、
条項ＡＨ～ＡＭのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
条項ＡＨ～ＡＭのいずれかに記載の１つ以上の非一時的なコンピュータ可読媒体。
【0132】
上記の例示的条項は、１つの特定の実装に関して説明されているが、この書類の内容の中で、例示的条項の内容は、また、方法、デバイス、システム、コンピュータ可読媒体、及び／又は他の実装を介して実現できることを理解すべきである。加えて、例Ａ～ＡＮのいずれかは、単独で、又は例Ａ～ＡＮのいずれか１つ以上の組み合わせて実現されうる。
【0133】
結論
【0134】
本明細書で述べた技術の１つ以上の例を説明してきたが、それらの様々な変形、追加、置換、及び等価物は、本明細書で述べた技術の範囲内に含まれる。
【0135】
例の説明では、本明細書の一部を形成する添付図が参照され、これらは、クレームされた構成要素の具体的な例を例証として示している。他の例が利用でき、構造的変化などの変更又は変形を行うことができると理解されたい。そのような例、変更又は変形は、必ずしも、意図的にクレームされた構成要素に関する範囲から逸脱するものではない。本明細書のステップは特定の順序で表現できるが、場合によっては、記述されたシステムの機能及び方法を変更することなく、特定の入力が異なる時間又は異なる順序で提供されるように順序を変更することができる。開示された手順は、異なる順序でも実行されうる。加えて、本明細書にある様々な計算は、開示された順序で実行される必要はなく、代替的な計算の順序を利用する他の例が容易に実装されうる。並べ替えることに加え、計算は、同じ結果になるようにサブ計算に分解することも可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】