(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-18
(45)【発行日】2024-01-26
(54)【発明の名称】オクルージョン認識プランニング
(51)【国際特許分類】
B60W 30/10 20060101AFI20240119BHJP
B60W 60/00 20200101ALI20240119BHJP
G08G 1/16 20060101ALI20240119BHJP
G06T 7/00 20170101ALI20240119BHJP
【ＦＩ】
B60W30/10
B60W60/00
G08G1/16 D
G06T7/00 650A
【請求項の数】
15
(21)【出願番号】P 2020570423
(86)(22)【出願日】2019-06-17
(65)【公表番号】
(43)【公表日】2021-10-14
(86)【国際出願番号】 US2019037514
(87)【国際公開番号】W WO2019245982
(87)【国際公開日】2019-12-26
【審査請求日】2022-06-17
(31)【優先権主張番号】16/011,436
(32)【優先日】2018-06-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/011,468
(32)【優先日】2018-06-18
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ウィリアム アンソニー シルヴァ
(72)【発明者】
【氏名】ドラゴミール ディミトロフ アンゲロフ
(72)【発明者】
【氏名】ベンジャミン イサーク ツヴィーベル
(72)【発明者】
【氏名】ユハナ カンガスプンタ
【審査官】平井 功
(56)【参考文献】
【文献】特開２０１７－２１５９３９（ＪＰ，Ａ）
【文献】Young-Woo Seo and Chris Urmson，A perceptin mechanism for supporting autonomous intersection handling in urban driving，In Proceedings of the International Conference on Intelligent Robots and Systems，米国，IEEE，2008年09月22日，p. 1830-1835
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ １０／００－１０／３０
Ｂ６０Ｗ ３０／００－６０／００
Ｇ０８Ｇ １／００－９９／００
Ｇ０６Ｔ ７／００－ ７／９０
(57)【特許請求の範囲】
【請求項1】
１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を格納した１つ以上のコンピュータ可読媒体と、
を備えたシステムであって、前記命令は、実行されると、前記システムに
車両上のセンサからセンサデータを受信するステップと、
前記車両に近接する環境を表すマップデータであって、複数のオクルージョンフィールドを含むオクルージョングリッドを含むマップデータを受信するステップであって、前記複数のオクルージョンフィールドのオクルージョンフィールドが、オクルージョンである前記オクルージョンフィールドに関連付けられた前記環境の一部を示すオクルージョン状態、及び占有されている前記環境の前記一部を示す占有状態に関連付けられる、ステップと、
前記センサデータの一部に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態及び前記オクルージョン状態を決定するステップと、
前記オクルージョンフィールドに少なくとも部分的に基づいて、前記オクルージョングリッドに関連付けられた情報の量を、
非占有であるオクルージョンフィールドの数が第１の閾値数以上であること、
可視オクルージョンフィールドの数が第２の閾値数以上であること、
未決定なオクルージョンフィールドを閾値期間観察すること、または
交差点の距離に対する非オクルージョン及び非占有領域の範囲を決定すること、
のうちの１つまたは複数に少なくとも部分的に基づいて、決定するステップと、
前記情報の量に少なくとも部分的に基づいて、前記環境を横断する前記車両のための安全な軌道を決定するステップと、
前記車両を制御し前記安全な軌道に従って前記環境を横断させるステップと、
を含む操作を実行させる、システム。
【請求項2】
前記センサがＬＩＤＡＲセンサであり、前記センサデータがＬＩＤＡＲデータを含み、前記操作が、前記車両上の画像センサから画像データを受信するステップと、
前記画像データの少なくとも一部に対して意味区分を実行して、前記環境内の少なくとも運転可能路面を識別する区分された画像データを生成するステップと、
前記オクルージョンフィールドを前記区分された画像データに関連付けるステップと、
前記オクルージョンフィールドが前記運転可能路面に関連付けられていると決定するステップと、
前記運転可能路面に関連付けられている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記車両を制御し前記環境を横断させるステップと、
をさらに備える請求項１に記載のシステム。
【請求項3】
前記複数のオクルージョンフィールドが前記環境内の運転可能路面の一部を個別化し、前記オクルージョンフィールドの前記オクルージョン状態が前記センサによる前記オクルージョンフィールドの可視性を示す、請求項１又は２に記載のシステム。
【請求項4】
前記操作が、前記オクルージョンフィールドに関連付けられたＬＩＤＡＲリターンの第１の数と、
前記オクルージョンフィールドに関連付けられた個別化された領域の第２の数と、
に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態に関連付けられた信頼値を決定するステップをさらに備える請求項１又は２に記載のシステム。
【請求項5】
前記第２の数に対する前記第１の数の第１の比率が閾値未満であることは前記オクルージョンフィールドの非占有状態の高い信頼性を示し、前記第２の数に対する前記第１の数の第２の比率が前記閾値以上であることは前記オクルージョンフィールドの占有済み状態の高い信頼性を示す、請求項４に記載のシステム。
【請求項6】
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行可能な命令を格納した１つ以上のコンピュータ可読媒体と、を備えるシステムによって実行される方法であって、
ロボットプラットフォーム上のセンサを使用して取り込まれたセンサデータを受信するステップと、
前記センサデータに少なくとも部分的に基づいて、前記ロボットプラットフォームの位置を決定するステップと、
前記位置の前記ロボットプラットフォームに近接する環境を表すマップデータであって、オクルージョングリッドを含むマップデータを受信するステップと、
前記オクルージョングリッドのオクルージョンフィールドの占有状態を決定するステップであって、
前記オクルージョンフィールドに少なくとも部分的に基づいて、前記オクルージョンフィールドに関連付けられた情報の量を、
非占有であるオクルージョンフィールドの数が第１の閾値数以上であること、
可視オクルージョンフィールドの数が第２の閾値数以上であること、
未決定なオクルージョンフィールドを閾値期間観察すること、または
交差点の距離に対する非オクルージョン及び非占有領域の範囲を決定すること、
のうちの１つまたは複数に少なくとも部分的に基づいて、決定するステップと、
前記情報の量に少なくとも部分的に基づいて、前記オクルージョングリッドに近接する前記環境の領域を横断する軌道を決定するステップと、
前記オクルージョングリッドの前記占有状態に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御するステップと、
を備える方法。
【請求項7】
前記ロボットプラットフォーム上のＬＩＤＡＲセンサを使用して取り込まれたＬＩＤＡＲデータを、前記センサデータとして受信するステップと、前記ＬＩＤＡＲデータの一部を占有フィールドに関連付けることに少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態を決定するステップであって、前記占有状態は、占有済み状態、非占有状態、又は未決定状態の内の１つを含む、ステップと、
前記ＬＩＤＡＲデータの前記一部に少なくとも部分的に基づいて、前記オクルージョンフィールドのオクルージョン状態を決定するステップであって、前記オクルージョン状態は可視又はオクルージョンであることの１つを含む、ステップと、
前記オクルージョン状態及び前記占有状態に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、
をさらに備え、
前記情報の量は、前記オクルージョングリッドのサイズ又は前記オクルージョングリッドに関連付けられた制限速度の少なくとも１つに関係して、前記ＬＩＤＡＲセンサから可視である前記オクルージョングリッドのオクルージョンフィールドの数に少なくとも部分的にさらに基づいて決定される、
請求項６に記載の方法。
【請求項8】
前記占有状態または前記オクルージョン状態のうちの少なくとも１つを決定するステップが、前記オクルージョンフィールドの上の領域に関連付けられた予想のＬＩＤＡＲリターンの第１の数を決定するステップと、
前記オクルージョンフィールドの上の前記領域に関連付けられた実際のＬＩＤＡＲリターンの第２の数を決定するステップと、
前記予想のＬＩＤＡＲリターンの第１の数及び前記実際のＬＩＤＡＲリターンの第２の数に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態に関連付けられた信頼値を決定するステップと、
前記信頼値が信頼閾値以上であると決定するステップと、
を備える請求項７に記載の方法。
【請求項9】
前記ロボットプラットフォーム上の画像センサを使用して取り込まれた画像データを、前記センサデータとして受信するステップと、前記画像データの少なくとも一部を区分して、前記環境内の運転可能路面を識別する区分された画像データを生成するステップと、
前記オクルージョンフィールドを前記区分された画像データに関連付けるステップと、
前記オクルージョンフィールドが前記運転可能路面に関連付けられていると決定するステップと、
前記運転可能路面に関連付けられている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、
をさらに備える請求項６に記載の方法。
【請求項10】
前記ロボットプラットフォームは自律車両を含み、前記自律車両に近接する前記環境は交差点を含み、前記方法が、前記自律車両が横断する前記交差点に関連付けられた距離を決定するステップと、
前記交差点に関連付けられた制限速度を決定するステップと、
前記交差点に関連付けられた前記距離と、
前記制限速度と、
安全係数と、
に少なくとも部分的に基づいて前記オクルージョングリッドの範囲を決定するステップと、
をさらに備える請求項６に記載の方法。
【請求項11】
前記自律車両が前記交差点に関連付けられた前記距離を横断するための予想される時間に少なくとも部分的に基づいて、前記オクルージョングリッドの前記範囲を決定するステップをさらに備える請求項１０に記載の方法。
【請求項12】
前記オクルージョンフィールドが時相論理記号を含み、前記方法が前記時相論理記号を含む時相論理式を評価することに少なくとも部分的に基づいて、軌道を検証するステップと、
少なくとも部分的に前記軌道に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、
をさらに備える請求項６に記載の方法。
【請求項13】
前記オクルージョングリッドが複数のオクルージョンフィールドを含み、前記方法が前記ロボットプラットフォームを制御し前記環境を横断させる前に、前記複数のオクルージョンフィールドの閾値数が前記センサから可視及び非占有であると決定するステップ、
をさらに備える請求項６に記載の方法。
【請求項14】
前記オクルージョングリッドの一部が前記センサから可視ではないと決定するステップと、前記ロボットプラットフォームを制御し、前記センサから可視である前記オクルージョングリッドの前記一部を増やす位置に移動させるステップと、
をさらに備える請求項６に記載の方法。
【請求項15】
コンピュータ上で実行すると、請求項６から請求項１４のいずれか一項に記載の方法を実行する、コード化された命令を備えたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オクルージョン認識プランニングに関する。
【0002】
［関連出願の相互参照］
この特許出願は、２０１８年６月１８日に出願されたシリアル番号１６／０１１，４３６の「オクルージョン認識プランニング」と題された米国実用特許出願の優先権を主張、及び２０１８年６月１８日に出願されたシリアル番号１６／０１１，４６８の「オクルージョン認識プランニング及びコントロール」と題された米国実用特許出願の優先権を主張する。シリアル番号１６／０１１，４３６及び１６／０１１，４６８の出願は参照により本明細書に完全に組み込まれる。
この特許出願は、２０１８年６月１８日に出願されたシリアル番号１６／０１１，４３６の「オクルージョン認識プランニング」と題された米国実用特許出願の優先権を主張、及び２０１８年６月１８日に出願されたシリアル番号１６／０１１，４６８の「オクルージョン認識プランニング及びコントロール」と題された米国実用特許出願の優先権を主張する。シリアル番号１６／０１１，４３６及び１６／０１１，４６８の出願は参照により本明細書に完全に組み込まれる。
【背景技術】
【0003】
様々な方法、装置、及びシステムが、複数の障害物を含む環境を通る自律車両をガイドするために、自律車両に利用される。例えば、自律車両は、他の車両、建物、歩行者、又は他の物体を含み得る混雑領域内で自律車両をガイドするルート計画方法、装置、及びシステムを利用する。いくつかの例では、環境内の車両、建物、及び／又は物体は、環境の領域を自律車両のセンサから可視であるのを妨害でき、そのような領域を通るルートを計画する際に課題を提示できる。
【図面の簡単な説明】
【0004】
詳細な説明は添付の図面を参照し説明する。図面において、参照番号の左端の数字は参照番号が最初に現れる図を識別している。異なる図面における同じ参照番号の使用は類似又は同一の項目又は機能を示す。
【0005】
【図1】図１は、本開示の実施形態による、環境内の複数のオクルージョンフィールドを含む例示のオクルージョングリッドの斜視図を示し、障害物に起因するオクルージョングリッドのオクルージョン領域及び非オクルージョン領域を決定するためのオクルージョン監視コンポーネントを含む車両を示す環境である。
【図3】図３は、本開示の実施形態による、オクルージョンフィールドを画像データに投影することに基づいて、オクルージョングリッド内のオクルージョンフィールドの占有率を決定するための例示のプロセスの図解フロー図である。
【発明を実施するための形態】
【0006】
この開示は、環境内のオクルージョン領域に基づいて、自律車両などの車両を制御する技術を対象としている。例えば、オクルージョン領域はオクルージョングリッドで表すことができ、これはマップデータに関連して格納し得る、又は環境内の障害物に基づいて動的に生成できる。オクルージョングリッドは複数のオクルージョンフィールドを含むことができ、運転可能路面などの環境の個別の領域を表すことができる。いくつかの例では、オクルージョンフィールドは、オクルージョン状態（例えば、その位置が自律車両の１つ以上のセンサから可視であるかどうかを示す）及び占有状態（例えば、その位置が、車両、歩行者、動物などの物体に占有されているかどうか示す）を示すことができる。少なくともいくつかの例では、占有状態は「未決定」状態（すなわち、利用可能なデータに基づいても、オクルージョンフィールドが占有されているかどうか現在不明であり得る）をさらに含み得る。場合によっては、自律車両上のセンサによって取り込まれたＬＩＤＡＲデータ及び／又は画像データを使用して、オクルージョン状態及び／又は占有状態を決定できる。例えば、ＬＩＤＡＲデータを光線放射して、ＬＩＤＡＲ光線がオクルージョンフィールドで表される空間の領域を通過したかどうかを決定できる。いくつかの例では、オクルージョンフィールドが占有されている又は占有されていないという信頼レベルは、オクルージョンフィールドに関連付けられた予想のＬＩＤＡＲリターンの第１の数に、及び／又はオクルージョンフィールドに関連付けられた実際のＬＩＤＡＲリターンの第２の数に少なくとも部分的に基づくことができる。いくつかの例では、オクルージョンフィールドが占有されているかどうかの信頼レベルは、オクルージョンフィールドの高さに関するＬＩＤＡＲリターンの列内のＬＩＤＡＲの観測値に少なくとも部分的に基づくことができる。いくつかの例では、オクルージョンフィールドの占有率は画像データに基づくことができる。例えば、画像データを環境内で取り込むことができ、画像データを区分して、運転可能な領域（例えば、物体が占有されていない路面）を示す区分された画像データを生成できる。オクルージョンフィールドを表す位置データを区分された画像データに投影して、オクルージョンフィールドが運転可能路面に関連付けられているかどうかを決定できる。オクルージョン状態及び占有状態はオクルージョングリッドの全てのオクルージョンフィールドに対して決定できる。いくつかの例では、オクルージョンフィールドが全て可視及び非占有である場合、オクルージョングリッドはクリアであると見なすことができ、自律車両を制御し環境を横断させることができる。
【0007】
いくつかの例では、ＬＩＤＡＲデータ及び画像データを使用して、オクルージョンフィールドのオクルージョン状態及び占有状態を決定できる。例えば、自律車両に比較的近いオクルージョンフィールドの場合、ＬＩＤＡＲセンサの解像度は、閾値以上の信頼レベル（信頼値とも呼ばれる）を含むオクルージョンフィールドのオクルージョン状態及び占有状態を決定するのに十分であり得る。いくつかの例では、信頼レベルが閾値未満の場合（例えば、自律車両から比較的遠いオクルージョンフィールドの場合、又はオクルージョンフィールドに関連付けられたＬＩＤＡＲ光線の数が閾値を下回っている場合）、画像データを使用して、ＬＩＤＡＲデータを使用するオクルージョン状態及び／又は占有状態に関する決定を更新又は補足できる。
【0008】
本明細書で論じる手法は様々な状況で使用できる。第１の状況では、無防備な左折、自由な右折、複雑な交差点の通り抜けなどの複雑な操縦を自律車両が実行している交差点を自律車両が走行する際に、オクルージョンベース計画を使用できる。理解できるように、そのような例では対向車は交差点で停止しない場合があり、これは交差点を横断するにあたり安全である場合を決定することにおける課題を提示できる。一例では、自律車両は交差点に近づき、ストップライン（例えば、マップデータに示されている）で停止できる。マップデータからオクルージョングリッドにアクセスでき、自律車両はセンサデータを取り込んでオクルージョンフィールドの状態を決定できる。いくつかの例では、自律車両は、オクルージョングリッドの一部がオクルージョンである（例えば、駐車中の車などの障害物が原因で）、及び／又は進行するための十分な情報に不足していると決定できる。いくつかの例では、自律車両は交差点を緩やかに横断して、環境内のセンサの位置を変更し得る。自律車両はセンサデータを取り込み続けて、オクルージョン領域のいくつか又は全てのオクルージョンフィールドのオクルージョン状態及び占有状態を決定できる。他の車両が交差点を横断している場合、オクルージョンフィールドは占有されていると決定され、自律車両は交差点を横断するために適切な時間待機し続け得る。交差点を横断する他の車両がなく、センサがフィールドの占有状態を決定可能な場合、オクルージョンフィールドは非占有であり、オクルージョングリッドはクリアであり、自律車両は交差点を横断し得る。理解できるように、オクルージョンベース計画は様々な交差点を横断するために使用でき、特定の交差点又は操縦に限定されない。
【0009】
第２の状況では、自律車両は環境のセンサデータを取り込み得、環境内の物体がセンサによる環境の一部の感知を「妨害」していると決定できる。いくつかの例では、オクルージョングリッドを物体に動的に関連付けることができる。いくつかの例では、自律車両は初期時間ではオクルージョングリッドについての情報をほとんど知り得ないが（例えば、特に障害物によって隠されたオクルージョンフィールドの占有率）、いくつかの例では、自律車両は、オクルージョングリッドに物体が進入する前に横断する領域を監視することにより、オクルージョンフィールドのコンテキストを推測できる。例えば、自律車両はオクルージョングリッドのオクルージョン領域を監視するので、自律車両はオクルージョングリッドに進入する任意の物体（例えば、車両、歩行者など）を監視できる。一定期間後、物体がオクルージョングリッドに進入していない場合、及び物体がオクルージョングリッドから出ていない場合、自律車両はオクルージョングリッドが非占有であると推測し得、必要に応じて車両軌道を実行し得る。
【0010】
第３の状況では、自律車両が環境のセンサデータを取り込み、環境内の物体を識別できる。自律車両は、本明細書で論じるように、オクルージョングリッドを物体に関連付けることができる。いくつかの例では、自律車両はまた、オクルージョン領域を横断した環境内の歩行者などの１つ以上の動的物体を識別できる。自律車両は、物体がオクルージョン領域に移動する前に動的物体の軌跡を監視でき、物体に関連付けられた１つ以上の予測軌道を生成できる。いくつかの例では、１つ以上の予測軌道は、動的物体の測定された軌跡に基づく、並びに／又は環境内の合理的な経路（例えば、横断歩道又は歩道を横切る、最新の軌道の継続など）及び／若しくは目的地に基づくことができる。従って、動的物体が観察されない場合でも、オクルージョン領域にある物体のために、自律車両は、動的物体の予測軌道を自律車両の制御に関する決定に組み込むことができる。そのような予測軌道は、オクルージョン領域に残っている動的物体に基づいて、又はオクルージョン領域を離れる動的物体に基づいて、以降の観測によって後に確認され得る。
【0011】
第４の状況では、丘の頂上などの地形的障害物によって引き起こされるオクルージョン領域を対象とする。例えば、車両が丘の頂上（例えば頂点）に近づくと、車両は丘の頂上の反対側の地面を確かめることが不可能になり得る。いくつかの例では、地形的オクルージョングリッドを丘の領域を表すマップデータに関連付けて、丘を横断するのを容易にできる。例えば、地形的オクルージョングリッド（及び本明細書で論じる他のオクルージョングリッド）は、環境内の空間の３次元領域を表すオクルージョンフィールドを含むことができる。理解できるように、オクルージョンフィールドの垂直部分は、車両がオクルージョンフィールドの地面部分を確かめることが可能でなくても、丘の頂上に近づく車両から可視であり得る。車両はＬＩＤＡＲデータなどの環境のセンサデータを取り込み、ＬＩＤＡＲデータをオクルージョングリッドのオクルージョンフィールドに光線放射し、オクルージョンフィールドの少なくとも一部の占有率を決定できる。従って、オクルージョンフィールドの一部がクリアであると決定することにより（例えば、地上１、２メートル間のオクルージョンフィールドの領域）、自律車両はオクルージョンフィールドの占有状態（例えば、占有済み、非占有、又は未決定）を決定できる。従って、本明細書で論じる技術を使用して、自律車両は、環境の全ての領域のセンサデータを取り込むこと無く、丘の頂上を「見渡し」て、環境についての情報を取得できる。
【0012】
いくつかの例では、マップデータに関連して格納されたオクルージョングリッドのサイズは、いくつかの領域特性に少なくとも部分的に基づくことができる。交差点のコンテキストでは、領域特性は、限定しないが、自律車両が走行しなければならない交差点を横切る距離（例えば、対向車を避けるために）、交差点内の車両の制限速度（例えば、対向車の）、制限速度に関連付けられた安全係数（例えば、予想される交通の速度を効果的に上げるための）、交差点距離を横断する自律車両の加速レベル及び／又は平均速度など、を含むことができる。そのような特定の例については以下で詳細に論じる。従って、オクルージョングリッドは、オクルージョングリッドに障害物がない場合、自律車両が安全に領域を横断できるようなサイズとすることができる。
【0013】
いくつかの例では、上記のように、オクルージョングリッドは複数のオクルージョンフィールドを含むことができる。いくつかの例では、オクルージョンフィールドは、自律車両の軌道を評価又は検証するための時相論理式で使用できる時相論理記号を表すことができる。例えば、自律車両は、オクルージョンフィールドの占有状態及び／又はオクルージョン状態がそれぞれ「非占有」及び「非オクルージョン」になるまで、軌道を開始することを止められ得る。いくつかの例では、自律車両のプランナーシステムは、線形時相論理又は信号時相論理などの時相論理を使用して、自律車両の軌道を評価できる。
【0014】
本明細書で論じる技術は、いくつかの手法でコンピューティングデバイスの機能を改善できる。例えば、オクルージョングリッドを評価するコンテキストにおいて、グリッドの領域は、環境についての不必要な決定に専念する過剰なリソースなしで、自律車両による領域の安全な横断を確実にするようなサイズとすることができる。いくつかの例では、複数のセンサモダリティ（ＬＩＤＡＲセンサ、画像センサ、ＲＡＤＡＲセンサなど）を使用して、オクルージョン状態又はオクルージョンフィールドの占有状態に関連付けられた全体的な信頼レベルを改善できる。改善された軌道生成は安全結果を改善でき、乗り手の体験を改善できる（例えば、軌道を開始する前に交差点がクリアであることを確実にすることによって、緊急ブレーキ、旋回などの発生を減少することによって）。コンピュータの機能及び／又はユーザーの体験に対するこれら及びその他の改善について、本明細書で論じる。
【0015】
本明細書に記載の技術は、いくつかの手法で実施できる。例示の実装について、以下の図面を参照しながら以下に説明する。自律車両のコンテキストで論じられているが、本明細書で説明する方法、装置、及びシステムは、様々なシステム（例えば、ロボットプラットフォーム）に適用でき、自律車両に限定されない。別の例では、この技術は、航空若しくは航海のコンテキストで、又はマシンビジョンを使用する任意のシステムで利用できる。さらに、本明細書で説明する技法は実データ（例えばセンサを使用して取り込まれた）、シミュレートデータ（例えばシミュレータによって生成された）、又はその２つの任意の組合せで使用できる。
【0016】
図１は、環境内の複数のオクルージョンフィールドを含む例示のオクルージョングリッドの斜視図を示す環境１００である。図１はまた、本開示の実施形態による、障害物に起因するオクルージョングリッドのオクルージョン領域及び非オクルージョン領域を決定するためのオクルージョン監視コンポーネントを含む車両を示す。
【0017】
図示のように、環境１００は環境１００を表すデータを取り込む１つ以上のセンサシステム１０４を含む車両１０２を含むことができる。
【0018】
例示の目的で、車両１０２は、ドライバー（又は乗員）の車両の常時制御を期待せず、全体行程の全ての安全上重要な機能を実行可能な車両について説明する米国国家高速道路交通安全局が発行するレベル５分類に従って操作するように構成された自律車両とすることができる。このような例では、車両１０２は全ての駐車機能を含む開始から停止までの全ての機能を制御するように構成できるので、無人化できる。これは単なる例であり、本明細書で説明するシステム及び方法は、ドライバーが常に手動で制御する必要がある車両から、部分的又は完全に自律的に制御されているものまでを含む任意の地上、空中、又は水上車両に組み込むことができる。車両１０２に関連付けられた追加の詳細を以下で説明する。
【0019】
少なくとも１つの例では、上記のように、車両１０２を車両１０２上に配置できるセンサシステム１０４に関連付けることができる。センサシステム１０４は、光検出及び測距（ＬＩＤＡＲ）センサ、無線検出及び測距（ＲＡＤＡＲ）センサ、超音波変換器、音響誘導及び測距（ＳＯＮＡＲ）センサ、位置センサ（例えば、グローバルポジショニングシステム（ＧＰＳ）、コンパスなど）、慣性センサ（例えば、慣性測定ユニット、加速度計、磁気計、ジャイロスコープなど）、カメラ（例、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、ホイールエンコーダ、マイク、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）など、を含むことができる。センサシステム１０４は車両１０２に関連付けられた車両コンピューティングデバイス１０６によって利用できるセンサデータを生成できる。
【0020】
少なくとも１つの例では、車両コンピューティングデバイス１０６は、オクルージョン監視コンポーネント１０８のセンサデータを利用できる。例えば、オクルージョン監視コンポーネント１０８はオクルージョンデータ及び／又はマップデータにアクセスし、オクルージョングリッド内のオクルージョンフィールドのオクルージョン状態及び占有状態を決定できる。
【0021】
一例として、限定しないが、環境１００内の車両１０２は交差点１１０に接近している。いくつかの例では、車両１０２はマップデータにアクセスでき、オクルージョングリッド１１２が交差点１１０に関連付けられていると決定できる。いくつかの例では、交差点１１０は車両１０２が交差点１１０に進入する一方通行車に道を譲る必要のある交差点を表すことができる。
【0022】
オクルージョングリッド１１２は、環境１００の一部を個別の領域に分離する複数のオクルージョンフィールドを含むことができる。いくつかの例では、オクルージョンフィールド１１４はオクルージョン状態を表すことができる（例えば、オクルージョンフィールド１１４が車両１０２の１つ以上のセンサに関連付けられた感知領域１１６内にあるかどうかの表示を）。理解できるように、環境１００はオクルージョングリッド１１２の一部を車両１０２の感知領域１１６から欠落させる１つ以上の障害物１１８、１２０、及び１２２を含み得る。従って、オクルージョングリッド１１２の非オクルージョン領域１２４は、車両１０２によって「見る」ことができるオクルージョングリッド１１２の領域を表すことができる。すなわち、車両１０２は非オクルージョン領域１２４を表すセンサデータを取り込むことができる。同様に、オクルージョン領域１２６は、車両１０２によって「見る」ことができないオクルージョングリッド１１２の領域を表すことができる。図１に示すように、オクルージョン領域１２６内のオクルージョンフィールドは、その領域に対応するセンサデータの欠如を表すために灰色で網掛けされ、一方、非オクルージョン領域１２４は網掛けされない。
【0023】
いくつかの例では、オクルージョンフィールドが物体によって占有されている場合、オクルージョンフィールドは、物体のＩＤを示す追加のメタデータ、及びオクルージョングリッドを通過する物体の経路を示すデータを格納できる。
【0024】
【0025】
図２は、本開示の実施形態による、ＬＩＤＡＲデータを光線放射することに基づいて、オクルージョングリッド内のオクルージョンフィールドの占有率を決定するための例示のプロセス２００の図解フロー図である。ＬＩＤＡＲデータのコンテキストで論じているが、例示のプロセス２００は、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、飛行時間画像データなどのコンテキストで使用できる。
【0026】
オペレーション２０２において、プロセスは、オクルージョングリッドを含むマップデータを受信することを含むことができる。例２０４はオペレーション２０２において受信できるマップデータ２０６を示している。いくつかの例では、マップデータ２０６は図１に示すように交差点１１０を表すことができる。例２０４にさらに示すように、車両１０２はＬＩＤＡＲ光線２０８によって図解するように環境のＬＩＤＡＲデータを取り込む。単一の線として示しているが、ＬＩＤＡＲ光線２０８は環境をスキャンする複数の光線を含むことができる。
【0027】
いくつかの例では、マップデータ２０６は複数のオクルージョンフィールド２１６を含むオクルージョングリッド２１０を含む。本開示を通して論じるように、オクルージョングリッド２１０は環境の任意のサイズ又は形状を表すことができる。いくつかの例では、オクルージョングリッド２１０は複数のオクルージョンフィールド２１６を含むことができ、それによって個々のオクルージョンフィールドは環境の個別の領域を表す。いくつかの例では、オクルージョンフィールドは、幅１メートル、長さ３メートル、高さ２メートルの領域を表し得るが、任意のサイズをオクルージョンフィールドに使用し得る。いくつかの例では、オクルージョンフィールドはボクセル化された空間の複数のボクセルを表す「メタボクセル」であると見なされ得る。
【0028】
オペレーション２１２において、プロセスは、ＬＩＤＡＲデータを光線放射することに少なくとも部分的に基づいて、１つ以上のオクルージョンフィールドの占有率を決定することを含むことができる。環境の詳細２１４において、オクルージョンフィールド２１６はオクルージョンフィールド２１６を横断するＬＩＤＡＲ光線で示される。詳細２１４に示すように、ＬＩＤＡＲ光線２１８及び２２０はオクルージョンフィールド２１６を横断するように示されている。例２０４にさらに示すように、ＬＩＤＡＲ光線２１８はリターンを伴わないＬＩＤＡＲ光線を表すことができる。これは、ＬＩＤＡＲ光線２１８はＬＩＤＡＲセンサによって放出され、オクルージョンフィールド２１６を横断すると予想されたが、車両１０２はＬＩＤＡＲ光線２１８のリターンを受信しなかったことを意味する。そのようなリターンの欠如は、ＬＩＤＡＲ光線２１８が表面に当たらず戻っていない可能性がある、又はＬＩＤＡＲセンサから離れる方向へ反射面で反射した可能性があるため、占有状態が未決定であり得る。さらに、ＬＩＤＡＲ光線２２０はリターンを伴うＬＩＤＡＲ光線を表す。これは、ＬＩＤＡＲ光線２２０が、ＬＩＤＡＲセンサによって放出され、その後の時間、車両１０２によって（例えば、環境内の物体からの反射によって）受信されたことを意味する。
【0029】
いくつかの例では、ＬＩＤＡＲ光線２０８は、オクルージョンフィールド（例えば、オクルージョンフィールド２１６）が物体によって占有されていることを示し得る。この場合、オペレーション２１２はオクルージョンフィールド２１６が占有されていることを決定することを含むことができる。少なくともいくつかの例では、占有率は、特定のオクルージョンフィールド２１６上の垂直列内のＬＩＤＡＲリターンの数に基づいて決定され得る（例えば、詳細２２６に示しているように）。非限定的な例として、ＬＩＤＡＲリターンは領域が占有されていること、又はＬＩＤＡＲ光線がＬＩＤＡＲセンサによって反射として受信される前に領域を横断したことを示し得る（例えば、リターンは領域が非占有であることを示し得る）。いくつかの例では、ＬＩＤＡＲ光線は、以下で論じるように、ＬＩＤＡＲセンサによって受信されることなく領域を横断し得る。
【0030】
非限定的な例として、オクルージョンフィールド２１６に関連付けられた垂直列は５つのボクセル（例えば、詳細２２６において、ボクセル２１６（１）、２１６（２）、２１６（３）、２１６（４）、及び２１６（５）に示されるように）を含み、及びそれらの大部分が、物体がボクセル内に位置することを示す場合、占有状態は占有閾値に達し、オクルージョンフィールド２１６は占有されていると決定される。言い換えれば、いくつかの例では、オクルージョンフィールド２１６の占有率は、オクルージョンフィールド２１６に関連付けられたボクセルに関連付けられた占有スコアに少なくとも部分的に基づくことができる。もちろん、オクルージョンフィールドは任意の数の垂直及び／又は水平ボクセルに関連付けることができる。
【0031】
いくつかの例では、ＬＩＤＡＲ光線２０８はオクルージョンフィールド２１６が物体によって占有されていないことを示し得る。例えば、オクルージョンフィールド２１６に関連付けられたボクセルの大部分がリターン無しを示す場合（及び／又はボクセルを横断し、予想されるリターンの数と比較されたリターンに関連付けられたＬＩＤＡＲ光線の数に基づいて）、ＬＩＤＡＲセンサから離れる方向の表面で反射する全ての光線とは対照的に、オクルージョンフィールド２１６を占有する物体は存在しない可能性が高い。いくつかの例では、オクルージョンフィールド２１６の占有率に関する決定は信頼レベルと関連付けることができる。いくつかの例では、オクルージョンフィールドの占有率の信頼レベルは、オクルージョンフィールドに関連付けられた予想のＬＩＤＡＲリターンの第１の数、及びオクルージョンフィールドに関連付けられた実際のＬＩＤＡＲリターンの第２の数（例えば、物体又は非物体を示す）に少なくとも部分的に基づくことができる。一例として、限定しないが、信頼レベルは第２の数と第１の数との比率に少なくとも部分的に基づくことができる。もちろん、任意の手法又はヒューリスティックを使用してオクルージョンフィールドの占有率に関連付けられた信頼レベルを決定できる。信頼レベルを超えない、センサデータが戻らない、又はそうでなければ占有率の決定を行うことが不可能であるいくつかの例では、オクルージョンフィールド２１６に関連付けられた占有状態は未決定（例えば、占有状態を決定するのに十分な情報がない）であると決定され得る。
【0032】
オペレーション２２２において、プロセスは占有率に少なくとも部分的に基づいて自律車両に命令することを含むことができる。例えば、車両１０２が、オクルージョンフィールド２１６が非占有である（及びオクルージョングリッド２１０の全てのオクルージョンフィールド又はオクルージョングリッド２１０のオクルージョンフィールドの閾値数が非占有である）と決定した場合、車両１０２を制御し軌道２２４に従って交差点１１０を横断させることができる。いくつかの例では、オクルージョンフィールド２１６が占有されている場合、及び／又はオクルージョングリッド２１０のオクルージョンフィールドの閾値数が物体によって占有されている場合、オペレーション２２２は自律車両（例えば、車両１０２）を制御し交差点１１０を横断させずに待機させることを含むことができる。いくつかの例では、閾値は、例えば予想される最高制限速度、横断する車線幅などに基づいて設定され得る。そのような決定は、例えば、車両がオクルージョン領域を最高制限速度（若干のバッファを足した）で交差点に向かって進んでいると仮定して、車両１０２が交差点を安全に横断するのに掛る時間に基づいて行い得る。追加の詳細を図５に関連して論じる。
【0033】
いくつかの例では、オペレーション２２２は車両１０２の加速レベル及び／又は速度の選択を含むことができる。例えば、オクルージョンフィールドはオクルージョングリッド２１０のクリア部分のサイズを効果的に減少させる占有されたオクルージョンフィールドを示し得る。いくつかの例では、オペレーション２２２は、オクルージョングリッド２１０のクリア部分の減少したサイズ（例えば、車両１０２及び占有されたオクルージョンフィールドの間の距離として表される）に基づいて車両１０２をより速く加速させる、より高い加速レベル（例えば、「ブーストモード」）を選択することを含むことができる。いくつかの例では、オペレーション２２２は、オクルージョングリッドの一部が可視ではない（例えば、オクルージョン領域１２６と同様に）、又はそうでなければ未決定である占有状態を含むと決定することを含むことができ、オペレーション２２２は、車両１０２を制御し交差点まで緩やかに移動させ（例えば、「前方に徐行」）、オクルージョングリッド２１０の可視領域を増加することを含むことができる。追加の例について本開示を通して論じる。
【0034】
図３は、本開示の実施形態による、画像データへのオクルージョンフィールドの投影に基づいて、オクルージョングリッド内のオクルージョンフィールドの占有率を決定するための例示のプロセス３００の図解フロー図である。
【0035】
オペレーション３０２において、プロセスは画像データ及びマップデータを受信することを含むことができる。例えば、画像データ３０４を車両１０２の１つ以上の画像センサによって取り込むことができる。いくつかの例では、マップデータ３０６は、車両１０２がマップデータ３０６に関連付けられた交差点１１０に接近していると決定すると、メモリから（例えば、車両コンピューティングデバイス１０６から）アクセスされ得る。
【0036】
一般に、画像データ３０４は、車両の１つ以上の画像センサによって取り込まれた任意の画像データを含むことができる。場合によっては、画像データ３０４は、障害物３０８、３１０、及び３１２の表示を含むことができる。図示のように、障害物３０８、３１０、及び３１２は、道路の脇に駐車する車両を表すことができる。
【0037】
一般に、マップデータ３０６はオクルージョンフィールド３１６などの複数のオクルージョンフィールドを含むオクルージョングリッド３１４を含むことができる。いくつかの例では、マップデータ３０６は、障害物３０８、３１０、及び３１２を含むことができるが、場合によっては、障害物３０８、３１０、及び３１２のデータは、マップデータと見なされないことがある。すなわち、場合によっては、マップデータ３０６は静的物体のみを含み得る。その場合、障害物３０８、３１０、及び３１２（例えば、動的物体又は潜在動的物体）はマップデータ３０６として含まれ得ない。さらに車両１０２はマップデータ３０６の一部と見なしてもよいし、見なさなくてもよいが、車両１０２はコンテキストを形成するために及び交差点１１０に関する車両１０２の位置を示すためにマップデータ３０６に示されている。
【0038】
図示のように、障害物３１２は交差点１１０に向かって道路を走行していることを表している。いくつかの例では、障害物３１２はオクルージョンフィールド３２６を占有できる。
【0039】
オペレーション３１８において、プロセスは画像データに対して意味区分を実行することを含むことができる。いくつかの例では、画像データ３０４を、限定しないが、運転可能路面（例えば、物体又は障害物によって占有されていない路面）、地面、車両、歩行者、建物、歩道、植生、街灯柱、郵便受けなどを含む、画像データ３０４内の領域及び／又は物体を識別するための区分アルゴリズムに入力できる。いくつかの例では、オペレーション３１８は画像データ３０４内の物体を区分する及び／又は分類するように訓練された機械学習アルゴリズムを使用して画像データ３０４を区分することを含むことができる。
【0040】
オペレーション３２０において、プロセスは、１つ以上のオクルージョンフィールドを区分された画像データに投影することに少なくとも部分的に基づいて、１つ以上のオクルージョンフィールドの占有率を決定することを含むことができる。例えば、投影されたマップデータを伴う区分された画像データ３２２は、オクルージョングリッド３１４及び画像データ３０４に投影されたオクルージョンフィールド３１６及び３２６を示している。さらに示すように、投影されたマップデータを伴う区分された画像データ３２２（データ３２２とも呼ばれる）は、障害物３０８、３１０、及び３１２にそれぞれ対応する区分された障害物３０８’、３１０’、及び３１２’を含む。オクルージョンフィールド３２６が、車両であると決定できる障害物３１２’に（例えば、意味区分を介して）投影されるので、オペレーション３２０は少なくともオクルージョンフィールド３２６が障害物３１２’によって占有されていると決定できる。
【0041】
オペレーション３２０は、任意のアルゴリズムを使用して、３次元オクルージョングリッド３１４及び／又はオクルージョンフィールド３１６を画像データ３０４に投影できる。一例では、オクルージョンフィールド３１６を運転可能路面としてラベル付けされた領域に投影する場合、オペレーション３２０は、オクルージョンフィールド３１６が非占有のフィールドを表すと決定できる。いくつかの例では、オクルージョンフィールド３２６が物体３１２’に投影される場合、オペレーション３２０はオクルージョンフィールド３２６が占有されていると決定できる。少なくともいくつかの例では、追加のオクルージョンフィールドは未決定であるオクルージョン状態に対応し得る。言い換えると、物体の画像が一部のオクルージョンフィールドを効果的に妨害するので、オクルージョンフィールドが占有されているかどうかを明示することは不可能であり得る。本明細書に記載の例のいずれかに関わらず、安全性を目的として、未決定状態はオクルージョン状態として扱われ得る。
【0042】
オペレーション３２４において、プロセスは少なくとも部分的に占有率に基づいて自律車両（例えば、車両１０２）に命令することを含むことができる。例えば、車両１０２がオクルージョンフィールド３１６は非占有である（及びオクルージョングリッド３１４の全てのオクルージョンフィールドが非占有である）と決定した場合、交差点１１０を横断する軌道に従うように車両１０２を制御できる。いくつかの例では、オクルージョンフィールド３２６が占有されている、未決定である場合、及び／又はオクルージョングリッド３１４のオクルージョンフィールドの閾値数が物体によって占有されている場合、オペレーション３２４は自律車両（例えば、車両１０２）を制御し交差点１１０を横断させずに待機させることを含むことができる。いくつかの例では、情報の十分性が閾値を下回っている場合（例えば、占有された又は未決定のオクルージョンフィールドの数が閾値以上、並びに／又はオクルージョン及び不可視オクルージョンフィールドの数が領域を走行するための安全な軌道を計画者が決定不可能であるような閾値以上の場合）、オペレーション３２４は、車両１０２に前方へ徐行する、又はそうでなければ追加情報を収集するために車両１０２に位置を変更するように命令することを含むことができる。
【0043】
いくつかの例では、情報の十分性は、非占有であるオクルージョンフィールドの数が閾値数以上、及び／又は可視オクルージョンフィールドの数が特定の数以上である（例えば、領域を横切るための軌道を安全に計画するための特定の閾値を上回るのに十分な）と決定することに対応できる。いくつかの例では、情報の十分性は未決定なオクルージョンフィールドを一定期間観察して、オクルージョンフィールドが非占有であるという信頼レベルを高めることを含むことができる。いくつかの例では、情報の十分性は、自律車両が走行する交差点の距離に関係する、並びに／又は交差点の一部を横断する自律車両の速度、加速度、及び／若しくは時間に関係する、非オクルージョン及び非占有領域の範囲を決定することを含むことができる。
【0044】
いくつかの例では、プロセス２００及び３００を並行して（例えば、実質的に同時に）実行でき、各プロセスの出力を比較して、１つ以上のオクルージョンフィールドの状態について、及び／又はオクルージョングリッドの状態についての全体的な信頼レベルを高めることができる。いくつかの例では、ＬＩＤＡＲデータを使用して車両１０２までの距離閾値内にあるオクルージョンフィールドの状態を決定することができるが、画像データを使用して車両１０２からの距離閾値以上のオクルージョンフィールドの状態を決定することもできる。もちろん、本明細書で説明する例は限定することを意図するものではなく、他の実装は本開示の範囲内であると見なされる。
【0045】
【0046】
車両４０２は、車両コンピューティングデバイス４０４、１つ以上のセンサシステム４０６、１つ以上のエミッタ４０８、１つ以上の通信接続部４１０、少なくとも１つの直接接続部４１２、及び１つ以上の駆動モジュール４１４を含むことができる。
【0047】
車両コンピューティングデバイス４０４は、１つ以上のプロセッサ４１６及び１つ以上のプロセッサ４１６と通信可能に結合されたメモリ４１８を含むことができる。図示の例では、車両４０２は自律車両である。しかしながら、車両４０２は任意の他のタイプの車両、又は少なくとも画像キャプチャデバイス（例えば、カメラ対応スマートフォン）を有する任意の他のシステムとすることができる。図示の例では、車両コンピューティングデバイス４０４のメモリ４１８は、位置測定コンポーネント４２０、知覚コンポーネント４２２、計画コンポーネント４２４、１つ以上のシステムコントローラ４２６、１つ以上のマップ４２８、予測コンポーネント４３０、オクルージョン監視コンポーネント４３２、オクルージョン領域コンポーネント４３４、光線放射コンポーネント４３６、区分コンポーネント４３８、投影コンポーネント４４０、オクルージョンコンテキストコンポーネント４４２、及び速度コンポーネント４４４を格納している。例示の目的でメモリ４１８内に存在するものとして図４に示すように、位置測定コンポーネント４２０、知覚コンポーネント４２２、計画コンポーネント４２４、１つ以上のシステムコントローラ４２６、１つ以上のマップ４２８、予測コンポーネント４３０、オクルージョン監視コンポーネント４３２、オクルージョン領域コンポーネント４３４、光線放射コンポーネント４３６、区分コンポーネント４３８、投影コンポーネント４４０、オクルージョンコンテキストコンポーネント４４２、及び速度コンポーネント４４４は、追加的に又は代替的に車両４０２にアクセス可能である（例えば、車両４０２から離れたメモリに格納されている、又はそうでなければアクセス可能である）ことができることを意図されている。いくつかの例では、車両コンピューティングデバイス４０４は図１の車両コンピューティングデバイス１０６に対応できる。
【0048】
少なくとも１つの例では、位置測定コンポーネント４２０はセンサシステム４０６からデータを受信し、車両４０２の位置及び／又は向き（例えば、１つ以上のｘ、ｙ、ｚ位置、ロール、ピッチ、又はヨー）を決定する機能を含むことができる。例えば、位置測定コンポーネント４２０は、環境のマップを含み、及び／又は要求／受信でき、マップ内の自律車両の位置及び／又は向きを継続的に決定できる。いくつかの例では、位置測定コンポーネント４２０は、ＳＬＡＭ（同時位置測定及びマッピング）、ＣＬＡＭＳ（同時に較正、位置測定及びマッピング）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、ＬＩＤＡＲデータ、ｒａｄａｒデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどを受信し、自律車両の位置を正確に決定できる。いくつかの例では、本明細書で論じるように、位置測定コンポーネント４２０は車両４０２の様々なコンポーネントにデータを提供して、軌道を生成するための、及び／又はオクルージョングリッドを含むマップデータをメモリから検索することを決定するための自律車両の初期位置を決定できる。
【0049】
いくつかの例では、知覚コンポーネント４２２は、物体検出、区分及び／又は分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント４２２は、車両４０２に近接するエンティティの存在及び／又はエンティティタイプ（例えば、車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、不明など）としてのエンティティの分類を示す処理済みのセンサデータを提供できる。追加及び／又は代替の例では、知覚コンポーネント４２２は、検出されたエンティティ（例えば、追跡された物体）及び／又はエンティティが位置する環境に関連付けられた１つ以上の特性を示す処理済みのセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特性は、限定しないが、ｘ位置（グローバル及び／又はローカルポジション）、ｙ位置（グローバル及び／又はローカルポジション）、ｚ位置（グローバル及び／又はローカルポジション）、方向（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができる。環境に関連付けられた特性は、限定しないが、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができる。いくつかの例では、知覚コンポーネント４２２は、本明細書で論じるように、区分コンポーネント４３８と連動して作動し、画像データを区分できる。
【0050】
一般に、計画コンポーネント４２４は環境を横断するために車両４０２が辿る経路を決定できる。例えば、計画コンポーネント４２４は様々なルート及び軌道並びに様々なレベルの詳細を決定できる。例えば、計画コンポーネント４２４は第１の位置（例えば現在の位置）から第２の位置（例えば目標の位置）へ走行するルートを決定できる。この議論の目的に、ルートは２つの位置の間を走行するための一連の経由地点にできる。非限定的な例として、経由地点は、道路、交差点、全地球測位システム（ＧＰＳ）座標などが含まれる。さらに、計画コンポーネント４２４は、第１の位置から第２の位置への経路の少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも１つの例では、計画コンポーネント４２４は一連の経由地点内の第１の経由地点から一連の経由地点の第２の経由地点まで自律車両をどのようにガイドするかを決定できる。いくつかの例では、命令は軌道又は軌道の一部とすることができる。いくつかの例では、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ技術に従って、複数の軌道を実質的に同時に（例えば、技術的許容範囲内で）生成でき、複数の軌道のうちの１つが車両４０２の走行のために選択される。
【0051】
いくつかの例では、計画コンポーネント４２４は、本明細書で論じるように、オクルージョンフィールド及び／又はオクルージョングリッドの状態に少なくとも部分的に基づいて、車両４０２の１つ以上の軌道を生成できる。いくつかの例では、計画コンポーネント４２４は、線形時相論理及び／又は信号時相論理などの時相論理を使用して、車両４０２の１つ以上の軌道を評価できる。計画コンポーネント４２４における時相論理の利用の詳細は、参照によりその全体が本明細書に組み込まれる米国特許出願第１５／６３２，１４７号に論じられている。
【0052】
少なくとも１つの例示において、車両コンピューティングデバイス４０４は、１つ以上のシステムコントローラ４２６を含むことができ、これは、車両４０２のステアリング、推進、制動、安全性、エミッタ、通信、及びその他のシステムを制御するよう構成できる。これらのシステムコントローラ４２６は、車両４０２の駆動モジュール４１４及び／又は他のコンポーネントの対応するシステムと通信及び／又は制御できる。
【0053】
メモリ４１８はさらに、環境内を走行する車両４０２によって使用できる１つ以上のマップ４２８を含むことができる。この説明の目的上、限定しないが、マップはトポロジ（交差点のような）、通り、山脈、道路、地形、及び一般的な環境などの環境についての情報を提供可能である２次元、３次元、又はＮ次元でモデル化された任意の数のデータ構造とすることができる。いくつかの例では、マップには、限定しないが、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、ラボ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ＬＩＤＡＲ情報、ＲＡＤＡＲ情報など）、空間情報（例えば、メッシュに投影された画像データ、個々の「サーフェル」（例えば、個々の色及び／又は強度に関連付けられたポリゴン））、反射率情報（例えば、鏡面反射率情報、再帰反射率情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができる。一例では、マップは環境の３次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の個別部分を表すように、マップをタイルフォーマットで格納でき、必要に応じて作業メモリに読み込むことができる。少なくとも１つの例では、１つ以上のマップ４２８は、少なくとも１つのマップ（例えば、画像及び／又はメッシュ）を含むことができる。いくつかの例では、車両４０２は、マップ４２８に少なくとも部分的に基づいて制御できる。すなわち、マップ４２８を、位置測定コンポーネント４２０、知覚コンポーネント４２２、及び／又は計画コンポーネント４２４に関連して使用して、車両４０２の位置を決定し、環境内の物体を識別し、並びに／又は環境内を走行するためのルート及び／若しくは軌道を生成できる。
【0054】
いくつかの例では、１つ以上のマップ４２８は、ネットワーク４４６を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス４４８など）に格納できる。いくつかの例では、複数のマップ４２８は、例えば、特性（例えば、エンティティタイプ、時刻、曜日、季節など）に基づいて格納できる。複数のマップ４２８を格納することは同様のメモリ要件を有するが、マップ内のデータにアクセスできる速度を増加できる。
【0055】
いくつかの例では、１つ以上のマップ４２８は、環境内の個々の位置に関連付けられたオクルージョングリッドを格納できる。例えば、車両４０２が環境を横断すると、及び車両４０２に近接する領域を表すマップがメモリに読み込まれると、位置に関連付けられた１つ以上のオクルージョングリッドもメモリに読み込むことができる。
【0056】
いくつかの例では、予測コンポーネント４３０は、環境内の物体の予測軌道を生成する機能を含むことができる。例えば、予測コンポーネント４３０は、車両４０２からの閾値距離内で、車両、歩行者、動物などの１つ以上の予測軌道を生成できる。いくつかの例では、図８に関連して論じるように、予測コンポーネント４３０は物体の痕跡を測定し、物体が環境内のオクルージョン領域に進入している時の物体の軌道を生成できる。従って、物体が車両４０２の１つ以上のセンサから可視でない場合でさえ、予測コンポーネント４３０は、物体がセンサデータに取り込まれなくても、物体についてのデータを維持するようにメモリ内の物体の軌道を延長できる。
【0057】
一般に、オクルージョン監視コンポーネント４３２は、オクルージョングリッドデータを生成及び／又はアクセスし、オクルージョングリッドのオクルージョン領域及び非オクルージョン領域を決定する、並びにオクルージョングリッドのオクルージョンフィールドのオクルージョン状態及び／又は占有状態を決定する機能を含むことができる。いくつかの例では、オクルージョン監視コンポーネント４３２は、図１のオクルージョン監視コンポーネント１０８に対応できる。本明細書で論じるように、オクルージョン監視コンポーネント４３２は、ＬＩＤＡＲデータ、画像データ、マップデータなどを受信して、環境内のオクルージョン関連情報を決定できる。いくつかの例では、オクルージョン監視コンポーネント４３２は計画コンポーネント４２４にオクルージョン情報を提供して、いつ車両４０２を制御し環境を横断させるかを決定できる。オクルージョン監視コンポーネント４３２は予測コンポーネント４３０にオクルージョン情報を提供して、環境内のオクルージョン領域内の１つ以上の物体の予測軌道を生成できる。オクルージョン監視コンポーネント４３２の追加の詳細はメモリ４１８に格納された残りのコンポーネントに関連して論じる。
【0058】
オクルージョン領域コンポーネント４３４はオクルージョンであるオクルージョングリッドの一部（例えば、図１のオクルージョン領域１２６と同様の）を決定する、及び非オクルージョンであるオクルージョングリッドの一部（例えば、図１の非オクルージョン領域１２４と同様の）を決定する機能を含むことができる。例えば、オクルージョン領域コンポーネント４３４は、ＬＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータなどを受信して、領域が車両４０２の１つ以上のセンサから「可視」であるかどうかを決定できる。いくつかの例では、オクルージョン領域コンポーネント４３４はセンサデータをマップデータに投影して、データが配置されていないマップの領域を決定する機能を含むことができる。いくつかの例では、マップデータを使用して、観測可能な領域の「外側」に領域があることを決定し、領域をオクルージョン領域と決定できる。いくつかの例では、オクルージョン領域コンポーネント４３４は環境内の物体に基づいてオクルージョン領域を動的に生成できる。
【0059】
光線放射コンポーネント４３６は、ＬＩＤＡＲデータを受信し、特定のオクルージョンフィールドのオクルージョン状態及び／又は占有状態を決定するために、オクルージョンフィールドを通るようにＬＩＤＡＲデータを光線放射する機能を含むことができる。いくつかの例では、光線放射コンポーネント４３６は特定のオクルージョンフィールドに関連付けられたＬＩＤＡＲリターンの予想数を決定でき、特定のフィールドに関連付けられた実際のＬＩＤＡＲリターンの数を決定できる。いくつかの例では、本明細書で論じるように、光線放射コンポーネント４３６はオクルージョンフィールドのオクルージョン状態及び／又は占有状態に関連付けられた信頼レベルを決定できる。理解できるように、本明細書で論じる機能は、ＬＩＤＡＲデータに限定されず、複数のセンサ技術（例えば、ＲＡＤＡＲ、ＳＯＮＡＲ、飛行時間型イメージャ、深度カメラなど）を使用してオクルージョン状態及び／又は占有状態を決定するために使用できる。
【0060】
区分コンポーネント４３８は、画像データを受信し、画像データを区分して、画像データで表される様々な物体及び／又は領域を識別する機能を含むことができる。例えば、区分コンポーネント４３８は、限定しないが、運転可能路面、自由空間（例えば、運転可能路面）及び／又は非自由空間、車両、歩行者、建物、植生などを含む画像データを識別及び意味分類内に区分するように訓練された１つ以上の機械学習アルゴリズムを含むことができる。いくつかの例では、区分コンポーネント４３８は知覚コンポーネント４２２と連動して作動し、例えば、画像データ及び／又はＬＩＤＡＲデータに対して意味区分を実行できる。
【0061】
投影コンポーネント４４０は区分された画像データ並びにオクルージョングリッド及びオクルージョンフィールドを含むマップデータを受信し、オクルージョンフィールドを区分画像データに投影する機能を含むことができる。いくつかの例では、投影コンポーネント４４０は、オクルージョンフィールドを運転可能路面（例えば、クリアな道路）に、領域を占有する、又はそうでなければ未決定の物体（例えば、車両）に投影するかどうかを決定することによって、１つ以上のオクルージョンフィールドの占有率を決定できる。
【0062】
オクルージョンコンテキストコンポーネント４４２は環境のコンテキストに基づいて、オクルージョングリッド、特にオクルージョン領域の占有率を決定する機能を含むことができる。理解できるように、オクルージョングリッドの一部は車両４０２がオクルージョン領域のセンサデータを取り込み得ないような物体によってオクルージョンであることができる。いくつかの例では、オクルージョンコンテキストコンポーネント４４２はオクルージョン領域の物理的に前方の領域を監視し（例えば、トラフィックフローの方向に関して）、物体がオクルージョン領域に進入しているかどうかを決定できる。オクルージョン領域のサイズ、及びその後の時間の経過に基づいて、物体がオクルージョン領域に進入していない場合、オクルージョンコンテキストコンポーネント４４２はオクルージョン領域が占有されていないことを決定できる。非限定的な例として、そのようなオクルージョンコンテキストコンポーネント４４２は２車線道路の交差点に接近する車両の存在を決定でき、オクルージョン領域の後方を通過する物体が検出されないという決定に基づいて、オクルージョンコンテキストコンポーネント４４２はオクルージョン領域が非占有であると決定できる。いくつかの例では、占有状態の決定に関連付けられた信頼レベルは時間の経過とともに増加できる（例えば、追加の観測値を蓄積することによって）。いくつかの例では、動的に生成されたオクルージョングリッドの場合、オクルージョングリッドの存続期間は、オクルージョングリッドがインスタンス化されてからの時間量に対応できる。いくつかの例では、オクルージョングリッドの占有状態の信頼レベルは、オクルージョングリッドの存続期間に少なくとも部分的に基づくことができる。いくつかの例では、オクルージョンコンテキストコンポーネント４４２は、ＬＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータなどを受信して、オクルージョン領域のコンテキストを決定できる。
【0063】
速度コンポーネント４４４は、環境を横断している間の車両４０２の速度及び／又は加速度レベルを決定する機能を含むことができる。いくつかの例では、速度及び／又は加速レベルは、限定しないが、低速（例えば、「クリープモード」）、通常の速度（例えば、通常速度）、及び高速（例えば、「ブーストモード」）を含むことができる。例えば、交差点又は領域全体を横断することなく交差点又は領域に進入する車両４０２のために、低速レベルを選択できる。例えば、そして図６に関連して論じられるように、通常制御に従って進行する前に、車両４０２を制御し軌道に沿って緩やかに移動させ、より多くの領域を「見」て、オクルージョン領域のサイズを減少させ得る。そのような軌道の場合、速度コンポーネント４４４は低速を選択できる。別の例として、オクルージョングリッドがクリアである場合、環境を横断する車両４０２のために通常速度を選択できる。場合によっては、オクルージョングリッドのサイズが障害物に起因し減少する場合、及び／又は環境内の限られた視線に基づき、高速を選択して、車両４０２が対向車に曝すことのできる時間を減少できる。いくつかの例では、速度コンポーネント４４４は、計画コンポーネント４２４及び／又はシステムコントローラ４２６と連動して作動し、車両４０２の加速度を制御できる。
【0064】
理解できるように、本明細書で論じるコンポーネント（例えば、位置測定コンポーネント４２０、知覚コンポーネント４２２、計画コンポーネント４２４、１つ以上のシステムコントローラ４２６、１つ以上のマップ４２８、予測コンポーネント４３０、オクルージョン監視コンポーネント４３２、オクルージョン領域コンポーネント４３４、光線放射コンポーネント４３６、区分コンポーネント４３８、投影コンポーネント４４０、オクルージョンコンテキストコンポーネント４４２、及び速度コンポーネント４４４）は、例示の目的で分離されたものとして説明する。ただし、様々なコンポーネントによって実行される操作は、他の任意のコンポーネントと組み合わす、又は他の任意のコンポーネントで実行できる。例として、区分機能は知覚コンポーネント４２２（例えば、区分コンポーネント４３８ではなく）によって実行され、システムによって転送されるデータの量を減少し得る。
【0065】
いくつかの例では、本明細書で論じるコンポーネントの内のいくつか又は全ての態様は、任意のモデル、アルゴリズム及び／又は機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、メモリ４１８（及び以下で論じるメモリ４５２）の中のコンポーネントをニューラルネットワークとして実装できる。
【0066】
本明細書で説明するように、例示のニューラルネットワークは、入力データを一連の接続された層に通して出力を作りだす生物学的に着想を得たアルゴリズムである。ニューラルネットワークの各層はまた別のニューラルネットワークを含むことができ、又は任意の数の層（畳み込みかどうかに関係なく）を含むことができる。本開示のコンテキストで理解できるように、ニューラルネットワークは機械学習を利用でき、これは学習されたパラメータに基づいて出力が生成されるようなアルゴリズムの広範なクラスを指すことができる。
【0067】
ニューラルネットワークのコンテキストで論じたが、任意のタイプの機械学習をこの開示と一致して使用できる。例えば限定しないが、機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定されたスカープロット平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木））、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均１依存推定量（ＡＯＤＥ）、ベイジアン信念ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、ディープラーニングアルゴリズム（例えばディープボルツマンマシーン（ＤＢＭ）、ディープブリーフネットワーク（ＤＢＮ）、重畳型ニューラルネットワーク（ＣＮＮ）、スタック・オートエンコーダ）、次元数削減アルゴリズム（例えば主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集計（バギング）、アダブースト、スタック一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースティング回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などの方法を含むことができる。
【0068】
アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
【0069】
少なくとも１つの例では、センサシステム４０６は、ＬＩＤＡＲセンサ、ｒａｄａｒセンサ、超音波トランスデューサー、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えばＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイク、ホイールエンコーダ、環境センサ（例えば温度センサ、湿度センサ、光センサ、圧力センサなど）など、を含むことができる。センサシステム４０６は、センサのこれら又は他のタイプのそれぞれの複数の実例を含むことができる。例えば、ＬＩＤＡＲセンサは、車両４０２のコーナー、フロント、バック、サイド、及び／又はトップに設置された個々のＬＩＤＡＲセンサを含むことができる。別の例として、カメラセンサは車両４０２の外部及び／又は内部の様々な位置に配置された複数のカメラを含むことができる。センサシステム４０６は車両コンピューティングデバイス４０４に入力を提供できる。追加的又は代替的に、センサシステム４０６は、所定の期間が経過した後、ほぼ実時間で、特定の周波数で１つ以上のコンピューティングデバイスに１つ以上のネットワーク４４６を介してセンサデータを送信できる。いくつかの例では、センサシステム４０６は図１のセンサシステム１０４に対応できる。
【0070】
車両４０２はまた、上記のように、光及び／又は音を発するための１つ以上のエミッタ４０８を含むことができる。この例示のエミッタ４０８は車両４０２の乗客と通信するための内部オーディオ及びビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、ライト、標識、ディスプレイ画面、タッチスクリーン、触覚エミッタ（例えば、振動及び／又はフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例のエミッタ４０８はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の方向又は車両の作動の他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）を信号で送るためのライト、及び音響ビームステアリング技術を備える１つ以上の歩行者又は他の近くの車両と音声で通信するための１つ以上のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。
【0071】
車両４０２はまた、車両４０２と１つ以上の他のローカル又はリモートコンピューティングデバイスとの間の通信を可能にする１つ以上の通信接続部４１０を含むことができる。例えば、通信接続部４１０は車両４０２及び／又は駆動モジュール４１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部４１０は、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にできる。通信接続部４１０はまた、車両４０２が遠隔操作コンピューティングデバイス又は他の遠隔サービスと通信することを可能にする。
【0072】
通信接続部４１０は車両コンピューティングデバイス４０４を別のコンピューティングデバイス又はネットワーク４４６などのネットワークに接続するための物理的及び／又は論理的インターフェースを含むことができる。例えば、通信接続部４１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈなどの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、又はそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線又は無線通信プロトコルを可能にできる。
【0073】
少なくとも１つの例では、車両４０２は１つ以上の駆動モジュール４１４を含むことができる。いくつかの例では、車両４０２は単一の駆動モジュール４１４を有することができる。少なくとも１つの例では、車両４０２が複数の駆動モジュール４１４を有する場合、個々の駆動モジュール４１４は車両４０２の両端部（例えば前部及び後部など）に位置付けできる。少なくとも１つの例では、駆動モジュール４１４は駆動モジュール４１４及び／又は車両４０２の周囲の状況を検出するための１つ以上のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、駆動モジュールのホイールの回転を感知するための１つ以上のホイールエンコーダ（例えばロータリーエンコーダ）、駆動モジュールの向きと加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラ又はその他の画像センサ、駆動モジュールの周囲の物体を音響的に検出するための超音波センサ、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサなど、を含むことができる。ホイールエンコーダなどの一部のセンサは駆動モジュール４１４に固有のものにできる。場合によっては、駆動モジュール４１４上のセンサシステムは車両４０２の対応するシステム（例えばセンサシステム４０６）と重複又は補足できる。
【0074】
駆動モジュール４１４は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流を他の車両システムで使用する交流に変換するインバーター、ステアリングモーター及びステアリングラック（電動とすることができる）を含むステアリングシステム、油圧又は電気アクチュエータを含むブレーキシステム、油圧及び／又は空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば車両の外部環境を照らすヘッド／テールライトなどの照明）、及び１つ以上の他のシステム（例えば冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント）を含む多くの車両システムを含むことができる。さらに、駆動モジュール４１４は、センサシステムからデータを受信し事前処理し、様々な車両システムの操作を制御できる駆動モジュールコントローラを含むことができる。いくつかの例では、駆動モジュールコントローラは、１つ以上のプロセッサ、及び１つ以上のプロセッサと通信可能に結合されたメモリを含むことができる。メモリは１つ以上のモジュールを格納して、駆動モジュール４１４の様々な機能を実行できる。さらに、駆動モジュール４１４はまた、それぞれの駆動モジュールによる１つ以上の他のローカル又はリモートコンピューティングデバイスとの通信を可能にする１つ以上の通信接続部を含む。
【0075】
少なくとも１つの例では、直接接続部４１２は１つ以上の駆動モジュール４１４を車両４０２の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部４１２は、駆動モジュール４１４と車両との間のエネルギー、流体、空気、データなどの転送を可能にできる。いくつかの例では、直接接続部４１２はさらに駆動モジュール４１４を車両４０２の本体に着脱可能に固定できる。
【0076】
少なくとも１つの例では、位置測定コンポーネント４２０、知覚コンポーネント４２２、計画コンポーネント４２４、１つ以上のシステムコントローラ４２６、１つ以上のマップ４２８、予測コンポーネント４３０、オクルージョン監視コンポーネント４３２、オクルージョン領域コンポーネント４３４、光線放射コンポーネント４３６、区分コンポーネント４３８、投影コンポーネント４４０、オクルージョンコンテキストコンポーネント４４２、及び速度コンポーネント４４４は、上記のようにセンサデータを処理でき、それぞれの出力を１つ以上のネットワーク４４６を介して、１つ以上のコンピューティングデバイス４４８へ送信できる。少なくとも１つの例では、位置測定コンポーネント４２０、知覚コンポーネント４２２、計画コンポーネント４２４、１つ以上のシステムコントローラ４２６、１つ以上のマップ４２８、予測コンポーネント４３０、オクルージョン監視コンポーネント４３２、オクルージョン領域コンポーネント４３４、光線放射コンポーネント４３６、区分コンポーネント４３８、投影コンポーネント４４０、オクルージョンコンテキストコンポーネント４４２、及び速度コンポーネント４４４は、所定の期間が経過した後、ほぼ実時間で、特定の周波数で、それぞれの出力を１つ以上のコンピューティングデバイス４４８に送信できる。
【0077】
いくつかの例では、車両４０２はネットワーク４４６を介してセンサデータを１つ以上のコンピューティングデバイス４４８に送信できる。いくつかの例では、車両４０２は未処理のセンサデータをコンピューティングデバイス４４８に送信できる。他の例では、車両４０２は処理済みのセンサデータ及び／又はセンサデータの表現をコンピューティングデバイス４４８に送信できる。いくつかの例では、車両４０２は、所定の期間の経過後、ほぼ実時間で、特定の周波数にてセンサデータをコンピューティングデバイス４４８に送信できる。場合によっては、車両４０２はセンサデータ（未処理又は処理済み）を１つ以上のログファイルとしてコンピューティングデバイス４４８に送信できる。
【0078】
コンピューティングデバイス４４８は、プロセッサ４５０及びマップコンポーネント４５４を格納したメモリ４５２を含むことができる。
【0079】
いくつかの例では、マップコンポーネント４５４は、オクルージョングリッドをマップ位置に関連付ける機能を含むことができる。いくつかの例では、マップコンポーネント４５４は交差点に接近する車両が通行権を持たない交差点を識別でき、例えばその位置のオクルージョングリッドを生成できる。いくつかの例では、マップコンポーネント４５４は、例えば、車両４０２の視界を減少させ得る丘の頂上によって引き起こされる地形的オクルージョン領域を識別できる。いくつかの例では、図５に関連して論じるように、例えば、オクルージョングリッドのサイズは、交差点の距離、制限速度、制限速度安全係数などの領域特性に少なくとも部分的に基づくことができる。
【0080】
車両４０２のプロセッサ４１６及びコンピューティングデバイス４４８のプロセッサ４５０は本明細書で説明するようにデータを処理し操作を実行するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ４１６及び４５０は、１つ以上の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、又は電子データを処理して電子データをレジスタ又はメモリに格納できる他の電子データに変換する他の任意のデバイス又はデバイスの一部、を備えることができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスはまた、それらが符号化された命令を実装するよう構成される限り、プロセッサと見なすことができる。
【0081】
メモリ４１８及び４５２は非一時的コンピュータ可読媒体の例である。メモリ４１８及び４５２は、オペレーティングシステム及び１つ以上のソフトウェアアプリケーション、命令、プログラム、及び／又はデータを格納して、本明細書に記載の方法及び様々なシステムに起因する機能を実装できる。様々な実装では、メモリを、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、又は情報を格納可能な任意のその他のタイプのメモリなど、適切なメモリ技術を使用して実装できる。本明細書で説明するアーキテクチャ、システム、及び個々の要素は、他の多くの論理的、プログラム的、及び物理的なコンポーネントを含むことができ、それらの添付図面に示すものは、本明細書の議論に関連する単なる例にすぎない。
【0082】
図４は分散システムとして示されているが、代替の例では、車両４０２のコンポーネントをコンピューティングデバイス４４８に関連付けることができ、及び／又はコンピューティングデバイス４４８のコンポーネントは車両４０２に関連付けることができる、という事に留意すべきである。すなわち、車両４０２はコンピューティングデバイス４４８に関連付けられた機能のうちの１つ以上を実行でき、逆もまた同様である。さらに、オクルージョン監視コンポーネント４３２及び／又は予測コンポーネント４３０の態様は、本明細書で論じるデバイスのいずれかで実行できる。
【0083】
図２、図３、及び図５から図１１は、本開示の実施形態による例示のプロセスを示す。これらのプロセスはロジカルフローグラフとして図示され、このそれぞれの操作は、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて実装できる一連の操作を表す。ソフトウェアのコンテキストにおいては、操作は、１つ以上のプロセッサで実行したときに、列挙した操作を実行する１つ以上のコンピュータ可読記録媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は特定の機能を実行する、又は特定の抽象的データタイプを実装するルーチン、プログラム、物体、コンポーネント、データ構造などを含む。操作が記載される順序は限定して解釈されることを意図するものではなく、任意の数の記載される操作を任意の順序で及び／又は並行し結合して、プロセスを実装することができる。
【0084】
図５は、本開示の実施形態による、領域特性に基づいてオクルージョングリッドを生成するための例示のプロセス５００の図解フロー図である。例えば、プロセス５００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。
【0085】
オペレーション５０２において、プロセスは領域特性を評価することを含むことができる。いくつかの例では、領域特性は、これらに限定しないが、交差点（又は領域）距離（例えば、交差する交差点の幅）、制限速度、車両速度、安全係数などを含むことができる。例５０４は交差点１１０の領域特性を示している。例えば、交差点１１０は交差点距離５０６に関連付けられており、これは交差点１１０のストップライン５０８と交差点１１０の出口に関連付けられた位置との間の距離を表す。いくつかの例では、車両１０２は交差点を横切ろうとする際に交差点１１０内で静止を維持し無い場合があり、従って、車両１０２を制御しチェックライン５１０まで走行させることがある。いくつかの例では、チェックライン５１０は、交通の流れを妨げることなく、車両１０２が走行できる交差点１１０から最も遠いものを表すことができる。すなわち、チェックライン５１０を超えると、車両１０２は対向車を妨げることがある。車両１０２がチェックライン５１０まで移動する場合、交差点距離５０６を更新し、車両１０２が横断する交差点１１０の減少した距離を反映できる。いくつかの例では、ストップライン５０８及び／又はチェックライン５１０をマップデータとして格納、又は環境内で取り込まれたセンサデータに基づいて動的に生成できる。
【0086】
交差点１１０はまた制限速度５１２に関連付けられ得る。理解できるように、交差点１１０を横断する車両が到達すると予想される速度を効果的に上昇させる制限速度５１２に、安全係数を関連付けることができる。例えば、制限速度５１２が時速２５マイルである交差点では、安全係数は追加時速１５マイルであり得る。つまり、交差点１１０を横断する少なくともいくつかの車両はスピード違反と推定される。このような安全係数を考慮しこの仮定は立てられている。
【0087】
例５０４はまた、平均速度、「クリープモード」、及び「ブーストモード」に関連付けられた車両１０２を示している。理解できるように、平均速度は交差点距離５０６を横断する車両１０２の予想される平均速度とすることができる。さらに、交差点１１０の少なくとも一部を緩やかに又は速やかに横断するための様々な加速レベルに車両１０２を関連付けることができる。
【0088】
オペレーション５１４において、プロセスは領域特性に少なくとも部分的に基づいてオクルージョングリッドを生成することを含むことができる。例５０４では、オクルージョングリッドが生成され、交差点１１０に関連付けられる。いくつかの例では、オクルージョングリッド５１６は、オクルージョングリッドの長さ５１８（又は、より一般的には、オクルージョングリッド５１６の範囲（例えば、長さ、幅、高さ））に関連付けることができる。一例として、限定しないが、オクルージョングリッドの長さ５１８は、車両１０２が軌道を開始する際にオクルージョングリッド５１６がクリアである場合、車両１０２の平均速度で交差点距離５０６に関連付けられた交差点１１０を横断する車両１０２が、制限速度５１２（及び安全係数）で走行する車両と交差できないようなサイズにできる。すなわち、オクルージョングリッドの長さ５１８は、オクルージョングリッド５１６がクリアである場合、車両１０２が交差点１１０を安全に横断可能なサイズである。理解できるように、領域特性に少なくとも部分的に基づいてオクルージョングリッド５１６を生成することは、安全な走行を確実にすることを要求されるよりも、追加のリソースを操作に割り当てることなく安全結果を改善する。
【0089】
いくつかの例では、交差点に関連付けられた可視領域の長さが、交差点の地形により制限又は限定され得る。例えば、交差点の前の道路は車両１０２によって感知できる領域のサイズを減少させるヘアピンターン又は他の障害物を含み得る。いくつかの例では、交差点についての地理的及び／又は地形的情報（例えば、最大可視距離）を使用しオクルージョングリッド５１６のサイズを設定して、車両１０２が物理的な可能性を超えるクリアな領域を予想する状況を回避できる。従って、車両の速度及び／又は加速度を設定し、車両がそのような交差点を安全に横断できることを確実にできる。同様に、本明細書で論じるように、非オクルージョン領域のサイズに関連付けられた閾値又は未決定の占有状態に関連付けられた閾値を、感知された領域のサイズに基づいて調整できる。
【0090】
図６は本開示の実施形態による、交差点でのオクルージョングリッドを評価し、車両を制御し交差点を横断させるための例示のプロセス６００の図解フロー図である。例えば、プロセス６００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。
【0091】
オペレーション６０２において、プロセスは交差点でのオクルージョングリッドを評価することを含むことができる。例６０４では、車両１０２は交差点１１０のストップライン６０６に示されている。交差点１１０に関連付けられたマップデータに少なくとも部分的に基づいて、車両１０２はオクルージョングリッド６０８をメモリに読み込むことができる。さらに、車両１０２は、マップデータに基づいてストップライン６０６を決定でき、又は環境内のストップライン６０６を識別することに基づいてストップライン６０６を生成できる。さらに、チェックライン６１０はメモリからアクセスされることが、又は交差点１１０の路肩若しくは保護された領域を識別することに基づいて決定されることができる。
【0092】
いくつかの例では、１つ以上の障害物６１２（ここでは駐車中の車の列）及び建物６３２に関する車両１０２の位置により、車両１０２は、非オクルージョン領域６１４をオクルージョングリッド６０８の一部に関連付けることができ、及びオクルージョン領域６１６をオクルージョングリッド６０８の一部に関連付けることができる。図示のように、オクルージョン領域６１６に対応するオクルージョングリッドの個々のオクルージョンフィールドは灰色で網掛けされ、一方、非オクルージョン領域６１４は網掛けされない。理解できるように、物体６１８は、オクルージョン領域６１６を占有できるが、車両１０２はオクルージョン領域６１６に関連付けられたセンサデータを受信し得ない為、車両１０２は物体６１８（例えば、対応する占有状態が未決定であり得る）の存在について知らないこととなる。
【0093】
いくつかの例では、オペレーション６０２は、非オクルージョン領域６１４のオクルージョンフィールドが可視及び非占有である一方で、オクルージョン領域６１６のオクルージョンフィールドが不可視であり占有状態が未知（例えば、未決定）である、と決定することを含むことができる。いくつかの例では、オクルージョン領域６１６内のオクルージョンフィールドのデフォルト状態は、占有済み状態（又は占有済み状態として扱われるべき未決定状態）とすることができる。
【0094】
オペレーション６２０において、プロセスはオクルージョングリッドの第１の評価（例えば、交差点を安全に横断するのに十分な情報がないという決定）に少なくとも部分的に基づいて、車両を制御し位置を変更させることを含むことができる。例６２２では、車両１０２を制御しストップライン６０６からチェックライン６１０に移動させ、オクルージョングリッド６０８の非オクルージョン領域６１４のサイズを増加させることができる（例えば、車両１０２のセンサからの利用可能なデータの量を増加させることによって）。従ってオクルージョングリッド６０８のオクルージョン領域６１６のサイズが減少する。例６２２に示すように、オクルージョングリッド６０８の大部分は車両１０２に対して非オクルージョンであるが、この時、車両１０２はオクルージョングリッド６０８内の物体６１８を識別できるようになっている。従って物体６１８に対応するオクルージョングリッド６０８のオクルージョンフィールドは占有領域６２４として識別される（そして例示の目的で、黒で網掛けされている）。同様に、物体６１８は車両１０２の感知領域に関する「網掛け」を生成でき、オクルージョン領域６３４によって示される（及び例６２２では網掛けの灰色として）。従って交差点１１０にさらに進入することなく、車両１０２を制御しチェックライン６１０で待機させることができる。いくつかの例では、車両１０２を制御しチェックライン６１０へ緩やかに（例えば、速度閾値未満で）前進（例えば、「クリープモード」）させることができるが、任意の加速度及び／又は速度を使用できる。
【0095】
オペレーション６２６において、プロセスは、オクルージョングリッドの第２の評価に少なくとも部分的に基づいて、車両を制御し交差点を横断させることを含むことができる。例６２８では、物体６１８はオクルージョングリッド６０８を出ており、この時、可視及び非占有である。従って、車両１０２は、軌道６３０に少なくとも部分的に基づいて交差点１１０を横断するものとして示されている。いくつかの例では、車両１０２を制御し通常又は高加速（例えば、「ブーストモード」）を使用して交差点１１０を通って加速させることができるが、任意の加速を使用できる。
【0096】
いくつかの例では、オペレーション６０２、６２０、及び／又は６２６を車両１０２によって連続的に実行し、環境の状態を経時的に監視できる。いくつかの例では、プロセス６００は、環境を継続的に評価するために、１０ヘルツ（Ｈｚ）（又は任意の周波数）の周波数でオクルージョングリッドを評価することを含むことができる。
【0097】
図７は、本開示の実施形態による、交差点でのオクルージョングリッドを評価し、車両を制御し交差点を横断させるための別の例示のプロセス７００の図解フロー図である。例えば、プロセス７００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。
【0098】
オペレーション７０２において、プロセスは交差点でのオクルージョングリッドを評価することを含むことができる。いくつかの例では、オペレーション７０２は環境内の障害物を識別することに応答してオクルージョングリッドを生成することを含むことができる。例７０４では、車両１０２は交差点１１０にて、無防備な左折（例えば、車両１０２には緑色の矢印がなく、対向車に道を譲らなければならない）を実行するような、軌道７０６を辿ろうとしている。いくつかの例では、車両１０２は環境内の物体７０８（例えば、車両）を識別でき、オクルージョングリッド７１０を物体７０８に関連付けることができる。本明細書で論じるように、車両はＬＩＤＡＲデータ及び／又は画像データを受信して、オクルージョングリッド７１０内のオクルージョンフィールドのオクルージョン状態及び／又は占有状態を評価できる。
【0099】
オペレーション７１２において、プロセスは車両１０２を制御し交差点で待機させることを含むことができる。理解できるように、オクルージョンであるオクルージョングリッド７１０（交差点１１０を安全に横断するのに十分な量の情報を提供しないオクルージョングリッド７１０）の一部に少なくとも部分的に基づいて、及び／又は交差点１１０を横断する物体７０８に少なくとも部分的に基づいて、車両１０２を制御し交差点１１０に待機させることができる。
【0100】
オペレーション７１４において、プロセスは、オクルージョングリッドをクリアであると（又はそうでなければ、軌道７０６に従って交差点１１０の安全な横断を可能にするのに十分な情報を提供すると）評価することを含むことができる。例７１６では、物体７０８は交差点１１０を横切ってオクルージョングリッド７１０の外に進んだものとして示されている。いくつかの例では、オペレーション７１４は、オクルージョンフィールドが可視であり占有されていない（又はそうでなければ未決定である）と、従ってオクルージョングリッド７１０がクリアである（又は十分な情報を提供する）と決定するために、ＬＩＤＡＲデータ及び／又は画像データを取り込むことを含むことができる。
【0101】
オペレーション７１８において、プロセスは、オクルージョングリッドがクリアであることに少なくとも部分的に基づいて、車両１０２を制御して交差点を横断させることを含むことができる。いくつかの例では、オペレーション７１８は、車両１０２に環境を横断するように指示する前に、オクルージョングリッド７１０がクリアになる（又は、軌道７０６の安全な横断を決定するのに十分な量の情報を提供する）のを所定の時間（例えば、１秒、２秒など）待機することを含むことができる。例７１６に示すように、車両１０２は軌道７０６を介して交差点１１０を横断している。さらに、オクルージョングリッド７１０は障害物から可視及びクリアであると示されている。
【0102】
図８は、本開示の実施形態による、物体に関連付けられたオクルージョン領域を決定し、オクルージョン領域内の動的物体の予測軌道を生成するための例示のプロセス８００の図解フロー図である。例えば、プロセス８００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。例えば、プロセス８００の一部又は全ては、車両コンピューティングデバイス４０４によって実行できる。
【0103】
オペレーション８０２で、プロセスは物体に関連付けられたオクルージョン領域を決定することを含むことができる。例８０４では、交差点１１０の車両１０２は環境のＬＩＤＡＲデータ及び／又は画像データを取り込む。いくつかの例では、オペレーション８０２は、環境内の物体８０６及び物体８０６に関連付けられたオクルージョン領域８０８を識別することを含むことができる。例８０４では、物体８０６は交差点１１０の近くに駐車された車を表すことができる。いくつかの例では、オペレーション８０２は物体８０６に関連付けられたオクルージョングリッド（不図示）を生成することを含むことができる。いくつかの例では、オクルージョン領域８０８はオクルージョングリッドのオクルージョン部分を表す。いくつかの例では、オペレーション８０２は、本明細書で論じるように、オクルージョングリッドを含むマップデータへアクセスすることを含むことができる。
【0104】
オペレーション８１０において、プロセスはオクルージョン領域８０８に近接する動的物体（例えば、歩行者）を識別することを含むことができる。いくつかの例では、オペレーション８１０は、動的物体８１２（例えば、歩行者）がオクルージョン領域８０８の距離閾値内にあることを決定することを含むことができる。いくつかの例では、オペレーション８１０は、ＬＩＤＡＲデータ、画像データ、及び／又は他のセンサデータを受信して、測定された痕跡８１４として、環境内の動的物体８１２の軌道（例えば、位置、向き、及び速度）を測定することを含むことができる。
【0105】
オペレーション８１６において、プロセスは、動的物体の１つ以上の予測軌道を生成することを含むことができる。例８０４では、１つ以上の予測軌道８１８が、歩行者８１２がオクルージョン領域８０８にいる間に辿る可能性のある経路として示されている（ただし、予測軌道はオクルージョン領域８０８に限定されない）。いくつかの例では、予測軌道８１８は測定された痕跡８１４及び／又は環境内の記号若しくは領域に少なくとも部分的に基づくことができる。例えば、予測軌道は歩行者がオクルージョン領域８０８に進入した時の歩行者８１２の速度及び方向の延長を含み得る。別の例では、予測軌道は交差点の反対側の歩道などの環境の目的地に基づき得る。様々な方法を使用して予測軌道を生成できる。予測軌道を生成することの詳細は、参照によりその全体が本明細書に組み込まれる米国特許出願第１５／８３３，７１５号に論じられている。
【0106】
いくつかの例では、オペレーション８１６は、１つ以上の予測軌道８１８に少なくとも部分的に基づいて、車両１０２を制御することを含むことができる。いくつかの例では、車両１０２の軌道が少なくとも１つの予測軌道の距離閾値内にある場合、車両１０２を制御し動的物体についての追加情報が決定できるまで待機させることができる。いくつかの例では、ある期間が経過するにつれて、車両１０２は歩行者８１２の経路が１つ以上の予測軌道８１８を辿る可能性を示す個々の予測軌道に関連付けられた確率を増加又は減少できる。例えば、時間が経過し、動的物体８１２に関連付けられた観察が行われる又は行われない時、予測軌道の候補リストから軌道を拒否できる（例えば、取り除くこと）。いくつかの例では、動的物体８１２が環境内で観察される時、１つ以上の予測軌道がオクルージョン領域８０８内の動的物体８１２の動向を描かない又は関連付けられない場合、それらを拒否できる。
【0107】
図９は、本開示の実施形態による、地形的オクルージョングリッドを評価し、車両を制御し地形的障害物を横断させるための例示のプロセス９００の図解フロー図である。例えば、プロセス９００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。例えばプロセス９００の一部又は全ては車両コンピューティングデバイス４０４によって実行できる。
【0108】
オペレーション９０２において、プロセスはオクルージョングリッドを評価することを含むことができる。いくつかの例では、オクルージョングリッドは環境内の地形的（例えば、地理的）特徴に応答して生成された地形的オクルージョングリッドとすることができる。例９０４では、オクルージョングリッド９０６が丘の頂上に関連して示されている。理解できるように、車両１０２が丘に近づくと、地面の高低差及び角度に起因して、丘の頂上に車両１０２から可視ではない領域が自然と生じる。一例では、オクルージョングリッド９０６は、非オクルージョン領域９０８及びオクルージョン領域９１０に関連付けられている。図示のように、車両１０２はオクルージョングリッド９０６を横断するＬＩＤＡＲ光線９１２を放出し、非オクルージョン領域９０８及びオクルージョン領域９１０を識別する。
【0109】
理解できるように、車両１０２が丘の頂上に近づくと、車両１０２は丘の頂上の地面のセンサデータを取り込み不可能となり得る。いくつかの実施形態では、これは車両１０２の視界を減少させ、それに応じて車両１０２は環境を走行する車両１０２の速度を低下できる。
【0110】
しかしながら、オペレーション９１４において、プロセスは少なくとも１つのオクルージョンフィールドの占有率を決定することを含むことができる。例えば、オクルージョングリッド９０６は少なくとも１つのオクルージョンフィールド９１６を含む。例９０４に示すように、オクルージョンフィールド９１６はＬＩＤＡＲ光線９１２がオクルージョンフィールド９１６に関連付けられた地面のセンサデータを取り込むことができないような丘の頂上に位置している。いくつかの例では、オクルージョングリッド９０６は、オクルージョン又は非オクルージョンである特定の領域を示す領域の地形的情報（例えば、高さ情報）を含むマップデータを介してアクセスできる。さらに、そのようなマップ情報は、車両１０２の位置に基づいて、例えば、表面上にいくつのデータポイント（例えば、ＬＩＤＡＲリターン）が予想できるかを示すことができる。しかしながら、オクルージョンフィールド９１６は３次元の空間ボリュームを含む、又は関連付けられているので、ＬＩＤＡＲ光線９１２はオクルージョンフィールド９１６の一部を横断できる。いくつかの例では、本明細書で論じるように、ＬＩＤＡＲ光線９１２の光線放射に少なくとも部分的に基づいて、オペレーション９１４はオクルージョンフィールド９１６の占有率を決定することを含むことができる。この例では、オクルージョンフィールド９１６は車両１０２から可視であり（オクルージョン状態を決定する目的で）、障害物によって占有されていない。
【0111】
オペレーション９１８において、プロセスは占有率に少なくとも部分的に基づいて車両（例えば、車両１０２）を制御することを含むことができる。例えば、環境内の丘を表すオクルージョングリッド９０６を評価することで、センサが山頂の丘を越えて地上データを直接取り込めないにもかかわらず、車両１０２は丘の頂上を「見渡す」ことができる。従って、車両１０２は、丘の頂上を越えたオクルージョングリッド９０６の占有率に基づいて、軌道を計画し及び／又は速度を決定できる。非限定的な例として、車両１０２は、オクルージョングリッド９０６によって提供される情報が丘を安全に横断するのに十分であるように、速度、向き、又は位置の内の１つ以上を調整し得る。
【0112】
図１０は、本開示の実施形態による、ＬＩＤＡＲデータを光線放射することに基づいて、及び／又は画像データへのオクルージョンフィールドの投影に基づいて、オクルージョンフィールドの占有率を決定し、車両を制御し環境を横断させるための例示のプロセス１０００を示す。例えば、プロセス１０００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。例えば、プロセス１０００の一部又は全ては、車両コンピューティングデバイス４０４によって実行できる。
【0113】
オペレーション１００２において、プロセスは自律車両に近接する環境を表すマップデータにアクセスすることを含むことができ、マップデータはオクルージョンフィールドを含むオクルージョングリッドを含む。いくつかの例では、オペレーション１００２は、環境内の車両の位置を決定すること、及び車両の距離閾値内にあるマップデータにアクセスすること（例えば、ｒｅｃｅｄｉｎｇ ｈｏｒｉｚｏｎ）を含むことができる。本明細書で論じるように、いくつかの例では、オクルージョングリッドは複数のオクルージョンフィールドを含むことができ、各オクルージョンフィールドは環境の個別部分（例えば、運転可能路面の一部）を表す。いくつかの例では、オクルージョンフィールドは、オクルージョン状態（例えば、オクルージョンフィールドが車両から可視であるかどうか）及び占有状態（例えば、オクルージョンフィールドが環境内の物体によって占有されているか、又はそうでなければ未決定であるかどうか）を表すことができる。
【0114】
オペレーション１００４において、プロセスは自律車両上のセンサを使用してセンサデータを取り込むことを含むことができる。いくつかの例では、オペレーション１００４は環境のＬＩＤＡＲデータ及び／又は画像データを取り込むこと含むことができる。
【0115】
オペレーション１００６において、プロセスはオクルージョンフィールドの占有率を決定することを含むことができる。いくつかの例では、オペレーション１００６はまたオクルージョンフィールドの可視性を決定することを含むことができる。いくつかの例では、オペレーション１００６はＬＩＤＡＲデータ（例えば、オペレーション１００８）及び／又は画像データ（例えば、オペレーション１０１０）に少なくとも部分的に基づいて、オクルージョンフィールドの占有率を決定することを含むことができる。
【0116】
オペレーション１００８において、プロセスはＬＩＤＡＲデータを光線放射し、オクルージョンフィールドの占有率を決定することを含むことができる。図２に関連して及び本開示を通して論じるように、ＬＩＤＡＲデータの光線放射は、オクルージョンフィールドを通過するＬＩＤＡＲリターンの予想数（例えば、オクルージョンフィールド上のボクセル空間の列内のボクセルを通過し得る）を決定すること、及び上記で詳細に論じたそのようなオクルージョンフィールド上を通過するボクセルの総数に関するオクルージョンフィールドを通過するＬＩＤＡＲリターンの実数を決定すること、を含むことができる。もちろん、オペレーション１００８はＬＩＤＡＲデータがオクルージョンフィールド内の物体を表すことを決定することを含むことができ、その場合、オクルージョンフィールドが占有されているであろう。リターンの閾値数（又はパーセンテージ）がリターン無しを示す場合、占有状態は非占有であり得る。そうでなければ、占有状態が未決定であり得る。
【0117】
オペレーション１０１０において、プロセスはオクルージョンフィールドを区分された画像データに投影し、オクルージョンフィールドの占有率を決定することを含むことができる。図３に関連して及び本開示全体を通して論じたように、画像センサによって取り込まれた画像データを区分し、運転可能な領域、車両、歩行者などの位置を決定できる。オクルージョンフィールドの位置を区分された画像データに投影して、オクルージョンフィールドの位置が運転可能路面に対応するかどうかを決定できる。対応する場合、オクルージョンフィールドは占有されていないが、例えばオクルージョンフィールドが車両に投影されている場合、オクルージョンフィールドは占有されている、又はそうでなければ未決定であると決定できる。オクルージョンフィールドが占有されているかどうかの決定をオペレーション１０１２にて行うことができる。
【0118】
オペレーション１０１２において、オクルージョンフィールドの閾値数が占有されている（「ｙｅｓ」）、又は未決定である場合、プロセスはオペレーション１０１４に続く。オペレーション１０１４において、プロセスは、占有率に少なくとも部分的に基づいて、オクルージョングリッドがクリアでないと決定することを含むことができる。例えば、車両が安全に環境を横断し得ると決定するのに十分な数の非占有のオクルージョンフィールドがない場合、プロセスは戻り得る。いくつかの例では、オペレーション１０１４はオクルージョンフィールドの閾値数が占有されている、又は未決定であると決定することを含むことができる。いくつかの例では、オペレーション１０１４は車両を制御しオクルージョングリッドの大部分を観察するための位置に走行させることを含むことができる。プロセスはオペレーション１００４に戻って、オクルージョンフィールドの、従ってオクルージョングリッドの状態を決定するための追加のデータを取り込むことができる。
【0119】
オクルージョンフィールドが占有されていない場合（オペレーション１０１２で「ｎｏ」）、プロセスはオペレーション１０１６に続く。オペレーション１０１６において、プロセスは、占有率に少なくとも部分的に基づいて、オクルージョングリッドがクリアである、又はそうでなければ環境を安全に横断するのに十分な情報を提供すると決定することを含むことができる。
【0120】
オペレーション１０１８において、プロセスは、オクルージョングリッドがクリアであることに少なくとも部分的に基づいて、自律車両を制御し環境を横断させることを含むことができる。
【0121】
図１１は、本開示の実施形態による、オクルージョングリッドを示すマップデータに基づいて、又は環境内の障害物の識別に基づいて、オクルージョングリッドを決定し、車両を制御し環境を横断させるための例示のプロセス１１００を示す。例えば、プロセス１１００の一部又は全ては、本明細書で説明するように、図４における１つ以上のコンポーネントによって実行できる。例えば、プロセス１１００の一部又は全ては車両コンピューティングデバイス４０４によって実行できる。
【0122】
オペレーション１１０２において、プロセスは自律車両を制御し環境内の第１の位置まで横断させることを含むことができる。場合によっては、第１の位置は環境内の交差点のストップラインを表すことができる。
【0123】
オペレーション１１０４において、プロセスは自律車両上のセンサを使用して環境のセンサデータを取り込むことを含むことができる。いくつかの例では、オペレーション１１０４は、環境内のＬＩＤＡＲデータ、画像データ、ＲＡＤＡＲデータなどを取り込むことを含むことができる。
【0124】
オペレーション１１０６において、プロセスは、１）マップデータがオクルージョングリッドを示しているかどうか、又は２）障害物が環境内で識別されているかどうかを決定することを含むことができる。「ｎｏ」の場合（例えば、マップデータが、その位置に関連付けられたオクルージョングリッドがある、及び環境内で識別された物体がない、と示さない）、プロセスはオペレーション１１０２に戻ることができ、それにより自律車両は新しい位置に移動でき（オペレーション１１０２）、及び／又は自律車両が基準運転行動（例えば、センサデータに基づく軌道生成）に従って環境内のセンサデータを取り込むことができるようになる（オペレーション１１０４）。オペレーション１１０６において、「ｙｅｓ」の場合（例えば、マップデータが、その位置に関連付けられたオクルージョングリッドがある、又は環境内に識別された物体があると示す）、プロセスはオペレーション１１０８に続く。
【0125】
オペレーション１１０８において、プロセスは、複数のオクルージョンフィールドを含むオクルージョングリッドを決定することを含むことができ、オクルージョンフィールドは環境内の対応する領域の可視性及び占有率を示す。いくつかの例では、オクルージョングリッドはマップデータからアクセスでき、いくつかの例では、オクルージョングリッドは物体の識別に少なくとも部分的に基づいて動的に生成できる。
【0126】
オペレーション１１１０において、プロセスは、オクルージョン領域として及びセンサデータに少なくとも部分的に基づいて、第１の時間において、オクルージョングリッドの少なくとも一部がオクルージョンであると決定することを含むことができる。本明細書で論じるように、第１の時間においてオクルージョン領域は自律車両の１つ以上のセンサから可視ではあり得ない。
【0127】
オペレーション１１１２において、プロセスは、オクルージョン領域に少なくとも部分的に基づいて、自律車両を制御し第１の位置に留まらせる又は第２の位置を横断させることを含むことができる。第１の位置に留まらせる例は図７に関連して論じ、車両を制御し第２の位置を横断させる例は図６に関連して論じている。例えば、第２の位置をチェックラインにでき、自律車両を第２の位置まで走行させ、より多くのオクルージョングリッドを見ることを可能にする。
【0128】
オペレーション１１１４において、プロセスは、センサデータに少なくとも部分的に基づいて、第２の時間において、オクルージョン領域（又はオクルージョン領域に対応する環境の一部）が可視であると決定することを含むことができる。図６に関して、環境内の障害物がオクルージョングリッド全体のデータを取り込むことからセンサを妨害しないように、自律車両は第２の位置に走行し得る。図７に関して、自律車両は移動する障害物のために待機し得、それによりセンサがオクルージョングリッドを表すデータを取り込むことを可能にする。
【0129】
オペレーション１１１６において、プロセスは、第２の時間において、可視であるオクルージョン領域に少なくとも部分的に基づいて、自律車両を制御することを含むことができる。いくつかの例では、オペレーション１１１６はまた、自律車両が環境を安全に横断できることを示すオクルージョングリッドが占有されていないと決定することを含むことができる。
【0130】
［例示的な発明内容］
Ａ：１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を格納した１つ以上のコンピュータ可読媒体と、を備えたシステムであって、前記命令は、実行されると、前記システムに、自律車両上のＬＩＤＡＲセンサを使用してＬＩＤＡＲデータを取り込むステップと、前記自律車両に近接する環境を表すマップデータであって、複数のオクルージョンフィールドを含むオクルージョングリッドを含むマップデータにアクセスするステップであって、前記複数のオクルージョンフィールドのオクルージョンフィールドが前記環境の一部のオクルージョン状態及び占有状態に関連付けられる、ステップと、前記ＬＩＤＡＲデータの一部を光線放射し、前記オクルージョンフィールドの前記占有状態及び前記オクルージョン状態を決定するステップと、前記オクルージョンフィールドに少なくとも部分的に基づいて、前記オクルージョングリッドに関連付けられた情報の十分性を決定し、前記自律車両が前記環境を横断するための安全な軌道を決定するステップと、前記自律車両を制御し前記安全な軌道に従って前記環境を横断させるステップと、を含む操作を実行させる、システム。
Ａ：１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を格納した１つ以上のコンピュータ可読媒体と、を備えたシステムであって、前記命令は、実行されると、前記システムに、自律車両上のＬＩＤＡＲセンサを使用してＬＩＤＡＲデータを取り込むステップと、前記自律車両に近接する環境を表すマップデータであって、複数のオクルージョンフィールドを含むオクルージョングリッドを含むマップデータにアクセスするステップであって、前記複数のオクルージョンフィールドのオクルージョンフィールドが前記環境の一部のオクルージョン状態及び占有状態に関連付けられる、ステップと、前記ＬＩＤＡＲデータの一部を光線放射し、前記オクルージョンフィールドの前記占有状態及び前記オクルージョン状態を決定するステップと、前記オクルージョンフィールドに少なくとも部分的に基づいて、前記オクルージョングリッドに関連付けられた情報の十分性を決定し、前記自律車両が前記環境を横断するための安全な軌道を決定するステップと、前記自律車両を制御し前記安全な軌道に従って前記環境を横断させるステップと、を含む操作を実行させる、システム。
【0131】
Ｂ：前記操作が、前記自律車両上の画像センサを使用して画像データを取り込むステップと、前記画像データの少なくとも一部に対して意味区分を実行して、前記環境内の少なくとも運転可能路面を識別する区分された画像データを生成するステップと、前記オクルージョンフィールドを前記区分された画像データに投影するステップと、前記オクルージョンフィールドが前記運転可能路面に投影されていることを決定するステップと、前記運転可能路面に投影されている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記自律車両を制御し前記環境を横断させるステップと、をさらに備える段落Ａに記載のシステム。
【0132】
Ｃ：前記複数のオクルージョンフィールドが前記環境内の運転可能路面の一部を個別化し、前記オクルージョンフィールドの前記オクルージョン状態が前記ＬＩＤＡＲセンサによる前記オクルージョンフィールドの可視性を示す、段落Ａ又は段落Ｂに記載のシステム。
【0133】
Ｄ：前記操作が、前記オクルージョンフィールドに関連付けられたＬＩＤＡＲリターンの第１の数と、前記オクルージョンフィールドに関連付けられた個別化された領域の第２の数と、に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態に関連付けられた信頼値を決定するステップをさらに備える段落Ａから段落Ｃに記載のいずれかのシステム
【0134】
Ｅ：前記第２の数に対する前記第１の数の第１の比率が閾値未満であることは前記オクルージョンフィールドの非占有状態の高い信頼性を示し、前記第２の数に対する前記第１の数の第２の比率が前記閾値以上であることは前記オクルージョンフィールドの占有済み状態の高い信頼性を示す、段落Ｄに記載のシステム。
【0135】
Ｆ：ロボットプラットフォーム上のセンサを使用してセンサデータを取り込むステップと、前記センサデータに少なくとも部分的に基づいて、前記ロボットプラットフォームの位置を決定するステップと、前記位置の前記ロボットプラットフォームに近接する環境を表すマップデータであって、オクルージョングリッドを含むマップデータにアクセスするステップと、前記オクルージョングリッドのオクルージョンフィールドの占有状態を決定するステップと、前記オクルージョンフィールドに少なくとも部分的に基づいて、情報の十分性を決定し、前記オクルージョングリッドに近接する前記環境の領域を横断する軌道を決定するステップと、前記オクルージョングリッドの前記占有状態に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御するステップと、を備える方法。
【0136】
Ｇ：前記センサデータとして前記ロボットプラットフォーム上のＬＩＤＡＲセンサを使用してＬＩＤＡＲデータを取り込むステップと、前記ＬＩＤＡＲデータの一部を光線放射して、前記オクルージョンフィールドの前記占有状態を決定するステップであって、前記占有状態は、占有済み状態、非占有状態、又は未決定状態の１つを含む、ステップと、前記ＬＩＤＡＲデータの一部を光線放射して、前記オクルージョンフィールドのオクルージョン状態を決定するステップであって、前記オクルージョン状態は可視又はオクルージョンであることの１つを含む、ステップと、前記オクルージョングリッドがクリアであることに少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、をさらに備え、前記情報の十分性は、前記オクルージョングリッドのサイズ又は前記オクルージョングリッドに関連付けられた制限速度の少なくとも１つに関係して、前記ＬＩＤＡＲセンサから可視である前記オクルージョングリッドのオクルージョンフィールドの数に少なくとも部分的に基づいて決定される、段落Ｆに記載の方法。
【0137】
Ｈ：前記光線放射が、前記オクルージョンフィールドの上の領域に関連付けられた予想のＬＩＤＡＲリターンの第１の数を決定するステップと、前記オクルージョンフィールドの上の前記領域に関連付けられた実際のＬＩＤＡＲリターンの第２の数を決定するステップと、前記予想のＬＩＤＡＲリターンの第１の数及び前記実際のＬＩＤＡＲリターンの第２の数に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有率に関連付けられた信頼値を決定するステップと、前記信頼値が信頼閾値以上であると決定するステップと、を備える段落Ｇの方法。
【0138】
Ｉ：前記ロボットプラットフォーム上の画像センサを使用して、画像データを前記センサデータとして取り込むステップと、前記画像データの少なくとも一部に対して区分を実行して、前記環境内の運転可能路面を識別する区分された画像データを生成するステップと、前記オクルージョンフィールドを前記区分された画像データに投影するステップと、前記オクルージョンフィールドを前記運転可能路面に投影すると決定するステップと、前記運転可能路面に投影する前記オクルージョンフィールドに少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、をさらに備える段落Ｆから段落Ｈのいずれかに記載の方法。
【0139】
Ｊ：前記ロボットプラットフォームが自律車両を含み、前記自律車両に近接する前記環境が交差点を含み、前記方法が、前記自律車両が横断する前記交差点の距離を決定するステップと、前記交差点に関連付けられた制限速度を決定するステップと、前記交差点の前記距離と、前記制限速度と、安全係数と、に少なくとも部分的に基づいて、前記オクルージョングリッドの範囲を決定するステップと、をさらに備える段落Ｆから段落Ｉのいずれかに記載の方法。
【0140】
Ｋ：前記自律車両が前記交差点の前記距離を横断する予想される時間に少なくとも部分的に基づいて、前記オクルージョングリッドの前記範囲を決定するステップをさらに備える段落Ｊに記載の方法。
【0141】
Ｌ：前記オクルージョンフィールドが時相論理記号を含み、前記方法が、前記時相論理記号を含む時相論理式の評価に少なくとも部分的に基づいて軌道を検証するステップと、前記軌道に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、をさらに備える段落Ｆから段落Ｋのいずれかに記載の方法。
【0142】
Ｍ：前記オクルージョングリッドが複数のオクルージョンフィールドを含み、前記方法が、前記複数のオクルージョンフィールドの閾値数が前記センサから可視であり、前記ロボットプラットフォームを制御し前記環境を横断させる前に、非占有であると決定するステップ、をさらに備える段落Ｆから段落Ｌのいずれかに記載の方法。
【0143】
Ｎ：前記オクルージョングリッドの一部が前記センサから可視ではないと決定するステップと、前記ロボットプラットフォームを制御し前記センサから可視である前記オクルージョングリッドの前記一部を増やす位置に移動させるステップと、をさらに備える段落Ｆから段落Ｍのいずれかに記載の方法。
【0144】
Ｏ：実行されると、１つ以上のプロセッサに、ロボットプラットフォーム上のセンサを使用して取り込まれたセンサデータを受信するステップと、前記センサデータに少なくとも部分的に基づいて、前記ロボットプラットフォームの位置を決定するステップと、前記位置の前記ロボットプラットフォームに近接する環境を表すマップデータであって、オクルージョングリッドを含むマップデータにアクセスするステップと、前記オクルージョングリッドのオクルージョンフィールドの占有状態を決定するステップと、前記オクルージョンフィールドに少なくとも部分的に基づいて、情報の十分性を決定し、前記オクルージョングリッドに近接する前記環境の領域を横断する軌道を決定するステップと、前記オクルージョングリッドの前記占有状態に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御するステップと、を含む操作を実行させる命令を格納した非一時的コンピュータ可読媒体。
【0145】
Ｐ：前記センサデータがＬＩＤＡＲデータであり、前記センサがＬＩＤＡＲセンサであり、前記操作は、前記ＬＩＤＡＲデータの一部を光線放射し前記オクルージョンフィールドの前記占有状態及びオクルージョン状態を決定するステップと、前記占有状態及び前記オクルージョン状態に少なくとも部分的に基づいて、前記オクルージョングリッドに関連付けられた前記情報の十分性を決定するステップと、前記情報の十分性に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、をさらに備える段落Ｏに記載の非一時的コンピュータ可読媒体。
【0146】
Ｑ：前記光線放射は、前記オクルージョンフィールド上の領域に関連付けられた予想のＬＩＤＡＲリターンの第１の数を決定するステップと、前記オクルージョンフィールド上の前記領域に関連付けられた実際のＬＩＤＡＲリターンの第２の数を決定するステップと、前記予想のＬＩＤＡＲリターンの第１の数及び前記実際のＬＩＤＡＲリターンの第２の数に少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態に関連付けられた信頼値を決定するステップと、前記信頼値が信頼閾値以上であると決定するステップであって、前記信頼閾値以上である前記信頼レベルは前記オクルージョンフィールドが非占有であることを示す、ステップと、を備える段落Ｐに記載の非一時的コンピュータ可読媒体。
【0147】
Ｒ：前記ロボットプラットフォーム上の画像センサを使用して、画像データを前記センサデータとして取り込み、前記画像データの少なくとも一部に対して区分を実行し、前記環境内の運転可能路面を識別する区分された画像データを生成し、前記オクルージョンフィールドを前記区分された画像データに投影し、前記オクルージョンフィールドを前記運転可能路面に投影すると決定する、段落Ｏから段落Ｑのいずれかに記載の非一時的コンピュータ可読媒体。
【0148】
Ｓ：前記操作は、前記オクルージョングリッドの一部が前記センサから可視ではないと決定するステップと、前記ロボットプラットフォームを制御し前記オクルージョングリッド全体が前記センサから可視である位置に移動させるステップと、をさらに備え、前記ロボットプラットフォームの速度が速度閾値を下回る、段落Ｏから段落Ｒのいずれかに記載の非一時的コンピュータ可読媒体。
【0149】
Ｔ：前記センサデータが第１のセンサデータであり、前記操作が、前記ロボットプラットフォーム上の画像センサによって取り込まれた画像データを、前記第１のセンサデータとして受信するステップと、前記ロボットプラットフォーム上のＬＩＤＡＲセンサによって取り込まれたＬＩＤＡＲデータを、第２のセンサデータとして受信するステップと、前記第１のセンサデータ及び前記第２のセンサデータに少なくとも部分的に基づいて、前記オクルージョンフィールドの前記占有状態に関連付けられた信頼値を決定するステップと、をさらに備える段落Ｏから段落Ｓのいずれかに記載の非一時的コンピュータ可読媒体。
【0150】
Ｕ：１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行可能な命令を格納した１つ以上のコンピュータ可読媒体と、を備えたシステムであって、前記命令は、実行されると、前記システムに、自律車両を制御し環境内の第１の位置を横断させるステップと、前記自律車両のセンサを使用して、少なくとも前記環境のＬＩＤＡＲデータ又は画像データを、センサデータとして取り込むステップと、マップデータにアクセスすることに又は環境内の障害物を識別することに少なくとも部分的に基づいて、複数のオクルージョンフィールドを含むオクルージョングリッドを決定するステップであって、前記オクルージョングリッドのオクルージョンフィールドが前記環境の対応する領域のオクルージョン状態及び占有状態を示す、ステップと、オクルージョン領域として、及び前記センサデータに少なくとも部分的に基づいて、第１の時間において前記オクルージョングリッドの少なくとも第１の部分がオクルージョンであると決定するステップと、非オクルージョン領域として、及び前記センサデータに少なくとも部分的に基づいて、前記第１の時間において前記オクルージョングリッドの少なくとも第２の部分が非オクルージョンであると決定するステップと、前記第２の部分の範囲及び占有率に少なくとも部分的に基づいて、前記環境を通る軌道を安全に横断することに関連付けられた信頼レベルを決定するステップと、閾値レベル未満の前記信頼レベルに少なくとも部分的に基づいて、前記自律車両を制御し前記第１の位置に留まらせる、又は第２の位置まで横断させるステップと、第２の時間において前記センサデータに少なくとも部分的に基づいて、前記オクルージョングリッドの第３の部分が可視及び非占有であると決定するステップと、前記第２の時間において可視及び非占有である前記オクルージョングリッドの前記第３の部分に少なくとも部分的に基づいて、前記自律車両を制御するステップと、を含む操作を実行させる、システム。
【0151】
Ｖ：前記操作が、前記自律車両が他の通行車に道を譲る必要がある交差点に、前記自律車両が接近していると決定するステップ、前記障害物が動的オクルージョングリッドに関連付けられていると決定するステップ、前記オクルージョングリッド内を横断した動的障害物の予測軌道を決定するステップ、又は地形的オクルージョン領域に基づいて前記オクルージョングリッドを決定するステップの１つ以上をさらに備える段落Ｕのシステム。
【0152】
Ｗ：前記センサデータが前記ＬＩＤＡＲデータを含み、前記センサがＬＩＤＡＲセンサであり、前記操作は前記ＬＩＤＡＲデータの一部を光線放射して、前記オクルージョンフィールドの前記オクルージョン状態及び前記占有状態を決定するステップ、をさらに備える段落Ｕ又は段落Ｖに記載のシステム。
【0153】
Ｘ：前記センサデータが画像データであり、前記センサが画像センサであり、前記操作が、前記画像データの少なくとも一部に対して区分を実行して、前記環境内の運転可能路面を識別する区分された画像データを生成するステップと、前記オクルージョンフィールドを前記区分された画像データに投影するステップと、前記オクルージョンフィールドが前記運転可能路面に投影されていると決定するステップと、前記運転可能路面に投影されている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記自律車両を制御し前記環境を横断させるステップと、をさらに備える段落Ｕから段落Ｗのいずれかに記載のシステム。
【0154】
Ｙ：前記操作が、前記複数のオクルージョンフィールドの非オクルージョン及び非占有のオクルージョンフィールドの第１の数を決定するステップと、前記第１の数が前記環境の安全な横断に関連付けられたオクルージョンフィールドの閾値数未満であると決定するステップと、前記第１の数が前記閾値数未満であるということに少なくとも部分的に基づいて、前記自律車両を制御し前記第１の位置に留まらせる又は前記第２の位置まで横断させるステップと、をさらに備える段落Ｕから段落Ｘのいずれかに記載のシステム。
【0155】
Ｚ：自律車両を制御し環境内の第１の位置まで横断させるステップと、マップデータへのアクセス又は環境内の障害物の識別に少なくとも部分的に基づいて、オクルージョングリッドを決定するステップと、オクルージョン領域として、第１の時間において前記オクルージョングリッドの少なくとも第１の部分がオクルージョンであると決定するステップと、非オクルージョン領域として、前記第１の時間において前記オクルージョングリッドの少なくとも第２の部分が可視であると決定するステップと、前記非オクルージョン領域の占有状態を決定するステップと、前記非オクルージョン領域の範囲及び前記非オクルージョン領域の前記占有状態に少なくとも部分的に基づいて、前記自律車両を制御し前記第１の位置に留まらせる又は第２の位置まで横断させるステップと、第２の時間において前記オクルージョングリッドの第３の部分が非オクルージョンである及び非占有であると決定するステップと、前記第２の時間において前記オクルージョングリッドの前記第３の部分が非オクルージョン及び非占有であることに少なくとも部分的に基づいて、前記自律車両を制御するステップと、を含む方法。
【0156】
ＡＡ：前記自律車両が環境内の交差点に接近していることを決定するステップであって、前記自律車両が前記交差点での通行権を欠いている、ステップをさらに備え、前記第１の位置が前記交差点に関連付けられたストップラインであり、前記第２の位置が前記ストップラインを少なくとも部分的に超える前記交差点内にあるチェックラインである、段落Ｚに記載の方法。
【0157】
ＡＢ：前記自律車両を制御し閾値速度未満の第１の速度で前記第１の位置から前記第２の位置まで横断させるステップと、前記第２の位置でのセンサデータを取り込むことを決定するステップと、前記センサデータに少なくとも部分的に基づいて、前記第２の時間において前記第３の部分が非オクルージョン及び非占有であると決定するステップと、前記第３の部分の範囲が閾値以上であると決定するステップと、前記自律車両を制御し前記速度閾値以上の第２の速度で前記第２の位置から前記交差点を横断させるステップと、をさらに備える段落ＡＡの方法。
【0158】
ＡＣ：前記障害物が動的障害物であり、前記方法が、前記環境内の前記動的障害物を識別するステップと、前記オクルージョングリッドを前記動的障害物に関連付けるステップと、前記非オクルージョン領域の前記範囲及び前記非オクルージョン領域の前記占有状態に少なくとも部分的に基づいて、前記第１の時間において前記自律車両を制御し前記第１の位置に留まらせるステップと、前記第２の時間において前記オクルージョングリッドの前記第３の部分が非オクルージョン及び非占有であることに少なくとも部分的に基づいて、前記自律車両を制御するステップと、をさらに備える段落Ｚから段落ＡＢのいずれかに記載の方法。
【0159】
ＡＤ：前記環境内の前記障害物を識別するステップと、前記オクルージョングリッドを前記障害物に関連付けるステップと、前記環境内の動的物体を識別するステップと、前記環境内の前記動的物体のモーションデータを取り込むステップと、前記動的物体が前記オクルージョン領域内を横断したと決定するステップと、前記オクルージョン領域内の前記動的物体の予測軌道を決定するステップと、前記動的物体の前記予測軌道に少なくとも部分的に基づいて、前記自律車両を制御するステップと、をさらに備える段落Ｚから段落ＡＣのいずれかに記載の方法。
【0160】
ＡＥ：前記自律車両が地形的オクルージョン領域までの距離閾値内にあると決定するステップと、地形的オクルージョングリッドとして、前記地形的オクルージョン領域に関連付けられた前記マップデータに少なくとも部分的に基づいて前記オクルージョングリッドを決定するステップと、をさらに備える段落Ｚから段落ＡＤのいずれかの方法。
【0161】
ＡＦ：前記自律車両上のＬＩＤＡＲセンサを使用してＬＩＤＡＲデータを取り込むステップと、前記ＬＩＤＡＲデータの一部を光線放射して、オクルージョンフィールドのオクルージョン状態及び占有状態を決定し、前記オクルージョンフィールドが前記オクルージョングリッドの一部を表す、ステップと、をさらに備える段落Ｚから段落ＡＥのいずれかに記載の方法。
【0162】
ＡＧ：前記自律車両上の画像センサを使用して、画像データを取り込むステップと、前記画像データの少なくとも一部に対して区分を実行して、前記環境内の運転可能路面を識別する区分された画像データを生成するステップと、オクルージョンフィールドを前記区分された画像データに投影するステップであって、前記オクルージョンフィールドが前記オクルージョングリッドの一部を表す、ステップと、前記オクルージョンフィールドが前記運転可能路面に投影されていると決定するステップと、前記運転可能路面に投影されている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記自律車両を制御し前記環境を横断させるステップと、をさらに備える段落Ｚから段落ＡＦのいずれかに記載の方法。
【0163】
ＡＨ：前記環境内を横断するための前記一部の第１の範囲、並びに非オクルージョン及び非占有である前記オクルージョングリッドの前記第３の部分の第２の範囲に少なくとも部分的に基づいて選択された速度に基づいて、前記自律車両を制御し前記環境の一部を横断させるステップをさらに備える段落Ｚから段落ＡＧのいずれかに記載の方法。
【0164】
ＡＩ：前記オクルージョン領域に関連付けられた期間を決定するステップと、前記期間中に前記オクルージョン領域に進入した物体がないと決定するステップと、前記オクルージョン領域に関連付けられた制限速度に少なくとも部分的に基づいて、前記期間に少なくとも部分的に基づいて前記オクルージョン領域の占有率に関連付けられた信頼レベルを決定するステップと、をさらに備える段落Ｚから段落ＡＨのいずれかに記載の方法。
【0165】
ＡＪ：実行されると、１つ以上のプロセッサに、ロボットプラットフォームを制御し環境内の第１の位置まで横断させるステップと、マップに関する前記ロボットプラットフォームの位置を決定するステップであって、前記マップはマップデータを含む、ステップと、前記位置に関連付けられた前記マップデータへアクセスすること、又は前記ロボットプラットフォームに近接する環境内の障害物の特定することに少なくとも部分的に基づいて、オクルージョングリッドを決定するステップと、オクルージョン領域として、第１の時間において前記オクルージョングリッドの少なくとも第１の部分がオクルージョンであると決定するステップと、非オクルージョン領域として、前記第１の時間において前記オクルージョングリッドの少なくとも第２の部分が可視であると決定するステップと、前記非オクルージョン領域の占有状態を決定するステップと、前記非オクルージョン領域の範囲及び前記非オクルージョン領域の前記占有状態に少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記第１の位置に留まらせる、又は第２の位置まで横断させるステップと、第２の時間において前記オクルージョングリッドの第３の部分が非オクルージョン及び非占有であると決定するステップと、前記第２の時間において前記第３の部分が非オクルージョン及び非占有であることに少なくとも部分的に基づいて、前記ロボットプラットフォームを制御するステップと、を含む操作を実行させる命令を格納した非一時的コンピュータ可読媒体。
【0166】
ＡＫ：前記操作が、前記ロボットプラットフォームが他の車両に譲る必要がある環境内の交差点に前記ロボットプラットフォームが接近していると決定するステップをさらに備え、前記第１の位置が前記交差点に関連付けられたストップラインであり、前記第２の位置が前記ストップラインを少なくとも部分的に超えた前記交差点内にあるチェックラインである、段落ＡＪに記載の非一時的コンピュータ可読媒体。
【0167】
ＡＬ：前記操作が、前記ロボットプラットフォーム上のＬＩＤＡＲセンサを使用してＬＩＤＡＲデータを取り込むステップと、前記ＬＩＤＡＲデータの一部を光線放射して、オクルージョンフィールドの占有率を決定するステップであって、前記オクルージョンフィールドが前記オクルージョングリッドの一部を表す、ステップと、前記占有率に少なくとも部分的に基づいて、前記オクルージョングリッドが可視及び非占有であると決定するステップと、をさらに備える段落ＡＪ又は段落ＡＫに記載の非一時的コンピュータ可読媒体。
【0168】
ＡＭ：前記操作が、前記ロボットプラットフォーム上の画像センサを使用して画像データを取り込むステップと、前記画像データの少なくとも一部に対して区分を実行して、前記環境内の運転可能路面を識別する区分された画像データを生成するステップと、オクルージョンフィールドを前記区分された画像データに投影するステップであって、前記オクルージョンフィールドは前記オクルージョングリッドの一部を表す、ステップと、前記オクルージョンフィールドが前記運転可能路面に投影されていると決定するステップと、前記運転可能路面に投影されている前記オクルージョンフィールドに少なくとも部分的に基づいて、前記ロボットプラットフォームを制御し前記環境を横断させるステップと、をさらに備える段落ＡＪから段落ＡＬのいずれかに記載の非一時的コンピュータ可読媒体。
【0169】
ＡＮ：前記操作が、前記オクルージョン領域に関連付けられた期間を決定するステップと、前記期間中に前記オクルージョン領域に進入した物体がないと決定するステップと、安全な軌道に関連付けられた信頼レベルを決定するステップと、をさらに備える段落ＡＪから段落ＡＭのいずれかに記載の非一時的コンピュータ可読媒体。
【0170】
上述の例示の発明内容は１つの特定の実装に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システム及び／又はコンピュータ可読媒体、及び／又はその他の実装を介して実装できることを理解されたい。
【0171】
［結論］ 本明細書で説明する技術の１つ以上の例について説明したが、様々な変更、追加、置換、及びそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
【0172】
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更又は代替を行うことできることを理解されたい。そのような例示、変更又は代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、場合によっては、説明したシステム及び方法の機能を変更することなく、特定の入力を異なる時間又は異なる順序で提供するように、順序を変更できる。開示された手順はまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】