(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-22
(45)【発行日】2023-01-05
(54)【発明の名称】自律車両に関する物体予測を優先順位化するためのシステムおよび方法
(51)【国際特許分類】
G08G 1/16 20060101AFI20221223BHJP
G08G 1/09 20060101ALI20221223BHJP
B60W 30/095 20120101ALI20221223BHJP
B60W 40/04 20060101ALI20221223BHJP
B60W 60/00 20200101ALI20221223BHJP
【FI】
G08G1/16 C
G08G1/09 V
B60W30/095
B60W40/04
B60W60/00
(21)【出願番号】P 2020510567
(86)(22)【出願日】2018-08-20
(86)【国際出願番号】 US2018047032
(87)【国際公開番号】W WO2019040349
(87)【国際公開日】2019-02-28
【審査請求日】2021-08-02
(32)【優先日】2017-08-23
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2017-11-14
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】519444063
【氏名又は名称】ユーエーティーシー, エルエルシー
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人IPX
(72)【発明者】
【氏名】ヘインズ, ガレン クラーク
【審査官】藤村 泰智
(56)【参考文献】
【文献】特表2016-523751(JP,A)
【文献】米国特許出願公開第2017/0120804(US,A1)
【文献】米国特許出願公開第2009/0268946(US,A1)
【文献】米国特許出願公開第2017/0031361(US,A1)
【文献】米国特許第9164511(US,B1)
【文献】米国特許出願公開第2010/0328644(US,A1)
【文献】米国特許出願公開第2017/0120902(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 ~ 1/16
B60W 30/00 ~ 60/00
(57)【特許請求の範囲】
【請求項1】
コンピュータにより実行される方法であって、
1つ以上のプロセッサを備えるコンピューティングシステムが、自律車両によって知覚された複数の物体の少なくとも現在の状態または過去の状態を説明する状態データを取得することと、
前記複数の物体は、前記自律車両の外部の物体であり、
前記コンピューティングシステムが、そのような物体に対する個別の状態データ
、前記自律車両と前記物体とが相互作用するための最小経路、及び、前記自律車両と前記物体とが相互作用するための最小持続時間に少なくとも部分的に基づいて、前記複数の物体の各物体に対する優先順位分類を決定することと、
前記コンピューティングシステムが、前記複数の物体のうちの1つ以上のものに対する前記優先順位分類に少なくとも部分的に基づいて、前記コンピューティングシステムが各物体に対する予測される将来の場所を決定する順序を決定することと、
前記コンピューティングシステムが、前記順序に少なくとも部分的に基づいて、前記複数の物体の各物体に対する前記予測される将来の場所を決定することであって、前記予測される将来の場所を決定することは、より低い優先順位分類を有する物体に対する前記予測される将来の場所を決定することに先立って、より高い優先順位分類を有する物体に対する前記予測される将来の場所を決定することを含む、ことと、
前記コンピューティングシステムが、運動計画システムに、現在のタイムフレームに対して前記より高い優先順位分類を有する前記複数の物体の各物体に対する前記予測される将来の場所を提供することと、
前記コンピューティングシステムが、
前記より高い優先順位分類を有する前記複数の物体のうちの少なくとも1つの前記予測される将来の場所に少なくとも部分的に基づいて、前記自律車両の運動を開始することと
を含む、方法。
【請求項2】
前記状態データは、物体タイプを含み、
前記コンピューティングシステムが各物体に対する前記優先順位分類を決定することは、そのような物体の個別の物体タイプに少なくとも部分的に基づく、
請求項1に記載の
コンピュータにより実行される方法。
【請求項3】
前記コンピューティングシステムが
、前記複数の物体に対する前記予測される将来の場所を決定する前記順序を決定することは、
前記複数の物体の各物体に対する前記優先順位分類に基づいて、物体予測のために前記複数の物体を優先順位化することであって、前記複数の物体を優先順位化することは、前記より低い優先順位分類を有する物体に先立って、物体予測のために前記より高い優先順位分類を有する物体を優先順位化するこ
と
を含む、請求項1に記載のコンピュータにより実行される方法。
【請求項4】
前記コンピューティングシステムが、運動計画システムに、前記現在のタイムフレームに対して前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所と並行して、以前のタイムフレームに対して前記より低い優先順位分類を有する前記複数の物体の各物体に対する前記予測される将来の場所を提供することと
をさらに含む、請求項1に記載のコンピュータにより実行される方法。
【請求項5】
前記コンピューティングシステムが、前記自律車両によって知覚された前記複数の物体の少なくとも前記現在の状態または前記過去の状態を説明する状態データを取得することは、前記コンピューティングシステムが、複数の連続タイムフレームに対して、前記自律車両によって知覚された前記複数の物体の前記現在の状態を説明する状態データを取得することを含む、
請求項1に記載のコンピュータにより実行される方法。
【請求項6】
前記コンピューティングシステムが、前記より高い優先順位分類を有する物体に対する前記予測される将来の場所を決定することは、前記コンピューティングシステムが、現在のタイムフレームに対して取得された状態データに少なくとも部分的に基づいて、前記より高い優先順位分類を有する物体に対する前記予測される将来の場所を決定することを含む、
請求項5に記載のコンピュータにより実行される方法。
【請求項7】
前記コンピューティングシステムが、前記より低い優先順位分類を有する物体に対する前記予測される将来の場所を決定することは、前記コンピューティングシステムが、以前のタイムフレームに対して取得された状態データに少なくとも部分的に基づいて、前記より低い優先順位分類を有する物体に対する前記予測される将来の場所を決定することを含む、
請求項5に記載のコンピュータにより実行される方法。
【請求項8】
前記コンピューティングシステムが、前記自律車両によって知覚された前記複数の物体の少なくとも前記現在の状態または前記過去の状態を説明する状態データを取得することは、
前記自律車両の知覚システムから前記状態データを取得することであって、前記知覚システムは、前記自律車両の1つ以上のセンサから取得されるセンサデータに基づいて前記状態データを生成するように構成される、こと
を含む、請求項1に記載のコンピュータにより実行される方法。
【請求項9】
前記コンピューティングシステムが、前記複数の物体のうちの少なくとも1つに対する前記優先順位分類に少なくとも部分的に基づいて、将来的場所予測システムを選択することをさらに含む、
請求項1に記載のコンピュータにより実行される方法。
【請求項10】
前記コンピューティングシステムが、前記複数の物体のうちの少なくとも1つに対する前記予測される将来の場所を決定することは、前記選択された将来的場所予測システムを使用することを含む、
請求項9に記載のコンピュータにより実行される方法。
【請求項11】
前記将来的場所予測システムは、第1の予測システムまたは第2の予測システムのいずれかを備え、前記第2の予測システムは、前記第1の予測システムより高い忠実性を有し、
前記コンピューティングシステムが、前記より低い優先順位分類を有する各物体に対する前記予測される将来の場所を決定することは、前記コンピューティングシステムが、前記第1の予測システムを使用して、そのような物体に対する前記予測される将来の場所を決定することを含み、
前記コンピューティングシステムが、前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所を決定することは、前記コンピューティングシステムが、前記第2の予測システムを使用して、そのような物体に対する前記予測される将来の場所を決定することを含む、
請求項10に記載のコンピュータにより実行される方法。
【請求項12】
前記コンピューティングシステムが、各物体に対する前記優先順位分類を決定することは、前記自律車両の閾値速度または速度範囲に基づいて、高優先順位物体として分類されるべき前記複数の物体の数を決定することを含む、
請求項1に記載のコンピュータにより実行される方法。
【請求項13】
前記複数の物体の各物体の前記現在の状態または前記過去の状態は、位置、速度、加速、進行方向、ヨーレート、形状、サイズ、タイプ、前記自律車両からの距離、前記自律車両と相互作用するための最小経路、または前記自律車両と相互作用するための最小持続時間のうちの1つ以上のものを含む、
請求項1に記載のコンピュータにより実行される方法。
【請求項14】
コンピューティングシステムであって、
1つ以上のプロセッサを備える知覚システムであって、前記知覚システムは、複数の連続タイムフレームの各々に対し、自律車両によって知覚された複数の物体の各々の少なくとも現在の状態を説明する状態データを生成するように構成される、知覚システムと、
前記複数の物体は、前記自律車両の外部の物体であり、
1つ以上のプロセッサを備える優先順位分類システムであって、前記優先順位分類システムは、前記複数の連続タイムフレームの各々に対し、各物体に対する個別の状態データ
、前記自律車両と前記物体とが相互作用するための最小経路、及び、前記自律車両と前記物体とが相互作用するための最小持続時間に少なくとも部分的に基づいて、前記複数の物体の各物体に優先順位分類を割り当てるように構成される、優先順位分類システムと、
1つ以上のプロセッサを備える予測システムであって、前記予測システムは、前記複数の連続タイムフレームの各々に対し、
前記複数の物体の各物体に対する前記優先順位分類を受信することと、
現在のタイムフレームに対して、前記複数の物体の各物体に対する予測される将来の場所を決定することと、
前記複数の物体の各物体に対する前記予測される将来の場所を、前記1つ以上のプロセッサによって実装される運動計画システムに提供することであって、より高い優先順位分類を有する各物体に対する前記予測される将来の場所は、より低い優先順位分類を有する各物体に対する前記予測される将来の場所に先立って、前記運動計画システムに提供される、ことと
を行うように構成される、予測システムと、
前記より高い優先順位分類を有する前記複数の物体のうちの少なくとも1つの前記予測される将来の場所に少なくとも部分的に基づいて、前記自律車両の運動と関連付けられる1つ以上の車両制御を制御するように構成される車両コントローラと
を備える、コンピューティングシステム。
【請求項15】
前記予測システムは、
前記運動計画システムに、以前のタイムフレームに対して前記より低い優先順位分類を有する各物体に対する予測される将来の場所を提供する
ようにさらに構成され、
前記以前のタイムフレームに対して前記より低い優先順位分類を有する各物体に対する前記予測される将来の場所は、前記現在のタイムフレームに対して前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所と並行して、前記運動計画システムに提供される、
請求項14に記載のコンピューティングシステム。
【請求項16】
前記予測システムは、
前記現在のタイムフレームに対して、前記より低い優先順位分類を有する各物体に対する前記予測される将来の場所を決定することに先立って、前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所を決定する
ようにさらに構成される、請求項14に記載のコンピューティングシステム。
【請求項17】
前記予測システムは、
前記現在のタイムフレームに対する状態データに基づいて、前記現在のタイムフレームに対して、前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所を決定することと、
以前のタイムフレームに対する状態データに基づいて、前記現在のタイムフレームに対して、前記より低い優先順位分類を有する各物体に対する前記予測される将来の場所を決定することと
を行うようにさらに構成される、請求項14に記載のコンピューティングシステム。
【請求項18】
前記予測システムは、
前記より低い優先順位分類を有する各物体に対する低忠実性予測を実施することと、
前記より高い優先順位分類を有する各物体に対する高忠実性予測を実施することと
を行うようにさらに構成される、請求項14に記載のコンピューティングシステム。
【請求項19】
自律車両であって、
1つ以上のプロセッサと、
1つ以上の非一過性コンピュータ可読媒体であって、前記1つ以上の非一過性コンピュータ可読媒体は、命令を集合的に記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、動作を実施させ、前記動作は、
自律車両によって知覚された複数の物体の物体タイプを説明する状態データを取得することと、
前記複数の物体は、前記自律車両の外部の物体であり、
そのような物体に関する個別の物体タイプ
、前記自律車両と前記物体とが相互作用するための最小経路、及び、前記自律車両と前記物体とが相互作用するための最小持続時間に少なくとも部分的に基づいて、前記複数の物体の各物体に対する優先順位分類を決定することと、
前記複数の物体のうちの1つ以上のものに対する前記優先順位分類に少なくとも部分的に基づいて、前記1つ以上のプロセッサが各物体に対する予測される将来の場所を決定する順序を決定することと、
前記順序に少なくとも部分的に基づいて、前記複数の物体の各物体に対する前記予測される将来の場所を決定することであって、前記予測される将来の場所を決定することは、より低い優先順位分類を有する物体に対する前記予測される将来の場所を決定することに先立って、より高い優先順位分類を有する物体に対する前記予測される将来の場所を決定することを含む、ことと、
1つ以上のプロセッサを備える運動計画システムに、現在のタイムフレームに対して前記より高い優先順位分類を有する前記複数の物体の各物体に対する前記予測される将来の場所を提供することと、
前記より高い優先順位分類を有する前記複数の物体のうちの少なくとも1つの前記予測される将来の場所に少なくとも部分的に基づいて、前記自律車両の運動を開始することと
を含む、1つ以上の非一過性コンピュータ可読媒体と
を備える、自律車両。
【請求項20】
前記動作は
、
前記現在のタイムフレームに対して前記より高い優先順位分類を有する各物体に対する前記予測される将来の場所と並行して、以前のタイムフレームに対して前記より低い優先順位分類を有する前記複数の物体の各物体に対する前記予測される将来の場所を提供するこ
と
をさらに含む、請求項19に記載の自律車両。
【発明の詳細な説明】
【技術分野】
【0001】
(優先権の主張)
本願は、両方とも、参照することによって本明細書に組み込まれる、2017年8月23日の出願日を有する米国仮出願第62/549,407号、2017年11月14日の出願日を有する米国出願第15/811,865号に基づき、その優先権を主張する。
【0002】
本開示は、概して、自律車両に関する。より具体的には、本開示は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、物体に関する将来的場所を予測するためのシステムおよび方法に関する。
【背景技術】
【0003】
自律車両は、その環境を感知し、殆どまたは全く人間入力を伴わずに、ナビゲートすることが可能である車両である。特に、自律車両は、種々のセンサを使用して、その周囲環境を観察することができ、種々の処理技法をセンサによって収集されたデータ上で実施することによって、環境を把握するように試みることができる。その周囲環境の知識を前提として、自律車両は、そのような周囲環境を通した適切な運動経路を識別することができる。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施形態の側面および利点は、以下の説明に部分的に記載されるであろう、または説明から学習されることができる、または実施形態の実践を通して学習されることができる。
【0005】
本開示の一例示的側面は、コンピュータ実装方法を対象とする。本方法は、1つ以上のプロセッサを備える、コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する、状態データを取得するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。本方法はさらに、コンピューティングシステムによって、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。
【0006】
本開示の別の例示的側面は、コンピューティングシステムを対象とする。コンピューティングシステムは、1つ以上のプロセッサを備える、知覚システムを含むことができる。知覚システムは、複数の連続タイムフレームの各々に対し、自律車両によって知覚された複数の物体のそれぞれの少なくとも現在の状態を説明する、状態データを生成するように構成されることができる。コンピューティングシステムはさらに、1つ以上のプロセッサを備える、優先順位分類システムを含むことができる。優先順位分類システムは、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の連続タイムフレームの各々に対し、複数の物体内の各物体を高優先順位または低優先順位のいずれかとして分類するように構成されることができる。コンピューティングシステムはさらに、1つ以上のプロセッサを備える、予測システムを含むことができる。予測システムは、複数の連続タイムフレームの各々に対し、各個別の物体に対する優先順位分類を受信し、現在のタイムフレームに対して、高優先順位として分類された各物体に対する予測される将来的状態を決定し、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を、1つ以上のプロセッサによって実装される運動計画システムに提供するように構成されることができる。
【0007】
本開示の別の例示的側面は、自律車両を対象とする。自律車両は、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、動作を実施させる、命令を集合的に記憶する、1つ以上の非一過性コンピュータ可読媒体とを含むことができる。動作は、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する、状態データを取得するステップを含むことができる。動作はさらに、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。動作はさらに、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。動作はさらに、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。
【0008】
本開示の他の側面は、種々のシステム、装置、非一過性コンピュータ可読媒体、ユーザインターフェース、および電子デバイスを対象とする。
本発明は、例えば、以下を提供する。
(項目1)
コンピュータ実装方法であって、
1つ以上のプロセッサを備えるコンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することと、
前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することと、
前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する前記優先順位分類に基づいて、前記コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定することと、
前記コンピューティングシステムによって、少なくとも部分的に、前記決定された順序に基づいて、各物体に対する前記予測される将来的状態を決定することと
を含む、方法。
(項目2)
前記コンピューティングシステムによって、少なくとも部分的に、前記物体のうちの少なくとも1つに関する前記予測される将来的状態に基づいて、前記自律車両に関する運動計画を決定することをさらに含む、項目1に記載のコンピュータ実装方法。
(項目3)
前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、各物体を高優先順位または低優先順位のいずれかとして分類することを含む、項目1または2に記載のコンピュータ実装方法。
(項目4)
前記コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することは、前記コンピューティングシステムによって、複数の連続タイムフレームに対して、前記自律車両によって知覚された前記複数の物体の現在の状態を説明する状態データを取得することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目5)
前記コンピューティングシステムによって、高優先順位として分類された物体に関する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、直近のタイムフレームに対して取得された状態データに基づいて、前記物体に関する前記予測される将来的状態を決定することを含む、項目4に記載のコンピュータ実装方法。
(項目6)
前記コンピューティングシステムによって、低優先順位として分類された物体に関する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前の順次タイムフレームに対して取得された状態データに基づいて決定された前記物体に関する予測される将来的状態を決定することを含む、項目4または5に記載のコンピュータ実装方法。
(項目7)
前記コンピューティングシステムによって、少なくとも部分的に、物体に関する前記優先順位分類に基づいて、物体に関する予測される将来的状態を決定することは、
前記コンピューティングシステムによって、少なくとも部分的に、前記物体に関する前記優先順位分類に基づいて、将来的場所予測システムを選択することと、
前記コンピューティングシステムによって、前記選択された将来的場所予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することと
を含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目8)
前記将来的場所予測システムは、低忠実性予測システムまたは高忠実性予測システムのいずれかを備え、
各物体に対する前記優先順位分類は、高優先順位または低優先順位分類のいずれかを備え、
前記コンピューティングシステムによって、各低優先順位の物体に対する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前記低忠実性予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することを含み、
前記コンピューティングシステムによって、各高優先順位の物体に対する前記予測される将来的状態を決定することは、前記コンピューティングシステムによって、前記高忠実性予測システムを使用して、前記物体に関する前記予測される将来的状態を決定することを含む、項目7に記載のコンピュータ実装方法。
(項目9)
前記コンピューティングシステムによって、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、前記自律車両の速度に基づいて、高優先順位として分類されるべき前記物体の第1の数と低優先順位として分類されるべき前記物体の第2の数との間の比を決定することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目10)
前記コンピューティングシステムによって、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、少なくとも部分的に、前記物体の1つ以上の特徴に基づいて、各物体に対する前記優先順位分類を決定することを含み、
各物体に対する前記1つ以上の特徴は、位置、速度、加速、進行方向、ヨーレート、形状、サイズ、タイプ、前記自律車両からの距離、前記自律車両と相互作用するための最小経路、または前記自律車両と相互作用するための最小持続時間のうちの1つ以上のものを備える、前記項目のいずれかに記載のコンピュータ実装方法。
(項目11)
前記コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、各物体に対する優先順位分類を決定することは、前記コンピューティングシステムによって、機械学習式モデルを使用して、各物体に対する前記優先順位分類を決定することを含む、前記項目のいずれかに記載のコンピュータ実装方法。
(項目12)
前記機械学習式モデルは、少なくとも部分的に、前の自律車両運転セッションの間に事前に収集された注釈が付けられた車両データログを備える訓練データに基づいて、訓練されている、項目11に記載のコンピュータ実装方法。
(項目13)
前記コンピューティングシステムによって、前記機械学習式モデルを使用して、各物体に対する前記優先順位分類を決定することは、
前記コンピューティングシステムによって、前記機械学習式モデルを説明するデータを取得することと、
前記コンピューティングシステムによって、各物体に対する個別の状態データを前記機械学習式モデルの中に入力することと、
前記コンピューティングシステムによって、各物体に対する個別の優先順位分類を示すデータを前記機械学習式モデルの出力として受信することと
を含む、項目11または12に記載のコンピュータ実装方法。
(項目14)
前記コンピューティングシステムは、前記自律車両にオンボード搭載される、前記項目のいずれかに記載のコンピュータ実装方法。
(項目15)
コンピューティングシステムであって、
1つ以上のプロセッサを備える知覚システムであって、前記知覚システムは、複数の連続タイムフレームの各々に対し、自律車両によって知覚された複数の物体の各々の少なくとも現在の状態を説明する状態データを生成するように構成される、知覚システムと、
1つ以上のプロセッサを備える優先順位分類システムであって、前記優先順位分類システムは、前記複数の連続タイムフレームの各々に対し、少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、優先順位分類システムと、
1つ以上のプロセッサを備える予測システムであって、前記予測システムは、前記複数の連続タイムフレームの各々に対し、
各個別の物体に対する前記優先順位分類を受信することと、
現在のタイムフレームに対して、高優先順位として分類された各物体に対する予測される将来的状態を決定することと、
前記現在のタイムフレームに対して高優先順位として分類された各物体に対する前記予測される将来的状態を前記1つ以上のプロセッサによって実装される運動計画システムに提供することと
を行うように構成される、予測システムと
を備える、コンピューティングシステム。
(項目16)
高優先順位として分類された各物体に対する前記予測される将来的状態を前記運動計画システムに提供することに続いて、前記予測システムはさらに、
前記現在のタイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を決定する
ように構成される、項目15に記載のコンピューティングシステム。
(項目17)
前記予測システムはさらに、
前記運動計画システムに、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を提供する
ように構成され、
前記前の順次タイムフレームに対して低優先順位として分類された各物体に対する前記予測される将来的状態は、前記現在のタイムフレームに対して高優先順位として分類された各物体に対する前記予測される将来的状態と並行して、前記運動計画システムに提供される、項目15または16に記載のコンピューティングシステム。
(項目18)
前記優先順位分類システムは、各個別の物体を高優先順位または低優先順位のいずれかとして分類するように構成される機械学習された物体優先順位分類子を備える、項目15、16、または17のいずれか1項に記載のコンピューティングシステム。
(項目19)
前記予測システムはさらに、低優先順位として分類された物体に関する低忠実性予測を実施するように構成され、
前記予測システムはさらに、高優先順位として分類された物体に関する高忠実性予測を実施するように構成される、項目15、16、17、または18のいずれか1項に記載のコンピューティングシステム。
(項目20)
自律車両であって、
1つ以上のプロセッサと、
1つ以上の非一過性コンピュータ可読媒体であって、前記1つ以上の非一過性コンピュータ可読媒体は、命令を集合的に記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、動作を実施させ、前記動作は、
前記自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得することと、
少なくとも部分的に、各物体に対する個別の状態データに基づいて、前記複数の物体内の各物体に対する優先順位分類を決定することと、
少なくとも部分的に、各物体に対する前記優先順位分類に基づいて、前記コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定することと、
少なくとも部分的に、前記決定された順序に基づいて、各物体に対する前記予測される将来的状態を決定することと
を含む、1つ以上の非一過性コンピュータ可読媒体と
を備える、自律車両。
【0009】
本開示の種々の実施形態のこれらおよび他の特徴、側面、および利点は、以下の説明および添付の請求項を参照して、より深く理解されるようになるであろう。本明細書内に組み込まれ、その一部を構成する、付随の図面は、本開示の例示的実施形態を図示し、説明とともに、関連原理を説明する役割を果たす。
【図面の簡単な説明】
【0010】
当業者を対象とする実施形態の詳細な議論は、添付の図を参照する、明細書に記載される。
【0011】
【
図1】
図1は、本開示の例示的側面による、例示的自律車両のブロック図を描写する。
【0012】
【
図2】
図2は、本開示の例示的側面による、例示的知覚システムを描写する。
【0013】
【
図3】
図3は、本開示の例示的側面による、例示的予測システムを描写する。
【0014】
【
図4】
図4は、本開示の例示的側面による、例示的物体予測プロセスのブロック図を描写する。
【0015】
【
図5】
図5は、本開示の例示的側面による、例示的コンピューティングシステムのブロック図を描写する。
【0016】
【
図6】
図6は、本開示の例示的側面による、自律車両に関する運動計画を決定するための例示的方法のフローチャート図を描写する。
【発明を実施するための形態】
【0017】
概して、本開示は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、物体に関する将来的場所を予測するためのシステムおよび方法を対象とする。特に、自律車両は、少なくとも部分的に、物体および/または周囲環境の現在および/または過去の状態を説明する、知覚情報に基づいて、例えば、他の車両、歩行者、自転車乗用者等の物体の将来的場所を予測するために、予測システムを含むかまたは別様に使用することができる。いくつかの実装では、自律車両は、知覚システムによって知覚された各物体の個別の優先順位を分類するために、優先順位分類システムを含むかまたは別様に使用することができる。例えば、いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができる。予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序が、各物体に対する優先順位分類に基づいて、例えば、予測される将来的状態が低優先順位として分類された物体に関して決定される前に、高優先順位として分類された物体に関する予測される将来的状態を決定すること等によって、決定されることができる。
【0018】
一実施例として、いくつかのタイムフレームにわたって反復的に動作する、システムでは、予測システムは、現在のタイムフレームにおいて、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。しかしながら、予測システムは、現在のタイムフレームにおいて低優先順位として分類された各物体に対する予測される将来的状態を待機および決定することができる(例えば、後続タイムフレームにおいて、または少なくとも高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することに続いて)。そのような方式では、高優先順位物体に関する予測される将来的状態は、繰上方式(例えば、「スケジュールの先頭」)で運動計画システムに送達され、それによって、運動計画システムに、高優先順位物体に対する運動計画を決定するための付加的時間をもたらし、車両に、決定された運動計画を実装するための付加的時間をもたらすことができる。そのような方式では、自律車両は、高優先順位として分類された物体に対してより迅速に反応するように制御されることができる。例えば、予測システムによる予測される将来的状態の繰上を通して得られた付加的時間は、車両をより迅速に停止状態になるかまたは別様に改良された操縦を行うことを可能にすることができ、これは、乗車者および車両安全性を向上させる。
【0019】
本開示の別の側面によると、いくつかの実装では、各物体に対する予測される将来的状態を決定するために使用される、予測システムのタイプが、各物体に対する優先順位分類に基づいて、決定されることができる。例えば、いくつかの実装では、高忠実性予測システムが、高優先順位として分類された物体のために使用されることができる一方、低忠実性予測システムが、低優先順位として分類された物体のために使用されることができる。
【0020】
本開示の別の側面によると、本明細書に説明される優先順位分類システムは、自律車両によって知覚された各物体を分類することを補助する1つ以上の機械学習式モデルを含むかまたは活用することができる。実施例として、いくつかの実装では、優先順位分類システムは、各物体を高優先順位または低優先順位として分類すること等によって、各知覚された物体を分類するように構成される、機械学習された物体分類子を含むことができる。機械学習式モデルの使用は、物体優先順位分類の速さ、品質、および/または正確度を改良することができる。優先順位に従って物体を分類する改良された能力は、例えば、より低い優先順位物体の前に、より高い優先順位物体の将来的状態が予測されることを可能にすることによって、予測システムリソースのより効率的使用を可能にすることができる。さらに、これは、より高い優先順位物体に関して予測される将来的状態が、運動計画システムにより迅速に提供されることを可能にし、運動計画を決定するための全体的待ち時間を短縮させ、それによって、自律車両応答時間を短縮させ、乗車者の安全性および車両効率を向上させることができる。
【0021】
より具体的には、いくつかの実装では、自律車両は、自律車両を制御することを補助する、コンピューティングシステムを含むことができる。自律車両は、陸上ベースの自律車両(例えば、車、トラック、バス等)、空中ベースの自律車両(例えば、航空機、ドローン、ヘリコプター、または他の航空機)、または他のタイプの車両(例えば、船舶)であることができる。いくつかの実装では、コンピューティングシステムは、協働して、自律車両の周囲環境を知覚し、適宜、自律車両の運動を制御するための運動計画を決定する、知覚システム、予測システム、および運動計画システムを含むことができる。例えば、知覚システムは、自律車両に近接する、1つ以上の物体を知覚し、1つ以上の物体を示す状態データを予測システムに提供することができる。予測システムは、次いで、知覚システムによって知覚された、各物体に対する予測される将来的状態を決定することができる。運動計画システムは、次いで、物体に関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定することができる。このように、自律車両は、自律車両に近接する、物体を知覚し、それに応答して、適宜、自律車両を制御することができる。
【0022】
いくつかの実装では、自律車両は、複数の連続タイムフレーム内で取得されるデータを使用して、知覚、予測、および運動計画ステップのそれぞれを順次実施することができる。例えば、タイムフレームNに対し、知覚システムは、タイムフレームNに対するセンサデータを受信することができ、知覚システムは、並行して、タイムフレームN-1に対して知覚システムによって知覚された、1つ以上の物体に関する状態データを生成し、予測システムに提供することができ、予測システムは、並行して、タイムフレームN-2に対して、知覚システムによって知覚された、各物体に対する予測される将来的状態を決定することができ、運動計画システムは、並行して、タイムフレームN-3に対して予測される将来的状態を使用して、自律車両に関する運動計画を決定することができる。したがって、自律車両に関する運動計画は、複数の連続タイムフレームのそれぞれからのデータを使用して、反復的に決定されることができる。
【0023】
しかしながら、そのような実装では、知覚、予測、および運動計画システムはそれぞれ、各システムが、続いて、そのタイムフレームに対するデータを分析し得る前に、先行システムが、タイムフレームに対するデータの個別の分析を完了することを要求し得る。例えば、各連続タイムフレームに対し、知覚システムは、予測システムによって使用される状態データを生成するために、自律車両上の1つ以上のセンサから取得されるデータの分析を完了する必要があり得る。同様に、予測システムは、運動計画システムが自律車両に関する運動計画を決定し得る前に、各物体に対する予測される将来的状態を決定するために、あるタイムフレームに対する状態データの分析を完了する必要があり得る。したがって、物体がセンサによって感知されるときから、運動計画が物体に応答して決定されるまでの全体的時間は、各システムが、物体と同時に知覚された全ての他の物体とともに、物体のその個別の分析を完了することに依存し得る。
【0024】
対照的に、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定し、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することを可能にし、それによって、より高い優先順位物体がより低い優先順位物体の前に分析されることを可能にすることができる。
【0025】
特に、いくつかの実装では、知覚システムは、センサデータを、自律車両に結合される、または別様にその中に含まれる、1つ以上のセンサから受信することができる。実施例として、1つ以上のセンサは、光検出および測距(LIDAR)システム、無線検出および測距(RADAR)システム、1つ以上のカメラ(例えば、可視スペクトルカメラ、赤外線カメラ等)、および/または他のセンサを含むことができる。センサデータは、自律車両の周囲環境内の物体の場所を説明する、情報を含むことができる。いくつかの実装では、センサデータは、複数の連続タイムフレームにおいて取得されることができる。1つ以上のセンサから受信されたセンサデータおよび/またはマップデータに基づいて、知覚システムは、各タイムフレームにおいて、自律車両に近接する、1つ以上の物体を識別することができる。実施例として、いくつかの実装では、知覚システムは、センサデータ(例えば、LIDARデータ)を離散物体ポリゴンにセグメント化し、および/または物体をフレーム毎に追跡することができる(例えば、いくつかの連続タイムフレームまたは周期にわたって反復的に)。
【0026】
特に、いくつかの実装では、知覚システムは、各物体に対して、そのような物体の現在の状態(物体の1つ以上の特徴とも称される)を説明する、状態データを生成することができる。実施例として、各物体に対する状態データは、物体の場所(位置とも称される)、速さ(速度とも称される)、加速、進行方向、ヨーレート、配向、サイズ/占有面積(例えば、境界ポリゴンまたは他の形状によって表されるような)、タイプ/クラス(例えば、車両、歩行者、自転車)、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、および/または他の状態情報および/または上記に説明される形態の状態情報の共分散の推定値を説明することができる。いくつかの実装では、物体に関するある状態データは、物体に関する1つ以上の他の特徴を決定するために使用されることができる。例えば、いくつかの実装では、物体の位置、速さ、加速、および/または進行方向は、自律車両と相互作用するための最小経路または自律車両と相互作用するための最小持続時間を決定するために使用されることができる。知覚システムは、状態データを優先順位分類システムおよび/または予測システムに提供することができる(例えば、各タイムフレームに対して反復的に)。
【0027】
本開示のある側面によると、自律車両はさらに、自律車両によって知覚された各物体を分類するように構成される、優先順位分類システムを含むことができる。いくつかの実装では、優先順位分類システムは、知覚システム内に含まれる、または別様にその中に組み込まれることができる。いくつかの実装では、優先順位分類システムは、予測システム内に含まれる、または別様にその中に組み込まれることができる。優先順位分類システムは、各物体に対する状態データに基づいて、知覚システムによって知覚された物体を分類することができる。例えば、優先順位分類システムは、各物体を複数の優先順位カテゴリのうちの1つに分類し、および/または各物体を相互の物体に対してランク付けすることができる。各物体に対する相対的優先順位分類および/またはランク付けは、各物体に対する状態データに基づいて、決定されることができる。各物体に対する優先順位分類は、自律車両に関する運動計画のための決定にとっての物体の重要性を示すことができる。実施例として、各物体に割り当てられる優先順位分類は、物体が自律車両と相互作用する可能性、物体が自律車両と相互作用する可能性が高い時間、物体が自律車両に関する運動計画に影響を及ぼす可能性が高いかどうか等の複数の要因に基づくことができる。例えば、自律車両に向かって高速で進行している車両は、自律車両から離れるように進行している車両より高い優先順位物体として分類されることができる。
【0028】
いくつかの実装では、優先順位分類は、1つ以上のヒューリスティックプロセスに基づくことができる。例えば、1つ以上の閾値が、物体の1つ以上の特徴に基づいて、物体を分類するために使用されることができる。例えば、自律車両と相互作用するための最小持続時間、最小経路、または最小距離が、自律車両から物体までの距離または物体が自律車両と相互作用する可能性が高いであろう時間に基づいて、物体を分類するために使用されることができる。同様に、進行方向および/または速度も、物体を分類するために使用されることができる。例えば、自律車両から離れるような進行方向に進行している物体は、自律車両に向かって進行している物体より低い優先順位として分類されることができ、自律車両に向かってより高速で進行している物体は、自律車両に向かってより低速で進行している物体より高い優先順位として分類されることができる。物体タイプ(例えば、車両、自転車、歩行者等)、物体サイズ、位置、または本明細書に説明される任意の他の特徴等の他の特徴も同様に、使用されることができる。
【0029】
いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができる。例えば、優先順位分類システムは、各物体に対する個別の状態データに基づいて、各物体を高優先順位または低優先順位のいずれかとして分類することができる。いくつかの実装では、各高優先順位の物体に対する予測される将来的状態は、予測される将来的状態が任意の低優先順位物体に関して決定される前に、決定されることができる。
【0030】
いくつかの実装では、高優先順位物体と低優先順位物体との比は、少なくとも部分的に、自律車両の速度に基づいて、決定されることができる。例えば、いくつかの実装では、より高速における運動計画を決定するための全体的待ち時間を低減させるために、より低速におけるものより少ない物体が、高優先順位として分類されてもよい。例えば、1つ以上の閾値または範囲が、自律車両の速度に基づいて、高優先順位物体対低優先順位物体の比を決定するために使用されることができる。各物体は、次いで、高優先順位物体対低優先順位物体の比に基づいて、高優先順位または低優先順位のいずれかとして分類されることができる。
【0031】
本開示の別の側面によると、本明細書に説明される優先順位分類システムおよび方法は、物体を分類することを補助する1つ以上の機械学習式モデルを含むかまたは活用することができる。実施例として、いくつかの実装では、優先順位分類システムは、機械学習された物体優先順位分類子を含み、自律車両によって知覚された各物体を分類することができる。いくつかの実装では、機械学習された物体優先順位分類子は、各物体を高優先順位または低優先順位のいずれかとして、分類することができる。
【0032】
本開示のさらに別の側面によると、本明細書に説明される優先順位分類システム内に含まれる、またはそれによって採用される、機械学習式モデルは、進行路(例えば、車道)上の自律車両の実際の動作の間に収集されたログデータを使用して、訓練されることができる。例えば、ログデータは、自律車両(例えば、自律車両の知覚システム)によって知覚された種々の物体に関するセンサデータおよび/または状態データと、また、センサデータの収集および/または状態データの生成に続いておよび/またはそれと同時に生じた各物体に対する結果として生じる将来的状態とを含むことができる。したがって、ログデータは、物体が、物体の結果として生じる将来的状態において、自律車両と相互作用する可能性がより高くなるまたはより低くなるかどうか等、そのような知覚と同時に自律車両によって収集および/または生成されたデータ(例えば、センサデータ、マップデータ、知覚データ等)とペアリングされる、物体の多数の実世界実施例を含むことができる。機械学習式モデルをそのような実世界ログデータ上で訓練することは、機械学習式モデルが、物体分類を決定することを可能にすることができ、これは、実世界物体挙動をより良好に模写または模倣する。
【0033】
本開示の付加的側面によると、予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、予測システムが各物体に対する予測される将来的状態を決定する順序は、少なくとも部分的に、物体に割り当てられる優先順位分類に基づくことができる。例えば、いくつかの実装では、より高い優先順位物体に関する予測される将来的状態は、より低い優先順位物体に関する予測される将来的状態が決定される前に、決定されることができる。いくつかの実装では、高優先順位として分類された各物体に対する予測される将来的状態は、予測される将来的状態が低優先順位として分類された任意の物体に関して決定される前に決定されることができる。いくつかの実装では、各物体に対する予測される将来的状態は、相互の物体と比較した物体の相対的優先順位に基づいて、決定されることができる。例えば、自律車両によって知覚された各物体は、相対的優先順位ランク付け(例えば、Y個の物体に関して、1~Yのランク付け)を割り当てられることができ、予測される将来的状態は、物体の優先順位ランク付けに基づいて、決定されることができる。
【0034】
予測システムは、少なくとも部分的に、物体、自律車両、周囲環境、および/またはその間の関係の過去および/または現在の状態を説明する、知覚システム、マップデータ、センサデータ、および/または任意の他のデータから受信された知覚情報(例えば、各物体に対する状態データ)に基づいて、物体の将来的場所を予測することができる。例えば、予測システムは、自律車両に関する運動計画が生成される時間周期に対応する、計画範囲にわたる動作主または他の物体の将来的運動を推定することができる。いくつかの実装では、予測システムは、確率尤度と物体の各予測される運動または他の将来的場所を結び付けることができる。
【0035】
いくつかの実装では、予測システムは、複数の連続タイムフレームに対し、自律車両によって知覚された各個別の物体に対する優先順位分類および各物体に対する個別の状態データを受信することができる。例えば、知覚システムは、複数の連続タイムフレームにおける複数の物体に関する状態データを提供することができ、優先順位分類システムは、複数の連続タイムフレームの各々に対し、各物体に対する個別の優先順位分類を提供することができる。
【0036】
いくつかの実装では、現在の(すなわち、直近で取得された)タイムフレームに対する複数の物体に関する優先順位分類および個別の状態データの受信に応じて、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。本明細書で使用されるように、用語「現在の」または「直近で取得された」は、タイムフレームを参照して使用されるとき、特定のシステム(例えば、知覚システム、予測システム)に直近で提供されたタイムフレームを指す。例えば、現在のタイムフレームに対する状態データを使用して、予測される将来的場所が、各高優先順位の物体に対して決定されることができる。いったん予測される将来的状態が、現在のタイムフレームに対して高優先順位として分類された各物体に対して決定されると、高優先順位として分類された各物体に対する予測される将来的状態は、次いで、運動計画システムに提供されることができる。したがって、予測される将来的状態が、各高優先順位の物体に対して決定されるとすぐに、運動計画が、自律車両に関して決定されることができる。
【0037】
さらに、いくつかの実装では、予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供した後、予測システムは、現在のタイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を決定することができる。したがって、自律車両によって知覚された各物体は、各タイムフレームに対し、予測システムによって決定された予測される将来的状態を有することができる。
【0038】
加えて、いくつかの実装では、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態と並行して、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することができる。例えば、現在のタイムフレームに対して予測される将来的状態が、各高優先順位の物体に対して決定されるとすぐに、各高優先順位の物体に対して現在のタイムフレームに対して予測される将来的状態は、各低優先順位の物体に対して、前の順次タイムフレームに対して予測される将来的状態とともに、運動計画システムに提供されることができる。例えば、低優先順位として分類された各物体に対する予測される将来的状態は、前の順次タイムフレームからの各低優先順位の物体に対する予測される将来的状態を選択する、取得する、または別様に使用することによって、予測システムによって決定されることができる。したがって、現在のタイムフレームにおいて自律車両によって知覚された各物体に対する予測される将来的状態が決定されるまで待機するのではなく、高優先順位物体に関する現在の予測される将来的状態および低優先順位物体に関する前の順次予測される将来的状態を備える、予測される将来的状態の完全セットが、予測システムが、全ての高優先順位物体に関する予測される将来的状態を決定するとすぐに、運動計画システムに提供されることができる。これは、車両に関する運動計画を決定するための全体的待ち時間を短縮させ、それによって、自律車両に関する応答時間を短縮させ、乗車者の安全性を増加させることができる。
【0039】
いくつかの実装では、予測システムは、低忠実性予測システムと、高忠実性予測システムとを含むことができる。本明細書で使用されるように、用語「低忠実性」および「高忠実性」は、個別の予測システムによって使用される予測システムまたはアルゴリズムの相対的算出強度を指す。例えば、いくつかの実装では、高忠実性予測システムは、各物体に対する将来的場所を予測するために、1つ以上の機械学習式モデルを含むかまたは別様に活用することができる。例えば、いくつかの実装では、予測システムは、1つ以上の潜在的目標を生成し、最も可能性が高い潜在的目標のうちの1つ以上のものを選択し、それによって物体が1つ以上の選択された目標を達成し得る、1つ以上の軌道を展開する、目標指向予測システムであることができる。例えば、予測システムは、物体に関する1つ以上の目標を生成および/またはスコア化する、シナリオ生成システムと、それによって物体が目標を達成し得る、1つ以上の軌道を決定する、シナリオ開発システムとを含むことができる。いくつかの実装では、予測システムは、機械学習された目標スコア化モデル、機械学習された軌道開発モデル、および/または他の機械学習式モデルを含むことができる。いくつかの実装では、高忠実性予測システムは、高優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。
【0040】
いくつかの実装では、低忠実性予測システムは、1つ以上の状態前方統合モデルを含むことができる。例えば、低忠実性予測システムは、現在の状態を前方統合することによって、物体に関する将来的状態を予測することができる。例えば、低忠実性予測システムは、物体の現在の位置、現在の速度、および現在の進行方向を使用して、将来的時間周期における物体に関する予測される将来的場所を決定することができる。いくつかの実装では、低忠実性予測システムは、低優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。
【0041】
このように、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定することを可能にすることができる。特に、1つ以上のヒューリスティックプロセスを適用し、および/または機械学習式モデルを使用することによって、本開示のシステムおよび方法は、自律車両によって知覚された各物体に対する個別の優先順位分類を決定することができる。予測される将来的状態が各物体に対して決定される順序は、次いで、少なくとも、各物体に対する個別の優先順位分類に基づいて、決定されることができる。個別の優先順位に従って物体を分類する能力は、算出リソースがより高い優先順位物体に集中されることを可能にすることができる。
【0042】
したがって、本開示の1つの技術的効果および利点は、低優先順位物体より自律車両に関する運動計画に影響を及ぼす可能性が高いより高い優先順位物体に関して予測される将来的場所を決定するための短縮された待ち時間である。特に、本開示は、コンピューティングシステムが、全ての高優先順位物体に関する予測される将来的場所が決定されるとすぐに、自律車両に関する運動計画を決定することを可能にする、技法を提供する。したがって、本開示は、自律車両が、物体を知覚し、物体に応答して、運動計画を決定するために要求される、時間の短縮を可能にすることができる。さらに、本開示は、より高い忠実性予測システムが、より高い優先順位物体に関して予測される将来的場所を決定するために使用され、より低い忠実性予測システムが、より低い優先順位物体に関する予測される将来的場所を決定するために使用されることを可能にすることができる。これは、自律車両にオンボード搭載されるコンピューティングリソースのより効率的使用を可能にすることができる。
【0043】
本開示はまた、例えば、乗車者の安全性の向上を含む、付加的技術的効果および利点を提供する。例えば、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に応答して運動計画を決定するために、短縮された反応時間を可能にすることができる。これは、自律車両が、より迅速に停止状態になる、物体の周囲をナビゲートする、または別様に物体により迅速に応答し、それによって、自律車両が物体と衝突する可能性を低減させることを可能にすることができる。
【0044】
ここで図を参照すると、本開示の例示的実施形態が、さらに詳細に議論されるであろう。
図1は、本開示の例示的側面による、例示的自律車両10のブロック図を描写する。自律車両10は、1つ以上のセンサ101と、車両コンピューティングシステム102と、1つ以上の車両制御107とを含む。車両コンピューティングシステム102は、自律車両10を制御することを補助することができる。特に、車両コンピューティングシステム102は、センサデータを1つ以上のセンサ101から受信し、種々の処理技法をセンサ101によって収集されたデータ上で実施することによって、周囲環境を把握するように試み、そのような周囲環境を通した適切な運動経路を生成することができる。車両コンピューティングシステム102は、1つ以上の車両制御107を制御し、運動経路に従って、自律車両10を動作させることができる。
【0045】
車両コンピューティングシステム102は、1つ以上のプロセッサ112と、メモリ114とを含むことができる。1つ以上のプロセッサ112は、任意の好適な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コンピューティングデバイス、マイクロコントローラ等)であることができ、動作可能に接続される、1つのプロセッサまたは複数のプロセッサであることができる。メモリ114は、RAM、ROM、EEPROM、EPROM、フラッシュメモリデバイス、磁気ディスク等、およびそれらの組み合わせ等の1つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。メモリ114は、データ116と、プロセッサ112によって実行され、車両コンピューティングシステム102に動作を実施させ得る、命令118とを記憶することができる。
【0046】
図1に図示されるように、車両コンピューティングシステム102は、自律車両10の周囲環境を知覚し、適宜、自律車両10の運動を制御するための運動計画を決定するように協働する、知覚システム103と、予測システム104と、運動計画システム105とを含むことができる。
【0047】
特に、いくつかの実装では、知覚システム103は、センサデータを、自律車両10に結合されるかまたは別様にその中に含まれる、1つ以上のセンサ101から受信することができる。実施例として、1つ以上のセンサ101は、光検出および測距(LIDAR)システム、無線検出および測距(RADAR)システム、1つ以上のカメラ(例えば、可視スペクトルカメラ、赤外線カメラ等)、および/または他のセンサを含むことができる。センサデータは、自律車両10の周囲環境内の物体の場所を説明する、情報を含むことができる。
【0048】
一実施例として、LIDARシステムに関して、センサデータは、測距レーザを反射した物体に対応するいくつかの点の(例えば、LIDARシステムに対する3次元空間内の)場所を含むことができる。例えば、LIDARシステムは、短レーザパルスが、センサから物体に進行し、そこから戻る、飛行時間(TOF)を測定し、距離を光の既知の速さから計算することによって、距離を測定することができる。
【0049】
別の実施例として、RADARシステムに関して、センサデータは、測距無線波を反射した物体に対応するいくつかの点の(例えば、RADARシステムに対する3次元空間内の)場所を含むことができる。例えば、RADARシステムによって伝送される無線波(例えば、パルス状または連続)は、物体から反射し、RADARシステムの受信機に戻り、物体の場所および速さについての情報を与えることができる。したがって、RADARシステムは、物体の現在の速さについての有用な情報を提供することができる。
【0050】
さらに別の実施例として、1つ以上のカメラに関して、種々の処理技法(例えば、運動からの構造、構造化された光、立体三角測量、および/または他の技法等の、例えば、範囲結像技法)が、1つ以上のカメラによって捕捉された画像に描写される物体に対応するいくつかの点の(例えば、1つ以上のカメラに対する3次元空間内の)場所を識別するために実施されることができる。他のセンサシステムも同様に、物体に対応する点の場所を識別することができる。
【0051】
別の実施例として、1つ以上のセンサ101は、測位システムを含むことができる。測位システムは、車両10の現在の位置を決定することができる。測位システムは、車両10の位置を分析するための任意のデバイスまたは回路であることができる。例えば、測位システムは、慣性センサのうちの1つ以上のもの、衛星測位システムを使用することによって、IPアドレスに基づいて、ネットワークアクセスポイントまたは他のネットワークコンポーネント(例えば、セルラータワー、WiFiアクセスポイント等)との三角測量および/または近接度、および/または他の好適な技法を使用することによって、位置を決定することができる。車両10の位置は、車両コンピューティングシステム102の種々のシステムによって使用されることができる。
【0052】
したがって、1つ以上のセンサ101が、自律車両10の周囲環境内の物体に対応する点の(例えば、自律車両10に対する3次元空間内の)場所を説明する情報を含む、センサデータを収集するために使用されることができる。いくつかの実装では、センサ101は、自律車両10上の種々の異なる場所に位置することができる。実施例として、いくつかの実装では、1つ以上のカメラおよび/またはLIDARセンサは、自律車両10の屋根上に搭載される、ポッドまたは他の構造内に位置することができる一方、1つ以上のRADARセンサは、自律車両10のフロントおよび/またはリアバンパまたはボディパネル内またはその背後に位置することができる。別の実施例として、カメラも同様に、車両10の正面または背面バンパに位置することができる。他の場所も同様に、使用されることができる。
【0053】
センサデータに加え、知覚システム103は、自律車両10の周囲環境についての詳細な情報を提供する、マップデータ126を読み出す、または別様に取得することができる。マップデータ126は、異なる進行路(例えば、車道)、道路区画、建物、または他のアイテムまたは物体(例えば、街灯、横断歩道、縁石等)の識別および場所、交通車線の場所および方向(例えば、駐車車線、方向転換車線、自転車車線、または特定の車道または他の進行路内の他の車線の場所および方向)、交通制御データ(例えば、標識、交通信号灯、または他の交通制御デバイスの場所および命令)、および/または車両コンピューティングシステム102がその周囲環境およびそれとのその関係を把握および知覚することを補助する情報を提供する、任意の他のマップデータに関する情報を提供することができる。
【0054】
知覚システム103は、1つ以上のセンサ101から受信されたセンサデータおよび/またはマップデータ126に基づいて、自律車両10に近接する1つ以上の物体を識別することができる。特に、いくつかの実装では、知覚システム103は、各物体に対して、そのような物体の現在の状態(また、物体の特徴とも称される)を説明する、状態データを決定することができる。実施例として、各物体に対する状態データは、物体の推定値、すなわち、現在の場所(位置とも称される)、現在の速さ(速度とも称される)、現在の加速、現在の進行方向、現在の配向、サイズ/形状/占有面積(例えば、境界ポリゴンまたは多面体等の境界形状によって表されるように)、タイプ/クラス(例えば、車両対歩行者対自転車対その他)、ヨーレート、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、および/または他の状態情報を説明することができる。
【0055】
いくつかの実装では、知覚システム103は、数回の反復にわたって、各物体に対する状態データを決定することができる。特に、知覚システム103は、各反復時に、各物体に対する状態データを更新することができる。したがって、知覚システム103は、自律車両10に近接する物体(例えば、車両)を経時的に検出および追跡することができる。
【0056】
予測システム104は、状態データを知覚システム103から受信し、そのような状態データに基づいて、各物体に対して、1つ以上の将来的場所を予測することができる。例えば、予測システム104は、各物体が、次の5秒、10秒、20秒等以内に位置するであろう、場所を予測することができる。一実施例として、物体は、その現在の速さに従って、その現在の軌道に準拠して予測されることができる。別の実施例として、他のより高度な予測技法またはモデル化が、使用されることができる。
【0057】
運動計画システム105は、少なくとも部分的に、物体に関する予測される1つ以上の将来的場所および/または知覚システム103によって提供される物体に関する状態データに基づいて、自律車両10のための運動計画を決定することができる。換言すると、物体の現在の場所および/または近接物体の予測される将来的場所についての情報を前提として、運動計画システム105は、自律車両10をそのような場所における物体に対して最良にナビゲートする、自律車両10のための運動計画を決定することができる。いくつかの実装では、運動計画システム105は、本明細書に説明されるように、1つ以上の調節された車両パラメータを使用して、自律車両に関する運動計画を決定することができる。
【0058】
いくつかの実装では、運動計画システム105は、自律車両10に関する1つ以上の候補運動計画の各々に対し、1つ以上のコスト関数および/または1つ以上の報酬関数を評価することができる。例えば、コスト関数は、特定の候補運動計画に固執することに関するコストを説明することができる(例えば、経時的に)一方、報酬関数は、特定の候補運動計画に固執することに関する報酬を説明することができる。例えば、報酬は、コストの反対符号であることができる。
【0059】
したがって、物体の現在の場所および/または予測される将来的場所についての情報を前提として、運動計画システム105は、特定の候補経路に固執することに関する総コスト(例えば、コスト関数および/または報酬関数によって提供される、コストおよび/または報酬の和)を決定することができる。運動計画システム105は、少なくとも部分的に、コスト関数および報酬関数に基づいて、自律車両10のための運動計画を選択または決定することができる。例えば、総コストを最小限にする、運動計画が、選択または別様に決定されることができる。運動計画システム105は、選択された運動計画を、1つ以上の車両制御107(例えば、ガスフロー、操向、制動等を制御する、アクチュエータまたは他のデバイス)を制御し、選択された運動計画を実行する車両コントローラ106に提供することができる。
【0060】
本開示の例示的側面によると、車両コンピューティングシステム102はまた、自律車両10によって知覚された1つ以上の物体を分類するように構成される、優先順位分類システム150を含むことができる。例えば、いくつかの実装では、優先順位分類システム150は、自律車両10によって知覚された1つ以上の物体を説明する、状態データを、知覚システム103から受信することができる。優先順位分類システム150は、次いで、少なくとも部分的に、各物体に対する個別の状態データに基づいて、各物体を分類することができる。
【0061】
例えば、いくつかの実装では、各物体に対する優先順位分類は、物体の位置、速度、および/または進行方向に基づくことができる。例えば、自律車両により近い、物体は、より高い優先順位分類を与えられることができる。同様に、自律車両に向かう方向および/または来る時間周期において自律車両が達するであろう位置に向かう方向に進行している、物体は、より高い優先順位分類を与えられることができる。いくつかの実装では、自律車両に向かってより高速で進行している物体等のより高速で進行している、物体は、より低速で進行している物体より高い優先順位分類を与えられることができる。
【0062】
いくつかの実装では、優先順位分類は、物体が、自律車両と相互作用するであろう、または別様に、自律車両に関する運動計画を決定するために重要となるであろう、可能性に基づくことができる。例えば、自律車両と反対方向に進行している、物体は、自律車両の運動経路と相互作用するであろう方向に進行している物体より低い優先順位分類を与えられるであろう。
【0063】
いくつかの実装では、優先順位分類は、物体タイプに基づくことができる。例えば、いくつかの実装では、歩行者は、静的(すなわち、非移動)車両等の他の物体より高い優先順位を割り当てられることができる。同様に、他の物体タイプおよび/またはクラスも、各物体に対する優先順位分類を決定するために使用されることができる。
【0064】
いくつかの実装では、各物体に対する優先順位分類は、自律車両と相互作用するための最小経路または自律車両と相互作用するための最小持続時間に基づくことができる。例えば、自律車両と相互作用するための最小経路は、物体が物体と相互作用するために横断する必要があるであろう、1つ以上の進行路に沿った距離に対応し得る。したがって、例えば、自律車両と反対方向に幹線道路に沿って進行している車両は、自律車両と相互作用するためには、幹線道路から退出し、方向転換し、幹線道路に再進入し、自律車両に追い付く必要があり得る。そのような場合では、車両は、自律車両と相互作用するための長い最小経路および/または相互作用するための最小持続時間を有する可能性が高い。逆に言えば、自律車両に対して垂直進行経路との交差点に接近している車両は、自律車両と相互作用するためのより短い最小経路および/または相互作用するための最小持続時間を有する可能性が高い。そのような場合では、交差点に接近している車両は、反対方向に進行している車両より高い優先順位分類を与えられることができる。
【0065】
いくつかの実装では、優先順位分類システム150は、各物体を高優先順位または低優先順位として分類することができる。例えば、各物体は、各物体が高優先順位または低優先順位物体のいずれかである、バイナリ分類に従って、分類されることができる。例えば、閾値未満である、自律車両と相互作用するための最小経路および/または相互作用するための最小持続時間を有する物体は、高優先順位物体として分類されることができる。同様に、閾値を超える、相互作用するための最小経路および/または相互作用するための最小持続時間を有する物体は、低優先順位として分類されることができる。いくつかの実装では、特定のタイプの物体(例えば、歩行者)は、常時、高優先順位として分類された物体であることができる。いくつかの実装では、自律車両または自律車両に関する運動計画の決定と相互作用する可能性が低いと決定された物体は、低優先順位として分類された物体であることができる。
【0066】
いくつかの実装では、優先順位分類システム150は、各物体を自律車両によって知覚された他の物体に対して分類することができる。例えば、いくつかの実装では、各物体は、自律車両によって知覚された相互の物体に関連して相対的優先順位を割り当てられることができる。例えば、各物体は、物体の個別の優先順位に基づいて、相対的優先順位ランク付けを割り当てられることができる。例えば、自律車両が、自律車両の周囲環境内でY個の物体を知覚する場合、各物体は、1~Yのスケールで相対的ランク付けを割り当てられることができる。このように、各物体は、自律車両によって知覚された相互の物体に対して優先順位分類を割り当てられることができる。
【0067】
いくつかの実装では、優先順位分類システム150は、自律車両の速度に基づいて、各物体を分類することができる。いくつかの実装では、高優先順位物体対低優先順位物体の比は、車両の速度に基づいて、決定されることができる。例えば、より高速では、そのような物体に応答して運動計画を決定するための待ち時間を短縮および/または最小限にするため、予測システム104が現在のタイムフレーム内の将来予測される状態を決定しなければならない、高優先順位物体の数を低減および/または最小限にするために、高優先順位物体の数を限定することが好ましくあり得る。そのような場合では、より低い速度におけるよりも少ない物体が、高優先順位物体として分類され得る。
【0068】
いくつかの実装では、高優先順位物体対低優先順位物体の比は、1つ以上の閾値速度に基づいて、決定されることができる。例えば、1~Xの第1の速度範囲に関して、1個の高優先順位物体対Y個の低優先順位物体の比が、使用されることができる一方、X~2Xの第2の速度範囲に関して、1個の高優先順位物体対2Y個の低優先順位物体の比が、使用されることができる。他の実装では、他の所定の比が、使用されることができる。いくつかの実装では、各物体は、高優先順位物体対低優先順位物体の比が、概して、所定の比に準拠する(すなわち、高優先順位対低優先順位の物体の比が、所定の比の閾値分散内にある)ように、高優先順位または低優先順位のいずれかとして分類されることができる。
【0069】
いくつかの実装では、機械学習式モデルが、各物体に対する個別の状態データに基づいて、各物体に対する優先順位分類を決定するために使用されることができる。例えば、いくつかの実装では、機械学習式モデルは、各物体を高優先順位または低優先順位のいずれかとして分類し、各物体に対する優先順位分類を予測システム104に提供するように構成されることができる。いくつかの実装では、各物体に対する個別の状態データは、機械学習式モデルの中に入力されることができ、物体に関する個別の優先順位分類を示すデータは、機械学習式モデルの出力として、受信されることができる。
【0070】
いくつかの実装では、機械学習式モデルは、少なくとも部分的に、前の自律車両運転セッションの間に事前に収集された注釈が付けられた車両データログを備える、訓練データに基づいて、訓練されることができる。例えば、車両データログは、1つ以上の自律車両運転セッションの間、記録されることができ、これは、自律車両によって知覚された物体に関する状態データを含むことができる。いくつかの実装では、車両データログは、機械学習式モデルを訓練することに役立てるために、人間の精査者によって、注釈が付けられることができる。例えば、いくつかの実装では、物体は、高優先順位または低優先順位のいずれかとして標識されることができる。機械学習式モデルは、次いで、訓練データに基づいて、物体に関する優先順位分類を決定するように訓練されることができる。
【0071】
本開示の例示的側面によると、車両コンピューティングシステム102は、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、優先順位分類システム150は、知覚システム103によって知覚された各物体に対する優先順位分類を予測システム104に提供するように構成されることができる。予測システム104は、次いで、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。
【0072】
例えば、いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序は、少なくとも部分的に、各物体に割り当てられる優先順位分類に基づくことができる。例えば、いくつかの実装では、高優先順位として分類された全ての物体に関する予測される将来的状態は、予測される将来的状態が任意の低優先順位物体に関して決定される前に、決定されることができる。いくつかの実装では、予測される将来的状態は、各物体に対する個別の優先順位ランク付けに従って、各物体に対して決定されることができる。例えば、Y個の物体に関して、各物体は、1~Yの相対的優先順位ランク付けを割り当てられることができ、各物体に対する予測される将来的状態は、各物体に対する相対的優先順位ランク付け(すなわち、1から開始して、Yで終了する)に基づいて、決定されることができる。
【0073】
図5に関してより詳細に議論されるであろうように、いくつかの実装では、将来的場所予測システムは、少なくとも部分的に、各物体に対する優先順位分類に基づいて、選択されることができる。例えば、いくつかの実装では、低忠実性予測システムは、低優先順位物体に関する予測される将来的状態を決定するために使用されることができ、高忠実性予測システムは、高優先順位物体に関する予測される将来的状態を決定するために使用されることができる。
【0074】
知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、汎用プロセッサを制御する、ハードウェア、ファームウェア、および/またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、記憶デバイス上に記憶され、メモリの中にロードされ、1つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、RAMハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の1つ以上のセットを含む。
【0075】
ここで
図2を参照すると、本開示の例示的側面による、例示的知覚システム103を描写する、ブロック図が、示される。
図1に示されるものと同一または類似する、要素は、同一参照番号を用いて参照される。
【0076】
示されるように、いくつかの実装では、優先順位分類システム150は、知覚システム103のサブ部分として実装されることができる。例えば、知覚システム103は、1つ以上のセンサ101(
図1に示されるように)からのセンサデータと、マップデータ126とを受信することができる。知覚システム103は、自律車両10によって知覚された各物体に対する状態データを生成し、優先順位分類システム150を使用して、各物体に対する優先順位分類を実施し、各物体に対する状態データおよび個別の優先順位分類を予測システム104に提供することができる。
【0077】
ここで
図3を参照すると、本開示の例示的側面による、例示的予測システム104を描写する、ブロック図が、示される。
図1および2に示されるものと同一または類似する、要素は、同一参照番号を用いて参照される。
【0078】
示されるように、いくつかの実装では、優先順位分類システム150は、予測システム104のサブ部分として実装されることができる。例えば、知覚システム103は、1つ以上のセンサ101(
図1に示されるように)からのセンサデータと、マップデータ126とを受信することができる。知覚システム103は、次いで、1つ以上の物体を示す状態データを予測システム104に提供することができる。予測システム104は、次いで、優先順位分類システム150を使用して、各物体に対する優先順位分類を決定し、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。予測システム104は、次いで、各物体に対する予測される将来的状態を運動計画システム105に提供する。
【0079】
したがって、
図1-3に示されるように、優先順位分類システム150は、独立型優先順位分類システム150として、または知覚システム103または予測システム104のいずれかのサブシステムとして実装されることができる。
【0080】
ここで
図4を参照すると、本開示の例示的側面による、例示的物体予測プロセスの略図が、示される。
図4において表されるように、いくつかの実装では、車両コンピューティングシステムは、複数の連続タイムフレーム内で取得されるデータを使用して、運動計画を反復的に決定することができる。例えば、
図1-3に図示される知覚、予測、および運動計画システムはそれぞれ、並行して、分析を複数の連続タイムフレームからのデータ上で実施することができる。実施例として、タイムフレームNに関して、知覚システムは、タイムフレームNに対してセンサデータを受信することができ、知覚システムは、並行して、タイムフレームN-1に対して知覚システムによって知覚された1つ以上の物体に関する状態データを生成し、予測システムに提供することができ、予測システムは、並行して、タイムフレームN-2に対して知覚システムによって知覚された各物体に対する予測される将来的状態を決定することができ、運動計画システムは、並行して、タイムフレームN-3に対して予測される将来的状態を使用して、自律車両に関する運動計画を決定することができる。後続タイムフレームN+1では、知覚、予測、および運動計画システムはそれぞれ、上流システムから受信されたデータの個別の分析を受信および実施し、運動計画システムがタイムフレームN-2に対して予測される将来的状態を使用して、運動計画を決定する結果をもたらすことができる。このように、自律車両に関する運動計画は、複数の連続タイムフレームのそれぞれからのデータを使用して、反復的に決定されることができる。
【0081】
例えば、
図4に示されるように、ブロック410は、フレームNからのデータに関する知覚システムによる分析を表す。示されるように、フレームNに対するデータの知覚システムの分析は、複数の物体411A-Jを含むことができる。物体はそれぞれ、知覚システムによって生成された物体を説明する、関連付けられた状態データを有することができる。例えば、各物体411A-Jに対し、知覚システムは、位置、速度、加速、進行方向、サイズ、タイプ、ヨーレートを説明する、状態データ、または本明細書に説明されるように物体を説明する、他の状態データを生成することができる。
【0082】
ブロック410からブロック430への矢印によって表されるように、フレームNに対して知覚システムによって生成された物体411A-Jを説明する、状態データは、いったん知覚システムがその分析を完了すると、予測システムに提供されることができる。
【0083】
しかしながら、本開示の例示的側面によると、予測システムはまた、各物体に対する優先順位分類を受信することができる。例えば、いくつかの実装では、各物体は、高優先順位(「HP」)または低優先順位(「LP」)のいずれかとして分類されることができる。本明細書に説明されるように、各物体に対する優先順位分類は、各物体に対する個別の状態データに基づいて、決定されることができる。さらに、いくつかの実装では、優先順位分類は、機械学習式モデルによって決定されることができる。
【0084】
したがって、ブロック430によって表されるように、予測システムは、各物体に対する個別の優先順位分類および各物体を説明する個別の状態データを知覚システムから受信することができる。知覚システムは、次いで、少なくとも部分的に、各物体に対する個別の優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、予測システムは、最初に、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。例えば、
図4に示されるように、予測システムは、最初に、HP物体431A-Dに関する予測される将来的状態を決定することができる。換言すると、予測システムは、少なくとも部分的に、直近のタイムフレーム(フレームN)に対して取得された状態データに基づいて、高優先順位として分類された各物体に対する予測される将来的状態を決定することができる。
【0085】
本開示の付加的な例示的側面によると、いったん予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定すると、予測システムは、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供することができる。例えば、破線ブロック440からブロック450への矢印によって示されるように、いったん予測システムが、各高優先順位物体HP 431A-Dに対して予測される将来的状態を決定すると、予測システムは、物体に関する予測される将来的状態HP 431A-Dを運動計画システムに提供することができる。このように、運動計画システムは、繰上方式(例えば、「スケジュールの先頭」)で運動計画の決定を開始することができる。
【0086】
本開示の付加的な例示的側面によると、いったん予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定すると、予測システムは、低優先順位と識別された各物体に対する予測される将来的状態を決定することができる。例えば、予測システムが、高優先順位物体HP 431A-Dを運動計画システムに提供した後、予測システムは、各低優先順位物体LP 431E-Jに対して予測される将来的状態を決定することができる。このように、特定のフレーム(例えば、フレームN)内で知覚された各物体は、予測システムによって決定された予測される将来的状態を有することができる。
【0087】
いくつかの実装では、予測システムはさらに、現在のタイムフレームに対して高優先順位として分類された各物体に対する予測される将来的状態と並行して、前の順次タイムフレームに対して低優先順位として分類された各物体に対する予測される将来的状態を運動計画システムに提供するように構成されることができる。換言すると、いくつかの実装では、低優先順位物体に関する予測される将来的状態は、前の順次タイムフレームに対して取得された状態データに基づいて、物体に関する予測される将来的状態を選択する、取得する、または別様に決定することによって決定されることができる。
【0088】
例えば、ブロック420によって示されるように、予測システムは、高優先順位物体HP 421A-Dおよび低優先順位物体LP 421E-Jを含む、物体421A-Jに関する予測される将来的状態を事前に決定している可能性がある。例えば、知覚システムは、ブロック410において、タイムフレームNに対する物体411A-Jに関する状態データを生成しているため、予測システムは、並行して、ブロック420において、タイムフレームN-1に対する高優先順位物体HP 421A-Dおよび低優先順位物体LP 421E-Jに関する予測される将来的状態を決定し得る。さらに、実施例として、各高優先順位物体HP 421A-Dは、それぞれ、タイムフレームN-1に対する各高優先順位物体HP 431A-Dに対応し得る一方、各低優先順位物体LP 421E-Jは、それぞれ、タイムフレームN-1に対する各低優先順位物体LP 431E-Jに対応し得る。
【0089】
したがって、ブロック440からブロック450への矢印によって表されるように、予測システムが、高優先順位物体HP 431A-Dに関する予測される将来的状態を運動計画システムに提供すると、予測システムは、並行して、前の順次タイムフレーム(すなわち、LP 421E-J)に対する各低優先順位物体(すなわち、LP 431E-J)に対する事前に決定された予測される将来的状態を提供するように構成されることができる。このように、予測される将来的状態を備える、現在のタイムフレームに対する全ての高優先順位物体(HP 431A-D)に関する予測される将来的状態と、前の順次タイムフレームに対する全ての低優先順位物体(LP 421E-J)に関する事前に決定された予測される将来的状態の完全セットが、並行して、予測システムが、高優先順位(HP 431A-D)として分類された各物体に対する予測される将来的状態を決定するとすぐに、運動計画システムに提供されることができる。
【0090】
図4に描写される物体予測プロセスによって提供される利点は、自律車両に関する運動計画を決定するために要求される時間が、短縮され得ることである。例えば、本明細書に説明される順次式車両自律型システム等の車両自律型システムに関して、運動計画システムは、各物体に対する予測される将来的状態をはるかに迅速に受信し、それによって、運動計画がスケジュールの先頭で決定されることを可能にすることができる。さらに、予測システムが各物体に対する予測される将来的状態を決定するための時間の短縮は、高優先順位物体対低優先順位物体の比に対応し得る。例えば、
図4に描写されるように、予測システムは、各物体431A-Dおよび421E-Jに対して予測される将来的状態を運動計画システムに提供する前に、タイムフレームNに対する高優先順位物体HP 431A-D(すなわち、10個の物体中4個)に関する予測される将来的状態のみを決定する必要があり、要求される処理時間の約60%の短縮を可能にするであろう。
【0091】
さらに、低優先順位物体は、運動計画に及ぼすその無視可能な影響等に基づいて分類され得るため、前の順次タイムフレームからの低優先順位物体に関する予測される将来的状態を使用することは、乗車者および自律車両の安全性における正味増加を可能にすることができる。例えば、自律車両から遠く離れて位置付けられ、自律車両から離れるように進行している物体等の低優先順位物体は、自律車両に関する運動計画に影響を及ぼす可能性が低くあり得る。しかしながら、自律車両に向かって進行している、または自律車両の近傍に位置付けられる物体等の高優先順位物体は、自律車両に関する運動計画に影響を及ぼす可能性がはるかに高くあり得る。そのような高優先順位物体が、短縮された時間量において、センサによって感知され、知覚システムによって知覚され、予測システムによって予測され、運動計画システムによって計画されることを可能にすることによって、自律車両は、より迅速な方式で高優先順位物体に応答し、それによって、衝突等の非安全条件の可能性を低減させることができる。
【0092】
ここで
図5を参照すると、本開示の例示的実施形態による、例示的コンピューティングシステム100のブロック図が、描写される。
図1-3におけるものと同一または類似する、要素は、同一参照番号を用いて参照される。示されるように、例示的コンピューティングシステム100は、1つ以上の通信ネットワーク180を経由して通信可能に結合される、コンピューティングシステム102(例えば、自律車両10上の車両コンピューティングシステム102)と、機械学習コンピューティングシステム130とを含むことができる。
【0093】
コンピューティングシステム102は、1つ以上のプロセッサ112と、メモリ114とを含むことができる。1つ以上のプロセッサ112は、任意の好適な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であることができ、動作可能に接続される1つのプロセッサまたは複数のプロセッサであることができる。メモリ114は、RAM、ROM、EEPROM、EPROM、1つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせ等の1つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。
【0094】
メモリ114は、1つ以上のプロセッサ112によってアクセスされ得る、情報を記憶することができる。例えば、メモリ114(例えば、1つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス)は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および/または記憶され得る、データ116を記憶することができる。メモリ114はまた、1つ以上のプロセッサ112によって実行され得る、コンピュータ可読命令118を記憶することができる。命令は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令は、プロセッサ112上の論理的および/または仮想的に別個のスレッド内で実行されることができる。例えば、メモリ114は、1つ以上のプロセッサ112によって実行されると、1つ以上のプロセッサ112に、本明細書に説明される動作および/または機能のいずれかを実施させる、命令を記憶することができる。
【0095】
コンピューティングシステム102はまた、コンピューティングシステム102から遠隔に位置する、システムまたはデバイスを含む、1つ以上のシステムまたはデバイスと通信するために使用される、ネットワークインターフェース128を含むことができる。ネットワークインターフェース128は、1つ以上のネットワーク(例えば、180)と通信するために、任意の回路、コンポーネント、ソフトウェア等を含むことができる。いくつかの実装では、ネットワークインターフェース128は、データを通信するために、例えば、通信コントローラ、受信機、送受信機、送信機、ポート、導体、ソフトウェア、および/またはハードウェアのうちの1つ以上のものを含むことができる。
【0096】
コンピューティングシステム102はまた、本明細書に説明されるように、知覚システム103と、予測システム104と、運動計画システム105と、車両コントローラ106と、優先順位分類システム150とを含むことができる。知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、所望の機能性を提供するために利用される、コンピュータ論理を含むことができる。いくつかの実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、汎用プロセッサを制御する、ハードウェア、ファームウェア、および/またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、記憶デバイス上に記憶され、メモリの中にロードされ、1つ以上のプロセッサによって実行される、プログラムファイルを含むことができる。他の実装では、知覚システム103、予測システム104、運動計画システム105、車両コントローラ106、および優先順位分類システム150はそれぞれ、RAMハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の1つ以上のセットを含むことができる。
【0097】
本開示の例示的側面によると、いくつかの実装では、予測システム104は、低忠実性予測システム122と、高忠実性予測システム124とを含むことができる。例えば、いくつかの実装では、高忠実性予測システム124は、各物体に対する将来的場所を予測するために、1つ以上の機械学習式モデルを含むかまたは別様に活用することができる。例えば、いくつかの実装では、高忠実性予測システム124は、1つ以上の潜在的目標を生成し、最も可能性が高い潜在的目標のうちの1つ以上のものを選択し、それによって物体が1つ以上の選択された目標を達成し得る1つ以上の軌道を展開する目標指向予測システムであることができる。例えば、高忠実性予測システム124は、物体に関する1つ以上の目標を生成および/またはスコア化する、シナリオ生成システムと、それによって物体が目標を達成し得る、1つ以上の軌道を決定する、シナリオ開発システムとを含むことができる。いくつかの実装では、高忠実性予測システム124は、機械学習された目標スコア化モデル、機械学習された軌道開発モデル、および/または他の機械学習式モデルを含むことができる。
【0098】
いくつかの実装では、低忠実性予測システム122は、1つ以上の状態前方統合モデルを含むことができる。例えば、低忠実性予測システム122は、現在の状態を前方統合することによって、物体に関する将来的状態を予測することができる。例えば、低忠実性予測システムは、物体の現在の位置、現在の速度、および現在の進行方向を使用して、将来的時間周期における物体に関する予測される将来的場所を決定することができる。
【0099】
いくつかの実装では、コンピューティングシステム102は、少なくとも部分的に、物体に関する優先順位分類に基づいて、将来的場所予測システムを選択し、選択された将来的場所予測システムを使用して、物体に関する予測される将来的状態を決定することによって、少なくとも部分的に、物体に関する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することができる。例えば、いくつかの実装では、低忠実性予測システム122は、低優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができ、高忠実性予測システム124は、高優先順位として分類された物体に関する予測される将来的状態を決定するために使用されることができる。
【0100】
低忠実性予測システムおよび高忠実性予測システムを使用して、少なくとも部分的に、各物体に対する優先順位分類に基づいて、各物体に対する予測される将来的状態を決定することによって提供される利点は、コンピューティングリソースが、より効率的に配分されることができることである。例えば、その車両運動計画に無視可能な影響を及ぼす可能性が高いこと等に起因して分類された低優先順位物体は、そのような物体に関する予測される将来的状態を決定するために、高忠実性予測システム124等の高度な予測システムを要求し得ない。例えば、自律車両から遠く離れて位置し、および/または自律車両から離れるような方向に進行している、低優先順位物体は、自律車両に関する運動計画に殆ど乃至全く影響を及ぼし得ない。したがって、本明細書に説明されるような目標指向予測システムによって提供される粒度は、単純状態前方統合モデル等の低忠実性予測モデル122に優る利点を殆ど乃至全く提供し得ない。故に、最初に、各物体に対する優先順位分類を決定することによって、算出リソースは、各物体に対する予測される将来的状態を決定するために、より効率的に配分されることができる。
【0101】
本開示の別の例示的側面によると、優先順位分類システム150は、1つ以上の機械学習式モデル120を記憶する、または含むことができる。例えば、機械学習式モデル120は、決定ツリーベースのモデル、サポートベクトルマシン、k-最近傍近傍モデル、ニューラルネットワーク(例えば、深層ニューラルネットワーク)、または他の多層非線形モデル等の種々の機械学習式モデルである、または別様にそれを含むことができる。例示的ニューラルネットワークは、フィードフォワードニューラルネットワーク、再帰ニューラルネットワーク(例えば、長短期メモリ再帰ニューラルネットワーク)、または他の形態のニューラルネットワークを含む。
【0102】
いくつかの実装では、1つ以上の機械学習式モデル120は、機械学習された物体優先順位分類子を含むことができる。例えば、いくつかの実装では、機械学習された物体優先順位分類子は、知覚システム103によって知覚された物体を高優先順位または低優先順位のいずれかとして分類するように構成されることができる。いくつかの実装では、機械学習された物体優先順位分類子は、本明細書に説明されるように、個別の物体優先順位に従って、物体をランク付けするように構成されることができる。
【0103】
いくつかの実装では、コンピューティングシステム102は、機械学習式モデル120を使用して、各物体に対する優先順位分類を決定することができる。例えば、コンピューティングシステム102は、機械学習式モデルを説明する、データを取得し、知覚システム103によって知覚された各物体に対する個別の状態データを機械学習式モデル120の中に入力し、各物体に対する個別の優先順位分類を示すデータを、機械学習式モデルの出力として受信することができる。いくつかの実装では、機械学習式モデル120および/または優先順位分類システム150は、各物体に対する個別の優先順位分類を予測システム104に提供するように構成されることができる。
【0104】
いくつかの実装では、車両コンピューティングシステム102は、ネットワーク180を経由して、1つ以上の機械学習式モデル120を機械学習コンピューティングシステム130から受信することができ、1つ以上の機械学習式モデル120をメモリ114内に記憶することができる。車両コンピューティングシステム102は、次いで、1つ以上の機械学習式モデル120を使用する、または別様に実装することができる(例えば、プロセッサ112によって)。
【0105】
いくつかの実装では、本明細書に説明されるある動作は、コンピューティングシステム102から遠隔に位置し、1つ以上の無線ネットワーク180(例えば、セルラーデータネットワーク、衛星通信ネットワーク、広域ネットワーク等)を経由して、コンピューティングシステム102と通信する、機械学習コンピューティングシステム130によって実施されることができる。実施例として、機械学習コンピューティングシステム130は、1つ以上のサーバコンピューティングデバイスを含むことができる。複数のサーバコンピューティングデバイスが、使用される場合、サーバコンピューティングデバイスは、パラレルコンピューティングアーキテクチャ、シーケンシャルコンピューティングアーキテクチャ、またはそれらの組み合わせに従って、配列されることができる。
【0106】
機械学習コンピューティングシステム130は、1つ以上のプロセッサ132と、メモリ134とを含むことができる。1つ以上のプロセッサ132は、任意の好適な処理デバイス(例えば、プロセッサコア、マイクロプロセッサ、ASIC、FPGA、コントローラ、マイクロコントローラ等)であることができ、動作可能に接続される、1つのプロセッサまたは複数のプロセッサであることができる。メモリ134は、RAM、ROM、EEPROM、EPROM、1つ以上のメモリデバイス、フラッシュメモリデバイス等、およびそれらの組み合わせ等の1つ以上の非一過性コンピュータ可読記憶媒体を含むことができる。
【0107】
メモリ134は、1つ以上のプロセッサ132によってアクセスされ得る、情報を記憶することができる。例えば、メモリ134(例えば、1つ以上の非一過性コンピュータ可読記憶媒体、メモリデバイス)は、取得される、受信される、アクセスされる、書き込まれる、操作される、作成される、および/または記憶され得る、データ136を記憶することができる。いくつかの実装では、機械学習コンピューティングシステム130は、データを、システム130から遠隔の1つ以上のメモリデバイスから取得することができる。
【0108】
メモリ134はまた、1つ以上のプロセッサ132によって実行され得る、コンピュータ可読命令138を記憶することができる。命令138は、任意の好適なプログラミング言語で書き込まれるソフトウェアであることができる、またはハードウェア内に実装されることができる。加えて、または代替として、命令138は、プロセッサ132上の論理的および/または仮想的に別個のスレッド内で実行されることができる。例えば、メモリ134は、1つ以上のプロセッサ132によって実行されると、1つ以上のプロセッサ132に、本明細書に説明される動作および/または機能のいずれかを実施させる、命令138を記憶することができる。
【0109】
機械学習コンピューティングシステム130はまた、機械学習コンピューティングシステム130から遠隔に位置する、システムまたはデバイスを含む、1つ以上のシステムまたはデバイスと通信するために使用される、ネットワークインターフェース164を含むことができる。ネットワークインターフェース164は、1つ以上のネットワーク(例えば、180)と通信するために、任意の回路、コンポーネント、ソフトウェア等を含むことができる。いくつかの実装では、ネットワークインターフェース164は、データを通信するために、例えば、通信コントローラ、受信機、送受信機、送信機、ポート、導体、ソフトウェア、および/またはハードウェアのうちの1つ以上のものを含むことができる。
【0110】
いくつかの実装では、機械学習コンピューティングシステム130は、1つ以上のサーバコンピューティングデバイスを含む。機械学習コンピューティングシステム130が、複数のサーバコンピューティングデバイスを含む場合、そのようなサーバコンピューティングデバイスは、例えば、シーケンシャルコンピューティングアーキテクチャ、パラレルコンピューティングアーキテクチャ、またはそれらのある組み合わせを含む、種々のコンピューティングアーキテクチャに従って、動作することができる。
【0111】
コンピューティングシステム102におけるモデル110に加えて、またはその代替として、機械学習コンピューティングシステム130は、1つ以上の機械学習式モデル140を含むことができる。例えば、機械学習されたモデル140は、決定ツリーベースのモデル、サポートベクトルマシン、k-最近傍近傍モデル、ニューラルネットワーク(例えば、深層ニューラルネットワーク)、または他の多層非線形モデル等の種々の機械学習式モデルであることができる、または別様にそれを含むことができる。例示的ニューラルネットワークは、フィードフォワードニューラルネットワーク、再帰ニューラルネットワーク(例えば、長短期メモリ再帰ニューラルネットワーク)、または他の形態のニューラルネットワークを含む。
【0112】
実施例として、機械学習コンピューティングシステム130は、クライアント-サーバ関係に従って、コンピューティングシステム102と通信することができる。例えば、機械学習コンピューティングシステム140は、機械学習式モデル140を実装し、ウェブサービスをコンピューティングシステム102に提供することができる。例えば、ウェブサービスは、物体優先順位分類をコンピューティングシステム102に提供することができる。
【0113】
したがって、機械学習式モデル110は、コンピューティングシステム102に位置し、そこで使用されることができ、および/または機械学習式モデル140は、機械学習コンピューティングシステム130に位置し、そこで使用されることができる。
【0114】
いくつかの実装では、機械学習コンピューティングシステム130および/またはコンピューティングシステム102は、モデル訓練器160の使用を通して、機械学習式モデル110および/または140を訓練することができる。モデル訓練器160は、1つ以上の訓練または学習アルゴリズムを使用して、機械学習式モデル110および/または140を訓練することができる。一例示的訓練技法は、誤差の逆伝搬である。いくつかの実装では、モデル訓練器160は、標識された訓練データ162のセットを使用して、教師あり訓練技法を実施することができる。他の実装では、モデル訓練器160は、標識されていない訓練データ162のセットを使用して、教師なし訓練技法を実施することができる。モデル訓練器160は、いくつかの一般化技法を実施し、訓練されているモデルの一般化能力を改良することができる。一般化技法は、重み減衰、ドロップアウト、または他の技法を含む。
【0115】
特に、モデル訓練器160は、訓練データ162のセットに基づいて、機械学習式モデル110および/または140を訓練することができる。訓練データ162は、例えば、事前に完了された自律車両運転セッションからの車両データログを含むことができる。車両データログは、例えば、自律車両の1つ以上のセンサによって取得されるセンサデータ、自律車両の知覚システム103によって知覚された1つ以上の物体を説明する状態データ、予測システム104によって決定された、自律車両によって知覚された物体に関する予測される将来的状態、運動計画システム105によって決定された前の運動計画、または本明細書に説明されるような他の車両データを含むことができる。いくつかの実装では、モデル訓練器160は、自律車両によって知覚された物体が自律車両の運動計画に影響を及ぼしたかどうかを決定することによって、機械学習式モデル110および/または140を訓練するように構成されることができる。
【0116】
本開示の別の側面によると、訓練データ162は、機械学習式モデル110および/または140を訓練するために使用され得る、人間の精査者によって記録される物体優先順位分類ラベルを含む車両データログを含むことができる。特に、人間の精査者は、車両データログを精査し、知覚システム103によって知覚された物体に関する物体優先順位分類を標識することができる。
【0117】
モデル訓練器160は、所望の機能性を提供するために利用される、コンピュータ論理を含み、汎用プロセッサを制御する、ハードウェア、ファームウェア、および/またはソフトウェア内に実装されることができる。例えば、いくつかの実装では、モデル訓練器160は、記憶デバイス上に記憶され、メモリの中にロードされ、1つ以上のプロセッサによって実行される、プログラムファイルを含む。他の実装では、モデル訓練器160は、RAMハードディスクまたは光学または磁気媒体等の有形コンピュータ可読記憶媒体内に記憶される、コンピュータ実行可能命令の1つ以上のセットを含む。
【0118】
ネットワーク180は、デバイス間の通信を可能にする、任意のタイプのネットワークまたはネットワークの組み合わせであることができる。いくつかの実施形態では、ネットワーク180は、ローカルエリアネットワーク、広域ネットワーク、インターネット、セキュアネットワーク、セルラーネットワーク、メッシュネットワーク、ピアツーピア通信リンク、および/またはそれらのある組み合わせのうちの1つ以上のものを含むことができ、任意の数の有線または無線リンクを含むことができる。ネットワーク180を経由した通信は、例えば、ネットワークインターフェースを介して、任意のタイプのプロトコル、保護スキーム、エンコーディング、フォーマット、パッケージング等を使用して、遂行されることができる。
【0119】
図5は、本開示を実装するために使用され得る、一例示的コンピューティングシステム100を図示する。他のコンピューティングシステムも同様に、使用されることができる。例えば、いくつかの実装では、コンピューティングシステム102は、モデル訓練器160と、訓練データセット162とを含むことができる。そのような実装では、機械学習式モデル110は、コンピューティングシステム102において、ローカルで訓練および使用の両方を行われることができる。別の実施例として、いくつかの実装では、コンピューティングシステム102は、他のコンピューティングシステムに接続されない。
【0120】
加えて、コンピューティングシステム102または130のうちの1つ内に含まれるように図示および/または議論される、コンポーネントは、代わりに、コンピューティングシステム102または130の別のもの内に含まれることができる。そのような構成は、本開示の範囲から逸脱することなく、実装されることができる。コンピュータベースのシステムの使用は、コンポーネント間およびその中でのタスクおよび機能性の多種多様な可能性として考えられる構成、組み合わせ、および分割を可能にする。コンピュータ実装動作は、単一コンポーネント上で、または複数のコンポーネントを横断して、実施されることができる。タスクおよび/または動作を実装するコンピュータは、順次または並行して、実施されることができる。データおよび命令は、単一メモリデバイス内に記憶されることができるか、または、複数のメモリデバイスを横断して記憶されることができる。
【0121】
ここで
図6を参照すると、本開示の例示的側面による、少なくとも部分的に、物体に関する優先順位分類に基づいて、自律車両によって知覚された物体に関する予測される将来的状態を決定するための例示的方法(600)が、描写される。
図6は、例証および議論目的のために、特定の順序において実施されるステップを描写するが、本開示の方法は、特に図示される順序または配列に限定されない。方法(600)の種々のステップは、本開示の範囲から逸脱することなく、種々の方法において、省略される、再配列される、組み合わせられる、および/または適合されることができる。方法(600)は、1つ以上のコンピューティングデバイスを備えるコンピューティングシステム等のコンピューティングシステムによって実装されることができる。
【0122】
(602)では、方法(600)は、コンピューティングシステムによって、自律車両によって知覚された複数の物体の少なくとも現在または過去の状態を説明する状態データを取得するステップを含むことができる。例えば、状態データは、位置、速度、加速、進行方向、ヨーレート、形状、サイズ、タイプ、自律車両からの距離、自律車両と相互作用するための最小経路、自律車両と相互作用するための最小持続時間、本明細書に説明される任意の他の状態データ、または自律車両によって知覚された物体を説明する任意の状態データ等の物体の1つ以上の特徴を説明するデータを含むことができる。いくつかの実装では、状態データは、自律車両の1つ以上のセンサから取得されるセンサデータに基づいて、状態データを生成するように構成される、自律車両の知覚システムから取得されることができる。
【0123】
(604)では、方法(600)は、コンピューティングシステムによって、少なくとも部分的に、各物体に対する個別の状態データに基づいて、複数の物体内の各物体に対する優先順位分類を決定するステップを含むことができる。例えば、いくつかの実装では、各物体に対する優先順位の分類は、優先順位分類システムによって決定されることができる。いくつかの実装では、優先順位分類は、各物体に対する高優先順位または低優先順位分類のいずれかであることができる。いくつかの実装では、優先順位分類は、自律車両によって知覚された相互の物体に対する各物体に対する個別の優先順位ランク付けであることができる。
【0124】
いくつかの実装では、各物体に対する優先順位分類は、機械学習式モデルによって決定されることができる。例えば、(606)では、本方法は、機械学習式モデルを説明するデータを取得するステップを含むことができる。いくつかの実装では、機械学習式モデルを説明するデータは、コンピューティングシステムのメモリ(例えば、非一過性コンピュータ可読媒体)から取得されることができる。いくつかの実装では、機械学習式モデルは、各物体に対する個別の状態データに基づいて、各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、機械学習された物体優先順位分類子であることができる。
【0125】
(608)では、方法(600)は、物体に関する個別の状態データを機械学習式モデルの中に入力するステップを含むことができる。例えば、知覚システムによって生成された状態データは、優先順位分類システムの機械学習式モデルによって受信されることができる。各物体に対する個別の状態データは、各個別の物体に対する優先順位分類を決定するために、機械学習式モデルの中に入力されることができる。
【0126】
(610)では、方法(600)は、個別の優先順位分類を示すデータを、機械学習式モデルの出力として受信するステップを含むことができる。例えば、いくつかの実装では、機械学習式モデルは、各物体を高優先順位または低優先順位のいずれかとして分類するように構成される、機械学習された物体優先順位分類子であることができ、機械学習式モデルは、各物体に対する個別の状態データに基づいて、個別の高優先順位または低優先順位分類を出力することができる。
【0127】
(612)では、方法(600)は、コンピューティングシステムによって、少なくとも部分的に、各物体に対する優先順位分類に基づいて、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップを含むことができる。例えば、いくつかの実装では、各物体は、高優先順位または低優先順位のいずれかとして分類されることができ、各高優先順位物体が、予測される将来的状態が任意の低優先順位物体に関して決定される前に、予測される将来的状態を決定されるように、順序が、決定されることができる。いくつかの実装では、コンピューティングシステムが各物体に対する予測される将来的状態を決定する順序を決定するステップは、各物体に割り当てられる優先順位ランク付けに基づくことができる。例えば、最高ランク付け物体は、予測される将来的状態を最初に決定されることができ、各連続してランク付けされた物体は、各物体に対する個別の優先順位ランク付けに従って連続的に決定される。
【0128】
(614)では、方法(600)は、コンピューティングシステムによって、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップを含むことができる。例えば、いくつかの実装では、予測システムは、低優先順位として分類された各物体に対する予測される将来的状態を決定する前に、高優先順位として分類された各物体に対する予測される将来的状態を決定するように、順序を決定することができる。いくつかの実装では、予測システムが、高優先順位として分類された各物体に対する予測される将来的状態を決定するとすぐに、予測システムは、各高優先順位の物体に対する予測される将来的状態を運動計画システムに提供するように構成されることができる。いくつかの実装では、高優先順位として分類された各物体に対する予測される将来的状態を決定するステップは、少なくとも部分的に、直近のタイムフレームに対して取得された状態データに基づいて、各高優先順位の物体に対する将来的状態を決定するステップを含むことができる。いくつかの実装では、低優先順位として分類された各物体に対する予測される将来的状態を決定するステップは、前の順次タイムフレームに対して取得された状態データに基づいて決定された、物体に関する予測される将来的状態を決定するステップを含むことができる。例えば、いくつかの実装では、予測システムは、予測システムが、現在のタイムフレームに対する各高優先順位の物体に対する将来予測される状態を運動計画システムに提供するのと同時に、前の順次タイムフレームに対する各低優先順位の物体に対する事前に決定された将来予測される状態を運動計画システムに提供することができる。
【0129】
いくつかの実装では、少なくとも部分的に、決定された順序に基づいて、各物体に対する予測される将来的状態を決定するステップは、少なくとも部分的に、物体に関する優先順位分類に基づいて、将来的場所予測システムを選択するステップと、選択された将来的場所予測システムを使用して、物体に関する予測される将来的状態を決定するステップとを含むことができる。例えば、いくつかの実装では、予測システムは、低忠実性予測システムと、高忠実性予測システムとを含むことができる。いくつかの実装では、低忠実性保護システムは、各低優先順位の物体に対する予測される将来的状態を決定するために使用されることができ、高忠実性予測システムは、各高優先順位の物体に対する予測される将来的状態を決定するために使用されることができる。
【0130】
(616)では、方法(600)は、少なくとも部分的に、物体のうちの少なくとも1つに関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定するステップを含むことができる。例えば、運動計画システムは、自律車両によって知覚された1つ以上の物体に関する1つ以上の予測される将来的状態を受信することができ、少なくとも部分的に、1つ以上の物体に関する予測される将来的状態に基づいて、自律車両に関する運動計画を決定することができる。
【0131】
このように、本開示の例示的側面による、システムおよび方法は、自律車両によって知覚された物体に関する優先順位分類を決定し、各物体に対する個別の優先順位分類に基づいて、各物体に対する予測される将来的状態を決定し、少なくとも部分的に、予測される将来的状態に基づいて、自律車両に関する運動計画を決定することを可能にすることができる。
【0132】
本明細書で議論される技術は、サーバ、データベース、ソフトウェアアプリケーション、および他のコンピュータベースのシステム、および行われるアクションおよびそのようなシステムへおよびそこから送信される情報を参照する。コンピュータベースのシステムの固有のフレキシビリティは、コンポーネント間およびその中のタスクおよび機能性の多様な可能性として考えられる構成、組み合わせ、および分割を可能にする。例えば、本明細書で議論されるプロセスは、単一デバイスまたはコンポーネントまたは組み合わせて作用する複数のデバイスまたはコンポーネントを使用して、実装されることができる。データベースおよびアプリケーションは、単一システム上に実装される、または複数のシステムを横断して分散されることができる。分散型コンポーネントは、順次または並行して動作することができる。
【0133】
本主題は、その種々の具体的例示的実施形態に対して詳細に説明されたが、各実施例は、本開示の限定ではなく、説明として提供される。当業者は、前述の理解の試みに応じて、そのような実施形態の改変、変形例、および均等物を容易に生産することができる。故に、本開示は、当業者に容易に明白となるであろうような本主題のそのような修正、変形例、および/または追加の含有を除外しない。例えば、一実施形態の一部として図示または説明される特徴は、別の実施形態と併用され、依然として、さらなる実施形態をもたらすことができる。したがって、本開示は、そのような改変、変形例、および均等物を網羅することが意図される。