(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-23
(54)【発明の名称】環境中のオブジェクトを検出するシステム
(51)【国際特許分類】
G08G 1/16 20060101AFI20241016BHJP
B60W 40/02 20060101ALI20241016BHJP
G01S 17/931 20200101ALI20241016BHJP
G01S 17/89 20200101ALI20241016BHJP
【ＦＩ】
G08G1/16 C
B60W40/02
G01S17/931
G01S17/89
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024518286
(86)(22)【出願日】2022-09-08
(85)【翻訳文提出日】2024-03-22
(86)【国際出願番号】 US2022076126
(87)【国際公開番号】W WO2023049630
(87)【国際公開日】2023-03-30
(31)【優先権主張番号】17/484,169
(32)【優先日】2021-09-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】アルチュール ダニエル コステア
(72)【発明者】
【氏名】デイビッド ファイファー
(72)【発明者】
【氏名】ズン ワン
(72)【発明者】
【氏名】アラン ゼレナー
【テーマコード（参考）】
3D241
5H181
5J084
【Ｆターム（参考）】
3D241BA11
3D241BA31
3D241BC01
3D241CC01
3D241CE06
3D241DB02Z
3D241DB05Z
3D241DC01Z
3D241DC31Z
3D241DC33Z
3D241DC34Z
3D241DC39Z
3D241DC41Z
3D241DC51Z
5H181AA01
5H181BB04
5H181BB20
5H181CC02
5H181CC03
5H181CC11
5H181CC12
5H181CC14
5H181CC17
5H181CC24
5H181CC27
5H181EE02
5H181EE13
5H181EE14
5H181FF04
5H181FF22
5H181FF32
5H181FF35
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5J084AA04
5J084AB01
5J084AB07
5J084AB16
5J084AC02
5J084EA05
5J084EA22
(57)【要約】
本明細書では、ライダーデータを使用してオブジェクトを検出及び分類するための技術について説明する。場合によっては、システムは、所定の数の以前のライダーデータのフレームを利用して、オブジェクトの検出及び分類を支援するように構成され得る。いくつかの実装では、システムは、オブジェクトを検出及び分類するために、現在のフレームに関連付けられたデータの完全なセットと共に、以前のライダーフレームに関連付けられたデータのサブセットを利用し得る。
【特許請求の範囲】
【請求項1】
方法であって、第１の時間に物理環境を表す第１のライダーデータを受信することと、
第２の時間に前記物理環境を表す第２のライダーデータを受信することと、
前記第１のライダーデータに関連付けられた第１の位置と、前記第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定することと、
前記第１のライダーデータ、前記第２のライダーデータ、及び前記伝達関数に少なくとも部分的に基づいて、前記物理環境を表す集約されたデータを判定することであって、前記集約されたデータの第１のチャンネルは、前記第１のライダーデータ及び前記第２のライダーデータで表される部分の第１の高さ値を表し、前記集約されたデータの第２のチャンネルは、前記部分の第２の高さ値を表す、ことと、
前記集約されたデータに少なくとも部分的に基づいて、前記物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定することと、を含む、方法。
【請求項2】
前記物理環境内の前記オブジェクトに関連付けられた前記オブジェクトデータを判定することは、前記集約されたデータを機械学習モデルに入力することと、
前記機械学習モデルから前記オブジェクトデータを受信することと、を含む、請求項１に記載の方法。
【請求項3】
前記第２のライダーデータに少なくとも部分的に基づいて、前記物理環境に関連付けられた空の空間を判定することと、前記伝達関数を生成する前に、前記第１のライダーデータをフィルタリングして、前記空の空間内のデータを除去することと、をさらに含む、請求項１または２に記載の方法。
【請求項4】
前記第１のライダーデータに関連付けられた第１のメッシュを生成することと、前記第２のライダーデータに関連付けられた第２のメッシュを生成することと、をさらに含み、
前記集約されたデータを判定することは、前記伝達関数を前記第１のメッシュに適用することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記集約されたデータは、トップダウン集約されたデータである、請求項１から４のいずれか一項に記載の方法。
【請求項6】
第３の時間に前記物理環境を表す第３のライダーデータを受信することと、前記集約されたデータの表現は、少なくとも前記第３のライダーデータに部分的に基づいている、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記第３のライダーデータに関連付けられた第３の位置及び前記第２のライダーデータに関連付けられた前記第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することをさらに含み、前記集約されたデータの表現は、前記第２の伝達関数に少なくとも部分的に基づいている、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記第１の高さ値が最大高さ値であり、前記第２の高さ値が最小高さ値である、請求項１から７のいずれか一項に記載の方法。
【請求項9】
コンピュータ上で実行されると、請求項１から８のいずれか一項に記載の方法を実施するコード化された命令を含む、コンピュータプログラム。
【請求項10】
システムであって、１つまたは複数のプロセッサと、
命令を記憶する１つまたは複数のコンピュータ可読媒体であって、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
第１の時間に物理環境を表す第１のライダーデータを受信することと、
第２の時間に前記物理環境を表す第２のライダーデータを受信することであって、前記第２の時間は前記第１の時間に続く、ことと、
前記第１のライダーデータに関連付けられた第１の位置と、前記第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定することと、
前記第１のライダーデータ、前記第２のライダーデータ及び前記伝達関数に少なくとも部分的に基づいて、前記物理環境を表す集約されたデータを判定することであって、前記集約されたデータの第１のチャンネルは、前記第１のライダーデータ及び前記第２のライダーデータで表される部分の第１の高さ値を表し、前記集約されたデータの第２のチャンネルは、前記部分の第２の高さ値を表す、ことと、
前記トップダウン集約されたデータに少なくとも部分的に基づいて、前記物理環境内のオブジェクトに関連するオブジェクトデータを判定することと、
を含む動作を実行させる、システム。
【請求項11】
前記集約されたデータは、前記物理環境のマルチチャネルトップダウン表現である、請求項１０に記載のシステム。
【請求項12】
前記動作は、前記第２のライダーデータに少なくとも部分的に基づいて、前記物理環境に関連付けられた空の空間を判定することと、
前記伝達関数を生成する前に、前記第１のライダーデータをフィルタリングして、前記空の空間内のデータを除去することと、をさらに含む、請求項１０または１１に記載のシステム。
【請求項13】
前記動作は、前記第１のライダーデータに関連付けられた第１のメッシュを生成することと、
前記第２のライダーデータに関連付けられた第２のメッシュを生成することと、をさらに含み、
前記集約されたデータを判定することは、前記伝達関数を前記第１のメッシュに適用することを含む、請求項１０から１２のいずれか一項に記載のシステム。
【請求項14】
前記第１の高さ値が最大高さ値であり、前記第２の高さ値が最小高さ値である、請求項１０から１３のいずれか一項に記載のシステム。
【請求項15】
前記動作は、第３の時間に前記物理環境を表す第３のライダーデータを受信することであって、前記第３の時間は前記第２の時間に先行する、ことと、
前記第３のライダーデータに関連付けられた第３の位置及び前記第２のライダーデータに関連付けられた前記第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することと、をさらに含み、
前記集約されたデータの表現は、前記第３のライダーデータと前記第２の伝達関数に少なくとも部分的に基づいている、請求項１０から１４のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、環境中のオブジェクトを検出するためのシステムに関する。
【背景技術】
【0002】
（関連出願の相互参照）
本出願は、２０２１年９月２４日に出願され、「環境内のオブジェクトを検出するためのシステム」と題された米国出願第１７／４８４，１６９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年９月２４日に出願され、「環境内のオブジェクトを検出するためのシステム」と題された米国出願第１７／４８４，１６９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0003】
自律車両は、経路に沿ってナビゲートし得る。例えば、自律車両が目的地まで移動する要求を受信するとき、自律車両は、乗客をピックアップするために、及び／またはピックアップ場所から目的地まで、自律車両の現在の場所からピックアップ場所までのルートに沿ってナビゲートし得る。ナビゲートしている間、自律車両は、環境内の他のオブジェクトを検出し、それらの挙動を予測し得る。各オブジェクトの挙動を予測することは、車両が環境を安全にナビゲートするための課題を引き起こし得る、ある程度の不確実性を含み得る。
【図面の簡単な説明】
【0004】
詳細な説明は、添付の図面を参照して説明される。図面において、参照番号の左端の数字（複数可）は、その参照番号が最初に出現する図面を識別する。異なる図面における同一の参照番号の使用は、類似または同一の項目または特徴を示す。
【0005】
【発明を実施するための形態】
【0006】
本明細書で論じられるように、自律車両は、物理環境をナビゲートし得る。例えば、自律車両が目的地まで移動する要求を受信すると、自律車両は、乗客をピックアップするために自律車両の現在の位置からピックアップ場所まで、次いでピックアップ場所から目的地まで、参照軌道またはルートに沿ってナビゲートし得る。ナビゲートしている間、自律車両は、環境内の動的オブジェクト（例えば、車両、歩行者、動物等）、静的オブジェクト（例えば、建物、標識、駐車中の車両等）に遭遇し得る。乗員及びオブジェクトの安全性を確保し、動作上の決定を下すために、本明細書で説明されるシステム及び車両は、動的オブジェクトの状態及び／または挙動をセグメント化、分類、及び／または予測し得る。予測される挙動及び／または状態は、自律車両によってキャプチャされたライダーデータに基づいてもよい。
【0007】
知覚及び予測システムは、予測システムに関連付けられた１つまたは複数の機械学習モデルまたはネットワークへの入力として、物理環境を表すライダーデータの現在または最新のフレームに依存し得る。予測システムは、次いで、検出されたオブジェクトの識別、分類、状態、位置または位置、及び１つまたは複数の予測された挙動を判定及び／または出力し得る。
【0008】
いくつかの場合では、機械学習モデル及び／または予測システムに関連付けられたネットワークは、入力データが現在のフレームと共に複数またはＮ個の先行フレームのライダーデータを含むときに、改善されたセグメンテーション、分類、オブジェクト識別、状態識別、予測された挙動等を提供し得る。このようにして、予測システムは、セグメンテーション、分類、オブジェクト識別、状態識別、予測される挙動等を支援するために、時間的データ（例えば、時間の経過に伴うオブジェクト（複数可）の変化）を利用し得る。例えば、道路からの蒸気上昇、霧、車両排気、及び／または他の（気をそらすもの）は、単一のフレームが利用されるとき、しばしば静的オブジェクトとして分類される。しかしながら、蒸気等の気をそらすものを処理するとき、ライダーデータの形状及び一貫性は、多くの場合、複数のフレームにわたって変化または多様化し、したがって、機械学習モデル及び／またはネットワークは、蒸気及び他の気をそらすものを静止した固体オブジェクトからより容易に区別することができ、それによって予測システムの出力を改善する。
【0009】
しかしながら、自律車両の動作は、処理時間（例えば、ミリ秒）と利用可能な計算リソースの両方によって制限され得る。場合によっては、単一のライダーフレームを処理することは、複数のチャネル（１００～２００チャネルの範囲等）を必要とし得て、各フレームに関してさらに２つの追加の先行フレームを処理することは、必要な処理時間及び／またはリソースを３倍にし得る。このようにして、複数のフレームにわたってライダーデータを時間的に処理することは、計算上高価であり、実際に実装することが困難である。
【0010】
本明細書で論じられるシステムは、トップダウンセグメンテーション及び分類を利用して、自律車両を取り巻く環境内の動的及び静的オブジェクトの両方を識別し得る。いくつかの場合では、トップダウンセグメンテーション及び分類は、そのような機械学習アルゴリズムへの入力としてデータを参照する。例えば、機械学習モデルまたはネットワークは、Ｚ次元が高さ次元を示すグリッドの形でデータを受け入れることができる。このようにして、データが上から見られ、その後機械学習モデルまたはネットワークに入力され得るように、データは効果的に回転される。いくつかの例では、機械学習モデルまたはネットワークは、それが立面図または側面図から見られるように効果的に回転されたデータを受け入れ得る。
【0011】
場合によっては、システムは、物理環境のトップダウン表現におけるグリッドの離散化された領域に従って先行フレームのデータを表し、整列させて、機械学習モデル及び／またはネットワークに時間的入力を提供しながら、ライダーデータの以前のＮフレームで必要とされる全体的な処理を低減するように構成され得る。いくつかの場合では、トップダウン表現は、トップダウン表現の個々の離散化された領域の高さ（最大高さ及び最小高さ等）を表すチャネル、ならびに値（センサ強度値等）を含むマルチチャネル画像であり得る。場合によっては、現在のフレームに関連付けられたデータは、任意の数の他のチャネル（追加の特徴、オブジェクト、特性等）を含み得る。このようにして、システムは、マルチチャネル画像の３つのチャネルを利用して、以前のＮフレームに関するトップダウン表現の領域及び現在のフレームに関する任意の数のチャネルを表し得る。先行するＮフレームに関連付けられた３つのチャネルは、それぞれ、画素の最小高さ、画素の最大高さ、及び領域または画素のライダー強度（画素での平均ライダー強度等）等の情報を含み得る。このようにして、追加の先行フレームの全体的な処理は、必要な全体的なコンピューティングリソースをわずかに増加させるだけである。
【0012】
いくつかの例では、対応する時間におけるシーンの状態をそれぞれ表す複数のフレームの整列は、車両の周りにフレームを中心とすることを含み得る。本明細書に開示されるように、車両は、車両の周りの環境（シーン）の状態を判定するためのセンサデータを生成するために使用されるセンサシステムを含み得る。整列は、静的（動かない）オブジェクトを残すため、動的（例えば、動いている）オブジェクトを除去することを含み得る。静的オブジェクトを基準として使用して、それぞれのシーンをどの程度シフトさせるかを判定してもよく、その結果、それらは車両に整列され、及び／または中央に配置される。この情報を使用して、フレーム（動的オブジェクトと静的オブジェクトを含む）を整列させ得る。理解されるべきであるように、車両は、静的オブジェクトに独立して移動し得、したがって、オフセット情報は、次いで、シーン内のすべてのオブジェクト（車両及び動的オブジェクトを含む）に適用することができるフレーム間の静的オブジェクトの位置の差に対応し得る。整列は、例えば、知覚システムによる分析のためにフレームを準備するために、それらが同じサイズであるように、それぞれのフレームをパディングまたはトリミングすることを含み得る。
【0013】
本明細書で論じられるシステムでは、各ライダーフレームに関連付けられたデータも整列させてもよい。例えば、ライダーデータは、環境内の静的オブジェクトが各ライダーフレーム内の同じ位置に整列されるように、自律車両の現在の位置に基づいて整列し得る。場合によっては、システムは、以前のライダーフレームのそれぞれに１つまたは複数の変換を適用して、すべてのデータポイントを共有世界座標系内に配置することによって、ライダーフレームを整列させ得る。Ｎ個の以前のライダーフレームのデータポイントが整列されると、システムは、各フレームの各ピクセルの最大高さ及び最小高さならびにライダー強度値を計算し得る。次いで、変換されたデータは、物理環境の共通表現にスタックされるか、または配置され得る。
【0014】
いくつかの場合では、Ｎ個の以前のライダーフレームに適用される１つまたは複数の変換は、自律車両によって実行される同時位置及びマッピング（ＳＬＡＭ）技術またはシステムに少なくとも部分的に基づいて判定され得る。例えば、車両は、グローバル位置または他の位置追跡を使用することに加えて、一連のフレームにわたって物理環境に対するその位置を追跡し得る。次いで、ＳＬＡＭシステムの出力を使用して、対応するフレームデータを共通の現在のフレームに遷移させるために、以前のＮ個のフレームのそれぞれについて変換（６つの自由度等）を生成し得る。たとえば、姿勢及び／または位置判定に関連付けられていることの詳細は、米国特許出願第１５／６７５，４８７号に記載されており、これは、その全体が参照により、かつすべての目的のために本明細書に組み込まれる。
【0015】
図１は、本開示の実施形態による、自律車両の動作上の決定に関連付けられた例示的なアーキテクチャ１ ００ を示す例示的なブロック図である。上述したように、自律車両は、車両が目的地へ移動するときに車両を取り巻く物理環境のライダーデータまたはフレームをキャプチャするためにライダーセンサシステム１０２を備え得る。ライダーデータは、自律車両によって利用されて、計画されたルートに沿ったオブジェクトを検出及び回避し得る。ライダーデータは、ミリ秒ごと等、所定の間隔でフレームに取り込まれ得る。例えば、ライダーセンサ及びデータキャプチャに関連する詳細は、米国特許第１０，４４４，７５９号に記載されており、これは、その全体が参照により、すべての目的のために本明細書に組み込まれる。
【0016】
いくつかの例では、ライダーセンサシステム１０２は、センサ１０２の現在の時間間隔に関連付けられた現在のフレーム１０４をフレーム処理システム１０６に提供し得る。場合によっては、フレーム処理システム１０６は、現在のフレーム１０４と複数の先行フレーム１０８の両方を知覚及び予測システム１１０に提供するように構成され得る。フレーム処理システム１０６は、最初に、処理速度を維持し、時間的なライダーセンサデータ履歴を提供することに関連付けられた全体的なリソース消費を低減するために、先行フレーム１０８に関連付けられたデータまたはチャネルを低減し得る。例えば、上述したように、知覚及び予測システム１１０は、現在のライダーフレーム１０４に基づいて、セグメント化、分類、及び複数の予測を行うこと、及び／または機械学習モデル及び／またはネットワークの複数の出力を生成することに関して、現在のフレームについての複数のチャネル（例えば、１００～２００チャネルの間）を処理し得る。しかしながら、同じ数のチャネルを使用して複数の先行フレーム１０８に関連付けられたすべてのデータを処理することは、しばしば、利用可能な処理リソースに過負荷をかけ、及び／または機械学習モデル及びネットワークの出力を、リアルタイムの決定及び反応時間を必要とする自律走行には適さない程度に遅延させる。
【0017】
したがって、例では、フレーム処理システム１０６は、それらを知覚及び予測システム１１０に提供する前に、先行フレーム１０８に関連付けられた全体的なデータを処理及び／または削減する。場合によっては、フレーム処理システム１０６は、先行フレーム１０８についての環境のマルチチャネルトップダウン表現を生成し得る。マルチチャネルトップダウン表現は、表現の個々の離散化された領域のための３つのチャネルを含み得る。例えば、チャネルは、最大高さ、最小高さ、及び強度値を含み得る。このようにして時間データ（例えば、先行フレーム１０８）を表すことによって、フレーム処理システム１０６は、知覚及び予測システム１１０によって入力され処理されるデータの量を削減し得る。例では、その深度データを表すチャネルをわずか３つに縮小することができ、それによって処理リソースを削減し、処理速度を向上させ得る。
【0018】
本明細書で論じられるように、マルチチャネル画像は、１つまたは複数の出力を判定するために訓練されたモデルに入力され得る複数のチャネルを含み得る。本明細書で論じられるいくつかの例では、マルチチャネル画像は、マルチチャネル表現（例えば、画像、符号化、行列表現等）の個々のチャネルが、自律車両が位置するオブジェクト及び／または周囲の物理環境に関する異なる情報を表す、対応するトップダウン表現として表され得る。様々な例では、マルチチャネル表現の各チャネルは、センサデータ及び／または物理環境に関連付けられた属性、クラス、特徴、及び／または信号を別々に符号化し得る。例えば、そのようなチャネルは、シナリオに関するセマンティック情報に対応し得て、シナリオのグリッド表現内の特定のオブジェクトタイプ及び／または占有の位置及び特性を識別する符号化（例えば、バイナリマスク）として格納され得る。
【0019】
場合によっては、マルチチャンネル表現の個々のチャンネルは、道路ネットワーク情報（例えば、車線、横断歩道、停止線、車線仕切り、停止標識、交差点、信号機等を示すセマンティックラベル）、信号機の状態（例えば、赤信号、黄信号、青信号等）、自律走行車両及び／またはエージェントに関連付けられたバウンディングボックス、ｘ方向及びｙ方向における自律走行車両及び／またはエージェントの速度、加速度、のうちの１つ以上を表すことがあるが、これらに限定されない、 赤信号、黄信号、青信号等）、自律走行車両及び／またはエージェントに関連付けられたバウンディングボックス、ｘ方向及びｙ方向における自律走行車両及び／またはエージェントの速度、ｘ方向及びｙ方向における自律走行車両及び／またはエージェントの加速度、自律走行車両及び／またはエージェントのウィンカー状態（左折、右折、ブレーキ、後退、ハザード、無灯火等）等を表し得る。いくつかの例では、複数のチャネルを訓練されたモデルに入力して、少なくとも１つの予測された挙動及び／またはオブジェクトの状態に関連する任意の他の予測を生成し得る。
【0020】
フレーム処理システム１０６はまた、複数の先行フレーム１０８の個々のフレームのデータを現在のフレーム１０４と整列させてもよい。例えば、ライダーセンサシステム１０２が連続するライダーフレームをキャプチャすると、自律車両及びライダーセンサシステム１０２の両方が環境内で移動し得る。自律車両の位置に関連付けられた基準フレーム内のオブジェクト位置を正確に表すために、先行フレーム１０８に関連付けられたデータは、フレーム処理システム１０６によって現在のフレーム１０４または他のフレームと整列させ得る。
【0021】
いくつかの場合では、フレーム処理システム１０６は、整列の前に動的オブジェクトデータをフィルタリングまたは削除し得る。例えば、図示されるように、知覚及び／または予測システム１１０によって出力されたオブジェクトデータ１１６は、Ｎ個の先行フレーム１０８のトップダウン表現を生成する際に使用するためにフレーム処理システム１０６に提供され得る。例えば、動的オブジェクトが自律車両から独立して移動するに連れて、現在の時間（例えば、先行フレームがキャプチャされた後の期間）における動的オブジェクトの位置は変化し得る。一例では、フレーム処理システム１０６は、現在のフレーム１０４のデータ内の動きを識別することによって、動的オブジェクトを削除及び／またはフィルタリングし得る。例えば、フレーム処理システム１０６は、ライダーポイントがライダーセンサの位置から最も近い障害物及び／またはオブジェクトを表すように、ライダーポイントが既知のセンサの原点（例えば、ライダーセンサの位置）とライダーポイントクラウドの個々のライダーポイントの位置との間の負の空間または空の環境を判定し得る。次いで、フレーム処理システムは、負の空間に関連付けられ、及び／または対応する先行フレーム１０８からのデータが動的オブジェクトを表し得ることを判定し得る。次いで、フレーム処理システム１０６は、先行フレーム１０８に関連付けられたデータに少なくとも部分的に基づいて生成されたマルチチャネルトップダウン表現から（例えば、負の空間内で）動的オブジェクトに関連付けられたデータを削除及び／またはフィルタリングし得る。
【0022】
他の例では、フレーム処理システム１０６は、オブジェクトデータ１１６に少なくとも部分的に基づいて、Ｎ個の先行フレーム１０８から動的オブジェクトに関連付けられたデータをフィルタリングし得る。このようにして、先行フレームのデータから動的オブジェクトを削除またはフィルタリングすることによって、整列は、動的オブジェクトの予測される挙動及び／または位置に依存することなく実行され得る。あるいは、フレーム処理システム１０６は、場合によっては、動的オブジェクトを静的オブジェクトとして処理し得る。さらに他の代替の例では、システムは、個々のフレーム内で動的オブジェクトデータを整列させ、重複データ及び／または平均位置及びトップダウン表現の指定された占有率を、重複データ及び／または平均位置データに基づいて決定し得る。いくつかの場合では、自律車両はまた、位置データ１１４を生成するために位置追跡システム１１２を実装し得る。例えば、位置追跡システム１１２は、ＳＬＡＭシステム、衛星ベースの位置追跡システム（例えば、グローバルポジショニングシステム（ＧＰＳ））、セルラーネットワークベースの追跡システム、既知のランドマークベースの追跡システム等であり得る。フレーム処理システム１０６は、位置データ１１４を利用して、自律車両及び／またはライダーセンサシステム１０２の以前の位置と、例えば、世界フレームまたは座標系における自律車両及び／またはライダーセンサシステム１０２の現在の位置との間の１つまたは複数の並進及び／または回転（６つの自由度内の並進及び回転等）を生成し得る。
【0023】
先行フレーム１０８の個々のフレームが共通の基準フレーム（例えば、グローバルワールドフレームまたはローカル車両フレーム）に基づいて整列されると、フレーム処理システム１０６は、現在のフレーム１０４と共に先行フレーム１０８を知覚及び予測システム１１０に入力し得る。上述したように、知覚システムは、現在のフレーム１０４及び／または先行フレーム１０８のライダーデータ内に表されるオブジェクトをセグメント化及び分類し得る。予測システムは、知覚システムによって生成されたオブジェクトデータを利用して、オブジェクトの状態及び／または予測される挙動を決定し得る。例えば、予測システム及び知覚システムに関連する詳細は、米国特許出願第１６／２３８，４７５号及び同第１６／７３２，２４３号に記載されており、これらは、参照によりそれらの全体が、すべての目的のために本明細書に組み込まれる。併せて、知覚及び／または予測システム１１０は、オブジェクトデータ１１６（例えば、セグメント化及び分類されたオブジェクト、オブジェクトの特徴、オブジェクトの状態、オブジェクトの予測される挙動等）を生成し得る。次いで、オブジェクトデータ１１６は、運用決定システム１１４（プランニングシステム、駆動システム、安全システム等）によって処理され、自律車両の運用決定を行う。
【0024】
図２は、本開示の実施形態による、自律車両２０２の動作決定に関連付けられた例示的なアーキテクチャ２００を示す別の例示的なブロック図である。上述したように、自律車両２０２は、車両が現在の位置から目的地の位置まで計画された軌道またはルートを横断するときに、車両２０２を取り巻く物理環境のデータまたはフレーム（ライダーデータ、画像データ等）をキャプチャするためのセンサシステムを備え得る。
【0025】
現在の例では、キャプチャセンサの現在の時間間隔に関連付けられた現在のフレーム２０４は、フレーム処理システム２０６によって受信される。フレーム処理システム２０６は、１つまたは複数の知覚及び予測システム２１０に先行フレーム２０８を入力する前に、所定の数の先行フレーム２０８に関連付けられたデータ（例えば、前の時間間隔中にキャプチャされたライダーデータ）を減少させるように構成され得る。場合によっては、所定の数の先行フレーム２０８は、自律車両２０２に関連付けられた様々な条件に基づいて決定され得る。例えば、速度、加速度、減速、気象条件（例えば、雪、乾燥、霧等）、道路条件（例えば、直線、傾斜、低下、曲線、劣化、車線数等）。
【0026】
例えば、上述したように、知覚及び／または予測システム２１０は、１つ以上の機械学習モデル及び／またはネットワークを使用して、所定の数の先行フレーム２０８のそれぞれについての３つ以上のチャネルと共に、現在のフレーム２０４についての複数のチャネル（例えば、１００～２００のチャネル間）を処理し得る。いくつかの場合では、個々のチャネルは、先行フレームごとに使用され得る。他の場合では、先行フレームに関連付けられたチャネルは、フレーム間で組み合わされてもよく、平均化されてもよく、またはそうでなければ一貫していてもよい。いくつかの特定の例では、チャネルは、結果として生じるトップダウン表現に少なくとも部分的に基づいて判定され得る。例えば、いくつかのチャネルは、フレーム間等で重複してもよく、及び／またはそうでなければ共有されてもよい。いくつかの場合では、セグメンテーションモデル及び機械学習モデルに関連する詳細は、米国特許第１０，５３５，１３８号及び同第１０，６４９，４５９号に記載されており、これらは、参照によりそれらの全体が、すべての目的のために本明細書に組み込まれる。
【0027】
いくつかの例では、フレーム処理システム２０６はまた、知覚及び／または予測システム２１０の機械学習モデル及びネットワークにトップダウン表現を入力する前に、複数の先行フレーム２０８の個々のフレームのデータを、現在のフレーム２０４によって使用されるワールドフレームまたは車両フレームと整列させ得る。例えば、自律車両２０２が環境内で移動するにつれて、ライダーフレーム２０４及び２０８がキャプチャされる位置が変更される。次いで、フレーム処理システム２０６は、自律車両の現在の位置に基づいてオブジェクト位置を正確に表すために、個々のフレームからのデータを共通の基準位置または座標系へ整列させ得る。
【0028】
いくつかの例では、フレーム処理システム２０６は、先行フレーム２０８の個々のフレームに関連付けられたライダーポイントクラウドに少なくとも部分的に基づいて三角形のメッシュ（または他のメッシュ）を生成することによって、先行フレーム２０８のデータを整列させ得る。次いで、フレーム処理システム２０６は、例えば、現在のフレーム２０４に関連付けられた負の空間または空の環境を判定し、先行フレーム２０８内の負の空間または空の環境内のデータを除去することによる動きの検出に基づいて、三角形メッシュから動的オブジェクトデータを除去し得る。次いで、フレーム処理システム２０６は、先行フレーム２０８の位置から現在のフレーム２０４での位置への変換を判定し得る。場合によっては、フレーム処理システム２０６は、処理速度をさらに改善するために回転を無視しながら、先行フレーム２０８の位置と現在のフレーム２０４の位置との間の変換を判定し得る。他の場合では、フレーム処理システム２０６は、オブジェクトが垂直位置を経験する可能性が低いため、処理速度を再び改善するために、２次元の変換を判定し得る。
【0029】
いくつかの場合では、フレーム処理システム２０６は、上述したように、知覚及び予測システム２１０にそれらを提供する前に、先行フレーム２０８に関連付けられた全体的なデータを減らし得る。例えば、フレーム処理システム２０６は、先行フレーム２０８を使用して環境のトップダウン表現を生成し得る。トップダウン表現は、マルチチャネルであり得て、個々のフレームからの整列されたデータを共有する物理環境の個々の離散化された領域を含み得る。いくつかの例では、個々の領域は、最大高さ、最小高さ、及び強度値を表すデータを含み得る。いくつかの例では、先行フレーム２０８のデータがトップダウン表現内で整列されると、フレーム処理システム２０６は、トップダウン表現の個々の領域について、最大高さ、最小高さ、及び平均強度値を判定し得る。このようにして、トップダウン表現の領域の占有は、上面及び底面を有する連続的な垂直広がりとして表され得る。連続的な垂直領域は、オブジェクトの形状及び／または境界領域に関してより少ない詳細を提供し得るが、連続的な垂直領域は、より少ない処理リソースを使用して処理、格納、及び送信され得る。
【0030】
場合によっては、複数のフレームのマルチチャネル表現は、フレームのそれぞれのチャネル（複数可）を含み得る。例えば、フレームの各々は、異なる時点に対応すし得て、チャネル（複数可）は、時点の各々に対応する情報を符号化し得る。これは、本明細書に開示されるように、符号化されたオブジェクトの高さを含み得て、各時点は、高さ情報を符号化するために使用される３つのチャネルを有し得る。いくつかの例では、複数の時点に対応する情報を共有するチャネルは、フレーム間で共有され得る。例えば、フレームが環境内で移動する車両を中心にしておらず、代わりに静的ポイントに焦点を当てている場合、静的オブジェクト情報を含むチャネルは共有され得る。
【0031】
いくつかの場合では、フレーム処理システム２０６は、個々のフレームのデータと車両２０２の現在位置との間の１つまたは複数の並進及び／または回転を生成し得る。例えば、フレーム処理システム２０６は、上述したように、ＳＬＡＭシステム、衛星ベースの位置追跡システム、セルラーネットワークベースの追跡システム、既知のランドマークベースの追跡システム等から位置データを受信し得る。フレーム処理システム２０６は、対応する先行フレーム２０８のデータの１つ以上の並進及び／または回転を適用する前に、位置データを利用して、個々の先行フレームごとに１つ以上の並進及び／または回転を生成し得る。
【0032】
先行フレーム２０８の個々のフレームが整列されると、フレーム処理システム２０６は、現在のフレーム２０４と共に先行フレーム２０８を知覚及び／または予測システム２１０に入力して、自律車両２０２を取り囲む物理環境内の検出されたオブジェクトの動作に関連付けられた予測をセグメント化、検出、分類、及び生成し得る。次いで、知覚及び／または予測システム２１０は、制御信号２１６を介して自律車両２０２に関連付けられた動作を計画及び実行するために、１つまたは複数の動作決定システム２１４によって処理され得るオブジェクトデータ２１２を生成し得る。
【0033】
図３～４は、本明細書で論じられる時間センサデータシステムに関連付けられた例示的なプロセスを示すフローチャートである。プロセスは、論理フローチャート内のブロックの集合として図示され、論理フロー図は、動作のシーケンスを表し、その一部またはすべては、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装され得る。ソフトウェアとの関連では、ブロックは、１つ以上のプロセッサで実行したときに、列挙した動作を実行する１つ以上のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、暗号化、解読、圧縮、記録、データ構造等を含む。
【0034】
動作が記述される順序は、制限として解釈されるべきではない。記述された任意の数のブロックは、プロセスまたは代替プロセスを実装するために、任意の順序で及び／または並列に組み合わせてもよく、すべてのブロックを実行する必要はない。説明の目的のために、本明細書のプロセスは、本明細書の実施例で説明されるフレームワーク、アーキテクチャ、及び環境を参照して説明されるが、プロセスは、多種多様な他のフレームワーク、アーキテクチャ、または環境で実装され得る。
【0035】
図３は、本開示の例による、時間センサデータシステムに関連付けられた例示的なプロセス３００を示す別のフローチャートである。上記のように、自律車両は、車両を取り巻く物理的な環境のデータまたはフレームをキャプチャするために、センサシステム（例えば、１つまたは複数のライダーセンサ）を装備し得る。ライダーデータは、計画された経路に沿った動的及び静的オブジェクトを検出して応答するために自律車両によって利用され得る。
【0036】
３０２において、車両またはそれに関連付けられるシステムは、センサシステムから現在のライダーフレームを受信してもよい。例えば、車両は、所定の時間間隔に関連付けられたライダーデータのフレームまたはティックを生成するために、１つまたは複数のライダーセンサシステムを備え得る。ライダーデータは、周囲の物理環境の所定の距離内のオブジェクトを表し得る。場合によっては、現在のライダーフレームは、車両の現在のグローバル位置、座標、またはフレームに関連付けられ得る。
【0037】
３０４において、車両またはそれに関連付けられるシステムは、次の先行するライダーフレームにアクセスしてもよい。例えば、車両は、所定の数の以前のライダーフレーム等、複数の以前のライダーフレームに関連付けられたデータの少なくとも一部を格納し得る。場合によっては、格納された以前のライダーフレームの数は、計画された経路または軌道、安全設定、環境条件、車両の種類、乗客の数及び／または存在等、現在の車両に関連付けられた様々な特性に基づいて判定され得る。
【0038】
３０６において、車両またはそれに関連付けられるシステムは、１つまたは複数の伝達関数に少なくとも部分的に基づいて、次の先行するライダーフレームを現在のライダーフレームの座標系と整列させてもよい。例えば、車両の中心または所定の基準点（ライダーセンサの位置等）は、現在の座標系の中心として使用または選択され得る。場合によっては、車両はまた、以前の時間における車両の以前の位置と現在の時間における車両の現在の位置との間の相対的な位置の変化を判定するために使用され得る１つまたは複数のＳＬＡＭ追跡システムを実装し得る。例えば、ＳＬＡＭシステムは、検出された環境オブジェクトの相対的または後続的なポーズ間のキーポイントまたは特徴対応を追跡し得る。システムは、相対的なキーポイントならびに慣性測定ユニット（ＩＭＵ）データを利用して、位置の相対的な変化（例えば、最大６つの自由度にわたる）を判定し、及び／または各インダビアルフレームの位置データを生成し得る。このようにして、先行フレームと現在のフレームとの間の変換は、介在するフレームの各自由度または各並進及び回転における変化の蓄積を含み得る。したがって、個々のフレームについて、システムは、車両の中心または所定の基準点間の変換（１つまたは複数の並進及び／または回転等）を独立した変換として判定し得る。次いで、システムは、対応する先行フレームのデータに変換を適用して、フレームのデータを車両の現在の位置と整列させ得る。このようにして、システムは、フレームのデータを現在の座標系と整列させるために、先行フレームの各フレームについて独立した変換を判定し得ることを理解されたい。
【0039】
３０８において、車両またはそれに関連付けられるシステムは、次の先行するライダーフレームの縮小された表現を生成してもよい。例えば、車両は、車両が最大高さ値、最小高さ値、及び次の先行するライダーフレーム内に表される個々のライダーポイントの強度を維持するように、ライダーポイントに関連付けられたデータを減らし得る。場合によっては、縮小された表現は、占有率、及び個々のピクセルまたは領域の占有者の最大及び最小の高さを含む環境のピクセルまたは領域を格納するトップダウン表現を含み得る。場合によっては、システムは、以前の期間（例えば、先行フレームが現在のフレームであったとき）に決定されたフレームのセグメンテーション及び分類結果に少なくとも部分的に基づいて、動的オブジェクトデータをフィルタリング及び／または削除することによって、先行フレームに関連付けられたデータをさらに削減し得る。このようにして、システムは、現在の動的オブジェクトの予測された挙動及び／または位置（例えば、キャプチャされた先行フレームに対する将来の時間）に関連付けられた追加のチャネルを提供することを回避し得る。
【0040】
３１０において、車両またはそれに関連付けられるシステムは、車両が所定の数の先行フレームを満たしているか、または超えているかを判定してもよい。例えば、車両は、個々のフレームに関連付けられたデータを反復的に削減し、フレームのデータを現在の座標系に整列させるために転送関数を判定してもよい。所定の数の先行フレームが満たされない、または超えられない場合、プロセス３００は、３０４に戻り得る。それ以外の場合、プロセス３００は、３１２に進み得る。
【0041】
３１２において、車両またはそれに関連付けられるシステムは、現在のライダーフレーム及び以前のライダーフレームの縮小された表現に少なくとも部分的に基づいて、オブジェクトを検出し、分類してもよい。例えば、上述したように、ライダーデータを使用して、蒸気、霧、排気等のいくつかのタイプのオブジェクト／環境条件を検出及び分類することは、単一のライダーフレームを使用して困難であり得る。しかしながら、複数のライダーフレームを利用することによって、知覚及び／または予測システムは、蒸気、霧、排気等に関するライダーポイントの変化を検出し得て、したがって、この場合のような環境条件を、回避すべき固体オブジェクトではなく気晴らしとしてより正確に分類し得る。
【0042】
３１４において、車両またはそれに関連付けられるシステムは、オブジェクトに少なくとも部分的に基づいて、車両に関連付けられる少なくとも１つの動作決定を判定してもよく、３１６において、車両は、少なくとも１つの動作決定を実行してよい。例えば、車両は、検出されたオブジェクトに関連付けられたオブジェクトデータに少なくとも部分的に基づいて、車線を加速、減速、回転、変更等し得る。上述の蒸気、霧、排気の具体的な例では、車両は、単に計画どおりに継続し得る。
【0043】
図４は、本開示の例による、時間センサデータシステムに関連付けられた例示的なプロセス４００を示す別のフローチャートである。上記のように、自律車両は、車両を取り巻く物理的な環境のデータまたはフレームをキャプチャするためにセンサシステム（例えば、１つまたは複数のライダーセンサ）を装備し得る。ライダーデータは、計画された経路に沿った動的及び静的オブジェクトを検出して応答するために自律車両によって利用され得る。
【0044】
４０２において、車両またはそれに関連付けられるシステムは、センサシステムから現在のライダーフレームを受信してもよい。例えば、自律車両は、所定の時間間隔に関連付けられたライダーデータのフレームまたはティックを生成するための１つまたは複数のライダーセンサシステムを装備してもよい。ライダーデータは、周囲の物理環境の所定の距離内のオブジェクトを表し得る。場合によっては、現在のライダーフレームは、車両の現在のグローバル位置、座標、またはフレームに関連付けられ得る。
【0045】
４０４において、システムは、位置追跡システムから位置データを受信してもよい。例えば、車両は、１つまたは複数のＳＬＡＭ追跡システム、衛星ベースの位置追跡システム、セルラーネットワークベースの追跡システム、既知のランドマークベースの追跡システム等を実装し得る。位置データは、以前の時間における車両の以前の位置（先行フレームに関連付けられた間隔等）と車両の現在の位置（例えば、現在のフレームがキャプチャされた位置）との間の位置の変化を表し得る。
【0046】
４０６において、システムは、１つまたは複数の先行フレームの個々の先行フレームについて、少なくとも１つの伝達関数（例えば、１つまたは複数の並進及び／または回転）等の変換を判定して、個々の先行フレームを自律車両の現在の座標系と整列させてよく、４０８において、システムは、変換を対応する先行フレームに適用してもよい。例えば、システムは、位置データに少なくとも部分的に基づいて、車両の現在の位置と次の先行フレームがキャプチャされた位置との間の１つまたは複数の並進及び／または回転を決定し得る。このようにして、システムは、先行フレームの個々のフレームごとにカスタマイズされた伝達関数（複数可）を判定し得る。
【0047】
４１０において、システムは、１つまたは複数の先行フレームの縮小された表現を生成してもよい。例えば、車両は、車両が最大高さ値、最小高さ値、及び次の先行するライダーフレーム内に表される個々のライダーポイントの強度を維持するように、ライダーポイントに関連付けられたデータを減らし得る。場合によっては、縮小表現は、少なくとも部分的に占有率と、個々の画素または領域の占有者の最大及び最小の高さとに基づいて、環境の画素または領域を格納するトップダウン表現を含み得る。
【0048】
４１２において、プロセス４００は、任意の追加の先行フレームであるかどうかを判定してもよい。追加の先行フレームが存在する場合、プロセス４００は、４０６に戻り得る。それ以外の場合、プロセス４００は、４１４に進み得る。４１４において、システムは、先行フレーム及び現在のフレームに関連付けられたデータに少なくとも部分的に基づいてオブジェクトデータを決定してもよい。例えば、システムは、データを、検出されたオブジェクトに関連付けられた特徴または特徴付けをセグメント化、検出、分類、及び判定するように訓練された１つまたは複数の機械学習モデル及び／またはネットワークに入力し得る。例えば、上述したように、モデル及び／またはネットワークは、１つまたは複数の知覚システム及び／または予測システムに関連付けられ得る。
【0049】
４１６において、車両またはそれに関連付けられるシステムは、オブジェクトに少なくとも部分的に基づいて、車両に関連付けられる少なくとも１つの動作決定を判定してよく、４１８において、車両は、少なくとも１つの動作決定を実行してもよい。例えば、車両は、検出されたオブジェクトに関連付けられたオブジェクトデータに少なくとも部分的に基づいて、車線を加速、減速、回転、変更等し得る。上述の蒸気、霧、排気の具体的な例では、車両は、単に計画どおりに継続し得る。
【0050】
図５は、本開示の例による、自律車両５１０のライダーセンサシステムに関連付けられた２つの間隔５０６及び５０８でキャプチャされたライダーデータ５０２及び５０４の例５００を示す絵図である。現在の例は、区間５０８内で動作決定を行うときにライダーデータ５０２の先行フレームを利用することが、知覚システム及び予測システムがオブジェクトをより正確に検出及び分類するのをどのように支援し得るかを示す。例えば、ライダーデータ５０２及び５０４のライダーポイントは、道路に沿って格子から上昇する蒸気を表す。図示されるように、ライダーデータ５０２のライダーポイントは、ライダーデータ５０４のライダーポイントに関して変化している。このように、車両５１０の知覚システムと予測システムは、少なくとも区間５０６と５０８の間のライダーポイント内の既知の変化に基づいて、固体のオブジェクトとは対照的に、蒸気を蒸気として分類する可能性が高い。
【0051】
図６は、本開示の例による、ライダーデータの例示的な表現６００を示す別の絵図である。現在の例では、ライダーデータによって表されるオブジェクトは、環境の個々の事前定義された領域内の最大高さ値と最小高さ値との間の連続的な垂直方向の広がりとして表され得る。例えば、個々の領域は、対応する領域の占有率を視覚的に表すために使用される最大高さ、最小高さ、及び強度値に関連付けられ得る。このようにして、知覚システム及び／または予測システムによって処理される総データは、ライダーデータの個々のフレームに関して減少され得る。
【0052】
図７は、本明細書で説明される技法を実装するための例示的なシステム７００のブロック図である。少なくとも１つの例示において、システム７００は、上述した自律車両のような車両７０２を含んでもよい。車両２０２は、コンピューティングデバイス７０４（複数可）、１つまたは複数のセンサシステム７０６（複数可）、１つまたは複数のエミッタ７０８（複数可）、１つまたは複数の通信接続７１０（複数可、通信デバイス及び／またはモデムとも呼ばれる）、少なくとも１つの直接接続部７１２（例えば、データを交換するため、及び／または電力を提供するために車両７０２と物理的に結合するための）、及び１つまたは複数の駆動システム７１４（複数）を含み得る。１つまたは複数のセンサシステム７０６（複数可）は、周囲の物理環境に関連付けられたセンサデータ７２８をキャプチャするように構成され得る。
【0053】
少なくともいくつかの例では、センサシステム７０６（複数可）は、熱センサ、飛行時間センサ、位置センサ（例えば、ＧＰＳ、コンパス等）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ等）、ライダーセンサ、レーダセンサ、ソナーセンサ、赤外線センサ、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度等）、マイクロホンセンサ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサ等）、超音波トランスデューサ、ホイールエンコーダ等。含み得る。いくつかの例では、センサシステム７０６は、各タイプのセンサの複数のインスタンスを含み得る。例えば、飛行時間センサは、車両７０２の角、前部、後部、側面、及び／または上部に配置される個々の飛行時間センサを含み得る。別の例として、カメラセンサは、車両７０２の外部及び／または内部についての様々な位置に配置される複数のカメラを含んでよい。場合によっては、センサシステム７０６（複数可）は、コンピューティングデバイス７０４（複数可）に入力を提供し得る。
【0054】
車両７０２はまた、光及び／または音を放出するための１つまたは複数のエミッタ７０８（複数可）を含み得る。この例における１つまたは複数のエミッタ７０８（複数可）は、内部オーディオ及び視覚エミッタを含み、車両７０２の乗員と通信する。例示の目的で、限定ではなく、内部エミッタは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚エミッタ（例えば、振動及び／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナー等）等を含み得る。この例における１つまたは複数のエミッタ７０８（複数可）はまた、外部エミッタを含む。限定ではない例として、この例における外部エミッタは、走行の方向または車両動作の他のインジケータ（例えば、インジケータライト、サイン、光アレイ等）を信号で送るための光、及びそのうちの１つ以上が音響ビームステアリング技術を備え得る、歩行者または他の近くの車両と音声で通信するための１つ以上のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーン等）を含む。
【0055】
車両７０２はまた、車両７０２と１つまたは複数の他のローカルコンピューティングデバイスまたはリモートコンピューティングデバイス（例えば、リモート遠隔操作コンピューティングデバイス）またはリモートサービスとの間の通信を可能にする１つまたは複数の通信接続７１０を含み得る。例えば、通信接続７１０（複数可）は、車両７０２上の他のローカルコンピューティングデバイス（複数可）及び／または駆動システム７１４（複数可）との通信を容易にし得る。また、通信接続７１０（複数可）は、車両７０２が他の近くのコンピューティングデバイス（複数可）（例えば、他の近くの車両、交通信号等）と通信することを許容し得る。
【0056】
通信接続７１０（複数可）は、コンピューティングデバイス７０４（複数可）を別のコンピューティングデバイスまたは１つまたは複数の外部ネットワーク７３４（例えば、インターネット）に接続するための物理的及び／または論理的インターフェースを含み得る。例えば、通信接続７１０（複数可）は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ等の短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４ＧＬＴＥ、５Ｇ等）、衛星通信、専用狭域通信（ＤＳＲＣ）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線または無線通信プロトコルを可能にし得る。少なくともいくつかの例では、通信接続７１０（複数可）は、上記で詳述したように、１つ以上のモデムを備え得る。
【0057】
少なくとも１つの例では、車両７０２は、１つまたは複数の駆動システム７１４を含み得る。ある例において、車両７０２は、単一の駆動システム７１４を有し得る。少なくとも１つの例において、車両７０２が多様な駆動システム７１４を有する場合、個々の駆動システム７１４は、車両７０２の対向する端部（例えば、前部及び後部等）に配置され得る。少なくとも１つの例において、駆動システム７１４（複数可）は、駆動システム７１４（複数可）及び／または車両７０２の周囲の条件を検出するための１つまたは複数のセンサシステム７０６（複数可）を含み得る。例示の目的であり、限定ではなく、センサシステム７０６（複数可）は、駆動システムのホイールの回転を感知するために１つまたは複数のホイールエンコーダ（例えば、ロータリーエンコーダー）、駆動システムの向き及び加速度を測定するために慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計等）、カメラまたは他の画像センサ、駆動システムの周辺環境におけるオブジェクトを音響的に検出するために超音波センサ、ライダーセンサ、レーダセンサ等、を含み得る。ホイールエンコーダ等のいくつかのセンサは、駆動システム７１４（複数可）に固有のものであってもよい。ある場合において、駆動システム７１４（複数可）上のセンサシステムは、車両７０２の対応するシステム（例えば、センサシステム７０６（複数可））と重複すること、または車両７０２の対応するシステムを補足し得る。
【0058】
駆動モジュール７１４（複数可）は、高電圧バッテリー、車両を推進するモータ、バッテリーからの直流電流を他の車両システムによって利用される交流電流へと変換するインバーター、ステアリングモータ、及びステアリングラック（電動であってよい）を含むステアリングシステム、油圧、または電気アクチュエータを含むブレーキシステム、油圧及び／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し、且つ制御を維持するために制動力の分散をするスタビリティー制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周辺を照らすヘッド／テールライト等の照明）、及び１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポート等のその他の電装コンポーネント等）を含む、多くの車両システムを含み得る。また、駆動システム７１４（複数可）は、センサシステム７０６（複数可）からデータを受け取り、前処理することができ、様々な車両システムの演算を制御するための駆動システムコントローラを含み得る。いくつかの例では、駆動システムコントローラは、１つ以上のプロセッサ（複数可）と、１つ以上のプロセッサ（複数可）と通信可能に結合されたメモリとを含み得る。メモリは、駆動システム７１４（複数可）の様々な機能を実行するための１つまたは複数のモジュールを格納し得る。さらに、駆動システム（複数可）７１４は、それぞれの駆動システムによる、１つまたは複数の他のローカルコンピューティングデバイスまたは遠隔コンピューティングデバイス（複数可）との通信を可能にする、１つまたは複数の通信接続部（複数可）も含む。
【0059】
コンピューティングデバイス７０４（複数可）は、１つまたは複数のプロセッサ７１６と、プロセッサ７１６（複数可）と通信可能に結合された１つまたは複数のメモリ７１８とを含み得る。図示の例では、コンピューティングデバイス７０４（複数可）のメモリ７１８は、知覚及び予測システム７２０（複数可）、フレーム処理システム７２２（複数可）、プラニングシステム７２４（複数可）、ならびに１つまたは複数のシステムコントローラ７２６（複数可）を格納する。メモリ７１８はまた、１つまたは複数のセンサシステム７０６によってキャプチャまたは収集されたセンサデータ７２８及びマップデータ７３０等のデータを格納し得る。例示の目的でメモリ７１８に常駐するように描かれているが、知覚及び予測システム（複数可）７２０、フレーム処理システム（複数可）７２２、計画システム（複数可）７２４、ならびに１つまたは複数のシステムコントローラ（複数可）７２６は、追加的に、または代替的に、コンピューティングデバイス（複数可）７０４にアクセス可能であってもよい（例えば、車両７０２の別の構成要素に格納され、および／または車両７０２にアクセス可能であってもよい（例えば、遠隔地に格納される））ことが意図される。
【0060】
知覚及び予測システム７２０は、センサデータ７２８及び／またはマップデータ７３０に対してオブジェクト検出、セグメンテーション、及び／またはカテゴリを実行するように構成され得る。いくつかの例では、知覚及び予測システム７２０は、センサデータ７２８から処理された知覚データを生成し得る。知覚データは、車両７０２に物理的に近接しているオブジェクトの存在及び／またはオブジェクトの分類またはタイプ（例えば、車、歩行者、サイクリスト、建物、木、路面、縁石、歩道、未知等）を示し得る。場合によっては、知覚データは、多解像度ボクセル空間のセマンティック層を介して等、マップデータ７３０に統合され得る。追加及び／または代替の例では、知覚及び予測システム７２０は、オブジェクト及び／または物理環境に関連付けられた１つまたは複数の特性を生成または識別し得る。いくつかの例では、オブジェクトに関連付けられた特性は、ｘ位置、ｙ位置、ｚ位置、向き、タイプ（例えば、分類）、速度、サイズ、進行方向等を含み得るが、これらに限定されない。環境に関連付けられた特徴は、別のオブジェクトの存在、時刻、気象条件、地理的位置、暗闇／光の表示等を含み得るが、これらに限定されない。
【0061】
知覚及び予測システム７２０はまた、識別されたオブジェクトに対応する予測された行動及び／または状態を判定するように構成され得る。例えば、知覚及び予測システム７２０は、速度、位置、軌道の変化を予測するように、またはそうでなければ識別されたオブジェクトの決定及び移動を予測するように構成され得る。例えば、知覚及び予測システム７２０は、オブジェクトタイプまたは分類及びオブジェクト特性等の入力に基づいて、１つまたは複数の機械学習モデルを含み得えて、１つまたは複数の将来の時点でのオブジェクトの予測された特性を出力する。いくつかの場合では、予測される挙動及び／または状態は、挙動及び／または状態が並べ替えられ、ランク付けされ、及び／または同様のものであってもよいように、信頼度値が割り当てられてもよい。
【0062】
フレーム処理システム７２２は、知覚及び予測システム７２０から別個のシステムとして示されているが、いくつかの例では、フレーム処理システム７２２は、知覚及び予測システム７２０に統合され得ることを理解されたい。場合によっては、フレーム処理システム７２２は、現在のフレームと複数の先行フレームの両方を知覚及び予測システム７２０に提供するように構成され得る。フレーム処理システム７２２は、最初に、処理速度を維持し、時間的なライダーセンサデータ履歴を提供することに関連付けられた全体的なリソース消費を低減するために、先行フレームに関連付けられたデータまたはチャネルを低減し得る。例えば、上述したように、知覚及び予測システム７２０は、現在のライダーフレームに基づいて、セグメント化、分類、及び複数の予測を行うこと、及び／または機械学習モデル及び／またはネットワークの複数の出力を生成することに関して、現在のフレームについての複数のチャネル（例えば、１００～２００チャネルの間）を処理し得る。しかしながら、同じ数のチャネルを使用して複数の先行フレームに関連付けられたデータのすべてを処理することは、利用可能な処理リソースを過負荷にし、及び／または機械学習モデル及びネットワークの出力を遅延させることが多い。したがって、この例では、フレーム処理システム７２２は、それらを知覚及び予測システム７２０に提供する前に、先行フレームに関連付けられた全体的なデータを処理及び／または削減し得る。場合によっては、フレーム処理システム１０６は、先行フレーム１０８についての環境のマルチチャネルトップダウン表現を生成し得る。例えば、フレーム処理システム７２２は、最小深度値、最大深度値、及び強度値に少なくとも部分的に基づいて、環境の個々のピクセルまたは領域を表し得る。このようにして時間データ（例えば、先行フレーム）を表すことにより、フレーム処理システム１０６は、知覚及び予測システム７２０に入力されるチャネルの数をわずか３つに減らし、それによって処理リソースを削減し、処理速度を向上させる。
【0063】
フレーム処理システム１０６は、また、複数の先行フレーム１０８の個々のフレームのデータを現在のフレーム１０４と整列させてもよい。例えば、ライダーセンサシステム１０２が連続するライダーフレームをキャプチャすると、自律車両及びライダーセンサシステム１０２の両方が環境内で移動し得る。自律車両の位置に関連付けられた基準フレーム内のオブジェクト位置を正確に表すために、先行フレームに関連付けられたデータは、フレーム処理システム７２２によって現在のフレームと整列される。例えば、フレーム処理システム７２２は、位置追跡システムによって生成された位置データを利用して、例えば、世界フレームにおける自律車両の以前の位置と自律車両の現在の位置との間の１つまたは複数の並進及び／または回転（６つの自由度内の並進及び回転等）を生成し得る。次に、変換及び／または回転をライダーデータの個々のフレームに適用して、それに関連付けられたデータを整列させる。
【0064】
プラニングシステム７２４は、車両７０２が環境を横断するためにたどるルートを判定するように構成され得る。例えば、プランニングシステム７２４は、識別されたオブジェクト、将来の時間におけるオブジェクトの予測された挙動、状態及び／または特性、各予測された挙動または状態に関連付けられた信頼度値、ならびに現在のシナリオに対応する一連の安全要件（例えば、検出されたオブジェクト及び／または環境条件の組み合わせ）に少なくとも部分的に基づいて、様々な経路及びパス、ならびに様々な詳細レベルを判定し得る。いくつかの例では、プランニングシステム７２６は、車両７０２の計画された経路を妨害または遮断するオブジェクトを回避するために、第１の位置（例えば、現在の位置）から第２の位置（例えば、ターゲット位置）まで移動するルートを決定し得る。場合によっては、経路は、２つの場所（例えば、第１の位置及び第２の位置）間を移動するためのウェイポイントのシーケンスであり得る。場合によっては、ウェイポイントは、通り、交差点、全地球測位システム（ＧＰＳ）座標等を含む。
【0065】
少なくとも１つの例示において、コンピューティングデバイス７０４は、車両７０２のステアリング、推進、ブレーキ、安全性、エミッタ、通信、及び他のシステムを制御するように構成され得る１つまたは複数の及び／またはシステムコントローラ７２６を格納し得る。システムコントローラ７２６は、プラニングシステム７２４から提供される経路に従って動作するように構成され得て、駆動システム７１４及び／または車両７０２の他の構成要素の対応するシステムと通信し、及び／または制御し得る。
【0066】
いくつかの実装では、車両７０２は、ネットワーク７３４（複数可）を介してコンピューティングデバイス７３２（複数可）に接続し得る。例えば、コンピューティングデバイス７３２（複数可）は、１つまたは複数の車両７０２からログデータ７３６を受信し得る。ログデータ７３６は、センサデータ７２８、知覚データ、予測データ及び／またはそれらの組み合わせを含み得る。場合によっては、ログデータ７２８は、センサデータ７２８、知覚データ、及び予測データのうちの１つまたは複数の一部を含み得る。
【0067】
コンピューティングデバイス７３２は、１つ以上のプロセッサ７３８及び１つ以上のプロセッサ７３８と通信可能に結合されたメモリ７４０を含み得る。少なくとも１つの例示において、プロセッサ７３８（複数可）は、プロセッサ７１６（複数可）に類似してもよく、メモリ７４０は、メモリ７１８に類似してもよい。図示の例では、コンピューティングデバイス７３２（複数可）のメモリ７４０は、センサデータ７２８（熱データを含む）、マップデータ７３０、ログデータ７３６、及び訓練データ７４８を格納する。メモリ７４０はまた、訓練コンポーネント７４２、機械学習コンポーネント７４４、ならびにオペレーティングシステム等の他のコンポーネント７４６を格納し得る。
【0068】
場合によっては、訓練コンポーネント７４２は、センサデータ７２８、ログデータ７３６、及び／または１つまたは複数の車両７０２から受信したマップデータ７３０を使用して訓練データ７４８を生成し得る。例えば、訓練コンポーネント７４２は、１つまたは複数の測定されたパラメータまたは特性を有するイベントを表すデータにラベルを付け得る。次に、訓練コンポーネント７４２は、上述したように、識別されたオブジェクトの予測された挙動及び／または状態に信頼値を割り当てるために、フレーム処理システム７２２及び／または知覚及び予測システム７２０のモデルを生成する機械学習コンポーネント７４４を訓練するために、訓練データ７４２を使用し得る。
【0069】
コンピューティングデバイス７０４（複数可）のプロセッサ７１６（複数可）及びコンピューティングデバイス７３２（複数可）のプロセッサ７３８（複数可）は、本明細書で説明されるように、データを処理し、動作を実施するための命令を実行可能な任意の適切なプロセッサであってもよい。限定ではなく例として、プロセッサ７１６（複数可）及び７３８は、１つまたは複数の中央処理装置（ＣＰＵ複数可）、グラフィック処理装置（ＧＰＵ複数可）、または電子データを処理してこの電子データをレジスタまたはメモリに格納し得る他の電子データに変換する任意の他のデバイス若しくはデバイスの一部を含み得る。いくつかの例では、集積回路（例えば、ＡＳＩＣ等）、ゲートアレイ（例えば、ＦＰＧＡ等）、及び他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するよう構成される限り、プロセッサとみなし得る。
【0070】
コンピューティングデバイス７０４（複数可）のメモリ７１８及びコンピューティングデバイス７３２（複数可）のメモリ７４０は、非一時的なコンピュータ可読媒体の例である。メモリ７１８及び７３２は、本明細書に記載の方法及び様々なシステムに起因する機能を実装する、オペレーティングシステム及び１つまたは複数のソフトウェアアプリケーション、命令、プログラム、及び／またはデータを格納し得る。様々な実装では、メモリ７１８及び７４０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリ等の任意の適切なメモリ技術を用いて実装され得る。本明細書で説明されるアーキテクチャ、システム、及び個々の要素は、多くの他の論理的、プログラム的、及び物理的なコンポーネントを含むことができ、添付図面に示されるそれらは本明細書での説明に関連する単なる例にすぎない。
【0071】
ある例では、本明細書で説明されるコンポーネントのいくつかまたは全ての態様は、任意のモデル、アルゴリズム、及び／または機械学習アルゴリズムを含み得る。例えば、いくつかの例では、メモリ７１８及び７４０内のコンポーネントを、ニューラルネットワークとして実装し得る。
【0072】
（結論）
本明細書で説明される技術の１つまたは複数の例示が説明されている一方で、さまざまな変更、追加、置換、及びそれらの均等物が本明細書で説明される技術の範囲内に含まれる。理解され得るように、本明細書で論じられる構成要素は、例示の目的のために分割されるように説明される。しかし、様々な構成要素によって実行される動作は、他の任意の構成要素において組み合わせ、または実行され得る。また、１つの例または実施態様に関して説明されるコンポーネントまたはステップは、他の例のコンポーネントまたはステップと併せて使用され得ることを理解されたい。例えば、図７の構成要素及び命令は、図１～図６のプロセス及びフローを利用し得る。
本明細書で説明される技術の１つまたは複数の例示が説明されている一方で、さまざまな変更、追加、置換、及びそれらの均等物が本明細書で説明される技術の範囲内に含まれる。理解され得るように、本明細書で論じられる構成要素は、例示の目的のために分割されるように説明される。しかし、様々な構成要素によって実行される動作は、他の任意の構成要素において組み合わせ、または実行され得る。また、１つの例または実施態様に関して説明されるコンポーネントまたはステップは、他の例のコンポーネントまたはステップと併せて使用され得ることを理解されたい。例えば、図７の構成要素及び命令は、図１～図６のプロセス及びフローを利用し得る。
【0073】
例示の説明において、本明細書の一部を形成する添付の図面を参照し、これは例示として請求される主題の具体的な例示を図示する。他の例を使用することができ、構造的変更等の変更または代替を行うことができることを理解されたい。このような例、変更、または変形は、必ずしも、意図された特許請求の主題に関する範囲から逸脱するものではない。本明細書におけるステップは、特定の順序で提供される一方で、ある場合において、順序が変更され得ることによって、説明されるシステム及び方法の機能を変更することなく、特定の入力が異なる時間または異なる順序で提供される。開示された手順は、また異なる順序で実行し得る。さらに、本明細書に記載される様々な計算は、開示された順序で実行される必要はなく、計算の代替順序を使用する他の例も容易に実施され得る。さらに、並べ替えるだけでなく、計算は、同じ結果を有するサブ計算に分解されることも可能である。
【0074】
（例示的な条項）
Ａ．１つまたは複数のプロセッサと、命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体とを備えるシステムであって、命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、第１の時間に物理環境を表す第１のライダーデータを受信することであって、第１の位置に関連付けられた第１のライダーデータと、第１の時間の後の第２の時間に物理環境を表す第２のライダーデータを受信することであって、第２の位置に関連付けられた第２のライダーデータと、第１のライダーデータに基づいて、第１のライダーデータの一部に関連付けられた第１の最小高さ値及び第１のライダーデータの第１の部分に関連付けられた第１の最大高さ値を含む第１のトップダウンデータを判定することと、第２のライダーデータに基づいて、第２のライダーデータの一部に関連付けられた第２の最小高さ値を表すことと、第２のライダーデータの一部に関連付けられた第２の最大高さ値を表すこととを含む第２のトップダウンデータを判定することと、第１のライダーデータの一部が第２のライダーデータの一部と整列するように、第２のトップダウンデータを有する第１のトップダウンデータと、整列に基づいて、集約されたトップダウンデータを判定することであって、集約されたトップダウンデータは、物理環境のマルチチャネルトップダウン表現を含み、マルチチャネルトップダウン表現の第１のチャネルは、絶対最小高さ値を含み、マルチチャネルトップダウン表現の第２のチャネルは、最大高さ値を含む、判定することと、集約されたトップダウンデータに少なくとも部分的に基づいて、物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定することと、オブジェクトデータに少なくとも部分的に基づいて、自律走行車に関連付けられた動作を実行することと、を含む。
Ａ．１つまたは複数のプロセッサと、命令を格納する１つまたは複数の非一時的なコンピュータ可読媒体とを備えるシステムであって、命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、第１の時間に物理環境を表す第１のライダーデータを受信することであって、第１の位置に関連付けられた第１のライダーデータと、第１の時間の後の第２の時間に物理環境を表す第２のライダーデータを受信することであって、第２の位置に関連付けられた第２のライダーデータと、第１のライダーデータに基づいて、第１のライダーデータの一部に関連付けられた第１の最小高さ値及び第１のライダーデータの第１の部分に関連付けられた第１の最大高さ値を含む第１のトップダウンデータを判定することと、第２のライダーデータに基づいて、第２のライダーデータの一部に関連付けられた第２の最小高さ値を表すことと、第２のライダーデータの一部に関連付けられた第２の最大高さ値を表すこととを含む第２のトップダウンデータを判定することと、第１のライダーデータの一部が第２のライダーデータの一部と整列するように、第２のトップダウンデータを有する第１のトップダウンデータと、整列に基づいて、集約されたトップダウンデータを判定することであって、集約されたトップダウンデータは、物理環境のマルチチャネルトップダウン表現を含み、マルチチャネルトップダウン表現の第１のチャネルは、絶対最小高さ値を含み、マルチチャネルトップダウン表現の第２のチャネルは、最大高さ値を含む、判定することと、集約されたトップダウンデータに少なくとも部分的に基づいて、物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定することと、オブジェクトデータに少なくとも部分的に基づいて、自律走行車に関連付けられた動作を実行することと、を含む。
【0075】
Ｂ．オブジェクトデータを判定することは、集約されたトップダウンデータを機械学習モデルに入力することと、機械学習モデルからオブジェクトデータを受信することと、をさらに含む、請求項Ａに記載のシステム。
【0076】
Ｃ．マルチチャネルトップダウン表現の第３のチャネルは、高さ次元の平均強度値を含む、請求項Ａに記載のシステム。
【0077】
Ｄ．上記の動作は、更に含む。
【0078】
第２の時刻の後の第３の時刻における物理環境を表す第３のライダーデータを受信し、第３のライダーデータは第３の位置に関連付けられ、第３のライダーデータに基づいて、第３のライダーデータの一部に関連付けられた第３の最小高さ値を表し、第３のライダーデータの一部に関連付けられた第３の最大高さ値を表すことを含む第３のトップダウンデータを判定することと、第３のライダーデータの一部が第１のライダーデータの一部及び第２のライダーデータの一部と整列するように、第３のトップダウンデータを第１のトップダウンデータ及び第２のトップダウンデータと整列させ、トップダウン集約されたデータが第３のライダーデータの一部を含む。
【0079】
Ｅ．変換は、第１の位置での自律車両の第１のポーズ及び第２の位置での自律車両の第２のポーズに少なくとも部分的に基づいている、請求項Ａに記載のシステム。
【0080】
Ｆ．方法は、第１の時間に物理環境を表す第１のライダーデータを受信することと、第２の時間に物理環境を表す第２のライダーデータを受信することと、第１のライダーデータに関連付けられた第１の位置及び第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定することと、第１のライダーデータ、第２のライダーデータ、及び伝達関数に少なくとも部分的に基づいて、物理環境を表す集約されたデータを判定することと、を含み、集約されたデータの第１のチャネルは、第１のライダーデータ及び第２のライダーデータに表される部分の第１の高さ値を表し、集約されたデータの第２のチャネルは、集約されたデータに少なくとも部分的に基づいて、物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定する。
【0081】
Ｇ．物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定することは、集約されたデータを機械学習モデルに入力することと、機械学習モデルからオブジェクトデータを受信することとをさらに含む、段落Ｆに記載の方法。
【0082】
Ｈ．第２のライダーデータに少なくとも部分的に基づいて、物理環境に関連付けられた空の空間を判定することと、第１のライダーデータをフィルタリングして、伝達関数を生成する前に、空の空間内のデータを除去することと、をさらに含む、段落Ｆに記載の方法。
【0083】
Ｉ．第１のライダーデータに関連付けられた第１のメッシュを生成することと、第２のライダーデータに関連付けられた第２のメッシュを生成することと、集約されたデータを判定することは、第１のメッシュに伝達関数を適用することを含む、段落Ｈに記載の方法。
【0084】
Ｊ．集約されたデータがトップダウン集約データである、段落Ｆに記載の方法。
【0085】
Ｋ．第３の時間に物理環境を表す第３のライダーデータを受信することをさらに含み、集約されたデータを表す集約されたデータは、第３のライダーデータに少なくとも部分的に基づいている、段落Ｆに記載の方法。
【0086】
Ｌ．第３のライダーデータに関連付けられた第３の位置及び第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することをさらに含み、ここで、表現される集約されたデータは、第２の伝達関数に少なくとも部分的に基づいている、段落Ｋに記載の方法。
【0087】
Ｍ．第１の高さ値が最大高さ値であり、第２の高さ値が最小高さ値である、段落Ｆに記載の方法。
【0088】
Ｎ．実行されると、１つ以上のプロセッサに以下を含む動作を実行させる命令を記憶した非一過性のコンピュータ可読媒体であって、物理環境を表す第１のライダーデータを第１の時刻に受信し、物理環境を表す第２のライダーデータを第２の時刻に受信し、第１のライダーデータに関連付けられた第１の位置と第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定し、第１のライダーデータ、第２のライダーデータ、及び伝達関数に少なくとも部分的に基づいて、物理環境を表す集約されたデータを判定し、集約されたデータの第１のチャンネルは、第１のライダーデータ及び第２のライダーデータで表される部分の第１の高さ値を表し、集約されたデータの第２のチャンネルは、部分の第２の高さ値を表し、トップダウン集約されたデータに少なくとも部分的に基づいて、物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定する。
【0089】
Ｏ．増大したデータが、物理環境のマルチチャネルトップダウン表現である、段落Ｎに記載の非一時的なコンピュータ可読媒体。
【0090】
Ｐ．動作は、第２のライダーデータに少なくとも部分的に基づいて、物理環境に関連付けられた空の空間を判定することと、伝達関数を生成する前に、第１のライダーデータをフィルタリングして、空の空間内のデータを除去することと、をさらに含む、段落Ｎに記載の非一時的なコンピュータ可読媒体。
【0091】
Ｑ．動作は、第１のライダーデータに関連付けられた第１のメッシュを生成することと、第２のライダーデータに関連付けられた第２のメッシュを生成することと、を含み、集約されたデータを判定することは、伝達関数を第１のメッシュに適用することを含む、段落Ｐに記載の非一時的なコンピュータ可読媒体。
【0092】
Ｒ．第１の高さ値が最大高さ値であり、第２の高さ値が最小高さ値である、段落Ｎに記載の非一時的なコンピュータ可読媒体。
【0093】
Ｓ．動作は、第３の時間に物理環境を表す第３のライダーデータを受信することであって、第３の時間が第２の時間に先行することと、第３のライダーデータに関連付けられた第３の位置及び第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することと、をさらに含み、集約されたデータを表すことは、第３のライダーデータ及び第２の伝達関数に少なくとも部分的に基づいている、段落Ｎに記載の非一時的なコンピュータ可読媒体。
【0094】
Ｔ．動作は、オブジェクトデータに少なくとも部分的に基づいて、自律車両に関連付けられた少なくとも１つの動作を実行することをさらに含む、段落Ｎに記載の非一時的なコンピュータ可読媒体。
【0095】
上記で説明された例示的な条項は、１つの特定の実装に関して説明される一方で、本明細書の文脈において、例示的な条項の内容は、方法、デバイス、システム、コンピュータ可読媒体、及び／または別の実装を介して実施されることも可能であることを理解されたい。さらに、例Ａ－Ｔのいずれかは、単独で、または他の１つもしくは複数の例Ａ－Ｔと組み合わせて実装され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2024-05-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
方法であって、第１の時間に物理環境を表す第１のライダーデータを受信することと、
第２の時間に前記物理環境を表す第２のライダーデータを受信することと、
前記第１のライダーデータに関連付けられた第１の位置と、前記第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定することと、
前記第１のライダーデータ、前記第２のライダーデータ、及び前記伝達関数に少なくとも部分的に基づいて、前記物理環境を表す集約されたデータを判定することであって、前記集約されたデータの第１のチャンネルは、前記第１のライダーデータ及び前記第２のライダーデータで表される部分の第１の高さ値を表し、前記集約されたデータの第２のチャンネルは、前記部分の第２の高さ値を表す、ことと、
前記集約されたデータに少なくとも部分的に基づいて、前記物理環境内のオブジェクトに関連付けられたオブジェクトデータを判定することと、を含む、方法。
【請求項2】
前記物理環境内の前記オブジェクトに関連付けられた前記オブジェクトデータを判定することは、前記集約されたデータを機械学習モデルに入力することと、
前記機械学習モデルから前記オブジェクトデータを受信することと、を含む、請求項１に記載の方法。
【請求項3】
前記第２のライダーデータに少なくとも部分的に基づいて、前記物理環境に関連付けられた空の空間を判定することと、前記伝達関数を生成する前に、前記第１のライダーデータをフィルタリングして、前記空の空間内のデータを除去することと、をさらに含む、請求項１に記載の方法。
【請求項4】
前記第１のライダーデータに関連付けられた第１のメッシュを生成することと、前記第２のライダーデータに関連付けられた第２のメッシュを生成することと、をさらに含み、
前記集約されたデータを判定することは、前記伝達関数を前記第１のメッシュに適用することを含む、請求項１に記載の方法。
【請求項5】
前記集約されたデータは、トップダウン集約されたデータである、請求項１に記載の方法。
【請求項6】
第３の時間に前記物理環境を表す第３のライダーデータを受信することと、前記集約されたデータの表現は、少なくとも前記第３のライダーデータに部分的に基づいている、請求項１に記載の方法。
【請求項7】
前記第３のライダーデータに関連付けられた第３の位置及び前記第２のライダーデータに関連付けられた前記第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することをさらに含み、前記集約されたデータの表現は、前記第２の伝達関数に少なくとも部分的に基づいている、請求項６に記載の方法。
【請求項8】
前記第１の高さ値が最大高さ値であり、前記第２の高さ値が最小高さ値である、請求項１に記載の方法。
【請求項9】
コンピュータ上で実行されると、請求項１から８のいずれか一項に記載の方法を実施するコード化された命令を含む、コンピュータプログラム。
【請求項10】
システムであって、１つまたは複数のプロセッサと、
命令を記憶する１つまたは複数のコンピュータ可読媒体であって、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
第１の時間に物理環境を表す第１のライダーデータを受信することと、
第２の時間に前記物理環境を表す第２のライダーデータを受信することであって、前記第２の時間は前記第１の時間に続く、ことと、
前記第１のライダーデータに関連付けられた第１の位置と、前記第２のライダーデータに関連付けられた第２の位置に少なくとも部分的に基づいて、伝達関数を判定することと、
前記第１のライダーデータ、前記第２のライダーデータ及び前記伝達関数に少なくとも部分的に基づいて、前記物理環境を表す集約されたデータを判定することであって、前記集約されたデータの第１のチャンネルは、前記第１のライダーデータ及び前記第２のライダーデータで表される部分の第１の高さ値を表し、前記集約されたデータの第２のチャンネルは、前記部分の第２の高さ値を表す、ことと、
トップダウン集約されたデータに少なくとも部分的に基づいて、前記物理環境内のオブジェクトに関連するオブジェクトデータを判定することと、
を含む動作を実行させる、システム。
【請求項11】
前記集約されたデータは、前記物理環境のマルチチャネルトップダウン表現である、請求項１０に記載のシステム。
【請求項12】
前記動作は、前記第２のライダーデータに少なくとも部分的に基づいて、前記物理環境に関連付けられた空の空間を判定することと、
前記伝達関数を生成する前に、前記第１のライダーデータをフィルタリングして、前記空の空間内のデータを除去することと、をさらに含む、請求項１０に記載のシステム。
【請求項13】
前記動作は、前記第１のライダーデータに関連付けられた第１のメッシュを生成することと、
前記第２のライダーデータに関連付けられた第２のメッシュを生成することと、をさらに含み、
前記集約されたデータを判定することは、前記伝達関数を前記第１のメッシュに適用することを含む、請求項１０に記載のシステム。
【請求項14】
前記第１の高さ値が最大高さ値であり、前記第２の高さ値が最小高さ値である、請求項１０に記載のシステム。
【請求項15】
前記動作は、第３の時間に前記物理環境を表す第３のライダーデータを受信することであって、前記第３の時間は前記第２の時間に先行する、ことと、
前記第３のライダーデータに関連付けられた第３の位置及び前記第２のライダーデータに関連付けられた前記第２の位置に少なくとも部分的に基づいて、第２の伝達関数を判定することと、をさらに含み、
前記集約されたデータの表現は、前記第３のライダーデータと前記第２の伝達関数に少なくとも部分的に基づいている、請求項１０に記載のシステム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【0015】
図１は、本開示の実施形態による、自律車両の動作上の決定に関連付けられた例示的なアーキテクチャ１００を示す例示的なブロック図である。上述したように、自律車両は、車両が目的地へ移動するときに車両を取り巻く物理環境のライダーデータまたはフレームをキャプチャするためにライダーセンサシステム１０２を備え得る。ライダーデータは、自律車両によって利用されて、計画されたルートに沿ったオブジェクトを検出及び回避し得る。ライダーデータは、ミリ秒ごと等、所定の間隔でフレームに取り込まれ得る。例えば、ライダーセンサ及びデータキャプチャに関連する詳細は、米国特許第１０，４４４，７５９号に記載されており、これは、その全体が参照により、すべての目的のために本明細書に組み込まれる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【0019】
場合によっては、マルチチャンネル表現の個々のチャンネルは、道路ネットワーク情報（例えば、車線、横断歩道、停止線、車線仕切り、停止標識、交差点、信号機等を示すセマンティックラベル）、信号機の状態（例えば、赤信号、黄信号、青信号等）、自律走行車両及び／またはエージェントに関連付けられたバウンディングボックス、ｘ方向及びｙ方向における自律走行車両及び／またはエージェントの速度、ｘ方向及びｙ方向における自律走行車両及び／またはエージェントの加速度、自律走行車両及び／またはエージェントのウィンカー状態（例えば、左折、右折、ブレーキ、後退、ハザード、無灯火等）等の１つ以上を表し得るが、これらに限定されない。いくつかの例では、複数のチャネルを訓練されたモデルに入力して、少なくとも１つの予測された挙動及び／またはオブジェクトの状態に関連する任意の他の予測を生成し得る。
【国際調査報告】