特表 2024-510449 回転センサのための物体検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-07

(54)【発明の名称】回転センサのための物体検出

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240229BHJP

   B60W 40/02 20060101ALI20240229BHJP

【ＦＩ】

G06T7/00 350C

B60W40/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023555619

(86)(22)【出願日】2022-02-09

(85)【翻訳文提出日】2023-09-11

(86)【国際出願番号】 US2022070579

(87)【国際公開番号】W WO2022198155

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】17/249,967

(32)【優先日】2021-03-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】マノージュ・バット

(72)【発明者】

【氏名】シジョン・スティーブ・ハン

(72)【発明者】

【氏名】ファティ・ムラート・ポリクリ

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241BA31

3D241CE09

5L096AA06

5L096AA09

5L096BA04

5L096CA21

5L096DA01

5L096FA16

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096GA34

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

いくつかの態様では、デバイスが、LiDARスキャナから点データを取得してもよい。点データは、LiDARスキャナの極座標格子の角度部分範囲と関連付けられてもよい。デバイスは、角度部分範囲に少なくとも部分的に基づいて点の集合を識別し、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析し、点の集合が物体と関連しているかどうかを示すために、トランスフォーマモデルに点データを処理させる。デバイスは、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行してもよい。多数の他の態様について説明する。

【特許請求の範囲】

【請求項1】

方法であって、
デバイスによって、LiDARスキャナから点データを取得するステップであって、
前記点データが、前記LiDARスキャナの極座標格子の角度部分範囲と関連付けられる、
ステップと、
前記デバイスによって、トランスフォーマモデルに、
前記角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために前記点データを処理することと、
前記点の集合と前記極座標格子の原点との間の極距離に少なくとも部分的に基づいて前記点の集合を分析することと、
前記点の集合が物体と関連しているかどうかを示すことと
を行わせるステップと、
前記トランスフォーマモデルが、前記点の集合が前記物体と関連していることを示すかどうかに少なくとも部分的に基づいて、前記デバイスによって、アクションを実行するステップと
を含む、方法。

【請求項2】

前記トランスフォーマモデルが、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した前記別のスキャナと関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記別の物体および前記物体が、同じタイプであり、前記別のスキャナが、前記LiDARスキャナと関連し、
前記物理的距離が、前記極距離と関連している、
請求項1に記載の方法。

【請求項3】

前記トランスフォーマモデルが、前記極座標格子の、前記極距離によって定義される極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記履歴データが、前記別の物体を表している点の1つまたは複数の履歴集合を含む、
請求項1に記載の方法。

【請求項4】

前記トランスフォーマモデルが、前記極座標格子の極セル内の前記点の集合の配置に少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記トランスフォーマモデルが、前記極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされる、
請求項1に記載の方法。

【請求項5】

前記トランスフォーマモデルが、
前記点の集合の極座標を物体クエリデータに変換するエンコーダと、
前記物体クエリデータに少なくとも部分的に基づいて、前記点の集合が前記物体と関連しているかどうかを予測するデコーダと
を含む、請求項1に記載の方法。

【請求項6】

前記物体クエリデータが、物体の1つまたは複数のタイプと関連する3次元データを含み、
前記トランスフォーマモデルが、物体の前記1つまたは複数のタイプを識別するようにトレーニングされ、
前記物体のタイプが、物体の前記1つまたは複数のタイプのうちの1つである、
請求項5に記載の方法。

【請求項7】

前記デコーダが、前記物体クエリデータと関連する類似性分析および前記物体の前記タイプと関連する参照データに少なくとも部分的に基づいて、前記点の集合が前記物体と関連しているかどうかを予測するように構成される、請求項6に記載の方法。

【請求項8】

前記トランスフォーマモデルが、前記極座標格子と関連するシーケンスに少なくとも部分的に基づいて前記点データを処理し、
前記シーケンスが、前記極座標格子の対応する極セルと関連している前記点データの個々のサブセットが処理される順序を示す、請求項1に記載の方法。

【請求項9】

前記トランスフォーマモデルが、前記点データのすでに処理されたサブセットが、少なくとも1つの点を含んでいたかどうかに少なくとも部分的に基づいて、点データの特定のサブセットを処理するかどうかを選択的に決定するように構成される、請求項8に記載の方法。

【請求項10】

前記アクションを実行するステップが、
ユーザインターフェースを介して、前記点の集合が前記物体と関連していることを前記トランスフォーマモデルが示すことに少なくとも部分的に基づいて、前記物体と関連する指示を与えるステップであって、
前記指示が、
前記物体の場所、または
前記物体のタイプ
のうちの少なくとも1つを示す、
ステップを含む、請求項1に記載の方法。

【請求項11】

前記アクションを実行するステップが、
ユーザデバイスから、前記点の集合が前記物体と関連していないことを前記トランスフォーマモデルが示すことに少なくとも部分的に基づいて、前記点の集合が前記物体と関連していないという指示と関連するフィードバックを取得するステップと、
前記点の集合および前記フィードバックに少なくとも部分的に基づいて、前記トランスフォーマモデルを再トレーニングするステップと
を含む、請求項1に記載の方法。

【請求項12】

前記角度部分範囲が、360度のしきい値パーセンテージである範囲に対応する、請求項1に記載の方法。

【請求項13】

デバイスであって、
1つまたは複数のメモリと、
前記1つまたは複数のメモリに通信可能に結合された1つまたは複数のプロセッサであって、
LiDARスキャナから点データを取得することであって、
前記点データが、前記LiDARスキャナの極座標格子の角度部分範囲と関連付けられる、
ことと、
トランスフォーマモデルに、
前記角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために前記点データを処理することと、
前記点の集合と前記極座標格子の原点との間の極距離に少なくとも部分的に基づいて前記点の集合を分析することと、
前記点の集合が物体と関連しているかどうかを示すことと
を行わせることと、
前記トランスフォーマモデルが、前記点の集合が前記物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行することと
を行うように構成される、1つまたは複数のプロセッサと
を備える、デバイス。

【請求項14】

前記トランスフォーマモデルが、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した前記別のスキャナと関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記別の物体が、前記物体と関連し、前記別のスキャナが、前記LiDARスキャナと関連し、
前記物理的距離が、前記極距離と関連している、
請求項13に記載のデバイス。

【請求項15】

前記トランスフォーマモデルが、前記極座標格子の、前記極距離によって定義される極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記履歴データが、前記別の物体を表している点の1つまたは複数の履歴集合を含む、
請求項13に記載のデバイス。

【請求項16】

前記トランスフォーマモデルが、前記極座標格子の極セル内の前記点の集合の配置に少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記トランスフォーマモデルが、前記極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされる、
請求項13に記載のデバイス。

【請求項17】

前記トランスフォーマモデルが、
前記点の集合の極座標を物体クエリデータに変換するエンコーダと、
前記物体クエリデータに少なくとも部分的に基づいて、前記点の集合が前記物体と関連しているかどうかを予測するデコーダと
を含む、請求項13に記載のデバイス。

【請求項18】

前記1つまたは複数のプロセッサが、前記アクションを実行するために、
ユーザインターフェースを介して、前記点の集合が前記物体と関連していることを前記トランスフォーマモデルが示すことに少なくとも部分的に基づいて、前記物体と関連する指示を与えるように構成され、
前記指示が、
前記物体の場所、または
前記物体のタイプ
のうちの少なくとも1つを示す、請求項13に記載のデバイス。

【請求項19】

命令のセットを記憶する非一時的コンピュータ可読記録媒体であって、前記命令のセットが、
デバイスの1つまたは複数のプロセッサによって実行されると、前記デバイスに、
LiDARスキャナから点データを取得することであって、
前記点データが、前記LiDARスキャナの極座標格子の角度部分範囲と関連付けられる、
ことと、
トランスフォーマモデルに、
前記角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために前記点データを処理することと、
前記点の集合と前記極座標格子の原点との間の極距離に少なくとも部分的に基づいて前記点の集合を分析することと、
前記点の集合が物体と関連しているかどうかを示すことと
を行わせることと、
前記トランスフォーマモデルが、前記点の集合が前記物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行することと
を行わせる1つまたは複数の命令を含む、非一時的コンピュータ可読記録媒体。

【請求項20】

前記トランスフォーマモデルが、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した前記別のスキャナと関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記別の物体が、前記物体と関連し、前記別のスキャナが、前記LiDARスキャナと関連し、
前記物理的距離が、前記極距離と関連している、
請求項19に記載の非一時的コンピュータ可読記録媒体。

【請求項21】

前記トランスフォーマモデルが、前記極座標格子の、前記極距離によって定義される極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記履歴データが、前記別の物体を表している点の1つまたは複数の履歴集合を含む、
請求項19に記載の非一時的コンピュータ可読記録媒体。

【請求項22】

前記トランスフォーマモデルが、前記極座標格子の極セル内の前記点の集合の配置に少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記トランスフォーマモデルが、前記極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされる、
請求項19に記載の非一時的コンピュータ可読記録媒体。

【請求項23】

前記トランスフォーマモデルが、
前記点の集合の極座標を物体クエリデータに変換するエンコーダと、
前記物体クエリデータに少なくとも部分的に基づいて、前記点の集合が前記物体と関連しているかどうかを予測するデコーダと
を含む、請求項19に記載の非一時的コンピュータ可読記録媒体。

【請求項24】

前記デバイスに前記アクションを実行させる前記1つまたは複数の命令が、前記デバイスに、
ユーザインターフェースを介して、前記点の集合が前記物体と関連していることを前記トランスフォーマモデルが示すことに少なくとも部分的に基づいて、前記物体と関連する指示を与えること
を行わせ、
前記指示が、
前記物体の場所、または
前記物体のタイプ
のうちの少なくとも1つを示す、請求項19に記載の非一時的コンピュータ可読記録媒体。

【請求項25】

装置であって、
LiDARスキャナから点データを取得するための手段であって、
前記点データが、前記LiDARスキャナの極座標格子の角度部分範囲と関連付けられる、
手段と、
トランスフォーマモデルに、
前記角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために前記点データを処理すること、
前記点の集合と前記極座標格子の原点との間の極距離に少なくとも部分的に基づいて前記点の集合を分析すること、および
前記点の集合が物体と関連しているかどうかを示すこと
を行わせるための手段と、
前記トランスフォーマモデルが、前記点の集合が前記物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行するための手段と
を含む、装置。

【請求項26】

前記トランスフォーマモデルが、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した前記別のスキャナと関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記別の物体が、前記物体と関連し、前記別のスキャナが、前記LiDARスキャナと関連し、
前記物理的距離が、前記極距離と関連している、
請求項25に記載の装置。

【請求項27】

前記トランスフォーマモデルが、前記極座標格子の、前記極距離によって定義される極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記履歴データが、前記別の物体を表している点の1つまたは複数の履歴集合を含む、
請求項25に記載の装置。

【請求項28】

前記トランスフォーマモデルが、前記極座標格子の極セル内の前記点の集合の配置に少なくとも部分的に基づいて、前記点の集合が前記物体を表しているかどうかを判定するようにトレーニングされ、
前記トランスフォーマモデルが、前記極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされる、
請求項25に記載の装置。

【請求項29】

前記トランスフォーマモデルが、
前記点の集合の極座標を物体クエリデータに変換するエンコーダと、
前記物体クエリデータに少なくとも部分的に基づいて、前記点の集合が前記物体と関連しているかどうかを予測するデコーダと
を含む、請求項25に記載の装置。

【請求項30】

前記アクションを前記実行するための手段が、
ユーザインターフェースを介して、前記点の集合が前記物体と関連していることを前記トランスフォーマモデルが示すことに少なくとも部分的に基づいて、前記物体と関連する指示を与えるための手段
を含み、
前記指示が、
前記物体の場所、または
前記物体のタイプ
のうちの少なくとも1つを示す、請求項25に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本特許出願は、参照により本明細書に明確に組み込まれる、「OBJECT DETECTION FOR A ROTATIONAL SENSOR」と題する、2021年3月19日に出願された米国非仮特許出願第17/249,967号の優先権を主張する。

【0002】

本開示の態様は、一般に回転センサに関し、たとえば、回転センサのための物体検出に関する。

【背景技術】

【0003】

光検出と測距(light detection and ranging)(本明細書では「LiDAR(lidar)」と呼ぶ)スキャナは、パルスレーザーの形態の光を使用して、光がLiDARスキャナに戻るためにかかる時間量を示す点データを取得する、回転センサである。

【発明の概要】

【課題を解決するための手段】

【0004】

いくつかの態様では、方法が、デバイスによって、LiDARスキャナから点データを取得するステップであって、点データがLiDARスキャナの極座標格子の角度部分範囲と関連付けられる、取得するステップと、デバイスによって、トランスフォーマ(transformer)モデルに、角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために点データを処理すること、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析すること、および点の集合が物体と関連しているかどうかを示すことを行わせるステップと、デバイスによって、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行するステップとを含む。

【0005】

いくつかの態様では、デバイスが、1つまたは複数のメモリと、1つまたは複数のメモリに通信可能に結合された1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、LiDARスキャナから点データを取得することであって、点データがLiDARスキャナの極座標格子の角度部分範囲と関連付けられる、取得することと、トランスフォーマモデルに、角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために点データを処理すること、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析すること、および点の集合が物体と関連しているかどうかを示すことを行わせることと、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行することとを行うように構成される。

【0006】

いくつかの態様では、命令のセットを記憶した非一時的コンピュータ可読媒体が、デバイスの1つまたは複数のプロセッサによって実行されると、デバイスに、LiDARスキャナから点データを取得することであって、点データがLiDARスキャナの極座標格子の角度部分範囲と関連付けられる、取得することと、トランスフォーマモデルに、角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために点データを処理すること、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析すること、および点の集合が物体と関連しているかどうかを示すことを行わせることと、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行することとを行わせる1つまたは複数の命令を含む。

【0007】

いくつかの態様では、装置が、LiDARスキャナから点データを取得するための手段であって、点データがLiDARスキャナの極座標格子の角度部分範囲と関連付けられる、取得するための手段と、トランスフォーマモデルに、角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために点データを処理すること、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析すること、および点の集合が物体と関連しているかどうかを示すことを行わせるための手段と、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行するための手段とを含む。

【0008】

態様は、一般に、図面および本明細書を参照しながら十分に説明し、図面および本明細書によって示すような、方法、装置、システム、コンピュータプログラム製品、非一時的コンピュータ可読媒体、ユーザデバイス、ユーザ機器、ワイヤレス通信デバイス、および/または処理システムを含む。

【0009】

上記は、以下の発明を実施するための形態がよりよく理解される可能性があるように、本開示による実施例の特徴および技術的利点をかなり広範に概説している。追加の特徴および利点について以下で説明する。開示される概念および具体例は、本開示の同じ目的を遂行するための他の構造を変更または設計するための基礎として容易に利用されてもよい。そのような等価な構造は、添付の特許請求の範囲から逸脱しない。本明細書で開示される概念の特性、それらの編成と動作方法の両方は、添付の図面とともに検討されると、以下の説明から、関連する利点とともによりよく理解されるであろう。図の各々は、例示および説明のために提供されるものであり、特許請求の範囲の限定の定義として提供されるものではない。

【0010】

本開示の上記で列挙した特徴が詳細に理解できるように、そのうちのいくつかを添付の図面に示す態様を参照することによって、上記で簡単に要約した説明のさらなる詳細が得られることがある。しかしながら、本説明は他の等しく効果的な態様を許容する場合があるので、添付の図面が、本開示のいくつかの典型的な態様のみを示し、したがって、その範囲の限定と見なされるべきではないことに留意されたい。異なる図面における同じ参照番号は、同じまたは同様の要素を識別する場合がある。

【図面の簡単な説明】

【0011】

【図1】本開示による、本明細書で説明する回転センサのための物体検出が実装される可能性がある例示的な環境を示す図である。

【図2】本開示による、車両およびワイヤレス通信デバイスなど、図1に示す1つまたは複数のデバイスの例示的なコンポーネントを示す図である。

【図3】本開示による、回転センサのための物体検出と関連する例を示す図である。

【図4A】本開示による、回転センサのための物体検出と関連する例を示す図である。

【図4B】本開示による、回転センサのための物体検出と関連する例を示す図である。

【図5】本開示による、回転センサのための物体検出と関連する例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0012】

本開示の様々な態様について、添付の図面を参照して以下でより十分に説明する。しかしながら、本開示は、多くの異なる形態で具現化されてよく、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が徹底的で完全になり、本開示の範囲を当業者に十分に伝えるように提供される。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいずれの態様も包含するものであることを、当業者は諒解されたい。たとえば、本明細書に記載する任意の数の態様を使用して、装置が実装されてもよく、または方法が実践されてもよい。加えて、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えて、またはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実践されるそのような装置または方法を包含するものとする。本明細書で開示される本開示のいかなる態様も、請求項の1つまたは複数の要素によって具現化されてもよいことを理解されたい。

【0013】

光検出と測距(LiDAR)スキャナなどの回転センサによって取得された点データは、3次元(3D)物体検出に使用されてよい。LiDARスキャナは、LiDARスキャナが回転されるとき、点データを取得するために、パルスレーザーの形態の光を使用してもよい。点データは、物体からの光の反射に対応してもよい。物体と関連する点データは、光がLiDARスキャナに戻るためにかかる時間量、LiDARスキャナに対する物体の方向、LiDARスキャナからの物体の距離などを示すデータポイントのセットを含んでもよい。LiDARスキャナは、LiDARスキャナの360度回転に基づいて点データの完全な点群(point cloud)を取得してもよい。

【0014】

LiDARスキャナの範囲内の物体を識別するために、ニューラルネットワークが、LiDAR点データを解釈するように構成されてもよい。ニューラルネットワークは、点データの完全な点群を分析してもよく、点データの分析を解釈することに少なくとも部分的に基づいて環境内の物体を識別してもよい。しかしながら、同じ物体が、LiDARスキャナと物体との間の距離に少なくとも部分的に基づいて異なる点データを生成する可能性がある(たとえば、10メートルの地点にある車両が、50メートルの地点にある車両に対して生成される点データとは異なる点データをLiDARスキャナに生成させる可能性がある)。さらに、データの完全な点群は、物体が検出される前に処理される必要がある比較的大量のデータを含み、ニューラルネットワークは、大量のデータを分析するために、比較的大量の処理リソースを必要とする可能性がある。

【0015】

さらに、LiDARスキャナからの範囲が大きくなるにつれて、LiDARスキャナによって取得される点データはより乏しくなり、一般的に、より近い距離で取得される点データの点の量と比較して、80メートルの距離を超えると、点データの比較的少ない点が取得される。80メートルを超えて取得される点データの比較的少ない点は、ニューラルネットワークが物体の主要な特徴を検出することを妨げる可能性がある。

【0016】

本明細書で説明するいくつかの実装形態では、回転センサのための物体検出に関する。たとえば、LiDARシステムが、LiDARスキャナから点データを取得してもよい。点データは、LiDARスキャナと関連する極座標格子の角度部分範囲と関連付けられてもよい。LiDARシステムは、角度部分範囲に少なくとも部分的に基づいて点の集合を識別し、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析し、点の集合が物体と関連しているかどうかを示すために、トランスフォーマモデルに点データを処理させる。LiDARシステムは、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行してもよい。

【0017】

このようにして、LiDARシステムは、物体と関連する点データとLiDARスキャナとの距離に少なくとも部分的に基づいて特定のタイプの物体を検出するために(トレーニングされたエンコーダおよびデコーダとともに)トランスフォーマモデルを利用する。したがって、エンコーダは、LiDARスキャナに対する物体の位置に従って異なるように点データを変換してもよい。さらに、LiDARスキャナの極座標格子の角度部分範囲と関連付けられる点データに基づいて物体を検出することによって、LiDARシステムは、極座標格子の範囲全体(たとえば、360度)に基づいて物体を検出するように構成されたシステムと比較して、コンピューティングリソース(たとえば、処理リソース、メモリリソース、および/または通信リソース)を節約する可能性がある。

【0018】

図1は、本明細書で説明するシステムおよび/または方法が実装されてもよい例示的な環境100の図である。図1に示すように、環境100は、対応する電子制御ユニット(ECU)112を有する車両110と、ワイヤレス通信デバイス120と、ネットワーク130とを含んでもよい。車両110が、単一の対応するECU112とともに図1に示されている(たとえば、ECU112は車両110とともにコロケートされている)が、環境100内の車両110は、2つ以上のECU112を含んでもよい。環境100のデバイスは、ワイヤード接続、ワイヤレス接続、またはワイヤード接続とワイヤレス接続との組合せを介して、相互接続してもよい。

【0019】

車両110は、本明細書で説明するように、回転センサのための物体検出と関連するデータを送信および/または受信することが可能である任意の車両を含んでもよい。たとえば、車両110は、消費者車両、産業用車両、商用車両などであってもよい。車両110は、公道を介して進行することおよび/または交通手段を提供することが可能である場合があり、仕事場(たとえば、工事現場)に関連する動作において使用することが可能であるなどの場合がある。車両110は、車両110と関連する車両データを生成および/または提供するために使用される1つまたは複数のセンサ、および/または3D物体検出に使用される点データを取得するために使用されるLiDARスキャナを含むセンサシステムを含んでもよい。

【0020】

車両110は、ECU112によって制御されてもよく、ECU112は、本明細書で説明する回転センサのための物体検出と関連する情報を受信、生成、記憶、処理、および/または提供することが可能な1つまたは複数のデバイスを含んでもよい。たとえば、ECU112は、オンボードコンピュータ、制御コンソール、オペレータステーション、または同様のタイプのデバイスなど、通信および/またはコンピューティングデバイスのコンポーネントを含んでもよく、かつ/またはそれであってもよい。ECU112は、他のECUおよび/または他のデバイスと通信するように構成されてもよい。たとえば、通信技術の進歩によって、ビークルツーエブリシング(V2X)通信が可能になっており、V2X通信は、車両間(V2V)通信、歩車間(V2P)通信などを含む場合がある。いくつかの態様では、ECU112は、本明細書で説明するように、V2X通信、車両110と関連する車両データ(たとえば、識別情報、センサデータなど)を含んでもよく、かつ/またはそれらを提供するために使用されてもよい。

【0021】

ワイヤレス通信デバイス120は、本明細書の他の場所で説明するように、回転センサのための物体検出と関連する情報を受信、生成、記憶、処理、および/または提供することが可能な1つまたは複数のデバイスを含む。たとえば、ワイヤレス通信デバイス120は、基地局、アクセスポイントなどを含んでもよい。追加または代替として、ワイヤレス通信デバイス120は、携帯電話(たとえば、スマートフォン、無線電話など)、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、デスクトップコンピュータ、ゲームデバイス、ウェアラブル通信デバイス(たとえば、スマート腕時計、スマート眼鏡など)、または同様のタイプのデバイスなどの、通信および/またはコンピューティングデバイスを含んでもよい。

【0022】

ネットワーク130は、1つまたは複数のワイヤードネットワークおよび/またはワイヤレスネットワークを含む。たとえば、ネットワーク130は、ピアツーピア(P2P)ネットワーク、セルラーネットワーク(たとえば、ロングタームエボリューション(LTE)ネットワーク、符号分割多元接続(CDMA)ネットワーク、3Gネットワーク、4Gネットワーク、5Gネットワーク、別のタイプの次世代ネットワークなど)、パブリックランドモバイルネットワーク(PLMN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、電話網(たとえば、公衆交換電話網(PSTN))、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースネットワーク、クラウドコンピューティングネットワークなど、および/またはこれらもしくは他のタイプのネットワークの組合せを含んでもよい。いくつかの態様では、ネットワーク130は、環境100のデバイスのうちの1つまたは複数の間に直接的にあるP2P通信リンクを含んでもよく、かつ/またはそれであってもよい。

【0023】

図1に示すデバイスおよびネットワークの数および配置は、1つまたは複数の例として与えられる。実際には、図1に示すものと比べて、追加のデバイスおよび/またはネットワーク、より少ないデバイスおよび/またはネットワーク、異なるデバイスおよび/またはネットワーク、あるいは異なるように配置されたデバイスおよび/またはネットワークがあってもよい。さらに、図1に示す2つ以上のデバイスが単一のデバイス内で実装されてもよく、または、図1に示す単一のデバイスが複数の分散したデバイスとして実装されてもよい。追加または代替として、環境100のデバイスのセット(たとえば、1つまたは複数のデバイス)は、環境100のデバイスの別のセットによって実行されるものとして説明する1つまたは複数の機能を実行してもよい。

【0024】

図2は、本開示による、デバイス200の例示的なコンポーネントを示す図である。デバイス200は、車両110、ECU112、および/またはワイヤレス通信デバイス120に対応してもよい。いくつかの態様では、車両110、ECU112、および/またはワイヤレス通信デバイス120は、1つもしくは複数のデバイス200、および/またはデバイス200の1つもしくは複数のコンポーネントを含んでもよい。図2に示すように、デバイス200は、バス205、プロセッサ210、メモリ215、記憶コンポーネント220、入力コンポーネント225、出力コンポーネント230、通信インターフェース235、センサ240、LiDARシステム245などを含んでもよい。

【0025】

バス205は、デバイス200のコンポーネントの間の通信を可能にするコンポーネントを含む。プロセッサ210は、ハードウェア、ファームウェア、ソフトウェア、またはハードウェアとファームウェアとソフトウェアの組合せで実装される。プロセッサ210は、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、加速処理ユニット(APU)、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、または別のタイプの処理コンポーネントであってもよい。いくつかの態様では、プロセッサ210は、機能を実行するようにプログラムされることが可能な1つまたは複数のプロセッサを含む。メモリ215は、プロセッサ210による使用のために情報および/または命令を記憶する、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、および/または別のタイプの動的もしくは静的な記憶デバイス(たとえば、フラッシュメモリ、磁気メモリ、および/または光メモリ)を含む。

【0026】

記憶コンポーネント220は、デバイス200の動作および使用に関する情報および/またはソフトウェアを記憶する。たとえば、記憶コンポーネント220は、ハードディスク(たとえば、磁気ディスク、光ディスク、光磁気ディスク、および/またはソリッドステートディスク)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、フロッピーディスク、カートリッジ、磁気テープ、および/または別のタイプの非一時的コンピュータ可読媒体を、対応するドライブとともに含んでもよい。

【0027】

入力コンポーネント225は、ユーザ入力などを介してデバイス200が情報を受け取ることを可能にするコンポーネント(たとえば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および/またはマイクロフォン)を含む。追加または代替として、入力コンポーネント225は、デバイス200の位置または場所を決定するためのコンポーネント(たとえば、全地球測位システム(GPS)コンポーネント、全地球航法衛星システム(GNSS)コンポーネントなど)、情報を検知するためのセンサ(たとえば、加速度計、ジャイロスコープ、アクチュエータ、別のタイプの位置センサもしくは環境センサなど)を含んでもよい。出力コンポーネント230は、デバイス200からの出力情報を提供するコンポーネント(たとえば、ディスプレイ、スピーカー、ハプティックフィードバックコンポーネント、音声または視覚的インジケータなど)を含む。

【0028】

通信インターフェース235は、デバイス200が、ワイヤード接続、ワイヤレス接続、またはワイヤード接続とワイヤレス接続の組合せなどを介して、他のデバイスと通信することを可能にする、トランシーバのようなコンポーネント(たとえばトランシーバならびに/または別個のレシーバおよびトランスミッタなど)を含む。通信インターフェース235は、デバイス200が別のデバイスから情報を受信することおよび/または別のデバイスに情報を提供することを可能にしてもよい。たとえば、通信インターフェース235は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数インターフェース、ユニバーサルシリアルバス(USB)インターフェース、ワイヤレスローカルエリアインターフェース(たとえば、Wi-Fiインターフェース)、セルラーネットワークインターフェースなどを含んでもよい。

【0029】

センサ240は、デバイス200と関連する特徴を検知することが可能な1つまたは複数のデバイスを含む。センサ240は、デバイス200の1つまたは複数のコンポーネントとの通信を可能にするために(たとえば、パッケージ化されたシリコンダイ上の)1つまたは複数の集積回路および/または1つもしくは複数のフレックス回路の1つもしくは複数の受動コンポーネントを含んでもよい。

【0030】

センサ240は、センサ240がデバイス200の環境の1つまたは複数の特徴を決定する可能性がある視野を有する光センサを含んでもよい。いくつかの態様では、センサ240は、カメラを含んでもよい。たとえば、センサ240は、1メガピクセル未満の画像、1216×912ピクセル未満の画像などを取り込むことが可能な低解像度のカメラ(たとえば、ビデオフラフィックスアレイ(VGA))を含んでもよい。センサ240は、デバイス200に電源が入っている間、常時オンの機能を有する低電力デバイス(たとえば、10ミリワット(mW)未満の電力を消費するデバイス)であってもよい。

【0031】

追加または代替として、センサ240は、磁力計(たとえば、ホール効果センサ、異方性磁気抵抗(AMR)センサ、巨大磁気抵抗センサ(GMR)など)、ロケーションセンサ(たとえば、全地球測位システム(GPS)レシーバ、(たとえば、三角測量、マルチラテレーションなどを使用する)ローカルポジショニングシステム(LPS)デバイスなど)、ジャイロスコープ(たとえば、微小電気機械システム(MEMS)ジャイロスコープまたは同様のタイプのデバイス)、加速度計、速度センサ、モーションセンサ、赤外センサ、温度センサ、圧力センサなどを含んでもよい。

【0032】

LiDARシステム245は、LiDARスキャナを含んでもよく、LiDARスキャナはLiDARスキャナから物体までの距離を測定するためにパルスレーザーの形態の光を使用する。LiDARシステム245は、本明細書で説明するように、3D物体検出を実行するために、LiDARスキャナによって取得されたデータを利用してもよい。

【0033】

デバイス200は、本明細書で説明する1つまたは複数のプロセスを実行してもよい。デバイス200は、メモリ215および/または記憶コンポーネント220などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ210が実行したことに基づいて、これらのプロセスを実行してもよい。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理的記憶デバイス内のメモリ空間、または複数の物理的記憶デバイスにわたって広がるメモリ空間を含む。

【0034】

ソフトウェア命令は、通信インターフェース235を介して別のコンピュータ可読媒体または別のデバイスから、メモリ215および/または記憶コンポーネント220の中に読み取られてもよい。実行されると、メモリ215および/または記憶コンポーネント220に記憶されるソフトウェア命令は、プロセッサ210に本明細書で説明する1つまたは複数のプロセスを実行させてもよい。追加または代替として、本明細書で説明する1つまたは複数のプロセスを実行するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されてもよい。したがって、本明細書で説明する態様は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。

【0035】

いくつかの態様では、デバイス200は、本明細書で説明する1つまたは複数のプロセスを実行するための手段、および/または本明細書で説明するプロセスの1つまたは複数の動作を実行するための手段を含む。たとえば、デバイス200は、LiDARスキャナから点データを取得するための手段を含んでもよい。点データは、LiDARスキャナの極座標格子の角度部分範囲と関連付けられてもよい。デバイス200は、角度部分範囲に少なくとも部分的に基づいて点の集合を識別し、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析し、点の集合が物体と関連しているかどうかを示すために、トランスフォーマモデルに点データを処理させるための手段を含んでもよい。デバイス200は、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行するための手段を含んでもよい。いくつかの態様では、そのような手段は、バス205、プロセッサ210、メモリ215、記憶コンポーネント220、入力コンポーネント225、出力コンポーネント230、通信インターフェース235、センサ240、LiDARシステム245など、図2に関して説明したデバイス200の1つまたは複数のコンポーネントを含んでもよい。

【0036】

図2に示すコンポーネントの数および配置は例として与えられる。実際には、デバイス200は、図2に示すものと比べて、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、または異なるように配置されたコンポーネントを含んでもよい。追加または代替として、デバイス200のコンポーネントのセット(たとえば、1つまたは複数のコンポーネント)は、デバイス200のコンポーネントの別のセットによって実行されるものとして説明する1つまたは複数の機能を実行してもよい。

【0037】

図3は、本開示による、回転センサのための物体検出と関連する一例300を示す図である。図3に示すように、例300は、LiDARスキャナトレーニングデータに基づいて物体検出を実行するためにトランスフォーマモデルを生成および/またはトレーニングするように構成されたLiDARシステムを含む。

【0038】

参照番号310で示すように、LiDARシステムは、LiDARスキャナと関連する履歴データを受け取る。履歴データは、LiDARスキャナによって生成された、および/または機械学習モデルによって生成された、および/またはユーザによって入力されたなどのデータポイントの1つまたは複数の完全な点群を含んでもよい。たとえば、履歴データは、LiDARスキャナから1つまたは複数の距離にある、1つまたは複数のタイプの物体(たとえば、とりわけ車両、路側物体、人々、および/または動物)と関連するデータポイントの1つまたは複数の完全な点群を含んでもよく、トランスフォーマモデルはそれらを検出するようにトレーニングされることになる。履歴データは、LiDARシステムおよび/または別のデバイス(たとえば、サードパーティーサーバデバイス)と関連する参照データ構造に記憶されてもよい。LiDARシステムは、参照データ構造から履歴データを受け取ってもよく、物体と関連し、履歴データに含まれる、データポイントの完全な点群を、LiDARシステムと関連する位置エンコーダに提供してもよい。

【0039】

いくつかの態様では、履歴データは、データポイントの完全な点群によって表される物体の実際の位置を示すグランドトゥルース物体のセットを含む。グランドトゥルース物体は、有向3D境界ボックス(oriented 3D bounding box)のパラメータのセットを含んでもよい。たとえば、グランドトゥルース物体が、x軸デカルト座標を示す第1のパラメータと、y軸デカルト座標を示す第2のパラメータと、z軸デカルト座標を示す第3のパラメータと、境界ボックスの幅を示す第4のパラメータと、境界ボックスの長さを示す第5のパラメータと、境界ボックスの高さを示す第6のパラメータと、境界ボックスの向首角の正弦を示す第7のパラメータと、境界ボックスの向首角の余弦を示す第8のパラメータと、境界ボックスと関連するクラスを示す第9のパラメータとを含んでもよい。

【0040】

位置エンコーダは、データポイントの完全な点群を受け取ってもよく、履歴データを極座標格子に変換してもよい。極座標格子の原点は、データポイントの完全な点群と関連するLiDARスキャナ(たとえば、データポイントの完全な点群を取得するために使用されるLiDARスキャナ)の場所に対応してもよい。極座標格子は、原点から広がる複数の角度部分範囲に分割されてもよい。たとえば、極座標格子は、90度の4つの角度部分範囲、および/または45度の8つの角度部分範囲などに分割されてもよい。加えて、極座標格子は、極座標格子の原点を中心とする一連の同心円に分割されてもよい。たとえば、極座標格子は、一連の3つ、4つ、5つ、6つなどの同心円に分割されてもよい。いくつかの態様では、同心円の数量は、極座標格子によって表される、および/またはデータポイントの完全な点群と関連する、地理的エリアのサイズに基づいて決定される。いくつかの態様では、同心円の半径は、第1の同心円の最小半径の倍数であってもよい。たとえば、第1の同心円の半径が、第1の値Xであってもよく、第2の同心円の半径が、第1の値の2倍(たとえば、2X)であってもよい。

【0041】

同心円は、極セル(polar cell)のリングを定義するために角度範囲と交わってもよい。極セルの各リングは、各角度範囲内の極セルを含んでもよい。たとえば、極座標格子は、5つの異なるサイズ(たとえば、極セルの5つのリング)の40個の極セルを定義するために、8つの角度部分範囲および5つの同心円に分割されてもよい。位置エンコーダは、データポイントの完全な点群に含まれるデータポイントの位置を、極座標格子上の位置に変換してもよい。位置エンコーダは、データポイントを、極座標格子上のデータポイントの位置を識別する情報(たとえば、極座標のセット)と関連付けてもよい。位置エンコーダは、極座標格子上のデータポイントの位置を含む角度部分範囲および/または極セルを決定してもよく、データポイントを、角度部分範囲および/または極セルを識別する情報と関連付けてもよい。

【0042】

いくつかの態様では、位置エンコーダは、履歴データを極座標格子に変換することに基づいて、物体が複数の極セルに広がっていると決定してもよい。位置エンコーダは、物体の最も大きな部分を含む極セル、物体のしきい値パーセンテージ(たとえば、40%、45%、50%など)などを識別してもよく、物体と関連するデータポイントを、極セルを識別する情報と関連付けてもよい。

【0043】

参照番号320で示すように、LiDARシステムは、極距離に従ってトランスフォーマモデルをトレーニングする。トランスフォーマモデルは、エンコーダとデコーダとを含んでもよい。エンコーダは、複数の極セルと関連する角度部分範囲を識別してもよい。エンコーダは、複数の極セルのうちの、ある極セルを識別してもよく、その極セルと関連するデータポイントのセットを取得してもよい。エンコーダは、データポイントのセットと関連する極座標を物体クエリデータに変換してもよい。物体クエリデータは、トランスフォーマモデルが検出および/または識別するようにトレーニングされる物体のタイプと関連する3次元データを含んでもよい。

【0044】

デコーダは、物体クエリデータに少なくとも部分的に基づいて、データポイントのセットがそのタイプの物体と関連しているかどうかを予測してもよい。デコーダは、物体クエリデータと関連する類似性分析および物体のタイプと関連する参照データに少なくとも部分的に基づいて、データポイントのセットが物体のそのタイプと関連しているかどうかを予測するように構成されてもよい。

【0045】

いくつかの態様では、デコーダによって生成される予測は、物体が検出されることを示す情報と、検出された物体のタイプを示す情報とを含む。たとえば、デコーダは、検出された物体と関連する境界ボックスを識別する情報、および/または検出された物体のタイプを識別する情報を含む出力を生成してもよい。

【0046】

トランスフォーマモデルは、データポイントのセットに基づいて生成された予測とグランドトゥルース物体との間の二部マッチング(bipartite matching)を見つけるためにエンコーダおよび/またはデコーダを利用してもよい。トランスフォーマモデルは、最低コストでのN要素の並べ替え(permutation)(ただしNは予測の数量である)を探索してもよい。いくつかの態様では、トランスフォーマは、グランドトゥルースとグランドトゥルースと関連する予測との間のペアワイズマッチングコスト(pair-wise matching cost)に基づいて最適マッチングを計算するために、アルゴリズム(たとえば、ハンガリアンアルゴリズム)を利用する。

【0047】

いくつかの態様では、履歴データを極座標格子に変換する前に、LiDARシステムは、抽出した疑似画像を生成するために、データポイントの完全な点群によって表される物体の特徴を、データポイントの完全な点群と関連するデカルト空間から直接、抽出するグローバル特徴抽出層を生成してもよい。抽出した疑似画像は、極セルのリング状セクタの組合せの極空間に離散化されてもよい。第1のサイズの境界ボックスが、リングに含まれる極セルのすべてについて同じであるように計算される。畳み込みニューラルネットワーク(CNN)が、各リングについて計算された境界ボックスと関連する特徴を、1つまたは複数の埋込み形状(embedding shape)に変換してもよい。いくつかの態様では、トランスフォーマモデルは、極セルの各リングに対して異なるCNNを利用してもよい。

【0048】

いくつかの態様では、履歴データは、様々な距離の物体を表すデータポイントのセットを含む。トランスフォーマモデルは、第1の極セルに含まれるデータポイントのセットが、様々な距離の物体を表しているデータポイントのセットに少なくとも部分的に基づいて、物体を表しているかどうかを判定するようにトレーニングされてもよい。このようにして、トランスフォーマモデルは、LiDARスキャナから様々な距離の物体を検出するようにトレーニングされてもよい。

【0049】

いくつかの態様では、履歴データは、別のLiDARスキャナからある物理的距離であるエリアにおいて第1の物体を識別した別のLiDARスキャナと関連するデータポイントのセットを含み、トランスフォーマモデルは、第1の極セルに含まれるデータポイントのセットが、LiDARスキャナからその物理的距離である第2の物体を表しているかどうかを、他のLiDARスキャナと関連する点の集合に少なくとも部分的に基づいて、決定するようにトレーニングされる。このようにして、トランスフォーマモデルは、LiDARスキャナからの物体の距離に基づいて物体を検出するようにトレーニングされる。LiDARスキャナおよび他のLiDARスキャナは、同じLiDARスキャナであっても、異なるLiDARスキャナであってもよい。第1の物体および第2の物体は、同じタイプの物体(たとえば、同じタイプの車両、人、動物、路側物体など)であってもよい。

【0050】

いくつかの態様では、トランスフォーマモデルは、極座標格子の、物理的距離に対応する極距離によって定義される極セルに対応する特徴空間内の第1の物体と関連する履歴データに少なくとも部分的に基づいて、点の集合が第2の物体を表しているかどうかを判定するようにトレーニングされる。

【0051】

いくつかの態様では、トランスフォーマモデルは、極座標格子の極セル内の点の集合の配置に少なくとも部分的に基づいて、点の集合が第2の物体を表しているかどうかを判定するようにトレーニングされる。トランスフォーマモデルは、極セルに対応する特徴空間内の第1の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされてもよい。

【0052】

上記のように、図3は例として与えられる。他の例は、図3に関して説明されるものとは異なる場合がある。

【0053】

図4A～図4Bは、本開示による、回転センサのための物体検出と関連する一例400を示す図である。図4A～図4Bに示すように、例400は、車両と関連するLiDARスキャナから受信されるLiDARデータに基づく物体検出を実行するためにLiDARシステムを含む。

【0054】

図4Aに、参照番号410で示すように、LiDARスキャナは、極座標格子の角度部分範囲と関連付けられるLiDARデータ(たとえば、点データのセット)を取得する。極座標格子の原点が、LiDARスキャナの場所に対応してもよい。極座標格子の角度部分範囲は、360度のしきい値パーセンテージ(たとえば、10%、12.5%、20%、25%など)である範囲に対応してもよい。

【0055】

いくつかの態様では、LiDARスキャナは、LiDARデータの取得に基づいて(たとえば、LiDARスキャナがLiDARデータの完全な点群を取得する前に)、角度部分範囲と関連するLiDARデータをLiDARシステムに提供する。代替および/または追加として、LiDARスキャナは、LiDARデータの完全な点群をLiDARシステムに提供してもよく、LiDARシステムは、点の集合と関連する角度部分範囲および/または極セルに基づいて点の集合を順次処理してもよい。

【0056】

LiDARシステムは、LiDARスキャナからLiDARデータを受信することに基づいて、LiDARデータを位置エンコーダに提供してもよい。位置エンコーダは、LiDARデータを、LiDARスキャナの場所に対応する原点を有する極座標格子に変換してもよい。極座標格子は、図3に関して上記で説明したものと同様の方法で、極セルの複数のリングを定義するために、複数の角度部分範囲および複数の同心円に分割されてもよい。LiDARデータに含まれるデータポイントについて、位置エンコーダは、LiDARスキャナの場所からのデータポイントの距離および方向に基づいてデータポイントについて極座標のセットを決定してもよい。エンコーダシステムは、極座標のセットに基づいてデータポイントと関連する角度部分範囲および/または極セルを決定してもよい。

【0057】

参照番号420で示すように、LiDARシステムは、極セルおよび/または角度部分範囲に従って、トランスフォーマモデルに点データを処理させる。トランスフォーマモデルは、極座標格子と関連するシーケンスに少なくとも部分的に基づいて点データを処理してもよい。シーケンスは、極座標格子の対応する極セルと関連する点データの個々のサブセットが処理される順序を示してもよい。いくつかの態様では、シーケンスは、点データの個々のサブセットが、対応する極セルの極座標格子の原点からの距離に基づいて処理されることを示す。たとえば、第2の極セルと比較して原点により近い第1の極セルと関連する点データのセットが、第2の極セルと関連する点データのセットより前に処理される。

【0058】

トランスフォーマモデルは、シーケンスに基づいて第1の極セルを識別してもよい。トランスフォーマモデルは、第1の極セルと関連するデータポイントのセットを識別してもよい。トランスフォーマモデルは、データポイントのセットが第1の極セルと関連していることに基づいて、データポイントのセットと関連する点データのセットを処理してもよい。トランスフォーマモデルは、点データのセットを処理することに基づいて出力を生成してもよい。出力は、点データのセットが物体と関連しているかどうか、および/または点データのセットと関連する物体のタイプを示す物体データを含んでもよい。

【0059】

いくつかの態様では、トランスフォーマモデルは、点データのセットを処理することに基づいて出力を生成してもよい。いくつかの態様では、トランスフォーマモデルは、第1の極セルを含む角度部分範囲内の複数の極セル(たとえば、極セルの2つ、3つ、全部など)と関連する点データのセットを処理することに基づいて出力を生成してもよい。トランスフォーマは、シーケンスに基づいて、第1の極セルを含む角度部分範囲内の第2の極セルを識別してもよい。トランスフォーマモデルは、第2の極セルと関連するデータポイントのセットと関連する点データを、上記で説明したものと同様の方法で処理してもよい。いくつかの態様では、トランスフォーマモデルは、角度部分範囲に含まれる各極セルに対して同様の方法で継続する。トランスフォーマモデルは、角度部分範囲に含まれる各極セルと関連する点データのセットを処理することに基づいて、出力を生成してもよい。

【0060】

いくつかの態様では、トランスフォーマモデルは、点データのすでに処理されたサブセットと関連する極セルが、少なくとも1つのデータポイントを含んでいたかどうかに少なくとも部分的に基づいて、極セルと関連するデータポイントと関連する点データの特定のサブセットを処理するかどうかを選択的に決定するように構成される。たとえば、トランスフォーマモデルは、点データのすでに処理されたサブセットと関連する極セルが少なくとも1つのデータポイントを含んでいないことに基づいて、点データの特定のサブセットを処理しないことを決定してもよい。いくつかの態様では、トランスフォーマモデルは、点データの特定のサブセットを処理しないと決定することに基づいて出力を生成してもよい。

【0061】

LiDARシステムは、LiDARデータと関連する車両に出力(たとえば、物体情報)を提供してもよい。図4Bに、参照番号430で示すように、車両のECUは、物体データに基づいて、物体が示されるまたは識別されるかどうかを判定する。ECUは、LiDARシステムによって提供された出力に含まれる物体データを分析してもよく、分析に基づいて物体が示されるまたは識別されるかどうかを判定してもよい。ECUは、車両および/または車両の運転者と関連するユーザインターフェース(たとえば、運転者のユーザデバイスのユーザインターフェース)を介して物体情報を提供してもよく、かつ/または、物体が示されるまたは識別されるとき、車両の動作を制御してもよい(たとえば、とりわけ車両に通知(たとえば、音および/もしくは光)を出させる、停止させる、減速させる、速度を上げさせる、かつ/または車線変更させる)。

【0062】

参照番号440で示すように、LiDARスキャナおよびLiDARシステムは、次の角度部分範囲に繰り返し適用される。トランスフォーマモデルは、角度部分範囲の各極セルに含まれるデータポイントを処理することに基づいて、および/または点データの特定のサブセットを処理しないと決定することに基づいて、同様の方法で、残りの角度部分範囲に含まれる極セル内のデータポイントと関連する点データのセットを順次処理してもよい。トランスフォーマモデルは、次の角度範囲と関連する出力を生成してもよく、上記で説明したものと同様の方法で車両に出力を提供してもよい。

【0063】

参照番号450および460で示すように、ECUは、車両と関連するユーザインターフェースを介して物体情報を示し、かつ/または物体の場所に従って車両を制御する。ECUは、物体情報が車両および/または車両の運転者と関連するユーザインターフェースを介して表示されるようにしてもよく、かつ/または物体、物体のタイプ、車両に対する物体の場所、および/もしくは車両と関連する動作パラメータ(たとえば、車両の速度、車両の加速度、現在の天候状態、車両が走行中の道路のタイプ(たとえば、とりわけ舗装路、砂利道、濡れた道路、および/もしくは凍結道路)、および/もしくは別のタイプの動作パラメータ)を示しかつ/または識別する物体情報に基づいて車両の動作を制御してもよい。

【0064】

参照番号470で示すように、LiDARシステムは、ユーザインターフェースを介して入力されたフィードバックに従ってトランスフォーマモデルを更新する。フィードバックは、出力と関連する精度を示してもよい。たとえば、ユーザが、物体情報によって示された場所に物体があったかどうか、物体が物体情報によって示された物体のタイプであったかどうか、ECUによって実行されたアクションが適切であったかどうかを示す情報、および/または他のタイプのフィードバック情報を入力してもよい。LiDARシステムは、トランスフォーマモデルを再トレーニングするために、フィードバックおよび出力を生成するために使用されるLiDARスキャナを利用してもよい。このようにして、LiDARシステムは、受け取ったフィードバックに基づいて再トレーニングされないトランスフォーマモデルと比較して、トランスフォーマモデルによって生成される出力の精度を上げる可能性がある。

【0065】

上記のように、図4A～図4Bは一例として与えられる。他の例は、図4A～図4Bに関して説明したものとは異なる場合がある。

【0066】

図5は、回転センサのための物体検出と関連する例示的なプロセス500のフローチャートである。いくつかの実装形態では、図5の1つまたは複数の処理ブロックは、デバイス(たとえば、LiDARシステム)によって実行されてもよい。いくつかの実装形態では、図5の1つまたは複数の処理ブロックは、車両(たとえば、車両110および/またはECU112)などのデバイス、および/またはワイヤレス通信デバイス(たとえば、ワイヤレス通信デバイス120)とは別個の、またはこれを含む、別のデバイスまたはデバイスのグループによって実行されてもよい。追加または代替として、図5の1つまたは複数の処理ブロックは、プロセッサ210、メモリ215、記憶コンポーネント220、入力コンポーネント225、出力コンポーネント230、通信インターフェース235、センサ240、および/またはLiDARシステム245など、デバイス200の1つまたは複数のコンポーネントによって実行されてもよい。

【0067】

図5に示すように、プロセス500は、LiDARスキャナから点データを取得するステップを含んでもよい(ブロック510)。たとえば、デバイスは、上記で説明したように、LiDARスキャナから点データを取得してもよい。いくつかの実装形態では、点データは、LiDARスキャナの極座標格子の角度部分範囲と関連付けられる。

【0068】

図5にさらに示すように、プロセス500は、角度部分範囲に少なくとも部分的に基づいて点の集合を識別し、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析し、点の集合が物体と関連しているかどうかを示すために、トランスフォーマモデルに点データを処理させるステップを含んでもよい(ブロック520)。たとえば、デバイスは、上記で説明したように、角度部分範囲に少なくとも部分的に基づいて点の集合を識別し、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析し、点の集合が物体と関連しているかどうかを示すために、トランスフォーマモデルに点データを処理させてもよい。

【0069】

図5にさらに示すように、プロセス500は、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行することをさらに含んでもよい(ブロック530)。たとえば、デバイスは、上記で説明したように、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行してもよい。

【0070】

プロセス500は、以下で、かつ/または本明細書の他の場所で説明する1つもしくは複数の他のプロセスに関連して説明する、任意の単一の実装形態または任意の組合せの実装形態など、追加の実装形態を含んでもよい。

【0071】

第1の実装形態では、トランスフォーマモデルは、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した別のスキャナと関連する履歴データに少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされる。別の物体および物体は、同じタイプであってもよく、別のスキャナは、LiDARスキャナと関連していてもよい。物理的距離は、極距離と関連していてもよい。

【0072】

第2の実装形態では、トランスフォーマモデルは、極座標格子の、極距離によって定義される極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされる。履歴データは、別の物体を表している点の1つまたは複数の履歴集合を含んでもよい。

【0073】

第3の実装形態では、トランスフォーマモデルは、極座標格子の極セル内の点の集合の配置に少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされる。トランスフォーマモデルは、極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされてもよい。

【0074】

第4の実装形態では、トランスフォーマモデルは、点の集合の極座標を物体クエリデータに変換するエンコーダと、物体クエリデータに少なくとも部分的に基づいて、点の集合が物体と関連しているかどうかを予測するデコーダとを含む。

【0075】

第5の実装形態では、物体クエリデータは、物体の1つまたは複数のタイプと関連する3次元データを含む。トランスフォーマモデルは、物体の1つまたは複数のタイプを識別するようにトレーニングされてもよく、物体のタイプは、物体の1つまたは複数のタイプのうちの1つであってもよい。

【0076】

第6の実装形態では、デコーダは、物体クエリデータと関連する類似性分析および物体のタイプと関連する参照データに少なくとも部分的に基づいて、点の集合が物体と関連しているかどうかを予測するように構成される。

【0077】

第7の実装形態では、トランスフォーマモデルは、極座標格子と関連するシーケンスに少なくとも部分的に基づいて点データを処理する。シーケンスは、極座標格子の対応する極セルと関連している点データの個々のサブセットが処理される順序を示す。

【0078】

第8の実装形態では、トランスフォーマモデルは、点データのすでに処理されたサブセットが、少なくとも1つの点を含んでいたかどうかに少なくとも部分的に基づいて、点データの特定のサブセットを処理するかどうかを選択的に決定するように構成される。

【0079】

第9の実装形態では、アクションを実行することは、ユーザインターフェースを介して、点の集合が物体と関連していることをトランスフォーマモデルが示すことに少なくとも部分的に基づいて、物体と関連する指示を与えることを含む。指示は、物体の場所、または物体のタイプのうちの少なくとも1つを示してもよい。

【0080】

第10の実装形態では、アクションを実行することは、ユーザデバイスから、点の集合が物体と関連していないことをトランスフォーマモデルが示すことに少なくとも部分的に基づいて、点の集合が物体と関連していないという指示と関連するフィードバックを取得することと、点の集合およびフィードバックに少なくとも部分的に基づいてトランスフォーマモデルを再トレーニングすることとを含む。

【0081】

第11の実装形態では、角度部分範囲は、360度のしきい値パーセンテージである範囲に対応する。

【0082】

図5は、プロセス500の例示的なブロックを示すが、いくつかの実装形態では、プロセス500は、追加のブロック、より少数のブロック、異なるブロック、または図5に示すものとは異なるように配置されたブロックを含んでもよい。追加または代替として、プロセス500のブロックのうちの2つ以上が並行して実行されてもよい。

【0083】

以下は、本開示のいくつかの態様の概要を提供する。

【0084】

態様1: 方法であって、デバイスによって、LiDARスキャナから点データを取得するステップであって、点データがLiDARスキャナの極座標格子の角度部分範囲と関連付けられる、取得するステップと、デバイスによって、トランスフォーマモデルに、角度部分範囲に少なくとも部分的に基づいて点の集合を識別するために点データを処理すること、点の集合と極座標格子の原点との間の極距離に少なくとも部分的に基づいて点の集合を分析すること、および点の集合が物体と関連しているかどうかを示すことを行わせるステップと、デバイスによって、トランスフォーマモデルが、点の集合が物体と関連していることを示すかどうかに少なくとも部分的に基づいてアクションを実行するステップとを含む、方法。

【0085】

態様2: トランスフォーマモデルが、別のスキャナからある物理的距離にあるエリア内の別の物体を識別した別のスキャナと関連する履歴データに少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされ、別の物体および物体が同じタイプであり、別のスキャナが、LiDARスキャナと関連し、物理的距離が極距離と関連している、態様1に記載の方法。

【0086】

態様3: トランスフォーマモデルが、極距離によって定義される、極座標格子の、極セルに対応する特徴空間内の別の物体と関連する履歴データに少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされ、履歴データが、別の物体を表している点の1つまたは複数の履歴集合を含む、態様1から2に記載の方法。

【0087】

態様4: トランスフォーマモデルが、極座標格子の極セル内の点の集合の配置に少なくとも部分的に基づいて、点の集合が物体を表しているかどうかを判定するようにトレーニングされ、トランスフォーマモデルが、極セルに対応する特徴空間内の別の物体と関連する点の履歴集合に少なくとも部分的に基づいてトレーニングされる、態様1から3のいずれかに記載の方法。

【0088】

態様5: トランスフォーマモデルが、点の集合の極座標を物体クエリデータに変換するエンコーダと、物体クエリデータに少なくとも部分的に基づいて、点の集合が物体と関連しているかどうかを予測するデコーダとを含む、態様1から4のいずれかに記載の方法。

【0089】

態様6: 物体クエリデータが、物体の1つまたは複数のタイプと関連している3次元データを含み、トランスフォーマモデルが、物体の1つまたは複数のタイプを識別するようにトレーニングされ、物体のタイプが、物体の1つまたは複数のタイプのうちの1つである、態様5に記載の方法。

【0090】

態様7: デコーダが、物体クエリデータと関連する類似性分析および物体のタイプと関連する参照データに少なくとも部分的に基づいて、点の集合が物体と関連しているかどうかを予測するように構成される、態様6に記載の方法。

【0091】

態様8: トランスフォーマモデルが、極座標格子と関連するシーケンスに少なくとも部分的に基づいて点データを処理し、シーケンスが、極座標格子の対応する極セルと関連する点データの個々のサブセットが処理される順序を示す、態様1から7のいずれかに記載の方法。

【0092】

態様9: トランスフォーマモデルが、点データのすでに処理されたサブセットが、少なくとも1つの点を含んでいたかどうかに少なくとも部分的に基づいて、点データの特定のサブセットを処理するかどうかを選択的に決定するように構成される、態様8に記載の方法。

【0093】

態様10: アクションを実行するステップが、ユーザインターフェースを介して、点の集合が物体と関連していることをトランスフォーマモデルが示すことに少なくとも部分的に基づいて、物体と関連する指示を提供するステップを含み、指示が、物体の場所、または物体のタイプのうちの少なくとも1つを示す、態様1から態様9のいずれかに記載の方法。

【0094】

態様11: アクションを実行するステップが、ユーザデバイスから、点の集合が物体と関連していないことをトランスフォーマモデルが示すことに少なくとも部分的に基づいて、点の集合が物体と関連していないという指示と関連するフィードバックを取得するステップと、点の集合およびフィードバックに少なくとも部分的に基づいてトランスフォーマモデルを再トレーニングするステップとを含む、態様1から態様10のいずれかに記載の方法。

【0095】

態様12: 角度部分範囲が、360度のしきい値パーセンテージである範囲に対応する、態様1から11のいずれかに記載の方法。

【0096】

態様13: プロセッサと、プロセッサと結合されたメモリと、メモリに記憶され、態様1から12のうちの1つまたは複数の態様の方法を装置に実施させるようにプロセッサによって実行可能な命令とを備える、デバイスにおけるワイヤレス通信のための装置。

【0097】

態様14: メモリと、メモリに結合された1つまたは複数のプロセッサとを備える、ワイヤレス通信のためのデバイスであって、メモリおよび1つまたは複数のプロセッサが、態様1から12のうちの1つまたは複数の態様の方法を実施するように構成される、デバイス。

【0098】

態様15: 態様1から12のうちの1つまたは複数の態様の方法を実施するための少なくとも1つの手段を備える、ワイヤレス通信のための装置。

【0099】

態様16: ワイヤレス通信のためのコードを記憶する非一時的コンピュータ可読媒体であって、コードが、態様1から12のうちの1つまたは複数の態様の方法を実施するようにプロセッサによって実行可能な命令を含む、非一時的コンピュータ可読媒体。

【0100】

態様17: ワイヤレス通信のための命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、デバイスの1つまたは複数のプロセッサによって実行されると、デバイスに、態様1から12のうちの1つまたは複数の態様の方法を実施させる1つまたは複数の命令を備える、非一時的コンピュータ可読媒体。

【0101】

上記の開示は、例示および説明を提供するが、網羅的であることまたは態様を開示された厳密な形態に限定することは意図されていない。修正および変形が、上記の開示を考慮して行われてもよく、または態様の実践から獲得されてもよい。

【0102】

本明細書で使用する「コンポーネント」という用語は、ハードウェア、ファームウェア、および/またはハードウェアとソフトウェアとの組合せとして広く解釈されるものとする。本明細書で使用するとき、プロセッサは、ハードウェア、ファームウェア、および/またはハードウェアとソフトウェアの組合せにおいて実装される。本明細書で説明するシステムおよび/または方法は、異なる形態のハードウェア、ファームウェア、および/またはハードウェアとソフトウェアの組合せで実装されてもよいことは明らかであろう。これらのシステムおよび/または方法を実装するために使用される実際の専用の制御ハードウェアまたはソフトウェアコードは、態様を限定するものではない。したがって、システムおよび/または方法の動作および挙動について、特定のソフトウェアコードを参照することなく本明細書で説明した。ソフトウェアおよびハードウェアが、本明細書での説明に少なくとも部分的に基づいてシステムおよび/または方法を実装するように設計可能であることを理解されたい。

【0103】

本明細書で使用される「しきい値を満たすこと」は、文脈に応じて、値がしきい値よりも大きいこと、しきい値よりも大きいかまたはそれに等しいこと、しきい値よりも小さいこと、しきい値よりも小さいかまたはそれに等しいこと、しきい値に等しいこと、しきい値に等しくないことなどを指す場合がある。

【0104】

特徴の特定の組合せが特許請求の範囲において列挙され、かつ/または本明細書で開示されても、それらの組合せは、様々な態様の開示を限定するものではない。実際には、これらの特徴の多くが、具体的に特許請求の範囲において列挙されない、および/または本明細書で開示されない方法で組み合わせられてもよい。以下に列挙する各従属請求項は、ただ1つの請求項に直接従属する場合があるが、様々な態様の開示は、請求項のセットの中のあらゆる他の請求項と組み合わせた各従属請求項を含む。本明細書で使用する項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-c、ならびに複数の同じ要素を有する任意の組合せ(たとえば、a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、およびc-c-c、またはa、b、およびcの任意の他の順序)を包含するものとする。

【0105】

本明細書で使用する要素、行為、または命令はいずれも、そのように明示的に説明されない限り、重要または不可欠であるものと解釈されるべきではない。また、本明細書で使用する冠詞"a"および"an"は、1つまたは複数の項目を含むものであり、「1つまたは複数」と互換的に使用されてもよい。さらに、本明細書で使用する冠詞"the"は、冠詞"the"とともに言及される1つまたは複数の項目を含むものとし、「1つまたは複数の」と互換的に使用されてもよい。さらに、本明細書で使用する「セット」および「グループ」という用語は、1つまたは複数の項目(たとえば、関連する項目、関連しない項目、関連する項目と関連しない項目との組合せ)を含むものとし、「1つまたは複数の」と互換的に使用されることがある。1つの項目だけが意図される場合、「ただ1つの」という句または類似の言葉が使用される。また、本明細書で使用される「有する(has)」、「有する(have)」、「有する(having)」などの用語は、オープンエンド用語であるものとする。さらに、「に基づいて」という句は、別段に明記されていない限り、「に少なくとも部分的に基づいて」を意味するものとする。また、本明細書で使用される「または(or)」という用語は、連続して使用されるときには包含的であるものとし、別段に明記されていない限り(たとえば、「いずれか(either)」または「のうちの1つのみ(only one of)」と組み合わせて使用される場合)、「および/または(and/or)」と互換的に使用されることがある。

【符号の説明】

【0106】

100 環境
110 車両
112 電子制御ユニット(ECU)
120 ワイヤレス通信デバイス
130 ネットワーク
200 デバイス
205 バス
210 プロセッサ
215 メモリ
220 記憶コンポーネント
225 入力コンポーネント
230 出力コンポーネント
235 通信インターフェース
240 センサ
245 LiDARシステム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【国際調査報告】