特表 2024-534059 視覚に基づくシステムのための検出されたオブジェクト経路予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-18

(54)【発明の名称】視覚に基づくシステムのための検出されたオブジェクト経路予測

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240910BHJP

   G01C 21/34 20060101ALI20240910BHJP

【ＦＩ】

G08G1/16 C

G01C21/34

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024509355

(86)(22)【出願日】2022-08-19

(85)【翻訳文提出日】2024-03-14

(86)【国際出願番号】 US2022040906

(87)【国際公開番号】W WO2023023336

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】63/260,439

(32)【優先日】2021-08-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/287,936

(32)【優先日】2021-12-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】510192916

【氏名又は名称】テスラ，インコーポレイテッド

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】ヴァスデヴァン，ナンダ キショール

(72)【発明者】

【氏名】チェダ，ディラル

【テーマコード（参考）】

2F129

5H181

【Ｆターム（参考）】

2F129AA03

2F129BB03

2F129DD53

2F129EE02

2F129EE52

2F129EE95

2F129GG17

2F129GG18

2F129HH12

5H181AA01

5H181BB04

5H181CC04

5H181CC14

5H181CC24

5H181LL01

5H181LL02

5H181LL04

5H181LL08

(57)【要約】

本出願の態様は、視覚システムから検出された動的オブジェクトに対するシミュレーション又は予測移動経路を生成するための視覚システムからの入力のセットの利用に対応する。例示的には、サービスは、キャプチャされた視覚システム情報から検出された任意の動的オブジェクトの予測移動経路を識別するために、１つ以上の視覚システム（又は追加のサービス）から収集された入力のセット（例えば、関連するグラウンドトゥルースラベルデータ）を処理することができる。典型的には、複数の予測移動経路は、２つ以上の移動経路が最小閾値を満たすか、又は超えるとみなされ得るように生成され得る。得られる予測移動経路は、検出された動的オブジェクトのいずれか１つの予測移動経路が発生する可能性を特徴付ける信頼度値に更に関連付けられ得る。生成及び処理された経路は、ナビゲーションシステム／サービス、半自動又は自動運転システム／サービスなどの追加のシステムに対する入力として提供又は使用され得る。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両内の視覚システムを管理するためのシステムであって、
コンピュータ実行可能命令を実行する、処理デバイス及びメモリを含む１つ以上のコンピューティングシステムを備え、前記コンピュータ実行可能命令が、
１つ以上の視覚システムから収集された視覚データに関連付けられた第１のグラウンドトゥルースラベルデータを取得するステップであって、前記取得された第１のグラウンドトゥルースラベルデータが、道路エッジグラウンドトゥルースラベル、車線境界線グラウンドトゥルースラベル、又は道路マーキングのうちの少なくとも１つを含む移動面の属性に対応する、取得するステップと、
１つ以上の視覚システムから収集された視覚データに関連付けられた第２のグラウンドトゥルースラベルデータを取得するステップであって、前記取得された第２のグラウンドトゥルースラベルデータが、１つ以上の検出された動的オブジェクトの属性に対応する、取得するステップと、
前記収集された視覚データに関連付けられた前記取得された第１のグラウンドトゥルースラベルデータ及び前記取得された第２のグラウンドトゥルースラベルデータを処理して、複数の予測移動経路を形成するステップであって、各個別の予測移動経路が、信頼度値に関連付けられる、処理するステップと、
少なくとも１つの追加のグラウンドトゥルースラベルに基づいて、前記複数の予測移動経路を処理するステップと、
前記処理された複数の予測移動経路及び関連付けられた信頼度値を記憶するステップと、を行うように動作する視覚システム処理構成要素を実装するためのものである、システム。

【請求項2】

前記視覚システム処理構成要素が、前記収集された視覚データに関連付けられた前記取得された第１のグラウンドトゥルースラベルデータ及び前記取得された第２のグラウンドトゥルースラベルデータを処理して、最小信頼度値閾値を超える潜在的な移動経路を選択することに基づいて、複数の予測移動経路を形成する、請求項１に記載のシステム。

【請求項3】

前記第１のグラウンドトゥルースラベルデータ及び前記第２のグラウンドトゥルースラベルデータが、キャプチャされたビデオデータの水平線内で検出された１つ以上のオブジェクトに対応する、請求項１に記載のシステム。

【請求項4】

前記第１のグラウンドトゥルースラベルデータ及び前記第２のグラウンドトゥルースラベルデータが、車両の現在の定義された場所を超えて検出された１つ以上のオブジェクトに対応する、請求項３に記載のシステム。

【請求項5】

１つ以上の検出された動的オブジェクトの前記属性が、前記動的オブジェクトのヨー、速度、又は加速度のうちの少なくとも１つに対応する、請求項１に記載のシステム。

【請求項6】

前記視覚システム処理構成要素が、予測移動経路と干渉し得る少なくとも１つの静的オブジェクトを識別することによって、少なくとも１つの追加のグラウンドトゥルースラベルに基づいて、前記複数の予測移動経路を処理する、請求項１に記載のシステム。

【請求項7】

前記複数の予測移動経路のうちの２つ以上に関連付けられた信頼度値の合計が１００％を超える、請求項１に記載のシステム。

【請求項8】

前記複数の予測移動経路に関連付けられた信頼度値の合計が１００％を超えない、請求項１に記載のシステム。

【請求項9】

前記視覚システム処理構成要素が、検出された動的オブジェクトに対するモデル化された実現可能性円錐に基づいて、前記複数の予測移動経路を処理する、請求項１に記載のシステム。

【請求項10】

車両内の視覚システムを管理するための方法であって、前記システムが、
１つ以上の視覚システムから収集された視覚データに関連付けられた第１のグラウンドトゥルースラベルデータを取得するステップであって、前記取得された第１のグラウンドトゥルースラベルデータが、移動面の属性に対応する、取得するステップと、
１つ以上の視覚システムから収集された視覚データに関連付けられた第２のグラウンドトゥルースラベルデータを取得するステップであって、前記取得された第２のグラウンドトゥルースラベルデータが、１つ以上の検出された動的オブジェクトの属性に対応する、取得するステップと、
前記収集された視覚データに関連付けられた前記取得された第１のグラウンドトゥルースラベルデータ及び前記取得された第２のグラウンドトゥルースラベルデータを処理して、複数の予測移動経路を形成するステップであって、各個別の予測移動経路が、信頼度値に関連付けられる、処理するステップと、
前記処理された複数の予測移動経路及び関連付けられた信頼度値を記憶するステップと、を含む、方法。

【請求項11】

最小信頼度値閾値を超える潜在的な移動経路を選択することに基づいて、前記複数の予測移動経路を形成すること、請求項１０に記載の方法。

【請求項12】

前記第１のグラウンドトゥルースラベルデータ及び前記第２のグラウンドトゥルースラベルデータが、前記キャプチャされたビデオデータの水平線内で検出された１つ以上のオブジェクトに対応する、請求項１０に記載の方法。

【請求項13】

前記取得された第１のグラウンドトゥルースラベルデータが、道路エッジグラウンドトゥルースラベル、車線境界線グラウンドトゥルースラベル、又は道路マーキングのうちの少なくとも１つを含む移動面の属性に対応する、請求項１０に記載の方法。

【請求項14】

１つ以上の検出された動的オブジェクトの前記属性が、前記動的オブジェクトのヨー、速度、又は加速度のうちの少なくとも１つに対応する、請求項１０に記載の方法。

【請求項15】

少なくとも１つの追加のグラウンドトゥルースラベルに基づいて、前記複数の予測移動経路を処理するステップを更に含む、請求項１０に記載の方法。

【請求項16】

前記複数の予測移動経路を少なくとも１つの追加のグラウンドトゥルースラベルに基づいて更に処理することが、予測移動経路と干渉し得る少なくとも１つの静的オブジェクトを識別することを含む、請求項１５に記載の方法。

【請求項17】

前記視覚システム処理構成要素が、検出された動的オブジェクトに対するモデル化された実現可能性円錐に基づいて、前記複数の予測移動経路を処理する、請求項１０に記載の方法。

【請求項18】

車両内の視覚システムを管理するための方法であって、前記システムが、
１つ以上の視覚システムから収集された視覚データに関連付けられたグラウンドトゥルースラベルデータを取得するステップであって、前記取得された第１のグラウンドトゥルースラベルデータが、移動面及び１つ以上の検出された動的オブジェクトの属性に対応する、取得するステップと、
前記収集された視覚データに関連付けられた前記取得されたグラウンドトゥルースラベルデータに基づいて、複数の予測移動経路を生成するステップであって、各個別の予測移動経路は、信頼度値に関連付けられる、生成するステップと、
前記複数の予測移動経路及び関連付けられた信頼度値を記憶するステップと、を含む、方法。

【請求項19】

最小信頼度値閾値を超える潜在的な移動経路を選択することに基づいて、前記複数の予測移動経路を形成すること、請求項１８に記載の方法。

【請求項20】

前記取得された第１のグラウンドトゥルースラベルデータが、道路エッジグラウンドトゥルースラベル、車線境界線グラウンドトゥルースラベル、又は道路マーキングのうちの少なくとも１つを含む移動面の属性に対応する、請求項１８に記載の方法。

【請求項21】

１つ以上の検出された動的オブジェクトの前記属性が、前記動的オブジェクトのヨー、速度、又は加速度のうちの少なくとも１つに対応する、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２１年８月１９日に出願された「ＥＮＨＡＮＣＥＤ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ ＡＮＤ ＴＲＡＩＮＩＮＧ」と題する米国仮出願第６３／２６０，４３９号及び２０２１年１２月９日に出願された「ＥＮＨＡＮＣＥＤ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ ＡＮＤ ＴＲＡＩＮＩＮＧ」と題する米国仮出願第６３／２８７，９３６号の優先権を主張する。米国仮出願第６３／２６０，４３９号及び第６３／２８７，９３６号は、参照により、それらの全体が本明細書に組み込まれる。

【背景技術】

【0002】

一般的に記載すると、コンピューティングデバイス及び通信ネットワークは、データ及び／又は情報を交換するために利用され得る。一般のアプリケーションでは、コンピューティングデバイスは、通信ネットワークを介して別のコンピューティングデバイスからコンテンツを要求することができる。例えば、コンピューティングデバイスは、様々なデータを収集し、ソフトウェアアプリケーションを利用して、ネットワーク（例えば、インターネット）を介してサーバコンピューティングデバイスとコンテンツを交換することができる。

【0003】

一般的に記載すると、電気自動車、内燃機関車両、ハイブリッド車両などの様々な車両は、車両の動作又は車両に含まれる１つ以上のシステムの管理を容易にするための様々なセンサ及び構成要素を用いて構成され得る。特定のシナリオでは、車両所有者又は車両ユーザは、センサに基づくシステムを利用して、車両の動作を容易にしたいことがある。例えば、車両は、多くの場合、場所サービスを容易にするか、又は場所サービスを提供するコンピューティングデバイスにアクセスすることができるハードウェア及びソフトウェア機能性を含むことができる。別の例では、車両はまた、車両の乗員及びユーザに提供されるナビゲーション又は方向情報に関連する情報を生成することができるナビゲーションシステム又はアクセスナビゲーション構成要素を含むことができる。更に、更なる例では、車両は、ナビゲーション及び場所サービス、安全サービス、又は他の動作サービス／構成要素を容易にするための視覚システムを含むことができる。

【0004】

本開示は、特定の実施形態の図面を参照して本明細書に記載され、これらの図面は、本開示を例示することを意図するが、本開示を限定することを意図するものではない。本明細書に組み込まれ、この一部を構成する添付の図面は、本明細書に開示される概念を例示する目的のためであり、縮尺通りではないことがあると理解されたい。

【図面の簡単な説明】

【0005】

【図1A】本出願の１つ以上の態様による、車両に対応する環境を例示する。

【0006】

【図1B】本出願の１つ以上の態様による、車両のための例示的な視覚システムである。

【0007】

【図2】本出願の態様による、視覚情報処理構成要素を実装するための例示的なアーキテクチャを描写する。

【0008】

【図3】例示的な実施形態による、シミュレートコンテンツサービスによって実装されたシミュレートモデルコンテンツ生成ルーチンを例示するフロー図である。

【0009】

【図4A】本出願の態様による、検出されたオブジェクトの潜在的な移動経路の表現を例示する。

【図4B】本出願の態様による、検出されたオブジェクトの潜在的な移動経路の表現を例示する。

【0010】

【図5A】本出願の態様による、検出されたオブジェクトの実現可能性円錐のモデルに対する実施形態を例示する。

【図5B】本出願の態様による、検出されたオブジェクトの実現可能性円錐のモデルに対する実施形態を例示する。

【発明を実施するための形態】

【0011】

一般的に記載すると、本開示の１つ以上の態様は、車両内の視覚システムの構成及び実装態様に関する。例示的な例として、本出願の態様は、様々な動作機能のための視覚システムにのみ依存する車両で使用される機械学習アルゴリズムの構成及び訓練に関する。例示的に、視覚のみのシステムは、レーダに基づくシステム、ＬＩＤＡＲに基づくシステム、ＳＯＮＡＲシステムなどのような１つ以上の追加のセンサシステムと視覚に基づくシステムとを組み合わせ得る車両とは対照的である。

【0012】

視覚のみのシステムには、車両に搭載された複数のカメラを含むことができる視覚システムからのみ入力を処理することができる機械学習アルゴリズムを用いて構成され得る。機械学習アルゴリズムは、オブジェクトを識別し、車両に対して測定された位置、速度、加速度などの識別されたオブジェクトの特性／属性を指定する出力を生成することができる。追加的に、移動している動的オブジェクトに対して、１つ以上の態様は、車両に対する検出オブジェクトの潜在的な移動経路の特性を提供することに関する。潜在的な移動経路は、信頼度値に基づいて優先順位付けされるか、又は他の方法でソートされ得る。次いで、判定された潜在的な移動経路を含む、機械学習アルゴリズムからの出力は、ナビゲーションシステム、場所システム、安全システムなどの更なる処理に利用され得る。

【0013】

本出願の態様によれば、サービスは、機械学習アルゴリズムが、識別されたオブジェクト及び道路エッジ、車線境界線、中央車線などを含む移動面に関連するオブジェクトの識別などの指定された特性／属性を識別して表現するために、ラベル付けされたデータで訓練される教師あり学習モデルに従って、機械学習アルゴリズムを構成することができる。追加的に、機械学習アルゴリズムは、静的オブジェクト及び動的オブジェクト（例えば、車両）などの移動面に対する静的オブジェクト、並びに位置、速度、加速度などの関連する情報を識別するように更に構成され得る。

【0014】

サービスは、識別されたオブジェクト（例えば、幾何学的表現）及び関連付けられた属性を利用して、潜在的な移動経路のセットを識別することができる。具体的には、潜在的な移動経路の表現は、移動面の属性及び検出されたオブジェクトの個別の属性に適用される動力学に基づくモデリングに基づくことができる。例示的に、入力の処理の処理結果はまた、動的オブジェクトが予測される経路に従う可能性を特徴付ける信頼度値を含むことができる。いくつかの実施形態では、サービスは、最小閾値を超えない、任意の判定された潜在的な移動経路を除去するなど、閾値に基づいて、潜在的な経路のターゲットセットをソート、フィルタリング、又は他の方法で処理することができる。

【0015】

いくつかの実施形態では、サービスは、追加の基準又は外部情報に基づいて、潜在的な移動経路の生成されたセットを更に処理することができる。一実施形態では、サービスは、任意の追加の検出されたオブジェクト（静的又は動的）が、潜在的な移動経路に影響するか、若しくは他の方法で影響を与えるか、又は信頼度値を修正し得るかを判定することができる。例えば、動的オブジェクトの移動経路の初期セットは、既存の車線内の直進、交差点での方向転換、又は隣接する車線への車線変更に関連する移動経路を含み、全ての潜在的な経路が、初期信頼度値閾値を満たすか、又は超えることを想定する。静的オブジェクトが現在の車線（例えば、駐車中の車）で検出される場合、サービスは、信頼度値を調整し、既存の車線内の直進を除去し、外部の検出されたオブジェクトによって影響されて、追加の移動経路又は代替の潜在的な移動経路などを生成する。生成及び処理された経路は、ナビゲーションシステム／サービス、半自動又は自動運転システム／サービスなどの追加のシステムに対する入力として提供又は使用され得る。

【0016】

従来、車両は、制御構成要素に入力を提供するために使用され得る物理センサに関連付けられる。多くのナビゲーション、場所及び安全システムでは、物理センサは、オブジェクトを検出し、検出されたオブジェクトの属性を特徴付けることができる、レーダシステム、ＬＩＤＡＲシステムなどの検出に基づくシステムを含む。いくつかのアプリケーションでは、検出システムは、製造及びメンテナンスのコストを増加させることができる。追加的に、雨、霧、雪などのいくつかの環境シナリオでは、検出に基づくシステムは、検出に適していないことがあるか、又は検出エラーを増加させる可能性がある。

【0017】

上記の欠陥の少なくとも一部分に対処するために、本出願の態様は、視覚システムから検出された動的オブジェクトに対するシミュレーション又は予測移動経路を生成するための視覚システムからの入力のセットの利用に対応する。例示的には、サービスは、キャプチャされた視覚システム情報から検出された任意の動的オブジェクトの予測移動経路を識別するために、１つ以上の視覚システム（又は追加のサービス）から収集された入力のセット（例えば、関連するグラウンドトゥルースラベルデータ）を処理することができる。典型的には、複数の予測移動経路は、２つ以上の移動経路が最小閾値を満たすか、又は超えるとみなされ得るように生成され得る。得られる予測移動経路は、検出された動的オブジェクトのいずれか１つの予測移動経路が発生する可能性を特徴付ける信頼度値に更に関連付けられ得る。生成及び処理された経路は、ナビゲーションシステム／サービス、半自動又は自動運転システム／サービスなどの追加のシステムに対する入力として提供又は使用され得る。

【0018】

様々な態様は、例示的な実施形態及び特徴の組み合わせにより記載されているが、当業者は、例示及び特徴の組み合わせが本質的に例示的であり、限定として解釈されるべきではないと理解するであろう。より具体的には、本出願の態様は、組み合わせエンジン、ハイブリッドエンジン、電気エンジンなどのような異なる推進システムを有する車両を含む様々なタイプの車両に適用可能であってもよい。更に、本出願の態様は、異なるタイプのセンサ、感知システム、ナビゲーションシステム、又は場所システムを組み込むことができる様々なタイプの車両に適用可能であってもよい。したがって、例示的な例は、限定するものとして解釈されるべきではない。同様に、本出願の態様は、自律運転アプリケーション、運転者の利便性アプリケーションなどを含む、車両の動作を容易にし得る他のタイプの構成要素と組み合わされるか、又はそれらとともに実装されてもよい。

【0019】

例示的に、車両１０２のセットは、オブジェクトを識別し、識別されたオブジェクトの１つ以上の属性を特徴付けるための視覚のみに基づくシステムを用いて構成された１つ以上の車両に対応する。車両１０２のセットは、教師あり学習モデルを実装した機械学習アルゴリズムなどの機械学習アルゴリズムを用いて構成されており、これは、視覚システム入力のみを利用してオブジェクトを識別し、位置、速度、及び加速度属性などの識別されたオブジェクトの属性を特徴付けるように構成されている。車両１０２のセットは、レーダ検出システム、ＬＩＤＡＲ検出システムなどの任意の追加の検出システムを用いずに構成されてもよい。

【0020】

例示の目的のために、図１Ａは、本出願の１つ以上の態様による、車両１０２に対応する環境を例示する。環境は、本明細書に記載されるように、車両の動作又は情報の収集のための入力を提供することができるローカルセンサ入力の集合を含む。ローカルセンサの集合は、車両に含まれるか、又は他の方法で動作中に車両によってアクセス可能な１つ以上のセンサ又はセンサに基づくシステムを含むことができる。ローカルセンサ又はセンサシステムは、車両に統合されてもよい。代替的に、ローカルセンサ又はセンサシステムは、物理接続、無線接続、又はそれらの組み合わせなど、車両に関連付けられたインターフェースによって提供されてもよい。

【0021】

一態様では、ローカルセンサは、オブジェクトの検出、検出されたオブジェクトの属性（例えば、位置、速度、加速度）、環境条件（例えば、雪、雨、氷、霧、煙など）の存在などの車両に入力を提供する視覚システムを含むことができる。視覚システムを形成するために車両に搭載されたカメラの例示的な集合は、図１Ｂに関して記載される。前述のように、車両１０２は、他の従来の検出システムからの支援を用いずに、又はその代わりに、定義された車両動作機能のためにそのような視覚システムに依存する。

【0022】

また別の態様では、ローカルセンサは、車両の測位情報を判定する際に様々なレベルの精度を可能にする外部ソースから参照情報を取得することができる１つ以上の測位システムを含むことができる。例えば、測位システムは、ＧＰＳソース、無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント情報源、Ｂｌｕｅｔｏｏｔｈ情報源、無線周波数識別（ＲＦＩＤ）源などからの情報を処理するための様々なハードウェア及びソフトウェア構成要素を含むことができる。いくつかの実施形態では、測位システムは、複数のソースから情報の組み合わせを取得することができる。例示的に、測位システムは、様々な入力源から情報を取得し、車両の測位情報、具体的には、現在の場所における標高を判定することができる。他の実施形態では、測位システムはまた、移動方向、速度、加速度などの移動関連動作パラメータを判定することができる。測位システムは、自動運転アプリケーション、強化された運転又はユーザ支援ナビゲーションなどを含む複数の目的のために車両の一部として構成されてもよい。例示的に、測位システムは、様々な車両パラメータ又はプロセス情報の識別を容易にする処理構成要素及びデータを含むことができる。

【0023】

更に別の態様では、ローカルセンサは、ナビゲーション関連情報を識別するための１つ以上のナビゲーションシステムを含むことができる。例示的に、ナビゲーションシステムは、測位システムから測位情報を取得し、標高、道路勾配などの識別された場所に関する特性又は情報を識別することができる。ナビゲーションシステムはまた、車両ユーザに提供又は予想されている方向に基づいて、多車線道路内の提案された又は意図された車線の場所を識別することができる。場所システムと同様に、ナビゲーションシステムは、自動運転アプリケーション、強化された運転又はユーザ支援ナビゲーションなどを含む複数の目的のために車両の一部として構成されてもよい。ナビゲーションシステムは、測位システムと組み合わされるか、又は統合されてもよい。例示的に、測位システムは、様々な車両パラメータ又はプロセス情報の識別を容易にする処理構成要素及びデータを含むことができる。

【0024】

ローカルリソースは、車両又は車両によってアクセス可能なコンピューティングデバイス（例えば、モバイルコンピューティングデバイス）上でホストされ得る１つ以上の処理構成要素を更に含む。処理構成要素は、例示的に、様々なローカルセンサ又はセンサシステムからの入力にアクセスし、本明細書に記載されるように入力されたデータを処理することができる。本出願の目的のために、処理構成要素は、例示的な態様に関連する１つ以上の機能に関して記載される。例えば、車両１０２内の処理構成要素は、収集された視覚情報に対応する第１のデータセットを収集し、送信する。

【0025】

環境は更に、動作状態のうちの１つ以上に従って使用するための様々な動作パラメータに関する情報を提供するように動作可能な様々な追加のセンサ構成要素又は感知システムを含むことができる。環境は、通信出力を介したデータの送信、メモリ内のデータの生成、他の処理構成要素への出力の送信などの出力を処理するための１つ以上の制御構成要素を更に含むことができる。

【0026】

ここで図１Ｂを参照すると、車両のための例示的な視覚システム２００が記載される。視覚システム２００は、車両の動作中に画像データをキャプチャできるカメラのセットを含む。上述したように、個々の画像情報は、例示された画像が画像の特定のタイムスタンプを表すように、特定の周波数で受信されてもよい。いくつかの実施形態では、画像情報は、高ダイナミックレンジ（ＨＤＲ）画像を表してもよい。例えば、異なる露出を組み合わせて、ＨＤＲ画像を形成してもよい。別の例として、画像センサからの画像は、それらをＨＤＲ画像に変換するために（例えば、機械学習モデルを使用して）事前に処理されてもよい。

【0027】

図２Ｂに例示されるように、カメラのセットは、画像データをキャプチャする前面カメラ２０２のセットを含むことができる。前面カメラは、車両のフロントガラス領域に搭載されて、わずかに高い高度を有してもよい。図１Ｂに例示されるように、前面カメラ２０２は、複合画像を生成するように構成された複数の個別のカメラを含むことができる。例えば、カメラハウジングは、前方を指す３つの画像センサを含んでもよい。この例では、第１の画像センサは、広角（例えば、魚眼）レンズを有してもよい。第２の画像センサは、通常又は標準レンズ（例えば、３５ｍｍの等価焦点距離、５０ｍｍの等価焦点距離など）を有してもよい。第３の画像センサは、ズーム又はナローレンズを有してもよい。このようにして、変化する焦点距離の３つの画像が、車両によって前方方向に取得されてもよい。視覚システム２００は、車両のドアピラーに搭載されたカメラ２０４のセットを更に含む。視覚システム２００は、車両のフロントバンパーに搭載された２つのカメラ２０６を更に含むことができる。追加的に、視覚システム２００は、リアバンパー、トランク、又はナンバープレートホルダに搭載された後面カメラ２０８を含むことができる。

【0028】

カメラ２０２、２０４、２０６、及び２０８のセットは全て、専用コントローラ／組み込みシステムなどの１つ以上の処理構成要素２１２にキャプチャされた画像を提供してもよい。例えば、処理構成要素２１２は、機械学習モデルに関連付けられた情報を迅速に処理するように構成された１つ以上の行列プロセッサを含んでもよい。処理構成要素２１２は、いくつかの実施形態では、畳み込みニューラルネットワークを通るフォワードパスに関連付けられた畳み込みを実行するために使用されてもよい。例えば、入力データ及び重みデータが畳み込まれてもよい。処理構成要素２１２は、畳み込みを実行する多数の乗算累積ユニットを含んでもよい。一例として、行列プロセッサは、より大きな畳み込み演算を容易にするために編成又はフォーマットされた入力データ及び重みデータを使用してもよい。代替的には、画像データは、汎用処理構成要素に送信されてもよい。

【0029】

例示的に、個々のカメラは、処理のための視覚データの別個の入力として動作してもよく、又は個別に考慮されてもよい。他の実施形態では、カメラデータの１つ以上のサブセットを組み合わせて、前面カメラ２０２のトリオなどの複合画像データを形成してもよい。図１Ｂに更に例示されるように、車両１０２などの視覚のみシステムを組み込む車両に関連する実施形態では、検出システムは２１０に含まれない。

【0030】

ここで図２を参照すると、１つ以上のローカルリソース又はサービス上に視覚情報処理構成要素１１２を実装するための例示的なアーキテクチャが記載される。視覚情報処理構成要素１１２は、オブジェクト認識、ナビゲーション、場所サービスなどのための機械学習アルゴリズムに関連付けられた機能性を提供する構成要素／システムの一部であってもよい。

【0031】

図２のアーキテクチャは、本質的に例示的であり、処理構成要素２１２に対する特定のハードウェア又はソフトウェア構成を必要とすると解釈されるべきではない。図２に描写される処理構成要素２１２の一般的アーキテクチャは、本開示の態様を実装するために使用され得るコンピュータハードウェア及びソフトウェア構成要素の配置を含む。例示されるように、処理構成要素２１２は、処理ユニット２０２、ネットワークインターフェース２０４、コンピュータ可読媒体ドライブ２０６、及び入力／出力デバイスインターフェース２０８を含み、それらの全ては、通信バスを経由して互いに通信することができる。処理構成要素２１２の構成要素は、物理ハードウェア構成要素であるか、又は仮想化環境に実装されてもよい。

【0032】

ネットワークインターフェース２０４は、１つ以上のネットワーク又はコンピューティングシステムに接続性を提供してもよい。したがって、処理ユニット２０２は、ネットワークを介して他のコンピューティングシステム又はサービスから情報及び命令を受信してもよい。処理ユニット２０２はまた、メモリ２１０と通信し、入力／出力デバイスインターフェース２０８を介して、任意選択的なディスプレイ（図示せず）のための出力情報を更に提供してもよい。いくつかの実施形態では、視覚情報処理構成要素１１２は、図２に示された構成要素よりも多い（又は少ない）構成要素を含んでもよい。

【0033】

メモリ２１０は、１つ以上の実施形態を実装するために処理ユニット２０２が実行するコンピュータプログラム命令を含んでもよい。メモリ２１０は、概して、ＲＡＭ、ＲＯＭ、又は他の永続的若しくは非一時的メモリを含む。メモリ２１０は、インターフェースソフトウェア２１２と、処理構成要素２１２の一般的な管理及び動作において処理ユニット２０２によって使用するためのコンピュータプログラム命令を提供するオペレーティングシステム２１４とを記憶してもよい。メモリ２１０は、本開示の態様を実装するためのコンピュータプログラム命令及び他の情報を更に含んでもよい。例えば、一実施形態では、メモリ２１０は、車両１０２、データストア、他のサービスなどの車両から情報（例えば、キャプチャされたビデオ情報）を取得するセンサインターフェース構成要素２１６を含む。

【0034】

メモリ２１０は、キャプチャ又は処理された視覚システム情報を取得及び処理し、本明細書に記載されるように、検出された動的オブジェクトの１つ以上の潜在的な移動経路を生成するための視覚情報処理構成要素２１８を更に含む。メモリ２１０は、ナビゲーション又は方向目的のためなど、生成され予測される経路情報を利用するための１つ以上のナビゲーション／方向成分構成要素２２０を更に含むことができる。視覚情報処理構成要素１１２内に組み合わされた構成要素として例示されているが、関連技術分野の当業者は、メモリ２１０内の構成要素の１つ以上が、物理コンピューティング環境と仮想コンピューティング環境の両方を含む個別化されたコンピューティング環境で実装されてもよいことを理解するであろう。

【0035】

ここで図３を参照すると、収集された視覚及びシミュレートコンテンツシステムデータを処理するためのルーチン３００が記載されている。ルーチン３００は、処理構成要素２１２によって例示的に実装される。上述のように、ルーチン５００は、車両２００が視覚システムデータを取得し、キャプチャされた視覚システムデータに対するグラウンドトゥルースラベルデータが処理のために利用可能となった後に実装されてもよい。

【0036】

ブロック３０２において、処理構成要素２１２は、生成された視覚データを取得し、収集する。例示的に、車両２００は、視覚システムデータを収集し、関連するグラウンドトゥルースラベルを生成するように構成されてもよい。上述のように、車両２００は、キャプチャされた視覚システム情報に対するグラウンドトゥルースラベル情報を少なくとも部分的に生成するために、視覚システム内の処理能力を含んでもよい。他の実施形態では、車両２００は、（任意のグラウンドトゥルースラベルの有無にかかわらず）キャプチャされた視覚システム情報を、通信ネットワーク内などの別のサービスに送信してもよい。次いで、追加のサービスは、（手動又は自動的に）更なる処理のためにグラウンドトゥルースラベル情報を追加することができる。

【0037】

ブロック３０４において、処理構成要素２１２は、最初に、視覚システムデータにおいてキャプチャされた移動面の１つ以上の属性を識別することができる。例示的に、１つ以上の属性（例えば、グラウンドトゥルースラベル）は、道路エッジグラウンドトゥルースラベル、車線境界線グラウンドトゥルースラベル、標識グラウンドトゥルースラベル、方向制御グラウンドトゥルースラベルなどを含むことができる。追加的に、いくつかの実施形態では、検出可能なオブジェクトのセットは、可視ホライズン（例えば、キャプチャされた視覚情報のエッジ）から、判定された停止点まで投影され得る。停止点は、いくつかの実施形態では、例示的に、車両２００とすることができる。他の実施形態では、停止点は、例示的に、車両２００の後ろの距離とすることができる。

【0038】

ブロック３０６において、処理構成要素２１２は、１つ以上の予測移動経路を生成する際に使用するために、グラウンドトゥルースラベルデータから１つ以上の動的オブジェクトを識別する。例示的に、動的オブジェクトは、移動面内に位置すると判定された１つ以上のオブジェクトに対応する。

【0039】

ブロック３０８において、処理構成要素２１２は、識別されたオブジェクト（例えば、幾何学的表現）及び関連付けられた属性を利用して、潜在的な移動経路のセットを識別することができる。具体的には、潜在的な移動経路の表現は、移動面の属性及び検出されたオブジェクトの個別の属性に適用される動力学に基づくモデリングに基づくことができる。いくつかの実施形態では、１つ以上の機械学習アルゴリズムは、潜在的な移動経路のセットの表現を自動的に判定又は生成するように訓練されてもよい。

【0040】

一実施形態では、検出された動的オブジェクトは、方向グラウンドトゥルースラベル（例えば、ヨー）、速度グラウンドトゥルースラベルデータ、及び加速度グラウンドトゥルースラベルデータのいくつかの組み合わせに関連付けられ得る。これらの属性（例えば、グラウンドトゥルースラベル）に基づいて、各動的オブジェクトは、移動面上の円錐又は三角形の領域を介してなど、移動面上で起こり得る一連のアクションで更に表現され得る。このような表現は、概して、実現可能性の表現と呼ばれてもよい。この実施形態では、円錐／三角形の形状は、速度及び加速度のグラウンドトゥルースラベルがより高いシナリオ（例えば、動的オブジェクトの速度は、判定された速度を考慮して、ターン又は他の活動のタイプを完了することができそうにない）において、より狭く、より長い方式で表現されてもよい。同様に、円錐／三角形の形状は、速度及び加速度グラウンドトゥルースラベルがより低い（例えば、動的オブジェクトの速度は、判定された速度を考慮して、ターン又は他の活動のタイプを完了することができる可能性がより高い）シナリオにおいて、より広く、より短い方式で表現されてもよい。この実施形態によれば、可能性のあるアクションの表現された範囲外の移動の潜在的な経路は、除去又は緩和されてもよい。

【0041】

例示的に、ブロック３０８において、個別の潜在的な移動経路は、動的オブジェクトが判定され予測される経路に従う可能性を特徴付ける信頼度値を更に含むことができる。いくつかの実施形態では、サービスは、最小閾値を超えない、任意の判定された潜在的な移動経路を除去するなど、閾値に基づいて、潜在的な経路のターゲットセットをソート、フィルタリング、又は他の方法で処理することができる。例示的に、処理構成要素２１２は、１つ以上の機械学習アルゴリズムを利用して、個別の潜在的な経路に対する信頼度値を判定することができる。いくつかの実施形態では、複数の潜在的な経路に対する信頼度値のセットの合計は、１００％に合計される必要はない。これに関して、２つ以上の潜在的な移動経路に関連付けられた信頼度値は、合計が１００％を超えるように十分に高くてもよい。そのようなシナリオでは、ナビゲーション／方向サービスは、どの経路を考慮するかを判定するために他の機能性を利用することができる。別の例では、潜在的な移動経路のセット全体に関連付けられた信頼度値は、１００％未満であり得、これは、個別の潜在的な移動経路が、他の潜在的な移動経路よりも高い可能性として、又は著しく高い可能性として考慮され得ないか、又は特徴付けられ得ないことを示してもよい。

【0042】

ブロック３１０において、処理構成要素２１２は、追加の基準又は外部情報に基づいて、潜在的な移動経路の生成されたセットを更に処理することができる。一実施形態では、サービスは、任意の追加の検出されたオブジェクト（静的又は動的）が、潜在的な移動経路に影響するか、若しくは他の方法で影響を与えるか、又は信頼度値を修正し得るかを判定することができる。例えば、動的オブジェクトに対する移動経路の初期セットは、既存の車線内の直進、交差点での方向転換、又は隣接する車線への車線変更に関連する移動経路を含み、全ての潜在的な経路が、初期信頼度値閾値を満たすか、又は超えることを想定する。静的オブジェクトが現在の車線（例えば、駐車中の車）で検出される場合、サービスは、信頼度値を調整し、既存の車線内の直進を除去し、外部の検出されたオブジェクトによって影響されて、追加の移動経路又は代替の潜在的な移動経路などを生成する。生成及び処理された経路は、ナビゲーションシステム／サービス、半自動又は自動運転システム／サービスなどの追加のシステムに対する入力として提供又は使用され得る。

【0043】

ブロック３１２において、処理構成要素２１２は、生成された潜在的な経路及び関連する信頼度値を記憶又は送信することができる。本明細書に記載のように、生成及び処理された経路は、ナビゲーションシステム／サービス、半自動又は自動運転システム／サービスなどの追加のシステムに対する入力として提供又は使用され得る。ルーチン３００は、ブロック３１４において終了する。

【0044】

図４Ａ及び図４Ｂは、動的オブジェクト４００が識別され、かつ潜在的な移動経路が２つの異なる時点で生成されるシナリオを例示する。第１の時間（図４Ａ）では、検出されたオブジェクト４００は、検出されたオブジェクトの属性（例えば、ヨー及び速度）に基づいて、３つの可能性のある経路４０２、４０４、４０６に沿って予測され得る。この例では、各シナリオは、４５％の可能性／信頼度値を有するとみなされる。第２の時間（図４Ｂ）において、同じ検出されたオブジェクトが前の経路４０２に対応する車線エントリを通過した（例えば、左折）と仮定する。この時間では、左折の判定がこの時点で可能性が高いとみなされないことがあるため、第２の時点のための判定された潜在的な移動経路は変更される。例示的に、２つの残りの経路４０４、４０６の信頼度値は、依然として４５％のままであってもよい。

【0045】

図５Ａ及び図５Ｂは、動的オブジェクト５００に対する実現可能性円錐５０２、５０４のモデルの２つの異なる実施形態を例示する。上述のように、図５Ａの円錐／三角形（例えば、実現可能性円錐）の形状は、速度及び加速度のグラウンドトゥルースラベルがより高いシナリオ（例えば、動的オブジェクトの速度は、判定された速度を考慮して、ターン又は他の活動のタイプを完了することができそうにない）において、より狭く、より長い方式で表現されてもよい。同様に、図５Ｂの円錐／三角形の形状は、速度及び加速度グラウンドトゥルースラベルがより低い（例えば、動的オブジェクトの速度は、判定された速度を考慮して、ターン又は他の活動のタイプを完了することができる可能性がより高い）シナリオにおいて、より広く、より短い方式で表現されてもよい。この実施形態によれば、可能性のあるアクションの表現された範囲外の移動の潜在的な経路は、除去又は緩和されてもよい。

【0046】

前述の開示は、本開示を開示される正確な形態又は特定の使用分野に限定することを意図しない。そのため、本明細書に明示的に記載されているか、又は暗示されているかにかかわらず、本開示の様々な代替的な実施形態及び／又は修正が可能であることが企図される。したがって、本開示の記載された実施形態を有することにより、当業者は、本開示の範囲から逸脱することなく、変更が形態及び詳細に行われ得ることを認識するであろう。したがって、本開示は、特許請求の範囲によってのみ限定される。

【0047】

前述の明細書では、本開示は、特定の実施形態を参照して記載されている。しかしながら、当業者が理解するように、本明細書に開示される様々な実施形態は、本開示の趣旨及び範囲から逸脱することなく、様々な他の方法で修正されるか、又は別様に実装され得る。したがって、この説明は、例示的なものとみなされ、開示された決定アルゴリズム及び制御アルゴリズムの様々な実施形態の作成方法及び使用方法を当業者に教示する目的のためのものである。本明細書に示され、記載される開示の形態が、代表的な実施形態として受け取られるべきであることを理解されたい。均等な要素、材料、プロセス、又はステップは、本明細書に代表的に例示及び記載されるものに置き換えられてもよい。更に、本開示の特定の特徴は、他の特徴の使用とは独立して利用されてもよく、全ては、本開示のこの説明の利益を得た後に当業者には明らかであろう。本開示を記載し、請求項に記載するために使用される「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える）」、「ｉｎｃｏｒｐｏｒａｔｉｎｇ（組み込む）」、「ｃｏｎｓｉｓｔｉｎｇ ｏｆ（からなる）」、「ｈａｖｅ（有する）」、「ｉｓ（である）」などの表現は、非排他的な方法で解釈されることを意図しており、すなわち、明示的に記載されていないアイテム、構成要素、又は要素もまた存在することを可能にする。単数形への言及はまた、複数形に関連するように解釈されるべきである。

【0048】

更に、本明細書に開示される様々な実施形態は、例示的及び説明的な意味で受け取られるべきであり、決して本開示を限定するものとして解釈されるべきではない。全てのジョインダ参照（例えば、取り付けられた、貼り付けられた、結合された、接続されたなど）は、本開示の読者の理解を助けるためにのみ使用され、特に本明細書に開示されたシステム及び／又は方法の位置、向き、又は使用に関する制限を生じさせてはならない。したがって、ジョインダ参照がある場合、広義に解釈されるべきである。更に、このようなジョインダ参照は、これらの２つの要素が互いに直接接続されていることを必ずしも推測するものではない。

【0049】

追加的に、「第１の」、「第２の」、「第３の」、「一次の」、「二次の」、「主要な」、又は任意の他の通常の及び／又は数値用語などの、全ての数値用語もまた、本開示の様々な要素、実施形態、バリエーション及び／又は修正の読者の理解を支援するために、識別子としてのみとみなされるべきであり、特に、別の要素、実施形態、バリエーション及び／又は修正に対する、又はそれ以上の任意の要素、実施形態、バリエーション及び／又は修正の順序、又は好みに関して、任意の制限を生じさせてはならない。

【0050】

また、図面／図に描写される要素のうちの１つ以上はまた、特定のアプリケーションに従って有用であるように、より分離された又は統合された方法で実装されてもよく、特定の場合には、取り外されてもよく、又は動作不能としてレンダリングされ得ることが理解されるであろう。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【国際調査報告】