特開 2024-106299 自動運転車両に関するニューラルネットワークについてのフェデレーテッドラーニングの訓練のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106299

(43)【公開日】2024-08-07

(54)【発明の名称】自動運転車両に関するニューラルネットワークについてのフェデレーテッドラーニングの訓練のための方法及びシステム

(51)【国際特許分類】

   G06N 3/098 20230101AFI20240731BHJP

   G06N 3/09 20230101ALI20240731BHJP

   G08G 1/16 20060101ALI20240731BHJP

   G08G 1/00 20060101ALI20240731BHJP

【ＦＩ】

G06N3/098

G06N3/09

G08G1/16 A

G08G1/00 D

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023116729

(22)【出願日】2023-07-18

(31)【優先権主張番号】18/159,767

(32)【優先日】2023-01-26

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】川名 雄樹

(72)【発明者】

【氏名】谷内出 悠介

(72)【発明者】

【氏名】田川 貴章

(72)【発明者】

【氏名】山口 晃一郎

(72)【発明者】

【氏名】橋本 大輔

(72)【発明者】

【氏名】青野 博之

(72)【発明者】

【氏名】高橋 亮

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB05

5H181BB13

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF10

5H181FF13

5H181FF25

5H181FF27

5H181FF33

5H181LL01

5H181LL07

5H181LL08

5H181LL09

5H181MC19

5H181MC27

(57)【要約】      （修正有）

【課題】安全及びユーザプライバシーを維持しつつ、フェデレーテッドラーニングの訓練をニューラルネットワークに提供するシステム及び方法を提供する。
【解決手段】方法は、第１のモデルを受信し、第１の車両上のセンサによって取得されたセンサデータを収集し、第１のデータ項目が基準を満たすと判定したときに、収集したセンサデータの中から１のデータ項目を特定し、特定した第１のデータ項目を第１のモデルへの入力として用いて第１のモデルを動作させることによって、特定した第１のデータ項目に含まれる物体を検出し、第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立して、第２の車両上のコンピュータから物体を含むものとして示された第２のデータ項目を受信し、訓練データセットを生成して、訓練データセット上で第１のモデルに対する訓練を行い、訓練された第１のモデルを表す第１のデータを送信する。
【選択図】図５

【特許請求の範囲】

【請求項1】

プログラムされた一つ又は複数のプロセッサによって実行される方法であって、
一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信することと、
第１の車両上のセンサによって取得されたセンサデータを収集することと、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定することと、
前記特定された第１のデータ項目を前記第１のモデルへの入力として用いて前記第１のモデルを動作させることによって、該特定された第１のデータ項目に含まれる物体を検出することと、
前記第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立することと、
前記第２の車両上の前記コンピュータから前記物体を含むものとして示された第２のデータ項目を受信することと、
前記第１のデータ項目と、前記第２のデータ項目と、前記物体のラベルとを含む訓練データセットを教師信号として生成することと、
前記訓練データセット上で前記第１のモデルに対する訓練を行うことと、
前記訓練された第１のモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信することと
を含む、方法。

【請求項2】

他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す更新データを前記一つ又は複数のサーバコンピュータから通信ネットワークを介して受信することと、
前記更新データに基づいて前記第１のモデルを更新することと
を更に含む、請求項１に記載の方法。

【請求項3】

前記第１のモデルに対する訓練を行うことが、前記受信された第１のモデルのコピーを訓練することを含む、請求項１又は２に記載の方法。

【請求項4】

前記訓練前の前記第１のモデルと前記訓練後の前記第１のモデルとの間の勾配を前記第１のデータとして得ることを更に含む、請求項１又は２に記載の方法。

【請求項5】

前記受信された第１のモデルと、前記訓練によって更新された前記第１のモデルのコピーとの間の勾配を前記第１のデータとして得ることを更に含む、請求項３に記載の方法。

【請求項6】

前記第２のデータ項目を受信することは、前記第２のデータ項目と、該第２のデータ項目内の前記物体の検出に対する前記第２の車両における第２のモデルの推定結果とを受信することを含む、請求項１又は２に記載の方法。

【請求項7】

前記訓練データセットを生成することは、前記第１のモデルの推定結果と、前記第２のデータ項目内の前記物体を検出する、前記第２の車両における第２のモデルの推定結果とを組み合わせることによって前記物体のラベルを得ることを含む、請求項１又は２に記載の方法。

【請求項8】

命令を記憶するメモリと、
プロセッサと
を備える、コンピュータデバイスであって、
前記プロセッサは、
一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信し、
第１の車両上のセンサによって取得されたセンサデータを収集し、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定し、
前記特定された第１のデータ項目を前記第１のモデルへの入力として用いて前記第１のモデルを動作させることによって、該特定された第１のデータ項目に含まれる物体を検出し、
前記第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立し、
前記第２の車両上の前記コンピュータから前記物体を含むものとして示された第２のデータ項目を受信し、
前記第１のデータ項目と、前記第２のデータ項目と、前記物体のラベルとを含む訓練データセットを教師信号として生成し、
前記訓練データセット上で前記第１のモデルに対する訓練を行い、
前記訓練された第１のモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信するための前記命令を実行するように構成される、コンピュータデバイス。

【請求項9】

前記プロセッサは、さらに、
他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す更新データを前記一つ又は複数のサーバコンピュータから通信ネットワークを介して受信し、
前記更新データに基づいて前記第１のモデルを更新するための前記命令を実行するように構成される、請求項８に記載のコンピュータデバイス。

【請求項10】

前記第１のモデルに対する訓練を行うための前記命令は、前記受信された第１のモデルのコピーを訓練するための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項11】

前記プロセッサは、さらに、前記訓練前の前記第１のモデルと前記訓練後の前記第１のモデルとの間の勾配を前記第１のデータとして得るための前記命令を実行するように構成される、請求項８又は９に記載のコンピュータデバイス。

【請求項12】

前記プロセッサは、さらに、前記受信された第１のモデルと、前記訓練によって更新された前記第１のモデルのコピーとの間の勾配を前記第１のデータとして得るための前記命令を実行するように構成される、請求項１０に記載のコンピュータデバイス。

【請求項13】

前記第２のデータ項目を受信するための前記命令は、、前記第２のデータ項目と、該第２のデータ項目内の前記物体の検出に対する前記第２の車両における第２のモデルの推定結果とを受信するための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項14】

前記訓練データセットを生成するための前記命令は、前記第１のモデルの推定結果と、前記第２のデータ項目内の前記物体を検出する、前記第２の車両における第２のモデルの推定結果とを組み合わせることによって前記物体のラベルを得るための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項15】

命令を記憶する非一時的なコンピュータ可読媒体であって、
前記命令は、
一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信することと、
第１の車両上のセンサによって取得されたセンサデータを収集することと、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定することと、
前記特定された第１のデータ項目を前記第１のモデルへの入力として用いて前記第１のモデルを動作させることによって、該特定された第１のデータ項目に含まれる物体を検出することと、
前記第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立することと、
前記第２の車両上の前記コンピュータから前記物体を含むものとして示された第２のデータ項目を受信することと、
前記第１のデータ項目と、前記第２のデータ項目と、前記物体のラベルとを含む訓練データセットを教師信号として生成することと、
前記訓練データセット上で前記第１のモデルに対する訓練を行うことと、
前記訓練された第１のモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信することと
を、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、非一時的なコンピュータ可読媒体。

【請求項16】

前記命令は、さらに、
他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す更新データを前記一つ又は複数のサーバコンピュータから通信ネットワークを介して受信することと、
前記更新データに基づいて前記第１のモデルを更新することと
を、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記第１のモデルに対する訓練を行うことを前記一つ又は複数のプロセッサに実行させることは、前記受信された第１のモデルのコピーを訓練することを前記一つ又は複数のプロセッサに実行させることを含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記命令は、さらに、前記訓練前の前記第１のモデルと前記訓練後の前記第１のモデルとの間の勾配を前記第１のデータとして得ることを、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記第２のデータ項目を受信することを前記一つ又は複数のプロセッサに実行させることは、前記第２のデータ項目と、該第２のデータ項目内の前記物体の検出に対する前記第２の車両における第２のモデルの推定結果とを受信することを前記一つ又は複数のプロセッサに実行させることを含む、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記訓練データセットを生成することを前記一つ又は複数のプロセッサに実行させることは、前記第１のモデルの推定結果と、前記第２のデータ項目内の前記物体を検出する、前記第２の車両における第２のモデルの推定結果とを組み合わせることによって前記物体のラベルを得ることを前記一つ又は複数のプロセッサに実行させることを含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、自動運転車両のアプリケーションにおけるニューラルネットワークの訓練を提供するためのシステム及び方法に関する。具体的には、本開示は、安全及びユーザプライバシーを維持しつつ、フェデレーテッドラーニングの訓練をニューラルネットワークに提供することに関する。

【背景技術】

【0002】

ニューラルネットワークは、多数の分散エッジデバイス（例えば病院又は携帯電話に実装されたプロセッサ又はコンピュータデバイス）に展開されたアプリケーションに統合される場合がある。斯かるニューラルネットワークを訓練する一つの方法が、ユーザのプライバシーを確保しつつ大量のデータを使用して機械学習（ＭＬ）モデルを訓練するフェデレーテッドラーニング（ＦＬ）である。

【0003】

この目的のために、ＦＬ技術はローカル訓練フェーズ及びグローバル集約フェーズから成る。ローカル訓練フェーズでは、各エッジデバイスは、アプリケーションによって検知され且つ使用されるデータを用いて各エッジデバイスのニューラルネットワークのコピーを訓練する。エッジデバイス上で訓練を行うことによって、ローカルデータが外部に（例えばリモートコーディネータ又はサーバに）曝され又は送信されることがなく、このことによってエッジデバイスユーザのデータのプライバシーが確保される。代わりに、エッジデバイス上で訓練されたニューラルネットワークに対するローカルな更新のみがコーディネータに送信され、コーディネータは更新を集約して新たなグローバルモデルを生成する。その後、グローバルモデルをアプリケーションにおける使用のために他のエッジデバイスに提供することができる。

【0004】

自動運転車両におけるコンピュータビジョン（ＣＬ）又は他の機械学習（ＭＬ）アプリケーション（例えば自動運転制御）のようなセーフティクリティカルなアプリケーションに統合された機械学習（ＭＬ）モデルが推定の精度及び実世界環境での使用の安全性を確保するために大量のデータで訓練されることが極めて重要である。ＦＬがこれらモデルに適用されうるが、車両コンテキストにおける訓練のための信頼できる教師信号（例えば人間のアノテーション）が存在しない。その結果、車両におけるローカルデータ上で訓練されたときに、推定の精度が減少する場合がある。

【発明の概要】

【0005】

一つ又は複数の例示的な実施形態によって、運転情報を非ドライバユーザに提供するためのシステム及び方法が提供される。

【0006】

本開示の態様によれば、プログラムされた一つ又は複数のプロセッサによって実行される方法は、一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信することと、第１の車両上のセンサによって取得されたセンサデータを収集することと、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定することと、特定された第１のデータ項目を第１のモデルへの入力として用いて第１のモデルを動作させることによって、特定された第１のデータ項目に含まれる物体を検出することと、第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立することと、第２の車両上のコンピュータから物体を含むものとして示された第２のデータ項目を受信することと、第１のデータ項目と、第２のデータ項目と、物体のラベルとを含む訓練データセットを教師信号として生成することと、訓練データセット上で第１のモデルに対する訓練を行うことと、訓練された第１のモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信することとを含む。

【0007】

本開示の態様によれば、コンピュータデバイスは、命令を記憶するメモリと、プロセッサとを含み、プロセッサは、一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信し、第１の車両上のセンサによって取得されたセンサデータを収集し、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定し、特定された第１のデータ項目を第１のモデルへの入力として用いて第１のモデルを動作させることによって、特定された第１のデータ項目に含まれる物体を検出し、第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立し、第２の車両上のコンピュータから物体を含むものとして示された第２のデータ項目を受信し、第１のデータ項目と、第２のデータ項目と、物体のラベルとを含む訓練データセットを教師信号として生成し、訓練データセット上で第１のモデルに対する訓練を行い、訓練された第１のモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信するための命令を実行するように構成される。

【0008】

本開示の態様によれば、非一時的なコンピュータ可読媒体は命令を記憶し、命令は、一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信することと、第１の車両上のセンサによって取得されたセンサデータを収集することと、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定することと、特定された第１のデータ項目を第１のモデルへの入力として用いて第１のモデルを動作させることによって、特定された第１のデータ項目に含まれる物体を検出することと、第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立することと、第２の車両上のコンピュータから物体を含むものとして示された第２のデータ項目を受信することと、第１のデータ項目と、第２のデータ項目と、物体のラベルとを含む訓練データセットを教師信号として生成することと、訓練データセット上で第１のモデルに対する訓練を行うことと、訓練された第１のモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信することとを、装置の一つ又は複数のプロセッサによって実行されるときに一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む。

【0009】

追加の態様が、以下の記載において部分的に説明され、以下の記載から明らかになり、又は本開示の提示された実施形態の実践から学ぶことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係るシステムの図である。

【図2】図２は、実施形態に係る図１の自動運転車両のコンポーネントの図である。

【図3】図３は、実施形態に従って、複数の自動運転車両のためのニューラルネットワークを訓練することに関連するデータ処理の図である。

【図4】図４は、実施形態に従って、単一の自動運転車両のためのニューラルネットワークを訓練することに関連するデータ処理の図である。

【図5】図５は、実施形態に従って、自動運転車両のためのニューラルネットワークを訓練する方法についてのフローチャートである。

【発明を実施するための形態】

【0011】

上記及び他の態様、特徴並びに本開示の実施形態の態様は、添付図面と併せて解釈される以下の説明からより明らかになるだろう。

【0012】

例示的な実施形態の以下の詳細な説明は添付図面を参照する。種々の図面における同一の参照番号は同一又は同様の要素を特定する。

【0013】

図１は、実施形態に係るシステム１００の図である。システム１００は複数の車両１１０ａ－ｎ及び一つ又は複数のサーバコンピュータ１２０ａ－ｎを含む。一つ又は複数のサーバコンピュータ１２０ａ－ｎは、例えば通信ネットワーク１３０を介して、互いと接続し、車両１１０ａ－ｎの各々と接続する。

【0014】

開示された実施形態は、一つ又は複数のサーバコンピュータ１２０から受信することを含む。本開示において使用されるようなサーバコンピュータ１２０は、汎用コンピュータ、パーソナルコンピュータ、ワークステーション、メインフレームコンピュータ、ノートブック、全地球測位装置、ラップトップコンピュータ、スマートフォン、携帯情報端末、ネットワークサーバ、及びユーザとやり取りしてプログラミングコードを開発する可能性のあるその他の電子デバイスを含む。

【0015】

いくつかの実施形態では、サーバコンピュータ１２０は、、プロセッサ、ディスプレイ装置、メモリ装置、及び電子通信を促進するこれらコンポーネントを含む他のコンポーネントを含む。他のコンポーネントは入出力装置のようなユーザインタフェース装置を含む。サーバコンピュータ１２０は、中央処理装置（ＣＰＵ）又はプロセッサ、バス、メモリ装置、ストレージユニット、データプロセッサ、入力装置、出力装置、ネットワークインタフェース装置、及び当業者に明らかな他のタイプのコンポーネントの組合せのようなコンピュータハードウェアコンポーネントを含む。サーバコンピュータ１２０は、さらに、ソフトウェアモジュール、一連の命令、ルーチン、データ構造、表示インタフェース、及び本開示の操作を実行する他のタイプの構造を含むアプリケーションプログラムを含むことができる。

【0016】

開示された実施形態は、通信ネットワーク１３０を介して受信することを含む。本開示において使用されるような通信ネットワークは、ネットワークノード上にあり又はネットワークノードによって提供されるリソースを共有する一組のコンピュータ（例えば一つ又は複数のサーバコンピュータ１２０）を含む。この一組のコンピュータはデジタル相互接続を介した共通の通信プロトコルを使用して互いに通信する。これら相互接続は、様々なネットワークトポロジに配置される物理的な有線の、光学的な、ワイヤレスの無線周波数方式に基づく電気通信技術から構成される。例えば、これら相互接続は、データベース、サーバ、ＲＦ（無線周波数）信号、セルラー技術、イーサネット、電話、「ＴＣＰ／ＩＰ」（トランスミッションコントロールプロトコル／インターネットプロトコル）、及びその他の電子通信フォーマットを通して行われる。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第五世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第三世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等）、公衆陸上移動体通信網（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話網（例えば、公衆交換電話網（ＰＳＴＮ）、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、若しくはこれらの均等物、及び／又はこれらの組合せ若しくは他のタイプのネットワークを含む。

【0017】

図１に示されるサーバ１２０及びネットワーク１３０の数及び配置は例として提供されている。実際には、追加のサーバ１２０及び／又はネットワーク１３０、より少ないサーバ１２０及び／又はネットワーク１３０、種々のサーバ１２０及び／又はネットワーク１３０、又は図１に示されるものとは異なる配置のサーバ１２０及び／又はネットワーク１３０が存在する。さらに、図１に示される二つ以上のサーバ１２０が単一のサーバ１２０内に実装されてもよく、又は図１に示される単一のサーバ１２０が複数の分散サーバ１３０として実装されてもよい。加えて又は代替的に、一組のサーバ１２０（例えば一つ又は複数のサーバ１２０）が、別の組のサーバ１２０によって実行されるものとして記載された一つ又は複数の機能を実行してもよい。

【0018】

いくつかの実施形態では、通信ネットワーク１３０はニューラルネットワークとして構築される。ニューラルネットワークは、生物学的脳におけるニューロンを大まかにモデル化した、人工ニューロンと呼ばれる接続されたユニット又はノードの集合体に基づくものである。生物学的脳におけるシナプスのような各接続は信号を他のニューロンに送信することができる。人工ニューロンは、信号を受信して処理し、その後、それに接続された他のニューロンに信号を送る。接続におけるこれら信号は実際の数であり、各ニューロンの出力はその入力の合計の非線形関数によって計算される。これら接続は（自動運転車両１１０のような）エッジであってもよい。ニューロン及びエッジは、学習が進行するにつれて調整される重みを有する。重みは接続における信号の強さを増大又は減少させる。ニューロンは、集約信号がその閾値を超える場合にのみ信号が送信されるような閾値を有する。ニューロンは層に集約される。異なる層がこれらの入力に対して異なる変換を実行する。信号は、最初の層（例えば入力層）から潜在的な中間層を介して最後の層（例えば出力層）まで移動し、複数回移動してもよい。

【0019】

以下に更に詳細に説明されるように、フェデレーテッドラーニング（ＦＬ）は、近傍の装置（例えば自動運転車両１１０）から得られたデータを使用して、信頼性の高い教師信号（supervision signal）をローカルで導出することによって、セーフティクリティカルな自動車のアプリケーションのニューラルネットワークを訓練するのに使用される。ＦＬを適用することによって、ニューラルネットワークを訓練するのに大量のデータを使用することができ、このことによって推定の精度が高められる。さらに、ＦＬを適用することによってユーザ（すなわち車両１１０のオペレータ）についてのデータプライバシーを確保することができる。加えて、別のエッジデバイス（例えば別の自動運転車両１１０）からの検出結果を利用して信頼性の高い教師信号を得ることによって、ニューラルネットワークによる推定又は予測の精度を高めることができる。

【0020】

車両１１０のより詳細な図が図２に見られる。車両１１０の各々は、一つ又は複数のセンサ１１２と、一つ又は複数の送受信機１１４と、車両コンピュータ１１６とを含む。

【0021】

本開示において使用されるような一つ又は複数の送受信機１１４は、例えば、有線接続、無線接続、又は有線接続と無線接続との組合せを介して、車両１１０が他の車両１１０及び／又は一つ又は複数のサーバコンピュータ１２０と通信するのを可能とする一つ又は複数のコンポーネント（例えば送受信機及び／又は別個の受信機及び送信機）を含む。一つ又は複数の送受信機１１４は、車両１１０が別の車両１１０／サーバコンピュータ１２０から情報を受信し且つ／又は別の車両１１０／サーバコンピュータ１２０に情報を提供することを可能とする。例えば、一つ又は複数の送受信機１１４は、イーサネットインタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラーネットワークインタフェース、又は電気／電磁情報を送信又は受信することができるその他のインタフェースを含む。

【0022】

図２に見られるように、本開示において使用されるような車両コンピュータ１１６は、バス（図示せず）、メモリ１１７、プロセッサ１１８、入力コンポーネント（図示せず）及び出力コンポーネント（図示せず）を含む。

【0023】

バスは、車両コンピュータ１１６のコンポーネント間の通信を可能とするコンポーネントを含む。

【0024】

プロセッサ１１８は、ハードウェア、ファームウェア又はハードウェアとソフトウェアとの組合せにおいて実装される。プロセッサ１１８は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、アクセラレーテッドプロセッシングユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントである。プロセッサ１１８は、機能を実行するようにプログラムされることが可能な一つ又は複数のプロセッサを含む。

【0025】

メモリ１１７は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、及び／又はプロセッサ１１８によって使用される情報及び／又は命令を記憶する別のタイプの動的又は静的ストレージ装置（例えばフラッシュメモリ、磁気メモリ及び／又は光メモリ）を含む。メモリ１１７は、車両コンピュータ１１６の操作及び使用に関する情報及び／又はソフトウェアも記憶する。例えば、メモリ１１７は、対応するドライブと共に、ハードディスク（例えば磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的なコンピュータ可読媒体を含む。

【0026】

入力コンポーネントは、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ及び／又はマイクロフォン）を介して車両コンピュータ１１６が情報を受信することを可能とするコンポーネントを含む。入力コンポーネントは、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ及び／又はアクチュエータ）を含む。

【0027】

出力コンポーネントは、車両コンピュータ１１６から出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は一つ又は複数の発光ダイオード（ＬＥＤ））を含む。

【0028】

車両コンピュータ１１６は、本明細書に記載された一つ又は複数の処理を実行する。車両コンピュータ１１６は、メモリ１１７のような非一時的なコンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ１１８が実行することに基づいて、操作を実行する。コンピュータ可読媒体は本明細書において非一時的なメモリ装置として定義される。メモリ装置は、単一の物理ストレージ装置内のメモリ空間、又は複数の物理ストレージ装置に亘って広がるメモリ空間を含む。

【0029】

ソフトウェア命令は一つ又は複数の送受信機１１４を介して別のコンピュータ可読媒体又は別の装置からメモリ１１７に読み込まれてもよい。実行されると、メモリ１１７に記憶されたソフトウェア命令は、本明細書に記載された一つ又は複数の処理をプロセッサ１１８に実行させる。

【0030】

加えて又は代替的に、本明細書に記載された一つ又は複数の処理を実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせてハードワイヤード回路が使用されてもよい。このため、本明細書に記載される実施形態がハードウェア回路及びソフトウェアの特定の組合せに限定されることはない。

【0031】

開示された実施形態は、第１のモデル２１０ａを受信することを含む。本開示において使用されるような第１のモデル２１０は機械学習モデルを含む。機械学習モデルは、（車両１１０ａのような）自動運転車両上で動作するアプリケーションに統合されるように構成される。自動運転車両１１０上で動作するアプリケーションは、コンピュータビジョン、自動運転制御、及び自動運転車両１１０の操作に関連する他の機械学習アプリケーションのようなセーフティクリティカルなアプリケーションである。自動運転制御は、加速、制動、操舵、変速、及び車両１１０の環境を通して車両１１０の動作に影響する可能性のあるその他のシステムの自律制御を含むことができる。

【0032】

いくつかの実施形態では、第１のモデル２１０ａは、車両１１０が遭遇する物体１４０の検出に関連付けられる。物体は、別の車両、歩行者、野生動物、道路障害物、又は車両１１０と相互作用する可能性のあるその他の態様の環境である。例えば、図１において、物体１４０が道路上の自転車として描かれている。

【0033】

いくつかの実施形態では、第１のモデル２１０ａは感覚的解釈と関連付けられる。例えば、感覚的解釈の一つのタイプは画像セグメンテーションを含む。画像セグメンテーションはデジタル画像を複数の画像セグメント（例えば画像領域又は画像物体（一組のピクセル））に分割する。画像セグメンテーションは画像の表示をより有意義なもの及び／又はより分析しやすいものに単純化し且つ／又は変更する。画像セグメンテーションは画像における物体及び境界（例えば線及び曲線）を突き止めるのに使用される。画像セグメンテーションは、同一のラベルを有するピクセルが或る特性を共有するように、画像内の様々なピクセルにラベルを割り当てることを含む。

【0034】

図１及び図２に見られるように、車両１１０ａは、一つ又は複数の送受信機１１４を介して第１のモデル２１０ａを受信し、受信した第１のモデル２１０ａを例えば車両１１０ａの車両コンピュータ１１６のメモリ１１７に記憶する。同様に、他の車両１１０ｂ－ｎが、それぞれ、これらのそれぞれの送受信機１１４において第１のモデル２１０ａの受信と同様にモデル（例えば、第２のモデル２１０ｂ、第３のモデル２１０ｃ、ｎ番目のモデル２１０ｎ）を受信し、受信したそれぞれのモデル２１０ｂ－ｎを例えば他の車両１１０ｂ－ｎの車両コンピュータ１１６のメモリ１１７に記憶する。

【0035】

開示された実施形態は、車両１１０ａにおいて一つ又は複数のセンサ１１２によって取得されたセンサデータ２２０ａを収集することを含む。本開示において使用されるようなセンサ１１２は、カメラ、カムコーダ、マイクロフォン、ライダ、又はセンサデータ２２０ａを収集するように構成されたその他の装置を含む。本開示において使用されるようなセンサデータ２２０ａは、写真、映像記録、音声記録、ライダデータ、又は車両１１０ａの周囲環境のその他の測定記録を含む。同様に、他の車両１１０ｂ－ｎがそれぞれこれらのそれぞれのセンサ１１２を介してセンサデータ２２０ｂ－ｎを収集する。

【0036】

図１及び図２に見られるように、車両１１０ａは、一つ又は複数のセンサ１１２を介してセンサデータ２２０ａを受信し、受信したセンサデータ２２０ａを例えば車両コンピュータ１１６のメモリ１１７に記憶する。同様に、他の車両１１０ｂ－ｎがそれぞれこれらの収集されたセンサデータ２２０ｂ－ｎをこれらの車両コンピュータ１１６のこれらのそれぞれのメモリ１１７を介して記憶する。

【0037】

開示された実施形態は第１の車両１１０ａを含む。本開示において使用されるような第１の車両１１０ａは、車、バン、トラック、バス、オートバイ、モペット、ドローン、ロボット、又は完全な又は部分的な自律移動が可能なその他の移動装置を含む。

【0038】

図１に見られるように、システム１００は複数の車両１１０ａ－ｎを含む。車両１１０ａ－ｎの各々は他の車両１１０ａ－ｎのいくつかと実質的に同様であり又は他の車両１１０ａ－ｎのいくつかと異なっている。いくつかの実施形態では、全ての車両１１０ａ－ｎが、同様の検知及び動的能力／構成を有する同一モデルの自動運転車である。他の実施形態では、全ての車両１１０ａ－ｎが、様々な異なる検知及び動的能力／構成を有する異なるモデルの自動運転車両である。他の実施形態では、車両１１０ａ－ｎのいくつかが同様の構成であり、他の車両が異なる構成である。

【0039】

開示された実施形態は、収集されたセンサデータ２２０ａの中から第１のデータ項目２２２ａを特定することを含む。本開示において使用されるような第１のデータ項目２２２ａは、車両１１０ａによって受信されたセンサデータ２２０ａのサブセットを含み、このサブセットは、推定の精度及び実世界環境における使用の安全性を改善するように第１のモデル２１０ａを訓練するのに有用である。同様の方法で、例えば図３に見られるように、他の車両１１０ｂ－ｎは、第１のデータ項目２２２ａの特定と同様に、他のデータ項目（例えば、第２のデータ項目２２２ｂ、第３のデータ項目２２２ｃ、ｎ番目のデータ項目２２２ｎ）を特定することを含む。

【0040】

開示された実施形態は、第１のデータ項目２２２ａが基準を満たすと判定されるときを特定することを含む。本開示において使用されるような基準は、（ｉ）データが検知されるときの車両情報（例えば、速度、操舵及び制動）（例えば、所定速度以上である速度、又は速度が所定速度以上であるときの制動、所定度若しくは所定量以上である操舵、速度が所定速度以上であるときに所定量以上である操舵、又は第１のモデル２１０を訓練するのに有用な車両動作に関連するその他の条件）と、（ｉｉ）データが検知されるときの（例えば、慣性計測装置（ＩＭＵ）、全地球測位システム（ＧＰＳ）、又は車両１１０ａの相対的又は絶対的な位置／向きを判別するのに使用されるその他のセンサによって判別されるような）車両の位置、データが検知されるときの時間、データが送信されるときのドライバモニタ情報、（ｉｉｉ）画像認識結果（例えば、シーン分類、検出された物体の数の分散、道路構造、又は車両１１０ａの周囲の環境のその他の意味のある特性）、（ｉｖ）画像特徴の一意性／クラスタリング、（ｖ）不確実性指標（uncertainty metrics）、（ｖｉ）及び／又は第１のモデル２１０を訓練するのに有用であることを示すその他の認識可能な特性を含む。同様の方法で、他の車両１１０ｂ－ｎは、これらのそれぞれのデータ項目２２２ｂ－ｎが基準を満たすと判定されるときを特定する。

【0041】

開示された実施形態は、特定された第１のデータ項目２２２ａに含まれる物体１４０を検出することを含む。本開示において使用されるような物体１４０を検出することは、環境内の物体１４０の実世界の存在を示す第１のデータ項目２２２ａの位置を特定することを含む。環境内の物体１４０の実世界の存在に関する情報は、物体１４０の位置、向き、サイズ、速度、軌跡又はその他の物理的／挙動的特徴を含む物体の特性を含む。同様の方法で、他の車両１１０ｂ－ｎは、環境内の物体１４０の実世界の存在を示すこれらのそれぞれのデータ項目２２２ｂ－ｎの部分を特定することによって物体１４０を検出する。

【0042】

図１に見られるように、物体１４０を検出することは、第１のデータ項目２２２ａの部分が、特定の速度で、特定の方向に、道路の特定の部分を移動している自転車を示していると判別することを含む。

【0043】

開示された実施形態は、特定された第１のデータ項目２２２ａを第１のモデル２１０ａへの入力として用いて第１のモデル２１０ａを動作させることを含む。いくつかの実施形態では、（ｉ）第１のモデル２１０ａがサーバコンピュータ１２０から受信されて車両１１０ａの車両コンピュータ１１６のメモリ１１７に記憶され、且つ（ｉｉ）第１のデータ項目２２２がメモリ１１７に記憶されて車両１１０ａのプロセッサ１１８によって特定された後に、プロセッサ１１８は第１のデータ項目２２２ａを第１のモデル２１０ａに入力して第１の推定２２４ａとして物体１４０を検出する。第１のモデルを動作させることは、物体１４０の検出をもたらし、一つ又は複数の特定の信頼レベルを有する第１の推定２２４ａを生成する。これら信頼レベルは、物体１４０の存在、特性及び挙動の第１モデル２１０ａの認知が実世界環境における物体１４０の現実と一致する程度を示す。例えば、プロセッサ１１８は、第１のデータ項目２２２ａを第１のモデル２１０ａを通して動作させた後、第１の推定２２４ａとして、９０％の信頼で、時速２０マイルで北に向かっている自転車が検出されたことと、８０％の信頼で、検出された自転車がこの軌跡上を進み続けることとを判別する。同様な方法で、例えば図３に見られるように、他の車両１１０ｂ－ｎは、これらそれぞれの特定された第１のデータ項目２２２ｂ－ｎを入力として用いてこれらそれぞれの受信されたモデル２１０ｂ－ｎを動作させて推定（例えば、第２の推定２２４ｂ、第３の推定２２４ｃ、ｎ番目の推定２２４ｎ）を生成する。これら他の推定２２４ｂ－ｎの信頼区間は、個々に、第１の推定２２４ａと同様であり、第１の推定２２４ａ未満であり、又は第１の推定２２４ａよりも大きい。

【0044】

開示された実施形態は、第２の車両１１０ｂ上のコンピュータ１１６との通信を確立することを含む。本開示において使用されるような通信を確立することは、有線又は無線態様での電気／電磁気情報の交換に関与することを含む。この電気／電磁気情報の交換は、例えば、通信ネットワーク１３０を介して、通信ネットワーク１３０とは別個のネットワークを介して、個別のスタンドアロン相互接続として、又は電子データの転送に適したその他の態様で行われる。

【0045】

状況に応じて、いくつかの実施形態は、追加の車両１１０との通信を確立することを含んでもよい。例えば、図１に見られるように、第１の車両１１０ａは車両１１０ｂ及び１１０ｃの各々と通信する（矢印の符号２２２ｂ及び２２２ｃを参照）。

【0046】

開示された実施形態は、第１の車両１１０ａから所定距離１５０以下に位置する第２の車両１１０ｂを含む。本開示において使用されるような所定距離１５０は、（ｉ）ニューラルネットワークを効率的に訓練するのに十分なデータを得るために有効な長さであり、且つ（ｉｉ）ユーザ（例えば車両１１０ａのオペレータ）についてのデータプライバシーを確保するように十分に制限された、第１の車両１１０ａに近接した地理的範囲を含む。所定距離の長さは、静的であってもよく、又は関連する状況（例えば環境における車両１１０の密度）に応じて変化してもよい。いくつかの実施形態では、所定距離は数フィートのみである。いくつかの実施形態では、所定距離は数マイルである。

【0047】

状況に応じて、いくつかの実施形態は、所定距離１５０内の複数の車両を含む。例えば、図１に見られるように、第１の車両１１０ａは所定距離１５０内の他の二つの車両１１０ｂ及び１１０ｃと近接しており、更に別の車両１１０ｎは第１の車両１１０ａの所定距離１５０内にいない。加えて、図１に見られるように、車両１１０ｂ及び１１０ｃが第１の車両１１０ａの所定距離１５０内にあるので、第１の車両１１０ａのコンピュータ１１６と車両１１０ｂ及び１１０ｃのコンピュータ１１６の各々との間で通信が（例えば車両１１０ａ－ｃの各々についての送受信機１１４を介して）確立された（矢印２２２ｂ及び２２２ｃ参照）。さらに、図１に見られるように、車両１１０ｎが第１の車両１１０ａの所定距離１５０内にいないので、車両１１０ａのコンピュータ１１６と車両１１０ｎのコンピュータ１１６との間で通信が確立されなかった。

【0048】

開示された実施形態は、第２の車両１１０ｂ上のコンピュータ１１６から物体１４０を含むものとして示された第２のデータ項目２２２ｂを受信することを含む。上述したように、第２のデータ項目２２２ｂは、第１の車両１１０ａに関連する第１のデータ項目２２２ａと同様に、推定の精度及び実世界環境における使用の安全性を改善するように第２のモデル２１０ｂを訓練するのに有用な、第２の車両１１０ｂからのセンサデータ２２０ｂのサブセットを含む。

【0049】

いくつかの実施形態では、第２のデータ項目２２２ｂを受信することは、第２のデータ項目２２２ｂと、第２のデータ項目２２２ｂ内の物体１４０の検出に対する第２の車両１１０ｂにおける第２のモデル２１０ｂの推定結果２２４ｂとを受信することを含む。

【0050】

いくつかの実施形態は、追加のデータ項目２２２を受信することを含む。例えば、図１に見られるように、車両１１０ｂ及び１１０ｃの両方が第１の車両１１０ａの所定距離１５０内にあるので、第１の車両１１０ａは第２のデータ項目２２２ｂ及び第３のデータ項目２２２ｃの両方を受信する。さらに、図１に見られるように、車両１１０ｎが第１の車両１１０ａの所定距離１５０内にいないので、第１の車両１１０ａはｎ番目のデータ項目を受信しない。同様の方法で、他の車両１１０ｂ－ｎも、これら他の車両１１０ｂ－ｎのそれぞれの所定距離１５０内の車両１１０のいくつかからそれぞれのデータ項目２２２を受信する。

【0051】

いくつかの実施形態では、追加のデータ項目２２２を受信することは、追加のデータ項目２２２と、追加のデータ項目２２２内の物体１４０の検出に対する追加の車両１１０における追加のモデル２１０の推定結果２２４とを受信することを含む。

【0052】

開示された実施形態は、（例えば図４に見られるような）第１のデータ項目２２２ａと、第２のデータ項目２２２ｂと、物体１４０のラベル２２６とを含む訓練データセット２２８ａを生成することを含む。本開示において使用されるような訓練データセット２２８ａを生成することは、機械学習モデルを訓練するために有用な態様の関連情報を集約することを含む。訓練データセット２２８ａは他のデータ項目２２２を含む。例えば、図１に表示された状況では、車両１１０ｂ及び１１０ｃのみが車両１１０ａの所定距離１５０内にあるので、訓練データセット２２８ａは、ｎ番目のデータ項目２２２ｎを含まないが、第１のデータ項目２２２ａ、第２のデータ項目２２２ｂ及び第３のデータ項目２２２ｃを含む。本開示において使用されるような物体１４０のラベル２２６は、機械学習モデルがそれから学習できるようなコンテキストを提供する、物体１４０の意味ある又は有益な特性である。例えば、自転車に対応するラベルは、二輪、ペダル又はハンドルバーを含む。同様に、例えば図３に見られるように、他の車両１１０ｂ－ｎは、ラベル２２６と、それぞれの車両１１０ｂ－ｎに対応する生成され又は受信されたデータ項目２２２とを含むこれら自体の訓練データセット（例えば、訓練データセット２２４ｂ、訓練データセット２２４ｃ、訓練データセット２２４ｎ）を生成する。

【0053】

開示された実施形態は、訓練データセット２２８ａを教師信号として生成することを含む。本開示において使用されるような教師信号は、入力及び所望の出力値を有する訓練例を含む。入力は（例えば図４に見られるような）第１のデータ項目２２２ａ及び第２のデータ項目２２２ｂを含む。入力は他のデータ項目２２２を含む。例えば、図１に表示された状況では、車両１１０ｂ及び１１０ｃのみが車両１１０ａの所定距離１５０内にあるので、入力は、ｎ番目のデータ項目２２２ｎを含まないが、第１のデータ項目２２２ａ、第２のデータ項目２２２ｂ及び第３のデータ項目２２２ｃを含む。所望の出力値は物体１４０のラベル２２６を含む。同様に、車両１１０ｂ－ｎに関連する訓練データセット２２８ｂ－ｎも教師信号として生成される。

【0054】

いくつかの実施形態では、（例えば図１及び図４に見られるような）訓練データセット２２８を生成することは、第１のモデル２１０ａの推定結果（例えば第１の推定２２４ａ）と、第２のデータ項目２２２ｂ内の物体１４０を検出する、第２の車両１１０ｂにおける第２のモデル２１０ｂの推定結果（例えば第２の推定２２４ｂ）とを組み合わせることによって物体１４０のラベル２２６を得ることを含む。推定結果２２４ａ、２２４ｂ（すなわち第１のモデル２１０ａ及び第２のモデル２１０ｂからの推定結果２２４）のこの融合は物体１４０についての豊富なラベル情報をもたらす。ラベル２２６を得ることは追加の推定２２４の融合を含む。例えば、図１に表示された状況では、車両１１０ｂ及び１１０ｃのみが車両１１０ａの所定距離１５０内にあるので、第４の推定２２４ｄではなく、第１の推定２２４ａ、第２の推定２２４ｂ及び第３の推定２２４ｃを組み合わせることによってラベル２２６が得られる。これに関して、異なるエッジモデル２１０の推定結果２２４の間に不一致が生じている場合、車両１１０は、教師信号のために、最も高い信頼スコアを有する推定結果を判別し、又は教師信号のために、複数の推定結果のうち最も多く見られる推定結果を判別する。

【0055】

開示された実施形態は、訓練データセット２２８ａ上で第１のモデル２１０ａに対して訓練を行うことを含む。本開示において使用されるような訓練は、ＦＬに関連するローカル訓練フェーズ（local training phase）を含む。図４に見られるように、訓練データセット２２８ａを用いて第１のモデル２１０ａを訓練することは、訓練された第１のモデル２３０ａの生成をもたらす。訓練された第１のモデル２３０ａは、訓練されていない第１のモデル２１０ａよりも高い信頼レベルの推定を生成することができる。例えば、プロセッサ１１８は、第１のデータ項目２２２ａを訓練された第１のモデル２３０ａを通して動作させた後、訓練された第１の推定として、９５％の信頼（元の第１のモデル２１０ａを使用した９０％からの上昇）で、時速２０マイルで北に向かっている自転車が検出されたことを判別し、８５％の信頼（元の第１のモデル２１０ａを使用した８０％からの上昇）で、検出された自転車がこの軌跡上を進み続けることを判別する。同様に、他の車両１１０ｂ－ｎは、これらのそれぞれ生成された訓練データセット２２８ｂ－ｎ上でこれらのそれぞれのエッジモデル２１０ｂ－ｎを訓練して、訓練されたエッジモデル２３０ｂ－ｎを生成する。

【0056】

いくつかの実施形態では、第１のモデル２１０ａに対して訓練を行うことは、受信された第１のモデル２１０ａのコピーを訓練することを含む。第１のモデル２１０ａのコピーに訓練を行うことによって、訓練後に元の第１のモデル２１０ａが保存される。従って、高い信頼レベルを有する推定を生成可能なモデル２１０ａ、２３０ａを今後も使用できるように、元の第１のモデル２１０ａの性能と、訓練された第１のモデル２３０ａの性能とを比較することができる。同様に、他の車両１１０ｂ－ｎはこれらのそれぞれのエッジモデル２１０ｂ－ｎのコピー上でこれらを訓練する。

【0057】

開示された実施形態は、訓練された第１のモデル２３０ａを表す第１のデータ２４０ａを通信ネットワーク１３０を介して一つ又は複数のサーバコンピュータ１２０に送信することを含む。訓練のために訓練データセット２２８ａを一つ又は複数のサーバ１２０に送信することとは対照的に、（ローカルで訓練を行うことによって取得された）訓練された第１のモデル２３０ａを表す第１のデータ２４０ａを送信することによってユーザのデータのプライバシーを保護することができる。同様に、図３に見られるように、他の車両１１０ｂ－ｎは、その後に一つ又は複数のサーバ１２０に送信されるこれら自体のデータ（例えば第２のデータ２４０ｂ、第３のデータ２４０ｂ、ｎ番目のデータ２４０ｎ）を生成する。

【0058】

開示された実施形態は、訓練前の第１のモデル２１０ａと訓練後の第１のモデル２３０ａとの間の勾配２３２ａを第１のデータ２４０ａとして得ることを含む。本開示において使用されるような勾配２３２ａは、第１のモデル２１０ａと、訓練された第１のモデル２３０ａとの間の差を表す更新パラメータ（例えば重み）を含む。更新／訓練されたモデル２３０ａの全体ではなく勾配２３２ａのみを送信することによって、送信のオーバーヘッドを低減することができ、このことによって通信ネットワーク１３０のパフォーマンスを改善することができる。同様に、他の車両１１０ｂ－ｎは、その後に一つ又は複数のサーバ１２０に送信される、これらそれぞれのエッジモデル２１０ｂ－ｎと、訓練されたエッジモデル２３０ｂ－ｎとの間の勾配２３２ｂ－ｎをこれらそれぞれのデータ２４０ｂ－ｎとして得る。

【0059】

開示された実施形態は、他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す更新データ２５０ａを一つ又は複数のサーバコンピュータ１２０から通信ネットワーク１３０を介して受信することを含む。本開示において使用されるような更新データ２５０ａは、ＦＬに関連するグローバル集約フェーズ（global aggregation phase）の結果を含む。例えば、一つ又は複数のサーバコンピュータ１２０は、第１のモデル２１０ａに対して複数のエッジ車両１１０ａ－ｎの各々から受信されたデータ２４０ａ－ｎ（例えば訓練されたモデル２３０ａ－ｎ又は勾配２３２ａ－ｎ）を集約し、それに従って第１のモデル２１０ａを更新する。更新データ２５０ａは、更新された第１のモデル自体、又は更新された第１のモデルと元の第１のモデル２１０ａとの間の勾配を表す。同様に、他の車両１１０ｂ－ｎはそれぞれ更新データ２５０ｂ－ｎを受信する。更新データ２５０ｂ－ｎは、それぞれのモデル２１０ｂ－ｎに対するデータ２４０ａ－ｎの集約に基づくそれぞれのモデル２１０ｂ－ｎに対する更新を表す。更新データ２５０ｂ－ｎはそれぞれ更新データ２５０ａと実質的に同一であり又は更新データ２５０ａとは異なる。いくつかの実施形態では、更新データ２５０ａは一つ又は複数のサーバコンピュータ１２０からエッジ車両１１０ａ－ｎの各々に送信される。

【0060】

開示された実施形態は、更新データ２５０ａに基づいて第１のモデル２１０ａを更新することを含む。更新データ２５０ａを用いて第１のモデル２１０ａ（並びに可能性としては両方のコピーがメモリ１１７に記憶されている場合に、訓練された第１のモデル２３０ａ）を更新した後、更新された第１のモデルは、元の第１のモデル２１０ａ及び訓練された第１のモデル２３０ａの両方に対してより高い信頼レベルの推定を生成することができる。例えば、プロセッサ１１８は、更新された第１のモデルを通して第１のデータ項目２２２ａを動作させた後、更新された第１の推定として、９８％の信頼（訓練された第１のモデル２３０ａを使用した９５％及び元の第１のモデル２１０ａを使用した９０％からの上昇）で、時速２０マイルで北に向かっている自転車が検出されたことを判別し、９０％の信頼（訓練された第１のモデル２３０ａを使用した８５％及び元の第１のモデル２１０ａを使用した８０％からの上昇）で、検出された自転車がこの軌跡上を進み続けることを判別する。同様に、他の車両１１０ｂ－ｎはそれぞれ更新データ２５０ｂ－ｎを用いてこれらのそれぞれのエッジモデル２１０ｂ－ｎを更新する。代替的に、他の車両１１０ｂ－ｎは更新データ２５０ａを用いてこれらのそれぞれのエッジモデル２１０ｂ－ｎを更新してもよい。

【0061】

図５は、実施形態に従って自動運転車両のためのニューラルネットワークを訓練するＦＬを提供する方法についてのフローチャートである。図５を参照すると、操作３０２において、システムは一つ又は複数のサーバコンピュータから通信ネットワークを介して第１のモデルを受信する。操作３０４では、システムは、第１の車両上のセンサによって取得されたセンサデータを収集する。操作３０６では、システムは、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定する。操作３０８では、システムは、、特定された第１のデータ項目を第１のモデルへの入力として用いて第１のモデルを動作させることによって、特定された第１のデータ項目に含まれる物体を検出する。操作３１０では、システムは、第１の車両から所定距離以下に位置する第２の車両上のコンピュータとの通信を確立する。操作３１２では、システムは、第２の車両上のコンピュータから物体を含むものとして示された第２のデータ項目を受信する。操作３１４では、システムは、第１のデータ項目と、第２のデータ項目と、物体のラベルとを含む訓練データセットを教師信号として生成する。操作３１６では、システムは訓練データセット上で第１のモデルに対する訓練を行う。操作３１８では、システムは、訓練された第１のモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信する。

【0062】

上述した方法の一つ又は複数の操作が省略され又は他の操作と組み合わされてもよく、且つ一つ又は複数の追加の操作が加えられてもよいことが理解される。

【0063】

上述した方法を利用して、従来の自動運転車両の訓練技術に対するいくつかの利点が実現される。訓練データをコーディネータに送信することとは対称的に、ローカルで訓練を行うことによって、ユーザのデータのプライバシーが確保される。一つ又は複数の近傍の車両からの推定結果を利用し、ローカルのエッジデバイスにおける推定結果を融合して教師信号を得ることによって、教師信号が容易に又は実際的に達成できない車両コンテキストにおいて訓練を行うことができ、推定の精度を改善することができる。更新／訓練されたモデルではなく勾配のみを送信することによって、送信のオーバーヘッドが低減され、このことによって通信ネットワークのパフォーマンスを改善することができる。複数のエッジデバイスからＭＬモデルに対する更新を集約することによって、大量のデータを用いてＭＬモデルを効率的に訓練することができ、このことによってパフォーマンス（推定の精度）を改善することができる。

【0064】

前述の開示は、例示及び説明を提供するが、網羅的であること、又は開示された正確な形態に実施を限定することを意図するものではない。修正及び変形が上記の開示に照らして可能であり又は実施の実践から得られてもよい。

【0065】

本明細書において使用されるとき、用語「コンポーネント」は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せとして広く構成されることを意図している。

【0066】

本明細書に記載されたシステム及び／又は方法が、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せの種々の形態で実装されうることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは実装を限定するものではない。このため、システム及び／又は方法の操作及び挙動が特定のソフトウェアコードを参照することなく本明細書に記載され、ソフトウェア及びハードウェアが本明細書の記載に基づいてシステム及び／又は方法を実装するように設計されうることが理解される。

【0067】

特徴の特定の組合せが特許請求の範囲に列挙され且つ／又は明細書に開示されているが、これら組合せは可能な実装の開示を限定することは意図していない。実際、これら特徴の多くを、特許請求の範囲に具体的に列挙されてなく且つ／又は明細書に開示されていない方法で組み合わせることができる。以下に挙げられた各従属請求項が一つの請求項のみに直接従属しているが、可能な実装の開示は、請求項のセット内の他の全ての請求項と組み合わされた各従属請求項を含む。

【0068】

本明細書において使用される要素、行為又は命令は、明示的に記載されない限り、重要又は必須であると解釈されるべきではない。また、本明細書において使用されるとき、冠詞「ａ」及び「ａｎ」は、一つ又は複数の項目を含むことを意図しており、「一つ又は複数の」と交換可能に使用されうる。さらに、本明細書において使用されるとき、用語「組」は、一つ又は複数の項目（例えば、関連する項目、関連しない項目、関連する項目と関連しない項目との組合せ等）を含むことを意図しており、「一つ又は複数の」と交換可能に使用されうる。一つのみの項目が意図されている場合、用語「一つ」又は類似の言葉が使用される。また、本明細書において使用されるとき、用語「有する」又は同様の用語は、オープンエンドの用語であることを意図している。さらに、語句「基づく」は、反対のことが明記されない限り、「少なくとも部分的に基づく」を意味することを意図している。

【0069】

要素のリストに先行するときの「少なくとも一つの」のような表現は、要素のリスト全体を修飾し、リストの個々の要素を修飾することはない。例えば、表現「ａ、ｂ及びｃの少なくとも一つ」は、ａのみ、ｂのみ、ｃのみ、ａ及びｂの両方、ａ及びｃの両方、ｂ及びｃの両方、ａ、ｂ及びｃの全て、又は前述の例の任意のバリエーションを含むものと理解されるべきである。

【0070】

「第１の」、「第２の」等のような用語が様々な要素を記載するのに使用されるが、斯かる要素は上記の用語に限定されてはならない。上記の用語は、一つの要素を別の要素と区別するためのみに使用されうる。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】