特開 2024-95940 自動車のアプリケーションのための自己教師ありフェデレーテッドラーニングのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024095940

(43)【公開日】2024-07-11

(54)【発明の名称】自動車のアプリケーションのための自己教師ありフェデレーテッドラーニングのためのシステム及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240704BHJP

【ＦＩ】

G06N20/00 130

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023106133

(22)【出願日】2023-06-28

(31)【優先権主張番号】18/148,710

(32)【優先日】2022-12-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】521042770

【氏名又は名称】ウーブン・バイ・トヨタ株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100180194

【弁理士】

【氏名又は名称】利根 勇基

(72)【発明者】

【氏名】川名 雄樹

(72)【発明者】

【氏名】谷内出 悠介

(72)【発明者】

【氏名】田川 貴章

(72)【発明者】

【氏名】山口 晃一郎

(72)【発明者】

【氏名】橋本 大輔

(72)【発明者】

【氏名】青野 博之

(72)【発明者】

【氏名】高橋 亮

(57)【要約】

【課題】安全及びユーザプライバシーを維持しつつ、フェデレーテッドラーニングの訓練をニューラルネットワークに提供する。
【解決手段】方法は、一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信することと、車両上のセンサによって取得されたセンサデータを収集することとを含む。また、方法は、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定することを含む。方法は、さらに、特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、第１のデータ項目と、第２のデータ項目と、第１のデータ項目と第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成することを含む。方法は、さらに、訓練データセット上でエッジモデルに対する訓練を行うことと、訓練されたエッジモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信することとを含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

プログラムされた一つ又は複数のプロセッサによって実行される方法であって、
一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信することと、
車両上のセンサによって取得されたセンサデータを収集することと、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定することと、
前記特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、前記第１のデータ項目と、前記第２のデータ項目と、該第１のデータ項目と該第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成することと、
前記訓練データセット上で前記エッジモデルに対する訓練を行うことと、
前記訓練されたエッジモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信することと
を含む、方法。

【請求項2】

他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す第２のデータを前記一つ又は複数のサーバコンピュータから前記通信ネットワークを介して受信することと、
前記第２のデータに基づいて前記エッジモデルを更新することと
を更に含む、請求項１に記載の方法。

【請求項3】

前記エッジモデルに対する訓練を行うことは、前記受信されたエッジモデルのコピーを訓練することを含む、請求項１又は２に記載の方法。

【請求項4】

前記訓練前の前記エッジモデルと前記訓練後の前記エッジモデルとの間の勾配を前記第１のデータとして得ることを更に含む、請求項１又は２に記載の方法。

【請求項5】

前記受信されたエッジモデルと、前記訓練によって更新された前記エッジモデルのコピーとの間の勾配を前記第１のデータとして得ることを更に含む、請求項３に記載の方法。

【請求項6】

前記変換を適用することは、前記第１のデータ項目を回転させることを含む、請求項１又は２に記載の方法。

【請求項7】

前記訓練データセット上で訓練を行うことは、人間のアノテーション無しで訓練することを含む、請求項１又は２に記載の方法。

【請求項8】

命令を記憶するメモリと、
プロセッサと
を備える、コンピュータデバイスであって、
前記プロセッサは、
一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信し、
車両上のセンサによって取得されたセンサデータを収集し、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定し、
前記特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、前記第１のデータ項目と、前記第２のデータ項目と、該第１のデータ項目と該第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成し、
前記訓練データセット上で前記エッジモデルに対する訓練を行い、
前記訓練されたエッジモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信するための前記命令を実行するように構成される、コンピュータデバイス。

【請求項9】

前記プロセッサは、さらに、
他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す第２のデータを前記一つ又は複数のサーバコンピュータから前記通信ネットワークを介して受信し、
前記第２のデータに基づいて前記エッジモデルを更新するための前記命令を実行するように構成される、請求項８に記載のコンピュータデバイス。

【請求項10】

前記エッジモデルに対する訓練を行うための前記命令は、前記受信されたエッジモデルのコピーを訓練するための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項11】

前記プロセッサは、さらに、前記訓練前の前記エッジモデルと前記訓練後の前記エッジモデルとの間の勾配を前記第１のデータとして得るための前記命令を実行するように構成される、請求項８又は９に記載のコンピュータデバイス。

【請求項12】

前記プロセッサは、さらに、前記受信されたエッジモデルと、前記訓練によって更新された前記エッジモデルのコピーとの間の勾配を前記第１のデータとして得るための前記命令を実行するように構成される、請求項１０に記載のコンピュータデバイス。

【請求項13】

前記変換を適用するための前記命令は、前記第１のデータ項目を回転させるための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項14】

前記訓練データセット上で訓練を行うための前記命令は、人間のアノテーション無しで訓練するための命令を含む、請求項８又は９に記載のコンピュータデバイス。

【請求項15】

命令を記憶する非一時的なコンピュータ可読媒体であって、
前記命令は、
一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信することと、
車両上のセンサによって取得されたセンサデータを収集することと、
第１のデータ項目が基準を満たすと判定されたときに、前記収集されたセンサデータの中から該第１のデータ項目を特定することと、
前記特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、前記第１のデータ項目と、前記第２のデータ項目と、該第１のデータ項目と該第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成することと、
前記訓練データセット上で前記エッジモデルに対する訓練を行うことと、
前記訓練されたエッジモデルを表す第１のデータを前記通信ネットワークを介して前記一つ又は複数のサーバコンピュータに送信することと
を、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、非一時的なコンピュータ可読媒体。

【請求項16】

前記命令は、さらに、
他のエッジモデルから集約されたモデル情報を用いて訓練されたモデルを表す第２のデータを前記一つ又は複数のサーバコンピュータから前記通信ネットワークを介して受信することと、
前記第２のデータに基づいて前記エッジモデルを更新することと
を、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記エッジモデルに対する訓練を行うことを前記一つ又は複数のプロセッサに実行させることは、前記受信されたエッジモデルのコピーを訓練することを前記一つ又は複数のプロセッサに実行させることを含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記命令は、さらに、前記訓練前の前記エッジモデルと前記訓練後の前記エッジモデルとの間の勾配を前記第１のデータとして得ることを、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記命令は、さらに、前記受信されたエッジモデルと、前記訓練によって更新された前記エッジモデルのコピーとの間の勾配を前記第１のデータとして得ることを、装置の一つ又は複数のプロセッサによって実行されるときに該一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記変換を適用することを前記一つ又は複数のプロセッサに実行させることは、前記第１のデータ項目を回転させることを前記一つ又は複数のプロセッサに実行させることを含む、請求項１５又は１６に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、自動運転車両のアプリケーションにおけるニューラルネットワークの訓練を提供するためのシステム及び方法に関する。具体的には、本開示は、安全及びユーザプライバシーを維持しつつ、フェデレーテッドラーニングの訓練をニューラルネットワークに提供することに関する。

【背景技術】

【0002】

ニューラルネットワークは、多数の分散エッジデバイス（例えば病院又は携帯電話に実装されたプロセッサ又はコンピュータデバイス）に展開されたアプリケーションに統合される場合がある。斯かるニューラルネットワークを訓練する一つの方法が、ユーザのプライバシーを確保しつつ大量のデータを使用して機械学習（ＭＬ）モデルを訓練するフェデレーテッドラーニング（ＦＬ）である。

【0003】

この目的のために、ＦＬ技術はローカル訓練フェーズ及びグローバル集約フェーズから成る。ローカル訓練フェーズでは、各エッジデバイスは、アプリケーションによって検知され且つ使用されるデータを用いて各エッジデバイスのニューラルネットワークのコピーを訓練する。エッジデバイス上で訓練を行うことによって、ローカルデータが外部に（例えばリモートコーディネータ又はサーバに）曝され又は送信されることがなく、このことによってエッジデバイスユーザのデータのプライバシーが確保される。代わりに、エッジデバイス上で訓練されたニューラルネットワークに対するローカルな更新のみがコーディネータに送信され、コーディネータは更新を集約して新たなグローバルモデルを生成する。その後、グローバルモデルをアプリケーションにおける使用のために他のエッジデバイスに提供することができる。

【0004】

自動運転車両におけるコンピュータビジョン（ＣＬ）又は他の機械学習（ＭＬ）アプリケーション（例えば自動運転制御）のようなセーフティクリティカルなアプリケーションに統合された機械学習（ＭＬ）モデルが推定の精度及び実世界環境での使用の安全性を確保するために大量のデータで訓練されることが極めて重要である。ＦＬがこれらモデルに適用されうるが、車両コンテキストにおける訓練のための信頼できる教師信号（例えば人間のアノテーション）が存在しない。その結果、車両におけるローカルデータ上で訓練されたときに、推定の精度が減少する場合がある。

【発明の概要】

【0005】

一つ又は複数の例示的な実施形態によって、運転情報を非ドライバユーザに提供するためのシステム及び方法が提供される。

【0006】

本開示の態様によれば、プログラムされた一つ又は複数のプロセッサによって実行される方法は、一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信することと、車両上のセンサによって取得されたセンサデータを収集することと、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定することと、特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、第１のデータ項目と、第２のデータ項目と、第１のデータ項目と第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成することと、訓練データセット上でエッジモデルに対する訓練を行うことと、訓練されたエッジモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信することとを含む。

【0007】

本開示の態様によれば、コンピュータデバイスは、命令を記憶するメモリと、プロセッサとを含み、プロセッサは、一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信し、車両上のセンサによって取得されたセンサデータを収集し、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定し、特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、第１のデータ項目と、第２のデータ項目と、第１のデータ項目と第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成し、訓練データセット上でエッジモデルに対する訓練を行い、訓練されたエッジモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信するための命令を実行するように構成される。

【0008】

本開示の態様によれば、非一時的なコンピュータ可読媒体は命令を記憶し、命令は、一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信することと、車両上のセンサによって取得されたセンサデータを収集することと、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定することと、特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、第１のデータ項目と、第２のデータ項目と、第１のデータ項目と第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成することと、訓練データセット上でエッジモデルに対する訓練を行うことと、訓練されたエッジモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信することとを、装置の一つ又は複数のプロセッサによって実行されるときに一つ又は複数のプロセッサに実行させる一つ又は複数の命令を含む。

【0009】

追加の態様が、以下の記載において部分的に説明され、以下の記載から明らかになり、又は本開示の提示された実施形態の実践から学ぶことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係るシステムの図である。

【図2】図２は、実施形態に係る図１の自動運転車両のコンポーネントの図である。

【図3】図３は、実施形態に従って、複数の自動運転車両のためのニューラルネットワークを訓練することに関連するデータ処理の図である。

【図4】図４は、実施形態に従って、単一の自動運転車両のためのニューラルネットワークを訓練することに関連するデータ処理に関わる変換の図である。

【図5】図５は、実施形態に従って、単一の自動運転車両のためのニューラルネットワークを訓練することに関連するデータ処理の図である。

【図6】図６は、実施形態に従って、自動運転車両のためのニューラルネットワークを訓練する方法についてのフローチャートである。

【発明を実施するための形態】

【0011】

上記及び他の態様、特徴並びに本開示の実施形態の態様は、添付図面と併せて解釈される以下の説明からより明らかになるだろう。

【0012】

例示的な実施形態の以下の詳細な説明は添付図面を参照する。種々の図面における同一の参照番号は同一又は同様の要素を特定する。

【0013】

図１は、実施形態に係るシステム１００の図である。システム１００は一つ又は複数の車両１１０ａ－ｎ及び一つ又は複数のサーバコンピュータ１２０ａ－ｎを含む。一つ又は複数のサーバコンピュータ１２０ａ－ｎは、例えば通信ネットワーク１３０を介して、互いと接続し、車両１１０ａ－ｎの各々と接続する。

【0014】

開示された実施形態は、一つ又は複数のサーバコンピュータ１２０から受信することを含む。本開示において使用されるようなサーバコンピュータ１２０は、汎用コンピュータ、パーソナルコンピュータ、ワークステーション、メインフレームコンピュータ、ノートブック、全地球測位装置、ラップトップコンピュータ、スマートフォン、携帯情報端末、ネットワークサーバ、及びユーザとやり取りしてプログラミングコードを開発する可能性のあるその他の電子デバイスを含む。

【0015】

いくつかの実施形態では、サーバコンピュータ１２０は、、プロセッサ、ディスプレイ装置、メモリ装置、及び電子通信を促進するこれらコンポーネントを含む他のコンポーネントを含む。他のコンポーネントは入出力装置のようなユーザインタフェース装置を含む。サーバコンピュータ１２０は、中央処理装置（ＣＰＵ）又はプロセッサ、バス、メモリ装置、ストレージユニット、データプロセッサ、入力装置、出力装置、ネットワークインタフェース装置、及び当業者に明らかな他のタイプのコンポーネントの組合せのようなコンピュータハードウェアコンポーネントを含む。サーバコンピュータ１２０は、さらに、ソフトウェアモジュール、一連の命令、ルーチン、データ構造、表示インタフェース、及び本開示の操作を実行する他のタイプの構造を含むアプリケーションプログラムを含むことができる。

【0016】

開示された実施形態は、通信ネットワーク１３０を介して受信することを含む。本開示において使用されるような通信ネットワークは、ネットワークノード上にあり又はネットワークノードによって提供されるリソースを共有する一組のコンピュータ（例えば一つ又は複数のサーバコンピュータ１２０）を含む。この一組のコンピュータはデジタル相互接続を介した共通の通信プロトコルを使用して互いと通信する。これら相互接続は、様々なネットワークトポロジに配置される物理的な有線の、光学的な、ワイヤレスの無線周波数方式に基づく電気通信技術から構成される。例えば、これら相互接続は、データベース、サーバ、ＲＦ（無線周波数）信号、セルラー技術、イーサネット、電話、「ＴＣＰ／ＩＰ」（トランスミッションコントロールプロトコル／インターネットプロトコル）、及びその他の電子通信フォーマットを通して行われる。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第五世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第三世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等）、公衆陸上移動体通信網（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話網（例えば、公衆交換電話網（ＰＳＴＮ）、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、若しくはこれらの均等物、及び／又はこれらの組合せ若しくは他のタイプのネットワークを含む。

【0017】

図１に示されるサーバ１２０及びネットワーク１３０の数及び配置は例として提供されている。実際には、追加のサーバ１２０及び／又はネットワーク１３０、より少ないサーバ１２０及び／又はネットワーク１３０、種々のサーバ１２０及び／又はネットワーク１３０、又は図１に示されるものとは異なる配置のサーバ１２０及び／又はネットワーク１３０が存在する。さらに、図１に示される二つ以上のサーバ１２０が単一のサーバ１２０内に実装されてもよく、又は図１に示される単一のサーバ１２０が複数の分散サーバ１３０として実装されてもよい。加えて又は代替的に、一組のサーバ１２０（例えば一つ又は複数のサーバ１２０）が、別の組のサーバ１２０によって実行されるものとして記載された一つ又は複数の機能を実行してもよい。

【0018】

いくつかの実施形態では、通信ネットワーク１３０はニューラルネットワークとして構築される。ニューラルネットワークは、生物学的脳におけるニューロンを大まかにモデル化した、人工ニューロンと呼ばれる接続されたユニット又はノードの集合体に基づくものである。生物学的脳におけるシナプスのような各接続は信号を他のニューロンに送信することができる。人工ニューロンは、信号を受信して処理し、その後、それに接続された他のニューロンに信号を送る。接続におけるこれら信号は実際の数であり、各ニューロンの出力はその入力の合計の非線形関数によって計算される。これら接続は（自動運転車両１１０のような）エッジであってもよい。ニューロン及びエッジは、学習が進行するにつれて調整される重みを有する。重みは接続における信号の強さを増大又は減少させる。ニューロンは、集約信号がその閾値を超える場合にのみ信号が送信されるような閾値を有する。ニューロンは層に集約される。異なる層がこれらの入力に対して異なる変換を実行する。信号は、最初の層（例えば入力層）から潜在的な中間層を介して最後の層（例えば出力層）まで移動し、複数回移動してもよい。

【0019】

以下に更に詳細に説明されるように、フェデレーテッドラーニング（ＦＬ）は、エッジデバイス上で行われるローカルな訓練に信頼性の高い自己教師（self-supervision）を組み込むことによってセーフティクリティカルな自動車のアプリケーションのニューラルネットワークを訓練するのに使用される。ＦＬを適用することによって、ニューラルネットワークを訓練するのに大量のデータを使用することができ、このことによって推定の精度が高められる。さらに、ＦＬを適用することによってユーザ（すなわち車両１１０のオペレータ）についてのデータプライバシーを確保することができる。加えて、信頼性の高い自己教師を組み込むことによって、ニューラルネットワークによる推定又は予測の精度を高めることができる。

【0020】

車両１１０のより詳細な図が図２に見られる。車両１１０の各々は、一つ又は複数のセンサ１１２と、一つ又は複数の送受信機１１４と、車両コンピュータ１１６とを含む。

【0021】

本開示において使用されるような一つ又は複数の送受信機１１４は、例えば、有線接続、無線接続、又は有線接続と無線接続との組合せを介して、車両１１０が他の車両１１０及び／又は一つ又は複数のサーバコンピュータ１２０と通信するのを可能とする一つ又は複数のコンポーネント（例えば送受信機及び／又は別個の受信機及び送信機）を含む。一つ又は複数の送受信機１１４は、車両１１０が別の車両１１０／サーバコンピュータ１２０から情報を受信し且つ／又は別の車両１１０／サーバコンピュータ１２０に情報を提供することを可能とする。例えば、一つ又は複数の送受信機１１４は、イーサネットインタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラーネットワークインタフェース、又は電気／電磁情報を送信又は受信することができるその他のインタフェースを含む。

【0022】

図２に見られるように、本開示において使用されるような車両コンピュータ１１６は、バス（図示せず）、メモリ１１７、プロセッサ１１８、入力コンポーネント（図示せず）及び出力コンポーネント（図示せず）を含む。

【0023】

バスは、車両コンピュータ１１６のコンポーネント間の通信を可能とするコンポーネントを含む。

【0024】

プロセッサ１１８は、ハードウェア、ファームウェア又はハードウェアとソフトウェアとの組合せにおいて実装される。プロセッサ１１８は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、アクセラレーテッドプロセッシングユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントである。プロセッサ１１８は、機能を実行するようにプログラムされることが可能な一つ又は複数のプロセッサを含む。

【0025】

メモリ１１７は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、及び／又はプロセッサ１１８によって使用される情報及び／又は命令を記憶する別のタイプの動的又は静的ストレージ装置（例えばフラッシュメモリ、磁気メモリ及び／又は光メモリ）を含む。メモリ１１７は、車両コンピュータ１１６の操作及び使用に関する情報及び／又はソフトウェアも記憶する。例えば、メモリ１１７は、対応するドライブと共に、ハードディスク（例えば磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的なコンピュータ可読媒体を含む。

【0026】

入力コンポーネントは、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ及び／又はマイクロフォン）を介して車両コンピュータ１１６が情報を受信することを可能とするコンポーネントを含む。入力コンポーネントは、情報を検知するためのセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ及び／又はアクチュエータ）を含む。

【0027】

出力コンポーネントは、車両コンピュータ１１６から出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカ、及び／又は一つ又は複数の発光ダイオード（ＬＥＤ））を含む。

【0028】

車両コンピュータ１１６は、本明細書に記載された一つ又は複数の処理を実行する。車両コンピュータ１１６は、メモリ１１７のような非一時的なコンピュータ可読媒体によって記憶されたソフトウェア命令をプロセッサ１１８が実行することに基づいて、操作を実行する。コンピュータ可読媒体は本明細書において非一時的なメモリ装置として定義される。メモリ装置は、単一の物理ストレージ装置内のメモリ空間、又は複数の物理ストレージ装置に亘って広がるメモリ空間を含む。

【0029】

ソフトウェア命令は一つ又は複数の送受信機１１４を介して別のコンピュータ可読媒体又は別の装置からメモリ１１７に読み込まれてもよい。実行されると、メモリ１１７に記憶されたソフトウェア命令は、本明細書に記載された一つ又は複数の処理をプロセッサ１１８に実行させる。

【0030】

加えて又は代替的に、本明細書に記載された一つ又は複数の処理を実行するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせてハードワイヤード回路が使用されてもよい。このため、本明細書に記載される実施形態がハードウェア回路及びソフトウェアの特定の組合せに限定されることはない。

【0031】

開示された実施形態は、エッジモデル２１０（例えばエッジモデル２１０ａ）を受信することを含む。本開示において使用されるようなエッジモデル２１０は機械学習モデルを含む。機械学習モデルは、（車両１１０ａのような）自動運転車両上で動作するアプリケーションに統合されるように構成される。自動運転車両１１０上で動作するアプリケーションは、コンピュータビジョン、自動運転制御、及び自動運転車両１１０の操作に関連する他の機械学習アプリケーションのようなセーフティクリティカルなアプリケーションである。自動運転制御は、加速、制動、操舵、変速、及び車両１１０の環境を通して車両１１０の動作に影響する可能性のあるその他のシステムの自律制御を含むことができる。

【0032】

いくつかの実施形態では、エッジモデル２１０は、車両１１０が遭遇する物体１４０の検出に関連付けられる。物体は、別の車両、歩行者、野生動物、道路障害物、又は車両１１０と相互作用する可能性のあるその他の態様の環境である。例えば、図１において、物体１４０が道路上の自転車として描かれている。

【0033】

いくつかの実施形態では、エッジモデル２１０は感覚的解釈と関連付けられる。例えば、感覚的解釈の一つのタイプは画像セグメンテーションを含む。画像セグメンテーションはデジタル画像を複数の画像セグメント（例えば画像領域又は画像物体（一組のピクセル））に分割する。画像セグメンテーションは画像の表示をより有意義なもの及び／又はより分析しやすいものに単純化し且つ／又は変更する。画像セグメンテーションは画像における物体及び境界（例えば線及び曲線）を突き止めるのに使用される。画像セグメンテーションは、同一のラベルを有するピクセルが或る特性を共有するように、画像内の様々なピクセルにラベルを割り当てることを含む。

【0034】

図１及び図２に見られるように、車両１１０ａは、一つ又は複数の送受信機１１４を介してエッジモデル２１０ａを受信し、受信したエッジモデル２１０ａを例えば車両１１０ａの車両コンピュータ１１６のメモリ１１７に記憶する。同様に、他の車両１１０ｂ－ｎが、それぞれ、これらのそれぞれの送受信機１１４においてエッジモデル２１０ａと同様にモデル（例えば、エッジモデル２１０ｂ、エッジモデル２１０ｃ、エッジモデル２１０ｎ）を受信し、受信したそれぞれのエッジモデル２１０ｂ－ｎを例えば他の車両１１０ｂ－ｎの車両コンピュータ１１６のメモリ１１７に記憶する。

【0035】

開示された実施形態は、車両１１０ａにおいて一つ又は複数のセンサ１１２によって取得されたセンサデータ２２０ａを収集することを含む。本開示において使用されるようなセンサ１１２は、カメラ、カムコーダ、マイクロフォン、ライダ、又はセンサデータ２２０ａを収集するように構成されたその他の装置を含む。本開示において使用されるようなセンサデータ２２０ａは、写真、映像記録、音声記録、ライダデータ、又は車両１１０ａの周囲環境のその他の測定記録を含む。同様に、他の車両１１０ｂ－ｎがそれぞれこれらのそれぞれのセンサ１１２を介してセンサデータ２２０ｂ－ｎを収集する。

【0036】

図１及び図２に見られるように、車両１１０ａは、一つ又は複数のセンサ１１２を介してセンサデータ２２０ａを受信し、受信したセンサデータ２２０ａを例えば車両コンピュータ１１６のメモリ１１７に記憶する。同様に、他の車両１１０ｂ－ｎがそれぞれこれらの収集されたセンサデータ２２０ｂ－ｎをこれらの車両コンピュータ１１６のこれらのそれぞれのメモリ１１７を介して記憶する。

【0037】

開示された実施形態は車両１１０（例えば車両１１０ａ）を含む。本開示において使用されるような車両１１０は、車、バン、トラック、バス、オートバイ、モペット、ドローン、ロボット、又は完全な又は部分的な自律移動が可能なその他の移動装置を含む。

【0038】

図１に見られるように、システム１００は複数の車両１１０ａ－ｎを含む。車両１１０ａ－ｎの各々は他の車両１１０ａ－ｎのいくつかと実質的に同様であり又は他の車両１１０ａ－ｎのいくつかと異なっている。いくつかの実施形態では、全ての車両１１０ａ－ｎが、同様の検知及び動的能力／構成を有する同一モデルの自動運転車である。他の実施形態では、全ての車両１１０ａ－ｎが、様々な異なる検知及び動的能力／構成を有する異なるモデルの自動運転車両である。他の実施形態では、車両１１０ａ－ｎのいくつかが同様の構成であり、他の車両が異なる構成である。

【0039】

開示された実施形態は、収集されたセンサデータ２２０ａの中から第１のデータ項目２２２ａを特定することを含む。本開示において使用されるような第１のデータ項目２２２ａは、車両１１０ａによって受信されたセンサデータ２２０ａのサブセットを含み、このサブセットは、推定の精度及び実世界環境における使用の安全性を改善するようにエッジモデル２１０ａを訓練するのに有用である。同様の方法で、例えば図３に見られるように、他の車両１１０ｂ－ｎは、第１のデータ項目２２２ａの特定と同様に、他の第１のデータ項目（例えば、第１のデータ項目２２２ｂ、第１のデータ項目２２２ｃ、第１のデータ項目２２２ｎ）を特定することを含む。

【0040】

開示された実施形態は、第１のデータ項目２２２ａが基準を満たすと判定されるときを特定することを含む。本開示において使用されるような基準は、（ｉ）データが検知されるときの車両情報（例えば、速度、操舵及び制動）（例えば、所定速度以上である速度、又は速度が所定速度以上であるときの制動、所定度若しくは所定量以上である操舵、速度が所定速度以上であるときに所定量以上である操舵、又はエッジモデル２１０を訓練するのに有用な車両動作に関連するその他の条件）と、（ｉｉ）データが検知されるときの（例えば、慣性計測装置（ＩＭＵ）、全地球測位システム（ＧＰＳ）、又は車両１１０ａの相対的又は絶対的な位置／向きを判別するのに使用されるその他のセンサによって判別されるような）車両の位置、データが検知されるときの時間、データが送信されるときのドライバモニタ情報、（ｉｉｉ）画像認識結果（例えば、シーン分類、検出された物体の数の分散、道路構造、又は車両１１０ａの周囲の環境のその他の意味のある特性）、（ｉｖ）画像特徴の一意性／クラスタリング、（ｖ）不確実性指標（uncertainty metrics）、（ｖｉ）及び／又はエッジモデル２１０を訓練するのに有用であることを示すその他の認識可能な特性を含む。同様の方法で、他の車両１１０ｂ－ｎは、これらのそれぞれの第１のデータ項目２２２ｂ－ｎが基準を満たすと判定されるときを特定する。

【0041】

開示された実施形態は、特定された第１のデータ項目２２２ａに対して変換２２４ａａを適用することを含む。本開示において使用されるような変換２２４ａａは、回転、反転、コントラスト調整、又は種々の態様で関連情報を提示する、第１のデータ項目２２２ａに対するその他の操作を含む。例えば、図４に見られるように、第１のデータ項目２２２ａは自転車の画像であり、変換２２４ａａは自転車画像の４５°の回転である。いくつかの実施形態では、追加の変換２２４ａｂ－ａｎが第１のデータ項目２２２ａに対して適用される。例えば、図４に見られるように、変換２２４ａｂは自転車画像の９０°の回転であり、変換２２４ａｃは自転車画像の１３５°の回転であり、変換２２４ａｎは自転車画像の１８０°の回転である。同様な方法で、他の車両１１０ｂ－ｎは、これらそれぞれの第１のデータ項目２２２ｂ－ｎに対してこれら自体の変換２２４ｂａ－ｎｎを適用する。

【0042】

いくつかの実施形態（例えば上述した例）では、変換パラメータ（例えば回転量）が記憶され且つ訓練者によって知られている限り、変換２２４（例えば回転）はランダムであってもよい。変換が知られている訓練データを使用することによって、ニューラルネットワークは、教師信号（supervision signal）無しで、入力／訓練されるものとして取得する画像に適用される回転を認識するように訓練される。本開示において使用されるような教師信号は、入力及び所望の出力値を有する訓練例を含む。

【0043】

開示された実施形態は、変換２２４ａａを適用して第２のデータ項目２２６ａａを生成することを含む。本開示において使用されるような第２のデータ項目２２６ａａは、回転されたデータ、反転されたデータ、コントラスト調整されたデータ、又は第１のデータ項目２２２ａから変換されたその他の操作されたデータを含む。例えば、図４に見られるように、第２のデータ項目２２６ａａは、４５°回転された自転車の画像である。いくつかの実施形態では、追加のデータ項目２２６ａｂ－ａｎが、適用される変換２２４ａｂ－ａｎによって生成される。例えば、図４に見られるように、第３のデータ項目２２６ａｂは、９０°回転された自転車の画像であり、第４のデータ項目２２６ａｃは、１３５°回転された自転車の画像であり、ｎ番目のデータ項目２２６ａｎは、１８０°回転された自転車の画像である。同様の方法で、他の車両１１０ｂ－ｎは、それぞれの変換２２４ｂａ－ｎｎを適用することによってこれら自体の第２の／追加のデータ項目２２６ｂａ－ｎｎを生成する。

【0044】

加えて、図４に描かれるような追加の変換２２４ａｂ－ａｎの全てが第１のデータ項目２２２ａに適用されて追加のデータ項目２２６ａｂ－ａｎを生成するが、そうである必要はないことに留意されたい。例えば、いくつかの実施形態では、追加の変換２２４ａｂ－ａｎは、第１のデータ項目２２２ａへの代わりに、生成された第２の／追加のデータ項目２２６ａａ－ａｎのいくつかへ適用され、追加のデータ項目２２６ａｂ－ａｎを生成する。

【0045】

エッジモデル２１０ａは、エッジモデル２１０ａへの入力として、特定された第１のデータ項目を用いて動作される。いくつかの実施形態では、（ｉ）エッジモデル２１０ａがサーバコンピュータ１２０から受信されて車両１１０ａの車両コンピュータ１１６のメモリ１１７に記憶され、且つ（ｉｉ）第１のデータ項目２２２ａがメモリ１１７に記憶されて車両１１０ａのプロセッサ１１８によって特定された後、プロセッサ１１８は第１のデータ項目２２２ａをエッジモデル２１０ａに入力して推定として物体１４０を検出する。エッジモデル２１０ａを動作させることは、物体１４０の検出をもたらし、一つ又は複数の特定の信頼レベルを有する推定を生成する。これら信頼レベルは、エッジモデル２１０ａが実世界環境における物体１４０を正確に認識できる程度を示す。例えば、プロセッサ１１８は、第１のデータ項目２２２ａをエッジモデル２１０ａを通して動作させた後、推定として、９０％の信頼で、自転車が検出されたことを判別する。同様な方法で、例えば図３に見られるように、他の車両１１０ｂ－ｎは、入力としてこれらそれぞれの第１のデータ項目２２２ｂ－ｎを用いてこれらそれぞれの受信されたエッジモデル２１０ｂ－ｎを動作させて推定を生成する。これら他の推定の信頼区間は、個々に、車両１１０ａの推定と同様であり、車両１１０ａの推定未満であり、又は車両１１０ａの推定よりも大きい。

【0046】

開示された実施形態は、（例えば図５に見られるように）第１のデータ項目２２２ａａと、第２のデータ項目２２６ａａと、第１のデータ項目２２２ａと第２のデータ項目２２６ａａとの間の変換２２４ａａを表す信号２２５ａａとを含む訓練データセット２２８ａを形成することを含む。本開示において使用されるような訓練データセット２２８ａを形成することは、機械学習モデルを訓練するのに有用な態様で関連情報を集約することを含む。訓練データセット２２８ａは追加のデータ項目２２６ａｂ－ｎｎ（例えば図４に示されるようなもの）を含む。同様に、例えば図３に見られるように、他の車両１１０ｂ－ｎは、それぞれの車両１１０ｂ－ｎに対応する、それぞれの第１のデータ項目２２２ｂ－ｎと、第２の／追加のデータ項目２２６ｂａ－ｎｎと、第１のデータ項目２２２ｂ－ｎと第２の／追加のデータ項目２２６ｂａ－ｎｎとの間の変換２２４ｂａ－ｎｎを表す信号２２５ｂａ－ｎｎとを含むこれら自体の訓練データセット（例えば訓練データセット２２８ｂ、訓練データセット２２８ｃ、訓練データセット２２８ｎ）を生成する。

【0047】

開示された実施形態は、訓練データセット２２８ａ上でエッジモデル２１０ａに対して訓練を行うことを含む。本開示において使用されるような訓練は、ＦＬに関連するローカル訓練フェーズ（local training phase）を含む。この訓練は、訓練データセット２２８ａのコンポーネントが人間が注釈を付けたラベルを含まないので、自己教師あり訓練（self-supervised training）として特徴付けられる。本開示において使用されるようなラベルは、機械学習モデルがそれから学習できるようなコンテキストを提供する、物体（例えば物体１４０）の意味ある又は有益な特性である。例えば、自転車に対応するラベルは、二輪、ペダル又はハンドルバーを含む。いくつかの実施形態では、自己教師あり訓練は、所定条件（例えば車両が駐車されている、ＷｉＦｉ接続が確立されている、車両が外部電源に接続されている、電源が利用可能である、又は安全且つ効率的な態様で訓練が行われることを可能とするその他の条件）が満たされていることに基づいて実行される。

【0048】

図４において見られるように、訓練データセット２２８ａを用いてエッジモデル２１０ａの訓練を行うことは、訓練されたエッジモデル２３０ａの生成をもたらす。訓練されたエッジモデル２３０ａは、訓練されていないエッジモデル２１０ａよりも高い信頼レベルの推定を生成することができる。例えば、プロセッサ１１８は、訓練されたエッジモデル２３０ａを通して第１のデータ項目２２２ａを動作させた後、訓練された第１の推定として、９５％の信頼（元のエッジモデル２１０ａを使用した９０％からの上昇）で、自転車が検出されたことを判別する。同様に、他の車両１１０ｂ－ｎは、それぞれ生成されたこれらの訓練データセット２２８ｂ－ｎ上でこれらのそれぞれのエッジモデル２１０ｂ－ｎの訓練を行って、訓練されたエッジモデル２３０ｂ－ｎを生成する。

【0049】

いくつかの実施形態では、エッジモデル２１０ａに対して訓練を行うことは、受信されたエッジモデル２１０ａのコピーを訓練することを含む。エッジモデル２１０ａのコピーに訓練を行うことによって、訓練後に元のエッジモデル２１０ａが保存される。従って、高い信頼レベルを有する推定を生成可能なモデル２１０ａ、２３０ａを今後も使用できるように、元のエッジモデル２１０ａの性能と、訓練されたエッジモデル２３０ａの性能とを比較することができる。同様に、他の車両１１０ｂ－ｎはこれらのそれぞれのエッジモデル２１０ｂ－ｎのコピー上でこれらを訓練する。

【0050】

開示された実施形態は、訓練されたエッジモデル２３０ａを表す第１のデータ２４０ａを通信ネットワーク１３０を介して一つ又は複数のサーバコンピュータ１２０に送信することを含む。訓練のために訓練データセット２２８ａを一つ又は複数のサーバ１２０に送信することとは対照的に、（ローカルで訓練を行うことによって取得された）訓練されたエッジモデル２３０ａを表す第１のデータ２４０ａを送信することによってユーザのデータのプライバシーを保護することができる。同様に、図３に見られるように、他の車両１１０ｂ－ｎは、その後に一つ又は複数のサーバ１２０に送信されるこれら自体の第１のデータ（例えば、第１のデータ２４０ｂ、第１のデータ２４０ｃ、第１のデータ２４０ｎ）を生成する。

【0051】

開示された実施形態は、訓練前のエッジモデル２１０ａと訓練後のエッジモデル２３０ａとの間の勾配２３２ａを第１のデータ２４０ａとして得ることを含む。本開示において使用されるような勾配２３２ａは、エッジモデル２１０ａと、訓練されたエッジモデル２３０ａとの間の差を表す更新パラメータ（例えば重み）を含む。更新／訓練されたモデル２３０ａの全体ではなく勾配２３２ａのみを送信することによって、送信のオーバーヘッドを低減することができ、このことによって通信ネットワーク１３０のパフォーマンスを改善することができる。同様に、他の車両１１０ｂ－ｎは、その後に一つ又は複数のサーバ１２０に送信される、これらそれぞれのエッジモデル２１０ｂ－ｎと、訓練されたエッジモデル２３０ｂ－ｎとの間の勾配２３２ｂ－ｎをこれらそれぞれの第１のデータ２４０ｂ－ｎとして得る。

【0052】

開示された実施形態は、他のエッジモデル２３０ｂ－ｎから集約されたモデル情報を用いて訓練されたモデルを表す第２のデータ２５０ａを一つ又は複数のサーバコンピュータ１２０から通信ネットワーク１３０を介して受信することを含む。本開示において使用されるような第２のデータ２５０ａは、ＦＬに関連するグローバル集約フェーズ（global aggregation phase）の結果を含む。例えば、一つ又は複数のサーバコンピュータ１２０は、エッジモデル２１０ａに対して複数のエッジ車両１１０ａ－ｎの各々から受信された第１のデータ２４０ａ－ｎ（例えば訓練されたモデル２３０ａ－ｎ又は勾配２３２ａ－ｎ）を集約し、それに従ってエッジモデル２１０ａを更新する。第２のデータ２５０ａは、更新されたエッジモデル自体、又は更新されたエッジモデルと元のエッジモデル２１０ａとの間の勾配を表す。同様に、他の車両１１０ｂ－ｎはそれぞれ第２のデータ２５０ｂ－ｎを受信する。第２のデータ２５０ｂ－ｎは、それぞれのモデル２１０ｂ－ｎに対するデータ２４０ａ－ｎの集約に基づくそれぞれのモデル２１０ｂ－ｎに対する更新を表す。第２のデータ２５０ｂ－ｎはそれぞれ第２のデータ２５０ａと実質的に同一であり又は第２のデータ２５０ａとは異なる。いくつかの実施形態では、第２のデータ２５０ａは一つ又は複数のサーバコンピュータ１２０からエッジ車両１１０ａ－ｎの各々に送信される。

【0053】

開示された実施形態は、第２のデータ２５０ａに基づいてエッジモデル２１０ａを更新することを含む。第２のデータ２５０ａを用いてエッジモデル２１０ａ（並びに可能性としては両方のコピーがメモリ１１７に記憶されている場合に、訓練されたエッジモデル２３０ａ）を更新した後、更新されたエッジモデルは、元のエッジモデル２１０ａ及び訓練されたエッジモデル２３０ａの両方に対してより高い信頼レベルの推定を生成することができる。例えば、プロセッサ１１８は、更新されたエッジモデルを通して第１のデータ項目２２２ａを動作させた後、更新された第１の推定として、９８％の信頼で（訓練されたエッジモデル２３０ａを使用した９５％及び元のエッジモデル２１０ａを使用した９０％からの上昇）、自転車が検出されたことを判別する。同様に、他の車両１１０ｂ－ｎはそれぞれ第２のデータ２５０ｂ－ｎを用いてこれらのそれぞれのエッジモデル２１０ｂ－ｎを更新する。代替的に、他の車両１１０ｂ－ｎは第２のデータ２５０ａを用いてこれらのそれぞれのエッジモデル２１０ｂ－ｎを更新してもよい。

【0054】

図６は、実施形態に従って自動運転車両のためのニューラルネットワークを訓練するＦＬを提供する方法についてのフローチャートである。図６を参照すると、操作３０２において、システムは一つ又は複数のサーバコンピュータから通信ネットワークを介してエッジモデルを受信する。操作３０４では、システムは、車両上のセンサによって取得されたセンサデータを収集する。操作３０６では、システムは、第１のデータ項目が基準を満たすと判定されたときに、収集されたセンサデータの中から第１のデータ項目を特定する。操作３０８では、システムは、特定された第１のデータ項目に対して変換を適用して第２のデータ項目を生成し、第１のデータ項目と、第２のデータ項目と、第１のデータ項目と第２のデータ項目との間の変換を表す信号とを含む訓練データセットを形成する。操作３１０では、システムは訓練データセット上でエッジモデルに対する訓練を行う。操作３１２では、システムは、訓練されたエッジモデルを表す第１のデータを通信ネットワークを介して一つ又は複数のサーバコンピュータに送信する。

【0055】

上述した方法の一つ又は複数の操作が省略され又は他の操作と組み合わされてもよく、且つ一つ又は複数の追加の操作が加えられてもよいことが理解される。

【0056】

上述した方法を利用して、従来の自動運転車両の訓練技術に対するいくつかの利点が実現される。訓練データをコーディネータに送信することとは対称的に、ローカルで訓練を行うことによって、ユーザのデータのプライバシーが確保される。信頼性の高い自己教師を適用することによって、教師信号が容易に又は実際的に達成できない車両コンテキストにおいて訓練を行うことができ、推定の精度を改善することができる。更新／訓練されたモデルではなく勾配のみを送信することによって、送信のオーバーヘッドが低減され、このことによって通信ネットワークのパフォーマンスを改善することができる。複数のエッジデバイスからＭＬモデルに対する更新を集約することによって、大量のデータを用いてＭＬモデルを効率的に訓練することができ、このことによってパフォーマンス（推定の精度）を改善することができる。

【0057】

前述の開示は、例示及び説明を提供するが、網羅的であること、又は開示された正確な形態に実施を限定することを意図するものではない。修正及び変形が上記の開示に照らして可能であり又は実施の実践から得られてもよい。例えば、いくつかの実施形態において、（例えばコンピュータデバイスを介してユーザによって）少なくともいくつかのセンサデータ２２０に注釈が付与されてもよい。この場合、センサデータ２２０は、スマートフォン、モバイルデバイス、又はユーザの他のコンピュータデバイスに送信又は提供され、ユーザが画像内の物体に注釈を付与することができる。他の実施形態では、自己教師あり訓練（例えば回転の予測）の後、人間が注釈を付与したラベルを使用する教師あり訓練が適用されてもよい。斯かる最初の自己教師を用いたニューラルネットワークの訓練はその後の教師あり学習のパフォーマンスを増大させる。回転角度の予測のために、ニューラルネットワークは画像内の物体の方向の理解を必要とする。したがって、ニューラルネットワークは特定の画像特徴に焦点を当てるように学習することができる。例えば、正面を向いた車を画像内に有する画像では、車が画像内で逆さまであるかを見分けるために、ナンバープレートが通常フロントガラスの下に位置していることを理解することが重要である。このため、フロントガラスがナンバープレートよりも上に位置している場合には、画像内の車が逆さまである可能性が高い。ニューラルネットワークは、最初の時点では、それが抽出する、「ナンバープレート」又は「フロントガラス」と称される画像特徴を知らない。したがって、一般的な自己教師あり訓練は、ニューラルネットワークが線又はエッジのような単純な形状よりもむしろ有用な画像特徴を抽出するように学習するように仕向ける。第２の段階では、自己教師あり学習の後に教師あり訓練が適用されたときに、ニューラルネットワークは、或る物体を予測するために、学習された画像特徴をどのように使用すべきかを教えられる。概して、ニューラルネットワークがどのくらい有用な画像特徴を抽出できるかがより高いパフォーマンスと相関し、より良い抽出が、概して、ニューラルネットワークが訓練中に曝される画像の数と相関する。このため、自己教師あり学習によってより多くの画像を使用することは、人間によるラベルのアノテーションを用いたより少数の画像のみでの訓練よりもパフォーマンスを増大させるのに役立つ。

【0058】

本明細書において使用されるとき、用語「コンポーネント」は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せとして広く構成されることを意図している。

【0059】

本明細書に記載されたシステム及び／又は方法が、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組合せの種々の形態で実装されうることが明らかであろう。これらシステム及び／又は方法を実装するために使用される実際の専用の制御ハードウェア又はソフトウェアコードは実装を限定するものではない。このため、システム及び／又は方法の操作及び挙動が特定のソフトウェアコードを参照することなく本明細書に記載され、ソフトウェア及びハードウェアが本明細書の記載に基づいてシステム及び／又は方法を実装するように設計されうることが理解される。

【0060】

特徴の特定の組合せが特許請求の範囲に列挙され且つ／又は明細書に開示されているが、これら組合せは可能な実装の開示を限定することは意図していない。実際、これら特徴の多くを、特許請求の範囲に具体的に列挙されてなく且つ／又は明細書に開示されていない方法で組み合わせることができる。以下に挙げられた各従属請求項が一つの請求項のみに直接従属しているが、可能な実装の開示は、請求項のセット内の他の全ての請求項と組み合わされた各従属請求項を含む。

【0061】

本明細書において使用される要素、行為又は命令は、明示的に記載されない限り、重要又は必須であると解釈されるべきではない。また、本明細書において使用されるとき、冠詞「ａ」及び「ａｎ」は、一つ又は複数の項目を含むことを意図しており、「一つ又は複数の」と交換可能に使用されうる。さらに、本明細書において使用されるとき、用語「組」は、一つ又は複数の項目（例えば、関連する項目、関連しない項目、関連する項目と関連しない項目との組合せ等）を含むことを意図しており、「一つ又は複数の」と交換可能に使用されうる。一つのみの項目が意図されている場合、用語「一つ」又は類似の言葉が使用される。また、本明細書において使用されるとき、用語「有する」又は同様の用語は、オープンエンドの用語であることを意図している。さらに、語句「基づく」は、反対のことが明記されない限り、「少なくとも部分的に基づく」を意味することを意図している。

【0062】

要素のリストに先行するときの「少なくとも一つの」のような表現は、要素のリスト全体を修飾し、リストの個々の要素を修飾することはない。例えば、表現「ａ、ｂ及びｃの少なくとも一つ」は、ａのみ、ｂのみ、ｃのみ、ａ及びｂの両方、ａ及びｃの両方、ｂ及びｃの両方、ａ、ｂ及びｃの全て、又は前述の例の任意のバリエーションを含むものと理解されるべきである。

【0063】

「第１の」、「第２の」等のような用語が様々な要素を記載するのに使用されるが、斯かる要素は上記の用語に限定されてはならない。上記の用語は、一つの要素を別の要素と区別するためのみに使用されうる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】