特許 7155265 分類子をトレーニングおよび更新するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】分類子をトレーニングおよび更新するための方法およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221011BHJP

   G08G 1/16 20060101ALI20221011BHJP

【ＦＩ】

G06T7/00 350C

G08G1/16 A

G06T7/00 650B

【請求項の数】 8

(21)【出願番号】P 2020532666

(86)(22)【出願日】2017-12-15

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 EP2017083122

(87)【国際公開番号】W WO2019114991

(87)【国際公開日】2019-06-20

【審査請求日】2020-07-10

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

【住所又は居所原語表記】Ｖａｈｒｅｎｗａｌｄｅｒ Ｓｔｒａｓｓｅ ９， Ｄ－３０１６５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ヘニング ハーマー

(72)【発明者】

【氏名】ローベアト ティール

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１５－１３５５５２（ＪＰ，Ａ）

【文献】特開２００５－３０９９２０（ＪＰ，Ａ）

【文献】Road condition monitoring and alert application: Using in-vehicle Smartphone as Internet-connected sensor，2012 IEEE International Conference on Pervasive Computing and Communications Workshops，2012年，https://ieeexplore.ieee.org/document/6197543

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

バックエンド側分類子をトレーニングおよび更新するための方法であって、
バックエンドデバイスが、少なくとも１つの車両から、車両側分類子によって生成されたそれぞれの分類結果とともに分類データを受信するステップと、
前記バックエンドデバイスが、前記分類データと、アノテーションとしての、修正可能性のあるそれぞれの分類結果とを使用して、前記バックエンド側分類子をトレーニングするステップと、
を含み、
前記分類データは生データであり、
前記バックエンドデバイスによる前記バックエンド側分類子をトレーニングするステップが、
複数の車両から受信した同じ分類オブジェクトの分類結果を比較するステップと、
前記分類結果が異なる場合、不整合または偽の分類結果を求めるために、前記分類結果に整合性チェックを適用し、前記整合性チェックに基づく整合性のあるアノテーションのみを使用して、前記バックエンド側分類子をトレーニングするステップと、
を含み、
前記方法がさらに、前記バックエンドデバイスが、整合性のあるアノテーションを、不整合または偽の分類結果が発生した車両に返信するステップを含む、
方法。

【請求項2】

前記方法がさらに、前記バックエンドデバイスが、前記整合性のあるアノテーションに基づいて、前記不整合または偽の分類結果が発生した前記車両の前記車両側分類子の更新を開始するステップを含む、請求項１記載の方法。

【請求項3】

前記バックエンドデバイスによる前記分類結果に整合性チェックを適用するステップが、前記同じ分類オブジェクトの分類結果に投票スキームを適用し、前記投票スキームによって投票された前記分類結果を、前記分類オブジェクトの整合性のあるアノテーションとして設定するステップを含む、請求項１または２記載の方法。

【請求項4】

前記バックエンドデバイスによる前記分類結果に整合性チェックを適用するステップが、手動アノテータによって前記分類データにアノテーションを付すステップを含む、請求項１から３までのいずれか１項記載の方法。

【請求項5】

前記バックエンドデバイスによる前記バックエンド側分類子をトレーニングするステップが、前記バックエンド側分類子を更新するステップを含む、請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記バックエンド側分類子および前記車両側分類子が、複数の層を有する多層分類子であり、前記分類データが、前記複数の層のうちの特定の層の出力である、請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記バックエンドデバイスによる前記バックエンド側分類子をトレーニングするステップが、前記複数の層のうちの前記特定の層に対応する幾つかの層を更新するステップを含む、請求項６記載の方法。

【請求項8】

少なくとも１つの車両の車両側分類子によって生成されたそれぞれの分類結果とともに分類データを受信するように構成された受信機と、
バックエンド側分類子を実装するように構成され、かつ前記分類データと、アノテーションとしての、修正可能性のあるそれぞれの分類結果とを使用して、前記バックエンド側分類子をトレーニングするように構成された１つ以上のプロセッサと、
を備えるバックエンドデバイスであって、
前記１つ以上のプロセッサが、
複数の車両から受信した同じ分類オブジェクトの分類結果を比較し、
前記分類結果が異なる場合、不整合または偽の分類結果を求めるために前記分類結果に整合性チェックを適用し、前記整合性チェックに基づく整合性のあるアノテーションのみを使用して、前記バックエンド側分類子をトレーニングする
ように構成されており、
前記バックエンドデバイスがさらに、整合性のあるアノテーションを、不整合または偽の分類結果が発生した車両に返信するように構成されており、前記バックエンドデバイスがさらに、前記整合性のあるアノテーション基づいて、前記不整合または偽の分類結果が発生した前記車両の前記車両側分類子の更新を開始するように構成されている、バックエンドデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、分類子をトレーニングおよび更新する方法に関する。本開示は、特に、バックエンド側分類子をトレーニングおよび更新するための方法に関する。

【0002】

技術的背景
高度な運転者支援システムは、車両上または車両内に搭載されたカメラによって取得されたカメラ画像の要素の分類に依拠することができる。分類は、トレーニング可能な分類子、例えばニューラルネットワークによって達成できる。一般に、分類子は、所望の分類結果を生成することを目的として、幾つかの陽性または陰性の入力サンプルによりトレーニングされる。分類子は、特にカメラ画像上でトレーニングされ、カメラ画像における所定のクラスの要素の自動認識を実現することができる。これにより、歩行者、車両、交通標識などを認識することができる。車両内のカメラによって供給された画像にトレーニングされた分類子を適用することにより、多くの使用例、例えば自動運転、衝突回避などを可能とすることができる。

【0003】

分類子は、オフラインでトレーニング可能である。手動アノテーション付きの幾つかのサンプルが与えられると、分類子は、入力サンプルの特性を学習して、陰性サンプルから陽性サンプル、例えば所定のクラスに属するサンプルを正確に区別しようと試みる。

【0004】

一般的な分類方法の１つは、ニューラルネットワークを使用することである。近年、予めトレーニングされた分類子の遡及的適応化を可能にするニューラルネットワークの微調整方法が提案されている。この目的のために、新規のトレーニング例が再トレーニングに使用される。再トレーニングとは、分類子内で重みを適応化することを意味する。

【0005】

ただし、適切なトレーニングサンプルを識別し、車両側分類子に配布する必要がある。適切なトレーニングサンプルの手動識別および手動アノテーションには、時間および費用がかかりうる。

【0006】

開示
本開示の目的は、上記の欠点を克服することである。この目的は、独立請求項に記載の方法およびバックエンドデバイスによって達成される。従属請求項は、本開示のさらなる態様に関する。

【0007】

本開示は、バックエンド側分類子を更新およびトレーニングするための方法に関する。当該方法は、バックエンドデバイスで、少なくとも１つの車両から、車両側分類子によって生成されたそれぞれの分類結果とともに分類データを受信することと、分類データと、アノテーションとしての、修正可能性のあるそれぞれの分類結果とを使用して、バックエンド側分類子をトレーニングすることと、を含む。したがって、バックエンド側分類子は、事前トレーニング済の車両側分類子の結果に基づいてトレーニングまたは微調整される。分類結果および基礎となる分類データは、１つ以上の車両によってバックエンドに送信される。

【0008】

分類データは、任意の種類の入力データ、例えば分類およびトレーニングに必要な生データまたは前処理済データであってよい。前処理済データは、任意のステージまたはマルチステージ分類子の出力を含みうる。具体的には、分類データは、車両によって取得された生データ、例えば生カメラ画像を含みうる。事前トレーニング済の車両側分類子の分類結果は、バックエンド側分類子を最初からトレーニングするための、またはパラメータ、例えばニューラルネットワークの場合には重みを更新することによってバックエンド側分類子をトレーニングするためのアノテーションとして使用可能である。バックエンド側分類子を正確にトレーニングまたは更新するには、整合性のある正確なアノテーションのみを使用する必要がある。したがって、バックエンドによって受信された分類結果に整合性チェックを適用することができ、車両側分類子によって生成された不整合または偽の分類結果を修正する必要がある。ただし、一部の車両側分類子が分類オブジェクトを正確に識別可能である一方で、他の車両側分類子は正確に識別可能でない場合があるため、車両側分類子によって生成された、不整合または偽の分類結果をもたらした分類データは、有益なトレーニングデータを表しうる。この場合、明らかに、分類オブジェクトは、洗練された（すなわち集中的にトレーニングされた）分類子によってのみ識別可能なプロパティを有しうる。こうした分類データによって既存のバックエンド側分類子をトレーニングする場合、分類子の分類プロパティの向上を期待できる。このように、複数の車両側分類子から受信した分類結果に整合性チェックを適用することにより、有益なトレーニングデータを効率的に求めるための手法が得られる。したがって、トレーニングデータを手動で選択する必要がなくなる。

【0009】

上記のように、バックエンド側分類子のトレーニングには、分類結果の整合性チェックを行うために、複数の車両から受信した同じ分類オブジェクトの分類結果を比較することが含まれうる。分類結果が異なる場合、整合性チェックを分類結果に適用して、不整合または偽の分類結果を求めることができる。次に、整合性チェックに基づく整合性のあるアノテーションのみを使用して、バックエンド側分類子をトレーニングすることができる。このように、整合性のある分類結果を識別することによって、修正された分類結果を取得することができる。整合性のある分類結果は、それぞれの分類データの整合性のあるアノテーションとして使用可能である。整合性のあるアノテーションは、不整合または偽の分類結果が発生した車両に返信することができる。整合性のあるアノテーションに基づいて、バックエンドは、不整合または偽の分類結果が発生した車両の車両側分類子の更新を開始することができる。

【0010】

分類データ、例えばカメラ画像によって表される分類オブジェクト、例えば道路標識は、その地理的位置とともに、１つ以上の車両によって通信可能である。分類オブジェクトの整合性のある正確なアノテーションを求めたバックエンドは、分類データおよび地理的位置とともに、整合性のある正確なアノテーションを、複数の車両、特に分類オブジェクトの近くの車両に配布することができる。地理的位置は、ＷＧＳ８４によって符号化可能である。

【0011】

分類結果に整合性チェックを適用することは、同じ分類オブジェクトの分類結果に対して、投票スキーム、例えば自動バックエンド支援投票システム（例えば多数決）を適用することと、投票スキームが投票した分類結果（例えば多数決に勝利した分類結果）を、分類データによって表される分類オブジェクトの整合性のあるアノテーションとして設定することと、を含みうる。

【0012】

整合性チェックでは、様々な車両側分類子、例えば様々な種類の分類子または様々な起源の分類子からの分類結果を使用可能である。

【0013】

多数決が同数票の場合は、分類データの手動アノテーションを使用する必要が生じうる。バックエンドは、手動アノテータにより分類データにアノテーションを付すサービスセンタに、分類データを通信可能である。正確で整合性のあるアノテーションは、サービスセンタからバックエンドにより取得可能である。

【0014】

初期的に偽または不整合である分類データは、修正されたアノテーション、すなわち修正されて整合性のあるアノテーションとともに分類されており、当該分類データは、バックエンド側分類子をトレーニングするために使用可能である。バックエンド側分類子は、更新によりトレーニング可能である。

【0015】

上記のように、整合性チェックはバックエンドで実行可能である。ただし、通信リソースを節約するために、車両内で整合性チェックが実行されることがある。この目的のために、車両は異なる種類の２つの分類子を有しうる。こうして、同じ車両内の２つの分類子が異なる分類結果を生成する場合、分類子のトレーニングに対して有益な分類データが識別され、バックエンドに送信可能となる。さらに、分類結果が不整合である場合には、車両は、分類データによって表されるそれぞれの分類オブジェクトの正確な分類を求められないことがある。車両は、バックエンドを利用して正確な分類を取得することができる。したがって、正確で整合性のあるアノテーションをバックエンドによって生成することができ、これを使用して、不正確な分類結果を生成した車両側分類子を更新できる。不整合または不正確な分類結果を求めた車両は、分類が不整合または不正確であるという指示を生成することができる。バックエンドは、分類データおよび分類結果とともに、分類が不整合または不正確であるという指示を受信することができる。当該指示によってトリガされると、バックエンドは、分類データに基づき、例えば自身のバックエンド側分類子または手動アノテータにより、正確な分類を求めることができる。次に、バックエンドデバイスは、分類データおよび正確な分類結果を、当該車両または別の車両に通信することができる。続いて、バックエンドデバイスは、分類データと求められた正確な分類結果のアノテーションとに基づいて、車両または他の車両の車両側分類子のトレーニングを開始することができる。したがって、車両側分類子の不整合のある分類結果を識別し、これをバックエンドデバイスで修正することにより、正確なアノテーションとともに、有益なトレーニングデータを識別可能である。このように、トレーニングデータを識別し、これを利用して車両側分類子をトレーニングする、効率的な方法が提示される。

【0016】

ただし、分類子をトレーニングするための正確なアノテーションを提供するために、バックエンドデバイスが整合性のある正確な分類結果自体を求める必要がないことがある。バックエンドデバイスは、代わりに他の車両の車両側分類子を使用して、整合性のある正確な分類結果を求めることができる。これにより、バックエンドデバイスは、分類が不整合であるという指示を受信すると、分類データを自身で評価することとは別に、またはこれに代えて、分類データを他の複数の車両に通信することができる。この場合、バックエンドデバイスは、他の複数の車両のそれぞれの車両側分類子による分類データの分類を開始することができる。分類が完了すると、バックエンドデバイスは、次に、他の複数の車両から分類結果を受信し、分類結果に投票スキーム、例えば多数決を適用し、投票スキーム、例えば多数決に勝利した分類結果を、分類オブジェクトの整合性のあるアノテーションとして設定することができる。バックエンドデバイスは、整合性のあるアノテーションを車両または別の車両に通信することができる。バックエンドデバイスは、分類データとアノテーションとしての求められた正確な分類結果とに基づいて、車両または別の車両の車両側分類子のトレーニングを開始することができる。

【0017】

バックエンド側分類子は、最初からトレーニングする必要はない。代わりに、トレーニング内で微調整された既存の分類子を使用することができる。例えば、車両側分類子のコピーがバックエンド側分類子の開始点としてバックエンドに存在しうる。新規でありかつ整合可能性のある分類がそれぞれの分類データとともにバックエンドに到達すると、整合性がありかつ修正可能性のあるアノテーションとともに分類データをバックエンド側分類子に挿入して、パラメータ、例えば重みを適合させ、分類子を改善することができる。改善されたバックエンド側分類子は、例えば無線での更新を介して車両に再配布することができる。

【0018】

上記で提案されているトレーニングスキームはいずれも、トレーニングセット内の分散度を増加させる。全トレーニングデータセットは、複数の分類データセットを含む。

【0019】

分類データをその分類結果とともに生データ、例えばカメラ画像の形式でバックエンドに送信することに代えて、より抽象的な表現をバックエンドにアップロードすることができる。バックエンド側分類子および車両側は、複数の層を有する多層分類子であってよい。例えば、ニューラルネットワーク分類子は、複数の層で構成され、各層にはパーセプトロンが含まれる。パーセプトロンには、分類子を定義する重みが含まれている。分類のために、生データが第１の層に挿入される。次に、データが、ネットワークの様々な層を移動する際に変換され、ここで、最終的な分類結果は、最後の層の出力となる。生データをアップロードする代わりに、任意の層の生データの表現をアップロードできる。例えば、車両側分類子の層１０の出力をアップロードして、それぞれのバックエンド側分類子の層１１に挿入することができる。したがって、分類データは、複数の層のうちの特定の層の出力となる。バックエンド側分類子内では、車両側分類子の出力層より上位の層のみをトレーニングまたは更新することができる。言い換えれば、バックエンド側分類子をトレーニングすることは、車両側分類子の複数の層のうちの特定の層に対応する幾つかの層を更新することを含む。微調整には、これで十分である。これにより、バックエンドに通信されるデータが節約され、通信リソース、帯域幅または時間などが節約される。さらに、完全なカメラ画像のアップロードと比較して、プライバシーの問題が生じない。したがって、プライバシーの問題に影響を与える解決手段とは対照的に、よりユーザに受け入れられやすいと期待できる。生データの他の抽象的な表現、例えば画像処理の結果、例えばデモザイキング、およびハンドクラフテッドフィーチャ、例えば指向性勾配フィーチャのヒストグラムは、分類子のトレーニングのために、車両からバックエンドに通信可能である。

【0020】

本開示はさらに、少なくとも１つの車両の車両側分類子によって生成されたそれぞれの分類結果とともに分類データを受信するように構成された受信機と、バックエンド側分類子を実装するように構成され、かつ分類データと、アノテーションとしての、修正可能性のあるそれぞれの分類結果とを使用してバックエンド側分類子をトレーニングするように構成された１つ以上のプロセッサと、を含むバックエンドデバイスに関する。

【0021】

１つ以上のプロセッサは、複数の車両から受信した同じ分類オブジェクトの分類結果を比較するように構成可能である。分類結果が異なる場合、１つ以上のプロセッサは、分類結果に整合性チェックを適用して、不整合または偽の分類結果を求め、整合性チェックに基づく整合性のあるアノテーションのみを使用して、バックエンド側分類子をトレーニングするように構成されている。

【0022】

本開示はさらに、上記のバックエンドデバイスおよび１つ以上の車両を含むシステムに関する。各車両は、車両側分類子を含む。バックエンドデバイスはさらに、整合性のあるアノテーションを、不整合または偽の分類結果が発生した車両に返信するように構成可能である。バックエンドデバイスはさらに、整合性のあるアノテーションに基づいて、不整合または偽の分類結果が発生した車両の車両側分類子の更新を開始するように構成可能である。

【0023】

本発明の様々な実装形態を図面に示し、以下で説明および議論する。

【図面の簡単な説明】

【0024】

【図1】バックエンドデバイスおよび３つの車両側分類子を示す図である。

【図2】多数決によって生成された、またはバックエンドによって手動で開始されたアノテーションを使用した、バックエンド側分類子のトレーニング方法を示すフローチャートである。

【図3】車両によって開始される、バックエンド側分類子および／または車両側分類子のトレーニング方法を示すフローチャートである。

【図4】車両によって開始される、多数決によって生成されたアノテーションを使用した、車両側分類子のトレーニング方法を示すフローチャートである。

【0025】

発明の詳細な説明
図１は、通信ネットワーク１０４を介して車両デバイス１０６、車両デバイス１０８および車両デバイス１１０に通信可能に接続されているバックエンドデバイス１０２を含むシステム１００のブロック図を示す。通信ネットワーク１０４は、通信規格、例えばモバイル通信用グローバルシステム（ＧＳＭ）、ロングタームエボリューション（ＬＴＥ）もしくは５Ｇに基づく無線通信ネットワーク、またはＣａｒ‐ｔｏ‐Ｘ通信に適した他の任意のネットワークでありうる。バックエンドデバイス１０２は、通信ネットワーク１０４を介して車両デバイス１０６、１０８、１１０からデータを受信し、または車両デバイス１０６、１０８、１１０にデータを送信する送受信機を含む。バックエンドデバイス１０２は、メモリ１１４に接続されたプロセッサ１１２をさらに含む。メモリ１１４は、ソフトウェアモジュールとして実装された複数の分類子１１６、１１８、１２０を格納している。分類子１１６は、車両側のスタンドアロン分類子であってもよい。分類子１１８は、特定の車両側分類子のコピー、例えば車両側分類子１４２のコピーを表す分類子であってよい。分類子１２０は、別の特定の車両側分類子のコピー、例えば第２の通常の機器製造業者のコピーを表す分類子であってもよい。

【0026】

第１の車両に含まれる車両デバイス１０６は、メモリ１２４に接続されたプロセッサ１２２を含む。メモリ１２４は、ソフトウェアモジュールとして実装された車両側分類子１２６を格納している。車両デバイス１０６は、通信ネットワーク１０４を介して通信するための送受信機を含む。

【0027】

第２の車両に含まれる車両デバイス１０８は、メモリ１３２に接続されたプロセッサ１３０を含む。メモリ１３２は、ソフトウェアモジュールとして実装された車両側分類子１３４を格納している。車両デバイス１０８は、通信ネットワーク１０４を介して通信するための送受信機を含む。

【0028】

第３の車両に含まれる車両デバイス１１０は、メモリ１３８に接続されたプロセッサ１３６を含む。メモリ１３８は、それぞれソフトウェアモジュールとして実装された車両側分類子１４０および車両側分類子１４２を格納している。車両側分類子１４０は、そのパラメータに関して、またはその構造に関して、車両側分類子１４２とは異なりうる。車両側分類子１４０および１４２が異なる分類結果を生成した場合、車両デバイス１１０自体が、分類結果が不整合であると判別することができる。不整合のある分類結果は、基礎となる分類データが分類子のトレーニングに特に有益でありうることを示している可能性があるが、これは、分類子１４０、１４２のうち一方のみが当該分類データに対して正確に機能するためである。こうした有益な分類データは、バックエンドデバイス１０２に通信可能である。この目的のために、車両デバイス１１０は、通信ネットワーク１０４を介して通信するための送受信機を含む。

【0029】

システム１００は、特定の１つの実施形態を表しているに過ぎない。例えば、車両側分類子は、車両の電子制御ユニットのプロセッサで実行されるソフトウェアモジュールとして実装されていてもよい。

【0030】

スタンドアロンのバックエンド側分類子１１６は、トレーニングデータ、すなわち通信ネットワーク１０４を介して車両から収集された分類データを使用してトレーニング可能である。適切な、すなわち有益な分類データを求めるために、バックエンドデバイス１０２は、様々な車両側分類子１２４、１３４、１４０および１４２が様々な結果を生成する分類オブジェクトの分類データを収集する。バックエンド側分類子１１６のトレーニングまたは更新について、プロセッサ１１２に実装されている方法２００のフローチャートを示す図２を参照して説明する。

【0031】

車両側分類子１２６、１３４、１４０および１４２のそれぞれは、同じ分類オブジェクト、例えば車両デバイス１０６、１０８および１１０を含む車両が当該分類オブジェクトによって運転を行うときの道路標識を分類することができる。

【0032】

バックエンドデバイス１０２は、通信ネットワーク１０４を介して車両デバイス１０２、１０６、１０８にリクエストを送信することにより、データ転送を開始することができる。代替的に、バックエンドデバイス１０４は、ステージ２００に示しているように、複数の車両、例えば第１の車両、第２の車両および第３の車両からのそれぞれの分類結果とともに、分類オブジェクトの分類データを連続的に受信することもできる。

【0033】

バックエンドデバイス１０２は、ステージ２００に示しているように、同じ分類オブジェクトの分類結果を比較することができる。分類オブジェクトは、その地理的位置によって識別可能である。この目的のために、第１、第２および第３の車両は、分類オブジェクト、例えばＧＰＳまたはレーダの地理的位置を求める手段を含むことができる。

【0034】

バックエンドデバイス１０２は、ステージ２０６に示しているように、分類結果が異なるかどうかを判別することができる。分類結果に相違がない場合、分類結果には整合性があり、正確であると見なすことができる。当該分類結果は、車両側分類子１１６をトレーニングするための分類データのアノテーションとして使用することができる。分類結果が異なる場合、バックエンドデバイス１０２は、ステージ２１０に示しているように、多数決に基づいて、分類結果に整合性チェックを適用することができる。

【0035】

多数決が存在する場合、例えば４つの分類子のうち３つの分類子１２６、１３４、１４０が特定の分類オブジェクトを求め、分類子１４２が別の分類オブジェクトを求めた場合、ステージ２１４に示しているように、多数決に勝利した分類結果が、分類データの正確なアノテーションとして使用される。このように求められた正確なアノテーションとともに分類データを使用することにより、スタンドアロン分類子１１６をバックエンドでトレーニングすることができる。しかし、分類子１４２は明らかに分類オブジェクトを正確に分類していないため、何らかの改善が必要である。したがって、求められた正確なアノテーションとともに分類データを車両デバイス１１０に返信することができる。バックエンドデバイス１０２は、車両側分類子１４２のトレーニングを開始することができる。代替的に、バックエンド側分類子１１８は、車両側分類子１４２のコピーであってもよい。バックエンドデバイス１０２は、分類データおよび求められた正確なアノテーションに基づいて、バックエンド側分類子１２０をトレーニングすることができる。トレーニングが完了すると、車両側分類子１２０の更新されたパラメータは、通信ネットワークを介して車両デバイス１１０に通信可能となる。この場合、車両デバイス１１０は、更新されたパラメータを使用して、車両側分類子１４２を更新することができる。

【0036】

ただし、多数決が存在しない場合、例えば結果が同数の場合がある。例えば、車両側分類子１２６および１３６が特定の分類オブジェクトを求め、車両側分類子１４０および１４２が別の分類オブジェクトを求めたとする。この場合、整合性のあるアノテーションを、多数決で求めることができない。この場合、バックエンドデバイス１０２は、他の方法を使用して、正確なアノテーション、すなわち分類オブジェクトの分類結果を求めることができる。ステージ２１６に示すように、分類データには手動でアノテーションを付すことができる。この目的のために、バックエンドデバイス１０２は、手動アノテータが存在する外部サーバまたはサービスプロバイダに分類データを通信することができる。このようにして求められた正確なアノテーションは、バックエンド側のスタンドアロン分類子１１６をトレーニングまたは更新するために使用可能である。当該分類子は、この場合、分類データを正確に分類していないため、バックエンドデバイス１０２は、車両側分類子１４０および１４２のトレーニングを開始することができる。代替的に、バックエンド側分類子１１８は、車両側分類子１４０のコピーであってよく、バックエンド側分類子１２０は、車両側分類子１４２のコピーであってよい。バックエンドデバイス１０２は、分類データと求められた正確なアノテーションとに基づいて、バックエンド側分類子１１８およびバックエンド側分類子１２０をトレーニングすることができる。トレーニングが完了すると、車両側分類子１１８および車両側分類子１２０の更新されたパラメータは、通信ネットワークを介して車両デバイス１１０に通信可能となる。この場合、車両デバイス１１０は、更新されたパラメータを使用して、車両側分類子１４０および車両側分類子１４２をそれぞれ更新することができる。

【0037】

上記の方法により、分類子のトレーニングに適したトレーニングデータセット、すなわち一部の分類子が正確な分類結果を生成し、他の分類子は正確な分類結果を生成しない分類データを、暗黙的に識別する手法が得られる。

【0038】

ただし、複数の車両から受信した分類結果に多数決を適用することから、バックエンド自体がトレーニングデータセットを識別する必要があることがわかる。

【0039】

図３は、適切なトレーニングデータセットが車両内で識別される方法のフローチャートを示す。

【0040】

分類オブジェクトは、ステージ３０２に示しているように、車両側分類子１４０および車両側分類子１４２によって分類可能である。２つの分類結果が異なる場合、すなわち不整合となる場合がある。したがって、一方または両方の分類子が正確に機能しなかった可能性がある。ステージ３０６に示しているように、車両デバイス１１０は、不整合のある分類結果が生成されたという指示を生成可能であり、当該指示を分類データとともに通信ネットワーク１０４を介してバックエンドデバイス１０２に通信可能である。したがって、車両デバイス１１０自体が不整合性を求めるため、バックエンドデバイスは、他の車両側分類子を使用して分類結果が不整合であるか否かを判定するための通信労力を節約することができる。

【0041】

ステージ３０６に示しているように、分類結果がそれぞれの分類データと不整合または偽であるという指示を受信すると、バックエンドデバイス１０２は、ステージ３０８に示しているように、例えば自身のスタンドアロン分類子１１６を使用することにより、正確な分類結果、すなわち分類についての正確で整合性のあるアノテーションを求めることができる。代替的に、図４を参照して後述するように、バックエンドデバイス１０２は、通信ネットワーク１０４を介してアクセス可能な他の車両の手動アノテータ、または車両側分類子を使用することもできる。

【0042】

バックエンドデバイス１０２が正確な分類結果を求めると、バックエンドデバイス１０２は、分類結果を分類データとともに車両デバイス１１０に返信することができる。さらに、バックエンドデバイス１０２は、ステージ３１０に示しているように、分類データを、正確な分類結果とともに、他の車両デバイス、例えば車両デバイス１０６および／または１０８に通信することができる。

【0043】

ステージ３１２に示しているように、バックエンドデバイス１０２は、車両側分類子１４０および１４２ならびに車両側分類子１２６および１３４のトレーニングを開始することができ、これらは次に、それぞれステージ３１４および３１６に示しているように、分類データと正確なアノテーションとに基づいてトレーニング可能となる。

【0044】

上記のように、１つの車両デバイスが、バックエンドデバイスによってアノテーションが付された適切かつ有益なトレーニングデータを識別するので、当該トレーニングデータとともに正確なアノテーションがネットワークを介して配布されて、他の車両デバイスの車両側分類子がトレーニングされる。

【0045】

図４は、適切なトレーニングデータセットが車両内で識別され、正確な分類結果が複数の車両側分類子によって識別される方法のフローチャートを示す。

【0046】

分類オブジェクトは、ステージ４０２に示しているように、車両側分類子１４０および車両側分類子１４２によって分類可能である。２つの分類結果が異なる場合、すなわち不整合となる場合がある。したがって、一方または両方の分類子が正確に機能しなかった可能性がある。車両デバイス１１０は、ステージ４０６に示しているように、不整合のある分類結果が生成されたという指示を生成可能であり、当該指示を分類データとともに通信ネットワーク１０４を介してバックエンドデバイス１０２に通信可能である。したがって、車両デバイス１１０自体が不整合性を求めるため、バックエンドデバイスは、他の車両側分類子を使用して部類結果が不整合であるか否かを判定するための通信労力を節約することができる。

【0047】

ステージ４０６に示しているように、バックエンドデバイス１０２は、分類結果がそれぞれの分類データと不整合または偽であるという指示を受信すると、通信ネットワーク１０４を介してアクセス可能な他の車両の車両側分類子を使用することにより、正確な分類結果、すなわち分類についての正確で整合性のあるアノテーションを求めることができる。

【0048】

この目的のために、バックエンドデバイス１０２は、ステージ４０８に示しているように、分類データを、車両デバイス１０６および１０８、ならびに図１に示されていない他の車両デバイスに通信することができる。

【0049】

バックエンドデバイス１０２は、ステージ４１０に示しているように、分類データが通信された各車両デバイスの車両側分類子、例えば車両側分類子１２６、１２８などにより、分類データの分類を開始することができる。

【0050】

次に、各車両側分類子は、ステージ４１２に示しているように、分類オブジェクトを分類し、結果をバックエンドデバイス１０２に返信することができる。次に、バックエンドデバイス１０２は、ステージ４１４に示しているように、分類結果を受信し、ステージ４１６に示しているように、分類結果に多数決を適用することができる。多数決に勝利した分類結果が、分類オブジェクトの整合性のあるアノテーションとして設定される。

【0051】

次に、バックエンドデバイス１０２は、ステージ４２０に示しているように、車両デバイス１１０の車両側分類子と、場合によっては他の車両の車両側分類子とのトレーニングを開始する。さらに、バックエンドデバイス１０２は、分類データと整合性のあるアノテーションとを使用して、自身のスタンドアロン分類子１１６をトレーニングすることができる。

【0052】

上記のように、１つの車両デバイスが、通信ネットワークを介してアクセス可能な他の車両側分類子を使用することによって、アノテーションが付された適切な有益なトレーニングデータを識別する。トレーニングデータとともに、整合性のある、すなわち正確なアノテーションがネットワークを介して配布され、他の車両デバイスの車両側分類子がトレーニングされる。

【0053】

上記のシナリオのいずれにおいても、分類データは多層分類子の特定の層の出力であってよい。この場合、他の分類子の後続の層を使用して、正確なアノテーションを求めることができる。また、他の分類子の後続の層は、当該種類の分類データと求められた正確なアノテーションとを使用してトレーニング可能または更新可能である。このように、データの収集および処理に関する幾つかのプライバシーの問題が解決されるため、運転者に受け入れられやすくなる。

【図1】

【図2】

【図3】

【図4】