特表 2023-515476 知覚システムのための訓練データ候補の自動特定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-13

(54)【発明の名称】知覚システムのための訓練データ候補の自動特定

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230406BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022549825

(86)(22)【出願日】2021-02-22

(85)【翻訳文提出日】2022-10-17

(86)【国際出願番号】 US2021019093

(87)【国際公開番号】W WO2021168435

(87)【国際公開日】2021-08-26

(31)【優先権主張番号】62/979,776

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521193485

【氏名又は名称】エッジ ケース リサーチ，インコーポレイテッド

【氏名又は名称原語表記】ＥＤＧＥ ＣＡＳＥ ＲＥＳＥＡＲＣＨ，ＩＮＣ．

(74)【代理人】

【識別番号】110001438

【氏名又は名称】弁理士法人 丸山国際特許事務所

(72)【発明者】

【氏名】コープマン，フィリップ ジェイ．

(72)【発明者】

【氏名】ドゥーナン，ウェスレー

(72)【発明者】

【氏名】オサイク，エリザベス アン

(72)【発明者】

【氏名】マイアズ，エーベン アイザク

(57)【要約】

【解決手段】知覚システムの性能を改善する際に使用される訓練データの知覚弱点を自動的に特定するための方法が説明される。模擬データの欠陥も特定される。この方法は、システムに組み込むことも、記憶媒体に置かれる命令に組み込むことも可能であって、ベースライン結果と拡張入力による結果との間で知覚システムの結果を比較することと、その比較に応答して知覚弱点を特定することとを含んでいる。再ラベリングされたデータを用いて知覚システムが再訓練されて、それによって改善される。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力データセットに対する機械学習（ＭＬ）知覚システムのラベリング性能を向上させるためのコンピュータ実施方法において、
コンピュータデバイスが、前記知覚システムを介して前記入力データセットを処理することと、
コンピュータデバイスが、１又は複数の知覚弱点を特定することと、
コンピュータデバイスが、前記１又は複数の知覚弱点を含む少なくとも１つのシーンを前記入力データセットから分離することと、
少なくとも１つの再ラベリングされたシーンを得るために前記少なくとも１つのシーンにおける前記１又は複数の知覚弱点を再ラベリングすることと、
コンピュータデバイスが、前記少なくとも１つの再ラベリングされたシーンを用いて知覚システムを再訓練することと、
によって、前記ＭＬ知覚システムのラベリング性能を向上させる、コンピュータ実施方法。

【請求項2】

前記１又は複数の知覚弱点を特定するステップは、欠陥検出エンジンによって実行される、請求項１に記載のコンピュータ実施方法。

【請求項3】

前記１又は複数の知覚弱点は、バウンディングボックスのラベリングされたオブジェクトを含む、請求項１に記載のコンピュータ実施方法。

【請求項4】

前記入力データセットを処理するステップは、コンピュータデバイスが、拡張データセットを作成することと、コンピュータデバイスが、前記知覚システムを介して前記拡張データセットを処理することと、コンピュータデバイスが、前記入力データセットの結果を前記拡張データセットの結果と比較することと、を更に含む、請求項１に記載のコンピュータ実施方法。

【請求項5】

前記少なくとも１つのシーンを再ラベリングするステップは、人間によってラベリングされるために前記少なくとも１つのシーンを送ることを含む、請求項１に記載のコンピュータ実施方法。

【請求項6】

前記入力データセットは、ベースラインデータ、拡張データ、グランドトゥルースデータ、及び模擬データのうちの１又は複数から構成される、請求項１に記載のコンピュータ実施方法。

【請求項7】

コンピュータデバイスが、工学的に関心のある特定の知覚弱点に集中するように前記処理するステップの結果をフィルタリングすることを更に含む、請求項１に記載のコンピュータ実施方法。

【請求項8】

前記方法を繰り返し、前記知覚弱点を、前記再ラベリングの前に発生した前記処理するステップで特定された知覚弱点と比較して、前記知覚システムの性能の改善量を決定することを更に含む、請求項１に記載のコンピュータ実施方法。

【請求項9】

前記新たにラベルリングされたシーンを用いて前記ＭＬ知覚システムを再訓練しても前記ラベリング性能が有意に向上しなくなるまで、前記処理するステップ、前記特定するステップ、前記分離するステップ、前記再ラベリングするステップ、及び前記再訓練するステップを繰り返すことを更に含む、請求項８に記載のコンピュータ実施方法。

【請求項10】

前記ラベリング性能が新たにラベリングされたシーンで有意に改善されない場合、前記ＭＬ知覚システムを再構築することを更に含む、請求項９に記載のコンピュータ実施方法。

【請求項11】

機械学習（ＭＬ）知覚システムの訓練に使用する模擬データの品質を評価するためのコンピュータ実施方法であって、
コンピュータデバイスが、模擬データを含む入力データセットを知覚システムを介して処理して、１又は複数の欠陥候補を得ることと、
コンピュータデバイスが、前記１又は複数の欠陥候補に関連する模擬オブジェクトのレンダリングを抽出することと、
コンピュータデバイスが、前記模擬オブジェクトのレンダリングを前記オブジェクトの他の例と比較することと、
コンピュータデバイスが、前記他の例とのマッチングの信頼度が低い模擬オブジェクトにフラグを立てることと、
を含む、コンピュータ実施方法。

【請求項12】

前記模擬オブジェクトのレンダリングは、以前にラベルリングされたオブジェクトのライブラリでコンピュータデバイスによって訓練された学習済みモデルと比較される、請求項１１に記載のコンピュータ実施方法。

【請求項13】

コンピュータデバイスが、フラグ付きの模擬オブジェクトを新しい模擬オブジェクトで置き換えることにより、模擬世界モデルを更新することを更に含む、請求項１１に記載のコンピュータ実施方法。

【請求項14】

模擬データを用いた知覚エンジンテスト中に特定された知覚弱点に対するトリガー条件を決定するコンピュータ実施方法であって、
コンピュータデバイスが、第１の結果セットを得るために、模擬データを含む入力データセットを知覚システムを介して処理するステップと、
コンピュータデバイスが、第２の結果セットを得るために、拡張模擬データを含む入力データセットを前記知覚システムを介して処理するステップと、
コンピュータデバイスが、複数のパラメータで定義される模擬オブジェクトに起因する知覚弱点を特定するために、欠陥検出エンジンを使用して第１の結果のセットと第２の結果のセットを比較するステップと、
コンピュータデバイスが、変更模擬オブジェクトを作成するために少なくとも１つのパラメータを変更するステップと、
を含んでおり、
前記変更模擬オブジェクトを用いて前記処理するステップ及び前記比較するステップを繰り返し、前記変更模擬オブジェクトが知覚弱点に影響を与えたか否かを判定する、コンピュータ実施方法。

【請求項15】

前記トリガー条件が特定されるまで、前記処理するステップ、前記比較するステップ、及び前記変更するステップを繰り返すことを更に含む、請求項１４に記載のコンピュータ実施方法。

【請求項16】

入力データセットに対する機械学習（ＭＬ）知覚システムのラベリング性能を向上させるためのコンピュータシステムにおいて、
メモリ又はその他のデータ記憶機構と、
１又は複数のプロセッサと、
非一時的コンピュータ可読媒体と、
を備えており、
前記非一時的コンピュータ可読媒体は、前記１又は複数のプロセッサによって実行されると、
入力されたデータセットを知覚システムで処理し、１又は複数の知覚弱点を特定することと、
前記１又は複数の知覚弱点を含む少なくとも１つのシーンを前記入力データセットから分離することと、
前記少なくとも１つのシーンにおける前記１又は複数の知覚弱点を再ラベリングして、少なくとも１つの再ラベリングされたシーンを得ることと、
前記少なくとも１つの再ラベリングされたシーンを用いて前記知覚システムを再訓練することと、
により、前記ＭＬ知覚システムのラベリング性能を向上させる命令を格納している、コンピュータシステム。

【請求項17】

入力データセットに対する機械学習（ＭＬ）知覚システムのラベリング性能を向上させるための非一時的コンピュータ可読媒体であって、
プロセッサで実行されると、
入力されたデータセットを知覚システムで処理し、１又は複数の知覚弱点を特定することと、
前記１又は複数の知覚弱点を含む少なくとも１つのシーンを前記入力データセットから分離することと、
前記少なくとも１つのシーンにおける前記１又は複数の知覚弱点を再ラベリングして、少なくとも１つの再ラベリングされたシーンを得ることと、
前記少なくとも１つの再ラベリングされたシーンを用いて前記知覚システムを再訓練することと、
により、前記ＭＬ知覚システムのラベリング性能を向上させることを実行する命令を格納している、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本出願は、２０２０年２月２１日に出願された米国仮特許出願第６２／９７９，７７６号「Automated Identification of Training Data Candidates for Perception Systems」の優先権を主張する国際特許出願であって、その明細書の全体は参照により本明細書の一部となる。

【0002】

＜技術分野＞
本発明は、例を用いて学習するシステム（例えば、機械学習の一種を使ったシステム）を訓練するために有用なデータを特定するための新規な試みに関する。より詳細には、本発明は、機械学習を用いて実施されるシステムのような学習システムを再訓練する場合に使用される価値の高い訓練データを特定する方法及びシステムに関する。視覚に基づく知覚が例示されるが、当業者には明らかなように、他のシステムもこの試みに適しているであろう。

【背景技術】

【0003】

自動運転車のような自律システムは、知覚システムを用いて、センサーデータ（例：ビデオカメラのデータ）をシステム周囲の世界のモデル（例：オブジェクトと位置のリスト）に変換する。これは、訓練データに基づいて動作するシステム（例えば、畳み込みニューラルネットワークに基づく深層学習などの機械学習で実施される）のより一般的な例である。

【0004】

このようなシステムの性能における重要な要素は、訓練データが、学習すべき動作の全ての重要な特徴を十分な幅で、且つ、学習すべき各オブジェクトタイプの十分な数の例でカバーしているか否かである。各オブジェクトタイプには通常、複数のサブタイプがあり、それらサブタイプは、適切なカバーのために訓練データに含められる必要がある。簡単な例では、歩行者はオブジェクトタイプであり、サブタイプは、赤いコート、黒いコート、又は青いコートを着ているか否かであろう。この文脈における「サブタイプ」は、エンドアプリケーションが必要とする分類情報を必ずしも意味せず、各々が十分な訓練データを必要とするオブジェクトの様々なプレゼンテーションであって、そのタイプの全ての関連するオブジェクトに一般化できる。実際には、サンプル不足の訓練データは、機械学習プロセスの出力にバイアスを生じさせ、オブジェクトの正しい分類の確率を許容できない程のレベルに低減させてしまうことがある。これは、一部の特徴がそのオブジェクトタイプの他のインスタンスと十分に異なっており、学習結果における欠陥を露呈させる可能性があるからである。

【0005】

例えば、赤いコート、黒いコート、及び青いコートの歩行者について入念に訓練されている知覚システムを考える。知覚システムが、黄色が歩行者以外のオブジェクト（例えば、交通警告標識や交通障壁）と関連するとする訓練データを介して学習している場合には、黄色いレインコートを着た歩行者は、歩行者として検出される確率が低くなったり、全く歩行者として認識されない可能性がある。この状況は、黄色いコートを着た歩行者を過小評価するような、訓練データにおけるシステムに影響を与えるバイアスが原因であると言える。

【0006】

このようなシステムに影響を与えるバイアスを識別する１つの試みは、ベースラインのセンサーデータストリームと（例えば、ガウスノイズで）拡張されたセンサーデータストリームとの間で、オブジェクト検出及び／又は分類結果を比較することに基づいている。このような試みは、２０１９年１１月４日に出願された国際特許出願ＰＣＴ／ＵＳ１９／５９６１９「Systems and Methods for Evaluating Perception System Quality」に記載されており、当該国際出願は、参照により全体として本明細書の一部となる。その特許出願に記載された試みは、知覚システムのための「弱点検出（weakness detections）」と一般的に呼ばれている。例えば、ベースラインのビデオデータストリームとガウスノイズが注入されたビデオデータストリームとの比較は、「知覚弱点検出器（perception weakness detector）」の一例である（このような検出器は、ライダーやレーダーのような他のセンサーモダリティでも機能できることに留意のこと）。センサーデータサンプルが弱点を検出するインスタンスは、「検出（detection）」と呼ばれる。

【0007】

知覚弱点検出器を用いた１つの手法は、人間の分析者に弱点の例を提示することである。人間の分析者は、多数の検出を見て、パターンを識別して、対応する弱点が知覚システムに存在していることを判断できる。弱点が特定されると、知覚設計者が、より類似したデータサンプルのより多くの例を検索し、それらを使ってシステムを再訓練することで、性能が改善される可能性がある。十分な数のデータサンプルを追加しても再訓練だけでは知覚システムが改善されない場合には、知覚設計者は、特定された弱点に対する性能を更に向上させるために、何らかの方法でシステムを再構築する必要があるかもしれない。知覚弱点を判断するために手動分析を使用することは効果的なこともあるが、高度に熟練した専門家でも時間がかかる場合もある。本発明の目的は、知覚システムの性能を向上させるために必要な手動解析の労力を軽減することにある。実施形態では、知覚システムの性能の改善は、システムによって特定される知覚弱点又は欠陥の数の減少によって示される。

【0008】

前述のように、知覚弱点が特定されると、追加の訓練データが特定されなければならない。これには、前述の例に沿った黄色いコートを着ている歩行者についてアーカイブされたビデオをスキャンすることのような、かなりの手作業が必要になる場合がある。このような訓練データを特定するために必要な時間と労力を削減することが、本発明の更なる目的である。

【0009】

知覚システムの弱点が特定された後、訓練データは、機械学習の再訓練プロセスに投入される前にラベリングされなければならない。かなりの人手がかかることから、ラベルリングには非常に費用がかかる可能性があり得る。例えば、１時間の運転データをラベリングするのに最大で８００時間の人手がかかることが報告されている。本発明の別の目的は、ラベリングされるデータのうち、再訓練データとして使用することで実際に知覚性能の向上に役立つデータの割合を増やすことで、ラベリングコストをより効率的にすることである。本明細書では、「訓練データ」とは、例えば、教師あり学習の機械学習アプローチで使用されるような、訓練データと検証データの両方を意味する。開示された実施形態によって特定される「訓練データ」は、知覚システム設計者及び知覚検証活動によって有利であると思われる、全ての訓練データ、全ての検証データ、又は、それらの組合せに分けられ得る。

【0010】

これら及びその他の特徴及び利点は、以下の詳細な説明を読んで添付図面を検討することで明らかになるであろう。前述の概要、以下の詳細な説明、及び添付の図面はあくまで説明のためのものであって、特許請求の範囲に記載されたような様々な態様を制限するものではないことは理解されるべきである。

【発明の概要】

【0011】

第１の態様では、入力データセットに対する機械学習（ＭＬ）知覚システムのラベリング性能を改善するためのコンピュータ実施方法が提供され、当該方法は、知覚システムを通して入力データセットを処理することを含んでいる。入力データシステムが処理された後、本発明の方法は更に、１又は複数の知覚弱点を特定することと、１又は複数の知覚弱点を含む入力データセットから少なくとも１つのシーンを分離すること、少なくとも１つのシーンにおける１又は複数の知覚弱点を再ラベルリングして少なくとも１つの再ラベリングされたシーンを得ること、少なくとも１つの再ラベリングされたシーンで知覚システムを再訓練することを含む。このようにして、ＭＬ知覚システムのラベリング性能は向上する。

【0012】

第２の態様では、ＭＬ知覚システムを訓練するために使用される模擬データの品質を評価するコンピュータ実施方法が開示される。幾つかの実施形態では、その方法は、知覚システムを介して模擬データの入力データセットを処理して１又は複数の欠陥候補を得ることと、１又は複数の欠陥候補に関連する模擬オブジェクトレンダリングを抽出することと、模擬オブジェクトレンダリングをオブジェクトの他の例と比較することと、他の例との信頼性一致が低い模擬オブジェクトをフラグ付けすることとを含む。

【0013】

第３の態様では、模擬データを用いた知覚エンジンテスト中に特定された知覚弱点に対するトリガー条件を決定するコンピュータ実施方法が開示される。幾つかの実施形態では、その方法は、知覚システムを介して模擬データを含む入力データセットを処理して第１の結果セットを得ることと、拡張模擬データを含む入力データセットを知覚システムを介して処理して第２の結果セットを得ることと、欠陥検出エンジンを使用して第１の結果セットと第２の結果セットとを比較し、模擬オブジェクトによって生じる知覚弱点を特定し、ここで模擬オブジェクトが複数のパラメータによって定義されている、ことと、少なくとも１つのパラメータを変更して変更された模擬オブジェクトを作成することと、を含む。幾つかの実施形態では、第３の態様は、変更された模擬オブジェクトを用いて処理ステップ及び比較ステップを繰り返し、変更された模擬オブジェクトが知覚弱点に影響を与えたか否かを判定することを更に含む。

【0014】

幾つかの実施形態では、これらのコンピュータ対応方法は、少なくともメモリ又はその他のデータ記憶機構と、１又は複数のプロセッサと、１又は複数のプロセッサによって有効にされると、前述の態様の１又は複数を実行する命令を格納する非一時的コンピュータ可読媒体とを有するコンピュータシステムを介して有効にして実行させることができる。

【図面の簡単な説明】

【0015】

本発明の特徴及び利点の完全な理解のために、添付図面と共に以下の詳細な説明を参照されたい。

【0016】

【図1】図１は、テストされているシステムのデータにおける欠陥の特定のための入力を示す図である。

【0017】

【図2】図２は、機械学習システムのラベリング性能を向上させる方法のワークフローを示すブロック図である。

【0018】

【図3】図３は、機械学習システムの訓練に使用される模擬データの品質を評価する方法のワークフローを示すブロック図である。

【発明を実施するための形態】

【0019】

添付の図面に関連して以下で提供される詳細な説明は、実施例の説明として意図されており、それら実施例が構成され得る又は利用され得る唯一の形態を示すことを意図してはいない。以下の説明では、実施例の機能と、実施例を構成しており動作させる一連の手順とについて説明する。しかしながら、同一又は同等の機能及び手順を、異なる例で実現することも可能である。

【0020】

「一実施形態」、「ある実施形態」、「例示的実施形態」、「幾つかの実施形態」、「一実施例」、「ある実施例」、「一例」、及び「ある例」などへの言及は、記載された実施形態、実施例又は例が特定の特徴、構造又は特性を含むことができるが、全ての実施形態、実施例又は例は必ずしも特定の特徴、構造又は特性を含まなくてもよい。また、これらの表現は、必ずしも同じ実施形態、実施例、又は例を指すものではない。更に、特定の特徴、構造又は特性が、実施形態、実施例又は例に関連して説明される場合、そのような特徴、構造又は特性は、明示的に説明されるかどうかに拘わらず、他の実施形態、実施例又は例に関連して実施され得ることを理解のこと。

【0021】

図１は、欠陥検出エンジン１０が使用するデータセットの一部を示しており、欠陥検出エンジン１０は、与えられた入力データのセットであるベースラインデータセット２０内の知覚弱点（以下、「欠陥」ともいう）の存在を特定するために使用される。欠陥検出エンジン１０は、内容全体が本明細書の一部となる国際出願ＰＣＴ／ＵＳ２０１９／５９６１９「Systems and Methods for Evaluating Perception System Quality」に記載の好適な実施形態に対応しており、弱い知覚性能を特定する。

【0022】

幾つかの実施形態では、欠陥検出エンジン１０は、次の属性によってパラメータ化される：ベースラインデータセット２０、拡張３０、検出器４０、及び、任意選択的な比較データセット５０。ベースラインデータセット２０は、欠陥を特定するために欠陥検出エンジン１０が動作するデータセットである。幾つかの実施形態では、エンジン１０は、欠陥検出を容易にするために、何らかの形でベースラインデータセット２０を変更する必要があることが起こり得る。拡張３０は、この目的を達成するためにデータをどのように変更すべきかを示す仕様である。代替的実施形態では、エンジンには、欠陥検出プロセスを実行するために、ベースラインデータセット２０と協働して使用される比較データセット５０が提供されてよい。

【0023】

エンジン１０は、所望の検出プロセスを行うために、１又は複数の計算コンポーネントを使用する。検出器４０は、この目的を達成するため使用する構成要素を示す仕様である。エンジン１０は、特定の「テスト対象システム」（ＳＵＴ）６０のベースラインデータセット２０（幾つかの実施形態では、比較データセット５０）に対して欠陥検出プロセスを実行し、所定の検出器４０が作成されたテスト基準に対する性能を評価する。幾つかの実施形態では、ＳＵＴ６０は、深層畳み込みニューラルネットワークのような知覚システムである。知覚弱点、即ち「欠陥」は、本発明の幾つかの実施形態に従って、更なる処理又はラベルの検査のために欠陥データベース７０に入れられる。

【0024】

本発明のワークフローシステム２００の一実施形態を図２に示す。本実施形態は、ワークフローシステム２００で実行される作業が、ジョブ仕様２０５のシーケンスで表現されることを想定している。本明細書では、ジョブ仕様２０５は、システム２００によって処理される作業の各ユニットのデータ入力、構成メタデータ、処理ステップ及び出力の記述である。これらのジョブ仕様２０５は、オーケストレータ（orchestrator）２１０によって処理され、オーケストレータ２１０は、提出された各ジョブ仕様２０５を満たすために必要なワークフローの構成要素を組織して実行する。ワークフローシステム２００の構成要素は、全体のワークフローにおけるそのステージを実行するために必要な全てのパラメータがオーケストレータ２１０によって提供されると想定できる。

【0025】

ラベリングされたデータが、機械学習モデルの学習には必要とされる。ラベリングされたデータは、何らかの方法でラベリングに携わる人間、及び／又は、自動ラベリングサポートの品質チェックによってのみ、十分な品質と多様性で作成され得る。人間のラベラーのチームを雇用し、トレーニングし、管理することには、費用と時間を要する。ラベラーのチームによるＲＯＩを最大化するためには、チームによって生産されるラベルの品質、単価、及び価値を最適化する必要がある。ラベルの品質は、十分な訓練を受けたラベラーを配置し、彼らが生産するラベルに強固な品質管理プロセスを実施することで最適化される。ラベルの単価は、品質を維持したままラベラーあたりのラベル生成量を最大化し、ラベリングされ得る全てのアイテムの中からどのアイテムにラベリングするのが最適かを判断するのに要する労力を最小化することで最適化される。ラベルの価値は、ラベラーが作成するラベルが、そのラベルを使用して学習されたモデルの改善度が可能な限り最も高くなることを保証することで最適化される。

【0026】

特定の知覚システムの訓練と評価の両方に使用されるラベリングリソースの使用と効率は、訓練で使用される訓練価値の高い欠陥を自動的に特定することによって向上する。幾つかの実施形態は、知覚欠陥として特定されたオブジェクトを含むシーンが、評価されている機械学習モデルが処理するように十分に訓練されていない例を表しており、故に、トレーニング／評価データセットに追加すると、モデルの動作にプラスの影響を与える可能性があるという特性を利用する。実際には、１０などの欠陥検出エンジンによって特定されたシーンから生成されたラベルは、知覚システム内の感度を明らかにするものとして、無作為抽出や主観的な人間の意思決定のような他の手段を介して選択されたシーンから作成されたラベルよりも、開発プロセスに対して高い期待値を有する。更に、欠陥検出エンジンは、知覚システム内の敏感な部分を明らかにするシーンを特定するために、人間の介入を必要としない自動ツールであることから、ラベルリングするアイテムを決定するための時間と労力を削減し、結果としてラベルの作成単価を押し下げる。言い換えると、人間が行う欠陥の特定よりも、自動で行う欠陥特定の方が拡張性がある。幾つかの実施形態では、人間の分析者が知覚欠陥の根本原因が何であるかの仮説を立てるために使用されるのではなく、ラベリングアクティビティが自動欠陥特定に応答して自動的に呼び出されることに注意のこと。

【0027】

幾つかの実施形態は、人間のラベリングチームによってラベリングされる場合において、それらのラベルを消費する後続のモデル学習工程に正の効果を有することが期待されるデータ項目を、自動的に特定する方法を提供する。図２に示すように、自律スタックの制御下にある自律ビークル（例：テストビークル）は、世界（トラック又は道路）を走行する任務を負っている。ビークルが何に遭遇し、どのように挙動したかに関するセンサーデータ及び挙動データの両方を含む道路データ２１０が、それらの走行中に取得される。最終的には、道路データ２１０は、記憶デバイス２１５にアップロードされ、ワークフローシステム２００が後でアクセスできるように保存される。後述する幾つかの実施形態では、この同じワークフローを、純粋なソフトウェアシミュレーション及び／又はハイブリッドハードウェアインザループ（Hardware in Loop）シミュレーションを含む模擬運転から取得したデータにも同様に適用することができる。

【0028】

以下のステップは、図２によって示される例示的な実施形態のステージを概説している。ジョブ仕様２０５はオーケストレータ２０７に送られて、利用可能な運転データにおけるある部分に対するラベリング実行を要求する。オーケストレータ２０７は、幾つかの実施形態では、特定のタスクを達成するために実行される必要がある一連のステップを制御するソフトウェアによって表されるアルゴリズムであってよく、ジョブ仕様２０５から供給されるパラメータのセットを使用してラベリング実行を行うように、欠陥検出エンジン２２０に指示する。有益な例では、指定された入力データは、センサーデータ記憶装置２１５で見つかる履歴データから選択されてよい。

【0029】

実施形態では、欠陥検出エンジン２２０は、次に、指定された入力データに対して１又は複数の指定された拡張を実行するように指示され、そして、ベースラインデータ及び拡張データを入力として使用して指定された検出を実行する。次に、評価の結果、欠陥候補が特定されて、欠陥データベース２２５に記憶される。任意選択的に、運用データ（例えば、データ解析の進捗状況）が運用ダッシュボードに提供され、そして、オーケストレータ２０７は、解析が完了したことを通知される。

【0030】

次に、オーケストレータ２０７は、欠陥候補の新規のコレクションがフィルタリングとラベリング機構２４０への送信のために利用可能であることを、欠陥検出フィルタ２３５に教える。次に、フィルタ２３５は、所望のフィルタリング基準に一致するそれらの欠陥を現在のジョブから抽出し、ラベルリングされるべきシーンを示すラベリング機構２４０への指示セットを生成し、それらの指示をラベリング機構２４０に送信する。本明細書では、用語「シーン」は、特定のセンサーが環境について設計される場合において、当該環境における１つの完全なサンプルを指す。非限定的な例では、シーンは、単一のビデオフレーム又は一回のライダー掃引に関するデータであってよい。

【0031】

幾つかの実施形態では、フィルタコンフィギュレータ２４５は、工学的に関心のある特定の欠陥（例：２５０ピクセル以上の高さの歩行者に関する知覚弱点）に集中するために、幾つかの欠陥をフィルタリングする方法を任意選択的に提供する。関連するビューアは、システムの使用者による任意選択的なチューニングのフィルタ基準を満たす欠陥の例を表示する。しかしながら、使用者がフィルタリングの結果を見る必要はなく、フィルタが欠陥データベースのサブセットを作成する必要もない。そのため、この部分のワークフローは、人間の手をほとんど借りずに行うことができる。

【0032】

ラベリング機構２４０は、要求されたシーン及びアーティファクトをラベリングして、訓練及び検証データベース２５０におけるラベリングされたデータの利用可能なセットに結果を加え、そして、ラベリングが完了したことをオーケストレータ２０７に通知する。その後、オーケストレータ２０７は、知覚システム再訓練２６０を再開するようにシステムに指示する。新たにラベリングされたデータに関連する機械学習モデルが再訓練されると、新たに訓練された知覚エンジン２６５が、前のステップによって特定された訓練データに応答して生じる。このデータは、知覚エンジン２６５の性能が弱いと判定されたデータサンプルのラベリングされた例を提供するので、そのようなサンプルに対する訓練が知覚性能を向上させることが期待される。

【0033】

幾つかの実施形態では、それらのステップは、新しい知覚弱点を継続的に特定し、関連するＭＬモデルを訓練するために用いられるデータセットに再ラベリングされたシーンを自動的に組み込む手法として反復的に実行されるであろう。実施形態では、性能ダッシュボードは、現在及び過去の知覚エンジンの性能データ（ワークフローの連続実行による欠陥の減少など）を表示する。

【0034】

本発明の幾つかの実施形態では、評価器２７０及びリエンジニアプロセス２７５は、ブルートフォース（brute force）再訓練がそのような再訓練に従わないシステム上の問題を明らかにする状況を処理する。ＭＬモデルは、学習と再構築という２つの主要な軸に沿って進化し、訓練対象のデータセットの継続的な拡張とキュレーションを通じて、時間の経過とともに機能及び性能を獲得できる；訓練データのセットが大きくなって、品質が向上するにつれて、適切に構築されたモデルの機能及び性能は向上する。しかしながら、ＭＬモデルは極大になって、開発の様々な時点で、更なる学習により新たな能力が発揮可能とされたり、性能が向上することはなくなる。このようなプラトーに到達した場合には、モデルの再構築が必要となる。再構築の例としては、当業者に知られているように、モデルのアーキテクチャの変更及びハイパーパラメータの変更が挙げられる（例えば、深層ネットワークポロジー訓練アプローチにおける層数の増加）。

【0035】

本発明の幾つかの実施形態は、（図２を介して生成されるような）訓練データの成長するコレクションに対して訓練されたＭＬモデルに対する欠陥検出エンジンの一連の実行から取得した結果に固有のシグナルを活用する。一連のラベリング実行の結果を評価すると、意図した目標に向けた（更なるデータで再訓練を続けることに有用性があることを示す）進歩が又は（極大に至って、ラベリングされたデータを追加しても十分な進歩が見られず、モデルを再構築する必要があることを示す）その欠如が明らかになることが期待される。

【0036】

前述のように、幾つかの実施形態は更なる訓練がもはや効果的でなく、モデルの再構築が必要な場合を特定するために、一連の訓練実行にわたってＭＬモデルの進歩を監視することを含む。特に、オーケストレータ２０７は、新たに作成された欠陥のセットと、同じソースデータセットに対する以前のラベリング実行から生成された欠陥のセットとを比較するように評価器２７０に指示する。新しいラベルを追加することで有意な進歩があったと判定される場合、評価器２７０はオーケストレータ２０７にラベリングを継続するように指示する。新しいラベルを追加しても有意な進歩がなかったと判定される場合、評価器２７０はオーケストレータ２０７に、モデルの再訓練に対して耐性があることが証明された識別された欠陥のセットに関して再構築を開始するように指示する。この文脈での有意な進歩は、ＭＬ知覚システムの適合率－再現率（Precision-Recall）（ＰＲ）曲線の向上で測られる。この曲線では、「適合率」とはフォールスポジティブの割合であり、「再現率」とはフォールスネガティブの割合である。実施形態では、曲線が０．５％よりも大きい量で改善される場合、それはまだ、再構築が必要でないような有意な進歩と考えられる。「有意な改善」の限定的でない一例では、知覚システムの結果のランオーバーラン比較（run over run comparison）で、再ラベリング後、再現率の低下なしに適合率が０．５％改善された。それにも拘わらず、当業者は、有意な改善が様々な手法で特徴付けられることを理解するであろう。

【0037】

実施形態では、知覚システム再構築２７５は、モデルハイパーパラメータの調整、層の追加／変更、正則化手法の適用、及び他の手法を含んでよい。完了すると、知覚システム再構築２７５は、新しいジョブ仕様をオーケストレータ２０７に提出し、新たに調整された知覚エンジン２６５を使用してラベリング及びその他のワークフローが再開する。

【0038】

幾つかの実施形態では、図２に示されたシステムは、以下のステップに従って、システムに影響を及ぼす訓練エラーを検索するために使用することもできる。

【0039】

ジョブ仕様２０５がオーケストレータ２０７に送られて、格納された実世界の運転データのある部分に対する欠陥検出実行が要求され、オーケストレータ２０７は、以下の手順に従って、欠陥検出エンジン２２０に評価実行を指示する。この例で使用されるパラメータは説明のみを目的としており、ジョブ仕様２０５から送られるであろう。

【0040】

既に収集されており、利用可能なグランドトゥルースを有するデータが、センサーデータ記憶装置２１５から選択される。このデータは、訓練＆検証データベース２５０にもあるデータサンプルに対応しており、使用できるラベルを有していることが好ましい。本実施形態のデータでは拡張は行われない。指定された検出がベースラインデータとグランドトゥルースデータを用いて行われて、欠陥候補が欠陥データベース２２５に格納される。次に、評価器２７０は、新たに作成された欠陥のセットを、グランドトゥルースに対する以前の評価実行から生成された欠陥のセットと比較する。先に述べたような有意な進歩が、グランドトゥルースに対する最後の評価以降にモデルでなされなかった場合、オーケストレータ２０７は上述したコア再構築ワークフローを開始する。幾つかの実施形態では、この比較は、評価器２７０とフィルタ２３５の実行順序を逆にすることによって評価する特定のオブジェクトタイプ及び特性の選択と、知覚システム再構築２７５のためにフィルタリングされた後に評価された結果の送信とを含んでよい。

【0041】

更なる実施形態においては、図２に示されたシステム及び方法は、以下に従って、分類エラーを検索するために使用されてもよい：ジョブ仕様２０５がオーケストレータ２０７に送られて、記憶されている現実世界の以前に集められたデータのある部分に対する評価実行が要求される。オーケストレータ２０７は、欠陥検出エンジン２２０に欠陥検出実行を指示する。先と同様に、この例で使用されるパラメータは、説明のみを目的としており、ジョブ仕様２０５から得られるであろう。まず、利用可能なグランドトゥルースを有するデータが履歴データセンサー記憶装置２１５から選択され、ＰＣＴ／ＵＳ２０１９／５９６１９で教示されているように、弱点検出を強化するためにデータのコピーに幾つかの拡張が実行される。そして、拡張データ及びグランドトゥルースデータを使用して特定の検出が識別され、欠陥候補が欠陥データベース２２５に格納される。次に、新たに作成された欠陥のセットが、グランドトゥルースに対する以前の評価実行から生成された欠陥のセットと比較される。有意な進歩が、グランドトゥルースに対する最後の評価以降モデルでなされなかった場合、オーケストレータ２０７は先に概説したコア再構築ワークフローを開始する。先に説明したように、フィルタ２３５と評価器２７０は、任意選択的に逆の順序で実行できる。この実施形態は、モデルの現状と、更なる訓練及び再構築が必要か否かとを常に評価する手法として繰り返し実行されることが想定される。

【0042】

更に別の実施形態では、ＭＬモデルを訓練するために使用されるシミュレーションの品質を向上させることができ、その結果、シミュレーションツールに置かれる信頼が増加するであろう。自律システムは、シナリオ範囲を拡大して既存のテストスペースを探索する手法としてシミュレーションを介してテストされる。しかしながら、ＭＬモデルを模擬データに対して評価する場合には、ＭＬモデルの挙動がＭＬモデルそのものに起因するのか、或いは、それを訓練するシミュレーションの品質に起因するのかという疑問が常につきまとう。模擬オブジェクトの品質を定量的に評価する仕組みを提供することで、シミュレーションツールの製作者と使用者の双方が、模擬世界に対してＭＬモデルを実行した結果に対して信頼を築くことができる。

【0043】

図３に示された実施形態は、模擬データで訓練された所定のＭＬモデルに対する一連の欠陥検出の実行から捕捉された結果において具体化された潜在的なシグナルを活用する。欠陥検出エンジンが、あるＭＬモデルにおいて模擬シーンの特定の特徴又はオブジェクトを弱点として認識する場合、そのシーン（１又は複数のデータサンプル）は、既存のグランドトゥルース情報に対する評価プロセスを介して自動的に処理されて、模擬シーンデータ自体が問題の原因であるか否かが評価されてよい。別の言い方をすると、本実施形態は、模擬特徴に対する特定のＭＬモデルの感度を捕捉して、それらの特徴量に対する評価を自動的に呼び出して、所定の定量的な尺度セットに対するそれらの特徴量の品質を判断する方法を概説している。

【0044】

自律スタックの制御下でシミュレーションされるビークルは、模擬世界で運転されることを課せられており、ビークルが何に遭遇し、どのように行動したかに関するセンサーデータ及び挙動データは、運転中に捕捉されて、ワークフローシステム内の構成要素にアクセス可能なリポジトリに最終的に移動される。

【0045】

図３は、模擬オブジェクトの品質を評価するために調整された本発明の幾つかの実施形態を示す図である。このワークフロー３００では、ジョブ仕様３０５がオーケストレータ３１０に送られて、保存されている模擬運転データ３１５のある部分に対するラベリング実行を要求する。これは、実際の道路データを使用した先の実施形態と異なっている。オーケストレータ３１０は、以下の手順で、欠陥検出エンジン３２０に評価実行を行うように指示する。先と同様に、この例で使用されるパラメータは、説明のみを目的としており、ジョブ仕様３０５から得られるであろう。

【0046】

利用可能なグランドトゥルースを有するデータがセンサーデータ記憶装置３１５から選択されるが、データに対する拡張は実行されない。特定の検出がベースラインデータとグランドトゥルースデータを用いて欠陥検出エンジン３２０によって行われて、欠陥候補が欠陥データベース３２５に格納される。幾つかの実施形態では、欠陥候補に関連するシーンもデータベース３２５に格納される。

【0047】

次に、オーケストレータ３１０は、評価模擬オブジェクトエンジン３３０を開始して、欠陥候補として特定されたシーンにおけるオブジェクトのレンダリング品質を決定する。幾つかの実施形態において、ワークフロー３００は、欠陥候補を識別する各バウンディングボックス内のレンダリングを抽出し、含まれている模擬オブジェクトのタイプを決定し、そして、これらの模擬オブジェクトと、ラベルリングされた実際のセンサー映像イメージの既存のカタログに格納されているそれらのオブジェクトの他の例との自動比較機能を実行する。他の実施形態では、学習モデルは、ラベルリングされた既存のオブジェクトのライブラリで訓練されてよい。一致が不十分な場合は、新しいシミュレーションが作り出されて、モデルが示すものに対して新しいオブジェクトの信頼性が高いか否かを確認できる。高ければより良い。シミュレータがセンサーデータを生成していることから、グランドトゥルースは、人間の支援によるラベリングを必要とせずに知られていることに注意のこと。

【0048】

その後の品質評価３３５が、レンダリングされたエンティティの品質は許容できないと判定する場合、対応する欠陥候補は、シミュレーション世界モデルへの更新を必要とするものとして欠陥データベース３２５内でフラグが立てられる。オーケストレータ３１０には、品質評価３３５が完了したことが通知される。しかしながら、シミュレーション世界モデルの更新を要しない欠陥候補が残っている場合には、オーケストレータ３１０は、標準的なラベリングワークフローの残りを開始して、次にフィルタ３４０のステップと、ラベリング３４５と、訓練データベース３６０へのラベリングデータの保管と、先に説明したような知覚エンジン３８０によるその後の再訓練３７０とに進む。欠陥候補がシミュレーション世界モデルの更新を必要としているとしてフラグが立てられている場合、オーケストレータ３１０は、更新世界モデルステップ３５０に従って、シミュレーション情報ベースの開発者／保守担当者に欠陥候補のセット及び関連するメタデータを提供する。シミュレーション情報ベースの開発者及び保守担当者は、欠陥候補情報とメタデータを調べて、必要な改善を特定し、影響を受ける世界モデルを更新する。影響を受ける世界モデルへの調整が完了すると、新しいシミュレータ３５５の実行が開始されて、新しいシミュレーションエントリが、将来の評価実行で使用するためにセンサーデータ記憶装置３１５に生成される。本実施形態は、シミュレーションツールによって提供される模擬特徴の品質を常に評価する手段として、繰り返し実行されることが想定される。

【0049】

更に他の実施形態では、模擬データを用いたモデルテスト中に発見された欠陥のトリガー条件を決定するための自動化プロセスが提供される。自律システムの開発においては、多くの場合、システムの目撃された挙動の根本原因、即ち「トリガー条件」を特定する必要がある。通常、このプロセスは手動プロセスであり、高度な訓練を受けた経験豊富な人間の評価器がデータセット内の個々のシーンを調べて、示された挙動の潜在的な原因を主張し、試験を実行してそれらの主張を確認する又はそれらの主張に反論する必要がある。この手動プロセスの実行コストは非常に高いことから、このプロセスを大幅に又は完全に自動化する方法を見い出すことは、大きな価値をもたらす。

【0050】

開示されているシステム及び方法の幾つかの実施形態は、模擬データで訓練された所定のＭＬモデルに対する一連の欠陥検出の実行から捕捉された結果において具体化された潜在的なシグナルを活用する。欠陥検出エンジンが、模擬シーンにおいて特定の特徴を特定のＭＬモデル内で感度を生成するものとして識別する場合、それは、更なる評価のために興味深い条件を自動的に特定したと見なすことができる。更に、模擬世界で発生したシーンから欠陥を特定したことで、それは、感度（sensitivity）を具体化する特定のシナリオと世界モデルも特定している。シナリオ構成と世界モデルはパラメータ化されていることから、元のシナリオ及び／又は１若しくは複数のパラメータが変更された世界モデルを用いて一連の新しいシミュレーションを生成するために使用され得る。これらの変更されたシナリオ及び／又は世界モデルを使用して生成されたシミュレーションからの出力に対して欠陥検出エンジンを実行すると、新しい一連の欠陥が生成されて、元の欠陥をトリガーしたシミュレーション実行から生成された欠陥と比較することができる。シナリオ又は世界モデルの特定のパラメータを変更することが、一連の実行で欠陥検出エンジンによって生成される一連の欠陥に重大な影響があることが示されている場合には、パラメータのクラスによっては、変更されたパラメータの性質から欠陥についてトリガー条件を推測することができる。

【0051】

この実施形態は、トリガー条件の根本原因分析のために欠陥候補を特定するための方法と、欠陥検出エンジンを活用して模擬運転データを評価し、それらの欠陥のトリガー条件を自動的に推測する機構とを概説する。

【0052】

幾つかの実施形態では、自律スタックの制御下の模擬ビークルは、模擬世界で運転されることを課せられており、ビークルが何に遭遇し、どのように行動したかに関するセンサー及び挙動データは、運転中に捕捉されて、ワークフローシステム内の構成要素にアクセス可能なリポジトリに最終的に移動される。

【0053】

引き続いて図３を参照して、次に、トリガー識別プロセス３００の修正バージョンを説明する。ジョブ仕様３０５はオーケストレータ３１０に送られて、欠陥検出エンジン３２０に探索実行を指示する。先と同様に、この例で使用されるパラメータは、説明のみを目的としており、ジョブ仕様３０５から得られるであろう。利用可能なグランドトゥルースを有するデータ（例えば、既にラベリングされた学習及び検証データベース３６０のデータ、又は、以前の模擬データの結果など）が選択される。次に、特定の検出が、欠陥検出エンジン３２０により、ベースラインデータとグランドトゥルースデータを用いて行われる。欠陥候補は、（模擬データについて）起点となるシミュレーションを生成するために使用されたシナリオへの参照、又はラベリングされた道路データの注釈付きシナリオ記述と共に欠陥データベース３２５に格納される。次に、オーケストレータ３１０は、１又は複数の変更されたパラメータを有する関連するシミュレーションが生成されるように指示し、欠陥候補のセットで特定される特徴の近傍にあるシミュレーション空間の探索を可能にする。

【0054】

幾つかの実施形態では、各欠陥候補についての各バウンディングボックス内の模擬オブジェクトは、関連するグランドトゥルースを使用して特定することができ、ワークフローの過去の実行から、現在のシミュレーションシナリオ又は世界モデルにおけるパラメータ変更が、現在の実行で生成された検出のセットに重大な影響を与えたか否かを判定することができる。重大な影響が正の傾向にある（つまり、相関関係を示している）が、因果関係を推測するのにまだ十分でない場合、次のステップは、現在の一連の検出によって特定されたエンティティに関連する同じパラメータを更に変更するような１又は複数の新しいシミュレーションシナリオ又は世界モデルを生成することである。しかしながら、重大な影響が否定的な傾向にある場合、又は重大な影響がなかった場合には、１又は複数の新しいシミュレーションシナリオ又は世界モデルが生成されて、現在の検出セットで特定されたエンティティに関連する様々なパラメータが変更される。

【0055】

新しいシミュレーションシナリオ又は世界モデルの場合、新しいシミュレーションインスタンスに対する追加のワークフロー実行のために、新しいジョブ仕様３０５が送られる。１又は複数のシーン又は世界モデルのパラメータ変更間での十分な因果関係を決定できる場合、パラメータ変更のセットが欠陥データベース３２５に欠陥候補のセットと共に記録されて、ワークフロー全体が終了する。１又は複数のシーン又はワールドモデルのパラメータ変更間の因果関係が十分でないと判定される場合には、欠陥のセットは人間によるレビューのためにマークされて、全体のワークフローが終了する。

【0056】

変更可能なパラメータの例としては、オブジェクトの特徴（例えば、色、形状、サイズ、表示角度又はアクター（actors）、ビークル、道路設備など）、バックグラウンド（例えば、色、テクスチャ、明るさ）、シーンの特徴（例えば、コントラスト、グレア）、環境の特徴（例えば、もや、霧、雪、みぞれ、雨）、オクルージョン（わずかなオクルージョン、部分的なオクルージョン、重いオクルージョン）などが挙げられる。

【0057】

この実施例は、常に不具合を探索してそのトリガーとなる条件を特定する手法として、繰り返し実行されることが想定される。十分に正確な自動知覚ラベリング機能があれば、ラベリングを完全に自動化できること、又は半自動化できることは、当業者には明らかであろう。

【0058】

本発明の様々な実施形態は、知覚再訓練の良い候補を特定し、知覚システムのシステムに影響を与える弱点を特定し、シミュレータ出力におけるシステムに影響を与える欠陥を特定するために有利に使用することが可能である。本発明は、物理的装置（例えば、別の知覚システムに送信されるデータストリームを変更するハードウェア及びソフトウェアと、比較を実行する物理的コンピュータモジュールとを備えた拡張物理コンピュータモジュール）のみならず、一般的なコンピュータプラットフォームでホストされる純粋なソフトウェア機構を介して実施されてよい。

【0059】

本明細書に記載されている実施形態の幾つかの態様は、プロセスステップを含む。実施形態のプロセスステップは、ソフトウェア、ファームウェア、又はハードウェアで具体化することができ、ソフトウェアで具体化する場合には、ダウンロードされて、様々なオペレーティングシステムによって使用される様々なプラットフォーム上に常駐して、そこから操作され得ることに留意のこと。実施形態はまた、コンピュータシステム上で実行可能なコンピュータプログラム製品にされてよい。

【0060】

実施形態はまた、本明細書に記載の動作を行うためのシステムに関する。このシステムは、例えば、特別に構築又は選択されたコンピュータデバイスのアレイのように、目的のために特別に構築されてよく、或いは、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化又は再構成される汎用コンピュータを含んでよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてよく、当該媒体は、限定ではないが、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、磁気光学ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光ディスク、特定用途向け集積回路（ＡＳＩＣ）、或いは電子命令の保存に適した任意のタイプの媒体であって、各々は、コンピュータシステムバスに結合される。メモリ／記憶装置は、一時的又は非一時的であってよい。メモリは、上記のいずれか、及び／又は情報／データ／プログラムを格納できる他のデバイスを含んでよい。更に、本明細書で言及されるコンピュータデバイスは、単一のプロセッサを含んでよく、又は、演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってよい。

【0061】

本明細書では、好ましい実施形態及びその具体例を参照して本発明を説明及び記載してきたが、他の実施形態及び実施例が同様の機能を果たし、及び／又は同様の結果を達成できることは、当業者には容易に明らかであろう。このような均等な実施形態及び実施例は全て、本発明の精神及び範囲内にあり、本発明によって予期されており、特許請求の範囲に含まれることが意図されている。

【図1】

【図2】

【図3】

【国際調査報告】