▶ エッジ ケース リサーチ，インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-17
(54)【発明の名称】知覚システムを評価するシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220107BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021525017
(86)(22)【出願日】2019-11-04
(85)【翻訳文提出日】2021-06-24
(86)【国際出願番号】 US2019059619
(87)【国際公開番号】W WO2020096941
(87)【国際公開日】2020-05-14
(31)【優先権主張番号】62/755,629
(32)【優先日】2018-11-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521193485
【氏名又は名称】エッジ ケース リサーチ，インコーポレイテッド
【氏名又は名称原語表記】ＥＤＧＥ ＣＡＳＥ ＲＥＳＥＡＲＣＨ，ＩＮＣ．
(74)【代理人】
【識別番号】110001438
【氏名又は名称】特許業務法人 丸山国際特許事務所
(72)【発明者】
【氏名】コープマン，フィリップ ジェイ．
(72)【発明者】
【氏名】ワグナー，マイケル デイビッド
(72)【発明者】
【氏名】オサイク，エリザベス アン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA04
5L096GA06
5L096HA01
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
【解決手段】知覚システムの性能を測定するシステム及び方法が提供され、当該システム及び方法は、知覚システムによって評価される一対のセンサーデータ入力ストリームを取得することを含む。次に、データ拡張が一対のセンサーデータ入力ストリームの少なくとも一方に加えられて、次に、一対のセンサーデータ入力ストリームは、知覚システムで処理されて、第１の検出リスト及び第２の検出リストが得られる。その後、第１の検出リストと第２の検出リストが比較されて、１又は複数の知覚の弱点が特定される。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
知覚システムの性能を測定するためのコンピュータ実施方法であって、前記知覚システムで評価される一対のセンサーデータ入力ストリームを取得するステップと、
前記一対のセンサーデータ入力ストリームの少なくとも１つにデータ拡張を加えて、一対の更新されたセンサーデータ入力ストリームを取得するステップと、
前記一対の更新されたセンサーデータ入力ストリームを前記知覚システムで処理して、第１の検出リスト及び第２の検出リストを得るステップと、
前記第１の検出リストと前記第２の検出リストとを比較して、１又は複数の知覚の弱点を特定するステップと、
を含む方法。
【請求項2】
未加工センサーデータの入力ストリームを受け取るステップと、前記未加工センサーデータの入力ストリームを２つのブランチに分割するステップであって、各ブランチが前記一対のセンサーデータ入力ストリームの片方を形成する、ステップと、
を更に含む、請求項１に記載の方法。
【請求項3】
前記一対のセンサーデータ入力ストリームは同じセンサーから取得され、前記一対のセンサーデータ入力ストリームの一方は、第１の期間中に取得され、前記一対のセンサーデータ入力ストリームの他方は、第２の期間中に取得される、請求項１に記載の方法。
【請求項4】
前記第１又は第２の検出リストにおけるフリッカリング検出を知覚の弱点として特定するステップを更に含む、請求項１に記載の方法。
【請求項5】
前記一対のセンサーデータ入力ストリームの一方をシミュレーターで生成するステップを更に含む、請求項１に記載の方法。
【請求項6】
前記データ拡張はノイズを含んでいる、請求項１に記載の方法。
【請求項7】
前記ノイズは、ガウスブラー、ガウスノイズ、フォトリアリスティックヘイズ、フォトリアリスティックデフォーカス、アルファチャンネルブレンド、ＪＰＥＧ圧縮、明るさ変更、ソルトアンドペッパー、固定ピクセル値、ドロップチャンネル、加法性ノイズ、ブラックボックス乱れ、及び畳み込み演算の１又は複数を含む、請求項６に記載の方法。
【請求項8】
前記一対の検出リストの各々は、各オブジェクトがオブジェクトタイプ及び分類ＭＬ信頼度のうちの１又複数を有するオブジェクトのリストを含む、請求項１に記載の方法。
【請求項9】
前記オブジェクトのリストの各オブジェクトは、オブジェクトの位置、時間情報、軌道情報、及び予想される将来の行動情報のうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
前記拡張データを生成するためにパラメータのセットを操作するステップを更に含んでおり、前記パラメータのセットは、ノイズ密度、ブラー、及び畳み込みカーネルの重みのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項11】
オブジェクトがもはや検出されなくなるまで、前記一対のセンサーデータ入力ストリームの少なくとも一方に追加されるデータ拡張の量を増加させるステップを更に含む、請求項１０に記載の方法。
【請求項12】
前記センサーデータ入力ストリームのある時点で知覚の弱点を検出するステップと、前記センサーデータ入力ストリームの一部を保存するステップと、を更に含む、請求項１に記載の方法。
【請求項13】
前記センサーデータ入力ストリームの一部は、前記知覚の弱点の発生前の所定量のセンサーデータを含む第１の副部と、前記知覚の弱点の発生後の所定量のセンサーデータを含む第２の副部とを含む、請求項１２に記載の方法。
【請求項14】
前記第１の検出リストは、未加工センサーデータの入力ストリームの結果であり、前記第２の検出リストは、拡張センサーデータの入力ストリームの結果であり、前記方法は、前記第２の検出リストの検出失敗に続いて前記第１の検出リストの検出失敗に応答して、知覚障害を予測するステップを更に含む、請求項１に記載の方法。
【請求項15】
前記検出失敗は、検出が所定の割合よりも低いＭＬ信頼度を有する場合に発生する、請求項１４に記載の方法。
【請求項16】
前記検出失敗は、前記第２の検出リストの検出のＭＬ信頼度と前記第１の検出リストの検出のＭＬ信頼度との差の絶対値が所定の量よりも大きい場合に発生する、請求項１４に記載の方法。
【請求項17】
前記知覚の弱点に基づいて訓練データのギャップを特定するステップを含む、請求項１に記載の方法。
【請求項18】
知覚システムの性能を測定するためのシステムにおいて、メモリ又はその他のデータストレージ機構と、
１又は複数のプロセッサであって、
一対のセンサーデータ入力ストリームを取得するステップと、
前記一対のセンサーデータ入力ストリームの少なくとも１つにデータ拡張を加えて、一対の更新されたセンサーデータ入力ストリームを取得するステップと、
前記一対の更新されたセンサーデータ入力ストリームを前記知覚システムで処理することにより、一対の検出リストを生成するステップと、
前記一対の検出リストの一方を前記一対の検出リストの他方と比較して、１又は複数の知覚の弱点を特定するステップと、
を実行するように構成された１又は複数のプロセッサと、
を備えている、システム。
【請求項19】
前記一対のセンサーデータ入力ストリームは同じセンサーから取得され、前記一対のセンサーデータ入力ストリームの一方は、第１の期間中に取得され、前記一対のセンサーデータ入力ストリームの他方は、第２の期間中に取得される、請求項１８に記載のシステム。
【請求項20】
前記第１又は第２の検出リストにおけるフリッカリング検出を知覚の弱点として特定するステップを実行するように構成されている、請求項１８に記載のシステム。
【請求項21】
前記一対のセンサーデータ入力ストリームの一方をシミュレーターで生成するステップを実行するように構成されている、請求項１８に記載のシステム。
【請求項22】
前記データ拡張は、ガウスブラー、ガウスノイズ、フォトリアリスティックヘイズ、フォトリアリスティックデフォーカス、アルファチャンネルブレンド、ＪＰＥＧ圧縮、明るさ変更、ソルトアンドペッパー、固定ピクセル値、ドロップチャンネル、加法性ノイズ、ブラックボックス乱れ、及び畳み込み演算の１又は複数を含む、請求項１８に記載のシステム。
【請求項23】
前記一対の検出リストの各々は、各オブジェクトがオブジェクトタイプ及び分類ＭＬ信頼度のうちの１又複数を有するオブジェクトのリストを含む、請求項１８に記載のシステム。
【請求項24】
前記オブジェクトのリストの各オブジェクトは、オブジェクトの位置、時間情報、軌道情報、及び予想される将来の行動情報のうちの少なくとも１つを含む、請求項２３に記載のシステム。
【請求項25】
前記拡張データを生成するためにパラメータのセットを操作するステップを実行するように更に構成されており、前記パラメータのセットは、ノイズ密度、ブラー、及び畳み込みカーネルの重みのうちの少なくとも１つを含む、請求項１８に記載のシステム。
【請求項26】
オブジェクトがもはや検出されなくなるまで、前記一対のセンサーデータ入力ストリームの少なくとも一方に追加されるデータ拡張の量を増加させるステップを実行するように更に構成されている、請求項２５に記載のシステム。
【請求項27】
前記センサーデータ入力ストリームのある時点で知覚の弱点を検出し、前記センサーデータ入力ストリームの一部を保存する更なるステップを実行するように更に構成されている、請求項１８に記載のシステム。
【請求項28】
前記センサーデータ入力ストリームの一部は、前記知覚の弱点の発生前の所定量のセンサーデータを含む第１の副部と、前記知覚の弱点の発生後の所定量のセンサーデータを含む第２の副部とを含む、請求項２７に記載のシステム。
【請求項29】
前記第１の検出リストは、未加工センサーデータの入力ストリームの結果であり、前記第２の検出リストは、拡張センサーデータの入力ストリームの結果であり、前記システムは、前記第２の検出リストの検出失敗に続いて、前記第１の検出リストの検出失敗に応答して、知覚障害を予測するステップを実行するように更に構成されている、請求項１８に記載のシステム。
【請求項30】
前記検出失敗は、検出が所定の割合よりも低いＭＬ信頼度を有する場合に発生する、請求項２９に記載のシステム。
【請求項31】
前記検出失敗は、前記第２の検出リストの検出のＭＬ信頼度と前記第１の検出リストの検出のＭＬ信頼度との差の絶対値が所定の量よりも大きい場合に発生する、請求項２９に記載のシステム。
【請求項32】
前記知覚の弱点に基づいて訓練データのギャップを特定するように構成されている、請求項１８に記載のシステム。
【請求項33】
知覚システムの性能を測定するための非一時的コンピュータ可読媒体であって、そこに格納された命令を含んでおり、それら命令は、プロセッサで実行されると、一対のセンサーデータ入力ストリームを取得するステップと、
前記一対のセンサーデータ入力ストリームの少なくとも１つにデータ拡張を加えて、一対の更新されたセンサーデータ入力ストリームを取得するステップと、
前記一対の更新されたセンサーデータ入力ストリームを前記知覚システムで処理することにより、一対の検出リストを生成するステップと、
前記一対の検出リストの一方を前記一対の検出リストの他方と比較して、１又は複数の知覚の弱点を特定するステップと、
を実行する、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
＜関連出願の相互参照＞
本特許出願は国際出願であり、２０１８年１１月５日に出願された米国仮出願第６２／７５５，６２９号、発明の名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＱＵＡＬＩＴＹ ＭＯＮＩＴＯＲＩＮＧ ＯＦ ＳＹＳＴＥＭＳ」の優先権を主張するものであって、その明細書全体が参照によって本明細書に組み込まれる。
本特許出願は国際出願であり、２０１８年１１月５日に出願された米国仮出願第６２／７５５，６２９号、発明の名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＱＵＡＬＩＴＹ ＭＯＮＩＴＯＲＩＮＧ ＯＦ ＳＹＳＴＥＭＳ」の優先権を主張するものであって、その明細書全体が参照によって本明細書に組み込まれる。
【0002】
本発明は、知覚システムの性能における異常、欠陥、又は脆弱性を検出するための新規なアプローチに関する。より詳細には、本発明は知覚評価システムに関しており、当該知覚評価システムは、複数の知覚アルゴリズム、及び／又は、１若しくは複数の知覚アルゴリズムの複数の異なるインスタンスの出力からの知覚結果を比較して、潜在的な知覚の弱点、失敗、又は欠陥を検出する。
【背景技術】
【0003】
知覚システムは、自動運転車、自律走行車やその他の移動ロボット、ロボットアームやファクトリーオートメーション機器のような固定ロボットシステムなどを含むロボット分野で広く使われている。知覚システムは、１又は複数のデータサンプルを入力とし、それらデータサンプルのオブジェクト又はその他の特徴を分類又はさもなければ特定する。これには、限定ではないが、１又は複数の静止画像或いは画像のストリームを取得して、オブジェクトタイプ（例えば、人、車両、建物、道路。バウンディングボックスを使用すること、画像セグメンテーションを実行すること、レーンマーキングなどの特定の機能を特定することによる）又はシナリオ特性（例えば、空き空間、状況のリスクの程度、気象条件）によって画像のコンテンツを分類する知覚システムが含まれる。そのような知覚システムは、一般的に、深層学習、畳み込みニューラルネットワーク、及び当該分野で知られているその他の技術を使用する。
【0004】
様々なデータ入力値から所望の結果を適切に検出する、分類する、又は生成することができるという点で、知覚システムがロバストであることを確保することが重要である。センサーデータ、一連のセンサーデータサンプル、記録されたデータ、又はその他の種類のデータにおけるオブジェクト、構造、領域、ピクセル、又は他の特徴を正しく特定するためには知覚障害を回避及び検出することが望ましい。知覚障害には、限定ではないが、誤分類、検出漏れ（フォールスネガティブ）、誤検出（フォールスポジティブ）、及びその他の障害が挙げられる。このような知覚システムの問題を総称して用語「知覚障害（perception failure）」を使用する。知覚障害は、断続的で、状況に依存し、通常の人間の観察では知覚できないであろう入力データ値の微妙で僅かな変化によって引き起こされ得る。
【0005】
知覚の弱点及び障害を検出する手法が求められている。また、知覚障害を時間的に、且つ脆弱性（入力データの値が変化することで起こる知覚障害）の観点から予測することが重要である。更に、オフライン動作モード（バッチ処理）とオンライン動作モード（ストリーミングデータの処理）の両方で、知覚障害を検出及び予測できることも有益であろう。
【発明の概要】
【0006】
第１の態様では、知覚システムの性能を測定する方法が提供され、当該方法は、知覚システムによって評価される一対のセンサーデータ入力ストリームを取得することを含む。次に、データ拡張が一対のセンサーデータ入力ストリームの少なくとも一方に加えられ、その後、一対のセンサーデータ入力ストリームが、知覚システムで処理されて、第１の検出リスト及び第２の検出リストが得られる。この方法では、その後、第１の検出リストと第２の検出リストとを比較して、１又は複数の知覚の弱点を特定することを要求する。
【0007】
第２の態様では、知覚システムの性能を測定するシステムが提供される。そのシステムは、上述の方法のステップを実行するために互いに連携して動作するメモリ又はその他のデータ記憶装置と１又は複数のプロセッサとを備えている。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【発明を実施するための形態】
【0018】
本開示は、未加工データストリーム及び拡張データストリームに起因して知覚システムで生じたオブジェクト検出を比較することによって知覚障害を特定するための方法及び装置に関する。実施形態では、未加工データストリームは、時間的に間隔を空けられてよく、リアルタイムイベントを表してもよい。本明細書では、用語「時間的な間隔」とは、データがサンプリングされた時間を意味しており、バッチ処理モードと遅延オンライン処理モードの何れにも当て嵌まる。
【0019】
当該分野における典型的な標準的知覚システムは、カメラセンサーデータなどの未加工データを受け取って、知覚処理機能を用いてその未加工データを処理する。知覚処理機能の一例としては、畳み込みニューラルネットワークとして実装される機械学習ベースの機能がある。知覚システムの出力は、未加工データ内で特定されたオブジェクトの検出セットであって、バウンディングボックス、「人」や「車両」などの分類、機械学習（ＭＬ）信頼度アノテーション（Confidence annotation）、領域ラベル、ピクセルラベル、動き予測値やその他のアノテーションとして表示され得る。図１は、サンプル知覚システム出力５の例である。未加工データは、バウンディングボックス１０と特定情報２０～４０とで修正されている。ここで議論される「知覚障害」には、オブジェクトを検出できないこと、実際には存在しないオブジェクトを誤って検出してしまうこと、また、１又は複数のオブジェクトを誤って認識してしまうことなどが挙げられる。
【0020】
実世界のデータに実行された如何なる検出の試みについても適切な統計的信頼レベルの決定は、不確実である。これは、当該分野で一般的に使用されている、機械学習ベースのシステムの所謂「信頼度」の値（ＭＬ信頼度）が、訓練データセット及び検証データセットの値に関連しており、そして、それらのデータセットにチューニングされた検出閾値を決定するための基礎として使用されるからである。一方、実世界の運用では、訓練データセット又は検証データセットに含まれていないデータが正しく分類される確率に対応していないＭＬ信頼度の値が得られることが多い。説明に役立つ例として、ＭＬ信頼値は、フォールスポジティブ分類について９０％以上、又は、フォールスネガティブ分類について１０％未満として計算される場合がある一方で、どちらの場合も、実際には、画像は決定閾値に非常に近い（つまり、人が小さいと感じるであろう画像の変化は、分類に割り当てられた明確なＭＬ信頼度の値にもかかわらず、分類を劇的に変化させる）。
【0021】
しかしながら、本明細書に記載されているシステム及び方法を使用すると、同じ未加工データストリームでの検出結果の違いは、システムによって報告されたＭＬ信頼度の値が検出／非検出が非常に確実であることを示しているにしても、検出が実際には検出／非検出の決定境界に近い（つまり、不確実である）と判断することによって、そのような認識障害を検出するために使用される。
【0022】
この点を説明すると、図２は、訓練データ６０のセットの一例を示している。訓練データ６０の第１の部分６５は、「人」として特定された個々の画像のオブジェクト検出を表し、一方、訓練データ６０の第２の部分７０は、「木」として特定された個々の画像のオブジェクト検出を表している。データ６０における分類決定境界線７３は、学習した知覚システムが、いつ、オブジェクトについて人か木かを特定するかを表している。この訓練データ６０の中の茶色のズボンを履いている人は、ある画像７５では高いＭＬ信頼度で「人」と分類されるが、別の画像８０では、画像を見る人が知覚する画像への小さな変化という点で画像が決定境界の近くにあるにも拘わらず、高いＭＬ信頼度で「木」と分類される。
【0023】
開示される知覚評価システム及び方法の一実施形態では、単一の未加工データストリームが複製されて、データストリームの少なくとも２つの同一のコピーが存在するようにされる。その後、それらのコピーの１つに、データ拡張処理が施される。幾つかの実施形態では、データ拡張には、限定ではないが、ガウスブラーやガウスノイズなどの種々のタイプのデータノイズを導入することが含まれる。幾つかの実施形態では、ノイズの目的は、機械学習ベースの知覚システムによって分類される場合に、データストリームの１又は複数のオブジェクトが分類決定境界線７３又は他の決定境界を越える可能性を有する方法で、１つのデータストリームを僅かに乱すことである。当業者であれば、他のタイプのノイズが、特定のブランチでデータストリームに加えられてよいことを認識するだろう。その後、未加工データストリームと拡張データストリームとは知覚処理を施されて、そして、あるセットの結果では検出されるが他のセットでは検出されないというような検出結果の違いが、知覚の弱点や失敗の可能性を示すために使用される。
【0024】
ある特定の代替的実施形態では、所与のデータストリームの異なる時点を表す時系列のデータサンプルが使用されて、所定の時間長さ又はサンプル数内で分類を変化させる又は検出されたりされなかったりするオブジェクトを検出する。オブジェクトの分類が変わったり、検出されたりされなかったりすることは、知覚システムの弱点を示しており、調査すべきである。
【0025】
本開示の方法及びシステムの特定の実施形態は、知覚システムで生じた複数の検出の分析を実行する。ある実施形態では、比較される複数の検出は、入力データの様々な拡張に反応する。別の実施形態では、比較される複数の検出は、時間的に異なる検出の単一のストリームからのものであり、更に別の実施形態では、これらの実施形態の組合せを含む。入力データストリームは、記録されたフィールドデータ、ライブデータ、ハードウェアインザループテスト装置を含むデータ、又はソフトウェアシミュレータによって生成されたデータであってよいが、これらに限定されない。
【0026】
図２に開示された実施形態を参照すると、知覚システム１００は、説明される主題の態様を実装することができる。特定の実施形態では、センサーデータ１１０は、２０１２年式Ｖｏｌｖｏ ＸＣ－６０などの乗用車に取り付けられたＭａｇｅｌｌａｎ ＭｉＶｕｅ ４２０などのダッシュカムを使用して、メーカーの指示に従って収集される。センサーデータ１１０は、スーパーＨＤビデオ解像度（１２９６ｐ）で記録されたビデオ映像であることが好ましいが、他の解像度が用いられてもよい。ある実施形態では、知覚処理はバッチモードで実行されて、入力データは、カメラメーカーが推奨するタイプのＳＤメモリーカードなどの外部記憶装置１２０に記録され、そして、ラップトップコンピュータなどのコンピュータデバイス１３０に転送され、そこから処理用のクラウドコンピューティングインフラストラクチャに転送される。
【0027】
特定の実施形態では、センサーデータ１１０の未修正バージョンが知覚アルゴリズム１４０によって処理される。使用される知覚アルゴリズム１４０は、ＹＯＬＯｖ３（登録商標）、又はＭＡＳＫ Ｒ－ＣＮＮであってよい。ある実施形態では、知覚アルゴリズム１４０は、グラフィックプロセッサ（ＧＰＵ）を含む、タイプｐ３．２ｘｌａｒｇｅのＡｍａｚｏｎ ＡＷＳ Ｅｌａｓｔｉｃ Ｃｏｍｐｕｔｅ Ｃｌｏｕｄノードで実行される。別の実施形態では、知覚アルゴリズム１４０は、Ｌｉｎｕｘ（登録商標）バージョンＵｂｕｎｔｕ１８．０４を実行するタイプＳｙｓｔｅｍ７６モデルＯｒｙｘＰｒｏ（登録商標）の統合ＧＰＵを備えたラップトップコンピュータで実行され、このラップトップは、カメラのＳＤカードからデータを読み取るなどの他の機能にも使用される。当業者によって理解されるように、センサーデータ１１０を処理することができる任意の知覚アルゴリズム１４０及びコンピュータシステムが使用できるであろう。この手順の目的は、知覚アルゴリズム１４０の有効性と、意図された知覚アプリケーションに合わせて調整された学習の重み又は他の構成情報を評価することであるからである。このステップの出力は、第１の検出リストと称する第１の知覚の出力である。実施形態では、この検出リストと他の検出リストとは、ＭｏｎｇｏＤＢ（登録商標）のＡｔｌａｓを使ってファイルシステムに格納される。本明細書で使用されているように、そして、本願の出願時において、ＹＯＬＯｖ３は、ワシントン州シアトルのＸＮＯＲ．ＡＩ社のコモンローマークである。Ｏｒｙｘ Ｐｒｏは、コロラド州デンバーのＳｙｓｔｅｍ７６の商標であり、ＭｏｎｇｏＤＢは、ニューヨーク州ニューヨークのＭｏｎｇｏｄｂ社の登録商標であり、ＡｔｌａｓはＭｏｎｇｏｄｂ社のコモンローマークである。
【0028】
幾つかの実施形態では、他のタイプのセンサーデータ１１０は、例えば、ライダー、フラッシュライダー、レーダー、ステレオカメラ、超音波ソナー、及び他のセンシングモダリティを含む適切な知覚アルゴリズム１４０と共に使用されてよい。本明細書で説明及び開示される例と実施形態の多くは「画像」に言及しているが、そのような言及は、他の多くのタイプのデータが本明細書に記載のシステム及び方法で評価できることから、本開示をデジタルビデオの単一のフレームに限定することを意図するものではない。
【0029】
入力データの第２の拡張バージョンもまた、データフィードに拡張アルゴリズム１５０を実行することによって作成される。ある実施形態では、データ拡張タイプは、標準偏差が３０であるガウスノイズであって、フレーム毎に各ピクセルに追加される。幾つかの実施形態では、ガウスノイズは、以下の手法で画像フレームに加えられる。画像フレームのピクセル毎に、ＲＧＢ空間の各ピクセル値は、ノイズ値を数値的に付加される。このノイズ値は、平均がゼロであって標準偏差が３０であるガウス分布から抽出された疑似乱数値に基づいている。３つのＲＧＢチャンネルの各々には、その分布から独立して計算された疑似乱数値が加えられる。（故に、３つの独立した疑似乱数値が選択されて、各々の値が画素値を構成する赤、緑及び青のデータ値の１つに加算される。）各ピクセルのノイズ値は、画像の各ピクセルについて、そのガウス分布からのサンプルの新しいトリオを介して独立して生成される。
【0030】
更なる実施形態は、ビデオストリームにおける後続の各フレームで同じノイズパターンを使用して、後続のフレームごとに異なるノイズパターンを計算する必要を避けることによって計算速度を改善させる。更なる実施形態は、各フレームについて事前に計算されたノイズパターンのセットからなされた、ランダム化された選択を使用する。
【0031】
別の実施形態では、ガウスブラー、フォトリアリスティックヘイズ（photorealistic haze）、フォトリアリスティックデフォーカス（photorealistic defocus）、アルファチャンネルブレンド、ＪＰＥＧ圧縮、輝度変更、ソルト及びペッパー、ドロップチャンネル、加算ノイズ、畳み込み演算（例えば、当該分野で知られている所定の重みのセットを有する畳み込みカーネルを使用）などの他のセンサーデータ拡張と、ノイズ、歪みや、１又は複数のピクセルを固定値に設定することのような他の画像修正を導入する他の方法とが使用される。ノイズレベルやその他の拡張パラメータを変化させることで、計算性能や欠陥検出能力を最適化することができる。このようなノイズアプローチは他のタイプの画像データ（例えば、赤外線画像のガウスノイズを含む）について適切である一方で、他のノイズアプローチは他のセンサーモダリティについて適切であろう。例えば、測距情報を含むライダーデータ及びレーダーデータは、ガウスノイズアプローチなどを使用して強度及び距離の変化で拡張されるであろう。
【0032】
拡張アルゴリズムの出力は、知覚アルゴリズム１６０の第２のコピーに送られて、第２の検出リストと称する知覚出力の第２のセットが生成される。別の実施形態では、知覚アルゴリズムの同じインスタンスが入力の２つのセットで２回実行されて、第１の（変更されていない）データ入力のセットと第２の（拡張された）データ入力のセットの両方が処理されて、２つの検出リストが生成されてよい。
【0033】
知覚アルゴリズムの出力はオブジェクトのリストであって、各オブジェクトは、オブジェクト又はその他の分類タイプの１又は複数と分類ＭＬ信頼度とを有する。各オブジェクトは更に、オブジェクトの位置、時間情報、軌道情報、予想される将来の動作情報、及び知覚アルゴリズムによって決定されるその他のアノテーションを有してよい。
【0034】
オブジェクト又は他の分類基準が検出された否かを判定するために、知覚システムは好ましくは、意図した用途における知覚システムの使用に対応する検出閾値を設定し、閾値について分類ＭＬ信頼度と比較する。閾値（例えば、３０％）以上のＭＬ信頼度の値は、オブジェクト又は他の分類基準が検出されたことを示し、閾値未満のＭＬ信頼度の値は、知覚システムが、知覚システムがオブジェクトの存在の可能性を提示したが、オブジェクトが検出されたとはみなされなかったことを意味する。言い換えると、ＭＬ信頼度が低いオブジェクト検出は無視されて、非検出として扱われる。この閾値の使用は、誤検出（フォールスポジティブ）を防ぐ上で中心的な役割を果し、従って、閾値はゼロパーセントより大きくなる傾向がある。大抵の場合、閾値は、機械学習の学習プロセスの一部として最適化された値に設定される。
【0035】
これらの種類のシステムの問題の１つは、機械学習のトレーニングに使用されていない特定のデータセットのどこに実際の検出／非検出の分割線があるかが常に直ぐに分かるとは限らないことである。故に、訓練データと比較した表面的な違いに起因して、検出する必要のあるオブジェクトは、検出閾値の近くにて比較的低いＭＬ信頼度が割り当てられ、ＭＬ信頼度の値が検出閾値を僅かに超えていることで、フレームごとに検出ステータスが揺らいだり、大抵の場合（全てではない）検出されることになる。或いは、フレーム毎の微妙な違いにより、オブジェクトに割り当てられたＭＬ信頼度が高い値と低い値の間で大きく変動することがある。この不確実性は、自律的な運用システムでは一般的に受け入れられない。
【0036】
特定の実施形態では、オフラインアプローチが使用され、センサーデータ１１０が最初にデータベースに格納されて、その後、知覚アルゴリズム１４０を施されて、結果として得られる検出リストが別のファイルに格納される。これとは別に、以前に記録されたセンサーデータ１１０がノイズ１５０で拡張されて、２度目の知覚アルゴリズム１６０が施されて、その結果も、前述のようにコンピュータ１３０に格納される１２０。
【0037】
比較ブロック１７０は、未加工センサーデータからの出力と、拡張センサーデータからの出力とを比較して、知覚障害１８０として知られる、違っている検出のリストを生成する。説明に役立つ例として、歩行者が、未修正画像で８０％のＭＬ信頼度（５０％の仮想検出閾値を超える）で検出され、歩行者が、拡張画像ストリームの同じフレームで２０％のＭＬ信頼度で検出される場合（５０％の仮想検出閾値未満）、検出リストは、歩行者が未修正画像には存在するが拡張画像には存在しないという点で違っており、知覚障害が検出されている。同様の結果は、拡張画像ストリームで歩行者が全く検出されなかった場合（ＭＬ信頼度が０）にも起こるであろう。また、拡張データ検出リストに、未修正データ検出リストでは欠落していた閾値を超える（又は閾値未満の）検出があった場合にも、認識アルゴリズムの失敗が起こるであろう。
【0038】
特定の実施形態では、事前設定された検出閾値を横切ることは、知覚障害を決定するために使用されず、代わりに、ＭＬ信頼度の値の所定の差が使用される。このような実施形態では、特定の検出について、未加工センサー検出データのＭＬ信頼度の値と、拡張検出データのＭＬ信頼度の値との差の絶対値が、所定の差よりも大きい場合、知覚システムの検出閾値に拘わらず、知覚障害が示される。この実施形態は、画像における小さなブラックボックス乱れ（black box disturbance）に応答するＭＬ信頼度の大きな変化が、脆弱な知覚機能を示していると見なす。本明細書では、ブラックボックス乱れとは、知覚システムで使用されている特定の設計やニューラルネットワークの重みを考慮しない拡張関数に基づく乱れである。ブラックボックス乱れは、他の実施形態にも適用される。
【0039】
特定の実施形態では、比較操作は、前述したような、記録されたベースライン出力と拡張知覚アルゴリズム出力とを保持するコンピュータデータベースから読み出された検出リストを用いて比較機能によって実行される。他の実施形態では、オンラインシステムのように、図３に示されたデータフローがリアルタイムで形成されてよく、例えば、路上での車両の運転中に知覚障害を検出するような、フレームごとの処理及び比較がストリーミング方式で起こる。
【0040】
図４は、開示される知覚評価システム及び方法の実施例を示す。例えば、ＭＰ４ビデオファイル２００の形態のセンサーデータは、ソフトウェアベースのオブジェクト認識システム（本明細書では「知覚システム」と称する）に送られる。当該システムは、テスト対象システム（ＳＵＴ）２０１であり、ストレージリポジトリ２２０にアップロードされて格納される。ＳＵＴの例として、ＹＯＬＯｖ３ＴＭがある。このようなストレージデバイスの例には、コンピュータのハードドライブ、Ａｍａｚｏｎ Ｓ３バケットなどのクラウドストレージ、カスタマーデータセンター、又はそれらの組合せが挙げられる。
【0041】
次に、センサーデータは、後の比較のためのベースライン結果を確立するためにＳＵＴによって処理され、ビデオ２４０が生成される。この結果はまた、ＳＵＴで検出されたオブジェクトを囲むバウンディングボックス、オブジェクトＩＤ、ＭＬ信頼度レベルなどのメタデータのセットを生成する。そして、これらのメタデータは全て、更なる評価のために、例えばＭｏｎｇｏＤＢ（登録商標）ＡｔｌａｓＴＭデータベース２４１のようなデータベースに保存される。
【0042】
次のステップは、本明細書に記載されているように、ガウスノイズやその他のノイズなどの系統的方法で、ＳＵＴに関連するセンサーデータを拡張すること２５０を含む。次に、ＳＵＴ２０１が拡張データに対して再度実行され、拡張センサーデータに関連するバウンディングボックスと関連メタデータの２番目のセットを生成する。次に、このバウンディングボックスデータは、メッセージブローカー２６０及びインジェスタ２６１を介してデータベースに転送され、その後、データベースに保存され、そこでＳＵＴの各実行の結果が比較され２７０、各フレームについて、ベースライン実行のバウンディングボックスを拡張実行のバウンディングボックスと相関させる。
【0043】
比較モジュール又はステップが、バウンディングボックスとメタデータの２つのセットの違いを特定した場合、アルゴリズム２８０が実行されて、違いが発生した箇所を決定し、そのデータをデータベース２４１に送り返す。次に、幾つかの実施形態では、データベース２４１は、元のセンサーデータの画像を出力するように要求され、色付きのバウンディングボックスは、拡張ＳＵＴ実行がベースラインＳＵＴ実行で特定されたオブジェクトの検出に成功又は失敗した箇所を示す。これらの結果は、その後、関連するユーザーによって分析される。
【0044】
図３で使用されているように、「ＥＣ２」は、Ａｍａｚｏｎ ＷｅｂＳｅｒｖｉｃｅｓのＥｌａｓｔｉｃＣｏｍｐｕｔｅＣｌｏｕｄ内のコンピューティングインスタンスを指す。「ＥＣ２／ＣＰＵ」と付されたＥＣ２インスタンスは中央処理装置のみを含み、「ＥＣ２／ＧＰＵ」と付されたＥＣ２インスタンスはグラフィックス処理装置も含む。用語「インジェスタ（ingestor）」とは、データベースにデータを挿入するためのソフトウェアプロセスを指す。
【0045】
開示される知覚評価システム及び方法の実施形態は潜在的な障害を特定できる一方、知覚障害の誤報を減らし、処理負荷を減らし、処理速度を向上させるために適用できる多くのヒューリスティクスがある。これらには、次の手法が含まれる。
【0046】
（ａ）関心のあるオブジェクトのみが知覚障害についてチェックされる。例えば、歩行者のみが知覚障害についてチェックされ、他のオブジェクトは無視される。
【0047】
（ｂ）バウンディングボックスのサイズに基づいて小さなオブジェクトが無視される。例えば、高さがカメラ画像の垂直サイズの５％を超えるオブジェクトのみが、知覚障害についてチェックされる。
【0048】
（ｃ）画像又はフレームの端にあるオブジェクトは無視される。例えば、カメラ画像の水平サイズの５％を超えて画像の垂直エッジから離れている（つまり、画像の左端と右端から中央に向かって十分に延びている）バウンディングボックスのみを有するオブジェクトが、知覚障害をチェックする際に考慮される。
【0049】
（ｄ）ベースライン（未修正）画像では検出されたが、拡張画像では検出されなかったオブジェクトは、知覚障害であると宣言される。
【0050】
（ｅ）オブジェクトは、正当な検出と見なされるためには、ベースライン画像中にて所定のフレーム数の間存続する必要がある。例えば、１つのフレームにのみ表示されるベースライン画像中のオブジェクトは、検討中の検出リストから破棄される。しかしながら、拡張データの検出リストに１つのフレームでも非検出があると、知覚障害とみなされてしまう。幾つかの実施形態では、ベースライン画像の連続フレーム間でバウンディングボックスのオーバーラップを検出するなどのオブジェクトの追跡が、オブジェクトの持続性の決定に使用される。
【0051】
現在開示されるシステム及び方法はまた、検出及び非検出のパターンに基づいてフォールスポジティブを予測するために使用することができる。予測は、拡張データとベースラインデータとにおける検出の欠損の間の時間遅延を検出することに応答して行うことができる。例えば、知覚機能が、拡張データのフレームＮで歩行者を検出する状況を考えてみる。歩行者は次のフレームＮ＋ｌで検出されず、そして、歩行者は、追加の後続の拡張データフレームで検出されない可能性がある。しかしながら、ベースラインデータでは、フレームＮとＮ＋ｌの両方で、歩行者が知覚システムによって検出されたままである。故に、フレームＮでは、ベースラインデータと拡張データの両方で検出されることになる。しかしながら、フレームＮ＋ｌについては、ベースラインデータでは検出されるが、拡張データでは検出されない。これは、ベースラインデータが強い検出から弱い検出になっていることを示す。フレームＮ＋２において、ベースラインデータと拡張データのどちらでも検出されない場合、その後の１又は複数の画像ではオブジェクトがまだ存在しており、検出の喪失は、完全なオクルージョンやオブジェクトがフレーム外に移動したのではなく、知覚の脆弱性に起因している可能性がある。故に、拡張データでの検出の喪失とそれに続くベースラインデータでの検出の喪失のシーケンスは、ベースラインデータが、フォールスネガティブの知覚障害を被っていることを予測する。
【0052】
加えて、弱い検出（ベースラインデータでは検出されるが、拡張データでは検出されない）は、一般的に、観察された特定の画像シーケンスでフォールスネガティブが起こらなくても、将来の類似画像に対して、将来のある時点でフォールスネガティブがあることを予測する。実際には、弱い検出は大抵の場合、訓練データのギャップに対応しており、従って、機械学習の訓練データセットで過小評価されているオブジェクトを含む一部の画像でのフォールスネガティブを含む誤分類を予測することが観察されている。
【0053】
別の言い方をすれば、機械学習検出の真の強さは、データ拡張がＭＬ信頼度を変化させない度合いである。画像データの極めて僅かな変化がＭＬ信頼度の劇的な変化を引き起こす場合、ＭＬ信頼度の値は誤解を招くものであって、検出は脆弱であった。画像データの適度な変化（データ内のオブジェクトを劣化させるが、大きく覆い隠すことはない）によってＭＬ信頼度に小さな変化が生じる場合には、検出（又は非検出）はロバスト性を有していた。
【0054】
図５を参照すると、異なる時間（例えば、異なる画像フレーム又は異なるライダー掃引）のセンサーデータ３２０を比較するために時間遅延３１０を用いる代替的な実施形態が示されている。本実施形態は、車両３５０に搭載される知覚システム３００に実装される。
【0055】
比較的短い時間スケール（例えば、連続する画像フレーム）にわたった、異常３３０として知られた検出リストにおける違いは、オブジェクトが正当に現れたり消えたりすることに起因している可能性があるが、フォールスネガティブ又はフォールスポジティブの知覚検出に起因している可能性もある。異常３３０は、フォールスネガティブ及びフォールスポジティブの知覚検出について手動でスクリーニングされてよい。或いは、例えば、短時間に現れては消える検出（検出と未検出の間を行き来するフリッカリング検出）は、知覚アルゴリズムのロバスト性に問題がある可能性が高いとするフラグを立てるなど、ヒューリスティックな手法を用いて異常３３０を事前にスクリーニングすることで、人によるレビュー時間を短縮することができる。図４の実施形態はまた、センサーデータを変更せずに単に通過させ、その結果を時間的に変位した結果のものと比較するヌル拡張と共に使用することができる。
【0056】
図４に従って知覚障害を特定するための特定のアプローチは、検出が第１のフレームに存在し、第２のフレームには存在せず、後続の（第３以降の）フレームに再び現れる一連のフレームを特定することである。これは、「フリッカリング（flickering）」と呼ばれる。一般的に、フリッカリング検出は、知覚障害や、電柱が一時的にオブジェクトを遮るなどのオクルージョンで説明されるだろう。しかしながら、一般的な動画では、動画のフレームレートが高いことから、突然のオクルージョンの可能性はない。典型的な３０Ｈｚのフレームでは、１つのフレームに影響を与えるためには、約１０分の１秒未満の時間でオクルージョンが発生している必要がある。それ故に、フリッカリング検出は、オクルージョンよりも知覚の見逃しである可能性が高く、この実施形態を効果的な知覚障害検出器にさせる。
【0057】
別の実施形態は、ある期間についての検出に関連するデータの変化を介して知覚障害を特定することを含む。例えば、知覚が、１又は数フレームの間隔内に歩行者から低木に変更し、次に歩行者に戻る場合、それは知覚の脆弱性を示す。この知覚障害の特定は、ベースラインデータ及び／又は拡張データで使用できる。また、短い期間にわたったその他の検出属性の実質的な変化が使用されて、オブジェクト分類、オブジェクト位置、オブジェクト軌道、知覚される将来の計画／意図、及び、評価されたリスク又は脅威レベルの変化などを含む知覚障害が特定されてよい。同様に、デュアルチャンネルアプローチ（例えば、図３及び図６）は、１つのフレームであっても、ベースライン検出と拡張検出の間でそのような属性の実質的な違いを特定することができ、知覚障害を特定するために使用することができる。
【0058】
図６は、２つの拡張チャンネル５００を有する代替的な実施形態を示す。動作は図３と同様であるが、好ましくはタイプ又は強度が異なる拡張で、実際には、センサーデータ５３０の第１の拡張５１０及び第２の拡張５２０で、両方のセンサーデータパスが拡張される点が異なる。（別の見方をすると、図３は、図６の特別な場合であり、上側チャンネルではヌル拡張があり、故に、図３に関する説明は、図６にも当てはまる。）このアプローチは、異なるタイプ又は異なる拡張パラメータ値で知覚障害がいつ発生するかを判断する場合など、差分拡張分析に有利である。当業者によって理解されるように、３つ以上のそのようなチャンネルは、各チャンネルについて異なる拡張タイプ及び／又はパラメータ値を用いて、この目的のために容易に使用できるであろう。異なる拡張は、異なる拡張アルゴリズムであり得るが、単一のアルゴリズムについては異なる拡張データでもあり得る。具体的な例示的実施形態として、事前に計算された拡張パターンのセットからのランダムな選択が使用される前述の実施形態は、複数の異なるランダム化された事前計算パターンを用いるように拡張でき、そのようなパターンの各々は、複数のチャンネルの１つで使用される。このアプローチの目的は、事前に計算された複数の拡張パターンのうちの１つが、決定境界にわたってデータサンプルを擾乱する可能性を高めることであると考えられる。
【0059】
図７は、シミュレーター６１０が使用されて、シミュレーションされたセンサーデータと検出リストの両方が生成される別の代替的実施形態を示している。このアプローチは、調整されたセンサー入力による検出リストについてグラウンドトゥルースデータの形態を提供して、グラウンドトゥルースに対する絶対ベースで拡張６３０下での知覚アルゴリズムのロバスト性を測定することを可能する。本実施形態はまた、拡張データに対する知覚アルゴリズムの機械学習トレーニング用のラベル付きデータとしてシミュレーション検出リストを使用することによって（即ち、拡張データは、知覚システムを訓練するために使用され、シミュレーションは訓練ラベルを生成する）、拡張入力を用いて知覚アルゴリズム６２０を訓練するのに適している。
【0060】
図８は、本発明の別の代替的実施形態を示しており、ベースライン知覚アルゴリズムが、検出リストの所謂グラウンドトゥルースを確立する代替的方法に置き換えられる。例えば、図３では、上側の知覚アルゴリズムブロックは、人によるデータラベリング又は人が支援するコンピュータベースのデータラベリング７１０に置き換え可能であろう。このようなシステムでは、拡張データを処理する下側の知覚ブロックは、依然として関心の対象の知覚アルゴリズムを使用するであろう。この実施形態は、（正確なグラウンドトゥルースラベルを仮定して）知覚アルゴリズムのベースライン精度を気にすることなく、フォールスポジティブとフォールスネガティブの両方について知覚のロバスト性をテストする方法を提供する。
【0061】
本明細書に記載されているシステムは、図９に大まかに示されているように、全体的な方法８００を実行するように設計されている。最初に、８１０にて、オリジナルのデータストリームが、物理的世界を感知するセンサーから取得される。特定の実施形態では、センサーは、自律的又は半自律的に移動するように装備された車両に取り付けられる。このオリジナルのデータストリームは、本明細書で説明したように、操作又は拡張ができるようにコピーされる８２０。実施形態では、コピーされたデータストリームは、その後、８３０にてノイズで拡張されて拡張データストリームが作成され、オリジナルのデータストリーム及び拡張データストリームの両方が知覚システムで処理されて、８４０にて第１の検出リスト及び第２の検出リストが得られる。最後に、８５０にて、第１の検出リストと第２の検出リストを比較して、検出障害の可能性に相関する１又は複数の違いが特定される。本明細書で述べたように、このプロセスは特定の目的のために変更することができ、図８は、先に述べた方法の何れかに取って代わることを意図したものではなく、本開示に合致する方法の一例であることが意図されている。この方法は、知覚結果の正確さをチェックするために必要な人間のレビュー時間を大幅に短縮して、他の方法では容易には明らかにならないような、知覚システムに内在する脆弱性と知覚障害に関する重要な情報を提供する。
【0062】
本開示において拡張の使用が教示される場合には、拡張パラメータを操作して拡張量を増加又は減少させることによって拡張量を変化させる代替的な実施形態が存在する。この変化の例としては、ノイズ密度を変更すること、ブラーの量を変更すること、又は畳み込みカーネルの重みをスケールアップ又はスケールダウンして、拡張がセンサーデータを乱す程度を増減することが挙げられる。
【0063】
特定の検出リストの結果を考慮して拡張量を変更することで、知覚アルゴリズムの２つのコピーによって処理及び出力されたベースラインセンサーデータと拡張センサーデータの間で、検出リストの結果に差が生じる寸前の拡張のレベルを決定することができる。拡張量は、知覚アルゴリズムがどれだけ脆弱であるかを示す指標として使うことができ、品質を決定するものとも見なすことができる。検出リストに違いを生じさせるために必要な拡張量が多いほど、知覚アルゴリズムの脆弱性は下がる。拡張の各レベルで単一のサンプルを使用できるが、ランダム化されたプロセスに基づく拡張の場合、統計的サンプリング手法が、適切なレベルの統計的信頼性で拡張閾値を確立するために望ましい。
【0064】
固定又は可変の拡張強度を備えた脆弱性検出器を、知覚アルゴリズムを評価するためにオフラインとリアルタイム操作中のオンラインの両方で使用して、動作中の知覚システムのロバスト性を測定することができる。低い拡張値が実質的に変更されていないデータフローに対して検出リストの差を生じさせる場合、知覚アルゴリズムの動作に対するロバスト性のマージンが不十分であることを示しており、知覚障害を予測することができる。
【0065】
特定の実施形態では、（自動運転車両内などで、リアルタイムで動作する）オンライン検出器を用いることで、後の分析のために保持する必要があるデータを特定することができる。この動作モードでは、車両は、記載されている動作モードの１つに従って知覚障害検出を実行し、特定された潜在的又は実際の知覚障害の検出に応答して、限られた期間でセンサーデータストリームの一部を記録する。例えば、システムは、障害検出の発生前３０秒と発生後１０秒のデータを保持してよい。これにより、車両センサーのデータストリーム全部を保持及び送信する場合と比較して、車両外分析のために保持及び送信する必要のあるデータ量が減少する。
【0066】
特定の実施形態では、比較ブロック、例えば図３の符号１７０（これは、関数、手順のステップ、物理的コンピューティングシステム、又はそれらの組合せであってよい）は、潜在的な知覚障害を特定するために、拡張センサーデータ及び未加工センサーデータの検出リストに対して統計的分析を実行する。この統計分析は、以前に特定された既知の（ラベル付け）知覚障害の結果を評価して、将来の知覚障害の結果の精度を高める。実施形態では、バックプロパゲーションアルゴリズムが使用してニューラルネットワークが訓練されて、どの知覚結果がトゥルーポジティブ、フォールスポジティブ、トゥルーネガティブ、及びフォールスネガティブであるかをより良好に予測することができる。他の機械学習、深層学習、及び同様のアプローチも、知覚障害を特定するための効率及び効果を向上させるために使用することができる。
【0067】
当業者であれば理解できるように、示された本発明の様々な実施形態における操作は、単一の拡張センサーデータチャンネルに限定されない。例えば、図２及び図５はまた、タイプ及び強度が様々である拡張を施されるデータの１又は複数の追加チャンネルを含んでよい。各チャンネルは、知覚アルゴリズムを介して実行され、検出リストを生成するであろう。このようなアプローチは、例えば、同じセンサーデータで実行される様々なタイプの拡張について様々な次元でロバスト性を決定する場合や、同じセンサーデータストリームで実行される様々な強度の同じ又は類似の拡張についてロバスト性を決定する場合に有利であろう。それはまた、拡張に対する様々な知覚アルゴリズムのロバスト性を比較する場合にも有利であろう。
【0068】
別の代替的実施形態は、限定ではないが、様々なタイプ及びレベルの拡張の使用を含んでおり、当該拡張は、同じ知覚アルゴリズムの複数のインスタンスを介して処理されて、その知覚アルゴリズムのロバスト性のレベルを決定することができる。特に、ランダム化されたデータ破損などの効率的な拡張が、ヘイズモデルやデフォーカスモデルのようなより現実的な拡張と比較されて、ロバスト性又は訓練の有効性を判断するための効率的なモデルの代表性を調整又は決定することができる。
【0069】
２つ以上のレーダー、ライダー、ビデオイメージングなど、様々なセンサーを比較に使用でき、これらのセンサーフィードの１又は複数が拡張されてよい。
【0070】
拡張、知覚処理、及び比較は、オフラインで、リアルタイムで、又は、計算能力とレイテンシーのトレードオフを達成するために準リアルタイム（例えば、１０番目ごとの画像のセンサーデータのサブセット、又は、ライブデータストリームから定期的にバーストでサンプリングされるセンサーデータのシーケンスのクリップ）で実行されてよい。
【0071】
図１０に示される実施形態を参照すると、知覚障害の検出が用いられて、知覚システムの性能を改善するために訓練データ及び／又は検証データに追加するためのラベリングの適切な候補であるような格納データ又はストリーミングデータのサブセットを特定することができる。これには、知覚システムが画像又は画像シーケンスに対して脆弱に動作することから再トレーニング及び／又は手動分析に高い価値をもたらすような画像又は短い画像シーケンスを特定するという利点がある。
【0072】
図３、６又は８に示されているような特定の実施形態では、限定ではないが、未加工センサーデータ１０１０が収集される１０００。この未加工センサーデータ１０００は、本明細書に記載されている又は当業者に知られているようなビデオ又はその他のセンサーデータであってよい。未加工データの最初のインスタンスでは、それはテスト対象システム（ＳＵＴ）１０２０に送られて分析され、ＳＵＴは、先に説明したようなバウンディングボックスやその他の情報などのメタデータを有するビデオフレームのような未加工データ出力１０４０をもたらす。未加工センサーデータはまた、前述のようにノイズ１０３０で拡張され、ＳＵＴによって評価されて、ビデオ及びメタデータのような拡張データ出力１０５０が得られる。前に説明したように、未加工データ出力１０４０は拡張データ出力と比較されて１０６０、ＳＵＴ１０２０での潜在的な知覚障害（障害）１０７０のリストが特定される。特定の実施形態では、これらの潜在的知覚障害のリストは、障害を検証又はデバンクし、また、結果を改善するために何らかの方法でＳＵＴを修正できるか否かを判定するため１０９０に、人による再検討１０８０に供することができる。別の実施形態では、これらの所謂「エッジケース（edge cases）」（検証された障害と暴かれた障害の両方をもたらすデータを含む）をＳＵＴ訓練データセットに追加して、知覚システムの性能を改善することができる。
【0073】
本発明の様々な実施形態は、知覚アルゴリズムのロバスト性を決定し、知覚アルゴリズムの弱い性能を特定し、知覚アルゴリズムの障害を予測し、実際の知覚アルゴリズムの障害を特定するために有利に使用されてよい。本発明は、物理的装置（例えば、別の知覚システムに送信されるデータストリームを変更するハードウェア及びソフトウェアと、比較を実行する物理コンピューティングモジュールとを備えた拡張物理コンピューティングモジュール）のみならず、一般的なコンピューティングプラットフォームでホストされる純粋なソフトウェア機構を介して実施されてよい。
【0074】
用語「欠陥」と用語「障害」という用語は同じ意味で使用され、各用語は、弱い検出と、フォールスネガティブと、フォールスポジティブと、知覚性能、正確さ、精度、再現率、又はその他の望ましい特性や測定基準に関するその他の問題又は潜在的な問題とを含む。用語「オブジェクト」は、限定ではないが、物理的なオブジェクト、シーンの特性（例えば、昼、夜、雨、太陽、低コントラスト、太陽のまぶしさ）と、評価結果（例えば、センサーデータは「高リスク」と「低リスク」の状況を示すものとして分類される）とを含む。
【0075】
本明細書に記載されている実施形態の幾つかの態様は、プロセスステップを含む。実施形態のプロセスステップは、ソフトウェア、ファームウェア、又はハードウェアで具体化することができ、ソフトウェアで具体化する場合は、ダウンロードされて、様々なオペレーティングシステムによって使用される様々なプラットフォーム上に常駐して、そこから操作され得ることに留意のこと。実施形態はまた、コンピューティングシステム上で実行可能なコンピュータプログラム製品でなされてよい。
【0076】
実施形態また、本明細書に記載の操作を行うためのシステムに関する。このシステムは、例えば、特別に構築又は選択されたコンピュータデバイスのアレイのように、目的のために特別に構築されてよく、或いは、コンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化又は再構成される汎用コンピュータを含んでよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてよく、当該媒体は、限定ではないが、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、磁気光学ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光ディスク、特定用途向け集積回路（ＡＳＩＣ）、或いは電子命令の保存に適した任意のタイプの媒体であって、各々は、コンピュータシステムバスに結合される。メモリ／ストレージは、一時的又は非一時的であってよい。メモリは、上記の何れか、及び／又は情報／データ／プログラムを格納できる他のデバイスを含んでよい。更に、本明細書で言及されるコンピュータデバイスは、単一のプロセッサを含んでよく、又は、演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってよい。
【0077】
本明細書では、好ましい実施形態及びその具体的な実施例を参照して本発明を説明及び記載してきたが、他の実施形態及び実施例が同様の機能を果たし、及び／又は同様の結果を達成できることは、当業者には容易に明らかであろう。このような均等な実施形態及び実施例は全て、本発明の精神及び範囲内にあり、本発明によって予期されており、特許請求の範囲に含まれることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-08-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
知覚システムの性能を測定するためのコンピュータ実施方法であって、前記知覚システムで評価される一対のセンサーデータ入力ストリームを取得するステップと、
前記一対のセンサーデータ入力ストリームの少なくとも１つにデータ拡張を加えて、一対の更新されたセンサーデータ入力ストリームを取得するステップと、
前記一対の更新されたセンサーデータ入力ストリームを前記知覚システムで処理して、第１の検出リスト及び第２の検出リストを得るステップと、
前記第１の検出リストと前記第２の検出リストとを比較して、１又は複数の知覚の弱点を特定するステップと、
を含む方法。
【請求項2】
未加工センサーデータの入力ストリームを受け取るステップと、前記未加工センサーデータの入力ストリームを２つのブランチに分割するステップであって、各ブランチが前記一対のセンサーデータ入力ストリームの片方を形成する、ステップと、
を更に含む、請求項１に記載の方法。
【請求項3】
前記一対のセンサーデータ入力ストリームは同じセンサーから取得され、前記一対のセンサーデータ入力ストリームの一方は、第１の期間中に取得され、前記一対のセンサーデータ入力ストリームの他方は、第２の期間中に取得される、請求項１に記載の方法。
【請求項4】
前記第１又は第２の検出リストにおけるフリッカリング検出を知覚の弱点として特定するステップを更に含む、請求項１に記載の方法。
【請求項5】
前記一対のセンサーデータ入力ストリームの一方をシミュレーターで生成するステップを更に含む、請求項１に記載の方法。
【請求項6】
前記データ拡張はノイズを含んでいる、請求項１に記載の方法。
【請求項7】
前記ノイズは、ガウスブラー、ガウスノイズ、フォトリアリスティックヘイズ、フォトリアリスティックデフォーカス、アルファチャンネルブレンド、ＪＰＥＧ圧縮、明るさ変更、ソルトアンドペッパー、固定ピクセル値、ドロップチャンネル、加法性ノイズ、ブラックボックス乱れ、及び畳み込み演算の１又は複数を含む、請求項６に記載の方法。
【請求項8】
前記一対の検出リストの各々は、各オブジェクトがオブジェクトタイプ及び分類ＭＬ信頼度のうちの１又複数を有するオブジェクトのリストを含む、請求項１に記載の方法。
【請求項9】
前記オブジェクトのリストの各オブジェクトは、オブジェクトの位置、時間情報、軌道情報、及び予想される将来の行動情報のうちの少なくとも１つを含む、請求項８に記載の方法。
【請求項10】
前記拡張データを生成するためにパラメータのセットを操作するステップを更に含んでおり、前記パラメータのセットは、ノイズ密度、ブラー、及び畳み込みカーネルの重みのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項11】
オブジェクトがもはや検出されなくなるまで、前記一対のセンサーデータ入力ストリームの少なくとも一方に追加されるデータ拡張の量を増加させるステップを更に含む、請求項１０に記載の方法。
【請求項12】
前記センサーデータ入力ストリームのある時点で知覚の弱点を検出するステップと、前記センサーデータ入力ストリームの一部を保存するステップと、を更に含む、請求項１に記載の方法。
【請求項13】
前記センサーデータ入力ストリームの一部は、前記知覚の弱点の発生前の所定量のセンサーデータを含む第１の副部と、前記知覚の弱点の発生後の所定量のセンサーデータを含む第２の副部とを含む、請求項１２に記載の方法。
【請求項14】
前記第１の検出リストは、未加工センサーデータの入力ストリームの結果であり、前記第２の検出リストは、拡張センサーデータの入力ストリームの結果であり、前記方法は、前記第２の検出リストの検出失敗に続いて前記第１の検出リストの検出失敗に応答して、知覚障害を予測するステップを更に含む、請求項１に記載の方法。
【請求項15】
前記検出失敗は、検出が所定の割合よりも低いＭＬ信頼度を有する場合に発生する、請求項１４に記載の方法。
【請求項16】
前記検出失敗は、前記第２の検出リストの検出のＭＬ信頼度と前記第１の検出リストの検出のＭＬ信頼度との差の絶対値が所定の量よりも大きい場合に発生する、請求項１４に記載の方法。
【請求項17】
前記知覚の弱点に基づいて訓練データのギャップを特定するステップを含む、請求項１に記載の方法。
【請求項18】
知覚システムの性能を測定するためのシステムにおいて、メモリ又はその他のデータストレージ機構と、
請求項１乃至１７の何れかの方法を実行するように構成された１又は複数のプロセッサと、
を備えている、システム。
【請求項19】
知覚システムの性能を測定するための非一時的コンピュータ可読媒体であって、そこに格納された命令を含んでおり、それら命令は、プロセッサで実行されると請求項１乃至１７の何れかの方法を行う、非一時的コンピュータ可読媒体。
【国際調査報告】