知財求人 - 知財ポータルサイト「IP Force」
▶ コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-25
(54)【発明の名称】敵対的攻撃の自動認識及び分類
(51)【国際特許分類】
G06T 7/00 20170101AFI20220317BHJP
【ＦＩ】
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021545871
(86)(22)【出願日】2020-03-17
(85)【翻訳文提出日】2021-08-05
(86)【国際出願番号】 DE2020200018
(87)【国際公開番号】W WO2020192849
(87)【国際公開日】2020-10-01
(31)【優先権主張番号】102019204318.6
(32)【優先日】2019-03-28
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】503355292
【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ
【住所又は居所原語表記】Ｓｉｅｂｏｌｄｓｔｒａｓｓｅ １９， Ｄ－９０４１１ Ｎｕｅｒｎｂｅｒｇ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(74)【代理人】
【識別番号】100208258
【弁理士】
【氏名又は名称】鈴木 友子
(72)【発明者】
【氏名】ピーゲルト・エーリク
(72)【発明者】
【氏名】カルク・ミシェール
(72)【発明者】
【氏名】シャルフェンベルガー・クリスティアン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA04
5L096CA05
5L096DA02
5L096FA32
5L096FA33
5L096FA34
5L096GA08
5L096HA11
5L096JA11
(57)【要約】
本発明は、以下に関する：自動化された検出システム、特に、例えばアシストされた乃至自動化された走行用のインテリジェントなカメラセンサ（１；２；３）のオブジェクト検出システムなど、画像ベースの検出システムに対する敵対的攻撃を認識するための方法及びシステム。
本方法は、以下のステップを包含する：
ａ）基準画像／ビデオ／オーディオ・シグナル、例えば、オリジナル画像など、並びに、細工された可能性がある画像／ビデオ／オーディオ・シグナルの提供するステップ（Ｓ１２）。
ｂ）基準シグナルと細工された可能性があるシグナルとの間の違いを、様々な方法を用いて定量化するｎヶのメトリクスのセットを算出するステップ（Ｓ１４）、但し、ｎは、「１」以上の自然数である。
ｃ）ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築するステップ（Ｓ１６）。
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ（Ｓ１８）。
ｅ）敵対的攻撃のクラスを出力するステップ（Ｓ２０）。
敵対的攻撃を分類することにより、敵対的攻撃のクリティカル（Ｅ１）と認識されたクラスに対して特定の対策（Ｓ３０）を講じることが可能になる。
本方法は、以下のステップを包含する：
ａ）基準画像／ビデオ／オーディオ・シグナル、例えば、オリジナル画像など、並びに、細工された可能性がある画像／ビデオ／オーディオ・シグナルの提供するステップ（Ｓ１２）。
ｂ）基準シグナルと細工された可能性があるシグナルとの間の違いを、様々な方法を用いて定量化するｎヶのメトリクスのセットを算出するステップ（Ｓ１４）、但し、ｎは、「１」以上の自然数である。
ｃ）ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築するステップ（Ｓ１６）。
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ（Ｓ１８）。
ｅ）敵対的攻撃のクラスを出力するステップ（Ｓ２０）。
敵対的攻撃を分類することにより、敵対的攻撃のクリティカル（Ｅ１）と認識されたクラスに対して特定の対策（Ｓ３０）を講じることが可能になる。
【特許請求の範囲】
【請求項1】
以下のステップを包含することを特徴とする自動化された検出システムに対する敵対的攻撃を認識及び分類するための方法：ａ）基準画像／ビデオ／オーディオ・シグナル、並びに、細工された可能性がある画像／ビデオ／オーディオ・シグナルの提供するステップ（Ｓ１２）、
ｂ）基準シグナルと細工された可能性があるシグナルとの間の違いを、様々な方法を用いて定量化するｎヶのメトリクスのセットを算出するステップ、但し、ｎは、「１」以上の自然数である（Ｓ１４）、
ｃ）ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築するステップ（Ｓ１６）、
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ（Ｓ１８）、並びに、
ｅ）敵対的攻撃のクラスを出力するステップ（Ｓ２０）。
【請求項2】
以下のステップも包含していることを特徴とする請求項１に記載の方法：ｆ）敵対的攻撃のクリティカル（Ｅ１）と認識されたクラスに対して特定の対策を講じるステップ（Ｓ３０）。
【請求項3】
自動化された検出システムは、車両のカメラベースのセンサシステムを包含しており、細工されている可能性のあるシグナルが、該カメラベースのセンサシステムの少なくとも一台のカメラによって撮影された画像乃至ビデオシグナルであることを特徴とする請求項１或いは２に記載の方法。
【請求項4】
敵対的攻撃を認識するための方法が、車両からオンライン・データベースへのシグナル転送中に実施されることを特徴とする請求項３に記載の方法。
【請求項5】
検出手段が、車両内のマルチ・カメラシステムを包含し、細工されている可能性のある画像乃至ビデオシグナルと基準画像乃至ビデオシグナルが、異なるシングルカメラによる同じシーンの撮影のオーバーラップしている領域、或いは、時間的にシフトした撮影であることを特徴とする請求項３に記載の方法。
【請求項6】
メトリクスの算出が、細工されている可能性のある画像全体に対して実施されることを特徴とする請求項３から５の何れか一項に記載の方法。
【請求項7】
メトリクスの算出が、細工されている可能性のある画像の一つの画像領域に対して実施されることを特徴とする請求項３から５の何れか一項に記載の方法。
【請求項8】
メトリクスの算出が、画像シーケンス、乃至、画像領域のセーケンスに対して実施されることを特徴とする請求項３から７の何れか一項に記載の方法。
【請求項9】
ｎヶのメトリクスが、以下の群から選択される複数のメトリクスを包含していることを特徴とする請求項３から８の何れか一項に記載の方法：ＳＳＩＭ； Ｌ１－Ｎｏｒｍ， Ｌ２－Ｎｏｒｍ， ＫＬ－Ｄｉｖｅｒｇｅｎｚ， ＭＳＥ， ＭＡＥ， ＰＳＮＲ， Ｌ∞ Ｎｏｒｍ， Ｌ０ Ｎｏｒｍ， Ｅｄｇｅ ｍｅｔｒｉｃｓ， ｈａｓｈ ｍｅｔｒｉｃｓ、並びに、Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ｍｅｔｒｉｃｓ。
【請求項10】
該ｎヶのメトリクスからサブセットを、関連するｍヶのメトリクスを抽出するために作成するが、該ｍは、ｎよりも小さい自然数であり、ステップｄ）において、ｍ次元の特徴空間内において算出されたメトリクスに基づいて分類されることを特徴とする先行請求項のうち何れか一項に記載の方法。
【請求項11】
該サブセットの作成が、機械学習に基づいて実施され、且つ、これらのメトリクスが、自動的に表現学習を用いて学習されることを特徴とする請求項１０に記載の方法。
【請求項12】
入力インターフェース、認識ユニット（１０）並びに出力インターフェース（１１）を包含する自動化された検出システムへの敵対的攻撃を認識するためのシステムであって、以下を特徴としている：－該入力インターフェースが、基準・画像／ビデオ／オーディオ・シグナルと細工された可能性のある画像／ビデオ／オーディオ・シグナルを受信し、認識ユニット（１０）へ提供することができるように構成されている；
－但し、該認識ユニット（１０）は、以下の様に構成されている：
・基準・画像／ビデオ／オーディオ・シグナルと細工された可能性のある画像／ビデオ／オーディオ・シグナルとの間の違いを様々な方法で定量するｎヶのメトリクスのセットを算出すること、
・ｎ次元の特徴空間を算出されたメトリクスを基に構築すること、並びに、
・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類すること、
そして
－該出力インターフェース（１１）は、認識ユニット（１０）によって割出された敵対的攻撃のクラスを出力することができる様に構成されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動化された検出システム、特に、例えばアシストされた乃至自動化された走行用のインテリジェントなカメラセンサのオブジェクト検出システムなど、画像ベースの検出システムに対する敵対的攻撃を認識するための方法及びシステムに関する。
【背景技術】
【0002】
人工知能、人工ニューラルネットワーク、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）、深層学習は、アシストされた及び自動化された走行と言うコンテクストと関連して、普及してきている。その際、機械的視覚（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）が、最も頻繁な応用分野である。
【0003】
Ｓｚｅｇｅｄｙ ｅｔ ａｌ．は、２０１９年０３月２１日にｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１３１２．６１９９よりダウンロードされたバージョンの「Ｉｎｔｒｉｇｕｉｎｇ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ， ａｒＸｉｖ：１３１２．６１９９ｖ４ ［ｃｓ．ＣＶ］， １９ Ｆｅｂ ２０１４」において、所謂“ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ”（「敵対的事例」）は、正しく認識された画像例と比較して観察者が人の場合には重要であると思わない様なものでも、画像認識のためにトレーニングされた深層ニューラルネットワークからは、驚くべき程に誤って認識されることを示した。これは、深層ネットワークの原理によるものであり、細工を施すために“Ａｄｖｅｒｓａｒｉａｌ Ａｔｔａｃｋｓ”（「敵対的攻撃」）として悪用され得る。
【0004】
従来の技術において既に、敵対的攻撃を作成する様々な方法、及び、敵対的攻撃に対する様々な防御（“Ｄｅｆｅｎｓｅ”）方法が存在している。昨今、非常に類似するものもあるものの、全く異なるグローバル乃至ローカルな変化を細工する多種の攻撃たり得るものが出回っている。しかし現時点では、敵対的攻撃による変化の質を評価するためメトリクスは、攻撃を生成するために既に用いられている、数少ないものに限られている。しかし、敵対的攻撃による画像内の変化を、完全に記述し、その攻撃の質を評価するには、存在しているメトリクスでは不十分であることが示された。
【0005】
以下の様な文献が、このテーマを取り扱っている：
Ｕｙｅｏｎｇ Ｊａｎｇ， Ｘｉ Ｗｕ， ａｎｄ Ｓｏｍｅｓｈ Ｊｈａ． Ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ ａｎｄ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ Ｃｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， Ｏｒｌａｎｄｏ， ＦＬ， ＵＳＡ， Ｄｅｃｅｍｂｅｒ ４－８， ２０１７， ｐａｇｅｓ ２６２-２７７， ２０１７． ｄｏｉ：１０．１１４５／３１３４６００．３１３４６３５．
Ｍａｈｍｏｏｄ Ｓｈａｒｉｆ， Ｌｕｊｏ Ｂａｕｅｒ， ａｎｄ Ｍｉｃｈａｅｌ Ｋ． Ｒｅｉｔｅｒ． Ｏｎ ｔｈｅ ｓｕｉｔａｂｉｌｉｔｙ ｏｆ Ｌｐ－ｎｏｒｍｓ ｆｏｒ ｃｒｅａｔｉｎｇ ａｎｄ ｐｒｅｖｅｎｔｉｎｇ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ． ＣｏＲＲ， ａｂｓ／１８０２．０９６５３， ２０１８．
Ｎａｖｅｅｄ Ａｋｈｔａｒ ａｎｄ Ａｊｍａｌ Ｍｉａｎ． Ｔｈｒｅａｔ ｏｆ ａｄｖｅｒｓａｒｉａｌ ａｔｔａｃｋｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ： Ａ ｓｕｒｖｅｙ． ＩＥＥＥ Ａｃｃｅｓｓ， ６：１４４１０-１４４３０， ２０１８． ｄｏｉ：１０．１１０９／ＡＣＣＥＳＳ．２０１８．２８０７３８５．
Ｕｙｅｏｎｇ Ｊａｎｇ， Ｘｉ Ｗｕ， ａｎｄ Ｓｏｍｅｓｈ Ｊｈａ． Ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ ａｎｄ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ Ｃｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， Ｏｒｌａｎｄｏ， ＦＬ， ＵＳＡ， Ｄｅｃｅｍｂｅｒ ４－８， ２０１７， ｐａｇｅｓ ２６２-２７７， ２０１７． ｄｏｉ：１０．１１４５／３１３４６００．３１３４６３５．
Ｍａｈｍｏｏｄ Ｓｈａｒｉｆ， Ｌｕｊｏ Ｂａｕｅｒ， ａｎｄ Ｍｉｃｈａｅｌ Ｋ． Ｒｅｉｔｅｒ． Ｏｎ ｔｈｅ ｓｕｉｔａｂｉｌｉｔｙ ｏｆ Ｌｐ－ｎｏｒｍｓ ｆｏｒ ｃｒｅａｔｉｎｇ ａｎｄ ｐｒｅｖｅｎｔｉｎｇ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ． ＣｏＲＲ， ａｂｓ／１８０２．０９６５３， ２０１８．
Ｎａｖｅｅｄ Ａｋｈｔａｒ ａｎｄ Ａｊｍａｌ Ｍｉａｎ． Ｔｈｒｅａｔ ｏｆ ａｄｖｅｒｓａｒｉａｌ ａｔｔａｃｋｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ： Ａ ｓｕｒｖｅｙ． ＩＥＥＥ Ａｃｃｅｓｓ， ６：１４４１０-１４４３０， ２０１８． ｄｏｉ：１０．１１０９／ＡＣＣＥＳＳ．２０１８．２８０７３８５．
【発明の概要】
【発明が解決しようとする課題】
【0006】
よって、本発明の課題は、ネットワークに対する敵対的攻撃を信頼性が高く且つ詳細な認識を提供することにある。
【課題を解決するための手段】
【0007】
詳細な認識を実施するための本質的なアスペクトは、どの敵対的攻撃によってネットワークが、攻撃されたのかを見つけること、即ち、敵対的攻撃を分類することである。分類の基準は、基準画像と比較して細工された可能性のある画像に加えられた変化である。画像内における変化の尺度としては、双方の画像を基にした計算によって変化を定量化するメトリクスが、用いられる。
敵対的攻撃の一つのクラス（敵対的クラス）は、一つの敵対的攻撃、或いは、似通った挙動により画像に細工を施す幾つかの敵対的攻撃の群のタイプであることができる。他のクラスとしては、画像の「変化無し」、「他の原因によって説明できる画像の変化」（例えば、画像撮影時の不具合）、並びに、「攻撃であり得る未知のクラス」などを設けることができる。
敵対的攻撃の一つのクラス（敵対的クラス）は、一つの敵対的攻撃、或いは、似通った挙動により画像に細工を施す幾つかの敵対的攻撃の群のタイプであることができる。他のクラスとしては、画像の「変化無し」、「他の原因によって説明できる画像の変化」（例えば、画像撮影時の不具合）、並びに、「攻撃であり得る未知のクラス」などを設けることができる。
【0008】
本発明のアスペクトの一つは、画像が受けた複数の変化を記述するために複数のメトリクスを用いることを基にしている。
【0009】
更なるアスペクトは、攻撃を画像に施された変化のみを基にして区別し、認識することを基にしている。これにより、ネットワークを用いた検出のランタイム内に敵対的攻撃を認識することを可能にする。
更に、攻撃クラスが、認識されることにより、特定の攻撃クラス用に特別に開発された防衛対策（Ｄｅｆｅｎｓｅｓ， Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ）を用いることも可能になる。
更に、攻撃クラスが、認識されることにより、特定の攻撃クラス用に特別に開発された防衛対策（Ｄｅｆｅｎｓｅｓ， Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ）を用いることも可能になる。
【0010】
即ち、敵対的攻撃の早期の認識及び識別により、目的に適った防御メカニズムの開発と使用が、可能になる。
【0011】
画像の変化を記述するのに十分な特徴／フィーチャーを発展させた場合、変化の様々なクラスを、より良く理解し、将来的により良い防御方法を開発することができる。
【0012】
本発明の更なるアスペクトは、複数のメトリクスを使用することにより、その中において攻撃を分離することで既存の乃至相応にトレーニングされた分類手段が該攻撃を認識できる様になる高次元の空間を作成することである。
【0013】
解決策の開発の出発点は、既知の方法が、以下の欠点を有していると言う知見であった：
－攻撃クラスを認識しないこと
－攻撃されたか否かを早期に認識しないこと
－定義された攻撃クラスに対する防衛対策の使用と開発をしないこと
－攻撃クラスを認識しないこと
－攻撃されたか否かを早期に認識しないこと
－定義された攻撃クラスに対する防衛対策の使用と開発をしないこと
【0014】
本発明は、以下のエレメントを包含している：
１）機械学習に基づいた攻撃クラスの認識すること、即ち、特徴を自動的に認識し、これらの特徴を基にした学習方法を用いて様々な攻撃クラスを検出する。
２）攻撃を（オンライン）認識するための自動化された検出システムにおいて、上述の攻撃クラスの認識を使用すること。例えば、特定の攻撃に対する適切なオンライン防御用の判断を下すことができる。ここで言う「オンライン」とは、自動化された検出（の前に或いはその最中）においてと言う意味である。
本発明は、入力シグナルの検出乃至分類のためにニューラルネットワークが用いられる場合、任意の入力信号、特に、画像、ビデオ、或いは、オーディオ・シグナルに対する任意の攻撃に対して、用いることができる。よって、この方法は、医療技術、言語処理、インターネット検索、或いは、車両システムにおいて使用することができる。
１）機械学習に基づいた攻撃クラスの認識すること、即ち、特徴を自動的に認識し、これらの特徴を基にした学習方法を用いて様々な攻撃クラスを検出する。
２）攻撃を（オンライン）認識するための自動化された検出システムにおいて、上述の攻撃クラスの認識を使用すること。例えば、特定の攻撃に対する適切なオンライン防御用の判断を下すことができる。ここで言う「オンライン」とは、自動化された検出（の前に或いはその最中）においてと言う意味である。
本発明は、入力シグナルの検出乃至分類のためにニューラルネットワークが用いられる場合、任意の入力信号、特に、画像、ビデオ、或いは、オーディオ・シグナルに対する任意の攻撃に対して、用いることができる。よって、この方法は、医療技術、言語処理、インターネット検索、或いは、車両システムにおいて使用することができる。
【0015】
自動化された（画像／ビデオ／オーディオ・シグナルを分類するための第一ニューラルネットワークを備えた）検出システムに対する敵対的攻撃を認識及び分類するための本発明に係る方法は、以下のステップを包含している：
ａ）基準画像／ビデオ／オーディオ・シグナル、例えば、オリジナル画像など、並びに、細工された可能性がある画像／ビデオ／オーディオ・シグナルの提供するステップ。
ｂ）基準シグナルと細工された可能性があるシグナルとの間の違いを、様々な方法を用いて定量化するｎヶのメトリクスのセットを算出するステップ、但し、ｎは、「１」以上の自然数である。
ｃ）ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築するステップ。
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ。
ｅ）敵対的攻撃のクラスを出力するステップ。
該自動化された検出システムは、画像／ビデオ／オーディオ・シグナルを分類するための（第一）ニューラルネットワークを包含している。これは、例えば、画像ベースのオブジェクト分類システム、或いは、オーディオベースの言語認識システムであることができる。しかし自動化された検出システムは、敵対的攻撃によって、攻撃され得る。攻撃は、ニューラルネットワークへ入力されるシグナルに細工が施されることによって実施される。リファレンスシグナルと細工された可能性のあるシグナルの比較により、違いが定量される。「ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築すること」と言う表現（ステップｃ）は、以下の表現と同義である：「ｎヶの算出されたメトリクスを包含するｎ次元の特徴ベクトルを生成すること」。定量された違い（乃至、ｎ次元の特徴ベクトル）は、第二のニューラルネットワークによって、予め定義され且つ第二ニューラルネットワークによって訓練された敵対的攻撃のクラスに帰属される。
ａ）基準画像／ビデオ／オーディオ・シグナル、例えば、オリジナル画像など、並びに、細工された可能性がある画像／ビデオ／オーディオ・シグナルの提供するステップ。
ｂ）基準シグナルと細工された可能性があるシグナルとの間の違いを、様々な方法を用いて定量化するｎヶのメトリクスのセットを算出するステップ、但し、ｎは、「１」以上の自然数である。
ｃ）ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築するステップ。
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ。
ｅ）敵対的攻撃のクラスを出力するステップ。
該自動化された検出システムは、画像／ビデオ／オーディオ・シグナルを分類するための（第一）ニューラルネットワークを包含している。これは、例えば、画像ベースのオブジェクト分類システム、或いは、オーディオベースの言語認識システムであることができる。しかし自動化された検出システムは、敵対的攻撃によって、攻撃され得る。攻撃は、ニューラルネットワークへ入力されるシグナルに細工が施されることによって実施される。リファレンスシグナルと細工された可能性のあるシグナルの比較により、違いが定量される。「ｎ次元の特徴空間を、算出されたメトリクスに基づいて構築すること」と言う表現（ステップｃ）は、以下の表現と同義である：「ｎヶの算出されたメトリクスを包含するｎ次元の特徴ベクトルを生成すること」。定量された違い（乃至、ｎ次元の特徴ベクトル）は、第二のニューラルネットワークによって、予め定義され且つ第二ニューラルネットワークによって訓練された敵対的攻撃のクラスに帰属される。
【0016】
有利な発展形態では、以下の方法ステップｆ）において、敵対的攻撃のクリティカルな認識されたクラスに対する特定の対策が講じられる。この様な対策は、例えば、その攻撃のタイプに対して堅牢である（他の）ＣＮＮベースの検出手段を用いることであっても良い。
【0017】
尚、自動化された検出システムは、車両のカメラベースのセンサシステムを包含していることが好ましいが、この場合、細工されている可能性のあるシグナルは、該カメラベースのセンサシステムの少なくとも一台のカメラによって撮影された画像乃至ビデオシグナルである。オプションとして、基準シグナルも、該少なくとも一台のカメラによって撮影されていることができる。一方、他のカメラによって撮影された基準シグナルを用いることも可能である。
【0018】
該方法は、好ましくは、車両からオンライン・データベースへのシグナル転送中の敵対的攻撃を認識するために実施されることができる。
【0019】
代案的に、該検出手段は、車両内のマルチ・カメラシステムを包含していても良い。細工されている可能性のある画像乃至ビデオシグナルと基準画像乃至ビデオシグナルとは、この実施バリエーションにおいては、マルチ・カメラシステムの異なるシングルカメラによる同じシーンの撮影のオーバーラップしている領域、或いは、時間的にシフトした撮影のことである。
【0020】
尚、メトリクスの算出は、細工されている可能性のある画像全体に対して実施されることが好ましい。該基準画像が、同じカメラによって撮影されている場合、基準画像全体と比較される。該基準画像が、大きな領域を描写している場合は、細工されている可能性のある画像の内容に対応する画像領域と比較される。
【0021】
代案としては、メトリクスの算出は、細工されている可能性のある画像全体の一つの画像領域に対して実施される。これは、基準画像が、細工されている可能性のある画像の内容の部分領域のみを描写している場合に必要となる。
【0022】
尚、メトリクスの算出は、画像シーケンス、乃至、画像領域のセーケンスに対して実施されることが好ましい。
【0023】
また、ｎヶのメトリクスは、以下の群から選択される複数のメトリクスを包含していることが好ましい：
ＳＳＩＭ； Ｌ１－Ｎｏｒｍ， Ｌ２－Ｎｏｒｍ， ＫＬ－Ｄｉｖｅｒｇｅｎｚ， ＭＳＥ （Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）， ＭＡＥ （Ｍｅａｎ Ａｖｅｒａｇｅ Ｅｒｒｏｒ）， ＰＳＮＲ， Ｌ∞ Ｎｏｒｍ （Ｌ＿ｉｎｆｉｎｉｔｙ Ｎｏｒｍ）， Ｌ０ Ｎｏｒｍ， Ｅｄｇｅ ｍｅｔｒｉｃｓ， ｈａｓｈ ｍｅｔｒｉｃｓ、並びに、Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ｍｅｔｒｉｃｓ。
既に記載した文献の他、メトリクスに関する詳細は、以下の文献にも記述されている：
－Ｈｏｒｅ， Ａ． ａｎｄ Ｚｉｏｕ， Ｄ．， ２０１０， Ａｕｇｕｓｔ． Ｉｍａｇｅ ｑｕａｌｉｔｙ ｍｅｔｒｉｃｓ： ＰＳＮＲ ｖｓ． ＳＳＩＭ． Ｉｎ ２０１０ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ｐｐ． ２３６６－２３６９）． ＩＥＥＥ．
－Ｇｏｌｄｂｅｒｇｅｒ， Ｊ．， Ｇｏｒｄｏｎ， Ｓ． ａｎｄ Ｇｒｅｅｎｓｐａｎ， Ｈ．， ２００３， Ｏｃｔｏｂｅｒ． Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎｓ ｏｆ ＫＬ－ｄｉｖｅｒｇｅｎｃｅ ｂｅｔｗｅｅｎ ｔｗｏ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ． Ｉｎ ｎｕｌｌ （ｐ． ４８７）． ＩＥＥＥ．
－Ｕｙｅｏｎｇ Ｊａｎｇ， Ｘｉ Ｗｕ， ａｎｄ Ｓｏｍｅｓｈ Ｊｈａ．Ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ ａｎｄ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ Ｃｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， Ｏｒｌａｎｄｏ， ＦＬ， ＵＳＡ， Ｄｅｃｅｍｂｅｒ ４－８， ２０１７， ｐａｇｅｓ ２６２-２７７， ２０１７．
－Ｒａｍａｒａｔｈｎａｍ Ｖｅｎｋａｔｅｓａｎ， Ｓ－Ｍ Ｋｏｏｎ， Ｍａｒｉｕｓｚ Ｈ Ｊａｋｕｂｏｗｓｋｉ， ａｎｄ Ｐｉｅｒｒｅ Ｍｏｕｌｉｎ． Ｒｏｂｕｓｔ ｉｍａｇｅ ｈａｓｈｉｎｇ． Ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２０００． Ｐｒｏｃｅｅｄｉｎｇｓ． ２０００ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｖｏｌｕｍｅ ３， ｐａｇｅｓ ６６４-６６６． ＩＥＥＥ， ２０００．
ＳＳＩＭ； Ｌ１－Ｎｏｒｍ， Ｌ２－Ｎｏｒｍ， ＫＬ－Ｄｉｖｅｒｇｅｎｚ， ＭＳＥ （Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）， ＭＡＥ （Ｍｅａｎ Ａｖｅｒａｇｅ Ｅｒｒｏｒ）， ＰＳＮＲ， Ｌ∞ Ｎｏｒｍ （Ｌ＿ｉｎｆｉｎｉｔｙ Ｎｏｒｍ）， Ｌ０ Ｎｏｒｍ， Ｅｄｇｅ ｍｅｔｒｉｃｓ， ｈａｓｈ ｍｅｔｒｉｃｓ、並びに、Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ｍｅｔｒｉｃｓ。
既に記載した文献の他、メトリクスに関する詳細は、以下の文献にも記述されている：
－Ｈｏｒｅ， Ａ． ａｎｄ Ｚｉｏｕ， Ｄ．， ２０１０， Ａｕｇｕｓｔ． Ｉｍａｇｅ ｑｕａｌｉｔｙ ｍｅｔｒｉｃｓ： ＰＳＮＲ ｖｓ． ＳＳＩＭ． Ｉｎ ２０１０ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ｐｐ． ２３６６－２３６９）． ＩＥＥＥ．
－Ｇｏｌｄｂｅｒｇｅｒ， Ｊ．， Ｇｏｒｄｏｎ， Ｓ． ａｎｄ Ｇｒｅｅｎｓｐａｎ， Ｈ．， ２００３， Ｏｃｔｏｂｅｒ． Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎｓ ｏｆ ＫＬ－ｄｉｖｅｒｇｅｎｃｅ ｂｅｔｗｅｅｎ ｔｗｏ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ． Ｉｎ ｎｕｌｌ （ｐ． ４８７）． ＩＥＥＥ．
－Ｕｙｅｏｎｇ Ｊａｎｇ， Ｘｉ Ｗｕ， ａｎｄ Ｓｏｍｅｓｈ Ｊｈａ．Ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ ａｎｄ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ Ｃｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， Ｏｒｌａｎｄｏ， ＦＬ， ＵＳＡ， Ｄｅｃｅｍｂｅｒ ４－８， ２０１７， ｐａｇｅｓ ２６２-２７７， ２０１７．
－Ｒａｍａｒａｔｈｎａｍ Ｖｅｎｋａｔｅｓａｎ， Ｓ－Ｍ Ｋｏｏｎ， Ｍａｒｉｕｓｚ Ｈ Ｊａｋｕｂｏｗｓｋｉ， ａｎｄ Ｐｉｅｒｒｅ Ｍｏｕｌｉｎ． Ｒｏｂｕｓｔ ｉｍａｇｅ ｈａｓｈｉｎｇ． Ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２０００． Ｐｒｏｃｅｅｄｉｎｇｓ． ２０００ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｖｏｌｕｍｅ ３， ｐａｇｅｓ ６６４-６６６． ＩＥＥＥ， ２０００．
【0024】
本方法のある好ましい実施形態によれば、ｎヶのメトリクスからサブセット（部分集合）を、関連するｍヶのメトリクスを抽出するために作成するが、ここでは、ｍは、ｎよりも小さい自然数であり、ステップｄ）において、ｍ次元の特徴空間内において算出されたメトリクスに基づいて分類される。
【0025】
更に、サブセットの作成は、機械学習に基づいて実施されることもできる。この際、特徴は自動的に抽出される。これらのメトリクスは、自動的に表現学習を用いて学習される。
【0026】
本発明の更なる対象は、入力インターフェース、認識ユニット、並びに、出力インターフェースを包含する自動化された検出システムへの敵対的攻撃を認識するためのシステムに関する。
敵対的攻撃を認識するための該システムは、自動化された検出システム内に内蔵されてもよいが、前置されることも可能である。
敵対的攻撃を認識するための該システムは、自動化された検出システム内に内蔵されてもよいが、前置されることも可能である。
【0027】
該入力インターフェースは、基準・画像／ビデオ／オーディオ・シグナルと細工された可能性のある画像／ビデオ／オーディオ・シグナルを受信し、認識ユニットへ提供することができる様に構成されている。
該認識ユニットは、攻撃の分類を実施し、そのため、典型的には、第二のニューラルネットワークを包含している。該認識ユニットは、以下を実施することができる様に構成されている：
・基準・画像／ビデオ／オーディオ・シグナルと細工された可能性のある画像／ビデオ／オーディオ・シグナルとの間の違いを様々な方法で定量するｎヶのメトリクスのセットを算出すること、
・ｎ次元の特徴空間を算出されたメトリクスを基に構築すること、並びに、
・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類すること。
出力インターフェースは、認識ユニットによって割出された敵対的攻撃のクラスを出力することができる様に構成されている。割出された該クラスは、細工された可能性のある画像／ビデオ／オーディオ・シグナルが自動化された検出システムに転送される前に、後置の防衛ユニットによって該攻撃クラスに対して理に適った防衛対策を実施させるために用いられることができる。代案的には、該認識ユニットによって割出されたクラスは、出力インターフェースを介して自動化された検出システムに直接的に伝達されることもできる。
該認識ユニットは、攻撃の分類を実施し、そのため、典型的には、第二のニューラルネットワークを包含している。該認識ユニットは、以下を実施することができる様に構成されている：
・基準・画像／ビデオ／オーディオ・シグナルと細工された可能性のある画像／ビデオ／オーディオ・シグナルとの間の違いを様々な方法で定量するｎヶのメトリクスのセットを算出すること、
・ｎ次元の特徴空間を算出されたメトリクスを基に構築すること、並びに、
・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類すること。
出力インターフェースは、認識ユニットによって割出された敵対的攻撃のクラスを出力することができる様に構成されている。割出された該クラスは、細工された可能性のある画像／ビデオ／オーディオ・シグナルが自動化された検出システムに転送される前に、後置の防衛ユニットによって該攻撃クラスに対して理に適った防衛対策を実施させるために用いられることができる。代案的には、該認識ユニットによって割出されたクラスは、出力インターフェースを介して自動化された検出システムに直接的に伝達されることもできる。
【0028】
敵対的攻撃を認識するためのシステムは、特に好ましくは、マイクロコントローラ乃至プロセッサ、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ／ 特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ ／ フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する方法ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
【0029】
以下、機械学習に基づいた画像シグナルに対する攻撃クラスを認識するための更なるアスペクトと実施形態を説明する：
先ず、画像間の違いを定量するメトリクスのセットが算出される。尚、これらのメトリクスは、オリジナルと改変された可能性のある画像からなる画像ペアから算出される。この際、該算出は、画像全体、或いは、関連する画像部分に対して実施されることができる。
要するに、該メトリクスは、一枚の画像全体、一枚の画像の一部分、画像のシーケンス、或いは、画像部分のシーケンスから算出されることができる。
先ず、画像間の違いを定量するメトリクスのセットが算出される。尚、これらのメトリクスは、オリジナルと改変された可能性のある画像からなる画像ペアから算出される。この際、該算出は、画像全体、或いは、関連する画像部分に対して実施されることができる。
要するに、該メトリクスは、一枚の画像全体、一枚の画像の一部分、画像のシーケンス、或いは、画像部分のシーケンスから算出されることができる。
【0030】
これらのメトリクスから関連するメトリクスを抽出するためにサブセットを作成することも可能である。これは、手動で、或いは、機械学習に基づいて実施できるが、ここでは、自動化された特徴抽出を用いて行っている。
この様なメトリクスを、スタンドアローンとして見ると、様々な攻撃の大きな散乱やオーバーラップが頻繁に起こる。
この様なメトリクスを、スタンドアローンとして見ると、様々な攻撃の大きな散乱やオーバーラップが頻繁に起こる。
【0031】
この知見は、前に評価された全てのメトリクスに対して首尾一貫しており、攻撃をより良く互いから分離することができる様に、異なるメトリクスの組合わせを促す。画像の変化を十分に記述するためには、或いは、変化を攻撃クラスに配属させることができる様にするためには、一つのメトリクスだけでは、不十分である。よって、攻撃クラスを認識するためには、十分なメトリクスのセットが必要である。これらのメトリクスは、機械学習によって自動的に学習される、或いは、手動で定義されることができる。
メトリクスの組合わせによって、対応する空間内の攻撃を分離できるようになる。
メトリクスの組合わせによって、対応する空間内の攻撃を分離できるようになる。
【0032】
様々な二次元の組合わせに起因して、空間内の攻撃の様々な分離が得られる。この知見は、高次元空間内の複数のメトリクスの組合わせを支持する。
【0033】
認識するための方法は、以下の様に要約することができる：
【0034】
Ａ）トレーニング方法（トレーニング・フェーズ）：
－二枚の画像間の違いを定量するメトリクスを算出する。これらのメトリクスは、手動で定義することができる（ＳＳＩＭ； Ｌ１－Ｎｏｒｍ， Ｌ２－Ｎｏｒｍ， ＫＬ－Ｄｉｖｅｒｇｅｎｚ， ＭＳＥ， ＭＡＥ， ＰＳＮＲ， Ｌ∞ Ｎｏｒｍ， Ｌ０ Ｎｏｒｍ， Ｅｄｇｅ ｍｅｔｒｉｃｓ， ｈａｓｈ ｍｅｔｒｉｃｓ並びに、Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ｍｅｔｒｉｃｓ， ｅｔｃ．）、或いは、
機械学習によって自動的に学習できる。
－多次元の特徴空間を、メトリクスに基づいて構築する。
－オプション：自動化された特徴抽出によって、或いは、手動で関連する特徴を選択する
－メトリクスに基づいて分類手段を学習させる
－二枚の画像間の違いを定量するメトリクスを算出する。これらのメトリクスは、手動で定義することができる（ＳＳＩＭ； Ｌ１－Ｎｏｒｍ， Ｌ２－Ｎｏｒｍ， ＫＬ－Ｄｉｖｅｒｇｅｎｚ， ＭＳＥ， ＭＡＥ， ＰＳＮＲ， Ｌ∞ Ｎｏｒｍ， Ｌ０ Ｎｏｒｍ， Ｅｄｇｅ ｍｅｔｒｉｃｓ， ｈａｓｈ ｍｅｔｒｉｃｓ並びに、Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ ｍｅｔｒｉｃｓ， ｅｔｃ．）、或いは、
機械学習によって自動的に学習できる。
－多次元の特徴空間を、メトリクスに基づいて構築する。
－オプション：自動化された特徴抽出によって、或いは、手動で関連する特徴を選択する
－メトリクスに基づいて分類手段を学習させる
【0035】
Ｂ）ランタイムにおける推論（テスト・フェーズ）
－画像ペアに対するメトリクスの算出
－特徴空間内の転換（トランスフォーム）
－トレーニングフェーズにおいて学習した分類手段の使用
－画像ペアに対するメトリクスの算出
－特徴空間内の転換（トランスフォーム）
－トレーニングフェーズにおいて学習した分類手段の使用
【0036】
Ｃ）拡張
－深層学習と表現学習を用いることで、特徴抽出、特徴削減及び分類を統合し、ワンステップで共に学習することができる。
－深層学習と表現学習を用いることで、特徴抽出、特徴削減及び分類を統合し、ワンステップで共に学習することができる。
【0037】
以下、攻撃をオンライン認識するための自動化された画像ベースの検出システムにおいて、上述した攻撃クラス認識を使用するための更なるアスペクトと実施形態を説明する。
【0038】
安全に対してクリティカルな検出システムの画像を伝達する際に攻撃検出及び攻撃分類を使用することは、攻撃を伝達前乃至伝達中に認識することを可能にするため有利である。
【0039】
画像が、クラウドへ、インターネット乃至ＷＬＡＮを介して伝達される場合、画像は、様々なノードを通過する。そして、そこにおいて、攻撃される可能性がある。使用の際は、前置のノードからの基準画像が、提供される。
【0040】
その他の用途としては、携帯デバイスとオンライン・データベース間、或いは、二つのオンライン・データベース間での画像伝達が挙げられる。
【0041】
車両とオンライン・データベース間、車内の二つのプロセッサ間、或いは、関与しているシステムの二つのプロセッサ間における画像データ伝達も、有利な用途である。
【0042】
該認識方法は、安全に対してクリティカルな認識システム内に、以下の様に取り入れることができる：
ａ）入力データが、敵対的攻撃を受けた可能性のある画像から構成されている。
ｂ）入力画像だけで無く、攻撃を受けていない基準画像も存在している。該基準画像は、他のカメラセンサの部分画像、時間的にシフトした画像、前置乃至後置のシステムコンポーネントの画像、或いは、インターネットにある、例えば、交通シーンなどのシーンの基準画像であることができる。
ｃ）上述の攻撃認識が、攻撃乃至攻撃クラスを特定する。
ｄ）攻撃乃至攻撃クラスに基づいて判断システムが、判断を下す。判断には、以下が含まれる：
Ｄ１）攻撃が検出されなかった、乃至、クリティカルではない攻撃が検出された：システムは、通常モードで作動を続ける。
Ｄ２）画像上のピクセルの不具合になり得る、例えば、露出過多、覆い隠し、汚れなどの他の問題が検出された。
Ｄ３クリティカルな攻撃クラス、即ち、攻撃が検出された。攻撃／攻撃クラスに基づいて選択された防衛戦略による該攻撃に対する防衛。
ａ）入力データが、敵対的攻撃を受けた可能性のある画像から構成されている。
ｂ）入力画像だけで無く、攻撃を受けていない基準画像も存在している。該基準画像は、他のカメラセンサの部分画像、時間的にシフトした画像、前置乃至後置のシステムコンポーネントの画像、或いは、インターネットにある、例えば、交通シーンなどのシーンの基準画像であることができる。
ｃ）上述の攻撃認識が、攻撃乃至攻撃クラスを特定する。
ｄ）攻撃乃至攻撃クラスに基づいて判断システムが、判断を下す。判断には、以下が含まれる：
Ｄ１）攻撃が検出されなかった、乃至、クリティカルではない攻撃が検出された：システムは、通常モードで作動を続ける。
Ｄ２）画像上のピクセルの不具合になり得る、例えば、露出過多、覆い隠し、汚れなどの他の問題が検出された。
Ｄ３クリティカルな攻撃クラス、即ち、攻撃が検出された。攻撃／攻撃クラスに基づいて選択された防衛戦略による該攻撃に対する防衛。
【0043】
攻撃クラス用の認識システムは、様々な攻撃クラスに合わせた防衛戦略を開発するために必要である。
【0044】
本発明は、「敵対的攻撃」を、画像の変化に基づいて認識し、攻撃クラスを識別することを可能にする。これにより、攻撃クラスに基づいた防衛対策の選択と該攻撃（クリティカル乃至クリティカルでない攻撃）にどの様に対処するかを決めるための判断手段の使用が可能になる。
【0045】
本方法の更なる用途は、画像処理パイプライン内の処理ステップによる画像の変化を、認識アルゴリズムによって認識することである。
【0046】
車両のカメラベースのセンサへの内蔵例：
Ａ）車両で撮影されたデータをオンライン・データベースに転送する：
将来的には、車載カメラによって補足されたおい時なる画像を無線（Ｖ２Ｘコミュニケーション）で、オンライン・データベース（例えば、クラウド）へ伝送することができる様になる。クラウド・サービスは、伝送された画像の更なる処理（自動検出）を受け持つことができる。ここは、例えば、インターネットなど、データ転送網を介した攻撃が仕掛けられ得る場所となり得る。攻撃者は、クラウド・コンピューティングに必要なインターフェースを介して、クラウド・サービスによって自動検出が実施される前に、転送された画像データにアクセスすることができる。基準画像は、例えば、インターネット上、或いは、車内の前置のノードなど、前置の処理ステップにある車両からカメラによって撮影されたオリジナル画像のことである。攻撃によるアタック及び攻撃クラスは、該画像と基準画像を基にして識別できる。攻撃の確認は、定められた間隔、例えば、１００画像を転送する毎に実施されることができる。
Ａ）車両で撮影されたデータをオンライン・データベースに転送する：
将来的には、車載カメラによって補足されたおい時なる画像を無線（Ｖ２Ｘコミュニケーション）で、オンライン・データベース（例えば、クラウド）へ伝送することができる様になる。クラウド・サービスは、伝送された画像の更なる処理（自動検出）を受け持つことができる。ここは、例えば、インターネットなど、データ転送網を介した攻撃が仕掛けられ得る場所となり得る。攻撃者は、クラウド・コンピューティングに必要なインターフェースを介して、クラウド・サービスによって自動検出が実施される前に、転送された画像データにアクセスすることができる。基準画像は、例えば、インターネット上、或いは、車内の前置のノードなど、前置の処理ステップにある車両からカメラによって撮影されたオリジナル画像のことである。攻撃によるアタック及び攻撃クラスは、該画像と基準画像を基にして識別できる。攻撃の確認は、定められた間隔、例えば、１００画像を転送する毎に実施されることができる。
【0047】
Ｂ）自律走行車両に搭載されたマルチ・カメラシステム
この様なケースでは、一台乃至複数のカメラセンサが、攻撃を受けた可能性がある。基準画像は、同じシーンを異なるカメラによって、重なる部分を有する様に或いは時間的にシフトして撮影されることができる。攻撃が疑われる場合、攻撃認識を用いて、攻撃クラスを割出し、適切な防衛メカニズムを選択することができる。
この様なケースでは、一台乃至複数のカメラセンサが、攻撃を受けた可能性がある。基準画像は、同じシーンを異なるカメラによって、重なる部分を有する様に或いは時間的にシフトして撮影されることができる。攻撃が疑われる場合、攻撃認識を用いて、攻撃クラスを割出し、適切な防衛メカニズムを選択することができる。
【0048】
以下、実施例と図を詳しく説明する。図の説明：
【図面の簡単な説明】
【0049】
【図1】二台のカメラセンサと認識ユニットを備えた車両のカメラシステム。
【図2】カメラシステムと画像データのデータ転送。
【図3】様々な攻撃と異なるネットワークアーキテクチャ用のメトリクス値の分散を可視化した図。；並びに、
【図4】敵対的攻撃を認識するために方法の模式化した流れ。
【発明を実施するための形態】
【0050】
図１は、二台のカメラセンサを備えた車両のカメラシステムを模式的に示している。第一カメラセンサ１は、基準画像として用いられる第一画像を補足し、第一画像を認識ユニット１０に提供する。第二カメラセンサ２は、この例では、細工された可能性のある画像である第二画像を補足し、第二画像を認識ユニット１０に提供する。該認識ユニットは、第一及び第二画像を処理し、その差に基づいて、敵対的攻撃の有無を見極め、攻撃があった場合は、その差を特定の攻撃クラスに帰属させるために分類する。
敵対的攻撃のクラスは、インターフェース１１を介して出力される。様々な実際になされた敵対的攻撃クラスに加え、どの敵対的攻撃にも当てはまらないクラスを定めておくこともできる。
敵対的攻撃のクラスは、インターフェース１１を介して出力される。様々な実際になされた敵対的攻撃クラスに加え、どの敵対的攻撃にも当てはまらないクラスを定めておくこともできる。
【0051】
図２は、カメラシステムと画像データのデータ転送を示している。
示されているカメラシステムは、画像データを中間ユニット５へ転送するための内蔵されたデータインターフェース４を備えたカメラ３を包含している。オプション的に、該画像データをオリジナル画像として認識ユニット１０へ直接転送することも可能である。該中間ユニット５から該画像データは、ターゲットユニット６に、そして、オプションとして、認識ユニット１０へも転送される。該ターゲットユニット６から該画像データは、画像データに細工がなされていないかを確かめるために、認識ユニット１０へ転送される。該ターゲットユニット６は、例えば、オンライン・データベース、クラウド、或いは、バックボーン・サーバであることができる。ここは、例えば、インターネットなど、データ転送網を介した攻撃が仕掛けられ得る場所となり得る。中間に設置されているユニット５は、例えば、その画像データを基準画像として使用することができる、インターネット内の前置のノードであることができる。車上で撮影された画像は、内蔵されているデータインターフェース４から、基準画像として直接認識ユニット１０に転送されても良い。攻撃によるアタック及び攻撃クラスは、該画像とそれに帰属する基準画像を基にして識別できる。攻撃の確認は、定められた間隔、例えば、１００画像を転送する毎に実施されることができる。
示されているカメラシステムは、画像データを中間ユニット５へ転送するための内蔵されたデータインターフェース４を備えたカメラ３を包含している。オプション的に、該画像データをオリジナル画像として認識ユニット１０へ直接転送することも可能である。該中間ユニット５から該画像データは、ターゲットユニット６に、そして、オプションとして、認識ユニット１０へも転送される。該ターゲットユニット６から該画像データは、画像データに細工がなされていないかを確かめるために、認識ユニット１０へ転送される。該ターゲットユニット６は、例えば、オンライン・データベース、クラウド、或いは、バックボーン・サーバであることができる。ここは、例えば、インターネットなど、データ転送網を介した攻撃が仕掛けられ得る場所となり得る。中間に設置されているユニット５は、例えば、その画像データを基準画像として使用することができる、インターネット内の前置のノードであることができる。車上で撮影された画像は、内蔵されているデータインターフェース４から、基準画像として直接認識ユニット１０に転送されても良い。攻撃によるアタック及び攻撃クラスは、該画像とそれに帰属する基準画像を基にして識別できる。攻撃の確認は、定められた間隔、例えば、１００画像を転送する毎に実施されることができる。
【0052】
図３は、様々な攻撃と異なるネットワークアーキテクチャ用のメトリクスの上記例において割出された値の散乱を、図解したものである。
メトリクスは、基準画像乃至オリジナル画像、並びに、細工された可能性のある画像からなる画像ペアを基にして算出される。この際、該算出は、画像全体、或いは、関連する画像部分に対して実施されることができる。
この様なメトリクスを、スタンドアローンとして見ると、様々な攻撃の大きな散乱やオーバーラップが頻繁に起こる。図３では、Ｌ＿ｉｎｆ－Ｎｏｒｍ （Ｌ∞ Ｎｏｒｍ）の散乱は、使用されたメトリクスとして示されている。ネットワークアーキテクチャとしては、ＶＧＧ１６、ＲｅｓＮｅｔ５０モデルとＩｎｃｅｐｔｉｏｎ Ｖ３が用いられている。
ＶＧＧ１６、ＲｅｓＮｅｔ５０とＩｎｃｅｐｔｉｏｎ Ｖ３は、既知であり、画像処理、特に、オブジェクト認識と分類の分野において普及したニューラルネットワークのアーキテクチャとして用いられている。これらのアーキテクチャの相違点は、主に、組合わせられた処理ステップの複雑さやネットワーク内の分岐である。但し、基になっている原理から言って、ＶＧＧ１６がどちらかと言えば表面の評価用で最も単純であるのに比べ、ＩｎｃｅｐｔｉｏｎＶ３が、最も複雑なストラクチャを有している。
図３において評価された攻撃は、（右から左、凡例では、上から下に）：Ｌ－ＢＦＧＳ Ａｔｔａｃｋ， Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ， Ｓａｌｉｅｎｃｙ Ｍａｐ Ａｔｔａｃｋ， Ｄｅｅｐ Ｆｏｏｌ Ａｔｔａｃｋ， ＡＤｅｆ Ａｔｔａｃｋ， Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ， Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ， Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ， Ｌｏｃａｌ Ｓｅａｒｃｈ Ａｔｔａｃｋ、並びに、Ｃｏｎｔｒａｓｔ Ｒｅｓｏｌｕｔｉｏｎ Ａｔｔａｃｋ。攻撃は、メトリクスを用いて（アーキテクチャ毎に）測定すると、特徴的な散乱（「フットプリント」）を有している。
メトリクスは、基準画像乃至オリジナル画像、並びに、細工された可能性のある画像からなる画像ペアを基にして算出される。この際、該算出は、画像全体、或いは、関連する画像部分に対して実施されることができる。
この様なメトリクスを、スタンドアローンとして見ると、様々な攻撃の大きな散乱やオーバーラップが頻繁に起こる。図３では、Ｌ＿ｉｎｆ－Ｎｏｒｍ （Ｌ∞ Ｎｏｒｍ）の散乱は、使用されたメトリクスとして示されている。ネットワークアーキテクチャとしては、ＶＧＧ１６、ＲｅｓＮｅｔ５０モデルとＩｎｃｅｐｔｉｏｎ Ｖ３が用いられている。
ＶＧＧ１６、ＲｅｓＮｅｔ５０とＩｎｃｅｐｔｉｏｎ Ｖ３は、既知であり、画像処理、特に、オブジェクト認識と分類の分野において普及したニューラルネットワークのアーキテクチャとして用いられている。これらのアーキテクチャの相違点は、主に、組合わせられた処理ステップの複雑さやネットワーク内の分岐である。但し、基になっている原理から言って、ＶＧＧ１６がどちらかと言えば表面の評価用で最も単純であるのに比べ、ＩｎｃｅｐｔｉｏｎＶ３が、最も複雑なストラクチャを有している。
図３において評価された攻撃は、（右から左、凡例では、上から下に）：Ｌ－ＢＦＧＳ Ａｔｔａｃｋ， Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ， Ｓａｌｉｅｎｃｙ Ｍａｐ Ａｔｔａｃｋ， Ｄｅｅｐ Ｆｏｏｌ Ａｔｔａｃｋ， ＡＤｅｆ Ａｔｔａｃｋ， Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ， Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ， Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ， Ｌｏｃａｌ Ｓｅａｒｃｈ Ａｔｔａｃｋ、並びに、Ｃｏｎｔｒａｓｔ Ｒｅｓｏｌｕｔｉｏｎ Ａｔｔａｃｋ。攻撃は、メトリクスを用いて（アーキテクチャ毎に）測定すると、特徴的な散乱（「フットプリント」）を有している。
【0053】
複数のメトリクスを用いる、即ち、高次元で特徴を記述することにより、分類手段を、各々の攻撃を分別し、認識するために、トレーニングすることができる。次元削減を実施することにより、高次元の空間において、二次元の空間よりも、より良好な分離が可能なことを示すことができた。
１２回の攻撃からなるセット（即ち、８．３３％の推定確率）における、様々な標準分離手段の精度、並びに、メトリクスの様々な組合わせを表１にまとめた：
１２回の攻撃からなるセット（即ち、８．３３％の推定確率）における、様々な標準分離手段の精度、並びに、メトリクスの様々な組合わせを表１にまとめた：
【0054】
【表1】
【0055】
これらのメトリクスのみであっても、選択された分類手段によって良好な認識精度が達成されていることが明確に見て取れる。結果を詳しく見れば、個々の異なる攻撃の攻撃クラスが得られる。クラスを基に認識精度を算出すると、略１００％のレートを達成している。
【0056】
図４は、敵対的攻撃を認識するために方法の模式化した流れを示している。
ステップＳ１２では、オリジナル画像（基準画像）と細工された可能性のある画像が、提供される。
ステップＳ１４では、異なる方法で、オリジナル画像と細工された可能性のある画像との間の差を定量するｎヶのマトリクスのセットが算出される。ここでは、ｎは、「１」よりも大きな自然数である。
ステップＳ１６では、ｎ次元の特徴空間に基づいて、ｎヶの算出されたメトリクスが形成される。言い換えれば、ｎヶの算出されたメトリクスを包含する特徴ベクトルが形成される。
オプションとして、関連するメトリクスを選択することも可能であり、これには、ｎの次元を下げる効果がある。関連するメトリクスの選択は、特徴抽出（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ）或いは手動選択によって実施できる。
ステップＳ１８では、特徴ベクトルが分類される。分類手段は、前もって、様々な敵対的攻撃クラスと対応するメトリクス乃至メトリクスベクトルからなるトレーニングデータを用いてトレーニングされている。
尚、深層学習と表現学習を用いれば、特徴抽出（“Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ”）、特徴削減（“Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ”）及び分類（“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”）を統合し、ワンステップで共に学習することが可能になり、好ましい。
ステップＳ１２では、オリジナル画像（基準画像）と細工された可能性のある画像が、提供される。
ステップＳ１４では、異なる方法で、オリジナル画像と細工された可能性のある画像との間の差を定量するｎヶのマトリクスのセットが算出される。ここでは、ｎは、「１」よりも大きな自然数である。
ステップＳ１６では、ｎ次元の特徴空間に基づいて、ｎヶの算出されたメトリクスが形成される。言い換えれば、ｎヶの算出されたメトリクスを包含する特徴ベクトルが形成される。
オプションとして、関連するメトリクスを選択することも可能であり、これには、ｎの次元を下げる効果がある。関連するメトリクスの選択は、特徴抽出（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ）或いは手動選択によって実施できる。
ステップＳ１８では、特徴ベクトルが分類される。分類手段は、前もって、様々な敵対的攻撃クラスと対応するメトリクス乃至メトリクスベクトルからなるトレーニングデータを用いてトレーニングされている。
尚、深層学習と表現学習を用いれば、特徴抽出（“Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ”）、特徴削減（“Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ”）及び分類（“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”）を統合し、ワンステップで共に学習することが可能になり、好ましい。
【0057】
特定された攻撃クラスは、ステップＳ２０において、出力されることができる。
出力は、特に、ステップＳ２２において、特定された攻撃クラスを基に判断を下す判断システムに対して実施されることが好ましい。これは、例えば、以下を包含している：
Ｄ１）攻撃が検出されなかった、乃至、クリティカルではない攻撃が検出された：このケースでは、システムは、通常モードで作動を続ける。
Ｄ２）画像上のピクセルの不具合になり得る、例えば、露出過多、覆い隠し、汚れなどの他の問題が検出された。
Ｄ３（クリティカルな）攻撃クラス、即ち、攻撃が検出された。攻撃クラスを基に選択された防衛戦略による攻撃に対する防衛が、即ち、特定の対策が、ステップＳ３０において実施される。
出力は、特に、ステップＳ２２において、特定された攻撃クラスを基に判断を下す判断システムに対して実施されることが好ましい。これは、例えば、以下を包含している：
Ｄ１）攻撃が検出されなかった、乃至、クリティカルではない攻撃が検出された：このケースでは、システムは、通常モードで作動を続ける。
Ｄ２）画像上のピクセルの不具合になり得る、例えば、露出過多、覆い隠し、汚れなどの他の問題が検出された。
Ｄ３（クリティカルな）攻撃クラス、即ち、攻撃が検出された。攻撃クラスを基に選択された防衛戦略による攻撃に対する防衛が、即ち、特定の対策が、ステップＳ３０において実施される。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】