特開 2024-98956 判定プログラム、判定方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098956

(43)【公開日】2024-07-24

(54)【発明の名称】判定プログラム、判定方法および情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   G06T 7/60 20170101ALI20240717BHJP

   G06V 10/50 20220101ALI20240717BHJP

【ＦＩ】

G06T7/00 300G

G06T7/60 110

G06V10/50

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023207227

(22)【出願日】2023-12-07

(31)【優先権主張番号】299817

(32)【優先日】2023-01-11

(33)【優先権主張国・地域又は機関】IL

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】518286264

【氏名又は名称】ビー．ジー．ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド， アット ベン‐グリオン ユニバーシティー

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】ホフマン オマー

(72)【発明者】

【氏名】ギロニ アミット

(72)【発明者】

【氏名】森川 郁也

(72)【発明者】

【氏名】清水 俊也

(72)【発明者】

【氏名】エロヴィッチ ユヴァル

(72)【発明者】

【氏名】シャブタイ アサフ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096FA36

5L096FA38

5L096GA34

5L096HA11

5L096KA04

(57)【要約】

【課題】事前に敵対的パッチの訓練をせずとも敵対的パッチを検出することを課題とする。
【解決手段】情報処理装置は、オブジェクトの射影が含まれる入力シーンを所定の射影領域抽出モデルに入力して、オブジェクトの射影領域を抽出する。情報処理装置は、特徴空間において各ラベルの特徴を表す複数の第１領域のそれぞれと類似する、抽出したオブジェクトの射影領域内の第２領域をそれぞれ特定する。情報処理装置は、特定した第２領域と、第２領域に対応する第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、オブジェクトを分類する第１分類処理を行い、第１分類結果を出力する。情報処理装置は、入力シーンに対する第１分類結果と、入力シーンを所定のオブジェクト検出モデルに入力してオブジェクトを分類した結果である第２分類結果と、を比較することで、オブジェクトに敵対的パッチが含まれるか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

オブジェクトの射影が含まれる入力シーンを所定の射影領域抽出モデルに入力して、前記オブジェクトの射影領域を抽出する処理と、
特徴空間において各ラベルの特徴を表す複数の第１領域のそれぞれと類似する、抽出した前記オブジェクトの射影領域内の第２領域をそれぞれ特定する処理と、
特定した前記第２領域と、前記第２領域に対応する前記第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、前記オブジェクトを分類する第１分類処理を行い、第１分類結果を出力する処理と、
前記入力シーンに対する前記第１分類結果と、前記入力シーンを所定のオブジェクト検出モデルに入力して前記オブジェクトを分類した結果である第２分類結果と、を比較することで、前記オブジェクトに敵対的パッチが含まれるか否かを判定する処理と、
をコンピュータに実行させる判定プログラム。

【請求項2】

前記出力する処理は、
前記入力シーンに対し、異なる画像処理を施して複数のシーンを生成し、
前記生成された複数のシーンを前記所定のオブジェクト検出モデルを用いてそれぞれ分類し集約した結果に基づいて、前記入力シーン内のオブジェクトを分類する第２分類処理を実行する、処理を前記コンピュータにさらに実行させ、
前記判定する処理は、
前記第１分類処理の結果と、前記第２分類処理の結果とに基づいて、前記第１分類結果を出力する、請求項１に記載の判定プログラム。

【請求項3】

前記判定する処理は、
前記第１分類処理及び前記第２分類処理のそれぞれの分類の結果を集約した集約結果に基づき前記第１分類結果を出力する、請求項２に記載の判定プログラム。

【請求項4】

前記判定する処理は、
前記第１分類処理の前に前記第２分類処理を実行し、
前記第２分類処理の結果と前記第２分類結果とが所定の条件を満たす場合、前記第２分類処理の結果を前記第１分類結果とし、前記所定の条件を満たさない場合、前記第１分類処理を行い、前記第１分類処理の結果を前記第１分類結果とする、請求項２に記載の判定プログラム。

【請求項5】

前記出力する処理は、
前記異なる画像処理として、ブラー処理、シャープネス処理、ランダムノイズ処理、ダークネス処理、および、スタイル変換処理のうち少なくとも１つ以上を用いて、前記複数のシーンを生成する、請求項２に記載の判定プログラム。

【請求項6】

前記出力する処理は、
前記スタイル変換処理を実行する場合、前記入力シーンを指定画像とするスタイル変換処理を実行する、請求項５に記載の判定プログラム。

【請求項7】

オブジェクトの射影が含まれる入力シーンを所定の射影領域抽出モデルに入力して、前記オブジェクトの射影領域を抽出する処理と、
特徴空間において各ラベルの特徴を表す複数の第１領域のそれぞれと類似する、抽出した前記オブジェクトの射影領域内の第２領域をそれぞれ特定する処理と、
特定した前記第２領域と、前記第２領域に対応する前記第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、前記オブジェクトを分類する第１分類処理を行い、第１分類結果を出力する処理と、
前記入力シーンに対する前記第１分類結果と、前記入力シーンを所定のオブジェクト検出モデルに入力して前記オブジェクトを分類した結果である第２分類結果と、を比較することで、前記オブジェクトに敵対的パッチが含まれるか否かを判定する処理と、
をコンピュータが実行する判定方法。

【請求項8】

オブジェクトの射影が含まれる入力シーンを所定の射影領域抽出モデルに入力して、前記オブジェクトの射影領域を抽出する処理と、
特徴空間において各ラベルの特徴を表す複数の第１領域のそれぞれと類似する、抽出した前記オブジェクトの射影領域内の第２領域をそれぞれ特定する処理と、
特定した前記第２領域と、前記第２領域に対応する前記第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、前記オブジェクトを分類する第１分類処理を行い、第１分類結果を出力する処理と、
前記入力シーンに対する前記第１分類結果と、前記入力シーンを所定のオブジェクト検出モデルに入力して前記オブジェクトを分類した結果である第２分類結果と、を比較することで、前記オブジェクトに敵対的パッチが含まれるか否かを判定する処理と、
を実行する制御部を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定プログラム、判定方法および情報処理装置に関する。

【背景技術】

【0002】

画像データの入力に応じて、画像データに写る物体の領域や画像データに写る物体の情報（ラベル）などを出力する物体検知モデル（ＯＤ：Object Detector）が知られている。物体検知モデルは、リテール分野、不審者検出の分野など様々な分野で、画像データの一例である入力シーンの入力に応じて、様々な物体を検出することに利用されている。例えば、小売店などでユーザが手に取った商品や購入した商品を特定する物体検知モデル、空港で不審物を検出する物体検知モデルなどが利用されている。

【0003】

近年、物体検出において、対象のシーンに敵対的パッチ（Adversarial Patch）を含ませ、本来のラベルとは異なるラベルが付させるようにする攻撃（Patch Attack）が行われており、この敵対的パッチが含まれていることを検出する技術が知られている。例えば、敵対的パッチを含む訓練データを用いて敵対的パッチが含まれるシーンを攻撃があったことを示す新しいクラス（敵対的クラス）に分類するように訓練をすることで、敵対的パッチの有無を検出する技術がある。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ji, N.; Feng, Y.; Xie, H.; Xiang, X.; and Liu，「Adversarial YOLO：Defense Human Detection Patch Attacks via Detecting Adversarial Patches.」，2021，arXiv preprint arXiv：2103.08860.

【非特許文献2】Lowe, D. G.，「Distinctive image features from scale invariant keypoints.」，2004， International journal of computer vision， 60(2): 91－110.

【非特許文献3】Jing, Y.; Yang, Y.; Feng, Z.; Ye, J.; Yu, Y.; and Song, M.，「Neural style transfer: A review.」，2019， IEEE transactions on visualization and computer graphics, 26(11): 3365－3385.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記技術では、敵対的パッチの検出が有効に働かない可能性がある。たとえば、毎日新しいアイテムが在庫に追加されるような業種のように、あらかじめ様々なシーンに敵対的パッチを含ませた訓練データを用意することが難しい場合においては、訓練データに含まれない敵対的パッチが正確に検出できない可能性がある。

【0006】

一つの側面では、事前に敵対的パッチの訓練をせずとも敵対的パッチを検出することができる判定プログラム、判定方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、判定プログラムは、オブジェクトの射影が含まれる入力シーンを所定の射影領域抽出モデルに入力して、前記オブジェクトの射影領域を抽出する処理と、特徴空間において各ラベルの特徴を表す複数の第１領域のそれぞれと類似する、抽出した前記オブジェクトの射影領域内の第２領域をそれぞれ特定する処理と、特定した前記第２領域と、前記第２領域に対応する前記第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、前記オブジェクトを分類する第１分類処理を行い、第１分類結果を出力する処理と、前記入力シーンに対する前記第１分類結果と、前記入力シーンを所定のオブジェクト検出モデルに入力して前記オブジェクトを分類した結果である第２分類結果と、を比較することで、前記オブジェクトに敵対的パッチが含まれるか否かを判定する処理と、をコンピュータに実行させる。

【発明の効果】

【0008】

一実施形態によれば、事前に敵対的パッチの訓練をせずとも敵対的パッチを検出することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、敵対的パッチを説明する図である。

【図3】図３は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図4】図４は、オブジェクト検出を説明する図である。

【図5】図５は、ＯＥＤ処理を説明する図である。

【図6】図６は、特徴空間における各ラベルを説明する図である。

【図7】図７は、プロトタイプＫＮＮによる分類を説明する図である。

【図8】図８は、ＳＰＤ処理を説明する図である。

【図9】図９は、敵対的パッチの混入判定を説明する図である。

【図10】図１０は、混入判定処理の流れを示すフローチャートである。

【図11】図１１は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する判定プログラム、判定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0011】

＜全体構成＞
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、店舗、空港などの様々な場所でカメラなどを用いてリアルタイムに撮像された画像データや撮像されて蓄積される画像データの一例である入力シーンに対して、入力シーンに含まれるオブジェクトの検出を実行するコンピュータ装置の一例である。例えば、情報処理装置１０は、オブジェクト検出モデル（OD（Object Detector）モデル）を用いて、小売店などでユーザが手に取った商品や購入した商品のbounding boxの検出、空港において不審物のbounding boxの検出などを実行する。

【0012】

近年、ＯＤモデルに入力する入力シーンに敵対的パッチを混入させて、ＯＤモデルの検出精度を低下させる不正攻撃が知られている。図２は、敵対的パッチを説明する図である。図２では、ミルクとジャムが写っている入力シーンのミルクの領域に局所的に敵対的パッチを混入させて画像を変化させるパッチ攻撃の例を説明する。敵対的パッチが混入することにより、例えば図２の（ａ）に示すように、ミルクのbounding boxが検出されずジャムのbounding boxのみが検出される事象が発生する。また、図２の（ｂ）に示すように、ミルクではなくリンゴとジャムが検出される事象、図２の（ｃ）に示すように、ミルクもジャムを検出されず、ミルクではなくミルクの一部分に基づきリンゴと検出される事象などが発生する。すなわち、敵対的パッチの混入より、ＯＤモデルの誤検出、検出漏れなどが発生し、ＯＤモデルの検出精度が低下する。

【0013】

そこで、実施例１にかかる情報処理装置１０は、ＯＥＤモデル（Object Extraction Detector：オブジェクト抽出モデル)と、ＳＰＤ（Scene Processing Detector)とを用いて、ＯＤモデルに入力された入力シーンへの敵対的パッチの混入の有無を判定する。

【0014】

具体的には、図１に示すように、情報処理装置１０は、入力シーンをＯＤモデル（オブジェクト検出モデル）に入力し、オブジェクトの抽出結果を取得する。これと並行して、情報処理装置１０は、入力シーンから特徴量を抽出し、ＯＥＤモデル（オブジェクト抽出モデル）に入力し、入力シーンの特徴量と予め他のオブジェクトから抽出した特徴量とを比較して、入力シーンのオブジェクトを分類する。また、情報処理装置１０は、入力シーンにブラー処理などの各種画像処理を実行して複数のシーンを生成し、複数のシーンをＯＤモデル（オブジェクト検出モデル）に入力し、オブジェクトの分類結果を取得する。

【0015】

そして、情報処理装置１０は、入力シーンに対するＯＤモデルの抽出結果、ＯＥＤモデルによるオブジェクトの分類結果、複数のシーンに対するＯＤモデルの分類結果のそれぞれを組み合わせて、ＯＤモデルに入力された入力シーンに敵対的パッチが含まれるか否かを判定する。この結果、情報処理装置１０は、事前に敵対的パッチを含む訓練をすることなく、敵対的パッチを検出することができる。

【0016】

＜機能構成＞
図３は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図３に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

【0017】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、カメラなどから、オブジェクトの射影が含まれる入力シーンを取得する。

【0018】

記憶部１２は、各種データや制御部２０が実行するプログラム等を記憶する処理部であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、オブジェクト検出モデル１３、オブジェクト抽出モデル１４、射影領域抽出モデル１５を記憶する。

【0019】

オブジェクト検出モデル１３は、オブジェクトの射影が含まれる入力シーンの入力に応じてオブジェクトの検出結果を出力する機械学習モデルである。すなわち、オブジェクト検出モデル１３は、入力シーンから、オブジェクトを分類した結果である第２分類結果を出力する。このオブジェクト検出モデル１３は、オブジェクト名をラベル（目的変数）、入力シーン（入力画像データ）を説明変数とする訓練データを用いて機械学習モデルのパラメータの訓練が行われた訓練済みの機械学習モデルである。すなわち、オブジェクト検出モデル１３は、敵対的パッチを訓練データに用いて訓練されたものではない。

【0020】

オブジェクト抽出モデル１４は、オブジェクトの射影が含まれる入力シーンのオブジェクトを特定して抽出し、抽出結果とプロトタイプＫＮＮ（K－Nearest Neighbors）を用いてオブジェクトを分類する機械学習モデルである。すなわち、オブジェクト検出モデル１３は、入力シーンから、オブジェクトを分類した結果である第１分類結果を出力する。すなわち、オブジェクト抽出モデル１４は、敵対的パッチを訓練データに用いて訓練されたものではない。

【0021】

射影領域抽出モデル１５は、オブジェクトの射影が含まれる入力シーンの入力に応じてオブジェクトの射影領域を抽出する機械学習モデルである。例えば、射影領域抽出モデル１５は、入力シーン内のオブジェクトの背景をノイズとして消去する。この射影領域抽出モデル１５は、ノイズの除去結果をラベル（目的変数）、入力シーン（入力画像データ）を説明変数とする訓練データを用いて機械学習モデルのパラメータの訓練が行われた訓練済みの機械学習モデルである。すなわち、射影領域抽出モデル１５は、敵対的パッチを訓練データに用いて訓練されたものではない。

【0022】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、取得部２１、オブジェクト検出部２２、ＯＥＤ処理部２３、ＳＰＤ処理部２４、パッチ検出部２５を有する。なお、取得部２１、オブジェクト検出部２２、ＯＥＤ処理部２３、ＳＰＤ処理部２４、パッチ検出部２５は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0023】

取得部２１は、店舗や空港に設置されるカメラなどから、オブジェクトの射影が含まれる入力シーンを取得する処理部である。例えば、取得部２１は、カメラから映像データを随時取得し、記憶部１２に格納する。なお、取得部２１が取得するデータは、映像データや画像データである。映像データには、時系列の複数の画像フレームが含まれる。各画像フレームには、時系列の昇順に、フレーム番号が付与される。１つの画像フレームは、カメラがあるタイミングで撮影した静止画像の画像データである。上記入力シーンは、各画像フレーム（各画像データ）の一例である。

【0024】

オブジェクト検出部２２は、入力シーンをオブジェクト検出モデル（ＯＤモデル）１３に入力して、オブジェクトを検出する処理部である。図４は、オブジェクト検出を説明する図である。図４に示すように、オブジェクト検出部２２は、入力シーンＳをオブジェクト検出モデル（ＯＤモデル）１３に入力し、各オブジェクトの確信度を含む第２分類結果を取得する。第２分類結果には、「オブジェクト＝バナナ、確信度＝Ｘ１」、「オブジェクト＝リンゴ、確信度＝Ｘ２」、「オブジェクト＝スイカ、確信度＝Ｘ３」などが含まれる。通常であれば、最も確信度が高いオブジェクトが選択される。

【0025】

ＯＥＤ処理部２３は、入力シーンの特徴量を用いて、入力シーンに含まれるオブジェクトの分類を実行する処理部である。具体的には、ＯＥＤ処理部２３は、オブジェクトの射影が含まれる入力シーンを射影領域抽出モデル１５に入力して、オブジェクトの射影領域を抽出する。続いて、ＯＥＤ処理部２３は、特徴空間において各ラベル（各オブジェクト）の特徴を表す複数の第１領域のそれぞれと類似する、抽出したオブジェクトの射影領域内の第２領域をそれぞれ特定する。その後、ＯＥＤ処理部２３は、特定した第２領域と、第２領域に対応する第１領域との組の分布が所定の閾値よりも近い複数のラベルそれぞれに基づいて、オブジェクトを分類する第１分類処理を行い、第１分類結果を取得する。

【0026】

図５は、ＯＥＤ処理を説明する図である。図５に示すように、ＯＥＤ処理部２３は、入力シーンＳを射影領域検出モデル１５に入力して、オブジェクト（図５ではバナナ）の背景が除去されたオブジェクトの射影領域Ｓ１を抽出する。続いて、ＯＥＤ処理部２３は、オブジェクトの射影領域Ｓ１の特徴量を生成する。そして、ＯＥＤ処理部２３は、分類器であるプロトタイプＫＮＮを用いてオフジェクトの分類処理を実行する。

【0027】

ここで、プロトタイプＫＮＮについて説明する。プロトタイプＫＮＮは、Prototype choiceとＫＮＮを組み合わせた分類器の一例である。Prototype choiceは、機械的にもしくは人手で、ラベルに対応する画像データのプロトタイプを選択する。ラベルに対してMultiple angles and lightsを含むようなものであるとよい。ＫＮＮは、特徴空間内のもっとも近いＫ個のサンプルのラベルによって、対象のラベルを決定するアルゴリズムであり、学習過程が必要ないアルゴリズムの一例である。

【0028】

特徴空間としては、プロトタイプ画像のキーポイントを用いる。キーポイントは、物体をよく表す画像の局所的な小さい集合であり、１つのプロトタイプ画像で１つでもよく、複数であってもよい。なお、キーポイントは、プロトタイプ画像の任意の点でもよく、ラベルごともしくはプロトタイプ画像ごとに予め定義した点でもよい。

【0029】

図６は、特徴空間における各ラベルを説明する図である。図６に示すように、ＯＥＤ処理部２３は、ラベル「バナナ」の各画像データから、バナナの特徴を表す各キーポイントを検出し、特徴空間にマッピングする。同様に、ＯＥＤ処理部２３は、ラベル「ドーナッツ」の各画像データから、ドーナッツの特徴を表す各キーポイントを検出して特徴空間にマッピングし、ラベル「メロン」の各画像データから、メロンの特徴を表す各キーポイントを検出して特徴空間にマッピングする。

【0030】

このようにして、ＯＥＤ処理部２３は、各ラベル、言い換えると分類対象となる各オブジェクトの特徴量を特徴空間に射影することができる。その後、ＯＥＤ処理部２３は、入力シーンから抽出されたオブジェクトの特徴量を特徴空間にマッピングして、当該オブジェクトの分類を実行する。

【0031】

図７は、プロトタイプＫＮＮによる分類を説明する図である。図７に示すように、ＯＥＤ処理部２３は、入力シーンＳから抽出された射影領域Ｓ１から、１つまたは複数のキーポイントを抽出する。続いて、ＯＥＤ処理部２３は、図６で説明した特徴空間上に、射影領域Ｓ１から抽出したキーポイント（New Object）をマッピングする。そして、ＯＥＤ処理部２３は、キーポイント（New Object）との距離が近いＫ（Ｋは任意の数）個のサンプル（ラベル）を抽出する。ここで、距離が近いＫ個のサンプルとは、例えば距離が閾値未満である上記Ｋ個のサンプルや、距離が短い順のＫ個サンプルなどである。

【0032】

その後、ＯＥＤ処理部２３は、抽出したＫ個のサンプルに基づき、第１分類結果を生成して出力する。ここで、第１分類結果には、各ラベル（オブジェクト）の確信度が含まれる。

【0033】

確信度の算出には、様々な手法を用いることができるが、ここで一例を説明する。例えば、ＯＥＤ処理部２３は、Ｋ個の含まれる割合に基づき確信度を決定する。例を挙げると、ＯＥＤ処理部２３は、１００個のうち、バナナのサンプルが５０個含まれる場合には、バナナの確信度を「０．５」とする。また、ＯＥＤ処理部２３は、Ｋ個に含まれる数に基づき確信度を決定する。例を挙げると、ＯＥＤ処理部２３は、１個につき確信度を０．０１とし、１００個のうちバナナのサンプルが５個含まれる場合には、バナナの確信度を「０．０５」とする。

【0034】

ＳＰＤ処理部２４は、入力シーンから複数のシーンを生成し、複数のシーンそれぞれをオブジェクト検出モデル（ＯＤモデル）１３に入力し、複数のシーンそれぞれに対するオブジェクトの検出結果を用いて、入力シーンに対するオブジェクトを検出する処理部である。

【0035】

具体的には、ＳＰＤ処理部２４は、入力シーンに対し、異なる画像処理を施して複数のシーンを生成する。ＳＰＤ処理部２４は、生成された複数のシーンを、オブジェクト検出モデル１３を用いてそれぞれ分類し集約した結果に基づいて、入力シーン内のオブジェクトを分類するＳＰＤ処理（第２分類処理）を実行する。

【0036】

図８は、ＳＰＤ処理を説明する図である。図８に示すように、ＳＰＤ処理部２４は、入力シーンＳに対して複数の画像処理を実行して複数のシーンを生成する。例えば、ＳＰＤ処理部２４は、ブラー処理を実行し、入力シーンＳ全体をぼんやりさせてカメラでぶれを生じさせたようなブラー処理画像を生成する。ＳＰＤ処理部２４は、シャープネス処理を実行し、入力シーンＳ内のオブジェクトの輪郭を強調したシャープネス処理画像を生成する。また、ＳＰＤ処理部２４は、ランダムノイズ処理を実行し、入力シーンＳにランダムなノイズを付加したランダムノイズ処理画像を生成する。ＳＰＤ処理部２４は、ダークネス処理を実行し、入力シーンＳにダーク画像（例えば長時間ノイズだけが写されたダークフレームなど）を付加したダークネス処理画像を生成する。また、ＳＰＤ処理部２４は、arbitrary style transformationなどを含むスタイル処理を実行し、スタイル処理画像を生成する。例えば、ＳＰＤ処理部２４は、コンテンツ画像を入力シーンＳ、補助画像にも入力シーンＳに設定したarbitrary style transferのネットワークを用いて、入力シーンＳのスタイル処理画像を生成する。

【0037】

続いて、ＳＰＤ処理部２４は、入力シーンＳから生成された複数のシーンそれぞれを、オブジェクト検出モデル１３に入力して、訓練済みである各オブジェクトの確信度を含む第２分類結果を取得する。すなわち、ＳＰＤ処理部２４は、ブラー処理画像に対する第２分類結果、シャープネス処理画像に対する第２分類結果、ランダムノイズ処理画像に対する第２分類結果、ダークネス処理画像に対する第２分類結果、スタイル処理画像に対する第２分類結果を取得する。

【0038】

その後、ＳＰＤ処理部２４は、各第２分類結果を集約してＳＰＤ処理結果を生成する。例えば、ＳＰＤ処理部２４は、各第２分類結果の多数決によりＳＰＤ処理結果を生成する。具体的には、ＳＰＤ処理部２４は、各第２分類結果のうち確信度が最も高いオブジェクトを計数し、最も多いオブジェクトを選択する。また、ＳＰＤ処理部２４は、各第２分類結果の各確信度の合計値によりＳＰＤ処理結果を生成する。具体的には、各第２分類結果のオブジェクトごとに確信度の合計値を算出し、各オブジェクトの確信度の合計値の順番等によりオブジェクトを選択する。

【0039】

パッチ検出部２５は、オブジェクト検出部２２によるオブジェクト検出処理、ＯＥＤ処理部２３によるＯＥＤ処理、ＳＰＤ処理部２４によるＳＰＤ処理の各処理結果に基づき、入力シーンＳへの敵対的パッチの混入有無を検出する処理部である。具体的には、パッチ検出部２５は、オブジェクト検出処理とＯＥＤ処理、オブジェクト検出処理とＳＰＤ処理、または、オブジェクト検出処理とＯＥＤ処理とＳＰＤ処理のように、各処理結果を任意に組合せ、組み合わせた結果を集約して敵対的パッチの混入有無を検出する。

【0040】

図９は、敵対的パッチの混入判定を説明する図である。図９に示すように、パッチ検出部２５は、オブジェクト検出部２２によるオブジェクト検出処理の結果である第２分類結果と、ＯＥＤ処理部２３による処理結果である第１分類結果と、ＳＰＤ処理部２４による各シーンの第２分類結果とを取得し、各結果を集約した集約結果に基づき、敵対的パッチの混入を判定する。

【0041】

具体的には、パッチ検出部２５は、各処理結果の確信度に基づき、敵対的パッチの混入を検出する。例えば、パッチ検出部２５は、ＯＥＤ処理部２３による第１分類結果とＳＰＤ処理部２４による第２分類結果の確信度の合計値と、オブジェクト検出部２２による第２分類結果を比較することにより、敵対的パッチの混入を検出する。例えば、パッチ検出部２５は、ＯＥＤ処理部２３による第１分類結果とＳＰＤ処理部２３による第２分類結果のうち、オブジェクト「バナナ」の確信度の合計値、オブジェクト「リンゴ」の確信度の合計値、オブジェクト「ドーナッツ」の確信度の合計値を算出し、合計値が最も高いオブジェクトをオブジェクト抽出結果に決定する。このとき、パッチ検出部２５は、決定されたオブジェクトとオブジェクト検出部２２による第２分類結果により決定されたオブジェクトが同じであれば敵対的パッチの混入の可能性なし（正常）と判断し、異なれば、敵対的パッチの混入の可能性あり（異常）と判定する。

【0042】

また、パッチ検出部２５は、確信度の差分により敵対的パッチの混入を検出することもできる。例えば、パッチ検出部２５は、オブジェクト検出部２２による第２分類結果のうち最も確信度が高いオブジェクト「バナナ（確信度Ｙ１）」を特定する。そして、パッチ検出部２５は、ＯＥＤ処理部２３による第１分類結果のうちオブジェクト「バナナ」の確信度Ｙ２を取得し、ＳＰＤ処理部２４による各第２分類結果のうちオブジェクト「バナナ」の確信度の平均値Ｙ３を算出する。そして、パッチ検出部２５は、確信度Ｙ１と確信度Ｙ２との差分が閾値未満、かつ、確信度Ｙ１と確信度Ｙ３との差分が閾値未満の場合に、敵対的パッチの混入の可能性なし（正常）と判定する。

【0043】

また、パッチ検出部２５は、オブジェクト検出部２２によるオブジェクト検出処理、ＯＥＤ処理部２３によるＯＥＤ処理、ＳＰＤ処理部２４によるＳＰＤ処理の各処理結果が一致しない場合に、敵対的パッチの混入の可能性あり（異常）と判定することもできる。

【0044】

＜処理の流れ＞
図１０は、混入判定処理の流れを示すフローチャートである。図１０に示すように、情報処理装置１０は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、入力シーンを取得し（Ｓ１０２）、入力シーンをオブジェクト検出モデル１３に入力して物体検出を実行して第１分類結果を取得する（Ｓ１０３）。

【0045】

続いて、情報処理装置１０は、入力シーンを用いてＳＰＤ処理を実行し、検出結果である各第２分類処理を取得する（Ｓ１０４）。また、情報処理装置１０は、入力シーンを用いてＯＥＤ処理を実行し、分類結果である第１分類結果を取得する（Ｓ１０５）。

【0046】

ここで、情報処理装置１０は、各処理結果を集約した情報が予め定めた不正な条件を満たす場合（Ｓ１０６：Ｙｅｓ）、敵対的パッチの混入ありと判定し（Ｓ１０７）、不正な条件を満たさない場合（Ｓ１０６：Ｎｏ）、正常と判定する（Ｓ１０８）。

【0047】

＜効果＞
上述したように、情報処理装置１０は、敵対的パッチを訓練データに用いなくても、オブジェクト検出モデル（ＯＤモデル）１３の検出結果、ＯＥＤ処理結果、ＳＰＤ処理結果を組み合わせることで、敵対的パッチの混入を検出することができる。

【0048】

また、情報処理装置１０は、オブジェクト検出モデル（ＯＤモデル）１３の検出結果、ＯＥＤ処理結果、ＳＰＤ処理結果を任意に組み合わせることができるので、判定精度を重要視する場合は３つを組合せ、判定速度を重視する場合は任意の２つを組み合わせるなど、環境に応じて組合せを選択でき、汎用性の高い検出処理を実現できる。

【0049】

また、情報処理装置１０は、入力シーンを複数のシーンに変換してＳＰＤ処理を用いた敵対的パッチの混入を判定する。例えば、普通の物体はシーンを変えても同じ物体として見られたままであり、敵対的パッチは入力固有なものも多く、シーン変換に脆弱であると考えられる。このような場合に特に、情報処理装置１０は、敵対的パッチの混入の検出精度を向上させることができる。

【0050】

また、情報処理装置１０は、入力シーンＳを補助画像としたスタイル変換処理を含むＳＰＤ処理を実行するので、入力シーンがわずかに変更されたシーンの分類結果を取得することができる。したがって、情報処理装置１０は、敵対的パッチの混入によりわずかに変化した状況を想定したシーンの分類結果を取得することができるので、敵対的パッチの混入の検出精度を向上させることができる。

【実施例0051】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0052】

（数値等）
上記実施例で用いた訓練データ、入力シーン、各オブジェクト、確信度の数値、画像処理の内容や数等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。また、各モデルは、ニューラルネットワークなどの様々なアルゴリズムにより生成されたモデルを採用することができる。

【0053】

（処理順序）
例えば、情報処置装置１０は、オブジェクト検出部２２による分類結果と、ＳＰＤ処理部２４による分類結果とに基づき、正常と判定された場合にのみ、ＯＥＤ処理部２３を実行する。そして、情報処理装置１０は、オブジェクト検出部２２による分類結果と、ＯＥＤ処理部２３の分類結果とに基づき、敵対的パッチの混入判定を実行することもできる。

【0054】

（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

【0055】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、ＯＥＤ処理部２３とＳＰＤ処理部２４とが統合されてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0056】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0057】

（ハードウェア）
図１１は、ハードウェア構成例を説明する図である。ここでは、一例として、情報処理装置１０について説明する。図１１に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１１に示した各部は、バス等で相互に接続される。

【0058】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。

【0059】

プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図３等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部２１、オブジェクト検出部２２、ＯＥＤ処理部２３、ＳＰＤ処理部２４、パッチ検出部２５等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、取得部２１、オブジェクト検出部２２、ＯＥＤ処理部２３、ＳＰＤ処理部２４、パッチ検出部２５等と同様の処理を実行するプロセスを実行する。

【0060】

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0061】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。