特開 2023-774 改ざん判定方法、改ざん判定プログラム及び改ざん判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000774

(43)【公開日】2023-01-04

(54)【発明の名称】改ざん判定方法、改ざん判定プログラム及び改ざん判定装置

(51)【国際特許分類】

   G06N 3/02 20060101AFI20221222BHJP

【ＦＩ】

G06N3/02

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021101781

(22)【出願日】2021-06-18

(71)【出願人】

【識別番号】399056820

【氏名又は名称】テクマトリックス株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】西田啓一

(72)【発明者】

【氏名】中島裕生

(57)【要約】

【課題】学習済モデルに入力される判別対象データが、人の目では判別不能なわずかなノイズを加えられた改ざんデータであるか否かを効率良く判定することが課題。
【解決手段】画像認識装置１０の改ざん判定部４０は、学習済モデル２０の各隠れ層の出力から、層出力値データを収集し、隣り合う隠れ層にノードの活性化がどのように伝播するかの確率（層間伝達値）を算出する。そして、各隠れ層の層出力値データと層間伝達値データに基づいて、原入力データを入力した場合の統合値データの確率密度と、原入力データの統合値データの一部を、判定をおこなうための判定画像データを入力した場合の統合値データで置き換えた判定用の統合値データの確率密度の比を算出して、その算出値が一定の閾値（例えば２０）を越えたならば、入力された判定画像データは改ざんが施されていると判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定方法であって、
前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成工程と、
前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成工程と、
前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定工程と
を含むことを特徴とする改ざん判定方法。

【請求項2】

前記第１の生成工程は、
前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力された第１の層出力値データを取得する第１の取得工程と、
前記第１の層出力値データに基づいて、前記原入力データに係る第１の層間伝達値データを算出する第１の算出工程と、
前記第１の層出力値データ及び前記第１の層間伝達値データに基づいて、前記原入力データに係る第１の統合値データを算出する第２の算出工程と
を含むことを特徴とする請求項１に記載の改ざん判定方法。

【請求項3】

前記第２の生成工程は、
前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力された第２の層出力値データを取得する第２の取得工程と、
前記第２の層出力値データに基づいて、前記判定対象データに係る第２の層間伝達値データを算出する第３の算出工程と、
前記第２の層出力値データ及び前記第２の層間伝達値データに基づいて、前記原入力データに係る第２の統合値データを算出する第４の算出工程と
を含むことを特徴とする請求項１又は２に記載の改ざん判定方法。

【請求項4】

前記第１の算出工程又は前記第３の算出工程は、パーセプトロンを用いた学習済モデルを用いて算出することを特徴とする請求項２又は３に記載の改ざん判定方法。

【請求項5】

前記第１の算出工程又は前記第３の算出工程は、畳み込みニューラルネットワークを用いた学習済モデルを用いて算出することを特徴とする請求項２又は３に記載の改ざん判定方法。

【請求項6】

複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定プログラムであって、
前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成手順と、
前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成手順と、
前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定手順と
をコンピュータに実行させることを特徴とする改ざん判定プログラム。

【請求項7】

複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定装置であって、
前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成手段と、
前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成手段と、
前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定手段と
を備えたことを特徴とする改ざん判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習済モデルに入力される判定対象データが、人の目では判定不能なわずかなノイズを加えられた改ざんデータであるか否かを効率良く判定することができる改ざん判定方法、改ざん判定プログラム及び改ざん判定装置に関する。

【背景技術】

【0002】

従来、教師データを用いた教師有り学習を行って学習済モデルを生成しておき、判定対象データを学習済モデルに入力することにより、該判定対象データの種別を判定する技術が知られている。ここで、判定対象データに人間の目では判定不能なわずかなノイズを加えた改ざんデータを生成し、この改ざんデータを学習済モデルに入力させることにより、判定対象データの種別を誤判定させる不正が知られている。なお、このような人間の目では判定不能なわずかなノイズを加える不正は、「Adversarial Examples」と呼ばれている。

【0003】

かかる不正の防止に関連して、特許文献１には、ＣＮＮ（Convolutional Neural Network）モデルを適用する認識システムにおいて、入力データに対するＣＮＮモデルの出力結果と、入力データにノイズを印加した改ざんデータに対するＣＮＮモデルの出力結果との比較結果に基づいて、入力データに対するＣＮＮモデルの信頼性を判定する技術が開示されている。

【0004】

また、非特許文献１には、原入力データ（学習済モデルを作成する際に使用された入力データ）に施された、人の目では判定不能なわずかなノイズを加えた改ざんの有無を判定する技術が開示されている。具体的には、学習済モデルの各レイヤから出力されるデータをＶＩ（Value Invariant）として収集する。さらにレイヤごとに導出モデルを作成して、レイヤの出力を２値の確率に変換したＰＩ（Provenance Invariant）を作成して収集する。そして、全てのＶＩ、ＰＩを合成してＮＩＣ（Neural Network Invariant Checking）とし、ＮＩＣで原入力データから生成されたＮＩＣを１クラス分類（正常データとAdversarial Example）を行い、結果を１クラス分類モデルとして保存する。判定対象となる入力データも同様にＶＩ、ＰＩ、ＮＩＣを計算して１クラス分類モデルに投入して判定を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１５４３８６号公報

【非特許文献】

【0006】

【非特許文献1】NIC: Detecting Adversarial Samples with Neural Network Invariant Checking: https://www.ndss-symposium.org/wp-content/uploads/2019/02/ndss2019_03A-4_Ma_paper.pdf

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１のものは、入力データと、該入力データにノイズを加えた改ざんデータの両方を用いてＣＮＮモデルの信頼性を判定するものであり、入力データと改ざんデータの両方が必要となる。言い換えると、学習済モデルに入力される入力データそのものに改ざんが行われているか否かを判定する技術ではない。このため、この特許文献１を用いたとしても、入力データを学習済モデルに投入した場合に、この入力データが意図的にノイズを付加された改ざんデータであるか否かを判定することができない。

【0008】

また、非特許文献１のものは、ＰＩを計算する際に必要となるレイヤからの導出モデルの作成方法の詳細と扱い方が開示されておらず、ＮＩＣ合成を行う際の具体的な計算手順も開示されていない。また、１クラス分類を行う場合に、ＲＢＦカーネルのγパラメータの最適値を決定することが困難であるため、実用上の判定機として使用することが難しいという問題がある。

【0009】

これらのことから、学習済モデルに入力される入力データが、人の目では判定不能なわずかなノイズを加えられた改ざんデータであるか否かをいかに効率良く判定するかが重要な課題となっている。

【0010】

本発明は、上述した従来技術による問題点（課題）を解決するためになされたものであって、学習済モデルに入力される判定対象データが、人の目では判定不能なわずかなノイズを加えられた改ざんデータであるか否かを効率良く判定することができる改ざん判定方法、改ざん判定プログラム及び改ざん判定装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決し、目的を達成するため、本発明は、複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定方法であって、前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成工程と、前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成工程と、前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定工程とを含むことを特徴とする。

【0012】

また、本発明は、上記発明において、前記第１の生成工程は、前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力された第１の層出力値データを取得する第１の取得工程と、前記第１の層出力値データに基づいて、前記原入力データに係る第１の層間伝達値データを算出する第１の算出工程と、前記第１の層出力値データ及び前記第１の層間伝達値データに基づいて、前記原入力データに係る第１の統合値データを算出する第２の算出工程とを含むことを特徴とする。

【0013】

また、本発明は、上記発明において、前記第２の生成工程は、前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力された第２の層出力値データを取得する第２の取得工程と、前記第２の層出力値データに基づいて、前記判定対象データに係る第２の層間伝達値データを算出する第３の算出工程と、前記第２の層出力値データ及び前記第２の層間伝達値データに基づいて、前記原入力データに係る第２の統合値データを算出する第４の算出工程とを含むことを特徴とする。

【0014】

また、本発明は、上記発明において、前記第１の算出工程又は前記第３の算出工程は、パーセプトロンを用いた学習済モデルを用いて算出することを特徴とする。

【0015】

また、本発明は、上記発明において、前記第１の算出工程又は前記第３の算出工程は、畳み込みニューラルネットワークを用いた学習済モデルを用いて算出することを特徴とする。

【0016】

また、本発明は、複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定プログラムであって、前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成手順と、前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成手順と、前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定手順とをコンピュータに実行させることを特徴とする。

【0017】

また、本発明は、複数のレイヤを有する機械学習モデルに対して原入力データを用いた教師有り学習を行って学習済モデルを生成し、生成した学習済モデルに判定対象データを入力して該学習済モデルから出力された出力結果に基づいて前記判定対象データの判定処理を行う判定装置における改ざん判定装置であって、前記原入力データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第１の統合値データを生成する第１の生成手段と、前記判定対象データを前記学習済モデルに入力した場合に、各レイヤから出力されたデータに基づいて第２の統合値データを生成する第２の生成手段と、前記第１の統合値データ及び前記第２の統合値データに基づいて、前記判定対象データの改ざんの有無を判定する判定手段とを備えたことを特徴とする。

【発明の効果】

【0018】

本発明によれば、学習済モデルに入力される判定対象データが、人の目では判定不能なわずかなノイズを加えられた改ざんデータであるか否かを効率良く判定することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、本実施形態に係る画像認識装置の装置構成の概要を示す図である。

【図2】図２は、図１に示した画像認識装置の学習済モデルの作成の一例を示す図である。

【図3】図３は、図２に示した学習済モデル作成時の勾配降下法の概要を示す図である。

【図4】図４は、図２に示した学習済モデル作成時の誤差逆伝播法の概要を示す図である。

【図5】図５は、図１に示した画像認識装置の改ざん判定部の概要を示す図である。

【図6】図６は、図１に示した画像認識装置の機能構成を示す機能ブロック図である。

【図7】図７は、図１に示した画像認識装置の認識処理部の概要を示す図である。

【図8】図８は、図１に示した画像認識装置の改ざん判定部の処理手順を示すフローチャート（その１）である。

【図9】図９は、図１に示した画像認識装置の改ざん判定部の処理手順を示すフローチャート（その２）である。

【図10】図１０は、図１に示した画像認識装置の改ざん判定部の画像識別番号と確率密度比の値の関係を示した図である。

【発明を実施するための形態】

【0020】

以下に、本発明に係る改ざん判定方法、改ざん判定プログラム及び改ざん判定装置の実施形態を図面に基づいて詳細に説明する。なお、以下に示す実施形態では、本発明に係る改ざん判定方法を画像認識装置に適用した場合について説明する。

【0021】

＜本実施形態に係る画像認識装置の概要＞
本実施形態に係る画像認識装置の概要について図１を用いて説明する。図１は、実施形態に係る画像認識装置１０の概要を説明するための説明図である。この画像認識装置１０は、入力画像に対して意図的にノイズを付加した改ざん画像であるか否かを判定することができる装置である。

【0022】

従来、判定対象データの種別を判定する場合に、あらかじめ教師データを用いた教師有り学習を行って学習済モデルを生成しておき、判定対象データを学習済モデルに入力することにより、該判定対象データの種別を判定する。例えば、猫、犬、馬及び牛の教師データを用いて教師有り学習を行った学習済モデルに、判定対象データとして別の猫の画像を入力すると、判定対象データの種別を猫と判定する。

【0023】

しかしながら、判定対象データに人間の目では判定不能なわずかなノイズを加えた改ざんデータを生成し、この改ざんデータを学習済モデルに入力することにより、判定対象データの種別を誤判定させる不正が知られている。例えば、人間の目では猫の画像に見えても、この画像にわずかなノイズを加えることにより、画像認識装置１０は、猫と判定すべきところを犬と誤判定してしまう。

【0024】

このため、本実施形態に係る画像認識装置１０では、原入力データで学習したニューラルネットワークを学習済モデル２０として用意し、判定画像データを画像認識装置１０に入力する。そして、学習済モデル２０からの出力は、認識部３０に入力され認識確率の高い認識物を認識結果として出力する。また、学習済モデル２０の複数ある隠れ層の各層の出力を改ざん判定部４０に入力し、各層の出力に基づいて、入力した判定画像データがノイズを加えられた画像か否かを判定する。

【0025】

具体的には、図１に示すように、画像認識装置１０は、学習済モデル２０と、認識部３０と、改ざん判定部４０とで構成される。学習済モデル２０は、原入力データを用いて学習したニューラルネットワークであり、入出力層の他に複数の隠れ層（例えば３層の隠れ層）から構成されている。認識部３０は、判定を行うための判定画像データを学習済モデル２０に入力された場合に、学習済モデル２０の出力である複数の認識物の認識確率から、閾値を超える認識物を特定する。

【0026】

例えば、認識部３０の認識の閾値を８０％以上とし、学習済モデル２０の出力が、猫の確率：８５％、犬の確率：５％、馬の確率：８％、牛の確率：２％とすると、猫の確率が８５％と閾値を超えているので、入力された判定画像データは、猫の画像であると認識する。改ざん判定部４０は、学習済モデル２０の各隠れ層の出力から、層出力値（以下、「ＬＶ：Layer output Value」と言う）データを収集し、各隠れ層のノードの活性化の分布状態と、隣り合う隠れ層にノードの活性化がどのように伝播するかに基づいて、入力データの正常である確率（層間伝達値）（以降、「ＬＬＶ：Between Layer to Layer drove Value」と言う）を算出する。そして、改ざん判定部４０は、各隠れ層のＬＶデータとＬＬＶデータに基づいて、学習済モデルのネットワーク全体の状態（統合値）（以降、「ＪＶ：Joint Value」と言う）を算出し、原入力データを入力した場合のネットワークのＪＶデータと、判定をおこなうための判定画像データを入力した場合のネットワークのＪＶデータに基づいて、確率密度比を算出して、その算出値が一定の閾値（例えば２０）を越えたならば、入力された判定画像データは改ざんが施されていると判定する。

【0027】

＜学習済モデルについて＞
本実施形態では、学習済モデルを生成するに際して、一例として全結合型ニューラルネットワークを利用する。この全結合型ニューラルネットワークに対して原入力データを入力して教師有り学習を行わせることにより、学習済モデル生成する。全結合型ニューラルネットワーク及び深層学習については、周知技術であるため、ここではその詳細な説明を省略するが、ここでは教師有り学習の概要について説明する。

【0028】

図２は、全結合型ニューラルネットワークの一例を示す。図２に示すように該全結合型ニューラルネットワークは、入力層と、３つの隠れ層及び出力層とを有する。また、該全結合型ニューラルネットワークは、入力層に５つ、出力層に４つのノードが有り、４分類を認識する。ｗは、各ノード間の結合強度を表わす重みである。

【0029】

学習は、４分類問題を解くために全結合型ニューラルネットワークをチューニングするステップで、チューニングのために原入力データを用いる。原入力データは、４分類を行うための４種類の認識を行う複数の画像とそのそれぞれの画像に対する正解値のセットで構成されている。全結合型ニューラルネットワークの学習においてチューニングの対象になるパラメータは、ノード間の結合強度を表わす重みｗである。

【0030】

学習は、原入力データに対するニューラルネットワークの出力値と正解値の誤差が小さくなるように重みをチューニングすることである。重みをチューニングするためには、誤差を数値で表現する必要があるため、ニューラルネットワークの出力値と正解値で計算される誤差関数を定義する。誤差関数には、いくつかの種類が存在するが、ここでは、誤差関数として分類問題に良く利用されるクロスエントロピー関数を使用する。

【0031】

図２に示すクロスエントロピーの式の場合だと、誤差関数Ｅ（ｗ）が最小になるような各層の重みを求めればよい。しかしながら、ｙｋ（ｗ）は、かなり複雑な式となり解析的に求めることは難しいので、一般的には、Ｅ（ｗ）を最小にするような重みｗの近似値を求めるという手法を用いる。この近似値を求める際に用いられる手法が、勾配降下法及び誤算逆伝播法（バックプロパゲーション）である。

【0032】

図３は、勾配降下法の概要を説明する図である。図３に示すように、勾配降下法では、まず、重みｗの初期値を与え、その初期値における誤差関数の勾配を求め、その勾配が正の場合は、重みｗを小さくするように更新し、その勾配が負の場合は、重みｗを大きくするように値の更新を行う。図３では、初期値を入れて計算した誤差関数の傾きが正であるため、重みｗを小さくして更新している。

【0033】

そして、更新された重みｗを用いて誤差関数の傾きを計算すると、傾きは負であるため、重みｗを大きくして２回目の更新を行う。この更新作業を繰り返すことにより、重みｗを目標に近づける。勾配降下法を用いる場合には、勾配情報が必要となるが、この勾配を求める手法に誤差逆伝播法がある。

【0034】

図４は、誤差逆伝播法の概要を説明する図である。図４に示すように、出力層に近い層の勾配を算出し、順次入力側の勾配を求める手法である。図４では、３層目の勾配情報をδＥ／δｗ₃として算出し、次に、２層目の勾配情報をδＥ／δｗ₂、１層目の勾配情報をδＥ／δｗ₁として算出している。学習済モデルを作成するためには、１分類につき１００００程度の画像を入力し学習させる必要がある。

【0035】

＜改ざん判定部の概要＞
次に、図１に示した画像認識装置１０の改ざん判定部４０の処理の概要について説明する。図５は、図１に示した画像認識装置１０の改ざん判定部４０の処理概要を説明するための図である。図５に示すように、画像認識装置１０は、原入力データを用いて学習済モデルを作成する（Ｓ１）。

【0036】

そして、改ざん判定部４０は、画像認識装置１０の学習済モデルに、学習時に使用した原入力データが入力されたならば（Ｓ２）、各隠れ層のそれぞれの出力データを収集し、原入力データの各隠れ層におけるＬＶを取得し、それぞれ第１の隠れ層（以降「Ｌ１」と言う）のＬＶ（ＬＶ_L1）、第２の隠れ層（以降、「Ｌ２」と言う）のＬＶ（ＬＶ_L2）、第３の隠れ層（以降、「Ｌ３」と言う）のＬＶ（ＬＶ_L3）として記憶する（Ｓ３）。次に、改ざん判定部４０は、学習済モデル２０の原入力データ入力時の各隠れ層からの出力を収集し、隣り合う隠れ層の出力値の組（ＬＶ_L1、ＬＶ_L2）、（ＬＶ_L2、ＬＶ_L3）及び（ＬＶ_L3、ＬＶ_L3）のデータを作成する。そして該データを多層パーセプトロンで学習させ、確率モデルを算出する。

【0037】

該確率モデルに原入力データを入力し、原入力データが正常か否かの確率配列の組データを算出し、原入力データのＬＬＶ（ＬＬＶ_L1，ＬＬＶ_L2、ＬＬＶ_L3）として記憶する（Ｓ４）。次に、改ざん判定部４０は、記憶されたＬＶ_L1、ＬＶ_L2、ＬＶ_L3及びＬＬＶ_L1、ＬＬＶ_L2、ＬＬＶ_L3より｛（ＬＶ_L1、ＬＬＶ_L1）（ＬＶ_L2、ＬＬＶ_L2）（ＬＶ_L3、ＬＬＶ_L3)｝の組データを作成する。そして、該組データの各要素の和を取り、原入力データのＪＶを算出する（Ｓ５）。そして算出された原入力データのＪＶを記憶する。

【0038】

次に、改ざん判定部４０は、画像認識装置１０の学習済モデルに判定対象データが入力されたならば（Ｓ６）、各隠れ層のそれぞれの出力データを収集し、判定対象データの各隠れ層におけるＬＶを取得し、それぞれ判定対象データのＬ１のＬＶ（ＬＶ'_L1）、判定対象データのＬ２のＬＶ（ＬＶ'_L2）、判定対象データのＬ３のＬＶ（ＬＶ'_L3）として記憶する（Ｓ７）。次に、改ざん判定部４０は、学習済モデル２０の判定対象データ入力時の各隠れ層からの出力を収集し、隣り合う隠れ層の出力値の組（ＬＶ'_L1，ＬＶ'_L2）、（ＬＶ'_L2，ＬＶ'_L3）及び（ＬＶ'_L3，ＬＶ'_L3）のデータを作成する。そして該データをＳ４で作成した確率モデルに入力し、判定対象データが正常か否かの確率配列の組データＬＬＶをＬＬＶ'_L1、ＬＬＶ'_L2、ＬＬＶ'_L3として記憶する（Ｓ８）。

【0039】

次に、改ざん判定部４０は、記憶されたＬＶ'_L1、ＬＶ'_L2、ＬＶ'_L3及びＬＬＶ'_L1、ＬＬＶ'_L2、ＬＬＶ'_L3より｛（ＬＶ'_L1，ＬＬＶ'_L1）（ＬＶ'_L2，ＬＬＶ'_L2）（ＬＶ'_L3，ＬＬＶ'_L3)｝の組データを作成する。そして、該組データの各要素の和を取り、判定対象データのＪＶを算出する（Ｓ９）。そして算出された判定対象データのＪＶを記憶する。

【0040】

次に、改ざん判定部４０は、記憶された原入力データのＪＶの一部を判定対象データのＪＶのデータに入れ替えて判定用のＪＶを算出し（Ｓ１０）、記憶する。そして、改ざん判定部４０は、原入力データのＪＶから生成された確率分布をｐ、判定用のＪＶから生成された確率分布をｐ'、原入力データのＪＶをｘとして、この２つの確率分布の比（確率密度比）ｒ（ｘ）＝ｐ（ｘ）／ｐ'（ｘ）を算出する。このｒ（ｘ）が閾値（例えば２０）を越えたならば、入れ替えを行ったデータを生成した判定画像データはノイズが加えられた改ざん画像であると判定する（Ｓ１１）。

【0041】

＜画像認識装置１０の構成＞
次に、図１に示した画像認識装置１０の構成について説明する。図６は、図１に示した画像認識装置１０の構成を示す機能ブロック図である。図６に示すように、画像認識装置１０は、表示部１１と、操作部１２と、通信Ｉ／Ｆ部１３と、記憶部１４と、制御部１５とを有する。

【0042】

表示部１１は、液晶パネル又はディスプレイ装置などの表示デバイスであり、操作部１２は、キーボードやマウスなどの入力デバイスである。通信Ｉ／Ｆ部１３は、他の装置と通信を行うためのインターフェース部である。

【0043】

記憶部１４は、不揮発性メモリ又はハードディスク装置などの記憶デバイスであり、原入力データ１４ａ、学習済モデル１４ｂ、原入力ＬＶデータ１４ｃ、原入力ＬＬＶデータ１４ｄ、原入力ＪＶデータ１４ｅ、判定対象データ１４ｆ、判定対象ＬＶデータ１４ｇ、判定対象ＬＬＶデータ１４ｈ、判定対象ＪＶデータ１４ｊ及び判定用ＪＶデータ１４ｋを記憶する。

【0044】

制御部１５は、画像認識装置１０の全体を制御する制御部であり、認識処理部１５ａ、ＬＶ取得部１５ｂ、ＬＬＶ算出部１５ｃ、ＪＶ算出部１５ｄ、確率密度比推定部１５ｅ及び判定部１５ｆを有する。実際には、これらプログラムをＣＰＵにロードして実行することにより、認識処理部１５ａ、ＬＶ取得部１５ｂ、ＬＬＶ算出部１５ｃ、ＪＶ算出部１５ｄ、確率密度比推定部１５ｅ及び判定部１５ｆにそれぞれ対応するプロセスを実行させることになる。

【0045】

認識処理部１５ａは、学習済モデル２０から出力される複数の分類確率に基づいて、入力画像がどの分類に属するのかを認識する処理部である。具体的には図７に示すように、判定対象データ１４ｆの画像を学習済モデルに入力したならば、この学習済モデルから例えば４種類の分類確率Ｐｉ（ｉ＝１～４）が出力される。そして、認識処理部１５ａは、分類確率Ｐｉが所定値（例えば「０．８」）より大きい値であるならば、その分類確率に属する分類を認識結果として出力する。

【0046】

ＬＶ取得部１５ｂは、学習済モデル２０の各隠れ層（Ｌ１，Ｌ２，Ｌ３）の出力を収集し、ＬＶデータの生成処理を行う。ＬＬＶ算出部１５ｃは、学習済モデル２０の各隠れ層（Ｌ１，Ｌ２，Ｌ３）の出力を収集し、隣り合う隠れ層の出力を対としたデータ（ＬＶ_L1，ＬＶ_L2）（ＬＶ_L2，ＬＶ_L3）（ＬＶ_L3、ＬＶ_L3）を生成し、このデータを用いて多層パーセプトロンを学習させ、確率モデルＰ_L1、Ｐ_L2、Ｐ_L3を算出する。そして画像データを確率モデルＰ_L1、Ｐ_L2、Ｐ_L3に入力し、その出力を入力した画像データのＬＬＶ_L1，ＬＬＶ_L2、ＬＬＶ_L3として記憶する処理を行う。

【0047】

ＪＶ算出部１５ｄは、取得済のＬＶデータ及び算出済のＬＬＶデータからＪＶを算出する処理を行う。確率密度比推定部１５ｅは、原入力データ１４ａから生成された原入力ＪＶデータ１４ｅの確率分布と判定用ＪＶデータ１４ｋの確率分布の比を求める処理を行う。判定部１５ｆは、確率密度比推定部１５ｅの出力が所定の閾値（例えば２０）を越えているか否かを判定し、越えている場合は、改ざん画像の判定を出力する。

【0048】

次に、図１の画像認識装置１０の改ざん判定部４０の処理手順について説明する。図８及び図９は、画像認識装置１０の改ざん判定部４０の処理手順を示すフローチャートである。図８及び図９に示すように、改ざん判定部４０は、学習済モデル２０に原入力データ１４ａ内の１枚の画像が入力されたならば（ステップＳ１０１）、学習済モデル２０の各隠れ層Ｌ１、Ｌ２、Ｌ３の出力を原入力データのＬＶ_Li（ｉ＝１～３）の配列として取得し、原入力ＬＶデータ１４ｃとして記憶部１４に記憶する（ステップＳ１０２）。

【0049】

原入力データ１４ａが最後のデータでない場合は（ステップＳ１０３；Ｎｏ）、ステップＳ１０１に戻り、原入力データ１４ａ内の次の画像を学習済モデル２０に入力し、原入力データのＬＶの取得、記憶の工程を繰り返す。改ざん判定部４０は、学習済モデル２０に入力された原入力データ１４ａが最後のデータである場合は（ステップＳ１０３；Ｙｅｓ）、取得された原入力ＬＶデータ１４ｃから隣り合う隠れ層のＬＶデータの組｛（ＬＶ_L1，ＬＶ_L2）（ＬＶ_L2，ＬＶ_L3）（ＬＶ_L3，ＬＶ_L3）｝を生成し、このデータの組を入力データとして各隠れ層の確率モデルＰ_Li（ｉ＝１～３）を算出する（ステップＳ１０４）。確率モデルＰ_Liは、多層パーセプトロンを用いた確率モデルである。

【0050】

確率モデルＰ_Liは、具体的には、例えば入力層、隠れ層２、出力層の４層構成の多層パーセプトロンで、入力層は、学習済モデルの隠れ層Ｌｉ及びＬｉ＋１の出力データを入力する。また、出力層は、２つのノードで構成され、判定対象データが正しいか、正しくないかの確率を示す。学習は、原入力データを用いて、Ｌ１、Ｌ２、Ｌ３の各隠れ層の出力に対して、すべてが正しいという正解値を入れて学習させる。

【0051】

次に、算出された確率モデルＰ_Liに、原入力データ１４ａ内の１枚の画像を入力し各隠れ層の確率モデルの出力ＬＬＶ_Li（ｉ＝１～３）を原入力ＬＬＶデータ１４ｄとして記憶部１４に記憶する（ステップＳ１０５）。入力された原入力データ１４ａが最後の原入力データ１４ａでない場合は、（ステップＳ１０６；Ｎｏ）、ステップＳ１０５に戻り、原入力データ１４ａ内の次の画像を確率モデルＰ_Liに入力し、ＬＬＶ_Liの算出工程を繰り返す。改ざん判定部４０は、確率モデルＰ_Liに入力された原入力データ１４ａが最後のデータである場合は（ステップＳ１０６；Ｙｅｓ）、記憶した原入力ＬＶデータ１４ｃと原入力ＬＬＶデータ１４ｄから｛（ＬＶ_L1，ＬＬＶ_L1）（ＬＶ_L2，ＬＬＶ_L2）（ＬＶ_L3，ＬＬＶ_L3）｝の組を生成する。そして、各要素の和を取り、原入力ＪＶデータ１４ｅとして記憶部１４に記憶する（ステップＳ１０７）。

【0052】

次に、改ざん判定部４０は、学習済モデル２０に判定対象データ１４ｆ内の１枚の画像が入力されたならば（ステップＳ１０８）、学習済モデル２０の各隠れ層Ｌ１、Ｌ２、Ｌ３の出力を判定対象データのＬＶ'_Li（ｉ＝１～３）の配列として取得し、判定対象ＬＶデータ１４ｇとして記憶部１４に記憶する（ステップＳ１０９）。次に、改ざん判定部４０は、取得された判定対象ＬＶデータ１４ｇから隣り合う隠れ層のＬＶデータの組｛（ＬＶ'_L1，ＬＶ'_L2）（ＬＶ'_L2，ＬＶ'_L3）（ＬＶ'_L3，ＬＶ'_L3）｝を生成する（Ｓ１１０）。そして、改ざん判定部４０は、生成された隣り合う隠れ層のＬＶデータの組を、原入力データで作成された確率モデルＰ_Liに入力し、その出力を判定対象ＬＬＶデータ１４ｈとして記憶部１４に記憶する（ステップＳ１１１）。

【0053】

改ざん判定部４０は、判定対象データ１４ｆが最後のデータでない場合は（ステップＳ１１２；Ｎｏ）、ステップＳ１０８に戻り、判定対象データ１４ｆ内の次の画像を学習済モデル２０に入力し、判定対象データのＬＶの算出、記憶及び判定対象データのＬＬＶの算出、記憶の工程を繰り返す。

【0054】

改ざん判定部４０は、学習済モデル２０に入力された判定対象データ１４ｆが最後のデータである場合は（ステップＳ１１２；Ｙｅｓ）、記憶した判定対象ＬＶデータ１４ｇと判定対象ＬＬＶデータ１４ｈから｛（ＬＶ'_L1，ＬＬＶ'_L1）（ＬＶ'_L2，ＬＬＶ'_L2）（ＬＶ'_L3，ＬＬＶ'_L3）｝の組を構成する。そして、各要素の和を取り、判定対象ＪＶデータ１４ｊとして記憶部１４に記憶する（ステップＳ１１３）。

【0055】

次に、改ざん判定部４０は、記憶した原入力ＪＶデータ１４ｅの一部のデータを記憶した判定対象ＪＶデータ１４ｊのデータに入れ替えて判定用ＪＶデータ１４ｋを生成し、記憶部１４に記憶する（ステップＳ１１４）。そして、原入力ＪＶデータ１４ｅの確率分布をｐ、判定用ＪＶデータ１４ｋの確率分布をｐ'、原入力ＪＶデータ１４ｅをｘとした時に、この２つの比はｒ（ｘ）＝ｐ（ｘ）／ｐ'（ｘ）で表わすことができ、確率密度比推定法を用いてｒ（ｘ）をｐ（ｘ）及びｐ'（ｘ）を求めることなくｒ（ｘ）を直接求める。求めたｒ（ｘ）が所定の値（例えば２０）より大きい場合は、入力画像に改ざんがあると判定し、所定の値を超えない場合は、入力画像の改ざんがないと判定する（ステップＳ１１５）。

【0056】

なお、改ざん判定部４０は、原入力ＪＶデータ１４ｅの一部のデータを記憶した判定対象ＪＶデータ１４ｊのデータに入れ替えて判定用ＪＶデータ１４ｋを生成しているが、入れ替えるデータ数は１つでも、複数のデータを入れ替えてもよい。

【0057】

次に、改ざん判定部４０の改ざん画像の検知結果例を説明する。図１０は、学習済モデル２０に２８００枚の原入力データ１４ａを入力し、その中の４枚（画像識別番号＝１００、５００，１０００、１５００）にＦＧＳＭ（Fast Gradient Sign Method）で改ざんを加えた画像データを入力した時の、画像識別番号と確率密度比の値の関係を示した図である。図１０に示すように、改ざんが加えられた画像データ（画像識別番号＝１００，５００、１０００，１５００）の確率密度比の値が３０と大きくなっており、改ざん画像の検出が可能であることを示している。

【0058】

上述してきたように、本実施形態では、画像認識装置１０が改ざん判定部４０を具備し、改ざん判定部４０は、学習済モデル２０の各隠れ層の出力から、ＬＶデータを収集し、各隠れ層のノードの活性化の分布状態と、隣り合う隠れ層にノードの活性化がどのように伝播するかのデータに基づいて、入力データの正常である確率ＬＬＶを算出する。そして、改ざん判定部４０は、各隠れ層のＬＶデータとＬＬＶデータに基づいて、学習済モデルのネットワーク全体の状態ＪＶを算出し、原入力データを入力した場合のネットワークのＪＶデータと、判定をおこなうための判定画像データを入力した場合のネットワークのＪＶデータに基づいて、確率密度比を算出して、その算出値が一定の閾値（例えば２０）を越えたならば、入力された判定画像データは改ざんが施されていると判定するように構成されているため、画像認識精度を落とすことなく入力画像に改ざんが加えられているか否かを判定することができる。

【0059】

なお、上記実施形態では、学習済モデル２０は全結合型ニューラルネットワークを使用していたが、畳み込みニューラルネットワーク（CNN）を使用してもよい。また、ＬＬＶデータを生成するための確率モデルに多層パーセプトロンを使用していたが、畳み込みニューラルネットワークを使用してもよい。

【0060】

また、上記実施形態では、改ざん判定部４０を画像認識装置１０に適用した場合を説明したが、改ざん判定部４０を音声認識、自然言語認識、物体認識等認識系の装置に適用してもよい。

【0061】

上記の実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0062】

本発明に係る改ざん判定方法、改ざん判定プログラム及び改ざん判定装置は、学習済モデルに入力される判定対象画像が、人の目では判定不能なわずかなノイズを加えられた改ざんデータであるか否かを効率良く判定する場合に適している。

【符号の説明】

【0063】

１０ 画像認識装置
１１ 表示部
１２ 操作部
１３ 通信Ｉ／Ｆ部
１４ 記憶部
１４ａ 原入力データ
１４ｂ 学習済モデル
１４ｃ 原入力ＬＶデータ
１４ｄ 原入力ＬＬＶデータ
１４ｅ 源入力ＪＶデータ
１４ｆ 判定対象データ
１４ｇ 判定対象ＬＶデータ
１４ｈ 判定対象ＬＬＶデータ
１４ｊ 判定対象ＪＶデータ
１４ｋ 判定用ＪＶデータ
１５ 制御部
１５ａ 認識判定部
１５ｂ ＬＶ取得部
１５ｃ ＬＬＶ算出部
１５ｄ ＪＶ算出部
１５ｅ 確率密度比推定部
１５ｆ 判定部
２０ 学習済モデル
３０ 認識部
４０ 改ざん判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】