特許 7290596 判定装置、判定方法及び判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-05

(45)【発行日】2023-06-13

(54)【発明の名称】判定装置、判定方法及び判定プログラム

(51)【国際特許分類】

   G06N 20/20 20190101AFI20230606BHJP

   G06N 3/045 20230101ALI20230606BHJP

   G06N 3/094 20230101ALI20230606BHJP

【ＦＩ】

G06N20/20

G06N3/045

G06N3/094

【請求項の数】 5

(21)【出願番号】P 2020057093

(22)【出願日】2020-03-27

(65)【公開番号】P2021157502

(43)【公開日】2021-10-07

【審査請求日】2022-02-08

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(72)【発明者】

【氏名】清本 晋作

【審査官】多賀 実

(56)【参考文献】

【文献】Chaofeng Li et al.，"False-Positive Reduction on Lung Nodules Detection in Chest Radiographs by Ensemble of Convolutional Neural Networks"，IEEE Access，IEEE，2018年，vol. 6，pp. 16060-16067，[令和4年11月10日 検索], インターネット:<URL: https://ieeexplore.ieee.org/abstract/document/8319989>

【文献】Thilo Strauss et al.，"Ensemble Methods as a Defense to Adversarial Perturbations Against Deep Neural Networks"，arXiv.org [online]，arXiv:1709.03423v2，米国，Cornell University，2018年，pp.1-10，[令和4年11月10日 検索], インターネット:<URL: https://arxiv.org/pdf/1709.03423v2>

【文献】Mahmood Sharif et al.，"n-ML: Mitigating Adversarial Examples via Ensembles of Topologically Manipulated Classifiers"，arXiv.org [online]，arXiv:1912.09059v1，米国，Cornell University，2019年，pp.1-14，[令和4年11月10日 検索], インターネット:<URL: https://arxiv.org/pdf/1912.09059v1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ ２１／００－２１／８８

(57)【特許請求の範囲】

【請求項1】

入力データに対して変換処理を行い、互いに異なる複数の変換後データを生成する変換部と、
機械学習の訓練データに対して前記変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の学習済みモデルを生成する学習部と、
判定対象データに対して前記変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する前記学習済みモデルに入力し、複数の個別判定結果を得る入力部と、
前記複数の個別判定結果の分布に基づいて、総合判定結果を出力する判定部と、を備え、
前記変換部は、前記入力データとしての一次元ベクトルを、複数の行列それぞれにより変換する判定装置。

【請求項2】

前記判定部は、前記個別判定結果の多数決により、総合判定結果を出力する請求項１に記載の判定装置。

【請求項3】

前記行列は、単位行列における一部の０を１に置き換えたものである請求項１又は請求項２に記載の判定装置。

【請求項4】

入力データに対して変換処理を行い、互いに異なる複数の変換後データを生成する変換ステップと、
機械学習の訓練データに対して前記変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の学習済みモデルを生成する学習ステップと、
判定対象データに対して前記変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する前記学習済みモデルに入力し、複数の個別判定結果を得る入力ステップと、
前記複数の個別判定結果の分布に基づいて、総合判定結果を出力する判定ステップと、をコンピュータが実行し、
前記変換ステップにおいて、前記入力データとしての一次元ベクトルを、複数の行列それぞれにより変換する判定方法。

【請求項5】

請求項１から請求項３のいずれかに記載の判定装置としてコンピュータを機能させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習を用いた判定装置、判定方法及び判定プログラムに関する。

【背景技術】

【0002】

従来、深層学習の推論における脅威の一つとして、敵対的サンプルを利用した攻撃がある。攻撃者は、意図的に誤分類を誘発することを目的として、ある入力データに微小な摂動を加え、これを学習済みモデルに投入する。教師あり学習では、訓練時に与えられたデータ、すなわち訓練データに基づき、識別境界面が形成される。識別境界面は、訓練データに依存するため、データの真の空間構造とは乖離して形成される場合がある。敵対的サンプルは、この乖離を利用することで、微小な摂動を加えるだけで、誤分類を誘発する。

【0003】

この敵対的サンプルを利用した攻撃への対策としては、敵対的学習と呼ばれる学習手法がある。敵対的学習では、訓練データに対して意図的に摂動を加えることで、敵対的サンプルに対してロバストな識別モデルが生成される。例えば、非特許文献１で提案されたアルゴリズムは、本攻撃に対して高い堅牢性を持つことが知られている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ａ． Ｍａｄｒｙ ｅｔ ａｌ．， “Ｔｏｗａｒｄｓ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｍｏｄｅｌｓ Ｒｅｓｉｓｔａｎｔ ｔｏ Ａｄｖｅｒｓａｒｉａｌ Ａｔｔａｃｋｓ，” ＩＣＬＲ ２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、敵対的学習では、敵対的サンプルに相当する訓練データを入力する必要があるため、実際の攻撃手法に対して必ずしも適切とは限らなかった。また、既存の学習アルゴリズムに対して処理の改変を要し負荷も増大していた。

【0006】

本発明は、学習済モデルの誤判定を誘発する攻撃に対して容易に耐性を持たせられる判定装置、判定方法及び判定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る判定装置は、入力データに対して変換処理を行い、互いに異なる複数の変換後データを生成する変換部と、機械学習の訓練データに対して前記変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の学習済みモデルを生成する学習部と、判定対象データに対して前記変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する前記学習済みモデルに入力し、複数の個別判定結果を得る入力部と、前記複数の個別判定結果の分布に基づいて、総合判定結果を出力する判定部と、を備える。

【0008】

前記判定部は、前記個別判定結果の多数決により、総合判定結果を出力してもよい。

【0009】

前記変換部は、前記入力データとしての一次元ベクトルを、複数の行列それぞれにより変換してもよい。

【0010】

前記行列は、単位行列における一部の０を１に置き換えたものであってもよい。

【0011】

本発明に係る判定方法は、入力データに対して変換処理を行い、互いに異なる複数の変換後データを生成する変換ステップと、機械学習の訓練データに対して前記変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の学習済みモデルを生成する学習ステップと、判定対象データに対して前記変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する前記学習済みモデルに入力し、複数の個別判定結果を得る入力ステップと、前記複数の個別判定結果の分布に基づいて、総合判定結果を出力する判定ステップと、をコンピュータが実行する。

【0012】

本発明に係る判定プログラムは、前記判定装置としてコンピュータを機能させるためのものである。

【発明の効果】

【0013】

本発明によれば、学習済モデルの誤判定を誘発する攻撃に対して容易に耐性を持たせられる。

【図面の簡単な説明】

【0014】

【図1】実施形態における判定装置の機能構成を示す図である。

【図2】実施形態における行列を例示する図である。

【図3】実施形態における判定方法の流れを示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態における判定装置１の機能構成を示す図である。
判定装置１は、サーバ又はパーソナルコンピュータ等の情報処理装置（コンピュータ）であり、制御部１０及び記憶部２０の他、各種データの入出力デバイス及び通信デバイス等を備える。

【0016】

制御部１０は、判定装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。

【0017】

記憶部２０は、ハードウェア群を判定装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるためのプログラム（判定プログラム）、学習モデル等を記憶する。

【0018】

制御部１０は、変換部１１と、学習部１２と、入力部１３と、判定部１４とを備える。
制御部１０は、これらの機能部により、入力データに対して機械学習を用いた判定結果を出力する。

【0019】

変換部１１は、入力データ、すなわち機械学習の訓練データ又は判定対象データに対して変換処理を行い、互いに異なる複数の変換後データを生成する。
入力データは、一次元ベクトルであってよい。変換部１１は、例えば、入力データとしての一次元ベクトルａを、複数の行列Ｈ_ｉそれぞれにより、ａ’_ｉ＝Ｈ_ｉ・ａと変換する。

【0020】

図２は、本実施形態における行列Ｈ_ｉを例示する図である。
行列Ｈ_ｉは、例えば、単位行列における一部の０を１に置き換えたものであってよい。
この他、１を０に置き換え、行の入れ替え等が行われてもよいが、単位行列の成分が保持されることが好ましく、これにより、変換後も元の入力データの特徴が保持され、さらに、非線形項を含むことにより攻撃への耐性が強化される。

【0021】

なお、変換処理は、行列変換には限られない。所定の変換規則が学習モデル（ＡＩ）毎に定義され、訓練データ及び判定対象データに対して共通の変換処理が行われる。

【0022】

学習部１２は、機械学習の訓練データに対して変換部１１による変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の独立したＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等による学習済みモデルを生成する。
なお、学習アルゴリズムは、複数の学習モデルで共通していてもよいし、異なっていてもよい。

【0023】

入力部１３は、判定対象データに対して変換部１１による変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する学習済みモデルに入力し、複数の個別判定結果を得る。

【0024】

判定部１４は、複数の個別判定結果の分布に基づいて、総合判定結果を出力する。
このとき、判定部１４は、個別判定結果の多数決により、総合判定結果を出力してよい。例えば、２種類の分類を判定する場合は、個別判定結果の数が多い方の分類を、３種類以上の分類を判定する場合は、個別判定結果の数が最も多い分類を総合判定結果とする。

【0025】

図３は、本実施形態における判定方法の流れを示す図である。
まず、変換部１１は、複数（例えば、３つ以上）の学習モデルＡＩ_ｉに対応して、同一の訓練データＸ（ベクトル群）を互いに異なる変換規則（例えば、行列Ｈ_ｉ）により変換し、複数の変換後データＸ’_ｉを生成する（１）。

【0026】

続いて、学習部１２は、変換後データＸ’_ｉを用いて、学習モデルＡＩ_ｉそれぞれに対して、独立した機械学習を行う（２）。
これにより、同一の訓練データを学習した互いに異なる複数の学習済みモデルＡＩ_ｉが構成される。

【0027】

その後、判定装置１に判定対象データａが入力されると、変換部１１は、学習時と同一の変換規則により、複数の変換後データａ’_ｉを生成する（３）。

【0028】

次に、入力部１３は、生成された変換後データａ’_ｉを、それぞれ対応する学習済みモデルＡＩ_ｉに入力することで、複数の個別判定結果を得る（４）。

【0029】

そして、判定部１４は、これらの個別判定結果に基づいて、多数決等により総合判定結果を出力する（５）。

【0030】

本実施形態によれば、判定装置１は、機械学習の訓練データに対して前記変換処理が行われた互いに異なる複数の変換後データを用いて、それぞれ別々の学習済みモデルを生成し、判定対象データに対して同一の変換処理が行われた互いに異なる複数の変換後データを、それぞれ対応する学習済みモデルに入力する。そして、判定装置１は、複数の個別判定結果の分布に基づいて、総合判定結果を出力する。

【0031】

これにより、判定装置１は、敵対的サンプルにより、いずれかの学習済みモデルで誤判定が発生したとしても、独立した学習済みモデルの大半で誤判定させることは容易ではないため、個別判定結果を総合することにより、確度の高い判定結果を出力できる。したがって、判定装置１は、学習済モデルの誤判定を誘発する攻撃に対して容易に耐性を持たせられる。

【0032】

判定装置１は、個別判定結果の多数決により、総合判定結果を出力することで、容易に確度の高い判定を行える。

【0033】

判定装置１は、入力データとしての一次元ベクトルを、複数の行列それぞれにより変換することで、変換処理に掛かる負荷を軽量化できる。したがって、判定装置１は、軽量な前処理を行うのみで、攻撃に対する耐性を容易に高めることができる。

【0034】

変換処理に用いる行列は、単位行列における一部の０を１に置き換えたものであってよい。これにより、判定装置１は、入力データの特徴を損なうことなく、非線形項の追加によって攻撃への耐性を高めることができる。

【0035】

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

【0036】

判定装置１による判定方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。

【符号の説明】

【0037】

１ 判定装置
１０ 制御部
１１ 変換部
１２ 学習部
１３ 入力部
１４ 判定部
２０ 記憶部

【図1】

【図2】

【図3】