特許 7548307 アセスメント装置、代替モデル作成装置、アセスメント方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】アセスメント装置、代替モデル作成装置、アセスメント方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240903BHJP

【ＦＩ】

G06N20/00

【請求項の数】 8

(21)【出願番号】P 2022531194

(86)(22)【出願日】2020-06-18

(86)【国際出願番号】 JP2020023930

(87)【国際公開番号】W WO2021255888

(87)【国際公開日】2021-12-23

【審査請求日】2022-12-16

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】土田 光

【審査官】渡辺 順哉

(56)【参考文献】

【文献】国際公開第２０１８／２１６３７９（ＷＯ，Ａ１）

【文献】特開２０２０－０４６８８３（ＪＰ，Ａ）

【文献】SHOKRI, Reza ほか，Membership Inference Attacks against Machine Learning Models，arXiv[online]，2017年03月31日，Retrieved from the Internet: <URL: https://arxiv.org/pdf/1610.05820v2.pdf>

【文献】PARK, Yeachan ほか，Membership Inference Attacks Against Object Detection Models，arXiv[online]，arXiv，2020年01月28日，[retrieved on 2020.09.09], Retrieved from the Internet: <URL: https://arxiv.org/pdf/2001.04011v2.pdf>

【文献】NASR, Milad ほか，Machine Learning with Membership Privacy using Adversarial Regularization，arXiv[online]，arXiv，2018年07月16日，pp.1-14，[retrieved on 2020.09.09], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1807.05852v1.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

評価対象装置が有する評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、
前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力として、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、
前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、
を備えた代替モデル作成装置にアクセス可能であり、
前記代替モデルと、前記評価対象のモデルとにそれぞれ第２のクエリを入力するために前記代替モデル作成装置と前記評価対象装置に送信し、その結果を用いて、前記評価対象のモデルの安全性を評価する安全性評価部と、
前記代替モデルを用いて、前記評価対象のモデルに誤った推論結果を出力させるためのＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓを作成し、前記評価対象のモデルに対して攻撃を行ない、前記攻撃の成否に基づいて、前記評価対象のモデルを評価する対象モデル攻撃部を備えたアセスメント装置。

【請求項2】

前記クエリ作成部は、代替モデル作成部が前記代替モデルの作成に用いる仮想訓練データの数Ｍよりも大きいＮ個のクエリを作成し、
前記ＭＩＡ実行部は、前記Ｎ個の推論結果を入力としてスコアの高い上位Ｍ個の仮想訓練データを選択する前記代替モデル作成装置にアクセス可能な請求項１のアセスメント装置。

【請求項3】

前記安全性評価部は、
前記代替モデルと、前記評価対象のモデルとにそれぞれ第２のクエリを入力するために前記代替モデル作成装置と前記評価対象装置に送信した結果の類似度を計算し、評価値として出力する類似度計算部を含む請求項１又は２のアセスメント装置。

【請求項4】

前記安全性評価部は、さらに、
前記類似度計算部が所定の評価値を得るために用いられた、少なくとも、データ数ｄ、クエリの数ｑを用いてコストを計算し、評価値として出力するコスト計算部を含む請求項３のアセスメント装置。

【請求項5】

さらに、
前記対象モデル攻撃部が所定の成功結果を得るために用いられた、少なくとも、データ数ｄ、クエリの数ｑを用いてコストを計算し、評価値として出力する攻撃コスト計算部を含む請求項１のアセスメント装置。

【請求項6】

評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、
前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力として、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、
前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、
を備えた代替モデル作成装置。

【請求項7】

評価対象装置が有する評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、
前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力として、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、
前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、を備えた代替モデル作成装置にアクセス可能なコンピュータが、
前記代替モデルと、前記評価対象のモデルとにそれぞれ第２のクエリを入力するために前記代替モデル作成装置と前記評価対象装置に送信し、
前記第２のクエリに対する、前記代替モデルと、前記評価対象のモデルとのそれぞれの推論結果を用いて、前記評価対象のモデルの安全性を評価し、
前記代替モデルを用いて、前記評価対象のモデルに誤った推論結果を出力させるためのＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓを作成し、前記評価対象のモデルに対して攻撃を行ない、前記攻撃の成否に基づいて、前記評価対象のモデルを評価する、
評価対象のモデルの安全性アセスメント方法。

【請求項8】

評価対象装置が有する評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、
前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力として、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、
前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、を備えた代替モデル作成装置にアクセス可能なコンピュータに、
前記代替モデルと、前記評価対象のモデルとにそれぞれ第２のクエリを入力するために前記代替モデル作成装置と前記評価対象装置に送信する処理と、
前記第２のクエリに対する、前記代替モデルと、前記評価対象のモデルとのそれぞれの推論結果を用いて、前記評価対象のモデルの安全性を評価する処理と、
前記代替モデルを用いて、前記評価対象のモデルに誤った推論結果を出力させるためのＡｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓを作成し、前記評価対象のモデルに対して攻撃を行ない、前記攻撃の成否に基づいて、前記評価対象のモデルを評価する処理とを、
前記コンピュータに実行させるプログラムを記録したコンピュータ記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アセスメント装置、代替モデル作成装置、アセスメント方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１に、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて未知のマルウェアを検出する分類装置が開示されている。具体的には、同文献には、正常な通信を行う端末が発する通信ログであることを示す良性な通信ログと、マルウェアに感染した端末が発する通信ログとを用いて学習を行って、分類器を作成し、この分類器を用いて、未知の通信ログを検査することが記載されている。

【0003】

特許文献２には、推論対象を特定する要件に対する訓練データの寄与を評価することができるという訓練データ評価装置が開示されている。具体的には、同文献には、訓練データを複数のバッチデータに分け、複数のバッチデータを順次用いてモデルの訓練を行うことが記載されている。そして、この訓練データ評価装置は、前記バッチデータを順次適用した訓練によって変化していく過程のモデルと、それぞれのモデルを生成したバッチデータの情報とを訓練経過記憶部に記憶する。最終的に、訓練データ評価装置は、この訓練経過記憶部に記憶させた複数のモデルにテストデータを適用して各モデルを評価し、各モデルの評価結果に基づいてバッチデータを選定する。

【0004】

特許文献１に記載されているＡＩを用いた分類装置に対する攻撃方法として、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓ （ＡＥｓ）という方法が知られている（非特許文献１）。このＡＥｓとは、攻撃対象となるモデルに入力した際に、想定されている出力とは異なるような出力が得られるデータを作成し、誤分類させるものである。とりわけ、特許文献１のようなマルウェアの検出において、何らかのノイズを乗せることで、誤分類させることができてしまうと、セキュリティ上大きな問題となるので、有効な対策の立案が要請されている。

【0005】

また、非特許文献２には、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）と呼ばれる疑似データの作成技術を用いて上記したＡＥｓを作成する方法が提案されている。

【0006】

上記したＡＥｓに対してロバスト性（頑健性）のあるモデルを作成するアルゴリズムも研究されている。一方で、非特許文献３には、ＡＥｓに対してロバスト性（頑健性）のあるモデルは、訓練に使われたデータを推定するＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃；ＭＩＡともいう）が成功しやすいという報告がなされている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１９－５７０１６号公報

【文献】特開２０２０－２１３０１号公報

【非特許文献】

【0008】

【文献】Grosse, Kathrin, et al. 、 “Adversarial examples for malware detection”、European Symposium on Research in Computer Security. 、Springer, Cham、 2017、［online］、［令和2年5月21日検索］、インターネット〈URL：https://link.springer.com/chapter/10.1007/978-3-319-66399-9_4〉

【文献】Weiwei Hu, Ying TAN、“Generating Adversarial Malware Examples for Black-Box Attacks Based on GAN”、［online］、［令和2年5月21日検索］、インターネット〈URL：https://arxiv.org/abs/1702.05983〉

【文献】Liwei Song, Reza Shokri, Prateek Mittal、“Privacy Risks of Securing Machine Learning Models against Adversarial Examples”、CCS'19: Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security、November 2019、Pages 241-257、［online］、［令和2年5月21日検索］、インターネット〈URL：https://dl.acm.org/doi/10.1145/3319535.3354211〉

【発明の概要】

【発明が解決しようとする課題】

【0009】

以下の分析は、本発明者によって与えられたものである。背景技術に記載されているとおり、ＡＩを用いたシステムの中核をなす学習モデル（以下、単に「モデル」という）の安全性を評価したいというニーズがある。その評価項目の１つとして、ＡＥｓに対する耐性を取り上げることができるが、非特許文献３の指摘が正しいのであれば、ＭＩ攻撃に対する耐性も評価する必要がある。

【0010】

本発明は、上記したＡＥｓに対する耐性とＭＩ攻撃に対する耐性との双方の観点で評価対象のモデルの安全性を評価できるアセスメント装置、代替モデル作成装置、アセスメント方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

第１の視点によれば、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力としてＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を行って、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、を備えた代替モデル作成装置にアクセス可能であり、前記代替モデルと、評価対象のモデルとにそれぞれ第２のクエリを送信し、その結果を用いて、前記評価対象のモデルの安全性を評価する安全性評価部を備えたアセスメント装置が提供される。

【0012】

第２の視点によれば、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力としてＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を行って、前記評価対象のモデルの訓練に使われた仮想訓練データを作成するＭＩＡ実行部と、前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替えモデル作成部と、を備えた代替モデル作成装置が提供される。

【0013】

第３の視点によれば、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成するクエリ作成部と、前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力としてＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を行って、前記評価対象のモデルの訓練に使われた仮想訓練データを推定するＭＩＡ実行部と、前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する代替モデル作成部と、を備えた代替モデル作成装置にアクセス可能なコンピュータが、前記代替モデルと、評価対象のモデルとにそれぞれ第２のクエリを送信し、前記第２のクエリに対する、前記代替モデルと、前記評価対象のモデルとのそれぞれの推論結果を用いて、前記評価対象のモデルの安全性を評価する、評価対象のモデルの安全性アセスメント方法が提供される。上記した方法は、代替モデルと、評価対象のモデルとにそれぞれ第２のクエリを送信し、その推論結果を受信可能なコンピュータという、特定の機械に結びつけられている。

【0014】

第４の視点によれば、上記したコンピュータの機能を実現するためのコンピュータプログラムが提供される。このプログラムは、コンピュータ装置に入力装置又は外部から通信インターフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インターフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによってアクセス可能なプロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。

【発明の効果】

【0015】

本発明によれば、上記したＡＥｓに対する耐性とＭＩ攻撃に対する耐性との双方の観点で評価対象のモデルの安全性を評価することが可能となる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態の構成を表したブロック図である。

【図2】本発明の一実施形態の動作を説明するための図である。

【図3】本発明の一実施形態の動作を説明するための図である。

【図4】本発明の第１の実施形態の構成を表したブロック図である。

【図5】本発明の第１の実施形態の動作を説明するためのシーケンス図である。

【図6】本発明の第２の実施形態の構成を表したブロック図である。

【図7】本発明の第２の実施形態の動作を説明するためのシーケンス図である。

【図8】本発明の第３の実施形態の構成を表したブロック図である。

【図9】本発明の第４の実施形態の構成を表したブロック図である。

【図10】本発明の第４の実施形態の動作を説明するためのシーケンス図である。

【図11】本発明の第５の実施形態の構成を表したブロック図である。

【図12】本発明の第５の実施形態の動作を説明するためのシーケンス図である。

【図13】本発明の代替モデル作成装置又はアセスメント装置を構成するコンピュータの構成を示す図である。

【発明を実施するための形態】

【0017】

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インターフェース、及び必要に応じ表示装置を備える。また、このコンピュータ装置は、通信インターフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、通信可能に構成される。また、図中の各ブロックの入出力の接続点には、ポート乃至インターフェースがあるが図示を省略する。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢ、若しくは、Ａ及びＢという意味で用いる。

【0018】

本発明は、その一実施形態において、図１に示すように、評価対象モデルを保持する評価対象装置１００にそれぞれアクセス可能な代替モデル作成装置２００と、アセスメント装置３００とを含む構成にて実現できる。

【0019】

代替モデル作成装置２００は、クエリ作成部２０１と、ＭＩＡ実行部２０２と、代替モデル作成部２０３と、を備える。クエリ作成部２０１は、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成する。ＭＩＡ実行部２０２は、前記第１のクエリを前記評価対象のモデルに入力して得られた推論結果を入力としてＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を行って、前記評価対象のモデルの訓練に使われた仮想訓練データを推定する。そして、代替モデル作成部２０３は、前記仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する。

【0020】

アセスメント装置３００は、代替モデル作成装置２００と、評価対象モデルを保持する評価対象装置１００にそれぞれアクセス可能となっている。そして、アセスメント装置３００は、前記代替モデルと、評価対象のモデルとにそれぞれ第２のクエリを送信し、その結果を用いて、前記評価対象のモデルの安全性を評価する安全性評価部３０１を備える。

【0021】

上記した代替モデル作成装置２００及びアセスメント装置３００は、それぞれ次のように動作する。始めに、代替モデル作成装置２００による代替モデルの作成処理について図２を用いて説明する。以下の説明では、評価対象のモデルを評価対象モデルｆと表す、クエリｘを入力して得られた推論結果をｆ（ｘ）と表す。

【0022】

まず、代替モデル作成装置２００は、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリｘ_０を作成する。

【0023】

代替モデル作成装置２００は、評価対象装置１００に対し、第１のクエリｘ_０を送信し、評価対象装置１００から推論結果ｆ（ｘ_０）を得る。次に、代替モデル作成装置２００は、推論結果ｆ（ｘ_０）を入力としてＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を行って、前記評価対象のモデルｆの訓練に使われた仮想訓練データを推定する。例えば、代替モデル作成装置２００は、第１のクエリｘ_０が前記評価対象のモデルｆの訓練に用いられたデータであるか否かを判別する。前記第１のクエリの作成と、推論結果に対するＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃を繰り返すことで、代替モデル作成装置２００は、仮想的な訓練データの集合（仮想訓練データ）を得ることができる。

【0024】

代替モデル作成装置２００は、上記のようにして得られた仮想訓練データを用いて、前記評価対象のモデルのふるまいをエミュレートする代替モデルを作成する。以下の説明では、評価対象のモデルｆのふるまいをエミュレートする代替モデルをモデルｇと表し、クエリｘを入力して得られた推論結果をｇ（ｘ）と表す。

【0025】

続いて、アセスメント装置３００による評価対象モデルｆの評価について図３を用いて説明する。アセスメント装置３００は、前記代替モデルｇと、評価対象のモデルｆとにそれぞれ第２のクエリｘ_１を送信し、その結果を用いて、前記評価対象のモデルの安全性を評価する。評価対象のモデルの安全性の評価手法としては種々の方法を採ることができる。例えば、推論結果ｇ（ｘ）と、推論結果ｆ（ｘ）とが一致する度合を評価対象のモデルｆの安全性の評価値として用いることができる。この度合が高い場合、少なくとも、評価対象のモデルｆは、ＭＩＡにより訓練に用いられたデータを特定された可能性が高く、モデル抽出攻撃（代替モデル作成攻撃）に弱いということができる。

【0026】

また、推論結果ｇ（ｘ）と、推論結果ｆ（ｘ）とが一致する度合が一定以上となるまでに、必要な第１のクエリの数を、評価対象のモデルｆの安全性の評価値として用いることができる。必要な第１のクエリが少ない場合、より低いコストで一定の精度を持つ代替モデルを作成できたことになり、評価対象のモデルｆは、モデル抽出攻撃（代替モデル作成攻撃）に弱いということができる。

【0027】

以上説明したように、本実施形態によれば、評価対象のモデルｆのふるまいをエミュレートする代替モデルｇを作成し、それぞれに第２のクエリを入力して得られた結果を用いて、評価対象のモデルｆの安全性を評価することが可能となる。

【0028】

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図４は、本発明の第１の実施形態の構成を表したブロック図である。図４を参照すると、評価対象装置１００と、代替モデル作成装置２００と、アセスメント装置３００ａとが相互に接続された構成が示されている。

【0029】

評価対象装置１００は、モデルｆを保持して、サービスを提供する装置である。本実施形態では、モデルｆを安全性評価の対象とする。評価対象装置１００が企業や店舗に設置されている場合、評価対象装置１００と代替モデル作成装置２００、評価対象装置１００とアセスメント装置３００ａ間の接続はインターネットであってもよい。

【0030】

代替モデル作成装置２００は、クエリ作成部２０１、ＭＩＡ実行部２０２及び代替モデル作成部２０３とを備えて、評価対象のモデルのふるまいをエミュレートする代替モデルを作成する。

【0031】

クエリ作成部２０１は、評価対象のモデルに推論を行わせて推論結果を得るための第１のクエリを作成する。この第１のクエリの作成に、非特許文献２においてＡＥｓを作成するために用いられているＧＡＮを用いてもよい。また、クエリ作成部２０１は、代替モデル作成部２０３が前記代替モデルの作成に必要な仮想訓練データの数Ｍよりも大きいＮ個のクエリを作成することが好ましい。

【0032】

ＭＩＡ実行部２０２は、前記第１のクエリを前記評価対象のモデルｆに入力して得られた推論結果ｆ（ｘ）を入力としてＭＩＡを行う。具体的には、ＭＩＡ実行部２０２は、ｘが、推論結果ｆ（ｘ）を用いて、モデルｆの訓練に用いられたデータであるか否かを識別する識別器を保持し、その出力を用いて、ｘがモデルｆの訓練に用いられたデータであるか否かを示すスコアを計算する。そのスコアが所定の値以上であるデータｘとそのラベルｙや、スコアが上位所定順位以上であるデータｘとそのラベルｙを集めることで、評価対象のモデルｆの訓練に使われたと仮定するデータセットを得ることができる。以下、このデータセットを仮想訓練データという。前述のように、クエリ作成部２０１においてＮ個のクエリが作成される場合、ＭＩＡ実行部２０２は、Ｎ個の推論結果を入力としてスコアの高い上位Ｍ個の仮想訓練データを選択することになる。

【0033】

代替モデル作成部２０３は、このようにして得られた仮想訓練データを用いて、評価対象のモデルｆのふるまいをエミュレートする代替モデルｇを作成する。代替モデルｇの作成方法としては、訓練データからモデルを作成する各種の機械学習アルゴリズムを用いることができる。もちろん、モデルｆの作成に用いられた機械学習アルゴリズムが推測できる場合には、同一の機械学習アルゴリズムを用いることが好ましい。

【0034】

アセスメント装置３００ａは、類似度計算部３０１１を備えた安全性評価部３０１を備えている。類似度計算部３０１１は、代替モデルｇと、評価対象のモデルｆとにそれぞれ第２のクエリを入力し、それぞれの推論結果ｇ（ｘ）、ｆ（ｘ）の類似度を計算する。類似度計算部３０１１は、所定数の第２のクエリを作成し、それぞれの第２のクエリによって得られた推論結果が一致した割合を類似度として計算する。このような類似度は、評価対象のモデルｆの安全性を示す評価値として用いることができる。なお、評価対象のモデルｆの推論結果が、スコアである場合、この類似度の計算には、ｇ（ｘ）とｆ（ｘ）間の距離を用いることができる。

【0035】

続いて、本実施形態の動作について、図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の動作を説明するためのシーケンス図である。図５を参照すると、まず、代替モデル作成装置２００は、第１のクエリｘ_０を作成し、評価対象装置１００に対して、第１のクエリｘ_０を送信する（ステップＳ００１）。評価対象装置１００は、代替モデル作成装置２００に対し、モデルｆに第１のクエリｘ_０を入力して得られた推論結果ｆ（ｘ_０）を返す。

【0036】

代替モデル作成装置２００は、推論結果ｆ（ｘ_０）を用いて、ＭＩＡを実行し、仮想訓練データを抽出する処理を実行する（ステップＳ００２）。代替モデル作成装置２００は、代替モデルｇの学習に必要な個数（バッチサイズをＭ個とする）の仮想訓練データが得られるまで上記の処理を繰り返す。具体的には、代替モデル作成装置２００は、推論結果ｆ（ｘ_０）から、ｘ_０がモデルｆの訓練データであるか否かの度合を示すスコアを計算し、そのスコアが上位Ｍ個の第１のクエリとそのラベルを仮想訓練データとして抽出する。

【0037】

代替モデル作成装置２００は、バッチサイズＭ個の仮想訓練データを用いて、代替モデルｇを作成する（ステップＳ００３）。以上により、代替モデル作成装置２００による代替モデルｇの作成が完了する。

【0038】

次に、アセスメント装置３００ａが評価対象のモデルｆの評価を開始する。まず、アセスメント装置３００は、第２のクエリｘ_１を作成し、評価対象装置１００と、代替モデル作成装置２００に対し、第２のクエリｘ_１を送信する（ステップＳ００４）。

【0039】

評価対象装置１００は、アセスメント装置３００ａに対し、モデルｆに第２のクエリｘ_１を入力して得られた推論結果ｆ（ｘ_１）を返す。同様に、代替モデル作成装置２００は、アセスメント装置３００ａに対し、代替モデルｇに第２のクエリｘ_１を入力して得られた推論結果ｇ（ｘ_１）を返す。

【0040】

アセスメント装置３００ａは、類似度計算に必要な回数だけ上記ステップＳ００４を繰り返す。最後に、アセスメント装置３００ａは、評価対象装置１００から受信した推論結果ｆ（ｘ_１）と、代替モデル作成装置２００から受信した推論結果ｇ（ｘ_１）の類似度ｐを計算する（ステップＳ００５）。

【0041】

このようにして計算される類似度ｐは、その値が大きいほど、対象モデルｆのふるまいを精巧に再現していることを示しているため、評価対象のモデルｆの安全性を示す指標値として用いることができる。

【0042】

［第２の実施形態］
続いて、評価対象のモデルｆの安全性を示す指標値として、一定精度の代替モデルｇを作成するためのコストを計算する本発明の第２の実施形態について図面を参照して詳細に説明する。図６は、本発明の第２の実施形態の構成を表したブロック図である。図４に示した第１の実施形態との相違点は、アセスメント装置３００ｂの安全性評価部３０１に、類似度計算部３０１１に代えて、コスト計算部３０１２が設けられている点である。その他の構成は第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

【0043】

コスト計算部３０１２は、代替モデルｇと、評価対象のモデルｆとにそれぞれ第２のクエリを入力し、それぞれの推論結果ｇ（ｘ）、ｆ（ｘ）の類似度を計算する。さらに、コスト計算部３０１２は、前記類似度が所定の値になっていない場合、代替モデル作成装置２００に対し、代替モデルｇの更新を指示する。そして、一定の類似度が得られた段階で、コスト計算部３０１２は、代替モデルｇの作成コストを計算する。代替モデルｇの作成コストは、例えば、第２のクエリの送信回数のほか、代替モデル作成装置２００から第１のクエリの送信回数や、仮想訓練データの個数等を入手して計算することができる。

【0044】

続いて、本実施形態の動作について、図面を参照して詳細に説明する。図７は、本発明の第２の実施形態の動作を説明するためのシーケンス図である。図７のステップＳ１０１、Ｓ１０２、Ｓ１０３の処理は、第１の実施形態のステップＳ００１、Ｓ００２及びＳ００３と同様であるため説明を省略する。なお、代替モデルはゼロから作るのではなく、例えば、第１の実施形態と同様に、事前にＭ個の仮想訓練データを用いて作成しておいてもよい。

【0045】

次に、アセスメント装置３００ｂが評価対象のモデルｆの評価を開始する。まず、アセスメント装置３００は、第２のクエリｘ_１を作成し、評価対象装置１００と、代替モデル作成装置２００に対し、第２のクエリｘ_１を送信する（ステップＳ１０４）。

【0046】

評価対象装置１００は、アセスメント装置３００ｂに対し、モデルｆに第２のクエリｘ_１を入力して得られた推論結果ｆ（ｘ_１）を返す。同様に、代替モデル作成装置２００は、アセスメント装置３００ｂに対し、代替モデルｇに第２のクエリｘ_１を入力して得られた推論結果ｇ（ｘ_１）を返す。

【0047】

アセスメント装置３００ｂは、評価対象装置１００から受信した推論結果ｆ（ｘ_１）と、代替モデル作成装置２００から受信した推論結果ｇ（ｘ_１）の類似度ｐを計算する（ステップＳ１０５）。アセスメント装置３００ｂは、この類似度ｐが所定の閾値以上となっていない場合、代替モデル作成装置２００に対して、ステップＳ１０１以降の処理の実行を要求する。

【0048】

類似度ｐが所定の閾値以上となった段階で、アセスメント装置３００ｂは、所定の類似度を持つ代替モデルｇの作成コストを計算する（ステップＳ１０６）。代替モデルｇの作成コストは、例えば、第１、第２のクエリの送信回数や、仮想訓練データの個数を用いて計算することができる。

【0049】

このようにして計算される代替モデルｇの作成コストは、その値が小さいほど、対象モデルｆのふるまいをエミュレートする代替モデルを作成しやすいことを示しているため、評価対象のモデルｆの安全性を示す指標値として用いることができる。

【0050】

［第３の実施形態］
上記した第１の実施形態のアセスメント装置３００ａと、第２の実施形態のアセスメント装置３００ｂは、同一の装置として実現することもできる。図８は、本発明の第３の実施形態の構成を表したブロック図である。図４、図６に示した第１、第２の実施形態との相違点は、アセスメント装置３００ｃの安全性評価部３０１ｃに、類似度計算部３０１１とコスト計算部３０１２とが設けられている点である。基本的な構成及び動作は、第１、第２の実施形態と同様であるので説明を省略する。

【0051】

本実施形態では、例えば、評価対象のモデルｆの安全性を示す評価値ａを次式により計算することができる。
ａ＝ｗ＊（ｐ／ｑ＋ｄ）・・・（１）
ここで、ｄは攻撃に使用したデータ数、ｑは攻撃に使用したクエリ回数、ｗは重みを表す。

【0052】

式（１）からも明らかなとおり、ｑ＋ｄが大きいほど、ａは小さくなる。「ｑ＋ｄが大きい」とは、攻撃に必要なデータ数やクエリ回数が大きいことを意味する。従って、式（１）のａは、小さくなるほど、攻撃が難しいことを表す指標値として用いることができる。

【0053】

また、類似度ｐは、その値が小さいほど、式（１）のａは小さくなる。類似度が小さい場合、代替モデルｇの精度が低いということであり、この点でも、式（１）のａは、小さくなるほど、攻撃が難しいことを表す指標値として用いることができる。

【0054】

重みｗは、その値が大きいほど、式（１）のａは大きくなる。重みを調整することで、攻撃者にとって有利な状況であるかどうかを調整することができる。例えば、評価対象のモデルｆに対し、出力ラベルだけでも攻撃できる、ラベルとスコアの両方がないと攻撃できないなどの攻撃上の想定はいくつか考えられる。これらを重みで表した上記式（１）を用いて評価を行うことで、異なるモデルについても、同一の評価値ａで比較を行うことが可能となる。

【0055】

また上記式（１）のａは、その値が小さいほど，攻撃者にとって攻撃し辛いことを表しているといえる。換言すると、ａが高いモデルへの攻撃は高コストであるということもできる。評価値ａに代えて、１／ａを、モデルｆへの攻撃コストを表す指標値として用いることもできる。

【0056】

［第４の実施形態］
上記した第１～第３の実施形態の代替モデル作成装置２００にて得られた代替モデルｇを用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓ （ＡＥｓ）を作成することができる（非特許文献１参照）。続いて、代替モデルｇを用いて、ＡＥｓを作成し、評価対象のモデルｆに攻撃を試み、その結果を評価値として出力する第４の実施形態について説明する。

【0057】

図９は、本発明の第４の実施形態の構成を表したブロック図である。図４、図６、図８に示した第１～第３の実施形態との相違点は、アセスメント装置３００ｄに、安全性評価部３０１に加えて、対象モデル攻撃部３０２が追加されている点である。その他、基本的な構成及び動作は、第１～第３の実施形態と同様であるので、以下その相違点を中心に説明する。

【0058】

対象モデル攻撃部３０２は、代替モデル作成装置２００にて作成された代替モデルｇを用いて、Ａｄｖｅｒｓａｒｉａｌ Ｅｘａｍｐｌｅｓ （ＡＥｓ）を作成する。そして、対象モデル攻撃部３０２は、評価対象装置１００に対し、ＡＥｓを送信し、評価対象のモデルｆが誤動作をしたか否かの統計値を計算する。対象モデル攻撃部３０２が、ＡＥｓを作成するにあたり、評価対象のモデルｆと代替モデルｇとの類似度が所定の閾値以上であることを条件としてもよい。

【0059】

続いて、本実施形態の動作について、図面を参照して詳細に説明する。図１０は、本発明の第４の実施形態の動作を説明するためのシーケンス図である。以下の説明では、第１～第３の実施形態と同様に、代替モデルの作成が完了しているものとして説明する。

【0060】

まず、アセスメント装置３００ｄは、代替モデルｇを用いて、ＡＥｓ（図１０においてｘ’で表す）を作成し、評価対象装置１００に対して送信する（ステップＳ２０１）。評価対象装置１００は、アセスメント装置３００ｄ対し、モデルｆにＡＥｓ ｘ’を入力して得られた推論結果ｆ（ｘ’）を返す。

【0061】

アセスメント装置３００ｄは、上記のようなＡＥｓの作成と送信を繰り返した後、評価対象装置１００が、誤った推論結果を返した割合を計算し、攻撃成功率として出力する（ステップＳ２０２）。

【0062】

以上のような第４の実施形態によれば、代替モデルｇの類似度や作成コストという観点に加えて、ＡＥｓに対する耐性という観点で、評価対象のモデルｆを評価することができる。一般に、ＡＥｓによる攻撃が成功しやすいということは、代替モデルｇが、評価対象のモデルｆに近いふるまいをしていると考えられる。従って、第１～の第３の実施形態の類似度ｐに代わる指標値として、この攻撃成功率を用いることができる。

【0063】

さらに、評価対象のモデルｆの管理者としては、この攻撃成功率を下げるべく、評価対象のモデルｆをよりＡＥｓに対して頑健なものへと更新することが行われている。一方で、非特許文献３によると、ＡＥｓに対してロバスト性（頑健性）のあるモデルは、ＭＩ攻撃が成功しやすいとされている。このことは、代替モデル作成装置２００のＭＩＡ実行部２０２が、良質な仮想訓練データを抽出しやすくなることを意味している。これにより、代替モデルｇも、評価対象のモデルｆに近づくことになり、さらに攻撃成功率の高いＡＥｓが作成可能となる。この特性を利用することで、本実施形態では、評価対象のモデルｆの管理者に対し、ＡＥｓに対するより有効な対策の立案を要請することが可能となる。仮に、ＡＥｓに対してロバスト性（頑健性）でありながら、本実施形態のアセスメント装置３００ｄによる攻撃成功率が下がっているならば、更新後の評価対象のモデルｆ’は、ＡＥｓに対して耐性を向上させているものと評価することができる。

【0064】

［第５の実施形態］
上記した第４の実施形態の構成に、ＡＥｓの作成に要したコストを計算する第２のコスト計算機能を追加することもできる。続いて、ＡＥｓの作成に要したコストを計算する第２のコスト計算機能を追加した第５の実施形態について説明する。図１１は、本発明の第５の実施形態の構成を表したブロック図である。図９に示した第４の実施形態との相違点は、アセスメント装置３００ｅに、攻撃コスト計算部３０３が追加されている点である。その他の構成は第４の実施形態と同様であるので、以下、その相違点を中心に説明する。

【0065】

攻撃コスト計算部３０３は、ＡＥｓを作成し、評価対象装置１００に送信する都度、攻撃成功率を計算する。さらに、攻撃コスト計算部３０３は、前記攻撃成功率が所定の値になっていない場合、代替モデル作成装置２００に対し、代替モデルｇの更新を指示する。そして、攻撃成功率が所定値以上となった段階で、攻撃コスト計算部３０３は、ＡＥｓを用いた攻撃のコストを計算する。この攻撃のコストは、第２の実施形態の代替モデルｇの作成コストと同様に、例えば、クエリの送信回数のほか、代替モデル作成装置２００から第１のクエリの送信回数や、仮想訓練データの個数等を入手して計算することができる。

【0066】

続いて、本実施形態の動作について、図面を参照して詳細に説明する。図１２は、本発明の第５の実施形態の動作を説明するためのシーケンス図である。図１２のステップＳ３００は、第２の実施形態と同様に、代替モデル作成装置２００における代替モデルの更新処理（図７のステップＳ１０１～Ｓ１０３）に相当する。

【0067】

次に、アセスメント装置３００ｅは、代替モデルｇを用いて、ＡＥｓ（図１２においてｘ’で表す）を作成し、評価対象装置１００に対して送信する（ステップＳ３０１）。評価対象装置１００は、アセスメント装置３００ｅ対し、モデルｆにＡＥｓ ｘ’を入力して得られた推論結果ｆ（ｘ’）を返す。

【0068】

アセスメント装置３００ｅは、評価対象装置１００から受信した推論結果ｆ（ｘ’）に基づいて、評価対象装置１００が、誤った推論結果を返した割合（攻撃成功率）を計算する（ステップＳ３０２）。アセスメント装置３００ｅは、この攻撃成功率が所定の閾値以上となっていない場合、代替モデル作成装置２００に対して、ステップＳ３００の処理を実行し、代替モデルの更新を要求する。

【0069】

攻撃成功率が所定の閾値以上となった段階で、アセスメント装置３００ｅは、これまでのＡＥｓを用いた攻撃に要したコストを計算する（ステップＳ３０３）。

【0070】

このようにして計算されるＡＥｓを用いて所定の成功結果を得るために要したコストは、その値が小さいほど、ＡＥｓを用いた攻撃が容易であることを示している。逆に、その値が大きいほど、ＡＥｓを用いた攻撃が難しいことを示している。従って、本実施形態のアセスメント装置３００ｅにより計算されるＡＥｓを用いた攻撃に要したコストは、評価対象のモデルｆの安全性を示す指標値として用いることができる。

【0071】

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したシステム構成、各要素の構成、データ等の表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。

【0072】

例えば、上記した実施形態では、評価対象のモデルｆが、評価対象装置１００に保持されているものとして説明したが、評価対象のモデルｆは、別の装置に保持されていてもよい。例えば、代替モデル作成装置２００側に、評価対象のモデルｆが、評価用にコピーされて保持されていてもよい。

【0073】

また、本発明の適用分野は限定されないが、クエリ作成の容易性の観点からは、本発明は、評価対象のモデルｆが二値分類のモデルであるケースに好適に適用できると考えられる。このような二値分類のモデルの１つとしては、背景技術に記載したマルウェア検出用のモデルを挙げることができる。

【0074】

上記した実施形態に示した手順は、クライアントとして機能するコンピュータ（図１３の９０００）に、これらの装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１３のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インターフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１３のＣＰＵ９０１０にて、クエリ作成プログラムや代替モデル作成プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。

【0075】

なお、上記の特許文献および非特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

【符号の説明】

【0076】

１００ 評価対象装置
２００ 代替モデル作成装置
２０１ クエリ作成部
２０２ ＭＩＡ実行部
２０３ 代替モデル作成部
３００、３００ａ～３００ｅ アセスメント装置
３０１、３０１ｃ 安全性評価部
３０２ 対象モデル攻撃部
３０３ 攻撃コスト計算部
３０１１ 類似度計算部
３０１２ コスト計算部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インターフェース
９０３０ メモリ
９０４０ 補助記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】