特許 6708755 情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6708755

(24)【登録日】2020年5月25日

(45)【発行日】2020年6月10日

(54)【発明の名称】情報処理方法、情報処理装置及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06N 3/02 20060101AFI20200601BHJP

   G06F 21/10 20130101ALI20200601BHJP

【ＦＩ】

   G06N3/02

   G06F21/10

【請求項の数】13

【全頁数】14

(21)【出願番号】特願2018-561890(P2018-561890)

(86)(22)【出願日】2017年12月20日

(86)【国際出願番号】JP2017045684

(87)【国際公開番号】WO2018131409

(87)【国際公開日】20180719

【審査請求日】2019年4月9日

(31)【優先権主張番号】特願2017-3849(P2017-3849)

(32)【優先日】2017年1月13日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(74)【代理人】

【識別番号】100131886

【弁理士】

【氏名又は名称】坂本 隆志

(74)【代理人】

【識別番号】100170667

【弁理士】

【氏名又は名称】前田 浩次

(72)【発明者】

【氏名】内田 祐介

(72)【発明者】

【氏名】酒澤 茂之

(72)【発明者】

【氏名】永井 有希

【審査官】 塚田 肇

(56)【参考文献】

【文献】 特開２０１３−２５３５６（ＪＰ，Ａ）

【文献】 特開２０１４−２６３８９（ＪＰ，Ａ）

【文献】 特開昭５９−６６７０３（ＪＰ，Ａ）

【文献】 特開２０１５−１１５１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／０２

Ｇ０６Ｆ ２１／１０

(57)【特許請求の範囲】

【請求項1】

２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
を含む、情報処理方法。

【請求項2】

前記２つのニューラルネットワークのモデルの一致度を判定することは、比較する層同士の種類が異なる場合、前記類似度を０とし、当該層から後段の層における比較を実行しないことを含む、請求項１に記載の情報処理方法。

【請求項3】

前記２つのニューラルネットワークのモデルの一致度を判定することは、畳み込み層同士を比較する場合、
畳み込み層の重みフィルタについて真のフィルタサイズを推定することと、
比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正することと、
各重みフィルタのパラメータを１つのベクトルとして、畳み込み層をベクトル集合で表現することと、
比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とすることと、
を含む、請求項１に記載の情報処理方法。

【請求項4】

前記真のフィルタサイズを推定することは、
前記重みフィルタにおける各チャンネルのパラメータの絶対値を累積することと、
累積した値が所定閾値以上となる箇所を全て含む最小の矩形を、真のフィルタサイズとして推定することと、
を含む、請求項３に記載の情報処理方法。

【請求項5】

前記２つのニューラルネットワークのモデルの一致度を判定することは、全結合層同士を比較する場合、
全結合層に対する重みを特徴ベクトルとして全結合層をベクトル集合で表現することと、
比較する全結合層同士のベクトル集合間の類似度を、全結合層同士の類似度とすることと、を含む請求項１に記載の情報処理方法。

【請求項6】

前記ベクトル集合間の類似度は、
距離が所定閾値以下となる特徴ベクトルのペアを算出することによって二部グラフを構成することと、
前記二部グラフから最大マッチング問題を解くことによって最大のマッチ数を算出することと、
により求められる、請求項３又は５に記載の情報処理方法。

【請求項7】

前記ベクトル集合間の類似度は、
各特徴ベクトルを量子化することと、
量子化ヒストグラム間の類似度を求めることと、
により求められる、請求項３又は５に記載の情報処理方法。

【請求項8】

前記２つのニューラルネットワークのモデルの一致度を判定することは、活性化層同士を比較する場合、
活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。

【請求項9】

前記活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、又は、ＲｅＬＵ(Rectified Linear Unit)である、請求項８に記載の情報処理方法。

【請求項10】

前記２つのニューラルネットワークのモデルの一致度を判定することは、プーリング層同士を比較する場合、
プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下であると、当該距離を類似度とし、それ以外の場合には、類似度を０とすることを含む、請求項１に記載の情報処理方法。

【請求項11】

前記プーリング層の種類は、最大値プーリング、又は、平均値プーリングであり、
前記パラメータは、フィルタサイズ、及び、フィルタを適用する間隔である、請求項１０に記載の情報処理方法。

【請求項12】

２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込む読込手段と、
前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定する判定手段と、
を備えている、情報処理装置。

【請求項13】

プログラムを格納したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータの１つ以上のプロセッサで実行されると、前記コンピュータに、
２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、
前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、
を実行させる、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワーク(Neural Network)におけるモデルパラメータの改変を判定する技術に関する。

【背景技術】

【0002】

近年、画像認識や音声認識、自然言語処理の分野において、ニューラルネットワークが注目されている。ニューラルネットワークとは、生体の脳における特性を計算機上のシミュレーションによって表現することを目指した数学モデルをいう。シナプスの結合によってネットワークを形成した人工ニューロン（ユニット）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般をいう。

【0003】

特許文献１〜３及び非特許文献１〜３は、ニューラルネットワークの構造を最適化する技術を開示している。また、特許文献２は、大規模な畳み込みニューラルネットワークの重みを効率的に設定する技術を開示している。更に、特許文献３は、ニューラルネットワークを用いて、音響イベントを検出する技術を開示している。更に、非特許文献１及び２は、画像認識に適した畳み込みニューラルネットワークを開示している。更に、非特許文献３は、ニューラルネットワークを用いて、単語の品詞を推定する技術を開示している。

【0004】

大規模なニューラルネットワークのモデルパラメータに対しては、長時間の学習が必要となる。例えば、非特許文献２は、４つのＧＰＵ(Graphics Processing Unit)を用いて２〜３週間の学習が必要であることを開示している。このため、非特許文献４及び５は、予め学習済みのモデルパラメータの一部を流用することや、予め学習済のモデルパラメータを初期値として再学習することを開示している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−１１５１０号公報

【特許文献2】特開２０１５−５２８３２号公報

【特許文献3】特開２０１５−５７６３０号公報

【非特許文献】

【0006】

【非特許文献1】A. Krizhevsky, I. Sutskever and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," NIPS'12.

【非特許文献2】K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," ICLR'15.

【非特許文献3】X. Ma and E. Hovy, "End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF," ACL'16.

【非特許文献4】S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," NIPS'15.

【非特許文献5】W. Liu, et al., "SSD: Single Shot MultiBox Detector," ECCV'16.

【非特許文献6】P.-T. Yu, H.-H. Tsai, and J.-S. Lin, "Digital watermarking based on neural networks for color images," in Signal Processing, vol. 81, no. 3,2001.

【非特許文献7】M. Elarbi, C. B. Amar, and H. Nicolas, "Video Watermarking Based on Neural Networks," in Proc. of ICME, 2006.

【非特許文献8】Fei-Fei Li & Andrej Karpathy & Justin Johnson、Lecture 7、Convolutional Neural Networks、27 Jan 2016、[online]、［平成２９年１月４日検索］、インターネット＜URL:http://cs231n.stanford.edu/slides/winter1516_lecture7.pdf＞

【非特許文献9】正則化、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E6%AD%A3%E5%89%87%E5%8C%96＞

【非特許文献10】A. Krogh and J. A. Hertz, "A Simple Weight Decay Can Improve Generalization," in Proc. of NIPS, 1992.

【非特許文献11】Caffe、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://caffe.berkeleyvision.org/＞

【非特許文献12】TensorFlow、[online]、［平成２９年１月５日検索］、インターネット＜URL:https://www.tensorflow.org/＞

【非特許文献13】Chainer、[online]、［平成２９年１月５日検索］、インターネット＜URL:http://chainer.org/＞

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述したように、大規模なニューラルネットワークを用いて、全てのモデルパラメータを最初から学習する場合、大量の計算コストや労力が必要となる。そのため、研究機関が、学習済みのモデルパラメータを、流用可能なライセンス形態で、配布する場合もある。

【0008】

しかしながら、商用サービスにおいては、学習済みのモデルパラメータ自体が、そのサービスにおけるコアな技術であり、一般には流用が禁止される。

【0009】

例えば画像等の不正利用であれば、目視による発見が容易である。しかしながら、モデルパラメータの不正利用を目視により発見することは容易ではない。

【0010】

本発明は、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出する技術を提供するものである。

【課題を解決するための手段】

【0011】

本発明の一態様によると、情報処理方法は、２つのニューラルネットワークのモデルから、それぞれ、層構造と、各層のパラメータとを読み込むことと、前記２つのニューラルネットワークのモデルについて、隠れ層でグラフ状に構成された各層を、入力層から順に幅優先探索又は深さ優先探索で比較し、各層同士の類似度に基づいて、前記２つのニューラルネットワークのモデルの一致度を判定することと、を含んでいる。

【発明の効果】

【0012】

本発明によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、改変を検出することができる。

【0013】

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

【図面の簡単な説明】

【0014】

【図1】ニューラルネットワークの一般的な機能構成図。

【図2】一実施形態による情報処理方法の説明図。

【図3】複数の層がグラフ状に構成されたニューラルネットワークを表す説明図。

【図4】入力データと特徴マップとの畳み込みの関係を表す説明図。

【図5】重みフィルタを用いた特徴マップの生成を表す説明図。

【図6】Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図。

【図7】畳み込み層の重みフィルタから推定された真のフィルタサイズの説明図。

【図8】畳み込み層同士の比較方法の説明図。

【図9】一実施形態による情報処理装置の構成図。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0016】

図１は、ニューラルネットワークの一般的な機能構成図である。

【0017】

ニューラルネットワークには、様々な構成があるが、ニューラルネットワークは、基本的には複数種類の層の重ね合わせ（又はグラフ構造）で表現される。ニューラルネットワークには、入力データと正解ラベルとが対応付けられた教師データが入力される。そして、ニューラルネットワークは、入力データに対する最終的な出力結果が正解ラベルと一致するように、モデルパラメータを学習する（タスクに応じて入力に対する出力を近似させる）。

【0018】

図１によれば、順伝播型ニューラルネットワークは、入力層(input layer)と、隠れ層(hidden layer)と、出力層(output layer)との３つの層を有し、入力されたデータは、入力層から出力層へ向けて一方向に伝播する。隠れ層は、複数の層から構成され得る。各層は、複数のユニット（ニューロン）を持ち、前方層のユニットから後方層のユニットへの入力に対するパラメータを、「重み(weight)」と称す。学習とは、この入力に対するパラメータとして、適切な「重み」を算出することにある。図１には、順伝播型ニューラルネットワークとして、畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)も示されている。

【0019】

学習とは、入力データに対する出力層からの出力データと、当該入力データに対する正解ラベルとの誤差を用いて、各層の重みを最適に更新することをいう。その誤差を算出するために、「損失関数」(loss function)が定義される。誤差は、「誤差逆伝播法」によって、出力層側から入力層側へ向けて次々に伝播され、これにより各層の重みを少しずつ更新していく。最終的に、誤差が小さくなるように、各層の重みを適切な値に調整する収束計算を実行する。

【0020】

また、図１には、ニューラルネットワークの中で学習されたモデルが表されている。「モデル」とは、隠れ層に内在する層毎に、「層構造」、「パラメータ」を対応付けて記憶したものである。層構造は、層の種類やフィルタサイズ、フィルタ数等により示される。パラメータは、学習された重み（重みフィルタ）の要素である。

【0021】

図２は、本実施形態における情報処理装置が実行する情報処理方法の説明図である。

【0022】

本実施形態の情報処理装置は、２つのニューラルネットワークのモデルの比較を行う。情報処理装置は、以下の２つのステップを実行する。

【0023】

（Ｓ１）各ニューラルネットワークのモデルから、各層について層構造とパラメータとを読み込む。モデルとしては、深層学習フレームワークによって、様々な形式がある。例えば、Caffeの場合、ネットワーク構成がprototxtファイルで記述され、学習済みのパラメータはcaffemodelファイルに保存される（非特許文献１１参照）。また、TensorFlowの場合、学習済みのモデルはckptファイルに保存される（非特許文献１２参照）。更に、Chainerの場合、HDF5フォーマットにて学習済みのモデルが保存される（非特許文献１３参照）。これらニューラルネットワークのモデルは、異なる形式であっても、本質的には、「層構造」及び「パラメータ」によって表現される。Ｓ１では、これら異なる形式のモデルを読み込み、内部的には共通のフォーマットで記憶する。Ｓ１では、これら様々な形式のモデルを比較可能な形式で読み込む。

【0024】

（Ｓ２）２つのニューラルネットワークのモデルの層構造及びパラメータを比較して同一か否かを判定する。両方のモデルについて、同一と判定された場合、一方のモデルが改変または再学習されて、他方のモデルが生成された可能性がある。

【0025】

図３は、複数の層がグラフ状に構成されたニューラルネットワークを表す説明図である。

【0026】

図３によれば、複数の層がグラフ状に、順伝播型として構成されている。隠れ層の種類としては、例えば以下のようなものがある。
畳み込み層(convolutional layer)
活性化層(activation function)
プーリング層(pooling layer)
全結合層(full-connected layer)

【0027】

Ｓ２によれば、隠れ層でグラフ状に構成された各層同士を、入力層（最下層）から順に「幅優先探索」又は「深さ優先探索」で辿って比較していく。幅優先探索(breadth first search)とは、入力層に近い層から順に探索するものである。深さ優先探索(depth first search)とは、入力層から繋がる限り出力層まで探索するものである。

【0028】

＜比較する層同士の種類の判定＞
一形態によると、層同士の「種類」が異なる場合、類似度を０とし、当該層から後段の層における比較を実行しない。即ち、層同士の種類が異なると、モデル同士の関係として改変された可能性はない（モデルの非同一判定）と判定することができる。具体的には、２つのモデルについて、入力層（最下位層）から順に層同士の種類を比較して、同一か否かを判定する。両モデルについて、幅優先探索又は深さ優先探索によって辿りながら、次の層同士を選択して比較していく。

【0029】

また、層同士の「種類」が異なっていても、当該層について、入力と出力とが同一である場合、その層は同一のものであるとして、その比較をスキップすることもできる。例えば、入力の順序を入れ替えて出力するだけの層も、入力と出力とが同一であるとする。例えば、入力の順序を入れ替えるだけの全結合層や、１×１のプーリング層が該当する。

【0030】

例えば、比較する層同士の「種類」が異なる場合（例えば畳み込み層と活性化層）、２つの層は不一致であると判定される。但し、畳み込み層は、全結合層の一種と考えることができるために、畳み込み層と同一の出力を出力する全結合層は、同一と判定することができる。

【0031】

上記のとおり、最も簡単な方法としては、層同士の「種類」のみを判定する。しかしながら、層同士は同じ種類のものであっても、モデルの層構造及びパラメータが改変される場合もある。そこで、比較する層同士の種類が同一である場合、更に、層構造及びパラメータを比較して、層同士の同一判定を実行する。具体的には、層同士の種類が同一である場合、更に、層構造やパラメータの類似度から、最終的に、層同士のモデルの同一判定を実行する。以下では、同じ種類の層同士の同一判定について、具体的に詳述する。

【0032】

＜畳み込み層同士の比較＞
最初に、畳み込み層における層構造（フィルタ数）及びパラメータ（重みフィルタ）について説明する。

【0033】

図４は、入力データと特徴マップとの畳み込みの関係を表す説明図である。

【0034】

図４における処理は、畳み込み層（全結合層も同様）によって実行される。図４によれば、入力データに対して、１個の重みフィルタを使用することで１つの特徴マップを生成している。なお、本実施形態において、入力データ、重みフィルタ及び特徴マップのサイズは以下の通りである。
入力データ ：３２×３２×３個の要素
重みフィルタ：５×５×５個の要素 （パラメータ）
特徴マップ ：２８×２８個の要素
重みフィルタは、Ｎ個分用意され、これがパラメータとなる。即ち、「重み」とは、Ｎ個の重みフィルタを意味する。但し、ここでは、バイアス項は考慮しないものとする。

【0035】

図５は、重みフィルタを用いた特徴マップの生成を表す説明図である。

【0036】

図５に示す様に、５×５×３個の要素からなる１個の重みフィルタを、入力データに充てて、その各要素の積の和を、特徴マップの１個の要素の値とする。そして、同じ重みフィルタを、入力データに対して移動させて、１枚の特徴マップを生成する。ここで、移動させる要素の数（移動量）を「ストライド(stride)」と称す。入力データの周囲の縁（ふち）には、要素０を埋めたゼロパディング(zero-padding)の領域を設けることもできる。これによって、入力データの縁の要素にも、同数の重みフィルタをあてることができる。

【0037】

図６は、Ｎ個の重みフィルタとＮ段の特徴マップとの関係を表す説明図である。

【0038】

重みフィルタは、Ｎ個から構成される。図４及び図５によれば、１個の重みフィルタから１枚の特徴マップが生成されている。したがって、図６に示す様に、Ｎ個の重みフィルタからＮ段の特徴マップが生成される。

【0039】

前述した図４及び図５によれば、３２×３２（画像サイズ）×３（ＲＧＢチャンネル）の入力に対し、５×５×３のフィルタ１つを適用している。このフィルタは５×５×３＋１＝７６個のパラメータを持つ。通常、畳み込み層では、Ｎ個（複数）のフィルタを用いて畳み込みを実行する。例えば、１２８個のフィルタを持つ畳み込み層は、７６×１２８個のパラメータを持つ。最も単純には、このパラメータを特徴ベクトルとして、何らかの尺度を用いて距離を計算し、一定以下の距離であれば一致したと判定することができる。

【0040】

しかしながら、重みフィルタの効果を維持したまま、意図的にフィルタの構造を変更することで、モデルの再利用（改変）を行うことができる。例えば、（１）フィルタのサイズを大きくしたり、（２）フィルタの順序を変更したり、（３）フィルタを追加削除する、ように改変することができる。これに対し、本実施形態によれば、重みフィルタの構造が変更された場合であっても、同一判定をすることができる。

【0041】

畳み込み層同士を比較する場合、重みフィルタのパラメータによって判定するべく、以下のＳ２１１〜Ｓ２１４のステップを実行する。

【0042】

（Ｓ２１１）畳み込み層の重みフィルタについて真の（実際の）フィルタサイズを推定する。具体的には、重みフィルタにおける各チャンネル（例えばＲＧＢ＝３）のパラメータの絶対値を累積する。その累積値が所定閾値以上となる箇所（パラメータ）を全て含む最小の矩形を、真のフィルタサイズとして推定する。

【0043】

図７は、畳み込み層の重みフィルタから真のフィルタサイズを推定する処理の説明図である。

【0044】

例えばフィルタが５×５のサイズであれば、真のフィルタサイズは、２×２，３×３，４×４である可能性がある。図７によれば、複数のチャンネル（例えばＲＧＢ）を持つ入力に対するフィルタとしては、５×５×３の重みフィルタが適用されている。この場合、各チャンネルに対する５×５のパラメータそれぞれについて絶対値を取り、３つのチャネルに対応する各フィルタの同一位置の３つの絶対値を加算する。図７のように、中心の３×３以外のパラメータの絶対値が小さい場合、真のフィルタサイズは３×３であると推定することができる。これは、フィルタの各パラメータの絶対値について、閾値以上となる最小の矩形から推定される。図７では、閾値を０．２とし、これにより、真のフィルタサイズを３×３であると推定している。

【0045】

（Ｓ２１２）比較する重みフィルタのパラメータを推定された真のフィルタサイズに修正する。比較する畳み込み層同士における真のフィルタサイズが一致しなかった場合、畳み込み層同士は同一でないと判定される。例えば一方の畳み込み層のフィルタサイズが３×３×３であり、他方の畳み込み層のフィルタサイズが５×５×３である場合、これら畳み込み層同士は、一致しないと判定される。

【0046】

（Ｓ２１３）比較する畳み込み層同士について、真のフィルタサイズが一致する場合、次にパラメータ同士を比較する。このとき、各重みフィルタのパラメータを１つのベクトルとみなして、各畳み込み層をベクトル集合として表現する。例えば、一方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が１２８であり、他方の畳み込み層のフィルタサイズが５×５×３、フィルタ数が６４である場合を想定する。

【0047】

図８は、畳み込み層同士の真のフィルタサイズ内のパラメータを比較する説明図である。

【0048】

パラメータ同士の比較は、各フィルタのパラメータを特徴ベクトルとみなし、一方の畳み込み層の特徴ベクトルの集合と、他方の畳み込み層の特徴ベクトルの集合との間の距離を算出する。例えば、２つの特徴ベクトル集合間について、距離が所定閾値以下となる特徴ベクトルのペアを算出することによって「二部グラフ」を構成する。そして、二部グラフから最大マッチング問題を解くことによって算出した最大のマッチ数を、類似度とする。また、画像認識におけるBag-of-Visual Wordsを用いて、各特徴ベクトルを量子化し、量子化ヒストグラムを畳み込み層の特徴ベクトルとし、その距離を用いることもできる。更に、各特徴ベクトルを量子化し、量子化ヒストグラム間の類似度を、ベクトル集合間の類似度とすることもできる。

【0049】

二部グラフとは、頂点（パラメータ）集合を２つの部分集合に分割し、各集合内の頂点同士の間には辺が無いようにしたものである。２つの頂点集合Ｖ１，Ｖ２に分割したとき、Ｖ１同士・Ｖ２同士の頂点間には辺が存在しないが、Ｖ１とＶ２間の任意の２点間に辺が存在するグラフである。マッチ数とは、辺集合に属するいずれの２辺も隣接していない数を言い、最大マッチングとは、辺集合のうち辺の数が最大のものをいう。

【0050】

（Ｓ２１４）比較する畳み込み層同士のベクトル集合間の類似度を、畳み込み層同士の類似度とする。そして、畳み込み層同士の類似度が、所定閾値以上である場合、２つの畳み込み層は、同一であると判定することができる。

【0051】

＜全結合層同士の比較＞
全結合層同士を比較する場合、全結合層に対する重みを特徴ベクトルとみなして、全結合層をベクトル集合として表現する。そして、比較する全結合層同士のベクトル集合間の類似度（例えばベクトル集合間の距離）を、全結合層同士の類似度とする。そして、全結合層同士の類似度が、所定閾値以上である場合、２つの全結合層は、同一であると判定することができる。

【0052】

全結合層がバイアス項を含む場合、全結合層は、出力次元数×（入力次元数＋１）のパラメータで表現される（バイアス項を含まない場合は、出力次元数×入力次元数）。このパラメータに対し、（入力次元数＋１）次元の重み（入力に対する係数）を、特徴ベクトルとみなし、この特徴ベクトルの集合として全結合層を表現する。

【0053】

＜活性化層同士の比較＞
活性化層同士を比較する場合、活性化層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、活性化層同士の類似度が、所定閾値以上である場合、２つの活性化層は、同一であると判定することができる。活性化層の種類は、線形結合、シグモイド関数、ハードシグモイド関数、ｔａｎｈ関数(hyperbolic tangent function)、ソフトサイン関数、ソフトプラス関数、ＲｅＬＵ(Rectified Linear Unit)のいずれかである。

【0054】

＜プーリング層同士の比較＞
プーリング層同士を比較する場合、プーリング層の種類が同じであり、パラメータ同士の距離が所定閾値以下である場合、当該距離を類似度として算出する。それ以外の場合、類似度を０とする。そして、プーリング層同士の類似度が、所定閾値以上である場合、２つのプーリング層は、同一であると判定することができる。プーリング層の種類は、最大値(max)プーリング、平均値(average)プーリングのいずれかである。パラメータは、フィルタサイズ及びストライド（フィルタを適用する間隔）である。

【0055】

そして、一方のニューラルネットワークにおいて比較が行われなかった層がなく、比較が行われた各層の比較結果がすべて一致した場合、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。

【0056】

また、多層ニューラルネットワークにおいては、他のニューラルネットワークの一部だけを再利用することがあり得る。したがって、所定数以上の層が一致すると、一方のニューラルネットワークは、他方のニューラルネットワークが改変又は再学習されたものと判定することができる。なお、所定数は１以上とすることができる。また、ニューラルネットワーク全体の改変を判定するのではなく、層単位で一致・不一致を判定し、判定結果を出力する構成とすることもできる。つまり、一方のニューラルネットワークのある層が、他方のニューラルネットワークにおいて流用されているかを判定する構成とすることもできる。

【0057】

また、たとえば、一致する畳み込み層が所定数以上あると、一方のニューラルネットワークは、他方のニューラルネットワークの一部が改変又は再学習されたものと判定するといった様に、層の種類を判定条件に使用することができる。なお、所定数は１とすることができる。

【0058】

また、比較した各層について一致、不一致を判定するのではなく、類似度を合計して、一方のニューラルネットワークと他方のニューラルネットワークの類似度を判定するものとすることもできる。

【0059】

以上、詳細に説明したように、本実施形態によれば、ニューラルネットワークのモデルの一部が改変又は再学習されたとしても、モデル同士を比較することによって改変を検出することができる。

【0060】

図９は、本実施形態による情報処理装置の構成図である。読込部１０は、比較対象の２つのニューラルネットワークのモデルの各層について、層構造とパラメータとを読み込む。判定部２０は、読込部１０が読み込んだ、２つのニューラルネットワークのモデルの層構造及びパラメータを比較して改変を判定する。

【0061】

また、上述した情報処理方法又は情報処理装置は、コンピュータプログラムにより実現することもできる。当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータに、上述した情報処理方法を実行させる。或いは、当該プログラムは、コンピュータの１つ以上のプロセッサで実行されると、当該コンピュータを上述した情報処理装置として機能させる。コンピュータプログラムは、一時的ではないコンピュータ可読記憶媒体に記憶される。

【0062】

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

【0063】

本願は、２０１７年１月１３日提出の日本国特許出願特願２０１７−００３８４９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】