(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022156786
(43)【公開日】2022-10-14
(54)【発明の名称】検査プログラム、情報処理装置および検査方法
(51)【国際特許分類】
G06N 3/02 20060101AFI20221006BHJP
【ＦＩ】
G06N3/02
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021060652
(22)【出願日】2021-03-31
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】田渕 晶大
(57)【要約】
【課題】比較対象のニューラルネットワーク同士が機能的に同一か否かを示す等価性を検査する。
【解決手段】情報処理装置１は、比較対象のニューラルネットワークを取得する。情報処理装置１は、取得した比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する。情報処理装置１は、分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する。そして、情報処理装置１は、出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す。
【選択図】図２Ａ
【解決手段】情報処理装置１は、比較対象のニューラルネットワークを取得する。情報処理装置１は、取得した比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する。情報処理装置１は、分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する。そして、情報処理装置１は、出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
比較対象のニューラルネットワークを取得し、
取得した前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割し、
該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較し、
出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す
処理をコンピュータに実行させることを特徴とする検査プログラム。
取得した前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割し、
該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較し、
出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す
処理をコンピュータに実行させることを特徴とする検査プログラム。
【請求項2】
該分割する処理は、前記比較対象のニューラルネットワークを、レイヤーの種類に基づいて、それぞれの部分ニューラルネットワークに分割する
ことを特徴とする請求項１に記載の検査プログラム。
ことを特徴とする請求項１に記載の検査プログラム。
【請求項3】
該分割する処理は、前記部分ニューラルネットワークの中に畳み込みレイヤーまたはデンスレイヤーを含んでも１つだけとなるように前記ニューラルネットワークを分割する
ことを特徴とする請求項１または請求項２に記載の検査プログラム。
ことを特徴とする請求項１または請求項２に記載の検査プログラム。
【請求項4】
該分割する処理は、さらに、前記部分ニューラルネットワークに含まれるレイヤーおよび直後のレイヤーのうち、丸め誤差の影響が軽微となる所定の条件を満たさないレイヤーが１以下となるように前記部分ニューラルネットワークを分割する
ことを特徴とする請求項３に記載の検査プログラム。
ことを特徴とする請求項３に記載の検査プログラム。
【請求項5】
前記所定の条件は、ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換、もしくはデータの形状のみ変化するレイヤーである
ことを特徴とする請求項４に記載の検査プログラム。
ことを特徴とする請求項４に記載の検査プログラム。
【請求項6】
該比較する処理は、それぞれの前記部分ニューラルネットワークに対して同じ重みを設定してから同じデータを前方側に入力して、後方側に出力される出力結果を比較するとともに、それぞれの前記部分ニューラルネットワークに対して同じ重みを設定してから同じデータを後方側に入力して、前方側に出力される出力結果および重みの勾配を比較する
ことを特徴とする請求項１に記載の検査プログラム。
ことを特徴とする請求項１に記載の検査プログラム。
【請求項7】
比較対象のニューラルネットワークを取得する取得部と、
前記取得部によって取得された前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する分割部と、
前記分割部によって分割されたそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する比較部と、を有し、
前記比較部によって出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで前記分割部および前記比較部を繰り返す
ことを特徴とする情報処理装置。
前記取得部によって取得された前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する分割部と、
前記分割部によって分割されたそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する比較部と、を有し、
前記比較部によって出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで前記分割部および前記比較部を繰り返す
ことを特徴とする情報処理装置。
【請求項8】
比較対象のニューラルネットワークを取得し、
取得した前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割し、
該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較し、
出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す
処理をコンピュータが実行することを特徴とする検査方法。
取得した前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割し、
該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較し、
出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す
処理をコンピュータが実行することを特徴とする検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ニューラルネットワークの等価性の検査技術に関する。
【背景技術】
【0002】
ニューラルネットワークには、多数のフレームワークが存在する。フレームワークの一例として、ＴｅｎｓｏｒＦｌｏｗ（登録商標）、Ｐｙｔｏｒｃｈ（登録商標）やｍｘｎｅｔ（登録商標）が挙げられる。
【0003】
あるフレームワークで作成および学習したニューラルネットワークのモデルを他のフレームワークに移植したい場合がある。例えば、より高速なフレームワークを使いたい場合や、処理能力を高めるために使いたいアクセラレータが他のフレームワークでしかサポートされていない場合があるからである。
【0004】
かかる場合に、ニューラルネットワークのモデルを様々なフレームワーク間で交換するためのフォーマットとしてＯＮＮＸ（Open Neural eXchange）が提案されている。ところが、ＯＮＮＸは、フレームワーク間で未だ完全に相互変換できない。例えば、ＴｅｎｓｏｒＦｌｏｗとｍｘｎｅｔとは、相互変換できるが、ＴｅｎｓｏｒＦｌｏｗとＰｙｔｏｒｃｈとは相互変換できない。
【0005】
ここで、第１の学習モデルと第２の学習モデルとの振舞いを比較する学習モデルの評価方法に関する技術が開示されている（例えば、特許文献１参照）。かかる技術では、第１の学習モデルに基づく第１の実行結果と第２の学習モデルに基づく第２の実行結果を求め、第１及び第２の実行結果が論理式を満たすか否かを判定し、判定結果に基づいて、第１の学習モデルと第２の学習モデルとの振舞いを比較する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０２０－４１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、比較対象のニューラルネットワーク（ＮＮ）同士が機能的に同一か否かを示す等価性を検査することは難しいという問題がある。かかる問題について説明する。
【0008】
【0009】
ここで、ＮＮ同士の等価性の検査では、以下の点について計算の等価性を考慮する必要がある。（１）ＮＮの計算では、主に浮動小数点数が用いられる。このため、計算時の丸め誤差による違いは、考慮される必要がある。（２）レイヤー（層）によっては計算量がより少ないアルゴリズムで代替されることがある。このため、アルゴリズムの違いから発生する誤差は、考慮される必要がある。例えば、畳み込み（convolution）が、高速フーリエ変換（ＦＦＴ）によって代替される場合等である。（３）比較対象のＮＮは、複数のレイヤーと、複数のレイヤーとを融合したレイヤーとなることがある。このため、レイヤーの構造による違いからの誤差は、考慮される必要がある。例えば、畳み込みのレイヤー（convolution）とバイアスのレイヤー（bias）とを独立に持ったＮＮおよび、畳み込みのレイヤーとバイアスのレイヤーとを融合したレイヤーを持ったＮＮのようなレイヤーの構造による違いの場合である。
【0010】
ところが、比較対象のＮＮ全体に対して同じ入力に対する出力を比較しても、出力の差の原因が丸め誤差等の誤差なのか、ＮＮの違いなのかの判断がつきにくい。例えば、丸め誤差、アルゴリズムの違いからの誤差およびレイヤーの構造による違いからの誤差は、機能的同一に関し許容されるが、これらの誤差なのか、ＮＮの違いなのかの判断がつきにくい。また、入力の要素数に対して出力の要素数が少ないため、判断材料が少ない。
【0011】
したがって、比較対象のＮＮ同士が機能的に同一か否かを示す等価性を検査することは難しい。
【0012】
一つの側面では、比較対象のニューラルネットワーク同士が機能的に同一か否かを示す等価性を検査することを目的とする。
【課題を解決するための手段】
【0013】
第１の案では、検査プログラムは、比較対象のニューラルネットワークを取得し、取得した前記比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割し、該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較し、出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す、処理をコンピュータに実行させる。
【発明の効果】
【0014】
一実施態様によれば、比較対象のニューラルネットワーク同士が機能的に同一か否かを示す等価性を検査することができる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下に、本発明にかかる検査プログラム、情報処理装置および検査方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【0017】
図１は、実施例に係る情報処理装置の機能構成を示すブロック図である。情報処理装置１は、比較対象の２つのニューラルネットワーク（以降、「ＮＮ」と略記）を取得し、各ＮＮの先頭から比較可能な部分ＮＮを選択し、部分ＮＮ単位で機能的に同一であるかを検査する。なお、ここでいう部分ＮＮとは、ＮＮの中の単一の層（レイヤー）であっても良いし、複数のレイヤーを結合したレイヤーであっても良い。
【0018】
情報処理装置１は、対象ＮＮ取得部１０、部分ＮＮ探索部２０、部分ＮＮ比較部３０および結果出力部４０を有する。なお、対象ＮＮ取得部１０は、取得部の一例である。部分ＮＮ探索部２０は、分割部の一例である。部分ＮＮ比較部３０は、比較部の一例である。
【0019】
対象ＮＮ取得部１０は、比較対象の２つのＮＮを取得する。例えば、対象ＮＮ取得部１０は、比較対象の２つのＮＮを、外部装置からネットワークを介して取得しても良いし、予め記憶された記憶部（図示せず）から取得しても良い。
【0020】
部分ＮＮ探索部２０は、比較対象の２つのＮＮの先頭から比較可能な部分ＮＮを探索する。
【0021】
ここで、部分ＮＮの選択基準には、一例として、レイヤーの種類の同一性が挙げられる。レイヤーの種類には、例えば、畳み込みレイヤー（convolution layer）、ｂｉａｓレイヤー、ｄｅｎｓｅレイヤー、ｒｅｌｕレイヤー、ｒｅｓｈａｐｅレイヤー、ｔｒａｎｓｐｏｓｅレイヤー、ａｃｔｉｖａｔｉｏｎレイヤー等がある。各ＮＮのレイヤーごとの種類の名称は、各ＮＮのモデル内に記憶されている。なお、畳み込みレイヤーは、以降、「ｃｏｎｖレイヤー」と略記する。
【0022】
また、部分ＮＮの選択基準には、出力形状の同一性（次元の順序が変わっても同一性の範囲内）が挙げられる。また、部分ＮＮの選択基準には、データを入力した時に最も近い出力の箇所の同一性が挙げられる。また、部分ＮＮの選択基準は、レイヤーの種類の同一性、出力形状の同一性、出力の箇所の同一性の組み合わせであっても良い。以降の説明では、レイヤーの種類の同一性を一例として、説明する。
【0023】
例えば、部分ＮＮ探索部２０は、比較対象の２つのＮＮの先頭から、レイヤーの種類に基づいて、比較可能な最小の部分ＮＮを選択する。そして、部分ＮＮ探索部２０は、部分ＮＮを構成するレイヤーの最大数を示す最大部分ＮＮサイズを予め定めておき、最大部分ＮＮサイズ以下のより大きな部分ＮＮを選択する。より大きな部分ＮＮを選択するのは、後述する部分ＮＮ比較部３０による比較回数を削減するためである。つまり、部分ＮＮ探索部２０は、誤差が大きくならない範囲でできる限り大きな部分ＮＮを選択することで、部分ＮＮ比較部３０による比較回数を削減する。
【0024】
また、部分ＮＮ探索部２０は、より大きな部分ＮＮを選択する際、以下の＜１＞、＜２＞の条件に基づいて、部分ＮＮを探索する。＜１＞部分ＮＮは、ｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含む場合には、１つだけ含むようにする。ｃｏｎｖレイヤーやｄｅｎｓｅレイヤーは、１レイヤーでの演算量が多いので、丸め誤差が大きくなりやすいからである。＜２＞部分ＮＮと直後のレイヤーにおいて、１つのレイヤー以外は、ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換、もしくはデータの形状のみ変化するレイヤーであるようにする。ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換であれば、丸め誤差がレイヤーごとに加算されても、比較的小さいからである。これに対して、ａｃｔｉｖａｔｉｏｎのように一次変換でない（非線形変換の）場合には、値の変化自体がわからなくなる可能性が大きいからである。また、データの形状のみ変化するレイヤーであれば、値自体は変化しないからである。なお、＜２＞を満たすレイヤーには、例えば、ｂｉａｓレイヤー、ｒｅｓｈｐａｅレイヤー、ｔｒａｎｓｐｏｓｅレイヤーが含まれる。
【0025】
部分ＮＮ比較部３０は、比較対象の２個のＮＮの対応する各部分ＮＮに対して同じデータを入力し、入力データに対する出力結果を比較する。部分ＮＮ単位で比較するのは、後方のレイヤー程、誤差が蓄積されるのを防ぐためである。各部分ＮＮに対して同じデータを入力するのは、より比較の精度を良くするためである。
【0026】
例えば、部分ＮＮ比較部３０は、部分ＮＮ探索部２０によって選択された対応する各部分ＮＮのレイヤーの重みに同じ値を入力する。入力する重みは、一様乱数または学習済みの重みであり、各部分ＮＮで用いられるデータ型で表現可能な値である。そして、部分ＮＮ比較部３０は、対応する各部分ＮＮの前方から同じデータを入力して順伝播を行い、各出力結果を取得する。入力するデータは、一様乱数等であり、各部分ＮＮで用いられるデータ型で表現可能な値である。そして、部分ＮＮ比較部３０は、各出力結果を比較し、予め定められた許容誤差ε以下であれば、機能的に同一候補と判定する。加えて、部分ＮＮ比較部３０は、対応する各部分ＮＮの後方から同じデータを入力して逆伝播を行い、各出力結果を取得する。入力するデータは、一様乱数等であり、各部分ＮＮで用いられるデータ型で表現可能な値である。そして、部分ＮＮ比較部３０は、各出力結果および各重みの勾配を比較し、予め定められた許容誤差ε以下であれば、機能的に同一候補と判定する。そして、部分ＮＮ比較部３０は、順伝播および逆伝播から取得される各判定結果がどちらも機能的に同一候補であれば、機能的に同一と判定する。なお、対応する各部分ＮＮに入力するデータは、１つに限定されず、複数であるのが望ましい。これは、同一性判定の精度を上げるためである。
【0027】
また、部分ＮＮ比較部３０は、対応する各部分ＮＮを比較した結果、機能的に同一であると判定した場合には、比較対象のＮＮから対応する各部分ＮＮを除外する。そして、除外後の比較対象のＮＮのどちらか一方が末尾になるまで、除外後の比較対象のＮＮに対して、部分ＮＮ探索部２０による探索処理および部分ＮＮ比較部３０による比較処理が繰り返される。
【0028】
結果出力部４０は、除外後の比較対象のＮＮが共に末尾であれば、比較対象のＮＮが機能的に同一である旨の結果を出力する。また、結果出力部４０は、除外後の比較対象のＮＮのどちらか一方が末尾であれば、比較対象のＮＮが機能的に同一でない旨の結果を出力する。また、結果出力部４０は、部分ＮＮ探索部２０によって部分ＮＮが探索されない場合にも、比較対象のＮＮが機能的に同一でない旨の結果を出力する。
【0029】
［部分ＮＮ比較の説明］
ここで、実施例に係る部分ＮＮ比較について、図２Ａおよび図２Ｂを参照して説明する。図２Ａおよび図２Ｂは、実施例に係る部分ＮＮ比較を説明する図である。図２Ａに示すように、部分ＮＮ探索部２０は、比較対象の２つのＮＮの先頭から、レイヤーの種類に基づいて、比較可能な最小の部分ＮＮを選択する。そして、部分ＮＮ比較部３０は、部分ＮＮ単位で比較する。
ここで、実施例に係る部分ＮＮ比較について、図２Ａおよび図２Ｂを参照して説明する。図２Ａおよび図２Ｂは、実施例に係る部分ＮＮ比較を説明する図である。図２Ａに示すように、部分ＮＮ探索部２０は、比較対象の２つのＮＮの先頭から、レイヤーの種類に基づいて、比較可能な最小の部分ＮＮを選択する。そして、部分ＮＮ比較部３０は、部分ＮＮ単位で比較する。
【0030】
ここでは、比較対象の２つのＮＮは、ＮＮＡ、ＮＮＢであるとする。各枠が、各レイヤーであるとする。ＮＮＢには、ｃｏｎｖがｂｉａｓと融合したレイヤーが含まれているので、この単位で探索処理および比較処理がなされる。例えば、部分ＮＮ探索部２０は、レイヤーの種類に基づいて、ＮＮＡから抽出されるｃｏｎｖレイヤーとｂｉａｓレイヤーを結合した部分ＮＮＡと、ＮＮＢから抽出されるｃｏｎｖがｂｉａｓと融合したレイヤーの部分ＮＮＢとを選択する。そして、部分ＮＮ比較部３０は、選択した部分ＮＮＡと部分ＮＮＢとを比較する。そして、部分ＮＮ比較部３０は、比較結果が機能的に同一であれば、次の部分ＮＮの探索および比較に移行する。すなわち、部分ＮＮ探索部２０は、レイヤーの種類に基づいて、ＮＮＡのｒｅｌｕレイヤーから構成される部分ＮＮＡと、ＮＮＢのｒｅｌｕレイヤーから構成される部分ＮＮＢとを選択する。そして、部分ＮＮ比較部３０は、選択した部分ＮＮＡと部分ＮＮＢとを比較する。
【0031】
図２Ｂには、部分ＮＮＡと、部分ＮＮＢとの比較について表わされている。図２Ｂに示すように、部分ＮＮ比較部３０は、対応する各部分ＮＮについて、順伝播および逆伝播を行い、順伝播による出力結果の差分および逆伝播による出力結果の差分がどちらも許容誤差ε以下であれば機能的に同一と判定する。なお、図２Ｂでは、部分ＮＮＡは、レイヤーＡ１とレイヤーＡ２とを結合した部分ＮＮを示す。部分ＮＮＢは、レイヤーＢ１から構成される部分ＮＮを示す。
【0032】
図２Ｂ左図には、部分ＮＮＡと部分ＮＮＢとの順伝播による比較が示されている。部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢのレイヤーの重みＷに同じ値を入力する。そして、部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢの前方から同じデータを入力して順伝播を行い、ＯｕｔｐｕｔＡとＯｕｔｐｕｔＢを取得する。そして、部分ＮＮ比較部３０は、ＯｕｔｐｕｔＡとＯｕｔｐｕｔＢとを比較し、予め定められた許容誤差ε以下であれば、機能的に同一候補と判定する。
【0033】
図２Ｂ右図には、部分ＮＮＡと部分ＮＮＢとの逆伝播による比較が示されている。部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢのレイヤーの重みＷに同じ値を入力する。そして、部分ＮＮ比較部３０は、対応する各部分ＮＮの後方から同じデータを入力して逆伝播を行い、ＯｕｔｐｕｔＡ´とＯｕｔｐｕｔＢ´を取得する。そして、部分ＮＮ比較部３０は、ＯｕｔｐｕｔＡ´とＯｕｔｐｕｔＢ´、重みＷの勾配ｇｒａｄＡ１とｇｒａｄＢ１、および重みＷの勾配ｇｒａｄＢ１とｇｒａｄＢ２をそれぞれ比較し、全ての比較結果が予め定められた許容誤差ε以下であれば、機能的に同一候補と判定する。
【0034】
そして、部分ＮＮ比較部３０は、順伝播および逆伝播から取得される各判定結果がどちらも機能的に同一候補であれば、部分ＮＮＡと部分ＮＮＢとは機能的に同一と判定する。
【0035】
［検査処理の説明］
ここで、実施例に係る検査処理について、図３を参照して説明する。図３は、実施例に係る検査処理を説明する図である。図３に示すように、なお、比較対象の２つのＮＮは、ＮＮＡ、ＮＮＢであるとする。各枠が、各レイヤーであるとする。
ここで、実施例に係る検査処理について、図３を参照して説明する。図３は、実施例に係る検査処理を説明する図である。図３に示すように、なお、比較対象の２つのＮＮは、ＮＮＡ、ＮＮＢであるとする。各枠が、各レイヤーであるとする。
【0036】
部分ＮＮ探索部２０は、比較対象の２つのＮＮの先頭から、レイヤーの種類に基づいて、比較可能な部分ＮＮを探索する。ここでは、ＮＮＡについて、レイヤーＡ１とＡ２とを結合した部分ＮＮＡが選択される。ＮＮＢについて、レイヤーＢ１から構成される部分ＮＮＢが選択される。
【0037】
部分ＮＮ比較部３０は、対応する各部分ＮＮについて、順伝播および逆伝播を行い、順伝播による出力結果の差分および逆伝播による出力結果の差分がどちらも許容誤差ε以下であれば機能的に同一と判定する。ここでは、一方の部分ＮＮＡにデータを入力して順伝播、逆伝播で流し、他方の部分ＮＮＢには対応する部分ＮＮＡの入力データをコピーして与えて順伝播、逆伝播で流す。部分ＮＮＢに部分ＮＮＡと同じ入力データを入力するのは、より比較の精度を良くするためである。そして、部分ＮＮＡおよび部分ＮＮＢの順伝播から出力された各出力結果の差分が許容誤差ε以下であって部分ＮＮＡおよび部分ＮＮＢの逆伝播から出力された各出力結果の差分が許容誤差ε以下であれば、機能的に同一と判定される。部分ＮＮ単位で比較するのは、後方のレイヤー程、誤差が蓄積されるのを防ぐためである。
【0038】
続いて、部分ＮＮ探索部２０は、同一と判定された部分ＮＮを除外した２つのＮＮから、レイヤーの種類に基づいて、比較可能な部分ＮＮを探索する。ここでは、ＮＮＡについて、レイヤーＡ３から構成される部分ＮＮＡが選択される。ＮＮＢについて、レイヤーＢ２から構成される部分ＮＮＢが選択される。
【0039】
部分ＮＮ比較部３０は、対応する各部分ＮＮについて、順伝播および逆伝播を行い、各部分ＮＮの全出力結果の差分が許容誤差ε以下であれば機能的に同一と判定する。ここでは、一方の部分ＮＮＡにデータを入力して順伝播、逆伝播で流し、他方の部分ＮＮＢには対応する部分ＮＮＡの入力データをコピーして与えて順伝播、逆伝播で流す。そして、部分ＮＮＡおよび部分ＮＮＢの順伝播から出力された各出力結果の差分が許容誤差ε以下であって部分ＮＮＡおよび部分ＮＮＢの逆伝播から出力された各出力結果の差分が許容誤差ε以下であれば、機能的に同一と判定される。
【0040】
続いて、部分ＮＮ探索部２０は、同一と判定された部分ＮＮを除外した２つのＮＮから、レイヤーの種類に基づいて、比較可能な部分ＮＮを探索する。ここでは、ＮＮＡについて、レイヤーＡ４とＡ４とから結合された部分ＮＮＡが選択される。ＮＮＢについて、レイヤーＢ３から構成される部分ＮＮＢが選択される。
【0041】
部分ＮＮ比較部３０は、対応する各部分ＮＮについて、順伝播および逆伝播を行い、各部分ＮＮの全出力結果の差分が許容誤差ε以下であれば機能的に同一と判定する。ここでは、一方の部分ＮＮＡにデータを入力して順伝播、逆伝播で流し、他方の部分ＮＮＢには対応する部分ＮＮＡの入力データをコピーして与えて順伝播、逆伝播で流す。そして、部分ＮＮＡおよび部分ＮＮＢの順伝播から出力された各出力結果の差分が許容誤差ε以下であって部分ＮＮＡおよび部分ＮＮＢの逆伝播から出力された各出力結果の差分が許容誤差ε以下であれば、機能的に同一と判定される。
【0042】
そして、結果出力部４０は、除外後の比較対象のＮＮが共に末尾であれば、比較対象のＮＮが機能的に同一である旨の結果を出力する。すなわち、結果出力部４０は、最終的に両方のＮＮの一番下まで到達すれば、２つのＮＮ全体は等しいので、２つのＮＮ全体が等しい旨の結果を出力する。また、結果出力部４０は、除外後の比較対象のＮＮのどちらか一方が末尾であれば、比較対象のＮＮが機能的に同一でない旨の結果を出力する。
【0043】
【0044】
まず、対象ＮＮ取得部１０は、検査対象のＮＮＡとＮＮＢを取得する（ステップＳ１１）。そして、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢが共に空であるか否かを判定する（ステップＳ１２）。すなわち、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢが共に検査済みであるか否かを判定する。
【0045】
ＮＮＡとＮＮＢが共に空でないと判定した場合には（ステップＳ１２；Ｎｏ）、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢの片方が空であるか否かを判定する（ステップＳ１３）。ＮＮＡとＮＮＢのどちらも空でないと判定した場合には（ステップＳ１３；Ｎｏ）、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢの先頭から部分ＮＮ候補を探索する（ステップＳ１４）。なお、部分ＮＮ候補を探索する部分ＮＮ探索処理のフローチャートは、後述する。
【0046】
そして、部分ＮＮ探索部２０は、部分ＮＮ候補があるか否かを判定する（ステップＳ１５）。部分ＮＮ候補がないと判定した場合には（ステップＳ１５；Ｎｏ）、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢが同等でないと判断し、ステップＳ１９に移行する。
【0047】
一方、部分ＮＮ候補があると判定した場合には（ステップＳ１５；Ｙｅｓ）、部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢが等しいか否かを判定する（ステップＳ１６）。例えば、部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢのレイヤーの重みに同じ値を入力する。部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢの前方から同じデータを入力して順伝播を行い、各出力結果を取得する。部分ＮＮ比較部３０は、各出力結果を比較し、予め定められた許容誤差ε以下であるか否かを判定する。加えて、部分ＮＮ比較部３０は、部分ＮＮＡと部分ＮＮＢの後方から同じデータを入力して逆伝播を行い、各出力結果を取得する。部分ＮＮ比較部３０は、各出力結果および各重みの勾配を比較する。部分ＮＮ比較部３０は、各出力結果を比較し、予め定められた許容誤差ε以下であるか否かを判定する。そして、部分ＮＮ比較部３０は、順伝播による各出力結果および逆伝播による各出力結果が全て許容誤差ε以下であると判定した場合には、部分ＮＮＡと部分ＮＮＢが機能的に同一（等しい）と判定する。部分ＮＮ比較部３０は、順伝播による各出力結果および逆伝播による各出力結果のうちいずれか１つでも許容誤差ε以下でないと判定した場合には、部分ＮＮＡと部分ＮＮＢが機能的に同一でない（等しくない）と判定する。
【0048】
部分ＮＮＡと部分ＮＮＢが等しくないと判定した場合には（ステップＳ１６；Ｎｏ）、部分ＮＮ探索部２０は、再度部分ＮＮ候補を探索すべく、ステップＳ１４に移行する。選択した部分ＮＮが違っている可能性があるからである。
【0049】
一方、部分ＮＮＡと部分ＮＮＢが等しいと判定した場合には（ステップＳ１６；Ｙｅｓ）、部分ＮＮ探索部２０は、ＮＮから部分ＮＮを除外する（ステップＳ１７）。すなわち、部分ＮＮ探索部２０は、ＮＮＡから部分ＮＮＡを除外し、ＮＮＢから部分ＮＮＢを除外する。そして、部分ＮＮ探索部２０は、除外後のＮＮＡとＮＮＢにおける処理をすべく、ステップＳ１２に移行する。
【0050】
ステップＳ１２において、ＮＮＡとＮＮＢが共に空であると判定した場合には（ステップＳ１２；Ｙｅｓ）、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢが同等である旨を出力する（ステップＳ１８）。そして、プロセスは、検査処理を終了する。
【0051】
また、ステップＳ１３において、ＮＮＡとＮＮＢの片方が空であると判定した場合には（ステップＳ１３；Ｙｅｓ）、部分ＮＮ探索部２０は、ＮＮＡとＮＮＢが同等でない旨を出力する（ステップＳ１９）。そして、プロセスは、検査処理を終了する。
【0052】
【0053】
部分ＮＮ探索部２０は、レイヤーの種類をベースに、ＮＮＡとＮＮＢの先頭から比較可能な最小の部分ＮＮＡと部分ＮＮＢを見つける（ステップＳ２１）。そして、部分ＮＮ探索部２０は、部分ＮＮＡと部分ＮＮＢのレイヤー数が最大部分ＮＮサイズ以下であるか否かを判定する（ステップＳ２２）。部分ＮＮＡと部分ＮＮＢのレイヤー数が最大部分ＮＮサイズより大きいと判定した場合には（ステップＳ２２；Ｎｏ）、部分ＮＮ探索部２０は、部分ＮＮ探索処理を終了する。
【0054】
一方、部分ＮＮＡと部分ＮＮＢのレイヤー数が最大部分ＮＮサイズ以下であると判定した場合には（ステップＳ２２；Ｙｅｓ）、部分ＮＮＡと部分ＮＮＢにｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないかどうかを判定する（ステップＳ２３）。ｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含むと判定した場合には（ステップＳ２３；Ｎｏ）、部分ＮＮ探索部２０は、部分ＮＮ探索処理を終了する。すなわち、より大きな部分ＮＮを選択する際の＜１＞の条件（部分ＮＮは、ｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含む場合には、１つだけ含むようにする）である。ｃｏｎｖレイヤーやｄｅｎｓｅレイヤーは、１レイヤーでの演算量が多いので、丸め誤差が大きくなりやすいからである。
【0055】
ｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないと判定した場合には（ステップＳ２３；Ｙｅｓ）、部分ＮＮ探索部２０は、以下の処理を行う。部分ＮＮ探索部２０は、部分ＮＮＡと部分ＮＮＢ、および各直後のレイヤーのうち所定の条件を満たさないレイヤーが１以下であるか否かを判定する（ステップＳ２４）。所定の条件は、ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次変換のレイヤー、もしくはデータの形状のみ変化するレイヤーであることである。すなわち、より大きな部分ＮＮを選択する際の＜２＞の条件（部分ＮＮと直後のレイヤーにおいて、１つのレイヤー以外は、ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換、もしくはデータの形状のみ変化するレイヤーであるようにする）である。ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換であれば、丸め誤差がレイヤーごとに加算されても、比較的小さいからである。また、データの形状のみ変化するレイヤーであれば、値自体は変化しないからである。
【0056】
部分ＮＮＡと部分ＮＮＢ、および各直後のレイヤーのうち所定の条件を満たさないレイヤーが１以下でない、２以上であると判定した場合には（ステップＳ２４；Ｎｏ）、部分ＮＮ探索部２０は、部分ＮＮ探索処理を終了する。
【0057】
一方、部分ＮＮＡと部分ＮＮＢ、および各直後のレイヤーのうち所定の条件を満たさないレイヤーが１以下であると判定した場合には（ステップＳ２４；Ｙｅｓ）、部分ＮＮ探索部２０は、以下の処理を行う。部分ＮＮ探索部２０は、部分ＮＮＡと部分ＮＮＢの各直後のレイヤーを部分ＮＮＡと部分ＮＮＢに結合する（ステップＳ２５）。そして、部分ＮＮ探索部２０は、部分ＮＮ探索処理を継続すべく、ステップＳ２２に移行する。
【0058】
これにより、情報処理装置１が実施する検査処理は、丸め誤差等の影響を低減しつつ、比較対象のＮＮ同士が機能的に同一かどうかを検査することができる。
【0059】
［部分ＮＮ探索の一例］
図６は、実施例に係る部分ＮＮ探索の一例を示す図である。なお、比較対象の２つのＮＮは、ＮＮＣ、ＮＮＤであるとする。各枠が、各レイヤーであるとする。また、最大部分ＮＮサイズは、例えば３であるとする。また、ｒｅｌｕレイヤーは、一次変換でないレイヤーである。ｂａｉｓレイヤー、ｒｅｓｈａｐｅレイヤーは、一次変換と形状のみ変化するレイヤーである。
図６は、実施例に係る部分ＮＮ探索の一例を示す図である。なお、比較対象の２つのＮＮは、ＮＮＣ、ＮＮＤであるとする。各枠が、各レイヤーであるとする。また、最大部分ＮＮサイズは、例えば３であるとする。また、ｒｅｌｕレイヤーは、一次変換でないレイヤーである。ｂａｉｓレイヤー、ｒｅｓｈａｐｅレイヤーは、一次変換と形状のみ変化するレイヤーである。
【0060】
部分ＮＮ探索部２０は、レイヤーの種類をベースに、比較対象のＮＮＣとＮＮＤの先頭から、比較可能な最小の部分ＮＮＣと部分ＮＮＤを選択する。ここでは、ｃｏｎｖレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤが選択される。そして、部分ＮＮ探索部２０は、部分ＮＮＣ、部分ＮＮＤにｃｏｎｖレイヤーを含むので、ｃｏｎｖレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＣと部分ＮＮＤとを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＣ、部分ＮＮＤが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＣから部分ＮＮＣを除外するとともに、ＮＮＤから部分ＮＮＤを除外する。
【0061】
次に、部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＣとＮＮＤの先頭から、比較可能な最小の部分ＮＮＣと部分ＮＮＤを選択する。ここでは、ｂｉａｓレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤが選択される。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「３」）以下であり、部分ＮＮＣと部分ＮＮＤにｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないので、次の処理に移行する。そして、部分ＮＮ探索部２０は、部分ＮＮＣと部分ＮＮＤおよび直後のｒｅｌｕレイヤーのうち条件を満たさないレイヤーが１以下であるので、部分ＮＮＣと部分ＮＮＤに直後のｒｅｌｕレイヤーを結合する。ｒｅｌｕレイヤーは一次変換ではないが、ｂｉａｓレイヤーは一次変換と形状のみ変化するレイヤーであり、条件を満たさないレイヤーが１以下であるので、ｒｅｌｕレイヤーは各部分ＮＮに結合される。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「３」）以下であり、部分ＮＮＣと部分ＮＮＤにｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないので、次の処理に移行する。そして、部分ＮＮ探索部２０は、部分ＮＮＣと部分ＮＮＤおよび直後のｒｅｓｈａｐｅレイヤーのうち条件を満たさないレイヤーが１以下であるので、部分ＮＮＣと部分ＮＮＤに直後のｒｅｓｈａｐｅレイヤーを結合する。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「３」）以下であるが、直後のレイヤーがｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含むので、ｂｉａｓ、ｒｅｌｕおよびｒｅｓｈｐａｅレイヤーを構成する部分ＮＮＣ、部分ＮＮＤを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＣ、部分ＮＮＤを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＣ、部分ＮＮＤが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＣから部分ＮＮＣを除外するとともに、ＮＮＤから部分ＮＮＤを除外する。
【0062】
次に、部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＣとＮＮＤの先頭から、比較可能な最小の部分ＮＮＣと部分ＮＮＤを選択する。ここでは、ｄｅｎｓｅレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤが選択される。そして、部分ＮＮ探索部２０は、部分ＮＮＣ、部分ＮＮＤにｄｅｎｓｅレイヤーを含むので、ｄｅｎｓｅレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＣ、部分ＮＮＤを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＣ、部分ＮＮＤが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＣから部分ＮＮＣを除外するとともに、ＮＮＤから部分ＮＮＤを除外する。
【0063】
次に、部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＣとＮＮＤの先頭から、比較可能な最小の部分ＮＮＣと部分ＮＮＤを選択する。ここでは、ｂｉａｓレイヤーを構成とする部分ＮＮＣ、部分ＮＮＤが選択される。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「３」）以下であり、部分ＮＮＣと部分ＮＮＤにｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないので、次の処理に移行する。そして、部分ＮＮ探索部２０は、部分ＮＮＣと部分ＮＮＤおよび直後のｒｅｌｕレイヤーのうち条件を満たさないレイヤーが１以下であるので、部分ＮＮＣと部分ＮＮＤに直後のｒｅｌｕレイヤーを結合する。ｒｅｌｕレイヤーは一次変換ではないが、ｂｉａｓレイヤーは一次変換と形状のみ変化するレイヤーであり、条件を満たさないレイヤーが１以下であるので、ｒｅｌｕレイヤーは各部分ＮＮに結合される。この後、部分ＮＮ比較部３０は、部分ＮＮＣ、部分ＮＮＤを比較し、機能的に同一であるか否かを検査する。
【0064】
そして、結果出力部４０は、同一である部分ＮＮを除外後の比較対象のＮＮｃおよびＮＮＤが共に末尾になると、比較対象のＮＮが機能的に同一である旨の結果を出力する。これに対して、結果出力部４０は、同一である部分ＮＮを除外後の比較対象のＮＮｃおよびＮＮＤのどちらか一方が末尾であれば、比較対象のＮＮが機能的に同一でない旨の結果を出力する。
【0065】
［部分ＮＮ探索の別例］
図７は、実施例に係る部分ＮＮ探索の別例を示す図である。なお、比較対象の２つのＮＮは、ＮＮＥ、ＮＮＦであるとする。各枠が、各レイヤーであるとする。また、最大部分ＮＮサイズは、例えば２であるとする。また、ｒｅｌｕレイヤーは、一次変換でないレイヤーである。ｂａｉｓレイヤー、ｒｅｓｈａｐｅレイヤーは、一次変換と形状のみ変化するレイヤーである。
図７は、実施例に係る部分ＮＮ探索の別例を示す図である。なお、比較対象の２つのＮＮは、ＮＮＥ、ＮＮＦであるとする。各枠が、各レイヤーであるとする。また、最大部分ＮＮサイズは、例えば２であるとする。また、ｒｅｌｕレイヤーは、一次変換でないレイヤーである。ｂａｉｓレイヤー、ｒｅｓｈａｐｅレイヤーは、一次変換と形状のみ変化するレイヤーである。
【0066】
部分ＮＮ探索部２０は、レイヤーの種類をベースに、比較対象のＮＮＥとＮＮＦの先頭から、比較可能な最小の部分ＮＮＥと部分ＮＮＦを選択する。ここでは、ＮＮＦでは、ｂｉａｓがｃｏｎｖと融合したレイヤーとなっている。そこで、ｃｏｎｖレイヤーとｂｉａｓレイヤーを構成とする部分ＮＮＥ、ｃｏｎｖとｂｉａｓが融合したレイヤーを構成とする部分ＮＮＦが選択される。そして、部分ＮＮ探索部２０は、部分ＮＮＥ、部分ＮＮＦにｃｏｎｖレイヤーを含むので、ｃｏｎｖレイヤーを含む構成の部分ＮＮＥ、部分ＮＮＦを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＥ、部分ＮＮＦを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＥ、部分ＮＮＦが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＥから部分ＮＮＥを除外するとともに、ＮＮＦから部分ＮＮＦを除外する。
【0067】
次に、部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＥとＮＮＦの先頭から、比較可能な最小の部分ＮＮＥと部分ＮＮＦを選択する。ここでは、ｒｅｌｕレイヤーを構成とする部分ＮＮＥ、部分ＮＮＦが選択される。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「２」）以下であり、部分ＮＮＥと部分ＮＮＦにｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含まないので、次の処理に移行する。そして、部分ＮＮ探索部２０は、部分ＮＮＥと部分ＮＮＦおよび直後のｒｅｓｈａｐｅレイヤーのうち条件を満たさないレイヤーが１以下であるので、部分ＮＮＥと部分ＮＮＦに直後のｒｅｓｈａｐｅレイヤーを結合する。ｒｅｌｕレイヤーは一次変換ではないが、ｒｅｓｈａｐｅレイヤーは一次変換と形状のみ変化するレイヤーであり、条件を満たさないレイヤーが１以下であるので、ｒｅｓｈａｐｅレイヤーは各部分ＮＮに結合される。そして、部分ＮＮ探索部２０は、各部分ＮＮが最大部分ＮＮサイズ（「２」）以下であるが、直後のレイヤーがｃｏｎｖレイヤーまたはｄｅｎｓｅレイヤーを含むので、ｒｅｌｕおよびｒｅｓｈｐａｅレイヤーを構成する部分ＮＮＥ、部分ＮＮＦを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＥ、部分ＮＮＦを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＥ、部分ＮＮＦが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＥから部分ＮＮＥを除外するとともに、ＮＮＦから部分ＮＮＦを除外する。
【0068】
部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＥとＮＮＦの先頭から、比較可能な最小の部分ＮＮＥと部分ＮＮＦを選択する。ここでは、ＮＮＦでは、ｂｉａｓがｄｅｎｓｅと融合したレイヤーとなっている。そこで、ｄｅｎｓｅレイヤーとｂｉａｓレイヤーを構成とする部分ＮＮＥ、ｄｅｎｓｅとｂｉａｓが融合したレイヤーを構成とする部分ＮＮＦが選択される。そして、部分ＮＮ探索部２０は、部分ＮＮＥ、部分ＮＮＦにｄｅｎｓｅレイヤーを含むので、ｄｅｎｓｅレイヤーを含む構成の部分ＮＮＥ、部分ＮＮＦを部分ＮＮ候補とする。そして、部分ＮＮ比較部３０は、部分ＮＮＥ、部分ＮＮＦを比較し、機能的に同一であるか否かを検査する。ここでは、部分ＮＮＥ、部分ＮＮＦが機能的に同一であると判定したとする。そして、部分ＮＮ探索部２０は、ＮＮＥから部分ＮＮＥを除外するとともに、ＮＮＦから部分ＮＮＦを除外する。
【0069】
次に、部分ＮＮ探索部２０は、レイヤーの種類をベースに、除外後のＮＮＥとＮＮＦの先頭から、比較可能な最小の部分ＮＮＥと部分ＮＮＦを選択する。ここでは、ｒｅｌｕレイヤーを構成とする部分ＮＮＥ、部分ＮＮＦが選択される。この後、部分ＮＮ比較部３０は、部分ＮＮＥ、部分ＮＮＦを比較し、機能的に同一であるか否かを検査する。
【0070】
そして、結果出力部４０は、同一である部分ＮＮを除外後の比較対象のＮＮｃおよびＮＮＤが共に末尾になると、比較対象のＮＮが機能的に同一である旨の結果を出力する。これに対して、結果出力部４０は、同一である部分ＮＮを除外後の比較対象のＮＮｃおよびＮＮＤのどちらか一方が末尾であれば、比較対象のＮＮが機能的に同一でない旨の結果を出力する。
【0071】
［実施例の効果］
上記実施例によれば、情報処理装置１は、比較対象のニューラルネットワークを取得する。情報処理装置１は、取得した比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する。情報処理装置１は、該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する。そして、情報処理装置１は、出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す。これにより、情報処理装置１は、比較可能な部分ニューラルネットワーク単位で等しいか否かの比較を繰り返すことで、比較対象のニューラルネットワーク同士が機能的に同一か否かを示す等価性を検査することができる。
上記実施例によれば、情報処理装置１は、比較対象のニューラルネットワークを取得する。情報処理装置１は、取得した比較対象のニューラルネットワークを先頭から比較可能なそれぞれの部分ニューラルネットワークに分割する。情報処理装置１は、該分割したそれぞれの部分ニューラルネットワークに対して同じデータを入力し、入力データに対する出力結果を比較する。そして、情報処理装置１は、出力結果が等しいと判定された場合には、ニューラルネットワークの末尾まで分割処理および比較処理を繰り返す。これにより、情報処理装置１は、比較可能な部分ニューラルネットワーク単位で等しいか否かの比較を繰り返すことで、比較対象のニューラルネットワーク同士が機能的に同一か否かを示す等価性を検査することができる。
【0072】
また、上記実施例によれば、情報処理装置１は、比較対象のニューラルネットワークを、レイヤーの種類に基づいて、それぞれの部分ニューラルネットワークに分割する。これにより、情報処理装置１は、比較対象のニューラルネットワークの分割にレイヤーの種類を用いることで、同じ種類同士の部分ニューラルネットワークに分割できることとなり、部分ニューラルネットワーク同士の機能的な同一性を検査することが可能となる。
【0073】
また、上記実施例によれば、情報処理装置１は、部分ニューラルネットワークの中に畳み込みレイヤーまたはデンスレイヤーを含んでも１つだけとなるようにニューラルネットワークを分割する。これにより、情報処理装置１は、部分ニューラルネットワークに演算量が多いレイヤーを１つだけとすることで、丸め誤差が大きくなることを防止できる。この結果、情報処理装置１は、丸め誤差の影響を低減しつつ、比較対象のニューラルネットワーク同士が機能的に同一か否かを精度良く検査できる。
【0074】
また、上記実施例によれば、情報処理装置１は、さらに、部分ニューラルネットワークに含まれるレイヤーおよび直後のレイヤーのうち、丸め誤差の影響が軽微となる所定の条件を満たさないレイヤーが１以下となるように前記部分ニューラルネットワークを分割する。これにより、情報処理装置１は、部分ニューラルネットワークに含まれるレイヤーについて、丸め誤差の影響が軽微となる条件を満たさないレイヤーを１以下とすることで、丸め誤差が大きくなることを防止できる。この結果、情報処理装置１は、丸め誤差の影響を低減しつつ、比較対象のニューラルネットワーク同士が機能的に同一か否かを精度良く検査できる。
【0075】
また、上記実施例によれば、所定の条件は、ｅｌｅｍｅｎｔ－ｗｉｓｅかつ一次の変換、もしくはデータの形状のみ変化するレイヤーである。これにより、情報処理装置１は、所定の条件を満たさないレイヤーを１以下とすることで、丸め誤差が大きくなることを防止できる。この結果、情報処理装置１は、丸め誤差の影響を低減しつつ、比較対象のニューラルネットワーク同士が機能的に同一か否かを精度良く検査できる。
【0076】
また、上記実施例によれば、情報処理装置１は、それぞれの部分ニューラルネットワークに対して同じ重みを設定してから同じデータを前方側に入力して、後方側に出力される出力結果を比較する。加えて、情報処理装置１は、それぞれの部分ニューラルネットワークに対して同じ重みを設定してから同じデータを後方側に入力して、前方側に出力される出力結果および重みの勾配を比較する。これにより、情報処理装置１は、比較対象の部分ニューラルネットワークに対して入力データを共通にすることで、比較の精度を上げることができる。また、情報処理装置１は、出力結果だけでなく重みの勾配も比較することで、さらに比較の精度を上げることができる。
【0077】
［その他］
なお、上記実施例では、比較対象のＮＮの個数を２つとして説明した。すなわち、情報処理装置１は、比較対象の２つのＮＮを取得し、各ＮＮの先頭から比較可能な部分ＮＮを選択し、部分ＮＮ単位で機能的に同一であるかを検査する。しかしながら、比較対象のＮＮは、２つに限定されず、３つ以上であっても良い。
なお、上記実施例では、比較対象のＮＮの個数を２つとして説明した。すなわち、情報処理装置１は、比較対象の２つのＮＮを取得し、各ＮＮの先頭から比較可能な部分ＮＮを選択し、部分ＮＮ単位で機能的に同一であるかを検査する。しかしながら、比較対象のＮＮは、２つに限定されず、３つ以上であっても良い。
【0078】
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0079】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0080】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0081】
図８は、ハードウェア構成例を説明する図である。図８に示すように、情報処理装置１は、通信装置１００、ＨＤＤ（Hard Disk Drive）１１０、メモリ１２０、プロセッサ１３０を有する。また、図８に示した各部は、バス等で相互に接続される。
【0082】
通信装置１００は、ネットワークインタフェースカード等であり、他の装置との通信を行う。ＨＤＤ１１０は、図１に示した機能を動作させるプログラムやＤＢを記憶する。
【0083】
プロセッサ１３０は、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１１０等から読み出してメモリ１２０に展開することで、図１等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１３０は、対象ＮＮ取得部１０、部分ＮＮ探索部２０、部分ＮＮ比較部３０および結果出力部４０等と同様の機能を有するプログラムをＨＤＤ１１０等から読み出す。そして、プロセッサ１３０は、対象ＮＮ取得部１０、部分ＮＮ探索部２０、部分ＮＮ比較部３０および結果出力部４０等と同様の処理を実行するプロセスを実行する。
【0084】
このように、情報処理装置１は、プログラムを読み出して実行することで検査方法を実行する情報処理装置として動作する。また、情報処理装置１は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【0085】
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【符号の説明】
【0086】
１ 情報処理装置
１０ 対象ＮＮ取得部
２０ 部分ＮＮ探索部
３０ 部分ＮＮ比較部
４０ 結果出力部
１０ 対象ＮＮ取得部
２０ 部分ＮＮ探索部
３０ 部分ＮＮ比較部
４０ 結果出力部
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】