(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】認証装置、通信システム、認証方法、及びプログラム
(51)【国際特許分類】
G06F 21/16 20130101AFI20241106BHJP
G06F 21/44 20130101ALI20241106BHJP
G06N 20/00 20190101ALI20241106BHJP
【FI】
G06F21/16
G06F21/44
G06N20/00
(21)【出願番号】P 2023573694
(86)(22)【出願日】2022-01-12
(86)【国際出願番号】 JP2022000720
(87)【国際公開番号】W WO2023135682
(87)【国際公開日】2023-07-20
【審査請求日】2024-06-13
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ITOH
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】芦澤 奈実
(72)【発明者】
【氏名】原田 貴史
(72)【発明者】
【氏名】鈴木 亮平
(72)【発明者】
【氏名】永井 彰
(72)【発明者】
【氏名】鷲尾 知暁
【審査官】辻 勇貴
(56)【参考文献】
【文献】中国特許出願公開第113408558(CN,A)
【文献】中国特許出願公開第113259369(CN,A)
【文献】芦澤 奈実, 外5名,"AI認証:説明可能AIによるニューラルネットの識別",2022年 暗号と情報セキュリティシンポジウム予稿集,2022年01月18日,pp.1-8
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/16
G06F 21/44
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
認証対象装置が保持する機械学習モデルの正当性を認証する認証装置であって、
前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第1の入力情報の分類根拠を可視化した情報を示す第1の分類根拠情報を得る第1の取得部と、
非公開情報管理装置が送信した情報として、正当な第2の入力情報及び当該第2の入力情報の分類根拠を可視化した情報を示す第2の分類根拠情報がデータセットである非公開情報を取得する第2の取得部と、
前記第1の分類根拠情報と前記第2の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証部と、
を有する認証装置。
【請求項2】
前記第1の取得部は、前記認証対象装置が送信した前記情報として、前記第1の入力情報、及び機械学習アルゴリズムにおいて前記第1の入力情報の分類に必要であり前記認証対象装置に紐づいた分類特徴情報を受信し、前記第1の入力情報及び前記分類特徴情報に基づき前記第1の分類根拠情報を生成して得る、請求項1に記載の認証装置。
【請求項3】
請求項1又は2に記載の認証装置であって、
前記第1の取得部によって取得された前記第1の分類根拠情報を暗号化する暗号化部を有し、
前記認証部は、暗号化された前記第1の分類根拠情報と前記第2の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する、認証装置。
【請求項4】
前記第2の分類根拠情報は、非公開情報管理装置が送信した際には既に暗号化されている、請求項1乃至3のいずれか一項に記載の認証装置。
【請求項5】
前記第1の取得部は、Grad-CAM又はGuidedGrad-CAMを用いて、前記第1の入力情報の分類根拠を可視化した情報としてのヒートマップを示す前記第1の分類根拠情報を得る、請求項1乃至4のいずれか一項に記載の認証装置。
【請求項6】
前記認証部は、準同型暗号技術を用いて認証する、請求項1乃至5のいずれか一項に記載の認証装置。
【請求項7】
認証対象装置が保持する機械学習モデルの正当性を認証する認証装置が実行する認証方法であって、
前記認証装置は、
前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第1の入力情報の分類根拠を可視化した情報を示す第1の分類根拠情報を得る第1の取得処理と、
非公開情報管理装置が送信した情報として、正当な第2の入力情報及び当該第2の入力情報の分類根拠を可視化した情報を示す第2の分類根拠情報がデータセットである非公開情報を取得する第2の取得処理と、
前記第1の分類根拠情報と前記第2の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証処理と、
を実行する認証方法。
【請求項8】
コンピュータに、請求項7に記載の方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、認証装置、通信システム、認証方法、及びプログラムに関する。
【背景技術】
【0002】
学習済みモデルを有する人工知能装置は、それぞれ適切なアーキテクチャと学習用データを用いた学習によって構築される。このとき、既存の機械学習モデルについて公開情報のみを参考にして新たな機械学習モデルを作り出すことが通常だが、非公開情報を暴き出し、これを参考にして新たな機械学習モデルを作り出そうとする者が存在する。
【0003】
これに対して、機械学習モデルに関する非公開情報を反映した入出力情報をあらかじめ記録しておき、別の機械学習モデルに対して、記録した入力情報を渡し、記録した通りの出力情報が返されるか確認することで、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証する知的財産保護技術が提案されている(非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0004】
【文献】Lukas, Nils, et al. "SoK: How Robust is Image Classification Deep Neural Network Watermarking?(Extended Version)." arXiv preprint arXiv:2108.04974 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献1に開示の従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズが高まっている。
【0006】
本発明は、上記の点に鑑みてなされたものであり、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、請求項1に係る発明は、認証対象装置が保持する機械学習モデルの正当性を認証する認証装置であって、前記認証対象装置が送信した情報に基づき、前記機械学習モデルの第1の入力情報の分類根拠を可視化した情報を示す第1の分類根拠情報を得る第1の取得部と、非公開情報管理装置が送信した情報として、正当な第2の入力情報及び当該第2の入力情報の分類根拠を可視化した情報を示す第2の分類根拠情報がデータセットである非公開情報を取得する第2の取得部と、前記第1の分類根拠情報と前記第2の分類根拠情報を比較することで、前記認証対象装置の前記機械学習モデルの正当性を認証する認証部と、を有する認証装置である。
【発明の効果】
【0008】
以上説明したように本発明によれば、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズに対応することができるという効果を奏する。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係る通信システムの概略図である。
【
図2】実施形態に係る通信システムの各装置のハードウェア構成図である。
【
図3】第1の実施形態に係る通信システムの各装置の機能構成図である。
【
図4】第1の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。
【
図5】第2の実施形態に係る通信システムの各装置の機能構成図である。
【
図6】第2の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。
【発明を実施するための形態】
【0010】
〔全体構成の概略〕
図1は、本発明の実施形態に係る通信システムの概略図である。
図1に示されているように、本実施形態の通信システム1は、認証対象装置3、認証装置5、及び非公開情報管理装置7によって構築されている。
【0011】
また、認証対象装置3、認証装置5、及び非公開情報管理装置7は、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
【0012】
認証対象装置3は、単数又は複数のコンピュータによって構成されている。認証対象装置3は、学習済みの機械学習モデルを構築するのに使用したアーキテクチャと学習用データを保持した人工知能装置であり、機械学習モデルの正当性が認証される対象である。認証対象装置3は、認証装置5が行う認証のために、認証装置5に対して、機械学習モデルの第1の入力情報、及びCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)において第1の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を送信する。
【0013】
なお、機械学習モデル(機械学習アルゴリズム)は、CNNを用いる場合に限られない。機械学習モデルが用いる他の例として、RF(Random Forest: ランダムフォレスト)、SVM(Support Vector Machine: サポートベクターマシーン)、又はNN(Neural Network: ニューラルネットワーク)等が挙げられる。
【0014】
また、特徴マップは、後述の分類根拠を生成するために必要であり認証対象装置3に紐づいた分類特徴情報の一例である。この分類特徴情報の他の例としては、特徴量(機械学習モデルへの入力要素)、疑似学習用データ(機械学習モデルの学習用データからランダムにいくつかのデータを選び、当該選んだデータを機械学習モデルに入力した際の出力と入力の組み合わせ)等が挙げられる。
【0015】
認証装置5は、単数又は複数のコンピュータによって構成されている。認証装置5は、認証対象装置3の機械学習モデルの正当性を認証する装置である。
【0016】
非公開情報管理装置7は、単数又は複数のコンピュータによって構成されている。非公開情報管理装置7は、例えば、認証装置5が行う認証のために、認証装置5に対して、正当な第2の入力情報及びこの第2の入力情報の分類根拠を可視化した第2のヒートマップを示す第2の分類根拠情報がデータセットである非公開情報を送信する装置である。ヒートマップは、分類情報を可視化した情報(又は可視化した状態の名称)である分類根拠情報の一例である。分類根拠情報の他の例として、分類特徴情報が上述の特徴量の場合の波形、分類特徴情報が上述の疑似学習用データの場合の決定木等が挙げられる。
【0017】
〔ハードウェア構成〕
<各装置のハードウェア構成>
次に、
図2を用いて、通信システム1の各装置(認証対象装置3、認証装置5、非公開情報管理装置7)のハードウェア構成について説明する。
図2は、実施形態に係る通信システムの各装置のハードウェア構成図である。
【0018】
図2に示されているように、認証対象装置3は、プロセッサ301、メモリ302、補助記憶装置303、接続装置304、通信装置305、ドライブ装置306を有する。なお、認証対象装置3を構成する各ハードウェアは、バス307を介して相互に接続される。
【0019】
プロセッサ301は、認証対象装置3全体の制御を行う制御部の役割を果たし、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ301は、各種プログラムをメモリ302上に読み出して実行する。なお、プロセッサ301には、GPGPU(General-purpose computing on graphics processing units)が含まれていてもよい。
【0020】
メモリ302は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ301とメモリ302とは、いわゆるコンピュータを形成し、プロセッサ301が、メモリ302上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0021】
補助記憶装置303は、各種プログラムや、各種プログラムがプロセッサ301によって実行される際に用いられる各種情報を格納する。
【0022】
接続装置304は、外部装置(例えば、表示装置310、操作装置311)と認証対象装置3とを接続する接続デバイスである。
【0023】
通信装置305は、他の装置(機器、サーバ、システムを含む)との間で各種情報を送受信するための通信デバイスである。
【0024】
ドライブ装置306は記録媒体330をセットするためのデバイスである。ここでいう記録媒体330には、CD-ROM(Compact Disc Read-Only Memory)、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体330には、ROM(Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0025】
なお、補助記憶装置303にインストールされる各種プログラムは、例えば、配布された記録媒体330がドライブ装置306にセットされ、該記録媒体330に記録された各種プログラムがドライブ装置306により読み出されることでインストールされる。あるいは、補助記憶装置303にインストールされる各種プログラムは、通信装置305を介してネットワークからダウンロードされることで、インストールされてもよい。
【0026】
また、
図2には、認証装置5のハードウェア構成が示されているが、符号が300番台から500番台に変わっただけで、各構成は同様であるため、これらの説明を省略する。同様に、
図2には、非公開情報管理装置7のハードウェア構成が示されているが、符号が300番台から700番台に変わっただけで、各構成は同様であるため、これらの説明を省略する。
【0027】
●第1の実施形態
〔第1の実施形態の機能構成〕
続いて、
図3及び
図4を用いて、本発明の第1の実施形態について説明する。
図3は、第1の実施形態に係る通信システムの各装置の機能構成図である。第1の実施形態では、A社が認証対象装置3を管理しており、B社が認証装置5a及び非公開情報管理装置7を管理している。通信システム1aは、認証対象装置3、認証装置5a、及び非公開情報管理装置7を有している。なお、認証装置5aは、
図1の認証装置5の一例である。また、通信システム1aは、通信システム1の一例である。
【0028】
<認証対象装置3の機能構成>
認証対象装置3は、送受信部31を有している。この送受信部31は、認証対象装置3にインストールされた1以上のプログラムを使用して、プロセッサ301が認証対象装置3に実現させる機能である。更に、認証対象装置3は、記憶部30を有している。記憶部30は、メモリ302又は補助記憶装置303によって実現される。記憶部30には、認証(検証)対象となる機械学習モデルが記憶されている。
【0029】
送受信部31は、認証装置5aに対して、認証対象の機械学習モデルの第1の入力情報及びCNNにおいて第1の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を送信する。
【0030】
<認証装置5aの機能構成>
認証装置5aは、送受信部51、及び認証部53を有している。これら各部は、認証装置5aにインストールされた1以上のプログラムを使用して、プロセッサ501が認証装置5aに実現させる機能である。更に、認証装置5aは、記憶部50を有している。記憶部50は、メモリ502又は補助記憶装置503によって実現される。記憶部50には、認証結果のデータが記憶される。
【0031】
また、送受信部51は、第1の取得部51a及び第2の取得部51bを有する。このうち、第1の取得部51aは、Grad-CAM(Gradient-weighted Class Activation Mapping)を用いて、認証対象装置3から、第1の入力情報及びCNNにおいて第1の入力情報の分類に必要な単一又は複数の層である特徴マップを含む情報を受信し、第1の入力情報及び特徴マップに基づき、認証対象の機械学習モデルの第1の入力情報の分類根拠を可視化した第1のヒートマップを示す第1の分類根拠情報を生成して得る。
【0032】
なお、第1の取得部51aは、Grad-CAMではなく、他の手法を用いてもよい。他の手法として、例えば、より詳細に分類するGuidedGrad-CAM、分類根拠情報としての波形を生成するPDP(Partial Dependence Plot)、分類根拠情報としての決定木を生成するBorn Again Tree等が挙げられる。第1の取得部51aがPDPを用いる場合、第1の取得部51aは、特徴マップ(分類特徴情報の一例)ではなく、特徴量(分類特徴情報の一例)を用いて波形(分類根拠情報の一例)を生成する。また、第1の取得部51aがBorn Again Treeを用いる場合、第1の取得部51aは、特徴マップ(分類特徴情報の一例)ではなく、疑似学習用データ(分類特徴情報の一例)を用いて決定木(分類根拠情報の一例)を生成する。
【0033】
第2の取得部51bは、非公開情報管理装置7が送信した情報として、正当な第2の入力情報及びこの第2の入力情報の分類根拠を可視化した第2のヒートマップを示す第2の分類根拠情報がデータセットである非公開情報を取得する。
【0034】
また、認証部53は、第1の分類根拠情報と第2の分類根拠情報を比較することで、認証対象装置3の認証対象の機械学習モデルの正当性を認証する。この場合、認証部53は、比較した結果が閾値以上の類似度を示す場合に、認証対象の機械学習モデルが正当であると判断する。
【0035】
また、認証部53は、準同型暗号(HE:Homomorphic Encryption)技術を用いて、2つの情報の比較を行う。準同型暗号技術は、暗号化した複数のデータ同士の比較が可能であり、暗号化したデータと暗号化されていないデータ(平文)の比較も可能である。なお、平文同士の比較の場合、認証部53は、準同型暗号技術を用いなくてもよい。
【0036】
<非公開情報管理装置7の機能構成>
非公開情報管理装置7は、送受信部71を有している。この送受信部71は、非公開情報管理装置7にインストールされた1以上のプログラムを使用して、プロセッサ701が非公開情報管理装置7に実現させる機能である。更に、非公開情報管理装置7は、記憶部70を有している。記憶部70は、メモリ702又は補助記憶装置703によって実現される。記憶部70には、正当な第2の入力情報及びこの第2の入力情報の分類根拠を可視化した第2のヒートマップを示す第2の分類根拠情報がデータセットである非公開情報が記憶されている。なお、この非公開情報は、暗号化されている場合と暗号化されていない場合のどちらでもよい。暗号化されている場合には、悪意のある攻撃者により、非公開情報が暴き出され、この非公開情報を参考にして無断で新たな人工知能装置が作り出される等の行為を防止することができる。
【0037】
送受信部71は、認証装置5aに対して、正当な第2の入力情報及び当該第2の入力情報の分類根拠を可視化した第2のヒートマップを示す第2の分類根拠情報がデータセットである非公開情報を送信する。
【0038】
〔第1の実施形態の処理又は動作〕
続いて、
図4を用いて、通信システム1aの処理又は動作を説明する。
【0039】
認証装置5aの第1の取得部51aが、認証対象装置3から、認証対象の機械学習モデルの第1の入力情報及びCNNにおいて第1の入力情報の分類に必要な単一又は複数の層である特徴マップの情報を受信する(S11)。更に、第1の取得部51aは、第1の入力情報及び記特徴マップに基づき、認証対象の機械学習モデルの第1の入力情報の分類根拠を可視化した第1のヒートマップを示す第1の分類根拠情報を生成して得る(S12)。
【0040】
次に、認証装置5aの第2の取得部51bは、非公開情報管理装置7が送信した情報として、正当な第2の入力情報及びこの第2の入力情報の分類根拠を可視化した第2のヒートマップを示す第2の分類根拠情報がデータセットである非公開情報を受信することで取得する(S14)。
【0041】
次に、認証部53は、第1の分類根拠情報と前記第2の分類根拠情報を比較することで、認証対象装置3の機械学習モデルの正当性を認証する(S15)。
【0042】
最後に、記憶部50は、認証部53による認証結果のデータを記憶する。
【0043】
以上により、第1の実施形態の処理又は動作が終了する。
【0044】
〔第1の実施形態の効果〕
以上説明したように、第1の実施形態によれば、認証対象の機械学習モデルの入力情報及び出力情報の組によるデータセットではなく、入力情報と特徴マップから生成するヒートマップを示す第1の分類根拠情報を用いて認証を行うため、従来以外の手法により、新たに作成された機械学習モデルが既存の機械学習モデルの非公開情報を参照したかどうかを検証するニーズに対応することができるという効果を奏する。
【0045】
また、攻撃者が、非公開情報を参照して、新たな機械学習モデル(認証対象装置)を作成した場合、その攻撃者の認証対象装置には使用者に対する攻撃が仕掛けられている可能性がある。そのため、機械学習モデルを使用する際には、使用者自身が使用したい機械学習モデルが、別の機械学習モデルに関する非公開情報を暴いたうえで攻撃者によって作成された機械学習モデルではないことを確認する必要がある。しかし、非特許文献1に示された従来の手法では、別の機械学習モデルに関する非公開情報を参考にして攻撃者が作成した機械学習モデルかどうか検証するために必要な入出力情報が、機械学習モデルの使用者には公開されていないため、認証装置5aは、認証(検証)することができない。これに対して、本実施形態では、入出力情報に代わって第1の入力情報と特徴マップの情報により、第1の入力情報の分類根拠を可視化した第1のヒートマップを示す第1の分類根拠情報を用いることで、入力情報を機械学習モデルの使用者に公開し、第1の分類根拠情報を使用者に秘匿する。これにより、機械学習モデルの使用者を含む任意の者は、機械学習モデルが攻撃者によって作成された機械学習モデルか否かを検証することのできるという効果を奏する。
【0046】
●第2の実施形態
続いて、
図5及び
図6を用いて、本発明の第2の実施形態について説明する。なお、第2の実施形態は第1の実施形態と共通する部分が多いため、相違する部分を主に説明する。
【0047】
〔第2の実施形態の機能構成〕
図5は、第2の実施形態に係る通信システムの各装置の機能構成図である。
図6は、第2の実施形態に係る通信システムの処理又は動作を示すシーケンス図である。
【0048】
第2の実施形態では、A社が認証対象装置3を管理しており、B社が認証装置5bを管理しており、C者が非公開情報管理装置7を管理している。通信システム1bは、認証対象装置3、認証装置5b、及び非公開情報管理装置7を有している。なお、認証装置5bは、
図1の認証装置5の一例である。また、通信システム1bは、通信システム1の一例である。
【0049】
なお、認証対象装置3及び非公開情報管理装置7は、第1の実施形態と同様であるため、その説明を省略する。
【0050】
<認証装置5bの機能構成>
認証装置5bは、認証装置5aに対して暗号化部52が追加された以外は同様の構成を有している。暗号化部52を含めた各部は、認証装置5bにインストールされた1以上のプログラムを使用して、プロセッサ501が認証装置5bに実現させる機能である。
【0051】
暗号化部52は、第1の取得部によって取得された第1の分類根拠情報を暗号化する。
【0052】
〔第2の実施形態の処理又は動作〕
続いて、
図6を用いて、通信システム1bの処理又は動作を説明する。
【0053】
第2の実施形態では、処理(S21,S22,S24,S25,S26)は、それぞれ第1の実施形態における処理(S11,S12,S14,S15,S16)と同様の処理であるため、これらの説明を省略する。
【0054】
第2の実施形態では、処理(S22)後、暗号化部52が、第1の取得部によって生成すうことで取得された第1の分類根拠情報を暗号化する。この場合、認証部53は、準同型暗号技術を用いる。
【0055】
〔第2の実施形態の効果〕
以上説明したように本実施形態によれば、第1の実施形態の効果に加え、たとえ、非公開情報が暗号化されていても、第1の分類根拠情報を暗号化することで、認証部53は、準同型暗号技術を用いて認証を行うことができる。
【0056】
〔補足〕
本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理(動作)であってもよい。
【0057】
認証対象装置3、認証装置5、及び非公開情報管理装置7は、コンピュータとプログラムによっても実現できるが、このプログラムを(非一時的な)記録媒体に記録することも、インターネット等のネットワークを通して提供することも可能である。
【符号の説明】
【0058】
1 通信システム
1a 通信システム
1b 通信システム
3 認証対象装置
5 認証装置
7 非公開情報管理装置
51 送受信部
51a 第1の取得部
51b 第2の取得部
52 暗号化部
53 認証部
50 記憶部
100 通信ネットワーク