知財求人 - 知財ポータルサイト「IP Force」
特開2024-140247データ拡張生成装置、データ拡張生成方法及びデータ拡張生成プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140247
(43)【公開日】2024-10-10
(54)【発明の名称】データ拡張生成装置、データ拡張生成方法及びデータ拡張生成プログラム
(51)【国際特許分類】
G06N 3/04 20230101AFI20241003BHJP
G06N 3/08 20230101ALI20241003BHJP
【ＦＩ】
G06N3/04 100
G06N3/08
【審査請求】未請求
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023051297
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】成定 真太郎
(72)【発明者】
【氏名】披田野 清良
(57)【要約】
【課題】バックドア攻撃に頑健なデータ拡張を生成できる装置を提供すること。
【解決手段】データ拡張生成装置１は、第１のグラフの入力を受け付ける入力部１１と、第１のグラフを辺拡散した第２のグラフを取得する辺拡散部１２と、第１及び第２のグラフのグローバル表現を取得するグローバル表現取得部１３と、第１及び第２のグラフのデータ拡張を取得する拡張処理部１４と、第１及び第２のグラフのデータ拡張のローカル及びグローバル表現を取得するローカル表現取得部１５と、第１及び第２のグラフ間の類似度を計算する類似度計算部１６と、類似度に基づく損失を計算する損失計算部１７と、損失の勾配を計算しニューラルネットワークを更新する学習処理部１８と、新たなグラフに対して、第１及び第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部１９と、を備える。
【選択図】図１
【解決手段】データ拡張生成装置１は、第１のグラフの入力を受け付ける入力部１１と、第１のグラフを辺拡散した第２のグラフを取得する辺拡散部１２と、第１及び第２のグラフのグローバル表現を取得するグローバル表現取得部１３と、第１及び第２のグラフのデータ拡張を取得する拡張処理部１４と、第１及び第２のグラフのデータ拡張のローカル及びグローバル表現を取得するローカル表現取得部１５と、第１及び第２のグラフ間の類似度を計算する類似度計算部１６と、類似度に基づく損失を計算する損失計算部１７と、損失の勾配を計算しニューラルネットワークを更新する学習処理部１８と、新たなグラフに対して、第１及び第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部１９と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１のグラフの集合の入力を受け付ける入力部と、
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散部と、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得部と、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理部と、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得部と、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算部と、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算部と、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理部と、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部と、を備えるデータ拡張生成装置。
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散部と、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得部と、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理部と、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得部と、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算部と、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算部と、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理部と、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部と、を備えるデータ拡張生成装置。
【請求項2】
前記第１のグラフのクラス情報を利用可能な場合に、
前記損失計算部は、同じクラスの表現間の類似度が大きいほど、及び異なるクラスの表現間の類似度が小さいほど、値が小さくなるように設計された第２の損失をさらに計算し、
前記学習処理部は、前記第２の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する請求項１に記載のデータ拡張生成装置。
前記損失計算部は、同じクラスの表現間の類似度が大きいほど、及び異なるクラスの表現間の類似度が小さいほど、値が小さくなるように設計された第２の損失をさらに計算し、
前記学習処理部は、前記第２の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する請求項１に記載のデータ拡張生成装置。
【請求項3】
第１のグラフの集合の入力を受け付ける入力ステップと、
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散ステップと、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得ステップと、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理ステップと、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得ステップと、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算ステップと、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算ステップと、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理ステップと、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力ステップと、をコンピュータが実行するデータ拡張生成方法。
前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散ステップと、
前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得ステップと、
前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理ステップと、
前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得ステップと、
前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算ステップと、
同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算ステップと、
前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理ステップと、
学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力ステップと、をコンピュータが実行するデータ拡張生成方法。
【請求項4】
請求項１又は請求項２に記載のデータ拡張生成装置としてコンピュータを機能させるためのデータ拡張生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、グラフニューラルネットワーク（ＧＮＮ： Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に対するバックドア攻撃への対策手法に関する。
【背景技術】
【0002】
ＧＮＮは、グラフ構造のデータを高い精度で分類するために重要な技術であるが、近年、ＧＮＮに対するバックドア攻撃が可能であることが指摘されている。ＧＮＮに対するバックドア攻撃は、攻撃者がトリガと呼ばれる部分グラフを付与したグラフデータ（毒データ）を訓練データに混入させ、毒データ入りの訓練データをＧＮＮに学習させることで、推論時にトリガが付与されたデータのみを攻撃者の目標クラスに誤分類させることを目的とする攻撃である。
【0003】
ＧＮＮに対する主なバックドア攻撃としては、非特許文献１で示された全てのグラフに対して同一のトリガを使用する固定トリガを用いたラベルフリップ攻撃（毒データを訓練データに混入させる際に、ラベルを標的クラスに変更する攻撃）に基づく手法と、非特許文献２で示されたグラフ毎にトリガを最適化する適応型トリガを用いたラベルフリップ攻撃に基づく手法がある。
【0004】
ＧＮＮに対するバックドア攻撃の対策手法はほとんど知られていないが、非特許文献３では、固定トリガに基づくバックドア攻撃に対して、ＡＩの説明可能性（ＸＡＩ： Ｅｘｐｌａｉｎａｂｌｅ ＡＩ）におけるｆｉｄｅｌｉｔｙ（忠実度）及びｉｎｆｉｄｅｌｉｔｙ（非忠実度）という指標に基づいた毒グラフの特定及びトリガの除去を行うアルゴリズムが提案された。
【0005】
また、グラフ対照学習（ＧＣＬ： Ｇｒａｐｈ Ｃｏｎｔｒａｓｔｉｖｅ Ｌｅａｒｎｉｎｇ）とは、グラフを拡張することによって、拡張されたグラフ（データ拡張）の有用性とモデルの性能を向上させることを目的としたグラフ学習の一手法である。通常のグラフを訓練した場合と比べて、データ拡張を訓練した場合にモデルがより高い分類精度を獲得する事例が非特許文献４のＭＶＧＲＬ及び非特許文献５のＬＧ２ＡＲ等で報告されている。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Zaixi Zhang et al. "Backdoor Attacks to Graph Neural Networks". In: Proceedings of the 26th ACM Symposium on Access Control Models and Technologies. SACMAT '21. 2021, pp. 15-26.
【非特許文献2】Zhaohan Xi et al. "Graph Backdoor". In: 30th USENIX Security Symposium (USENIX Security 21). 2021, pp. 1523-1540.
【非特許文献3】Bingchen Jiang and Zhao Li. "Defending Against Backdoor Attack on Graph Nerual Network by Explainability". 2022.
【非特許文献4】Kaveh Hassani and Amir Hosein Khasahmadi. "Contrastive Multi-View Representation Learning on Graphs". In: Proceedings of the 37th International Conference on Machine Learning. ICML '20. 2020.
【非特許文献5】Kaveh Hassani and Amir Hosein Khasahmadi. "Learning graph augmentations to learn graph representations". In: arXiv preprint arXiv:2201.09830 (2022).
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の手法（非特許文献１）は、固定トリガを用いたバックドア攻撃の対策であり、適応型トリガを用いたより高度なバックドア攻撃に対する防御の有効性は示されていない。また、毒グラフと判定されたグラフからトリガと判定された部分グラフを取り除くため、誤判定及び誤除去によって、毒が含まれていないクリーンなグラフの分類精度が低下する場合があることが実験的に示されている。
【0008】
本発明は、バックドア攻撃に頑健なデータ拡張を生成できるデータ拡張生成装置、データ拡張生成方法及びデータ拡張生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係るデータ拡張生成装置は、第１のグラフの集合の入力を受け付ける入力部と、前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散部と、前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得部と、前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理部と、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得部と、前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算部と、同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算部と、前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理部と、学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力部と、を備える。
【0010】
前記第１のグラフのクラス情報を利用可能な場合に、前記損失計算部は、同じクラスの表現間の類似度が大きいほど、及び異なるクラスの表現間の類似度が小さいほど、値が小さくなるように設計された第２の損失をさらに計算し、前記学習処理部は、前記第２の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新してもよい。
【0011】
本発明に係るデータ拡張生成方法は、第１のグラフの集合の入力を受け付ける入力ステップと、前記第１のグラフの隣接行列に対して辺拡散を実施した第２のグラフの集合を取得する辺拡散ステップと、前記第１のグラフ及び前記第２のグラフを、それぞれニューラルネットワークで構成された第１のエンコーダに入力し、前記第１のグラフのグローバル表現及び前記第２のグラフのグローバル表現を取得するグローバル表現取得ステップと、前記第１のグラフ及び当該第１のグラフのグローバル表現、並びに前記第２のグラフ及び当該第２のグラフのグローバル表現を、それぞれニューラルネットワークで構成されたオーグメンタに入力し、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を取得する拡張処理ステップと、前記第１のグラフのデータ拡張及び前記第２のグラフのデータ拡張を、それぞれニューラルネットワークで構成された第２のエンコーダに入力し、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を取得するローカル表現取得ステップと、前記第１のグラフのデータ拡張のローカル表現と、前記第２のグラフのデータ拡張のグローバル表現との類似度、及び前記第２のグラフのデータ拡張のローカル表現と、前記第１のグラフのデータ拡張のグローバル表現との類似度を計算する類似度計算ステップと、同一のグラフに基づく表現間の類似度が大きいほど、及び異なるグラフに基づく表現間の類似度が小さいほど、値が小さくなるように設計された第１の損失を計算する損失計算ステップと、前記第１の損失の勾配を計算し、前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダにおけるニューラルネットワークのパラメータを更新する学習処理ステップと、学習済みの前記第１のエンコーダ、前記オーグメンタ、及び前記第２のエンコーダを用いて、新たなグラフを前記第１のグラフとした場合の、前記第１のグラフのデータ拡張のローカル表現及びグローバル表現、並びに前記第２のグラフのデータ拡張のローカル表現及びグローバル表現を出力する出力ステップと、をコンピュータが実行する。
【0012】
本発明に係るデータ拡張生成プログラムは、前記データ拡張生成装置としてコンピュータを機能させるためのものである。
【発明の効果】
【0013】
本発明によれば、バックドア攻撃に頑健なデータ拡張を生成できる。
【図面の簡単な説明】
【0014】
【図1】実施形態におけるデータ拡張生成装置の機能構成を示す図である。
【図2】実施形態におけるデータ拡張生成方法の学習アルゴリズムを示す図である。
【図3】実施形態におけるデータ拡張生成方法の手順を示す模式図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態の一例について説明する。
本実施形態のデータ拡張生成方法は、ＧＣＬを用いることで、モデルの分類精度を向上させるとともに、ＧＮＮを用いた機械学習システムに対する攻撃手法の一種であるバックドア攻撃に耐性のあるデータ拡張（Ａｕｇｍｅｎｔａｔｉｏｎ）及びその潜在表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を生成する方法である。
ＭＶＧＲＬ（非特許文献４）又はＬＧ２ＡＲ（非特許文献５）といった既存のＧＣＬを直接バックドア攻撃の対策として使用しても、攻撃成功率を低下させる効果は期待できないが、本実施形態では、ＧＣＬがトリガを学習し難くなるよう、ＧＣＬの学習過程において独自の工夫が施される。
本実施形態のデータ拡張生成方法は、ＧＣＬを用いることで、モデルの分類精度を向上させるとともに、ＧＮＮを用いた機械学習システムに対する攻撃手法の一種であるバックドア攻撃に耐性のあるデータ拡張（Ａｕｇｍｅｎｔａｔｉｏｎ）及びその潜在表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を生成する方法である。
ＭＶＧＲＬ（非特許文献４）又はＬＧ２ＡＲ（非特許文献５）といった既存のＧＣＬを直接バックドア攻撃の対策として使用しても、攻撃成功率を低下させる効果は期待できないが、本実施形態では、ＧＣＬがトリガを学習し難くなるよう、ＧＣＬの学習過程において独自の工夫が施される。
【0016】
本実施形態における新たなグラフ対照学習アルゴリズムであるＬＧ４ＰＤ（Ｌｅａｒｎｉｎｇ Ｇｒａｐｈ Ａｕｇｍｅｎｔａｔｉｏｎｓ ｆｏｒ Ｐｏｉｓｏｎｅｄ Ｇｒａｐｈ Ｄａｔａｓｅｔ）は、グラフＧを入力し、Ｇのデータ拡張に基づく表現Ｈを出力するニューラルネットワークを含む学習アルゴリズムである。
【0017】
データ拡張生成装置は、まず、毒データの混入した訓練データ全体をＬＧ４ＰＤに与え、ＬＧ４ＰＤを訓練する。訓練済みのＬＧ４ＰＤを用いて、毒データの混入した訓練データ全体をデータ拡張に変換する。このデータ拡張又はその潜在表現、及びラベルの組をＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の下流分類モデルに与えることで、下流分類モデルを訓練できる。下流モデルによる推論時は、入力グラフを訓練済みのＬＧ４ＰＤを用いてデータ拡張又はその潜在表現に変換した後、下流分類モデルに与えられる。
【0018】
図１は、本実施形態におけるＬＧ４ＰＤを実行するデータ拡張生成装置１の機能構成を示す図である。
データ拡張生成装置１は、制御部１０及び記憶部２０の他、各種の入出力インタフェース等を備えたサーバ又はパーソナルコンピュータ等の情報処理装置（コンピュータ）である。
データ拡張生成装置１は、制御部１０及び記憶部２０の他、各種の入出力インタフェース等を備えたサーバ又はパーソナルコンピュータ等の情報処理装置（コンピュータ）である。
【0019】
制御部１０は、データ拡張生成装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。
【0020】
記憶部２０は、ハードウェア群をデータ拡張生成装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。
具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるためのプログラム（データ拡張生成プログラム）の他、ニューラルネットワークのパラメータ、グラフデータ等を記憶する。
具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるためのプログラム（データ拡張生成プログラム）の他、ニューラルネットワークのパラメータ、グラフデータ等を記憶する。
【0021】
制御部１０は、入力部１１と、辺拡散部１２と、グローバル表現取得部１３と、拡張処理部１４と、ローカル表現取得部１５と、類似度計算部１６と、損失計算部１７と、学習処理部１８と、出力部１９とを備える。
データ拡張生成装置１は、これらの機能部を動作させることにより、入力グラフに対するデータ拡張の潜在表現を出力する。
データ拡張生成装置１は、これらの機能部を動作させることにより、入力グラフに対するデータ拡張の潜在表現を出力する。
【0022】
図２は、本実施形態におけるデータ拡張生成方法の学習アルゴリズム（ＬＧ４ＰＤ）を示す図である。
データ拡張生成装置１は、この学習アルゴリズムにより、グラフの集合Ｇを入力として、グラフの潜在表現
を出力する。
データ拡張生成装置１は、この学習アルゴリズムにより、グラフの集合Ｇを入力として、グラフの潜在表現
【数1】
【0023】
１行目： 制御部１０は、入力部１１により、Ｎ個のグラフをサンプリングする。ここで、
はノード特徴であり、ノード数はｎ、各ノードの特徴次元数はｄｘである。
は隣接行列であり、グラフのエッジに相当する。
【数2】
【数3】
【0024】
２行目： 制御部１０は、各グラフＧｉに対して３行目から９行目を実行する。
３行目： 制御部１０は、辺拡散部１２により、グラフＧｉの隣接行列Ａｉに対して辺拡散（Ｅｄｇｅ Ｄｉｆｆｕｓｉｏｎ）を実施し、拡散された隣接行列＾Ａｉを得る。この処理は、ＭＶＧＲＬ（非特許文献４）と共通である。
３行目： 制御部１０は、辺拡散部１２により、グラフＧｉの隣接行列Ａｉに対して辺拡散（Ｅｄｇｅ Ｄｉｆｆｕｓｉｏｎ）を実施し、拡散された隣接行列＾Ａｉを得る。この処理は、ＭＶＧＲＬ（非特許文献４）と共通である。
【0025】
４行目： 制御部１０は、グローバル表現取得部１３により、元のグラフＧｉに対してエンコーダであるｇωを作用させ、グローバル表現
を得る。
ｇωは、Ｇｉを入力としてグローバル表現ｚ１ ｉを出力する１つのＧＮＮである。ここで、ｍはグローバル表現の次元数、ｄｈはグローバル表現の特徴次元数である。
【数4】
ｇωは、Ｇｉを入力としてグローバル表現ｚ１ ｉを出力する１つのＧＮＮである。ここで、ｍはグローバル表現の次元数、ｄｈはグローバル表現の特徴次元数である。
【0026】
５行目： 制御部１０は、グローバル表現取得部１３により、辺拡散されたグラフ＾Ｇｉに対してｇωを作用させ、グローバル表現
を得る。
【数5】
【0027】
６行目： 制御部１０は、拡張処理部１４により、オーグメンタτφ（ＧＮＮ）に元のグラフＧｉ及びグローバル表現ｚ１
ｉを入力し、Ｇｉのデータ拡張Ｇ１
ｉを出力する。
τφは、ｚ１ ｉからＧｉの各ノード又はエッジの確率分布を出力するニューラルネットワークと、ニューラルネットワークの出力から確率の高いノード及びエッジをサンプリングするサンプラから成る。この方式は、ＬＧ２ＡＲ（非特許文献５）を踏襲したものだが、ＬＧ２ＡＲの入力はグローバル表現及びローカル表現であるのに対して、本手法はグローバル表現のみとなっている。
τφは、ｚ１ ｉからＧｉの各ノード又はエッジの確率分布を出力するニューラルネットワークと、ニューラルネットワークの出力から確率の高いノード及びエッジをサンプリングするサンプラから成る。この方式は、ＬＧ２ＡＲ（非特許文献５）を踏襲したものだが、ＬＧ２ＡＲの入力はグローバル表現及びローカル表現であるのに対して、本手法はグローバル表現のみとなっている。
【0028】
７行目： 制御部１０は、拡張処理部１４により、オーグメンタτφ（ＧＮＮ）に辺拡散されたグラフ＾Ｇｉ及びグローバル表現ｚ２
ｉを入力し、＾Ｇｉのデータ拡張Ｇ２
ｉを出力する。
【0029】
８行目： 制御部１０は、ローカル表現取得部１５により、データ拡張Ｇ１
ｉをもう１つのエンコーダｇθに入力し、Ｇ１
ｉのローカル表現
及びグローバル表現
を得る。
ｇθは、Ｇ１ ｉを入力としてローカル表現Ｈ１ ｉを出力する１つのＧＮＮと、Ｈ１ ｉを集約してグローバル表現ｈ１ ｉを出力する１つのｒｅａｄ－ｏｕｔ関数（ｓｕｍｍａｔｉｏｎ）から構成される。
【数6】
【数7】
ｇθは、Ｇ１ ｉを入力としてローカル表現Ｈ１ ｉを出力する１つのＧＮＮと、Ｈ１ ｉを集約してグローバル表現ｈ１ ｉを出力する１つのｒｅａｄ－ｏｕｔ関数（ｓｕｍｍａｔｉｏｎ）から構成される。
【0030】
９行目： 制御部１０は、ローカル表現取得部１５により、データ拡張Ｇ２
ｉをもう１つのエンコーダｇθに入力し、Ｇ２
ｉのローカル表現
及びグローバル表現
を得る。
【数8】
【数9】
【0031】
１０行目： 制御部１０は、各グラフの組（Ｇｉ，Ｇｊ）に対して１１行目から１２行目を実行する。
１１行目： 制御部１０は、類似度計算部１６により、１つ目のローカル表現と２つ目のグローバル表現との類似度を計算する。ローカル表現ＨＶとグローバル表現ｈｇとの間の類似度Ｉ（ＨＶ，ｈｇ）は、次式のように定義される。
ＨＶはグラフｇのノード集合Ｖに対するローカル表現であり、ｈｖはＨＶからノードｖ∈Ｖに対する表現を切り取ったものであり、ｈｇはグラフｇに対するグローバル表現であり、ｈｉ
ｇはグラフｇに対するグローバル表現のｉ行目のベクトルである。ここで、｜Ｖ｜はノード集合の次数、ａ・ｂはベクトルａ，ｂのドット積である。
１１行目： 制御部１０は、類似度計算部１６により、１つ目のローカル表現と２つ目のグローバル表現との類似度を計算する。ローカル表現ＨＶとグローバル表現ｈｇとの間の類似度Ｉ（ＨＶ，ｈｇ）は、次式のように定義される。
【数10】
【0032】
１２行目： 制御部１０は、類似度計算部１６により、２つ目のローカル表現と１つ目のグローバル表現との類似度を計算する。
【0033】
１３行目： 制御部１０は、損失計算部１７により、１１行目で求めた全ての組（ｉ，ｊ）に対する類似度から、ＳＳＣＬ（Ｓｅｌｆ－Ｓｕｐｅｒｖｉｓｅｄ Ｃｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ）を用いて、次式で定義される損失Ｌ１
ｓｅｌｆを求める。
Ｌｉ
ｓｅｌｆは、同じグラフＧｉに基づく表現間の類似度が大きいほど損失が小さくなり（分子）、異なるグラフＧｉ，Ｇｊ（ｉ≠ｊ）に基づく表現間の類似度が大きいほど損失が大きくなる（分母）ように設計されている。
【数11】
【0034】
１４行目： 制御部１０は、損失計算部１７により、１２行目で求めた全ての組（ｉ，ｊ）に対する類似度から、ＳＳＣＬを用いて損失Ｌ２
ｓｅｌｆを求める。
【0035】
１５行目： 各グラフＧｉのクラス情報ｙｉ（ラベル）を利用可能な場合、制御部１０は、損失計算部１７により、１１行目で求めた全ての組（ｉ，ｊ）に対する類似度から、ＳＣＬ（Ｓｕｐｅｒｖｉｓｅｄ Ｃｏｎｔｒａｓｔｉｖｅ Ｌｏｓｓ）を用いて、次式で定義される損失Ｌ１
ｓｕｐを求める。
ここで、ｙｉはグラフＧｉのクラスである。また、Ｎｙｉはバッチ内のクラスｙｉに属するグラフの個数である。
Ｌｉ ｓｕｐは、同じクラスのデータ間の類似度が大きいほど損失が小さくなり（分子）、異なるクラスのデータ間の類似度が大きいほど損失が大きくなる（分母）ように設計されている。
【数12】
Ｌｉ ｓｕｐは、同じクラスのデータ間の類似度が大きいほど損失が小さくなり（分子）、異なるクラスのデータ間の類似度が大きいほど損失が大きくなる（分母）ように設計されている。
【0036】
１６行目： 各グラフＧｉのクラス情報ｙｉ（ラベル）を利用可能な場合、制御部１０は、損失計算部１７により、１２行目で求めた全ての組（ｉ，ｊ）に対する類似度から、ＳＣＬを用いて損失Ｌ２
ｓｕｐを求める。
【0037】
１７行目： 制御部１０は、学習処理部１８により、Ｌ１
ｓｅｌｆ及びＬ２
ｓｅｌｆの勾配を計算し、各ニューラルネットワークのパラメータを更新する。
１８行目： 制御部１０は、学習処理部１８により、Ｌ１ ｓｕｐ及びＬ２ ｓｕｐの勾配を計算し、各ニューラルネットワークのパラメータを更新する。
１８行目： 制御部１０は、学習処理部１８により、Ｌ１ ｓｕｐ及びＬ２ ｓｕｐの勾配を計算し、各ニューラルネットワークのパラメータを更新する。
【0038】
図３は、本実施形態におけるデータ拡張生成方法の手順を示す模式図である。
データ拡張生成装置１は、ノード数ｎのグラフＧｉに対して、辺拡散されたグラフ＾Ｇｉを生成すると、両者に対してオーグメンタτφを適用することよりデータ拡張Ｇ１ ｉ及びＧ２ ｉを生成する。
このとき、オーグメンタτφへの入力は、グラフ（Ｇｉ又は＾Ｇｉ）の他、エンコーダｇωによりｍ（１≦ｍ＜ｎ）次元に圧縮されたグラフのグローバル表現（ｚ１ ｉ又はｚ２ ｉ）である。
データ拡張生成装置１は、ノード数ｎのグラフＧｉに対して、辺拡散されたグラフ＾Ｇｉを生成すると、両者に対してオーグメンタτφを適用することよりデータ拡張Ｇ１ ｉ及びＧ２ ｉを生成する。
このとき、オーグメンタτφへの入力は、グラフ（Ｇｉ又は＾Ｇｉ）の他、エンコーダｇωによりｍ（１≦ｍ＜ｎ）次元に圧縮されたグラフのグローバル表現（ｚ１ ｉ又はｚ２ ｉ）である。
【0039】
次に、データ拡張生成装置１は、得られたデータ拡張Ｇ１
ｉ及びＧ２
ｉを、それぞれエンコーダｇθにより圧縮し、ｎ次元のローカル表現及びｍ次元のグローバル表現を生成する。
データ拡張生成装置１は、この２組の潜在表現について、互いのローカル表現とグローバル表現とを比較した類似度に基づく対照学習により、ｇω、τφ、ｇθのニューラルネットワークを学習する。
下流の分類モデルでは、データ拡張又はその潜在表現を入力として学習及び推論が実施される。
データ拡張生成装置１は、この２組の潜在表現について、互いのローカル表現とグローバル表現とを比較した類似度に基づく対照学習により、ｇω、τφ、ｇθのニューラルネットワークを学習する。
下流の分類モデルでは、データ拡張又はその潜在表現を入力として学習及び推論が実施される。
【0040】
本実施形態によれば、データ拡張生成装置１は、オーグメンタτφによりデータ拡張を取得する際に、グラフデータとともに、ＧＮＮにより圧縮されたグローバル表現を入力とする。
ローカル表現は、各ノードの情報を含むため、トリガのノード情報も含んでしまうが、グローバル表現は、各ノードの情報を集約したものであり、通常、トリガはグラフ全体から見ればノイズと考えられるため、集約によってトリガの情報が他の情報に埋もれやすくなる。また、トリガはデータセット全体から見ると稀に出現するものであることから、トリガに相当するノード及びエッジの存在確率は小さく、オーグメンタにτφよりサンプリングされる確率も小さく抑えられる。
ローカル表現は、各ノードの情報を含むため、トリガのノード情報も含んでしまうが、グローバル表現は、各ノードの情報を集約したものであり、通常、トリガはグラフ全体から見ればノイズと考えられるため、集約によってトリガの情報が他の情報に埋もれやすくなる。また、トリガはデータセット全体から見ると稀に出現するものであることから、トリガに相当するノード及びエッジの存在確率は小さく、オーグメンタにτφよりサンプリングされる確率も小さく抑えられる。
【0041】
したがって、データ拡張生成装置１は、バックドア攻撃に頑健なデータ拡張及びその潜在表現を生成でき、さらに、対照学習を用いたことにより、攻撃成功率の低下と分類精度の向上を両立することが可能である。
このとき、データ拡張生成装置１は、グローバル表現の次元ｍを適宜調整することにより、実用的な分類精度を保ったうえで攻撃成功率を低下させる等、攻撃成功率の低下と分類精度の向上とのトレードオフを適切に設定することができる。
このとき、データ拡張生成装置１は、グローバル表現の次元ｍを適宜調整することにより、実用的な分類精度を保ったうえで攻撃成功率を低下させる等、攻撃成功率の低下と分類精度の向上とのトレードオフを適切に設定することができる。
【0042】
データ拡張生成装置１は、オーグメンタτφによりデータ拡張を取得する際にローカル表現を使用していないことから、既存手法であるＬＧ２ＡＲと比較して分類精度が低下する可能性があった。これを防ぐために、データ拡張生成装置１は、ラベル情報に基づいて、同じクラス間の類似度を大きくし、異なるクラス間の類似度を小さくする効果のあるＳＣＬを使うことで、データ拡張の有用性を底上げできる。
また、ラベルフリップ攻撃によって挿入された毒データは、元々別クラスのデータであったが、ＳＣＬを用いることによって、ラベル付けされたクラスのデータに近づけることができる。
この結果、分類精度の向上により、グローバル表現の次元ｍをより小さく設定できることから、攻撃成功率をより低下させることができる。
また、ラベルフリップ攻撃によって挿入された毒データは、元々別クラスのデータであったが、ＳＣＬを用いることによって、ラベル付けされたクラスのデータに近づけることができる。
この結果、分類精度の向上により、グローバル表現の次元ｍをより小さく設定できることから、攻撃成功率をより低下させることができる。
【0043】
なお、本実施形態により、例えば、ＧＮＮに対するバックドア攻撃への汎用的な対策を実施できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
【0044】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
【0045】
データ拡張生成装置１によるデータ拡張生成方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。
【符号の説明】
【0046】
１ データ拡張生成装置
１０ 制御部
１１ 入力部
１２ 辺拡散部
１３ グローバル表現取得部
１４ 拡張処理部
１５ ローカル表現取得部
１６ 類似度計算部
１７ 損失計算部
１８ 学習処理部
１９ 出力部
２０ 記憶部
１０ 制御部
１１ 入力部
１２ 辺拡散部
１３ グローバル表現取得部
１４ 拡張処理部
１５ ローカル表現取得部
１６ 類似度計算部
１７ 損失計算部
１８ 学習処理部
１９ 出力部
２０ 記憶部
【図1】
【図2】
【図3】