特許 7549240 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06F 21/62 20130101AFI20240904BHJP

   G06F 16/906 20190101ALI20240904BHJP

【ＦＩ】

G06F21/62 345

G06F16/906

【請求項の数】 9

(21)【出願番号】P 2021093601

(22)【出願日】2021-06-03

(65)【公開番号】P2022185773

(43)【公開日】2022-12-15

【審査請求日】2024-02-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】前田 若菜

【審査官】岸野 徹

(56)【参考文献】

【文献】再公表特許第２０１９／１８１０９９（ＪＰ，Ａ１）

【文献】特開２０１４－０９８９８９（ＪＰ，Ａ）

【文献】特開２０１１－１８０８３９（ＪＰ，Ａ）

【文献】特開２０２０－０３１２６３（ＪＰ，Ａ）

【文献】特表２０２２－５２６９４８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００９７７６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／６２

Ｇ０６Ｆ １６／９０６

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
クラス分類用の学習済みのモデルを用いて、複数のクラスそれぞれについて、分類対象データが属する可能性を表す確信度を算出し、
前記複数のクラスそれぞれの前記確信度のうちで値が最大の最大確信度が、所定の数値範囲内にあるか否かを判断し、
前記最大確信度が前記数値範囲に含まれない場合、前記最大確信度を前記数値範囲内の値に修正し、
修正後の前記複数のクラスそれぞれの前記確信度を、前記分類対象データに対するクラス分類の結果として出力する、
処理を実行させる情報処理プログラム。

【請求項2】

前記数値範囲は、閾値より大きな値の範囲であり、
前記最大確信度の値の修正処理では、前記閾値以下の前記最大確信度を、前記閾値より大きい値に修正する、
請求項１記載の情報処理プログラム。

【請求項3】

前記コンピュータに、さらに
前記最大確信度が前記数値範囲に含まれない場合、前記複数のクラスそれぞれの前記確信度を値の大きさで並べた場合の順番を維持したまま、減少量の合計が前記最大確信度の増加量と等しくなるように前記最大確信度以外の減少対象確信度の値を減少させる、
処理を実行させる請求項２記載の情報処理プログラム。

【請求項4】

前記減少対象確信度の値を減少させる処理では、値が最小の最小確信度から昇順に、減少量の合計が前記最大確信度の増加量と等しくなるまで、前記減少対象確信度を減少させる、
処理を実行させる請求項３記載の情報処理プログラム。

【請求項5】

前記数値範囲は、閾値以下の値の範囲であり、
前記最大確信度の値の修正処理では、前記閾値を超えた前記最大確信度を、前記閾値以下の値に修正する、
請求項１記載の情報処理プログラム。

【請求項6】

前記コンピュータに、さらに
前記最大確信度が前記数値範囲に含まれない場合、前記複数のクラスそれぞれの前記確信度を値の大きさで並べた場合の順番を維持したまま、増加量の合計が前記最大確信度の減少量と等しくなるように前記最大確信度以外の増加対象確信度の値を増加させる、
処理を実行させる請求項５記載の情報処理プログラム。

【請求項7】

前記最大確信度の値の修正処理では、乱数を用いて前記数値範囲内の値を決定し、決定した値に前記最大確信度を修正する、
請求項１から６までのいずれかに記載の情報処理プログラム。

【請求項8】

コンピュータが、
クラス分類用の学習済みのモデルを用いて、複数のクラスそれぞれについて、分類対象データが属する可能性を表す確信度を算出し、
前記複数のクラスそれぞれの前記確信度のうちで値が最大の最大確信度が、所定の数値範囲内にあるか否かを判断し、
前記最大確信度が前記数値範囲に含まれない場合、前記最大確信度を前記数値範囲内の値に修正し、
修正後の前記複数のクラスそれぞれの前記確信度を、前記分類対象データに対するクラス分類の結果として出力する、
情報処理方法。

【請求項9】

クラス分類用の学習済みのモデルを記憶する記憶部と、
前記モデルを用いて、複数のクラスそれぞれについて、分類対象データが属する可能性を表す確信度を算出し、前記複数のクラスそれぞれの前記確信度のうちで値が最大の最大確信度が、所定の数値範囲内にあるか否かを判断し、前記最大確信度が前記数値範囲に含まれない場合、前記最大確信度を前記数値範囲内の値に修正し、修正後の前記複数のクラスそれぞれの前記確信度を、前記分類対象データに対するクラス分類の結果として出力する処理部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

情報通信技術では、機械学習によって生成した学習済みのモデルを用いて、ネットワークを介して様々なデータ解析サービスを提供することができる。例えばサービス提供用のサーバは、クラス分類を行うモデルを用いて、ユーザから提供されたデータが属するクラスを推定することができる。

【0003】

学習済みのモデルを用いたサービスに関しては様々な技術が提案されている。例えば入力データの確信度を算出して複数の閾値をもとに確定、ユーザ提示、非処理のいずれかを決定し、２つ以上の確定が許されない場合でも矛盾を無くすと共に、人手チェックによるコストを軽減する情報処理装置が提案されている。また機械学習の成果を利用したサービスの迅速な開発を支援することのできるサービス構築装置も提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－３４８５０７号公報

【文献】特開２０１８－９７６７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

モデルを利用したサービスを不特定多数のユーザに提供すると、悪意のあるユーザから攻撃を受ける可能性がある。学習済みのモデルを用いたサービスへの攻撃の１つにメンバーシップ推定攻撃がある。メンバーシップ推定攻撃は、モデルの構築に使用した訓練データに、特定の個人のデータが含まれるか否かを推定する攻撃である。メンバーシップ推定攻撃を許してしまうと、秘匿すべき個人情報が漏れてしまう可能性がある。

【0006】

例えば医療分野で利用する学習済みのモデルとして、投薬量予測モデルがある。投薬量予測モデルの生成には、特定の疾患を有する多数の患者への投薬結果に関するデータが訓練データとして用いられる。メンバーシップ推定攻撃により、特定の患者のデータが訓練データに含まれていることを攻撃者に把握されてしまうと、その患者が特定の疾患を有しているという個人情報も把握されてしまう。従来のクラス分類サービスでは、このようなメンバーシップ推定攻撃に対する耐性が十分ではない。

【0007】

１つの側面では、本件は、メンバーシップ推定攻撃に対する耐性を強化することを目的とする。

【課題を解決するための手段】

【0008】

１つの案では、コンピュータに以下の処理を実行させる情報処理プログラムが提供される。
コンピュータは、クラス分類用の学習済みのモデルを用いて、複数のクラスそれぞれについて、分類対象データが属する可能性を表す確信度を算出する。次にコンピュータは、複数のクラスそれぞれの確信度のうちで値が最大の最大確信度が、所定の数値範囲内にあるか否かを判断する。最大確信度が数値範囲に含まれない場合、コンピュータは、最大確信度を数値範囲内の値に修正する。そしてコンピュータは、修正後の複数のクラスそれぞれの確信度を、分類対象データに対するクラス分類の結果として出力する。

【発明の効果】

【0009】

１態様によれば、メンバーシップ推定攻撃に対する耐性が強化される。

【図面の簡単な説明】

【0010】

【図1】メンバーシップ推定攻撃への耐性を強化させた情報処理方法の一例を示す図である。

【図2】クラス分類サービスを提供するシステム構成の一例を示す図である。

【図3】サーバのハードウェアの一例を示す図である。

【図4】クラス分類サービスの利用状況を示す図である。

【図5】メンバーシップ推定攻撃の一例を示す図である。

【図6】確信度の降順順位を応答した場合に生じる問題の一例を示す図である。

【図7】サーバのクラス分類機能の一例を示すブロック図である。

【図8】確信度修正処理の一例を示す図である。

【図9】メンバーシップ推定攻撃への耐性を向上させた確信度ベクトル生成処理の手順の一例を示すフローチャートである。

【図10】メンバーシップ推定攻撃の失敗例を示す図である。

【図11】最大確信度を減少させる修正を行う確信度修正の一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、メンバーシップ推定攻撃に対する耐性を強化させた情報処理方法である。

【0012】

図１は、メンバーシップ推定攻撃への耐性を強化させた情報処理方法の一例を示す図である。図１には、第１の実施の形態に係る情報処理方法を実現する情報処理装置１０が示されている。情報処理装置１０は、例えば所定の情報処理プログラムを実行することにより、メンバーシップ推定攻撃への耐性を強化させた情報処理方法を実施することができる。

【0013】

情報処理装置１０は、例えば端末１から送信された分類対象データ２に対してクラス分類処理を行い、分類対象データ２が属するクラスを示す分類結果を出力する。そのために、情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリまたはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサまたは演算回路である。

【0014】

記憶部１１は、クラス分類用の学習済みのモデル３を記憶する。モデル３は、例えばニューラルネットワークである。
処理部１２は、分類対象データ２を受信すると、モデル３を用いて、複数のクラスそれぞれについて、分類対象データ２が属する可能性を表す確信度を算出する。例えば分類対象データ２が特徴量ベクトルで表されている場合、処理部１２は、その特徴量ベクトルに含まれる各要素をモデル３への入力として、モデル３の出力を計算する。モデル３の出力が、複数のクラスそれぞれについての確信度である。なお、分類対象データ２が特徴量ベクトルへの加工前のデータの場合、処理部１２は、分類対象データ２に基づいて特徴量ベクトルを生成してもよい。

【0015】

処理部１２は、確信度を算出すると、複数のクラスそれぞれの確信度のうちの値が最大の最大確信度が所定の数値範囲内にあるか否かを判断する。所定の数値範囲とは、例えば予め設定された閾値より大きな値の範囲である。確信度の上限が「１」の場合、閾値から１の間の値の範囲が、所定の数値範囲となる。また予め設定された閾値以下の値の範囲を所定の数値範囲とすることもできる。

【0016】

処理部１２は、最大確信度が所定の数値範囲に含まれない場合、最大確信度を数値範囲内の値に修正する。例えば処理部１２は、所定の数値範囲が閾値より大きな値の範囲の場合、閾値以下の最大確信度を閾値より大きい値に修正する。このとき処理部１２は、複数のクラスそれぞれの確信度を値の大きさで並べた場合の順番を維持したまま、減少量の合計が最大確信度の増加量と等しくなるように最大確信度以外の確信度（減少対象確信度）の値を減少させる。例えば処理部１２は、値が最も小さい最小確信度から昇順に、減少量の合計が最大確信度の増加量と等しくなるまで、最大確信度以外の減少対象確信度を減少させる。

【0017】

図１のグラフ４には、修正前の各クラスの確信度が棒グラフの高さで示されている。グラフ４では、クラス「Ａ」の確信度が最大確信度である。修正前の最大確信度の値は閾値以下である。そこで処理部１２によって確信度が修正される。修正結果がグラフ５に示されている。グラフ５では、クラス「Ａ」の増加量の１／３ずつが、他のクラス「Ｂ」、「Ｃ」、「Ｄ」それぞれの確信度から減算されている。クラス「Ｂ」、「Ｃ」、「Ｄ」の確信度の減少量が等しいため、クラス「Ｂ」、「Ｃ」、「Ｄ」を確信度で並べたときの順番は維持される。

【0018】

処理部１２は、最大確信度を修正した場合、複数のクラスそれぞれの修正後の確信度を、分類対象データ２に対するクラス分類の結果として出力する。また処理部１２は、モデル３を用いて算出した確信度の最大確信度が所定の数値範囲内であった場合には、算出結果を修正せずにクラス分類の結果として出力する。処理部１２は、クラス分類の結果を例えば端末１に送信する。

【0019】

このように、最大確信度が所定の数値範囲外にある場合、最大確信度がその数値範囲内となるように修正することで、クラス分類の結果として出力される最大確信度は、常に数値範囲内にあることとなる。そのため攻撃者が、分類対象データ２のクラス分類を行ったときの最大確信度がある数値範囲内にあるか否かの情報を利用してメンバーシップ推定攻撃を行っても、分類対象データ２が訓練データに含まれるか否かを正しく判断することは困難である。すなわちメンバーシップ推定攻撃に対する耐性が向上している。

【0020】

しかも、修正後も確信度による各クラスの順番が維持される。例えば値が小さい確信度から順に値を所定量ずつ減少させていくことで、修正度の確信度によるクラスの順番の入れ替わりが発生することが確実に抑止される。これにより、確信度を修正することによる情報の劣化を最小限に抑えることができる。その結果、クラス分類の結果を他の情報処理に利用する場合において、他の情報処理の計算精度の劣化が抑止される。

【0021】

なお、所定の数値範囲を閾値以下の値の範囲とすることもできる。この場合、処理部１２は、最大確信度が閾値を超えた最大確信度を閾値以下の値に修正する。例えば処理部１２は、最大確信度が数値範囲に含まれない場合、複数のクラスそれぞれの確信度を値の大きさで並べた場合の順番を維持したまま、増加量の合計が最大確信度の減少量と等しくなるように最大確信度以外の確信度（増加対象確信度）の値を増加させる。これにより、クラス分類の結果に示される最大確信度は常に閾値以下となり、メンバーシップ推定攻撃が困難となる。

【0022】

また処理部１２は、例えば乱数を用いて数値範囲内の値を決定し、決定した値に最大確信度を修正する。これにより修正後の最大確信度の値がランダムな値となり、修正後の最大確信度に基づいて修正の有無を攻撃者に把握されることを抑止できる。

【0023】

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、機械学習により学習済みのモデルを用いたクラス分類サービスを提供するシステムにおいて、メンバーシップ推定攻撃の耐性を向上させたものである。

【0024】

図２は、クラス分類サービスを提供するシステム構成の一例を示す図である。サーバ１００には、ネットワーク２０を介して複数の端末３１，３２，・・・が接続されている。サーバ１００は、クラス分類用の学習済みモデルを有しており、そのモデルを用いたクラス分類サービスを提供するコンピュータである。複数の端末３１，３２，・・・は、クラス分類サービスの提供を受けるユーザが使用するコンピュータである。

【0025】

図３は、サーバのハードウェアの一例を示す図である。サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0026】

メモリ１０２は、サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0027】

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

【0028】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0029】

ＧＰＵ１０４は画像処理を行う演算装置であり、グラフィックコントローラとも呼ばれる。ＧＰＵ１０４には、モニタ２１が接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0030】

入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0031】

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取り、または光ディスク２４へのデータの書き込みを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

【0032】

機器接続インタフェース１０７は、サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。

【0033】

ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース１０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。

【0034】

サーバ１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。複数の端末３１，３２，・・・それぞれも、サーバ１００と同様のハードウェアを有する。また、第１の実施の形態に示した情報処理装置１０も、サーバ１００と同様のハードウェアを有する。

【0035】

サーバ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、サーバ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またサーバ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0036】

サーバ１００は、機械学習で構築した学習済みモデルを公開し、そのモデルに対する端末３１，３２，・・・からのクエリアクセスを許可することで、端末３１，３２，・・・を使用しているユーザにクラス分類サービスを提供する。このとき、ユーザの一部が攻撃者となり、メンバーシップ推定攻撃を行う可能性がある。

【0037】

図４は、クラス分類サービスの利用状況を示す図である。機械学習の技術を用いることで、訓練データ４１を用いた学習によりクラス分類用のモデル４２を生成することができる。モデル４２は、例えばニューラルネットワークで表される。訓練データ４１には、説明変数として用いられる学習データと、目的変数として用いられるデータ（正解ラベル）とが含まれる。クラス分類の場合には、正解ラベルに、学習データが属するクラスが示される。

【0038】

機械学習における学習フェーズでは、学習データをモデル４２に入力したとき、モデル４２で予測されるクラスが正解ラベルと一致するように、モデル４２の重みパラメータなどの値の適性化が行われる。クラス分類を行うモデル４２の出力は、入力されたデータが各クラスに属する確率である。以下、この確率を確信度と呼ぶ。例えばクラスＡ、クラスＢ、クラスＣに分類するモデル４２であれば、各クラスの確信度が出力される。最も確信度が高いクラスが、入力されたデータが属するものと予測されたクラスである。

【0039】

学習済みのモデル４２を利用する一般のユーザ４３～４５は、端末３１，３２，・・・を利用してクエリ４６～４８をサーバ１００に送信する。クエリ４６～４８には、例えばユーザ４３～４５が分類させたいデータの特徴量が示される。特徴量は、例えばベクトルデータで示される。図４の例では、クエリ４６～４８は、４つの要素を含むベクトルデータ（特徴量ベクトル）である。

【0040】

サーバ１００は、クエリ４６～４８をモデル４２への入力とすることで、クエリ４６～４８の生成元となったデータが属するクラスを推定する。ユーザ４３～４５は、クエリ４６～４８に対応する各クラスの確信度をサーバ１００から取得する。ユーザ４３～４５は、取得した確信度を他の情報処理に利用することができる。

【0041】

サーバ１００のユーザ４３～４５に攻撃者が含まれている場合がある。図４の例では、ユーザ４５が攻撃者であるものとする。ユーザ４５は、例えばメンバーシップ推定攻撃を行う。メンバーシップ推定攻撃は、ユーザ４５が取得した個人データ４９がモデル４２の学習に利用した訓練データ４１に含まれるか否かを判別する攻撃である。

【0042】

メンバーシップ推定攻撃が成功すると、特定のデータが機密なデータセットに含まれているかが攻撃者に漏れる。例えば，ワルファリン投与量予測モデルの訓練データにＦさんの個人データ４９が属していると攻撃者が知った場合、Ｆさんは血栓に起因する既往歴があることが攻撃者に漏れることとなる。

【0043】

図５は、メンバーシップ推定攻撃の一例を示す図である。攻撃者は、学習済みモデルにクエリを送り、応答値として確信度を取得可能である。攻撃者の目的は、Ｆさんが学習済みモデルの訓練データに属するか否かの推定である。また攻撃者は、知識として、Ｆさんに関するデータを有している。攻撃者の攻撃手順は以下の通りである。

【0044】

まず攻撃者は、Ｆさんのデータが訓練データに属するかを判断する閾値ｔを設定するために、訓練データに属していないデータの最大確信度を取得する。具体的には、攻撃者は、例えばランダムな値を有する特徴量ベクトルを複数生成する。そして攻撃者は、ランダムに生成した特徴量ベクトルをクエリとしてモデル４２に入力し、特徴量ベクトルごとの確信度ベクトルを取得する。確信度ベクトルは、各クラスの確信度を要素とするベクトルデータである。以下、確信度ベクトル内の値の最も大きい確信度を、その確信度ベクトルの最大確信度とする。

【0045】

攻撃者は、確信度ベクトルごとの最大確信度に基づいて閾値ｔを決定する。例えば、複数得られた最大確信度のうちの最も大きな値を閾値ｔとする。図５の例では閾値ｔは「０．６」となる。

【0046】

次に攻撃者は、Ｆさんのデータに基づいて特徴量ベクトルを生成する。そして攻撃者は、Ｆさんの特徴量ベクトルをクエリとしてモデル４２に入力し、Ｆさんのデータが属するクラスに関する確信度ベクトルを得る。図５の例では、Ｆさんのデータの確信度ベクトルの最大確信度は「０．７」である。

【0047】

攻撃者は、Ｆさんのデータの確信度ベクトルの最大確信度を閾値と比較する。そして攻撃者は、最大確信度が閾値ｔより大きければ、Ｆさんのデータは訓練データに属すると推定する。図５の例では最大確信度「０．７」が閾値「０．６」よりも大きいため、Ｆさんのデータは訓練データに含まれていると推定される。

【0048】

このメンバーシップ推定攻撃は、訓練データに含まれないデータについては、モデル４２を用いたクラス分類で得られる最大確信度が低い傾向にあることを利用した攻撃手法である。

【0049】

メンバーシップ推定攻撃に対する単純対策として、クラス分類の結果として確信度を応答せずに、確信度の降順順位を応答する方法が考えられる。しかし、この方法を採用すると、ユーザは確信度を取得できない。ユーザが、確信度の数値を利用した情報処理を行う場合、確信度が取得できないと目的の処理を実施できない。

【0050】

図６は、確信度の降順順位を応答した場合に生じる問題の一例を示す図である。例えば機械学習の１つに、スタッキングという手法がある。スタッキングは、あるモデルの予測値を特徴量として、別のモデルに入力することで目的の予測結果を得る機械学習の手法である。

【0051】

例えばサーバ１００において公開するモデル４２ａは、学習済みのモデル４２そのままではなく、モデル４２から出力された確信度ベクトルの確信度を、降順順位に置き換える加工を行った後に出力するものとする。

【0052】

ユーザはスタッキング用のモデル５０の一部に、サーバ１００が有するモデル４２ａを利用することを希望しているものとする。モデル５０は、特徴量ベクトルを複数のモデル５１～５３に入力し、モデル５１～５３から出力された確信度ベクトルをメタモデル５４の入力とする。そしてメタモデル５４の出力が、全体のモデル５０で予測した確信度ベクトルとなる。

【0053】

このような場合において、サーバ１００で提供されるモデル４２ａの出力が確信度ベクトルではなく確信度の降順順位である場合、モデル４２ａによる予測結果をスタッキングに利用することができない。

【0054】

なおメンバーシップ推定攻撃に対する対策として、確信度ベクトルを降順順位に置き換える手法以外にも、例えば確信度ベクトルの各確信度の下位の桁を切り捨てることで、攻撃者による適切な閾値の算出を困難にする方法が考えられる。しかしこの方法では、確信度ベクトル中の最大確信度の変化がわずかなため防御効果が少ない。また学習過程でノイズを加えることで、差分プライバシ（データセット内の個人データを伏せてそのデータセットを学習に利用できるようにすること）を満たしたモデルを構築する方法も考えられる。しかし、ノイズを加えると確信度の順位が変わりやすく、正確性が劣化する。さらに算出された確信度に摂動を加えて想定攻撃モデルが誤判定するように出力することも考えられるが、この方法においても確信度の順位が保たれず正確性が劣化する。

【0055】

このように、クラス分類の結果として、順位を保ったままの確信度が出力されることを保証したうえで、メンバーシップ推定攻撃を防御することが望まれる。そこで第２の実施の形態に係るサーバ１００は、クラス分類によって得られる確信度ベクトルの最大確信度が所定の閾値以下の場合、確信度で降順に並べたときの各クラスの順位を変更せずに、最大確信度が閾値より大きな値となるように修正する。これにより、攻撃者は最大確信度を用いたメンバーシップ推定攻撃のための適切な閾値を設定することができなくなり、メンバーシップ推定攻撃に対する防御効果が得られる。

【0056】

図７は、サーバのクラス分類機能の一例を示すブロック図である。サーバ１００は、記憶部１１０、クエリ受け付け部１２０、クラス分類部１３０、確信度修正部１４０、および予測結果送信部１５０を有する。

【0057】

記憶部１１０は、学習済みのモデル１１１を記憶する。モデル１１１は、例えば図４に示したモデル４２と同様のニューラルネットワークである。記憶部１１０は、メモリ１０２またはストレージ装置１０３によって実現される。

【0058】

クエリ受け付け部１２０は、端末３１，３２，・・・からのクエリを受け付ける。クエリ受け付け部１２０は、クエリを受信すると、クラス分類部１３０に受信したクエリを送信する。

【0059】

クラス分類部１３０は、クエリ受け付け部１２０からクエリを受信すると、クエリに示される特徴量ベクトルのクラス分類処理を行う。例えばクラス分類部１３０は、記憶部１１０からモデル１１１を取得する。そしてクラス分類部１３０は、取得したクエリをモデル１１１の入力として、モデル１１１に従った演算を行い確信度ベクトルを算出する。クラス分類部１３０は、算出した確信度ベクトルを確信度修正部１４０に送信する。

【0060】

確信度修正部１４０は、クラス分類の結果として得られた確信度ベクトルの最大確信度が所定の閾値以上となるように、確信度を修正する。確信度の修正方法の詳細は後述する（図８等参照）。確信度修正部１４０は、修正後の確信度を有する確信度ベクトルを予測結果送信部１５０に送信する。

【0061】

予測結果送信部１５０は、クエリの送信元の端末に、クラス分類の結果として修正後の確信度を有する確信度ベクトルを送信する。
なお、図７に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図７に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

【0062】

次に確信度修正処理について詳細に説明する。
図８は、確信度修正処理の一例を示す図である。確信度修正部１４０は、最大確信度が閾値を下回るとき、最大確信度が閾値以上となるように値を加算する。このとき加算する値をｘとする。

【0063】

次に確信度修正部１４０は、確信度の順位が変わらないように、合計がｘとなるまで、最大確信度以外の各確信度から数値を減算する。例えば確信度修正部１４０は、最小確信度から昇順に減算処理の対象とし、その処理を減算値の合計がｘとなるまで繰り返す。

【0064】

図８には、データを４つのクラスに分類する場合における、各クラスの確信度を示すグラフ６１～６５が示されている。グラフ６１は、クラス分類部１３０で算出された確信度を示している。確信度が高い順に、クラス「Ａ」、クラス「Ｂ」、クラス「Ｃ」、クラス「Ｄ」となっている。最も確信度は高いのはクラス「Ａ」である。

【0065】

また確信度修正部１４０には、確信度の閾値が予め設定されている。閾値は、例えば、閾値算出用に用意した特徴量ベクトル群を用いて得られた確信度ベクトルの最大確信度に基づいて決定される。例えば確信度修正部１４０は、最大確信度の平均Ｔ_sを閾値とする。また確信度修正部１４０は、最大確信度の標準偏差ｖの値を用いて閾値を算出してもよい。例えば確信度修正部１４０は、平均Ｔ_sに標準偏差ｖの整数倍を加算した値（Ｔ_s＋２ｖなど）を閾値とする。さらに確信度修正部１４０は、最大確信度の上位Ｘパーセンタイル値を閾値としてもよい。

【0066】

グラフ６１では、最大確信度であるクラス「Ａ」の確信度が閾値以下となっている。この場合、確信度修正部１４０により確信度の修正が行われる。
確信度を修正する場合、確信度修正部１４０は、まず降順確信度ベクトル＝［ｐ₀，ｐ₁，・・・，ｐ_n］を生成する。降順確信度ベクトルは、ｎ＋１（ｎは１以上の整数）クラス分類タスクのモデルから出力した確信度ベクトルの要素を、確信度によって降順に並べ直すことで得られるベクトルである。ｐ_i（ｉ＝０，…，ｎ）は、確信度がｉ＋１番目に高いクラスの確信度である。図８の例では、クラス「Ａ」の確信度がｐ₀、クラス「Ｂ」の確信度がｐ₁、クラス「Ｃ」の確信度がｐ₂、クラス「Ｄ」の確信度がｐ₃となる。

【0067】

確信度修正部１４０は、クラス「Ａ」の確信度が閾値を超えるように、クラス「Ａ」の確信度にｘ（ｘは１未満の正の実数）を加算する。加算結果がグラフ６２に示されている。

【0068】

例えば確信度修正部１４０は、最大確信度であるｐ₀をＴ＋ｂ（ｂは０以上１－Ｔ以下の乱数）に更新する（ｐ₀＝Ｔ＋ｂ）。この場合、「ｘ＝Ｔ＋ｂ－ｐ₀」である。
グラフ６２の状態では、各クラスの確信度の合計が１を超えてしまい、確率値として矛盾が生じる。そこで確信度修正部１４０は、減少量合計ｘになるまで、最小の確信度から昇順に確信度をαｃずつ減らしていく（αは１以下の正の実数、ｃ＝ｐ_n）。

【0069】

確信度修正部１４０は、昇順にｐ_nを更新していき、途中で総減少量がｘに達したら減算処理を終了する。例えば確信度修正部１４０は、ｉ＝ｎ－ｋ，ｋ＝１でｘ＞Σ₀ ^kαｃのとき、ｐ_n-1をｐ_n-1－（ｘ－Σ₀ ^k-1αｃ）と更新し、終了する。

【0070】

確信度修正部１４０は、ｐ₁を更新したとき、総減少量がｘに満たなければ、ｃ＝ｐ_minに更新し、ｐ_minから昇順に繰り返す（ｐ_minは、０以外の最小の確信度）。
図８の例では「α＝１」としている。この場合、グラフ６２の状態においては、最も値が小さいクラス「Ｄ」の確信度が減算値（αｃ）となる。確信度修正部１４０は、決定した減算値を、確信度が低い方から順に減算する。グラフ６３において、クラス「Ｂ」、「Ｃ」、「Ｄ」における斜線領域の高さが減算値を示している。各斜線領域の右上の数字は、減算の順番である。クラス「Ａ」における斜線領域の高さが、減算値の合計を示している。

【0071】

グラフ６３の状態では、減算値の合計が、加算値ｘに達していない。そこで確信度修正部１４０は、再度、各クラスの確信度の減算処理を行う。図８の例では、この時点で確信度が「０」以外の最も小さい値を有するクラス「Ｃ」の確信度を、減算値に決定している。確信度修正部１４０は、決定した減算値を、確信度が低い方から順に減算する。図８の例では、クラス「Ｃ」の確信度から減算値の減算を行うと、それまでの減算値の合計と加算値ｘとの差分が減算値未満となる。そこで確信度修正部１４０は、クラス「Ｂ」の確信度からは、それまでの減算値の合計と加算値ｘとの差分だけを減算する。

【0072】

確信度修正結果がグラフ６５に示されている。このようにクラス分類部１３０が算出した確信度ベクトルの最大確信度が閾値以下であれば、グラフ６５に示すように最大確信度が閾値を超えるように修正される。また最大確信度以外の確信度に対し、値の大きさの順番が変更されないように減算処理が行われる。これにより、修正後においてもすべての確信度の合計を「１」とすることができ、確率値としての矛盾の発生が抑止される。

【0073】

なお図８の例では、最大確信度にｘを加算した後に他の確信度からの減算を行っているが、減算を行った後に加算を行ってもよい。また各確信度から減算するごとに、減算した分だけ最大確信度に加算する処理を行ってもよい。

【0074】

次にメンバーシップ推定攻撃への耐性を向上させた確信度ベクトル生成手順について具体的に説明する。
図９は、メンバーシップ推定攻撃への耐性を向上させた確信度ベクトル生成処理の手順の一例を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。

【0075】

［ステップＳ１０１］クエリ受け付け部１２０は、いずれかの端末がサーバ１００に送信したクエリを受信する。
［ステップＳ１０２］クラス分類部１３０は、学習済みのモデル１１１を用いて、クエリに示される特徴量ベクトルに対応するクラスごとの確信度を計算する。クラス分類部１３０は、クラスごとの確信度を示す確信度ベクトルを確信度修正部１４０に送信する。

【0076】

［ステップＳ１０３］確信度修正部１４０は、クラスごとの確信度を降順に並べる。例えば確信度修正部１４０は、降順に並べた確信度を要素とする降順確信度ベクトルを生成する。

【0077】

［ステップＳ１０４］確信度修正部１４０は、最大確信度ｐ₀が閾値Ｔよりも大きいか否かを判断する。確信度修正部１４０は、閾値Ｔよりも大きい場合、処理をステップＳ１１５に進める。また確信度修正部１４０は、閾値Ｔ以下であれば、処理をステップＳ１０５に進める。

【0078】

［ステップＳ１０５］確信度修正部１４０は、最大確信度ｐ₀にｘを加算する。例えば確信度修正部１４０は、乱数ｂを生成し、「ｘ＝Ｔ＋ｂ－ｐ₀」を計算する。そして確信度修正部１４０は、最大確信度ｐ₀を「ｐ₀＋ｘ」（＝Ｔ＋ｂ）に更新する。これにより、最大確信度ｐ₀は閾値Ｔ以上のランダムな値となる。

【0079】

［ステップＳ１０６］確信度修正部１４０は、確信度減算用の変数を初期化する。例えば確信度修正部１４０は、１回当りの減少量の基準値を示すｃに、最小の確信度ｐ_nを設定する。また確信度修正部１４０は、繰返し回数を示すｋに「０」を設定する。さらに確信度修正部１４０は、減算合計を示すｘ’に「０」を設定する。

【0080】

［ステップＳ１０７］確信度修正部１４０は、減算対象の確信度ｐ_n-kの値を、「ｐ_n-k－αｃ」に更新する。すなわち確信度修正部１４０は、減算対象の確信度から減少量「αｃ」だけ減算する。

【0081】

［ステップＳ１０８］確信度修正部１４０は、減算値の合計ｘ’を、「ｘ’＋αｃ」に更新する。すなわち確信度修正部１４０は、ステップＳ１０７で減算した分の値を、減算値の合計に加算する。

【0082】

［ステップＳ１０９］確信度修正部１４０は、ｋを「ｋ＋１」に更新する。これにより、減算対象の確信度が、降順確信度ベクトルにおける１つ前の要素に変更される。
［ステップＳ１１０］確信度修正部１４０は、ｋ＝ｎか否かを判断する。ｋ＝ｎの場合とは、減算対象の確信度が、最大確信度となっている場合である。確信度修正部１４０は、ｋ＝ｎであれば処理をステップＳ１１１に進める。また確信度修正部１４０は、ｋ＝ｎでなければ処理をステップＳ１１３に進める。

【0083】

［ステップＳ１１１］確信度修正部１４０は、ｃを、現在の確信度のうちの「０」以外の最小確信度ｐ_minに更新する。また確信度修正部１４０は、ｋを「０」に初期化する。ｋを初期化することで、減算対象の確信度が、降順確信度ベクトルの最も下位の要素に変更される。

【0084】

［ステップＳ１１２］確信度修正部１４０は、減算対象の確信度ｐ_n-k（降順確信度ベクトルのｎ－ｋ番目の要素）の値が「０」か否かを判断する。減算対象の確信度の値が「０」になるのは、例えば図８のグラフ６４におけるクラス「Ｄ」の確信度のように、以前の減算処理で値が「０」に更新されている場合である。確信度修正部１４０は、減算対象の確信度の値が「０」であれば、処理をステップＳ１０９に進める。また確信度修正部１４０は、減算対象の確信度の値が「０」でなければ、処理をステップＳ１１３に進める。

【0085】

［ステップＳ１１３］確信度修正部１４０は、減算値の合計ｘ’にさらに１回分の減少量を加えた値「ｘ’＋αｃ」がｘ未満か否かを判断する。確信度修正部１４０は、「ｘ’＋αｃ」がｘ未満であれば処理をステップＳ１０７に進める。また確信度修正部１４０は、「ｘ’＋αｃ」がｘ以上であれば処理をステップＳ１１４に進める。

【0086】

［ステップＳ１１４］確信度修正部１４０は、減算対象の確信度ｐ_n-kを、「ｐ_n-k－（ｘ－ｘ’）に更新する。すなわち確信度修正部１４０は、減算対象の確信度から、増加量ｘと減少量の合計ｘ’との差分を減算する。

【0087】

［ステップＳ１１５］確信度修正部１４０は、確信度の値が修正された降順確信度ベクトルの要素の順番を、元の確信度ベクトルにおけるクラスごとの要素の順番に戻し、修正後の確信度ベクトルを生成する。そして確信度修正部１４０は、生成した確信度ベクトルを出力する。

【0088】

このようにして、各クラスの確信度の順番を変えることなく確信度が修正される。これにより、メンバーシップ推定攻撃に対する安全性を強化することができる。すなわち攻撃者がサーバ１００に、ランダムに生成した特徴量ベクトルを有するクエリを送信したとしても、各クエリに対して応答される確信度ベクトルの最大確信度は、閾値以上となる。そのため攻撃者は、訓練データに含まれるデータと訓練データに含まれないデータとを区別するための最大確信度の閾値を適切に設定することができず、特定のデータが訓練データに属するか否かの判断を正確に行うことができない。

【0089】

図１０は、メンバーシップ推定攻撃の失敗例を示す図である。例えば攻撃者がランダムに生成した特徴量ベクトルを含むクエリをサーバ１００に送信すると、サーバ１００は、モデル１１１を用いてクラス分類処理を行い、クエリごとの確信度ベクトルを計算する。サーバ１００は、確信度ベクトルのうち、最大確信度が閾値以下の確信度ベクトルの確信度を修正する。図１０の例では、閾値が「０．６」であるものとする。

【0090】

図１０に示す３つの確信度ベクトルはいずれも最大確信度が閾値以下である。そこでサーバ１００は、確信度を修正した後、クエリに対する応答として、修正後の確信度ベクトルを攻撃者の端末に送信する。これにより、攻撃者が取得する確信度ベクトルの最大確信度は、すべて閾値より大きくなる。攻撃者が、取得した確信度ベクトルに基づいて、メンバーシップ推定攻撃のための閾値を計算すると、閾値は例えば「０．８」となる。

【0091】

その後、攻撃者が、端末を用いて訓練データに属するＦさんのデータの特徴量ベクトルを生成し、その特徴量ベクトルを含むクエリをサーバ１００に送信する。サーバ１００は、モデル１１１を用いてＦさんの特徴量ベクトルに対応する確信度ベクトルを計算する。図１０の例では、Ｆさんの特徴量ベクトルに応じて生成された確信度ベクトルの最大確信度は「０．７」である。この最大確信度は、確信度修正のための閾値「０．６」より大きいため、確信度の修正は行われない。そこでサーバ１００から攻撃者の端末へ、Ｆさんの特徴量ベクトルに応じた、修正されていない確信度ベクトルが送信される。

【0092】

攻撃者は、取得した確信度ベクトルの最大確信度が「０．７」であり、ランダムな特徴量データを用いて特定した閾値ｔ＝０．８よりも、最大確信度が小さいと判断する。その結果、攻撃者は、Ｆさんのデータが訓練データに属していないと推定する。

【0093】

図５の例と図１０の例とを比べると分かるように、確信度の修正を行うことで、Ｆさんのデータが訓練データに含まれるか否かについて攻撃者に知られることが抑止されている。すなわち、メンバーシップ推定攻撃に対する耐性が向上している。

【0094】

〔その他の実施の形態〕
第２の実施の形態では、サーバ１００は、すべての確信度ベクトルについて最大確信度が閾値を超えるように確信度を修正しているが、すべての確信度ベクトルについて最大確信度が閾値未満となるように確信度を修正してもよい。

【0095】

図１１は、最大確信度を減少させる修正を行う確信度修正の一例を示す図である。例えばサーバ１００の確信度修正部１４０は、最大確信度の上限閾値を設定する。例えば確信度修正部１４０は、訓練データを用いて、訓練データで得られる複数の確信度ベクトルそれぞれの最大確信度の上位ｔパーセンタイルを上限閾値ｔ_tとする。

【0096】

確信度修正部１４０は、クラス分類で生成された確信度ベクトルの最大確信度が上限閾値ｔ_tを超えている場合に，最大確信度をｘだけ減らす確信度の修正処理を行う。例えば確信度修正部１４０は、確信度を修正する場合、まず確信度ベクトルの要素を、確信度によって降順に並べ替え、降順確信度ベクトル＝［ｐ₀，ｐ₁，・・・，ｐ_n］を生成する。

【0097】

次に確信度修正部１４０は、最大確信度ｐ₀をｘだけ減少させる。例えば確信度修正部１４０は、ｐ₀＝ｔ_sに減少させる。ｔ_sは、上限閾値ｔ_t以下の値である。このときの減少量ｘは、「ｘ＝ｐ₀－ｔ_s」となる。

【0098】

確信度修正部１４０は、修正後のｐ₀（＝ｔ_s）を、例えば乱数ａを用いてｐ₀＝ｐ₁＋ａとする。また確信度修正部１４０は、修正後のｐ₀（＝ｔ_s）を、ｐ₀＝ｔ_t－ａとしてもよい。

【0099】

そして確信度修正部１４０は、減らした分（減少量ｘ）を他の確信度に振り分ける。例えば各ｐ_iを「ｐ_i＋ｘ×（ｐ_i／（Σ_i=1 ⁿｐ_i））」と更新する。Σ_i=1 ⁿｐ_iは、最大確信度以外の確信度の合計である。すなわち、減少量ｘを最大確信度以外の確信度それぞれに、確信度の大きさに応じて比例配分した値が「ｘ×（ｐ_i／（Σ_i=1 ⁿｐ_i））である。確信度修正部１４０は、各確信度に、比例配分により求めた値を加算する。

【0100】

これにより、グラフ７１に示すように最大確信度が閾値を超えているとき、グラフ７２に示すように最大確信度が閾値以下となるように修正される。このような確信度修正処理を行うことで、攻撃者が、訓練データに含まれる特定の個人のデータから生成した特徴量データをクエリとしてサーバ１００に送信しても、サーバ１００から応答される確信度ベクトルの最大確信度は閾値以下となる。その結果、攻撃者は、送信したクエリの生成元となった個人のデータが訓練データに含まれていたか否かを正しく判断することができない。

【0101】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0102】

１ 端末
２ 分類対象データ
３ モデル
４，５ グラフ
１０ 情報処理装置
１１ 記憶部
１２ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】