知財求人 - 知財ポータルサイト「IP Force」
特開2024-173478リスク評価装置、データ防御装置、リスク評価方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173478
(43)【公開日】2024-12-12
(54)【発明の名称】リスク評価装置、データ防御装置、リスク評価方法およびプログラム
(51)【国際特許分類】
G06N 20/20 20190101AFI20241205BHJP
G06F 21/57 20130101ALI20241205BHJP
【ＦＩ】
G06N20/20
G06F21/57 370
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023091920
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】エンケタイワン バトニヤマ
(72)【発明者】
【氏名】寺西 勇
(57)【要約】
【課題】複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価できるようにする。
【解決手段】リスク評価装置が、第１のクラス分類に用いられる分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する目的変数値とを含む対象データを取得し、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された第２集合の要素がそのクラスに分類される度合いを示す部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、目的変数値で識別される第２のクラス分類におけるクラスに、第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
【選択図】図１
【解決手段】リスク評価装置が、第１のクラス分類に用いられる分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する目的変数値とを含む対象データを取得し、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された第２集合の要素がそのクラスに分類される度合いを示す部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、目的変数値で識別される第２のクラス分類におけるクラスに、第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得するデータ取得手段と、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価するリスク評価手段と、
を備えるリスク評価装置。
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価するリスク評価手段と、
を備えるリスク評価装置。
【請求項2】
前記データ取得手段は、１つ以上の分類項目の値が不明となっている対象データに、値が不明となっている分類項目の候補値を設定することで、前記コンフィデンススコアの算出の対象となる対象データを生成する、
請求項１に記載のリスク評価装置。
請求項１に記載のリスク評価装置。
【請求項3】
前記リスク評価手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値ごとに、その候補値が設定された対象データについて、前記第２集合の要素のうち、その対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、その対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに分類される要素が無いことを示している部分モデルの個数を示す非該当性スコアを算出する、
請求項２に記載のリスク評価装置。
請求項２に記載のリスク評価装置。
【請求項4】
値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値を、その分類項目の推定値とする推定手段
を更に備える、請求項３に記載のリスク評価装置。
を更に備える、請求項３に記載のリスク評価装置。
【請求項5】
前記推定手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値が複数ある場合、その分類項目の推定値を未定とする、
請求項４に記載のリスク評価装置。
請求項４に記載のリスク評価装置。
【請求項6】
前記推定手段は、前記非該当性スコアの最小値と、最小値の次に小さい値との差の大きさが所定の閾値よりも小さい場合、その分類項目の推定値を未定とする、
請求項４に記載のリスク評価装置。
請求項４に記載のリスク評価装置。
【請求項7】
前記推定手段は、前記非該当性スコアの最小値が所定の閾値よりも大きい場合、その分類項目の推定値を未定とする、
請求項５または請求項６に記載のリスク評価装置。
請求項５または請求項６に記載のリスク評価装置。
【請求項8】
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定し、
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
データ防御装置。
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
データ防御装置。
【請求項9】
コンピュータが、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得し、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価する、
ことを含むリスク評価方法。
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得し、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価する、
ことを含むリスク評価方法。
【請求項10】
コンピュータに、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得することと、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価することと、
を実行させるためのプログラム。
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得することと、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価することと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、リスク評価装置、データ防御装置、リスク評価方法およびプログラムに関する。
【背景技術】
【0002】
ランダムフォレストなど、複数の部分モデルを含むモデルが用いられる場合がある。例えば、特許文献１には、人物の感情を推定する際のモデルがランダムフォレストによって構築されていてもよいことが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２０７６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価できることが好ましい。
【0005】
本発明の目的の一例は、上述の課題を解決することのできるリスク評価装置、データ防御装置、リスク評価方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の第１の態様によれば、リスク評価装置は、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得するデータ取得手段と、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価するリスク評価手段と、を備える。
【0007】
本発明の第２の態様によれば、データ防御装置は、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得するデータ取得手段と、前記第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える、コンフィデンススコア書き換え手段と、書き換えられたコンフィデンススコアを出力するコンフィデンススコア出力手段と、を備える。
【0008】
本発明の第３の態様によれば、リスク評価方法は、コンピュータが、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得し、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価する、ことを含む。
【0009】
本発明の第４の態様によれば、プログラムは、コンピュータに、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得することと、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価することと、を実行させるためのプログラムである。
【発明の効果】
【0010】
本発明によれば、複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価することができる。
【図面の簡単な説明】
【0011】
【図1】第一実施形態に係るリスク評価装置の構成の例を示す図である。
【図2】対象モデルの生成に用いられるデータセットのデータ構造の例を示す図である。
【図3】「分類項目ｉ」の候補値リストのデータ構造の例を示す図である。
【図4】部分モデルの第１の例を示す図である。
【図5】部分モデルの第２の例を示す図である。
【図6】部分モデルの第３の例を示す図である。
【図7】対象モデルを用いた推定におけるデータの入出力の例を示す図である。
【図8】第一実施形態における、不明となっている分類項目の値を推定するための、対象データの生成の例を示す図である。
【図9】第一実施形態に係るリスク評価部が非該当性スコアリストを生成する際にリスク評価装置１００が行う処理の手順の例を示す図である。
【図10】第一実施形態に係るリスク評価部が除外リストを生成する際にリスク評価装置１００が行う処理の手順の例を示す図である。
【図11】第二実施形態に係るリスク評価装置の構成の例を示す図である。
【図12】第二実施形態に係る推定部が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第１の例を示す図である。
【図13】第二実施形態に係る推定部が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第２の例を示す図である。
【図14】第二実施形態に係る推定部が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第３の例を示す図である。
【図15】第二実施形態に係る推定部が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第４の例を示す図である。
【図16】第二実施形態に係る推定部が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第５の例を示す図である。
【図17】第三実施形態に係るデータ防御装置の構成の例を示す図である。
【図18】第三実施形態に係るデータ防御装置が説明変数値リストを取得してコンフィデンススコアを出力する際の処理の手順の例を示す図である。
【図19】第四実施形態に係るリスク評価装置の構成の例を示す図である。
【図20】第五実施形態に係るデータ防御装置の構成の例を示す図である。
【図21】第六実施形態に係るリスク評価方法における処理の手順の例を示す図である。
【図22】第七実施形態に係るデータ防御方法における処理の手順の例を示す図である。
【図23】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0013】
＜第一実施形態＞
図１は、第一実施形態に係るリスク評価装置の構成の例を示す図である。図１に示す構成で、リスク評価装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部１９０とを備える。制御部１９０は、データ取得部１９１と、コンフィデンススコア算出部１９２と、リスク評価部１９３とを備える。
図１は、第一実施形態に係るリスク評価装置の構成の例を示す図である。図１に示す構成で、リスク評価装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部１９０とを備える。制御部１９０は、データ取得部１９１と、コンフィデンススコア算出部１９２と、リスク評価部１９３とを備える。
【0014】
リスク評価装置１００は、複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価する。リスク評価装置１００が、他の装置からリスク評価の依頼受けて情報漏洩のリスクを評価し、評価結果を依頼元の装置へ通知するようにしてもよい。
ここでいうモデルは、機械学習によって得られるモデル（以降、「機械学習モデル」とも称する）である。機械学習モデルから情報漏洩する攻撃の例として、たとえば、メンバーシップ推論攻撃（Membership Inference Attack）がある。メンバーシップ推論攻撃は、あるデータが機械学習モデルの作成に用いられた訓練データに含まれているか否かを、該あるデータに対する機械学習モデルによる推論結果に応じて判定する処理を繰り返し実行することにより、訓練データを推定する攻撃である。
リスク評価装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation；ＷＳ）等のコンピュータを用いて構成されていてもよい。
ここでいうモデルは、機械学習によって得られるモデル（以降、「機械学習モデル」とも称する）である。機械学習モデルから情報漏洩する攻撃の例として、たとえば、メンバーシップ推論攻撃（Membership Inference Attack）がある。メンバーシップ推論攻撃は、あるデータが機械学習モデルの作成に用いられた訓練データに含まれているか否かを、該あるデータに対する機械学習モデルによる推論結果に応じて判定する処理を繰り返し実行することにより、訓練データを推定する攻撃である。
リスク評価装置１００は、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation；ＷＳ）等のコンピュータを用いて構成されていてもよい。
【0015】
ここで、リスク評価装置１００は、第１のクラス分類に用いられる値のリストである説明変数（Explanatory Variable）（または、特徴量（Feature））値リストと、第１のクラス分類とは異なる第２のクラス分類におけるクラスを識別する目的変数（Objective Variable）（または、ラベル）値とが組み合わせられたデータを複数含むデータセットを用いて生成されたモデルを、リスク評価の対象とする。リスク評価装置１００がリスク評価の対象とするモデルを対象モデルとも称する。
リスク評価装置１００が、他の装置が有している対象モデルを使用するようにしてもよい。あるいは、リスク評価装置１００が、他の装置から対象モデルを取得するようにしてもよい。あるいは、リスク評価装置１００が、対象モデルを生成するようにしてもよい。
リスク評価装置１００が、他の装置が有している対象モデルを使用するようにしてもよい。あるいは、リスク評価装置１００が、他の装置から対象モデルを取得するようにしてもよい。あるいは、リスク評価装置１００が、対象モデルを生成するようにしてもよい。
【0016】
図２は、対象モデルの生成に用いられるデータセットのデータ構造の例を示す図である。
図２に示すデータ構造で、データセットはｍ個のデータを含んでおり、各データは、「分類項目１」、「分類項目２」、・・・「分類項目ｄ」、および、「ラベル」の各項目の値を含んでいる。ここで、ｍは、ｍ≧２の整数である。ｄは、ｄ≧１の整数である。
「分類項目１」から「分類項目ｄ」の各項目を分類項目とも表記する。
図２に示すデータ構造で、データセットはｍ個のデータを含んでおり、各データは、「分類項目１」、「分類項目２」、・・・「分類項目ｄ」、および、「ラベル」の各項目の値を含んでいる。ここで、ｍは、ｍ≧２の整数である。ｄは、ｄ≧１の整数である。
「分類項目１」から「分類項目ｄ」の各項目を分類項目とも表記する。
【0017】
「分類項目１」から「分類項目ｄ」の各項目は、部分モデルによるクラス分類に用いられる項目である。これらの分類項目の値を示す変数を説明変数とも称し、これらの分類項目の値を説明変数値（または、特徴量値（Feature Value））とも称する。
「分類項目１」から「分類項目ｄ」の各項目の値のリスト、または、「分類項目１」から「分類項目ｄ」の各項目のうち一部の項目の値のリストを説明変数値リストとも称する。説明変数値リストに部分モデルを適用して行われるクラス分類を、第１のクラス分類とも称する。
ここでいう、説明変数値リストに部分モデルを適用してクラス分類を行うことは、説明変数値リストに示される分類項目の値に、部分モデルに示されるクラス分類のルールを適用してクラス分類を行うことである。
「分類項目１」から「分類項目ｄ」の各項目の値のリスト、または、「分類項目１」から「分類項目ｄ」の各項目のうち一部の項目の値のリストを説明変数値リストとも称する。説明変数値リストに部分モデルを適用して行われるクラス分類を、第１のクラス分類とも称する。
ここでいう、説明変数値リストに部分モデルを適用してクラス分類を行うことは、説明変数値リストに示される分類項目の値に、部分モデルに示されるクラス分類のルールを適用してクラス分類を行うことである。
【0018】
データにモデルを適用することを、データをモデルに入力するとも称する。モデルから値を取得することを、モデルが値を出力するとも称する。
データにモデルを適用してクラス分類を行うことを、そのデータに対するクラス分類とも称する。
データにモデルを適用してクラス分類を行うことを、そのデータに対するクラス分類とも称する。
【0019】
「ラベル」の項目の値は、第１のクラス分類とは異なる第２のクラス分類におけるクラスを識別する。「ラベル」の項目の値を示す変数を目的変数とも称し、「ラベル」の項目の値を目的変数値とも称する。
説明変数値リストと目的変数値とを含むデータを対象データとも称する。
モデルの生成に用いられるデータセットを、データセットＤとも表記する。データセットＤは第１集合の例に該当する。
説明変数値リストと目的変数値とを含むデータを対象データとも称する。
モデルの生成に用いられるデータセットを、データセットＤとも表記する。データセットＤは第１集合の例に該当する。
【0020】
また、分類項目ごとに、その分類項目がとり得る値が決まっているものとする。ただし、ここでのとりうる値は、ランダムに算出される値であってもよい。あるいは、とりうる値は、探索により取得される値であってもよい。分類項目がとり得る値を、その分類項目の候補値とも称する。１つの分類項目の候補値のリストを候補値リストとも称する。
【0021】
図３は、「分類項目ｉ」の候補値リストのデータ構造の例を示す図である。図３の例では、ｉは、１≦ｉ≦ｄの整数である。ｄは、分類項目の個数を表す。
図３の例で、「分類項目ｉ」は、候補値１、候補値２、・・・、候補値ｋｉのｋｉ個の値のうち何れかの値をとる。ｋｉは、ｋｉ≧１の整数であり、「分類項目ｉ」の候補値の個数を表す。「分類項目ｉ」の候補値リストは、これら候補値１、候補値２、・・・、候補値ｋｉのリストである。
図３の例で、「分類項目ｉ」は、候補値１、候補値２、・・・、候補値ｋｉのｋｉ個の値のうち何れかの値をとる。ｋｉは、ｋｉ≧１の整数であり、「分類項目ｉ」の候補値の個数を表す。「分類項目ｉ」の候補値リストは、これら候補値１、候補値２、・・・、候補値ｋｉのリストである。
【0022】
対象モデルの生成では、データセットＤの部分に該当するデータセットを複数通り抽出し、抽出したデータセットごとに部分モデルを生成する。データセットＤの部分に該当するデータセットをデータセットＤＳＵＢとも表記する。データセットＤＳＵＢは、第２集合の例に該当する。
【0023】
データセットＤＳＵＢの抽出は、例えば、以下のように行うことができる。
手順１：データセットＤに含まれるｍ個の対象データのうち１つ以上を選択し、また、データセットＤに示されるｄ個の分類項目のうち１つ以上を選択する。
手順２：データセットＤから、選択した対象データを抽出する。
手順３：抽出した対象データごとに、選択した分類項目の値を抽出してリストにし、得られたリストと、その対象データに含まれる目的変数値とが組み合わせられたデータを生成する。
手順４：手順３で対象データごとに生成したデータを纏めてデータセットＤＳＵＢとする。手順３で生成されたデータは、所定の集合の要素の例に該当する。また、手順３で生成されたデータは、対象データの例に該当する。
手順１：データセットＤに含まれるｍ個の対象データのうち１つ以上を選択し、また、データセットＤに示されるｄ個の分類項目のうち１つ以上を選択する。
手順２：データセットＤから、選択した対象データを抽出する。
手順３：抽出した対象データごとに、選択した分類項目の値を抽出してリストにし、得られたリストと、その対象データに含まれる目的変数値とが組み合わせられたデータを生成する。
手順４：手順３で対象データごとに生成したデータを纏めてデータセットＤＳＵＢとする。手順３で生成されたデータは、所定の集合の要素の例に該当する。また、手順３で生成されたデータは、対象データの例に該当する。
【0024】
なお、手順１で、データセットＤに含まれるｍ個の対象データを全て選択する場合があってもよい。また、手順１で、データセットＤに示されるｄ個の分類項目を全て選択する場合があってもよい。
【0025】
図４は、部分モデルの第１の例を示す図である。
図４は、データセットＤＳＵＢに含まれる分類項目が温度、および、湿度であり、目的変数値が、人が暑くないと感じるか、暑いと感じるかを表す場合の部分モデルの例を表している。
図４は、データセットＤＳＵＢに含まれる分類項目が温度、および、湿度であり、目的変数値が、人が暑くないと感じるか、暑いと感じるかを表す場合の部分モデルの例を表している。
【0026】
図４の例では、部分モデルが木構造のモデルとして構成されている。根（Root）または中間ノードに該当するノードＮ１１１、Ｎ１２１、Ｎ１２２のそれぞれには、温度または湿度の何れかによる分岐の条件が示されている。ここでは、根および葉（Leaf）以外のノードを、中間ノードと称している。葉に該当するノードＮ１３１、１３２、１３３、１３４のそれぞれには、暑くないと感じる人数、および、暑いと感じる人数が示されている。
【0027】
葉に示される「暑くない」は、暑くないと感じていることを表す。「暑い」は、暑いと感じていることを表す。また、１つの対象データが１人分のデータに相当しており、各クラスに示されている人数は、そのクラスに分類されたデータの個数を表している。
【0028】
図４に示される部分モデルで、根から分岐の条件に従って葉に到達することは、第１のクラス分類の例に該当する。葉に示される「暑くない」および「暑い」は、第２のクラス分類におけるクラスの例に該当する。
葉に示される「暑くない」、「暑い」それぞれの人数は、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとの、データセットＤの要素のうちそのクラスに分類される要素の個数の例に該当する。この個数を示すことは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとの、データセットＤの要素がそのクラスに分類される度合いを示すことの例に該当する。
葉に示される「暑くない」、「暑い」それぞれの人数は、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとの、データセットＤの要素のうちそのクラスに分類される要素の個数の例に該当する。この個数を示すことは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとの、データセットＤの要素がそのクラスに分類される度合いを示すことの例に該当する。
【0029】
データセットＤＳＵＢを用いて部分モデルを生成する方法は、特定の方法に限定されない。例えば、データセットＤＳＵＢを用いて部分モデルを生成する方法として、公知の決定木生成アルゴリズムを用いるようにしてもよい。
ここでいう決定木は、根および各中間ノードに分岐の条件を示し、各葉に、根からその葉に到達するまでの経路にて示される条件に該当する場合のデータを示す木である。
ここでいう決定木は、根および各中間ノードに分岐の条件を示し、各葉に、根からその葉に到達するまでの経路にて示される条件に該当する場合のデータを示す木である。
【0030】
データセットＤからモデルを生成する処理は、機械学習の一種と捉えることができる。この場合、データセットＤは、訓練データセットと捉えることができる。データセットＤに含まれる対象データの各々は、個々の訓練データと捉えることができる。対象データに含まれる説明変数値リストは、モデルへの入力データのサンプルと捉えることができる。対象データに含まれる目的変数値は、説明変数値リストが示す入力データに対するモデルの出力データの正解（教師データ）と捉えることができる。
データセットＤから複数通りのデータセットＤＳＵＢを抽出し、データセットＤＳＵＢごとに木構造の部分モデルを生成する場合、得られるモデル、または、モデル生成アルゴリズムは、ランダムフォレスト（Random Forest）の一種と捉えることができる。
データセットＤから複数通りのデータセットＤＳＵＢを抽出し、データセットＤＳＵＢごとに木構造の部分モデルを生成する場合、得られるモデル、または、モデル生成アルゴリズムは、ランダムフォレスト（Random Forest）の一種と捉えることができる。
【0031】
図５は、部分モデルの第２の例を示す図である。
図５の例では、図４の例における各葉に、さらに、「暑くない」または「暑い」の多数決による値（「暑くない」または「暑い」）が示されている。それ以外の点では、図５に示される部分モデルは、図４に示される部分モデルと同様である。
図５の例では、図４の例における各葉に、さらに、「暑くない」または「暑い」の多数決による値（「暑くない」または「暑い」）が示されている。それ以外の点では、図５に示される部分モデルは、図４に示される部分モデルと同様である。
【0032】
「暑くない」または「暑い」の多数決による値は、例えば、各部分モデルが、説明変数値リストの入力を受けて、「暑くない」または「暑い」の推定値を出力する場合に、部分モデルごとの推定値の算出に用いることができる。
図５に示される部分モデルは、分類木の葉にクラス分類の根拠を示した木と捉えることができる。ここでいう分類木は、クラス分類のルールを示す木である。
図５に示される部分モデルは、分類木の葉にクラス分類の根拠を示した木と捉えることができる。ここでいう分類木は、クラス分類のルールを示す木である。
【0033】
図６は、部分モデルの第３の例を示す図である。
図６の例では、図４の例における部分モデルが表形式で示されている。「分類１」の項目には、第１のクラス分類における分類の条件が示されている。「分類２」の項目には、第２のクラス分類におけるクラスが示されている。「該当数」の項目には、「分類１」および「分類２」で示される条件に該当する人数が示されている。
このように、対象モデルの表現形式は、特定の形式に限定されない。一方、図４の例または図５の例のように部分モデルが木構造で示される場合、根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
図６の例では、図４の例における部分モデルが表形式で示されている。「分類１」の項目には、第１のクラス分類における分類の条件が示されている。「分類２」の項目には、第２のクラス分類におけるクラスが示されている。「該当数」の項目には、「分類１」および「分類２」で示される条件に該当する人数が示されている。
このように、対象モデルの表現形式は、特定の形式に限定されない。一方、図４の例または図５の例のように部分モデルが木構造で示される場合、根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
【0034】
対象モデルは、例えば、アンサンブル法による推定に用いることができる。ここでいうアンサンブル法は、複数の部分モデルのそれぞれが推定値を出力し、各部分モデルによる推定値の多数決によってモデル全体での推定値を決定する方法である。
【0035】
図７は、対象モデルを用いた推定におけるデータの入出力の例を示す図である。
図７の例で、対象モデルを用いた推定を行う推定装置は、対象モデルに含まれるｎ個の部分モデルのそれぞれを説明変数値リストに適用する。これにより、部分モデルごと、かつ、第２のクラス分類におけるクラスごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるそのクラスに分類されるデータの個数を得られる。
リスク評価装置１００が、推定装置として動作するようにしてもよい。あるいは、リスク評価装置１００以外の装置が、推定装置として動作するようにしてもよい。
図７の例で、対象モデルを用いた推定を行う推定装置は、対象モデルに含まれるｎ個の部分モデルのそれぞれを説明変数値リストに適用する。これにより、部分モデルごと、かつ、第２のクラス分類におけるクラスごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるそのクラスに分類されるデータの個数を得られる。
リスク評価装置１００が、推定装置として動作するようにしてもよい。あるいは、リスク評価装置１００以外の装置が、推定装置として動作するようにしてもよい。
【0036】
推定装置が、部分モデルのそれぞれについて、第２のクラス分類におけるクラスごとの個数をクラス間の割合に換算するようにしてもよい。その際、割合の合計が、１など各部分モデルで同じ値になるようにしてもよい。個々のクラスにおけるこの割合は、後述するコンフィデンススコアの例に該当する。第２のクラス分類における全てのクラスについて、この割合を纏めたリストは、コンフィデンススコアリストの例に該当する。コンフィデンススコアがベクトルに纏められて、コンフィデンススコアリストが構成されていてもよい。
【0037】
部分モデルごとに示されるコンフィデンススコアの、対象モデル全体での平均を、平均コンフィデンススコアとも称する。第２のクラス分類における全てのクラスについて平均コンフィデンススコアを纏めたリストを、平均コンフィデンススコアリストとも称する。平均コンフィデンススコアがベクトルに纏められて、平均コンフィデンススコアリストが構成されていてもよい。
【0038】
さらに、推定装置が、第２のクラス分類におけるクラスごとに、対象モデル全体での割合の平均値を算出するようにしてもよい。この割合の平均値は、平均コンフィデンススコアの例に該当する。
そして、推定装置が、第２のクラス分類におけるクラスのうち、得られた割合の平均値が最も大きいクラスを対象モデルによる推定値に決定するようにしてもよい。
そして、推定装置が、第２のクラス分類におけるクラスのうち、得られた割合の平均値が最も大きいクラスを対象モデルによる推定値に決定するようにしてもよい。
【0039】
各要素が示す割合の合計が１になるように調整されたコンフィデンススコアリストは、部分モデルによる推定値を確率的に示した値と捉えることができる。この場合の平均コンフィデンススコアリストは、対象モデルによる推定値を確率的に示した値と捉えることができる。
【0040】
あるいは、推定装置が、部分モデルごとに、第２のクラス分類におけるクラスごとのデータの個数の多数決によって何れかのクラスを選択することで、部分モデルごとの推定値を決定するようにしてもよい。そして、推定装置が、部分モデルごとの推定値の多数決によって、第２のクラス分類におけるクラスの何れかを選択することで、対象モデルによる推定値を決定するようにしてもよい。
【0041】
図４の例の場合、温度と湿度とを含む分類項目の説明変数値リストに応じて、部分モデルごとに根から葉へと辿ることで、第１のクラス分類を行うことができる。そして、各部分モデルで、到達した葉に示される、第２のクラス分類におけるクラスごとの値（データの個数）の多数決によって、その部分モデルによる推定値を決定することができる。
【0042】
例えば、図４のノードＮ１３３に到達した場合、「暑くない」の「２人」と、「暑い」の「１人」との多数決によって、図４に示される部分モデルによる推定値を「暑くない」に決定することができる。そして、各部分モデルによる推定値の多数決によって、対象モデルによる推定値を「暑くない」または「暑い」の何れかに決定することができる。
あるいは、「暑くない」および「暑い」のそれぞれについて、部分モデルごとに得られる人数を合計し、「暑くない」および「暑い」のうち合計人数の多い方を、対象モデルによる推定値に決定するようにしてもよい。
あるいは、「暑くない」および「暑い」のそれぞれについて、部分モデルごとに得られる人数を合計し、「暑くない」および「暑い」のうち合計人数の多い方を、対象モデルによる推定値に決定するようにしてもよい。
【0043】
ここで、対象モデルが公開される場合について考える。
この場合、一部の分類項目の値が不明となっている対象データを有し、かつ、不明となっている分類項目がとり得る値について既知である者がいることを想定すると、その者は、公開された対象モデルを用いて、不明となっている値を推定できる可能性がある。この場合の不明となっている値の推定は、対象モデルの公開者が意図した用途とは異なる用途での対象モデルの使用と考えられ、この点で、情報漏洩の一種と捉えることができる。あるいは、不明となっている値を推定することにより、対象モデルを作成する基である訓練データの中から、該値を含むデータを特定されてしまう情報漏洩の一種であると捉えることができる。言い換えると、コンピュータセキュリティの分野にて、コンフィデンススコアを利用しながら訓練データの１つを特定するサイバー攻撃に対して、その１つのデータを漏洩してしまうということもできる。
１つ以上の分類項目の値が不明となっている対象データを、元の対象データとも称する。元の対象データは、リスク評価のために、１つ以上の分類項目の値が不明なものとして扱われる対象データであってもよい。
この場合、一部の分類項目の値が不明となっている対象データを有し、かつ、不明となっている分類項目がとり得る値について既知である者がいることを想定すると、その者は、公開された対象モデルを用いて、不明となっている値を推定できる可能性がある。この場合の不明となっている値の推定は、対象モデルの公開者が意図した用途とは異なる用途での対象モデルの使用と考えられ、この点で、情報漏洩の一種と捉えることができる。あるいは、不明となっている値を推定することにより、対象モデルを作成する基である訓練データの中から、該値を含むデータを特定されてしまう情報漏洩の一種であると捉えることができる。言い換えると、コンピュータセキュリティの分野にて、コンフィデンススコアを利用しながら訓練データの１つを特定するサイバー攻撃に対して、その１つのデータを漏洩してしまうということもできる。
１つ以上の分類項目の値が不明となっている対象データを、元の対象データとも称する。元の対象データは、リスク評価のために、１つ以上の分類項目の値が不明なものとして扱われる対象データであってもよい。
【0044】
あるいは、各分類項目の候補値について既知である者が、一部の分類項目の値を不明とし、他の分類項目には候補値のうち何れかの値を設定して、説明変数値リストを生成することが考えられる。例えば、この者が、分類項目の候補値のいろいろな組み合わせについて説明変数値リストを生成して対象モデルに入力し、得られた結果に基づいて、データセットＤに含まれる対象データを推定することが考えられる。
このようなデータの推定は、対象モデルの公開者が意図した用途とは異なる用途での対象モデルの使用と考えられ、この点で、情報漏洩の一種と捉えることができる。
このようなデータの推定は、対象モデルの公開者が意図した用途とは異なる用途での対象モデルの使用と考えられ、この点で、情報漏洩の一種と捉えることができる。
【0045】
図８は、不明となっている分類項目の値を推定するための、対象データの生成の例を示す図である。
図８に示される元の対象データでは、「分類項目１」から「分類項目ｄ」のｄ個の分類項目のうち、「分類項目ｉ」の値が不明（Unknown）であり、それ以外の分類項目の値は既知となっている。ここでは、ｉは、１≦ｉ≦ｄの整数である。あるいは、すべての分類項目値が不明であってもよい。
図８に示される元の対象データでは、「分類項目１」から「分類項目ｄ」のｄ個の分類項目のうち、「分類項目ｉ」の値が不明（Unknown）であり、それ以外の分類項目の値は既知となっている。ここでは、ｉは、１≦ｉ≦ｄの整数である。あるいは、すべての分類項目値が不明であってもよい。
【0046】
ここで、「分類項目ｉ」がとり得る値を、候補値１、候補値２、・・・、候補値Ｋｉとする。「分類項目ｉ」の値を推定するための、対象モデルへの入力データとして、「分類項目ｉ」がとり得る値ごとに、その値を元の対象データの「分類項目ｉ」に設定した対象データを生成することが考えられる。
生成したｋｉ個の対象データのうち何れがデータセットＤに含まれている可能性を推定することができれば、元の対象データの「分類項目ｉ」の値を推定することができる。
生成したｋｉ個の対象データのうち何れがデータセットＤに含まれている可能性を推定することができれば、元の対象データの「分類項目ｉ」の値を推定することができる。
【0047】
そこで、リスク評価装置１００は、データセットＤに含まれる対象データから、１つ以上の分類項目に、その分類項目の候補値のそれぞれを設定した対象データを生成し、生成した対象データごとに、その対象データがデータセットＤに含まれている可能性を示すスコアを算出する。
元の対象データで値が不明な分類項目（あるいは、値が不明なものとして扱われる分類項目）に、その分類項目の候補値を設定して得られる対象データを、探索データとも称する。
元の対象データで値が不明な分類項目（あるいは、値が不明なものとして扱われる分類項目）に、その分類項目の候補値を設定して得られる対象データを、探索データとも称する。
【0048】
図１の構成で、通信部１１０は、他の装置と通信を行う。例えば、通信部１１０が、対象モデル、および、候補値リストを記憶しているサーバ装置と通信をおこなって、対象モデル、および、候補値リストを取得するようにしてもよい。
さらに例えば、通信部１１０がサーバ装置として設けられ、通信部１１０が、対象モデルの情報漏洩のリスク評価の依頼を受信するようにしてもよい。そして、通信部１１０が、評価結果を依頼もとへ送信するようにしてもよい。
さらに例えば、通信部１１０がサーバ装置として設けられ、通信部１１０が、対象モデルの情報漏洩のリスク評価の依頼を受信するようにしてもよい。そして、通信部１１０が、評価結果を依頼もとへ送信するようにしてもよい。
【0049】
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、各種画像を表示する。例えば、表示部１２０が、情報漏洩の評価結果を表示するようにしてもよい。
操作入力部１３０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０が、情報漏洩のリスク評価の開始を指示するユーザ操作を受け付けるようにしてもよい。
操作入力部１３０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０が、情報漏洩のリスク評価の開始を指示するユーザ操作を受け付けるようにしてもよい。
【0050】
記憶部１８０は、各種データを記憶する。例えば、記憶部１８０は、対象モデル、候補値リスト、および、対象データを記憶する。記憶部１８０は、リスク評価装置１００が備える記憶デバイスを用いて構成される。
制御部１９０は、リスク評価装置１００の各部を制御して各種処理を行う。制御部１９０の機能は、リスク評価装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部１８０からプログラムを読み出して実行することで実行されてもよい。
制御部１９０は、リスク評価装置１００の各部を制御して各種処理を行う。制御部１９０の機能は、リスク評価装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部１８０からプログラムを読み出して実行することで実行されてもよい。
【0051】
データ取得部１９１は、対象モデルに入力するための対象データを取得する。リスク評価装置１００について上述したように、データ取得部１９１は、１つ以上の分類項目の値が不明となっている対象データを取得し、値が不明となっている分類項目の候補値ごとに、その候補値をその分類項目に設定する。これにより、データ取得部１９１は、候補値ごとの対象データを生成する。
データ取得部１９１は、データ取得手段の例に該当する。
データ取得部１９１が候補値ごとに生成する対象データの各々は、探索データに該当する。
データ取得部１９１は、データ取得手段の例に該当する。
データ取得部１９１が候補値ごとに生成する対象データの各々は、探索データに該当する。
【0052】
リスク評価装置１００が、１つ以上の分類項目の値が不明となっている対象データを、他の装置から取得し、データ取得部１９１が、値が不明となっている分類項目に候補値を設定するようにしてもよい。
あるいは、リスク評価装置１００が、データセットＤを取得し、データ取得部１９１が、データセットＤに含まれる対象データのうち、１つ以上の分類項目の値が不明であるものとして扱って、その分類項目に候補値を設定するようにしてもよい。
あるいは、リスク評価装置１００が、データセットＤを取得し、データ取得部１９１が、データセットＤに含まれる対象データのうち、１つ以上の分類項目の値が不明であるものとして扱って、その分類項目に候補値を設定するようにしてもよい。
【0053】
この場合、データ取得部１９１が、データセットＤから対象データをランダムに選択し、値が不明であるものとする分類項目をランダムに決定するようにしてもよい。
あるいは、データセットＤに含まれる各対象データについて、データ取得部１９１が、例えば１つの分類項目など、所定の個数以下の分類項目の値が不明である全てのパターンを想定し、想定したパターンごと、かつ、値が不明であるものとした分類項目の候補値ごとに、その分類項目にその候補値を設定して探索データを生成するようにしてもよい。
あるいは、ユーザが、データセットＤに含まれる対象データの何れかを指定し、指定した対象データのうち、値が不明であるものとする分類項目を指定するようにしてもよい。
あるいは、データセットＤに含まれる各対象データについて、データ取得部１９１が、例えば１つの分類項目など、所定の個数以下の分類項目の値が不明である全てのパターンを想定し、想定したパターンごと、かつ、値が不明であるものとした分類項目の候補値ごとに、その分類項目にその候補値を設定して探索データを生成するようにしてもよい。
あるいは、ユーザが、データセットＤに含まれる対象データの何れかを指定し、指定した対象データのうち、値が不明であるものとする分類項目を指定するようにしてもよい。
【0054】
以下では、リスク評価装置１００が、値が不明となっている分類項目が１つの対象データを取得し、その分類項目の値が漏洩するリスクを評価する場合を例に説明する。
値が不明となっている分類項目が複数ある場合は、データ取得部１９１が、値が不明となっている分類項目の組み合わせに対して、各分類項目の候補値の組み合わせを設定するようにしてもよい。例えば、データ取得部１９１が、値が不明となっている分類項目を１つのベクトルに纏めるようにしてもよい。値が不明となっている分類項目を１纏まりにすることで、リスク評価装置１００は、値が不明となっている分類項目が１つの場合と同様の処理で情報漏洩のリスクを評価することができる。
値が不明となっている分類項目が複数ある場合は、データ取得部１９１が、値が不明となっている分類項目の組み合わせに対して、各分類項目の候補値の組み合わせを設定するようにしてもよい。例えば、データ取得部１９１が、値が不明となっている分類項目を１つのベクトルに纏めるようにしてもよい。値が不明となっている分類項目を１纏まりにすることで、リスク評価装置１００は、値が不明となっている分類項目が１つの場合と同様の処理で情報漏洩のリスクを評価することができる。
【0055】
あるいは、値が不明となっている分類項目が複数ある場合、データ取得部１９１が、値が不明となっている分類項目のうちの１つを選択し、値が不明となっている他の分類項目（選択した分類項目以外の分類項目）を対象データから除外した、対象データの部分データを生成するようにしてもよい。これにより、リスク評価装置１００は、値が不明となっている分類項目が１つの場合の処理で情報漏洩のリスクを評価することができる。
【0056】
この場合、部分モデルに示される条件分岐に、除外した分類項目に関する条件分岐が含まれるときは、その条件分岐における各分岐先で得られる値を合計するものとする。例えば、部分モデルが木構造で示されており、除外した分類項目に関する条件分岐を示すノードに到達した場合、そのノードから各枝を辿って到達する各葉に示される値を、第２のクラス分類におけるクラスごとに合計する。
リスク評価装置１００は、値が不明となっている分類項目ごとに、上記のような部分データを生成して情報漏洩のリスクを評価することで、値が不明となっている各分類項目について、情報漏洩のリスクを評価することができる。
リスク評価装置１００は、値が不明となっている分類項目ごとに、上記のような部分データを生成して情報漏洩のリスクを評価することで、値が不明となっている各分類項目について、情報漏洩のリスクを評価することができる。
【0057】
コンフィデンススコア算出部１９２は、部分モデルごと、かつ、探索データごとに、その探索データに含まれる説明変数値リストにその部分モデルを適用して行われる第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスのうちその探索データに含まれる目的変数値で識別されるクラスに、データセットＤＳＵＢの要素が分類される度合いを示す指標値を算出する。この指標値をコンフィデンススコアとも称する。第２のクラス分類における全てのクラスについてコンフィデンススコアを纏めたリストを、コンフィデンススコアリストとも称する。上記のように、コンフィデンススコアがベクトルに纏められて、コンフィデンススコアリストが構成されていてもよい。
コンフィデンススコア算出部１９２は、コンフィデンススコア算出手段の例に該当する。
コンフィデンススコア算出部１９２は、コンフィデンススコア算出手段の例に該当する。
【0058】
具体的には、コンフィデンススコア算出部１９２は、探索データに含まれる説明変数値リストに部分モデルを適用することで第１のクラス分類を行う。そして、コンフィデンススコア算出部１９２は、第１のクラス分類で到達したクラス、かつ、第２のクラス分類におけるクラスごとに示される、そのクラスに分類されるデータの個数を取得する。コンフィデンススコア算出部１９２は、クラスごとに得られた個数を、クラスごとの個数の割合に換算し、換算した割合を示すベクトルをコンフィデンススコアリストとする。換算の際、コンフィデンススコア算出部１９２は、割合の合計（コンフィデンススコアリストに含まれるコンフィデンススコアの合計）が１になるようにする。
【0059】
例えば、図４の部分モデルの場合、コンフィデンススコア算出部１９２は、探索データに含まれる説明変数値リストに基づいて木（木構造の部分モデル）を根から葉へと辿る。この木を根から葉へと辿る処理は、第１のクラス分類の例に該当する。
そして、コンフィデンススコア算出部１９２は、到達した葉に示される、第２のクラス分類におけるクラスごとのデータの個数を読み取る。例えば、コンフィデンススコア算出部１９２がノードＮ１３１に到達した場合、ノードＮ１３１に示される「暑くない：２人」および「暑い：０人」を読み取る。「暑くない」および「暑い」は、それぞれ、第２のクラス分類におけるクラスを識別する目的変数値の例に該当する。「２人」および「０人」は、それぞれ、部分モデルの生成に用いられたデータセットＤＳＵＢに含まれる対象データのうち、該当するクラスに分類された対象データの個数を示している。
そして、コンフィデンススコア算出部１９２は、到達した葉に示される、第２のクラス分類におけるクラスごとのデータの個数を読み取る。例えば、コンフィデンススコア算出部１９２がノードＮ１３１に到達した場合、ノードＮ１３１に示される「暑くない：２人」および「暑い：０人」を読み取る。「暑くない」および「暑い」は、それぞれ、第２のクラス分類におけるクラスを識別する目的変数値の例に該当する。「２人」および「０人」は、それぞれ、部分モデルの生成に用いられたデータセットＤＳＵＢに含まれる対象データのうち、該当するクラスに分類された対象データの個数を示している。
【0060】
コンフィデンススコア算出部１９２は、得られたデータの個数２、０を、合計が１となる割合に換算することで、コンフィデンススコアリストを（１，０）と算出する。
コンフィデンススコアリストの要素の値は、部分モデルの生成に用いられたデータセットＤＳＵＢに含まれる対象データのうち、その要素に対応するクラスに分類された対象データの個数の割合を示す。
コンフィデンススコアリストの要素の値は、部分モデルの生成に用いられたデータセットＤＳＵＢに含まれる対象データのうち、その要素に対応するクラスに分類された対象データの個数の割合を示す。
【0061】
ここで、コンフィデンススコア（コンフィデンススコアリストの要素の値）は、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類のクラスごとに算出される。あるクラスのコンフィデンススコアが算出されている場合、そのクラスを、そのコンフィデンススコアに対応するクラスとも称する。
【0062】
部分モデルの生成に用いられたデータセットＤＳＵＢは、対象のモデルの生成に用いられたデータセットＤからデータを部分的に抽出して得られた集合である。したがって、コンフィデンススコアと、データセットＤに含まれる各対象データに部分モデルを適用してクラス分類をおこなったときに、そのコンフィデンススコアに対応するクラスに分類される対象データの個数との間には、正の相関関係があることが考えられる。この点で、コンフィデンススコアは、そのコンフィデンススコアに対応するクラスに、データセットＤの要素である対象データが分類される度合いの指標値と捉えることができる。あるいは、コンフィデンススコアは、ある１つのクラス（または、ラベル）に分類できる確からしさの度合いであると捉えることもできる。データに対するコンフィデンススコアが１であることは、該データが訓練データに含まれている可能性が高いことを表しているともいうことができる。
【0063】
ただし、コンフィデンススコアの表現形式は、特定の形式に限定されない。例えば、コンフィデンススコア算出部１９２が、得られたデータの個数を割合に換算せずそのままコンフィデンススコアとして用いるようにしてもよい。上述したノードＮ１３１の例の場合、コンフィデンススコア算出部１９２が、温度≧２５℃、かつ、「暑くない」のコンフィデンススコアを２と算出し、温度≧２５℃、かつ、「暑い」のコンフィデンススコアを０と算出するようにしてもよい。
【0064】
リスク評価部１９３は、コンフィデンススコア算出部１９２が探索データごと、かつ、部分モデルごとに算出したコンフィデンススコアに基づいて、その探索データがデータセットＤに含まれている可能性を評価する。
リスク評価部１９３は、リスク評価手段の例に該当する。
リスク評価部１９３は、リスク評価手段の例に該当する。
【0065】
例えば、リスク評価部１９３は、その探索データがデータセットＤに含まれている可能性の指標値を算出する。
具体的には、リスク評価部１９３は、各部分モデルについて、元の対象データで値が不明となっている分類項目の候補値のうち、その部分モデルでコンフィデンススコアが０である候補値のリストを生成する。このリストを除外リストとも称する。
具体的には、リスク評価部１９３は、各部分モデルについて、元の対象データで値が不明となっている分類項目の候補値のうち、その部分モデルでコンフィデンススコアが０である候補値のリストを生成する。このリストを除外リストとも称する。
【0066】
ここでいう、ある部分モデルでコンフィデンススコアが０である候補値とは、元の対象データにその候補値を設定して得られた探索データにその部分モデルを適用してクラス分類をおこなった分類先のクラスのコンフィデンススコアが０である候補値である。
また、ある対象データに、ある候補値を設定して得られた探索データに、ある部分モデルを適用してクラス分類を行い、分類先のコンフィデンススコアを得た場合、その候補値を、そのコンフィデンススコアに対応する候補値とも称する。
また、ある対象データに、ある候補値を設定して得られた探索データに、ある部分モデルを適用してクラス分類を行い、分類先のコンフィデンススコアを得た場合、その候補値を、そのコンフィデンススコアに対応する候補値とも称する。
【0067】
そして、リスク評価部１９３は、元の対象データで値が不明となっている分類項目の候補値ごとに、部分モデルごとの除外リストのうち、その候補値が含まれている除外リストの個数を計数し、候補値ごとに計数した個数をリスト化する。この個数を非該当性スコアとも称する。非該当性スコアのリストを非該当性スコアリストとも称する。
【0068】
探索データに対応するコンフィデンススコアが０であることは、そのコンフィデンススコアの対象となっている部分モデルの生成に用いられたデータセットＤＳＵＢに含まれる対象データのうち、そのコンフィデンススコアに対応するクラスに分類される対象データが存在しないことを表している。このことから、探索データに対応するコンフィデンススコアが０である場合、データセットＤに含まれる各対象データをその部分モデルに入力したときに、そのコンフィデンススコアに対応するクラスに分類される対象データが存在しない可能性が高いと評価することができる。
ここでいう、探索データ（または対象データ）に対応するコンフィデンススコアとは、その探索データ（または対象データ）に部分モデルを適用して得らえたコンフィデンススコアである。
ここでいう、探索データ（または対象データ）に対応するコンフィデンススコアとは、その探索データ（または対象データ）に部分モデルを適用して得らえたコンフィデンススコアである。
【0069】
したがって、非該当性スコアが大きい候補値ほど、元の対象データにその候補値を設定して得られた探索データがデータセットＤに含まれている可能性が低いと評価することができる。逆に、非該当性スコアが小さい候補値ほど、元の対象データにその候補値を設定して得られた探索データがデータセットＤに含まれている可能性が高いと評価することができる。
【0070】
このことから、非該当性スコアリストの要素の最小値が小さいほど、非該当性スコアリストの要素の値が最小となっている候補値を元の対象データに設定して得られた探索データが、データセットＤに含まれている可能性が高いと評価することができる。非該当性スコアリストは、この点で、探索データがデータセットＤに含まれている可能性の指標値の例に該当する。
【0071】
また、得られた探索データがデータセットＤに含まれている可能性が高いことは、データセットＤに含まれている対象データが漏洩するリスクが高いことと捉えることができる。非該当性スコアリストは、この点で、情報漏洩のリスクの評価値の例に該当する。したがって、リスク評価部１９３が非該当性スコアリストを生成することは、情報漏洩のリスクを評価することの例に該当する。
【0072】
上述した処理は、たとえば、リスク評価装置１００（あるいは、後述のデータ防御装置）が、複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有する（（あるいは、コンフィデンススコアが１に近い、あるいは、１である、）情報漏洩する可能性がある）データを、各部分モデルについて特定するともいうことができる。リスク評価装置１００（あるいは、後述のデータ防御装置）は、複数の部分モデルについて、特定した該データが統合されたデータ（すなわち、非該当性スコアが小さい候補値）を作成する。リスク評価装置１００（あるいは、後述のデータ防御装置）は、作成したデータについて、複数の部分モデルによって算出されるスコア（たとえば、コンフィデンススコア）とは異なる値のスコアを出力してもよい。
【0073】
図９は、リスク評価部１９３が非該当性スコアリストを生成する際にリスク評価装置１００が行う処理の手順の例を示す図である。
図９の処理で、制御部１９０は、部分モデルごとに処理を行うループＬ１１を開始する（ステップＳ１１）。
ループＬ１１の処理で、リスク評価部１９３は、ループＬ１１で処理の対象となっている部分モデルの除外リストを生成する（ステップＳ１２）。
図９の処理で、制御部１９０は、部分モデルごとに処理を行うループＬ１１を開始する（ステップＳ１１）。
ループＬ１１の処理で、リスク評価部１９３は、ループＬ１１で処理の対象となっている部分モデルの除外リストを生成する（ステップＳ１２）。
【0074】
次に、制御部１９０は、ループＬ１１の終端処理を行う（ステップＳ１３）。具体的には、制御部１９０は、対象モデルに含まれる全ての部分モデルについてループＬ１１の処理をおこなったか否かを判定する。未だループＬ１１の処理をおこなっていない部分モデルがあると制御部１９０が判定した場合、処理がステップＳ１１に戻り、制御部１９０は、引き続き未処理の部分モデルに対してループＬ１１の処理を行う。一方、対象モデルに含まれる全ての部分モデルについてループＬ１１の処理をおこなったと判定した場合、制御部１９０は、ループＬ１１を終了する。
【0075】
ステップＳ１３でループＬ１１を終了した場合、制御部１９０は、元の対象データで値が不明となっている分類項目の候補値ごとに処理を行うループＬ１２を開始する（ステップＳ１４）。
ループＬ１２の処理で、リスク評価部１９３は、ループＬ１２で処理の対象となっている候補値の非該当性スコアを算出する（ステップＳ１５）。
ループＬ１２の処理で、リスク評価部１９３は、ループＬ１２で処理の対象となっている候補値の非該当性スコアを算出する（ステップＳ１５）。
【0076】
次に、制御部１９０は、ループＬ１２の終端処理を行う（ステップＳ１６）。具体的には、制御部１９０は、元の対象データで値が不明となっている分類項目の全ての候補値についてループＬ１２の処理をおこなったか否かを判定する。未だループＬ１２の処理をおこなっていない候補値があると制御部１９０が判定した場合、処理がステップＳ１４に戻り、制御部１９０は、引き続き未処理の候補値に対してループＬ１２の処理を行う。一方、元の対象データで値が不明となっている分類項目の全ての候補値についてループＬ１２の処理をおこなったと判定した場合、制御部１９０は、ループＬ１２を終了する。
【0077】
ステップＳ１６で制御部１９０がループＬ１６を終了した場合、リスク評価部１９３は、ステップＳ１５で候補値ごとに算出した非該当性スコアをリストに集約することで、非該当性スコアリストを生成する（ステップＳ１７）。
ステップＳ１７の後、リスク評価装置１００は、図９の処理を終了する。
元の対象データが複数ある場合（すなわち、ある分類項目の値が不明となっている対象データが複数ある場合）、リスク評価装置１００は、元の対象データごとに図９の処理を行う。
ステップＳ１７の後、リスク評価装置１００は、図９の処理を終了する。
元の対象データが複数ある場合（すなわち、ある分類項目の値が不明となっている対象データが複数ある場合）、リスク評価装置１００は、元の対象データごとに図９の処理を行う。
【0078】
図１０は、リスク評価部１９３が除外リストを生成する際にリスク評価装置１００が行う処理の手順の例を示す図である。リスク評価装置１００は、図９のステップＳ１２で図１０の処理を行う。
図１０の処理で、リスク評価部１９３は、除外リストを初期化する（ステップＳ２１）。具体的には、リスク評価部１９３は、除外リストの初期値をヌルリスト（要素数が０のリスト）に設定する。
図１０の処理で、リスク評価部１９３は、除外リストを初期化する（ステップＳ２１）。具体的には、リスク評価部１９３は、除外リストの初期値をヌルリスト（要素数が０のリスト）に設定する。
【0079】
次に、制御部１９０は、元の対象データで値が不明となっている分類項目の候補値ごとに処理を行うループＬ２１を開始する（ステップＳ２２）。
ループＬ２１の処理で、データ取得部１９１は探索データを生成する（ステップＳ２３）。具体的には、データ取得部１９１は、元の対象データの値が不明となっている分類項目に、ループＬ２１で処理の対象となっている候補値を設定することで探索データを生成する。
ループＬ２１の処理で、データ取得部１９１は探索データを生成する（ステップＳ２３）。具体的には、データ取得部１９１は、元の対象データの値が不明となっている分類項目に、ループＬ２１で処理の対象となっている候補値を設定することで探索データを生成する。
【0080】
次に、コンフィデンススコア算出部１９２は、コンフィデンススコアリストを生成する（ステップＳ２４）。具体的には、コンフィデンススコア算出部１９２は、ステップＳ２３で生成された探索データの説明変数値リストに部分モデル（図９のループＬ１１で処理の対象となっている部分モデル）を適用することで第１のクラス分類を行う。そして、コンフィデンススコア算出部１９２は、第１のクラス分類で到達したクラス、かつ、第２のクラス分類におけるクラスごとに示される、そのクラスに分類されるデータの個数を取得する。コンフィデンススコア算出部１９２は、クラスごとに得られた個数を、個数の割合に換算し、換算した割合を示すベクトルをコンフィデンススコアリストとする。個数から割合への換算の際、コンフィデンススコア算出部１９２は、割合の合計が１になるように換算を行う。
【0081】
次に、リスク評価部１９３は、ステップＳ２４で生成したコンフィデンススコアリストの対応成分の値が０か否かを判定する（ステップＳ２５）。ここでいうコンフィデンススコアリストの対応成分は、そのコンフィデンススコアリストの要素のうち、ループＬ２１で処理の対象となっている候補値に対応する要素（コンフィデンススコア）である。
対応成分の値が０であると判定した場合（ステップＳ２５：ＹＥＳ）、リスク評価部１９３は、除外リストに、ループＬ２１で処理の対象となっている候補値を追加する（ステップＳ２６）。
対応成分の値が０であると判定した場合（ステップＳ２５：ＹＥＳ）、リスク評価部１９３は、除外リストに、ループＬ２１で処理の対象となっている候補値を追加する（ステップＳ２６）。
【0082】
次に、制御部１９０は、ループＬ２１の終端処理を行う（ステップＳ２７）。具体的には、制御部１９０は、元の対象データで値が不明となっている分類項目の全ての候補値についてループＬ２１の処理をおこなったか否かを判定する。未だループＬ２１の処理をおこなっていない候補値があると制御部１９０が判定した場合、処理がステップＳ２２に戻り、制御部１９０は、引き続き未処理の候補値に対してループＬ２１の処理を行う。一方、元の対象データで値が不明となっている分類項目の全ての候補値についてループＬ２１の処理をおこなったと判定した場合、制御部１９０は、ループＬ２１を終了する。
【0083】
一方、ステップＳ２５で、対応成分の値が０ではないとリスク評価部１９３が判定した場合（ステップＳ２５：ＮＯ）、処理がステップＳ２７へ進む。
ステップＳ２７で、制御部１９０がループＬ２１を終了した場合、リスク評価装置１００は、図１０の処理を終了する。
ステップＳ２７で、制御部１９０がループＬ２１を終了した場合、リスク評価装置１００は、図１０の処理を終了する。
【0084】
以上のように、データ取得部１９１は、対象データを取得する。対象データは、説明変数値リストと目的変数値とを含むデータである。説明変数値リストは、第１のクラス分類に用いられる項目である分類項目の値のリストである。目的変数値は、第２のクラス分類におけるクラスを識別する値である。
【0085】
コンフィデンススコア算出部１９２は、対象モデルの部分モデルごとにコンフィデンススコアを算出する。対象モデルは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、データセットＤＳＵＢの要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルである。データセットＤＳＵＢは、データセットＤから部分モデルごとに生成された集合である。コンフィデンススコアは、対象データに含まれる説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、対象データに含まれる目的変数値で識別される第２のクラス分類におけるクラスに、データセットＤＳＵＢの要素が分類される度合いを示す。
リスク評価部１９３は、部分モデルごとのコンフィデンススコアに基づいて、対象データがデータセットＤに含まれている可能性を評価する。
リスク評価部１９３は、部分モデルごとのコンフィデンススコアに基づいて、対象データがデータセットＤに含まれている可能性を評価する。
【0086】
リスク評価装置１００によれば、対象モデルを用いて得られる対象データが、データセットＤに含まれている可能性を評価することができる。リスク評価装置１００によれば、この点で、複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価することができる。
【0087】
また、対象モデルの部分モデルは、第１のクラス分類を枝分かれで示す決定木である。
リスク評価装置１００によれば、決定木の根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
リスク評価装置１００によれば、決定木の根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
【0088】
また、対象モデルの部分モデルは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、データセットＤＳＵＢの要素のうちそのクラスに分類される要素の個数を示す。コンフィデンススコア算出部１９２は、第１のクラス分類における１つのクラスでの、データセットＤＳＵＢの要素のうち第２のクラス分類における各クラスに分類される要素の個数の割合を示すコンフィデンススコアを算出する。
リスク評価装置１００によれば、対象モデルを用いて推定を行う際に、コンフィデンススコアを用いて推定値を決定することができる。
リスク評価装置１００によれば、対象モデルを用いて推定を行う際に、コンフィデンススコアを用いて推定値を決定することができる。
【0089】
また、データ取得部１９１は、１つ以上の分類項目の値が不明となっている対象データに、値が不明となっている分類項目の候補値を設定することで、コンフィデンススコアの算出の対象となる対象データを生成する。
リスク評価装置１００によれば、値が不明となっている分類項目に候補値を設定して情報漏洩のリスク評価を行えばよい点で、リスク評価の処理を簡単化することができる。
リスク評価装置１００によれば、値が不明となっている分類項目に候補値を設定して情報漏洩のリスク評価を行えばよい点で、リスク評価の処理を簡単化することができる。
【0090】
また、リスク評価部１９３は、値が不明となっている分類項目の候補値のリストに含まれる候補値ごとに、その候補値が設定された対象データについて、データセットＤＳＵＢの要素のうち、その対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、その対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに分類される要素が無いことを示している部分モデルの個数を示す非該当性スコアを算出する。
非該当性スコアが小さい候補値ほど、その候補値を用いて得られた対象データ（探索データ）がデータセットＤに含まれている可能性が高いと評価することができる。リスク評価装置１００によれば、この点で、情報漏洩のリスクを評価することができる。
非該当性スコアが小さい候補値ほど、その候補値を用いて得られた対象データ（探索データ）がデータセットＤに含まれている可能性が高いと評価することができる。リスク評価装置１００によれば、この点で、情報漏洩のリスクを評価することができる。
【0091】
＜第二実施形態＞
リスク評価装置が、値が不明となっている分類項目の値を推定するようにしてもよい。第二実施形態では、この点について説明する。
図１１は、第二実施形態に係るリスク評価装置の構成の例を示す図である。図１１に示す構成で、リスク評価装置２００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部２９０とを備える。制御部２９０は、データ取得部１９１と、コンフィデンススコア算出部１９２と、リスク評価部１９３と、推定部２９１とを備える。
リスク評価装置が、値が不明となっている分類項目の値を推定するようにしてもよい。第二実施形態では、この点について説明する。
図１１は、第二実施形態に係るリスク評価装置の構成の例を示す図である。図１１に示す構成で、リスク評価装置２００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部２９０とを備える。制御部２９０は、データ取得部１９１と、コンフィデンススコア算出部１９２と、リスク評価部１９３と、推定部２９１とを備える。
【0092】
図１１の各部のうち、図１の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、１３０、１８０、１９１、１９２、１９３）を付し、ここでは詳細な説明を省略する。図７のリスク評価装置２００では、制御部２９０が、図１の制御部１９０が備える各部に加えてさらに推定部２９１を備えている点で、リスク評価装置１００と異なる。それ以外の点では、リスク評価装置２００はリスク評価装置１００と同様である。
【0093】
推定部２９１は、値が不明となっている分類項目の値を推定する。具体的には、推定部２９１は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、非該当性スコアが最小の候補値を、その分類項目の推定値とする。
推定部２９１は、推定手段の例に該当する。
推定部２９１は、推定手段の例に該当する。
【0094】
図１２は、推定部２９１が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第１の例を示す図である。
図１２の処理で、リスク評価部１９３は、非該当性スコアリストを生成する（ステップＳ３１）。具体的には、リスク評価装置２００が、ステップＳ３１で図９の処理を行う。
図１２の処理で、リスク評価部１９３は、非該当性スコアリストを生成する（ステップＳ３１）。具体的には、リスク評価装置２００が、ステップＳ３１で図９の処理を行う。
【0095】
次に、推定部２９１は、得られた非該当性スコアリストの要素のうち値が最小の要素が１つのみか否かを判定する（ステップＳ３２）。非該当性スコアリストは、値が不明となっている分類項目の推定値ごとに、その推定値の非該当性スコアを表す。
値が最小の要素が１つのみであると判定した場合（ステップＳ３２：ＹＥＳ）、推定部２９１は、その要素に対応する候補値を、値が不明となっている分類項目の推定値に決定する（ステップＳ３３）。すなわち、推定部２９１は、非該当性スコアが最小の候補値を、値が不明となっている分類項目の推定値に決定する。
値が最小の要素が１つのみであると判定した場合（ステップＳ３２：ＹＥＳ）、推定部２９１は、その要素に対応する候補値を、値が不明となっている分類項目の推定値に決定する（ステップＳ３３）。すなわち、推定部２９１は、非該当性スコアが最小の候補値を、値が不明となっている分類項目の推定値に決定する。
【0096】
上述したように、コンフィデンススコア（コンフィデンススコアリストの要素）に対応する候補値とは、そのコンフィデンススコアを得られた探索データに設定した、探索項目の候補値である。
ステップＳ３３の後、リスク評価装置２００は、図１２の処理を終了する。
ステップＳ３３の後、リスク評価装置２００は、図１２の処理を終了する。
【0097】
一方、値が最小の要素が複数あると判定した場合（ステップＳ３２：ＮＯ）、推定部２９１は、値が最小の要素のうち何れか１つに対応する候補値を、値が不明となっている分類項目の推定値に決定する（ステップＳ３４）。すなわち、推定部２９１は、非該当性スコアが最小の候補値のうち何れか１つを、値が不明となっている分類項目の推定値に決定する。
推定部２９１が、非該当性スコアが最小の候補値から何れか１つをランダムに選択するようにしてもよい。
ステップＳ３４の後、リスク評価装置２００は、図１２の処理を終了する。
推定部２９１が、非該当性スコアが最小の候補値から何れか１つをランダムに選択するようにしてもよい。
ステップＳ３４の後、リスク評価装置２００は、図１２の処理を終了する。
【0098】
非該当性スコアリストの要素のうち値が最小の要素が複数ある場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しない（未定とする）ようにしてもよい。
ここで、非該当性スコアリストの要素のうち値が最小の要素が複数ある場合、非該当性スコアからは、値が不明となっている分類項目の推定値を高精度に推定できない状況と捉えることができる。この場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しないことで、推定値を高精度に推定できないことを示すことができる。
ここで、非該当性スコアリストの要素のうち値が最小の要素が複数ある場合、非該当性スコアからは、値が不明となっている分類項目の推定値を高精度に推定できない状況と捉えることができる。この場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しないことで、推定値を高精度に推定できないことを示すことができる。
【0099】
【0100】
ステップＳ４２で、値が最小の要素が１つのみであると推定部２９１が判定した場合（ステップＳ４２：ＹＥＳ）、処理がステップＳ４３へ進む。
ステップＳ４３は、図１２のステップＳ３３と同様である。
ステップＳ４３の後、リスク評価装置２００は、図１２の処理を終了する。
ステップＳ４３は、図１２のステップＳ３３と同様である。
ステップＳ４３の後、リスク評価装置２００は、図１２の処理を終了する。
【0101】
一方、ステップＳ４２で、値が最小の要素が複数あると判定した場合（ステップＳ４２：ＮＯ）、推定部２９１は、値が不明となっている分類項目の推定値を「Ｎｏｎｅ」に設定する（ステップＳ４４）。「Ｎｏｎｅ」は、値が決定されていないこと、すなわち、値が未定であることを表す。
ステップＳ４４の後、リスク評価装置２００は、図１３の処理を終了する。
ステップＳ４４の後、リスク評価装置２００は、図１３の処理を終了する。
【0102】
１つ以上の分類項目の値が不明となっている対象データ（すなわち、元の対象データ）が複数ある場合、リスク評価装置２００が、それら複数の対象データのうち推定値を決定した対象データと、決定した推定値とを示すリストを生成するようにしてもよい。このリストを推定値リストとも称する。
【0103】
図１４は、推定部２９１が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第３の例を示す図である。
図１４の処理で、推定部２９１は、推定値リストを初期化する（ステップＳ５１）。具体的には、推定部２９１は、推定値リストの初期値をヌルリスト（要素数が０のリスト）に設定する。
図１４の処理で、推定部２９１は、推定値リストを初期化する（ステップＳ５１）。具体的には、推定部２９１は、推定値リストの初期値をヌルリスト（要素数が０のリスト）に設定する。
【0104】
【0105】
ステップＳ５４で、値が最小の要素が１つのみであると判定した場合（ステップＳ５４：ＹＥＳ）、推定部２９１は、ループＬ３１で処理の対象となっている元の対象データと、値が最小の要素に対応する候補値との組み合わせ（ペア）を、推定値リストに追加する（ステップＳ５５）。すなわち、推定部２９１は、ループＬ３１で処理の対象となっている元の対象データと、非該当性スコアが最小の候補値との組み合わせを、推定値リストに追加する。
【0106】
次に、制御部２９０は、ループＬ３１の終端処理を行う（ステップＳ５６）。具体的には、制御部２９０は、リスク評価の対象となっている全ての元の対象データについてループＬ３１の処理をおこなったか否かを判定する。未だループＬ３１の処理をおこなっていない元の対象データがあると制御部２９０が判定した場合、処理がステップＳ５２に戻り、制御部２９０は、引き続き未処理の元の対象データに対してループＬ３１の処理を行う。一方、リスク評価の対象となっている全ての元の対象データについてループＬ３１の処理をおこなったと判定した場合、制御部２９０は、ループＬ３１を終了する。
【0107】
一方、ステップＳ５４で、値が最小の要素が複数あると推定部２９１が判定した場合（ステップＳ５４：ＮＯ）、処理がステップＳ５６へ進む。
ステップＳ５６で、制御部２９０がループＬ３１を終了した場合、リスク評価装置２００は、図１４の処理を終了する。
ステップＳ５６で、制御部２９０がループＬ３１を終了した場合、リスク評価装置２００は、図１４の処理を終了する。
【0108】
推定部２９１が、非該当性スコアリストの要素のうち値が最小の要素が１つのみであることに加えて、さらに所定の条件が成立している場合に、値が未定となっている分類項目の推定値を決定するようにしてもよい。例えば、推定部２９１が、非該当性スコアリストの要素のうち値が最小の要素の個数に加えて、さらに、最小の要素値と２番目に小さい要素値との差の大きさに基づいて、推定値を決定するか否かを決定するようにしてもよい。
【0109】
非該当性スコアリストの要素のうち値が最小の要素が複数ある場合だけでなく、最小の要素値と２番目に小さい要素値との差の大きさが小さい場合も、値が不明となっている分類項目の推定値を高精度に推定できない状況と捉えることができる。この場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しないことで、推定値を高精度に推定できないことを示すことができる。
【0110】
図１５は、推定部２９１が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第４の例を示す図である。
図１５のステップＳ６１は、図１４のステップＳ５１と同様である。
ステップＳ６１の後、制御部２９０は、元の対象データごとに処理を行うループＬ４１を開始する（ステップＳ６２）。
図１５ステップＳ６３からＳ６４は、図１２のステップＳ３１からＳ３２と同様である。
図１５のステップＳ６１は、図１４のステップＳ５１と同様である。
ステップＳ６１の後、制御部２９０は、元の対象データごとに処理を行うループＬ４１を開始する（ステップＳ６２）。
図１５ステップＳ６３からＳ６４は、図１２のステップＳ３１からＳ３２と同様である。
【0111】
ステップＳ６４で、値が最小の要素が１つのみであると判定した場合（ステップＳ６４：ＹＥＳ）、推定部２９１は、非該当性スコアリストの要素のうち値が２番目に小さい要素を検出する（ステップＳ６５）。
そして、推定部２９１は、値が最も小さい要素と二番目に小さい要素との値の差の大きさが所定の閾値以上か否かを判定する（ステップＳ６６）。この閾値を第１閾値とも称する。
そして、推定部２９１は、値が最も小さい要素と二番目に小さい要素との値の差の大きさが所定の閾値以上か否かを判定する（ステップＳ６６）。この閾値を第１閾値とも称する。
【0112】
ステップＳ６６で、差の大きさが第１閾値以上であると推定部２９１が判定した場合（ステップＳ６６：ＹＥＳ）、処理がステップＳ６７へ進む。
図１５ステップＳ６７は、図１４のステップＳ５５と同様である。
ステップＳ６７の後、制御部２９０は、ループＬ４１の終端処理を行う（ステップＳ６８）。具体的には、制御部２９０は、リスク評価の対象となっている全ての元の対象データについてループＬ４１の処理をおこなったか否かを判定する。未だループＬ４１の処理をおこなっていない元の対象データがあると制御部２９０が判定した場合、処理がステップＳ６２に戻り、制御部２９０は、引き続き未処理の元の対象データに対してループＬ４１の処理を行う。一方、リスク評価の対象となっている全ての元の対象データについてループＬ４１の処理をおこなったと判定した場合、制御部２９０は、ループＬ４１を終了する。
図１５ステップＳ６７は、図１４のステップＳ５５と同様である。
ステップＳ６７の後、制御部２９０は、ループＬ４１の終端処理を行う（ステップＳ６８）。具体的には、制御部２９０は、リスク評価の対象となっている全ての元の対象データについてループＬ４１の処理をおこなったか否かを判定する。未だループＬ４１の処理をおこなっていない元の対象データがあると制御部２９０が判定した場合、処理がステップＳ６２に戻り、制御部２９０は、引き続き未処理の元の対象データに対してループＬ４１の処理を行う。一方、リスク評価の対象となっている全ての元の対象データについてループＬ４１の処理をおこなったと判定した場合、制御部２９０は、ループＬ４１を終了する。
【0113】
一方、ステップＳ６４で、値が最小の要素が複数あると推定部２９１が判定した場合（ステップＳ６４：ＮＯ）、処理がステップＳ６８へ進む。
一方、ステップＳ６６で、差の大きさが第１閾値よりも小さいと推定部２９１が判定した場合（ステップＳ６６：ＮＯ）、処理がステップＳ６８へ進む。
ステップＳ６８で、制御部２９０がループＬ４１を終了した場合、リスク評価装置２００は、図１５の処理を終了する。
一方、ステップＳ６６で、差の大きさが第１閾値よりも小さいと推定部２９１が判定した場合（ステップＳ６６：ＮＯ）、処理がステップＳ６８へ進む。
ステップＳ６８で、制御部２９０がループＬ４１を終了した場合、リスク評価装置２００は、図１５の処理を終了する。
【0114】
推定部２９１が、推定値リストを生成しない場合も、非該当性スコアリストの要素のうち値が最小の要素の個数に加えて、さらに、最小の要素値と２番目に小さい要素値との差の大きさに基づいて、推定値を決定するか否かを決定するようにしてもよい。推定値を決定しないことに決定した場合、推定部２９１が、図１３のステップＳ４４のように、推定値を「Ｎｏｎｅ」に設定するようにしてもよい。
【0115】
推定部２９１が、さらに、非該当性スコアリストの最小の要素値の大きさに基づいて、推定値を決定するか否かを決定するようにしてもよい。
非該当性スコアリストの最小の要素値が大きい場合も、値が不明となっている分類項目の推定値を高精度に推定できない状況と捉えることができる。この場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しないことで、推定値を高精度に推定できないことを示すことができる。
非該当性スコアリストの最小の要素値が大きい場合も、値が不明となっている分類項目の推定値を高精度に推定できない状況と捉えることができる。この場合、推定部２９１が、値が不明となっている分類項目の推定値を決定しないことで、推定値を高精度に推定できないことを示すことができる。
【0116】
図１６は、推定部２９１が分類項目の値を推定する際にリスク評価装置２００が行う処理の手順の第５の例を示す図である。
図１６のステップＳ７１は、図１４のステップＳ５１と同様である。
ステップＳ７１の後、制御部２９０は、元の対象データごとに処理を行うループＬ５１を開始する（ステップＳ７２）。
図１６のステップＳ７１は、図１４のステップＳ５１と同様である。
ステップＳ７１の後、制御部２９０は、元の対象データごとに処理を行うループＬ５１を開始する（ステップＳ７２）。
【0117】
図１６ステップＳ７３からＳ７６は、図１５のステップＳ６３からＳ６６と同様である。
ステップＳ７６で、差の大きさが第１閾値以上であると判定した場合（ステップＳ７６：ＹＥＳ）、推定部２９１は、非該当性スコアリストの要素の最小値が所定の閾値以下か否かを判定する（ステップＳ７７）。この閾値を第２閾値とも称する。
ステップＳ７６で、差の大きさが第１閾値以上であると判定した場合（ステップＳ７６：ＹＥＳ）、推定部２９１は、非該当性スコアリストの要素の最小値が所定の閾値以下か否かを判定する（ステップＳ７７）。この閾値を第２閾値とも称する。
【0118】
【0119】
ステップＳ７８の後、制御部２９０は、ループＬ５１の終端処理を行う（ステップＳ７９）。具体的には、制御部２９０は、リスク評価の対象となっている全ての元の対象データについてループＬ５１の処理をおこなったか否かを判定する。未だループＬ５１の処理をおこなっていない元の対象データがあると制御部２９０が判定した場合、処理がステップＳ７２に戻り、制御部２９０は、引き続き未処理の元の対象データに対してループＬ５１の処理を行う。一方、リスク評価の対象となっている全ての元の対象データについてループＬ５１の処理をおこなったと判定した場合、制御部２９０は、ループＬ５１を終了する。
【0120】
一方、ステップＳ７４で、値が最小の要素が複数あると推定部２９１が判定した場合（ステップＳ７４：ＮＯ）、処理がステップＳ７９へ進む。
一方、ステップＳ７６で、差の大きさが第１閾値よりも小さいと推定部２９１が判定した場合（ステップＳ７６：ＮＯ）、処理がステップＳ７９へ進む。
一方、ステップＳ７７で、最小値が第２閾値よりも大きいと推定部２９１が判定した場合（ステップＳ７７：ＮＯ）、処理がステップＳ７９へ進む。
ステップＳ７９で、制御部２９０がループＬ５１を終了した場合、リスク評価装置２００は、図１６の処理を終了する。
一方、ステップＳ７６で、差の大きさが第１閾値よりも小さいと推定部２９１が判定した場合（ステップＳ７６：ＮＯ）、処理がステップＳ７９へ進む。
一方、ステップＳ７７で、最小値が第２閾値よりも大きいと推定部２９１が判定した場合（ステップＳ７７：ＮＯ）、処理がステップＳ７９へ進む。
ステップＳ７９で、制御部２９０がループＬ５１を終了した場合、リスク評価装置２００は、図１６の処理を終了する。
【0121】
推定部２９１が、推定値リストを生成しない場合も、非該当性スコアリストの要素のうち値が最小の要素の個数、および、最小の要素値と２番目に小さい要素値との差の大きさに加えて、さらに、最小の要素値の大きさとに基づいて、推定値を決定するか否かを決定するようにしてもよい。推定値を決定しないことに決定した場合、推定部２９１が、図１３のステップＳ４４のように、推定値を「Ｎｏｎｅ」に設定するようにしてもよい。
【0122】
推定部２９１が、非該当性スコアリストの要素のうち値が最小の要素の個数と、最小の要素値の大きさとに基づいて、推定値を決定するか否かを決定するようにしてもよい。例えば、図１６の処理で、推定部２９１が、ステップＳ７５の処理の後、ステップＳ７７の判定を行うようにすることで、ステップＳ７６の判定を行わないようにしてもよい。
【0123】
推定部２９１が、推定値リストを生成しない場合も、非該当性スコアリストの要素のうち値が最小の要素の個数と、最小の要素値の大きさとに基づいて、推定値を決定するか否かを決定するようにしてもよい。推定値を決定しないことに決定した場合、推定部２９１が、図１３のステップＳ４４のように、推定値を「Ｎｏｎｅ」に設定するようにしてもよい。
【0124】
このように、推定部２９１が、値が不明となっている分類項目の値を推定することで、リスク評価装置２００は、漏洩のリスクがあると判定したデータを具体的に提示することができる。
推定部２９１が、元の対象データの、値が不明となっている分類項目に、その分類項目の推定値を設定するようにしてもよい。そして、リスク評価装置２００が、推定値が設定された対象データを、漏洩のリスクがあると判定したデータとして出力するようにしてもよい。
推定部２９１が、元の対象データの、値が不明となっている分類項目に、その分類項目の推定値を設定するようにしてもよい。そして、リスク評価装置２００が、推定値が設定された対象データを、漏洩のリスクがあると判定したデータとして出力するようにしてもよい。
【0125】
リスク評価装置２００が、漏洩のリスクがあると判定したデータと、リスクの大きさを示すデータとを提示するようにしてもよい。
例えば、リスク評価装置２００が、元の対象データと、対象項目の推定値と、非該当性スコアとを組み合わせたデータを出力するようにしてもよい。あるいは、リスク評価装置２００が、上記の、推定値が設定された対象データと、非該当性スコアとを組み合わせたデータを出力するようにしてもよい。
例えば、リスク評価装置２００が、元の対象データと、対象項目の推定値と、非該当性スコアとを組み合わせたデータを出力するようにしてもよい。あるいは、リスク評価装置２００が、上記の、推定値が設定された対象データと、非該当性スコアとを組み合わせたデータを出力するようにしてもよい。
【0126】
以上のように、推定部２９１は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、非該当性スコアが最小の候補値を、その分類項目の推定値とする。
リスク評価装置２００によれば、漏洩のリスクがあると判定したデータを具体的に提示することができる。
リスク評価装置２００によれば、漏洩のリスクがあると判定したデータを具体的に提示することができる。
【0127】
また、推定部２９１は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、非該当性スコアが最小の候補値が複数ある場合、その分類項目の推定値を未定とする。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
【0128】
また、推定部２９１は、非該当性スコアの最小値と、最小値の次に小さい値との差の大きさが第１閾値よりも小さい場合、その分類項目の推定値を未定とする。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
【0129】
また、推定部２９１は、非該当性スコアの最小値が第２閾値よりも大きい場合、その分類項目の推定値を未定とする。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
リスク評価装置２００によれば、値が不明となっている分類項目の推定値を高精度に推定できないことを示すことができる。
【0130】
また、推定部２９１は、１つ以上の分類項目の値が不明となっている複数の対象データのうち、値が不明となっている分類項目の推定値を決定した対象データと、その推定値とのペアのリストを生成する。
リスク評価装置２００によれば、分類項目の値の推定に成功した対象データの情報のみを提示することができ、この点で、出力するデータ量を削減することができる。
リスク評価装置２００によれば、分類項目の値の推定に成功した対象データの情報のみを提示することができ、この点で、出力するデータ量を削減することができる。
【0131】
＜第三実施形態＞
情報漏洩のリスクが見込まれる場合に、情報漏洩のリスクを低減させるためにコンフィデンススコアを書き換えるようにしてもよい。第三実施形態は、この点について説明する。
図１７は、第三実施形態に係るデータ防御装置の構成の例を示す図である。図１７に示す構成で、データ防御装置３００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部３９０とを備える。制御部３９０は、データ取得部３９１と、コンフィデンススコア算出部１９２と、コンフィデンススコア書き換え部３９２と、コンフィデンススコア出力部３９３とを備える。
情報漏洩のリスクが見込まれる場合に、情報漏洩のリスクを低減させるためにコンフィデンススコアを書き換えるようにしてもよい。第三実施形態は、この点について説明する。
図１７は、第三実施形態に係るデータ防御装置の構成の例を示す図である。図１７に示す構成で、データ防御装置３００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部３９０とを備える。制御部３９０は、データ取得部３９１と、コンフィデンススコア算出部１９２と、コンフィデンススコア書き換え部３９２と、コンフィデンススコア出力部３９３とを備える。
【0132】
図１７の各部のうち、図１の各部に対応して同様の機能を有する部分には同一の符号（１１０、１２０、１３０、１８０、１９１、１９２）を付し、ここでは詳細な説明を省略する。図１３のデータ防御装置３００では、制御部３９０が、図１の制御部１９０が備える各部のうちリスク評価部１９３を備えておらず、コンフィデンススコア書き換え部３９２と、コンフィデンススコア出力部３９３とを備えている点で、リスク評価装置１００と異なる。また、データ取得部３９１は、説明変数値リストを取得する。それ以外の点では、データ防御装置３００はリスク評価装置１００と同様である。
【0133】
データ防御装置３００が、説明変数値リストの入力を受け付けてコンフィデンススコアリストを出力するサーバ装置として構成されていてもよい。クライアント装置は、データ防御装置３００からコンフィデンススコアリストを取得することで、対象モデルを用いた推定を行うことができる。
【0134】
データ取得部３９１は、説明変数値リストを取得する。例えば、データ取得部３９１は、通信部１１０を介して他の装置から説明変数値リストを受信する。
コンフィデンススコア書き換え部３９２は、コンフィデンススコア算出部１９２が算出したコンフィデンススコアが、あるクラスに分類される第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える。
コンフィデンススコア書き換え部３９２は、コンフィデンススコア算出部１９２が算出したコンフィデンススコアが、あるクラスに分類される第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える。
【0135】
例えば、コンフィデンススコア算出部１９２が、図４の部分モデルでノードＮ１３１に到達し、コンフィデンススコアリストを（１，０）と算出した場合について考える。このコンフィデンススコアリストの要素であるコンフィデンススコアが０であることは、データセットＤＳＵＢに含まれている対象データのうち、ノードＮ１３１に分類され、かつ、目的変数値が「暑い」である対象データの個数が０個であることを示している。
【0136】
そこで、コンフィデンススコア書き換え部３９２が、０となっているコンフィデンススコアを書き換える。さらに、コンフィデンススコア書き換え部３９２は、コンフィデンススコアリストの要素の合計が１になるように、要素の値を調整する。例えば、コンフィデンススコア書き換え部３９２は、コンフィデンススコアリスト（１，０）を、（０．８，０．２）に書き換える。
【0137】
コンフィデンススコア書き換え部３９２が０になっているコンフィデンススコアを書き換える際の書き換え後の値は、特定の値に限定されない。例えば、コンフィデンススコア書き換え部３９２が、０となっているコンフィデンススコアを、０．１から０．４までの範囲など所定の範囲内の値にランダムに書き換えるようにしてもよい。
コンフィデンススコア出力部３９３は、書き換えられたコンフィデンススコアを出力する。例えば、コンフィデンススコア出力部３９３は、通信部１１０を介して、コンフィデンススコアを他の装置へ送信する。
コンフィデンススコア出力部３９３は、書き換えられたコンフィデンススコアを出力する。例えば、コンフィデンススコア出力部３９３は、通信部１１０を介して、コンフィデンススコアを他の装置へ送信する。
【0138】
図１８は、データ防御装置３００が説明変数値リストを取得してコンフィデンススコアを出力する際の処理の手順の例を示す図である。
図１８の処理で、データ取得部３９１は、説明変数値リストを取得する（ステップＳ８１）。
図１８の処理で、データ取得部３９１は、説明変数値リストを取得する（ステップＳ８１）。
【0139】
次に、制御部３９０は、部分モデルごとに処理を行うループＬ６１を開始する（ステップＳ８２）。
ループＬ６１の処理で、コンフィデンススコア算出部１９２は、コンフィデンススコアリストを生成する（ステップＳ８３）。具体的には、コンフィデンススコア算出部１９２は、ステップＳ８１で得られた説明変数値リストに、ループＬ６１で処理の対象となっている部分モデルを適用することで第１のクラス分類を行う。そして、コンフィデンススコア算出部１９２は、第１のクラス分類で到達したクラス、かつ、第２のクラス分類におけるクラスごとに示される、そのクラスに分類されるデータの個数を取得する。コンフィデンススコア算出部１９２は、第２のクラス分類におけるクラスごとに得られた個数を、個数の割合に換算し、換算した割合を示すベクトルをコンフィデンススコアリストとする。個数から割合への換算の際、コンフィデンススコア算出部１９２は、割合の合計が１になるように換算を行う。
ループＬ６１の処理で、コンフィデンススコア算出部１９２は、コンフィデンススコアリストを生成する（ステップＳ８３）。具体的には、コンフィデンススコア算出部１９２は、ステップＳ８１で得られた説明変数値リストに、ループＬ６１で処理の対象となっている部分モデルを適用することで第１のクラス分類を行う。そして、コンフィデンススコア算出部１９２は、第１のクラス分類で到達したクラス、かつ、第２のクラス分類におけるクラスごとに示される、そのクラスに分類されるデータの個数を取得する。コンフィデンススコア算出部１９２は、第２のクラス分類におけるクラスごとに得られた個数を、個数の割合に換算し、換算した割合を示すベクトルをコンフィデンススコアリストとする。個数から割合への換算の際、コンフィデンススコア算出部１９２は、割合の合計が１になるように換算を行う。
【0140】
次に、制御部３９０は、ステップＳ８３で得られたコンフィデンススコアリストの要素ごとに処理を行うループＬ６２を開始する（ステップＳ８４）。
ループＬ６２の処理で、コンフィデンススコア書き換え部３９２は、ループＬ６１で処理の対象となっている要素の値が０か否かを判定する（ステップＳ８５）。
要素の値が０であると判定した場合（ステップＳ８５：ＹＥＳ）、コンフィデンススコア書き換え部３９２は、その要素の値を書き換える（ステップＳ８６）。上述したように、この場合の書き換え後の値は、特定の値に限定されない。
ループＬ６２の処理で、コンフィデンススコア書き換え部３９２は、ループＬ６１で処理の対象となっている要素の値が０か否かを判定する（ステップＳ８５）。
要素の値が０であると判定した場合（ステップＳ８５：ＹＥＳ）、コンフィデンススコア書き換え部３９２は、その要素の値を書き換える（ステップＳ８６）。上述したように、この場合の書き換え後の値は、特定の値に限定されない。
【0141】
次に、制御部３９０は、ループＬ６２の終端処理を行う（ステップＳ８７）。具体的には、制御部３９０は、ステップＳ８３で得られたコンフィデンススコアリストの全ての要素についてループＬ６２の処理をおこなったか否かを判定する。未だループＬ６２の処理をおこなっていない要素があると制御部３９０が判定した場合、処理がステップＳ８４に戻り、制御部３９０は、引き続き未処理の要素に対してループＬ６２の処理を行う。一方、ステップＳ８３で得られたコンフィデンススコアリストの全ての要素についてループＬ６２の処理をおこなったと判定した場合、制御部３９０は、ループＬ６２を終了する。
【0142】
一方、ステップＳ８５で、要素の値が０ではないと制御部３９０が判定した場合（ステップＳ８５：ＮＯ）、処理がステップＳ８７へ進む。
ステップＳ８７で制御部３９０がループＬ６２を終了した場合、コンフィデンススコア書き換え部３９２は、コンフィデンススコアリストの要素の合計が１になるように、要素の値を書き換える（ステップＳ８８）。
ステップＳ８７で制御部３９０がループＬ６２を終了した場合、コンフィデンススコア書き換え部３９２は、コンフィデンススコアリストの要素の合計が１になるように、要素の値を書き換える（ステップＳ８８）。
【0143】
次に、制御部３９０は、ループＬ６１の終端処理を行う（ステップＳ８９）。具体的には、制御部３９０は、対象モデルの全ての部分モデルについてループＬ６１の処理をおこなったか否かを判定する。未だループＬ６１の処理をおこなっていない部分モデルがあると制御部３９０が判定した場合、処理がステップＳ８２に戻り、制御部３９０は、引き続き未処理の部分モデルに対してループＬ６１の処理を行う。一方、対象モデルの全ての部分モデルについてループＬ６１の処理をおこなったと判定した場合、制御部３９０は、ループＬ６１を終了する。
【0144】
ステップＳ８９で制御部３９０がループＬ６１を終了した場合、コンフィデンススコア出力部３９３は、各部分モデルのコンフィデンススコアリストを出力する（ステップＳ９０）。
ステップＳ９０の後、データ防御装置３００は、図１８の処理を終了する。
ステップＳ９０の後、データ防御装置３００は、図１８の処理を終了する。
【0145】
データ防御装置３００が、コンフィデンススコアを書き換えることに加えて、あるいは代えて、対象モデルを書き換えることで、情報漏洩のリスクの低減を図るようにしてもよい。
例えば、データ防御装置３００が、データセットＤＳＵＢの要素のうち該当するクラスに分類される要素の個数が０個であることを示しているデータを、１以上の個数を示すように書き換えるようにしてもよい。図４の例の場合、データ防御装置３００が、ノードＮ１３１の「暑い」の「０人」を「１人」に書き換えるようにしてもよい。
例えば、データ防御装置３００が、データセットＤＳＵＢの要素のうち該当するクラスに分類される要素の個数が０個であることを示しているデータを、１以上の個数を示すように書き換えるようにしてもよい。図４の例の場合、データ防御装置３００が、ノードＮ１３１の「暑い」の「０人」を「１人」に書き換えるようにしてもよい。
【0146】
あるいは、対象モデルが、データの個数に代えてコンフィデンススコアを示すようにしてもよい。この場合、データ防御装置３００が、対象モデルに示されるコンフィデンススコアの０を０よりも大きい値に書き換えるようにしてもよい。
【0147】
以上のように、データ取得部３９１は、説明変数値リストを取得する。説明変数値リストは、第１のクラス分類に用いられる項目である分類項目の値のリストである。
コンフィデンススコア算出部１９２は、対象モデルの部分モデルごとにコンフィデンススコアを算出する。対象モデルは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、データセットＤＳＵＢの要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルである。データセットＤＳＵＢは、データセットＤから部分モデルごとに生成された集合である。コンフィデンススコアは、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに、データセットＤＳＵＢの要素が分類される度合いを示す。
コンフィデンススコア算出部１９２は、対象モデルの部分モデルごとにコンフィデンススコアを算出する。対象モデルは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、データセットＤＳＵＢの要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルである。データセットＤＳＵＢは、データセットＤから部分モデルごとに生成された集合である。コンフィデンススコアは、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに、データセットＤＳＵＢの要素が分類される度合いを示す。
【0148】
コンフィデンススコア書き換え部３９２は、コンフィデンススコアが、あるクラスに分類されるデータセットＤＳＵＢの要素の個数が０個であることを示している場合、そのクラスに分類されるデータセットＤＳＵＢの要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える。
コンフィデンススコア出力部３９３は、書き換えられたコンフィデンススコアを出力する。
コンフィデンススコア出力部３９３は、書き換えられたコンフィデンススコアを出力する。
【0149】
データ防御装置３００によれば、データセットＤに含まれるデータが漏洩するリスクをコンフィデンススコアに基づいて評価することができ、データが漏洩するリスクを低減させることができる。
【0150】
また、対象モデルの部分モデルは、第１のクラス分類を枝分かれで示す決定木である。
データ防御装置３００によれば、決定木の根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
データ防御装置３００によれば、決定木の根および中間ノードに示される条件に従って根から葉まで辿るという比較的簡単な処理でクラス分類を行うことができる。
【0151】
また、対象モデルの部分モデルは、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、データセットＤＳＵＢの要素のうちそのクラスに分類される要素の個数を示す。コンフィデンススコア算出部１９２は、第１のクラス分類における１つのクラスでの、データセットＤＳＵＢの要素のうち第２のクラス分類における各クラスに分類される要素の個数の割合を示すコンフィデンススコアを算出する。
データ防御装置３００によれば、対象モデルを用いて推定を行う際に、コンフィデンススコアを用いて推定値を決定することができる。
データ防御装置３００によれば、対象モデルを用いて推定を行う際に、コンフィデンススコアを用いて推定値を決定することができる。
【0152】
あるいは、データ防御装置３００が、複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各部分モデルについて特定し、特定したデータが統合されたデータを生成し、生成したデータについて、複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力するようにしてもよい。
この場合の、脆弱性を有するデータを特定することは、データが漏洩するリスクを評価することの例に該当する。また、複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力することは、データが漏洩するリスクを低減させることの例に該当する。このように、データ防御装置３００によれば、データが漏洩するリスクを評価することができ、データが漏洩するリスクを低減させることができる。
この場合の、脆弱性を有するデータを特定することは、データが漏洩するリスクを評価することの例に該当する。また、複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力することは、データが漏洩するリスクを低減させることの例に該当する。このように、データ防御装置３００によれば、データが漏洩するリスクを評価することができ、データが漏洩するリスクを低減させることができる。
【0153】
＜第四実施形態＞
図１９は、第四実施形態に係るリスク評価装置の構成の例を示す図である。図１９に示す構成で、リスク評価装置６１０は、データ取得部６１１と、コンフィデンススコア算出部６１２と、リスク評価部６１３とを備える。
図１９は、第四実施形態に係るリスク評価装置の構成の例を示す図である。図１９に示す構成で、リスク評価装置６１０は、データ取得部６１１と、コンフィデンススコア算出部６１２と、リスク評価部６１３とを備える。
【0154】
かかる構成で、データ取得部６１１は、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得する。
コンフィデンススコア算出部６１２は、第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、対象データに含まれる説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、対象データに含まれる目的変数値で識別される第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
リスク評価部６１３は、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
データ取得部６１１は、データ取得手段の例に該当する。コンフィデンススコア算出部６１２は、コンフィデンススコア算出手段の例に該当する。リスク評価部６１３は、リスク評価手段の例に該当する。
コンフィデンススコア算出部６１２は、第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、対象データに含まれる説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、対象データに含まれる目的変数値で識別される第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
リスク評価部６１３は、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
データ取得部６１１は、データ取得手段の例に該当する。コンフィデンススコア算出部６１２は、コンフィデンススコア算出手段の例に該当する。リスク評価部６１３は、リスク評価手段の例に該当する。
【0155】
リスク評価装置６１０によれば、モデルを用いて得られる対象データが、第１集合に含まれている可能性を評価することができる。リスク評価装置６１０によれば、この点で、複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価することができる。
【0156】
データ取得部６１１は、例えば図１のデータ取得部１９１等の機能を用いて実現することができる。コンフィデンススコア算出部６１２は、例えば図１のコンフィデンススコア算出部１９２等の機能を用いて実現することができる。リスク評価部６１３は、例えば図１のリスク評価部１９３等の機能を用いて実現することができる。
【0157】
＜第五実施形態＞
図２０は、第五実施形態に係るデータ防御装置の構成の例を示す図である。図２０に示す構成で、データ防御装置６２０は、データ取得部６２１と、コンフィデンススコア算出部６２２と、コンフィデンススコア書き換え部６２３と、コンフィデンススコア出力部６２４とを備える。
図２０は、第五実施形態に係るデータ防御装置の構成の例を示す図である。図２０に示す構成で、データ防御装置６２０は、データ取得部６２１と、コンフィデンススコア算出部６２２と、コンフィデンススコア書き換え部６２３と、コンフィデンススコア出力部６２４とを備える。
【0158】
かかる構成で、データ取得部６２１は、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得する。
コンフィデンススコア算出部６２２は、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
コンフィデンススコア算出部６２２は、第１のクラス分類と第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
【0159】
コンフィデンススコア書き換え部６２３は、コンフィデンススコアが、あるクラスに分類される第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える。
コンフィデンススコア出力部６２４は、書き換えられたコンフィデンススコアを出力する。
コンフィデンススコア出力部６２４は、書き換えられたコンフィデンススコアを出力する。
【0160】
データ取得部６２１は、データ取得手段の例に該当する。コンフィデンススコア算出部６２２は、コンフィデンススコア算出手段の例に該当する。コンフィデンススコア書き換え部６２３は、コンフィデンススコア書き換え手段の例に該当する。コンフィデンススコア出力部６２４は、コンフィデンススコア出力手段の例に該当する。
【0161】
データ防御装置６２０によれば、第１集合に含まれるデータが漏洩するリスクをコンフィデンススコアに基づいて評価することができ、データが漏洩するリスクを低減させることができる。
【0162】
データ取得部６２１は、例えば図１７のデータ取得部３９１等の機能を用いて実現することができる。コンフィデンススコア算出部６２２は、例えば図１７のコンフィデンススコア算出部１９２等の機能を用いて実現することができる。コンフィデンススコア書き換え部６２３は、例えば図１７のコンフィデンススコア書き換え部３９２等の機能を用いて実現することができる。コンフィデンススコア出力部６２４は、例えば図１７のコンフィデンススコア出力部３９３等の機能を用いて実現することができる。
【0163】
＜第六実施形態＞
図２１は、第六実施形態に係るリスク評価方法における処理の手順の例を示す図である。図２１に示すリスク評価方法は、データを取得すること（ステップＳ６１１）と、コンフィデンススコアを算出すること（ステップＳ６１２）と、リスクを評価すること（ステップＳ６１３）とを含む。
図２１は、第六実施形態に係るリスク評価方法における処理の手順の例を示す図である。図２１に示すリスク評価方法は、データを取得すること（ステップＳ６１１）と、コンフィデンススコアを算出すること（ステップＳ６１２）と、リスクを評価すること（ステップＳ６１３）とを含む。
【0164】
データを取得すること（ステップＳ６１１）では、コンピュータが、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得する。
コンフィデンススコアを算出すること（ステップＳ６１２）では、コンピュータが、第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、対象データに含まれる説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、対象データに含まれる目的変数値で識別される第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
リスクを評価すること（ステップＳ６１３）では、コンピュータが、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
コンフィデンススコアを算出すること（ステップＳ６１２）では、コンピュータが、第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、対象データに含まれる説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、対象データに含まれる目的変数値で識別される第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
リスクを評価すること（ステップＳ６１３）では、コンピュータが、部分モデルごとのコンフィデンススコアに基づいて、対象データが第１集合に含まれている可能性を評価する。
【0165】
図２１に示すリスク評価方法によれば、モデルを用いて得られる対象データが、第１集合に含まれている可能性を評価することができる。図２１に示すリスク評価方法によれば、この点で、複数の部分モデルを含むモデルが用いられる際の、情報漏洩のリスクを評価することができる。
【0166】
＜第七実施形態＞
図２２は、第七実施形態に係るデータ防御方法における処理の手順の例を示す図である。図２２に示すデータ防御方法は、データを取得すること（ステップＳ６２１）と、コンフィデンススコアを算出すること（ステップＳ６２２）と、コンフィデンススコアを書き換えること（ステップＳ６２３）と、コンフィデンススコアを出力すること（ステップＳ６２４）とを含む。
図２２は、第七実施形態に係るデータ防御方法における処理の手順の例を示す図である。図２２に示すデータ防御方法は、データを取得すること（ステップＳ６２１）と、コンフィデンススコアを算出すること（ステップＳ６２２）と、コンフィデンススコアを書き換えること（ステップＳ６２３）と、コンフィデンススコアを出力すること（ステップＳ６２４）とを含む。
【0167】
データを取得すること（ステップＳ６２１）では、コンピュータが、第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得する。
コンフィデンススコアを算出すること（ステップＳ６２２）では、コンピュータが、
第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
コンフィデンススコアを算出すること（ステップＳ６２２）では、コンピュータが、
第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの第１のクラス分類のそれぞれについて含むモデルの部分モデルごとに、説明変数値リストに対する第１のクラス分類で分類されるクラス、かつ、第２のクラス分類におけるクラスに第２集合の要素が分類される度合いを示すコンフィデンススコアを算出する。
【0168】
コンフィデンススコアを書き換えること（ステップＳ６２３）では、コンピュータが、コンフィデンススコアが、あるクラスに分類される第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える。
コンフィデンススコアを出力すること（ステップＳ６２４）では、コンピュータが、書き換えられたコンフィデンススコアを出力する。
コンフィデンススコアを出力すること（ステップＳ６２４）では、コンピュータが、書き換えられたコンフィデンススコアを出力する。
【0169】
図２２に示すデータ防御方法によれば、第１集合に含まれるデータが漏洩するリスクをコンフィデンススコアに基づいて評価することができ、データが漏洩するリスクを低減させることができる。
【0170】
図２３は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１４に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
図１４に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
【0171】
上記のリスク評価装置１００、リスク評価装置２００、データ防御装置３００、リスク評価装置６１０、および、データ防御装置６２０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。また、インタフェース７４０は、不揮発性記録媒体７５０用のポートを有し、不揮発性記録媒体７５０からの情報の読出、および、不揮発性記録媒体７５０への情報の書込を行う。
【0172】
リスク評価装置１００がコンピュータ７００に実装される場合、制御部１９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0173】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0174】
リスク評価装置２００がコンピュータ７００に実装される場合、制御部２９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0175】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0176】
データ防御装置３００がコンピュータ７００に実装される場合、制御部３９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0177】
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０のための記憶領域を主記憶装置７２０に確保する。通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
【0178】
リスク評価装置６１０がコンピュータ７００に実装される場合、データ取得部６１１と、コンフィデンススコア算出部６１２と、リスク評価部６１３との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0179】
また、ＣＰＵ７１０は、プログラムに従って、リスク評価装置６１０が処理を行うための記憶領域を主記憶装置７２０に確保する。リスク評価装置６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。リスク評価装置６１０とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0180】
データ防御装置６２０がコンピュータ７００に実装される場合、データ取得部６２１と、コンフィデンススコア算出部６２２と、コンフィデンススコア書き換え部６２３と、コンフィデンススコア出力部６２４との動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
【0181】
また、ＣＰＵ７１０は、プログラムに従って、データ防御装置６２０が処理を行うための記憶領域を主記憶装置７２０に確保する。データ防御装置６２０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。データ防御装置６２０とユーザとのインタラクションは、インタフェース７４０が入力デバイスおよび出力デバイスを有し、ＣＰＵ７１０の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0182】
上述したプログラムのうち何れか１つ以上が不揮発性記録媒体７５０に記録されていてもよい。この場合、インタフェース７４０が不揮発性記録媒体７５０からプログラムを読み出すようにしてもよい。そして、ＣＰＵ７１０が、インタフェース７４０が読み出したプログラムを直接実行するか、あるいは、主記憶装置７２０または補助記憶装置７３０に一旦保存して実行するようにしてもよい。
【0183】
なお、リスク評価装置１００、リスク評価装置２００、データ防御装置３００、リスク評価装置６１０、および、データ防御装置６２０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0184】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0185】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0186】
（付記１）
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得するデータ取得手段と、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価するリスク評価手段と、
を備えるリスク評価装置。
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得するデータ取得手段と、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価するリスク評価手段と、
を備えるリスク評価装置。
【0187】
（付記２）
前記部分モデルは前記第１のクラス分類を枝分かれで示す決定木である、
付記１に記載のリスク評価装置。
前記部分モデルは前記第１のクラス分類を枝分かれで示す決定木である、
付記１に記載のリスク評価装置。
【0188】
（付記３）
前記部分モデルは、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、前記第２集合の要素のうちそのクラスに分類される要素の個数を示し、
前記コンフィデンススコア算出手段は、前記第１のクラス分類における１つのクラスでの、前記第２集合の要素のうち前記第２のクラス分類における各クラスに分類される要素の個数の割合を示す前記コンフィデンススコアを算出する、
付記１または付記２に記載のリスク評価装置。
前記部分モデルは、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、前記第２集合の要素のうちそのクラスに分類される要素の個数を示し、
前記コンフィデンススコア算出手段は、前記第１のクラス分類における１つのクラスでの、前記第２集合の要素のうち前記第２のクラス分類における各クラスに分類される要素の個数の割合を示す前記コンフィデンススコアを算出する、
付記１または付記２に記載のリスク評価装置。
【0189】
（付記４）
前記データ取得手段は、１つ以上の分類項目の値が不明となっている対象データに、値が不明となっている分類項目の候補値を設定することで、前記コンフィデンススコアの算出の対象となる対象データを生成する、
付記１から３の何れか一つに記載のリスク評価装置。
前記データ取得手段は、１つ以上の分類項目の値が不明となっている対象データに、値が不明となっている分類項目の候補値を設定することで、前記コンフィデンススコアの算出の対象となる対象データを生成する、
付記１から３の何れか一つに記載のリスク評価装置。
【0190】
（付記５）
前記リスク評価手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値ごとに、その候補値が設定された対象データについて、前記第２集合の要素のうち、その対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、その対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに分類される要素が無いことを示している部分モデルの個数を示す非該当性スコアを算出する、
付記４に記載のリスク評価装置。
前記リスク評価手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値ごとに、その候補値が設定された対象データについて、前記第２集合の要素のうち、その対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、その対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに分類される要素が無いことを示している部分モデルの個数を示す非該当性スコアを算出する、
付記４に記載のリスク評価装置。
【0191】
（付記６）
値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値を、その分類項目の推定値とする推定手段
を更に備える、付記５に記載のリスク評価装置。
値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値を、その分類項目の推定値とする推定手段
を更に備える、付記５に記載のリスク評価装置。
【0192】
（付記７）
前記推定手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値が複数ある場合、その分類項目の推定値を未定とする、
付記６に記載のリスク評価装置。
前記推定手段は、値が不明となっている分類項目の候補値のリストに含まれる候補値のうち、前記非該当性スコアが最小の候補値が複数ある場合、その分類項目の推定値を未定とする、
付記６に記載のリスク評価装置。
【0193】
（付記８）
前記推定手段は、前記非該当性スコアの最小値と、最小値の次に小さい値との差の大きさが所定の閾値よりも小さい場合、その分類項目の推定値を未定とする、
付記７に記載のリスク評価装置。
前記推定手段は、前記非該当性スコアの最小値と、最小値の次に小さい値との差の大きさが所定の閾値よりも小さい場合、その分類項目の推定値を未定とする、
付記７に記載のリスク評価装置。
【0194】
（付記９）
前記推定手段は、前記非該当性スコアの最小値が所定の閾値よりも大きい場合、その分類項目の推定値を未定とする、
付記７または付記８に記載のリスク評価装置。
前記推定手段は、前記非該当性スコアの最小値が所定の閾値よりも大きい場合、その分類項目の推定値を未定とする、
付記７または付記８に記載のリスク評価装置。
【0195】
（付記１０）
前記推定手段は、１つ以上の分類項目の値が不明となっている複数の対象データのうち、値が不明となっている分類項目の推定値を決定した対象データと、その推定値とのペアのリストを生成する
付記７から９の何れか一つに記載のリスク評価装置。
前記推定手段は、１つ以上の分類項目の値が不明となっている複数の対象データのうち、値が不明となっている分類項目の推定値を決定した対象データと、その推定値とのペアのリストを生成する
付記７から９の何れか一つに記載のリスク評価装置。
【0196】
（付記１１）
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定し、
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
データ防御装置。
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定し、
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
データ防御装置。
【0197】
（付記１２）
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得するデータ取得手段と、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える、コンフィデンススコア書き換え手段と、
書き換えられたコンフィデンススコアを出力するコンフィデンススコア出力手段と、
を備えるデータ防御装置。
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得するデータ取得手段と、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出するコンフィデンススコア算出手段と、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換える、コンフィデンススコア書き換え手段と、
書き換えられたコンフィデンススコアを出力するコンフィデンススコア出力手段と、
を備えるデータ防御装置。
【0198】
（付記１３）
前記部分モデルは前記第１のクラス分類を枝分かれで示す決定木である、
付記１２に記載のデータ防御装置。
前記部分モデルは前記第１のクラス分類を枝分かれで示す決定木である、
付記１２に記載のデータ防御装置。
【0199】
（付記１４）
前記部分モデルは、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、前記第２集合の要素のうちそのクラスに分類される要素の個数を示し、
前記コンフィデンススコア算出手段は、前記第１のクラス分類における１つのクラスでの、前記第２集合の要素のうち前記第２のクラス分類における各クラスに分類される要素の個数の割合を示す前記コンフィデンススコアを算出する、
付記１２または付記１３に記載のデータ防御装置。
前記部分モデルは、前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、前記第２集合の要素のうちそのクラスに分類される要素の個数を示し、
前記コンフィデンススコア算出手段は、前記第１のクラス分類における１つのクラスでの、前記第２集合の要素のうち前記第２のクラス分類における各クラスに分類される要素の個数の割合を示す前記コンフィデンススコアを算出する、
付記１２または付記１３に記載のデータ防御装置。
【0200】
（付記１５）
コンピュータが、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得し、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価する、
ことを含むリスク評価方法。
コンピュータが、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得し、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価する、
ことを含むリスク評価方法。
【0201】
（付記１６）
コンピュータが、
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定し、
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
ことを含むデータ防御方法。
コンピュータが、
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定し、
特定した前記データが統合されたデータを生成し、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力する、
ことを含むデータ防御方法。
【0202】
（付記１７）
コンピュータが、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得し、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換え、
書き換えられたコンフィデンススコアを出力する、
ことを含むデータ防御方法。
コンピュータが、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得し、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出し、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換え、
書き換えられたコンフィデンススコアを出力する、
ことを含むデータ防御方法。
【0203】
（付記１８）
コンピュータに、
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定することと、
特定した前記データが統合されたデータを生成することと、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力することと、
を実行させるためのプログラム。
コンピュータに、
複数の部分モデルを含む機械学習モデルについて、メンバーシップ推論攻撃に対する脆弱性を有するデータを、各前記部分モデルについて特定することと、
特定した前記データが統合されたデータを生成することと、
生成した前記データについて、前記複数の部分モデルによって算出されるスコアとは異なる値のスコアを出力することと、
を実行させるためのプログラム。
【0204】
（付記１９）
コンピュータに、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得することと、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価することと、
を実行させるためのプログラム。
コンピュータに、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストと、第２のクラス分類におけるクラスを識別する値である目的変数値とを含むデータである対象データを取得することと、
前記第１のクラス分類と前記第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記対象データに含まれる前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記対象データに含まれる前記目的変数値で識別される前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記部分モデルごとのコンフィデンススコアに基づいて、前記対象データが前記第１集合に含まれている可能性を評価することと、
を実行させるためのプログラム。
【0205】
（付記２０）
コンピュータに、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得することと、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換えることと、
書き換えられたコンフィデンススコアを出力することと、
を実行させるためのプログラム。
コンピュータに、
第１のクラス分類に用いられる項目である分類項目の値のリストである説明変数値リストを取得することと、
前記第１のクラス分類と、第２のクラス分類との組み合わせによるクラス分類におけるクラスごとに、所定の第１集合から部分モデルごとに生成された集合である第２集合の要素がそのクラスに分類される度合いを示す部分モデルを、複数通りの前記第１のクラス分類のそれぞれについて含むモデルの前記部分モデルごとに、前記説明変数値リストに対する前記第１のクラス分類で分類されるクラス、かつ、前記第２のクラス分類におけるクラスに前記第２集合の要素が分類される度合いを示すコンフィデンススコアを算出することと、
前記コンフィデンススコアが、あるクラスに分類される前記第２集合の要素の個数が０個であることを示している場合、そのクラスに分類される前記第２集合の要素の個数が１個以上と示されるように、そのコンフィデンススコアを書き換えることと、
書き換えられたコンフィデンススコアを出力することと、
を実行させるためのプログラム。
【符号の説明】
【0206】
１００、２００ リスク評価装置
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０、２９０、３９０ 制御部
１９１ データ取得部
１９２ コンフィデンススコア算出部
１９３ リスク評価部
２９１ 推定部
３００ データ防御装置
３９２ コンフィデンススコア書き換え部
３９３ コンフィデンススコア出力部
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１９０、２９０、３９０ 制御部
１９１ データ取得部
１９２ コンフィデンススコア算出部
１９３ リスク評価部
２９１ 推定部
３００ データ防御装置
３９２ コンフィデンススコア書き換え部
３９３ コンフィデンススコア出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】