特開 2024-171902 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171902

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 17/18 20060101AFI20241205BHJP

【ＦＩ】

G06F17/18 D

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023089184

(22)【出願日】2023-05-30

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】紀伊 真昇

(72)【発明者】

【氏名】市川 敦謙

(72)【発明者】

【氏名】三浦 尭之

(72)【発明者】

【氏名】高木 駿

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB62

5B056BB64

(57)【要約】

【課題】プライバシー保護を行うデータ合成モデルの出力の品質を向上させるための離散化の技術を提供する。
【解決手段】連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置において、前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する演算部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置であって、
前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する演算部
を備える情報処理装置。

【請求項2】

前記比率をαとすると、αは０＜α≦１を満たす値である
請求項１に記載の情報処理装置。

【請求項3】

前記演算部は、前記ノイズの大きさとして、データ合成モデルに入力するデータと、前記データ合成モデルから出力されるデータとから算出した、ノイズの絶対値の期待値に基づく推定値を用いる
請求項１に記載の情報処理装置。

【請求項4】

連続変数のデータを離散化して得られたデータを入力するデータ合成モデルとして、差分プライベートなデータ合成モデルを使用する場合において、
プライバシーバジェットをεとし、定数をＣとした場合に、前記演算部は、前記ノイズの大きさとして、Ｃ・ｌｏｇ（ｄ／ε）を使用する
請求項１に記載の情報処理装置。

【請求項5】

連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置による情報処理方法であって、
前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する
情報処理方法。

【請求項6】

コンピュータを、請求項１ないし４のうちいずれか１項に記載の情報処理装置における演算部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プライバシー保護技術に関連するものである。

【背景技術】

【0002】

プライバシー保護を行うデータ合成モデルとして、様々なモデルが提案されている。その中の多くは以下のＣｏｎｔ（連続）とＤｉｓｃ（離散）の２つに分類できる。

【0003】

（Ｃｏｎｔ）モデルの内部では連続変数からなるデータ（数値データ）のみを入出力とするもの。

【0004】

（Ｄｉｓｃ）モデルの内部では離散変数からなるデータ（カテゴリカルデータ）のみを入出力とするもの。なお、Ｄｉｓｃに属する従来技術の例として、非特許文献１～３に開示された技術がある。

【0005】

Ｃｏｎｔに属するデータ合成モデルに離散変数を入力したい場合には、当該離散変数のデータをエンコードして連続変数にしてから入力する。エンコードには例えばＡ、Ｂ、Ｃという全３種類のラベルを（１，０，０）、（０，１，０）、（０，０，１）に変換するOnehot encodingがよく用いられる。

【0006】

Ｄｉｓｃのデータ合成モデルに連続変数を入力したい場合には、当該連続変数のデータを離散化してから入力する。離散化とは、変数の範囲を分割して実区間（ビン）の列を作り、連続変数のそれぞれのデータがどの区間に属すのかによって、データを離散的なラベルに置き換える処理のことである。どのように実区間（ビン）の列を作るかによって離散化の結果が大きく変わる。

【0007】

調査によると、Ｄｉｓｃに分類される技術の中には出力される合成データが、Ｃｏｎｔに分類される技術のいずれが出力するものよりも良いものがある。したがって、プライバシーを保護したデータ合成を行いたい場合には、（必要があれば）連続変数を離散化したデータをＤｉｓｃに属するデータ合成モデルに入力すると良い。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Ryan Mckenna, Daniel Sheldon, and Gerome Miklau, "Graphical-Model Based Estimation and Inference for Differential Privacy," In: Proceedings of the 36th International Conference on Machine Learning. International Conference on Machine Learning. PMLR, May 24, 2019, pp. 4435-4444. url:https://proceedings.mlr.press/v97/mckenna19a.html (visited on 08/04/2022).

【非特許文献2】Ryan McKenna et al, "AIM: An Adaptive and Iterative Mechanism for Differentially Private Synthetic Data," Jan. 29, 2022. doi: 10.48550/arXiv.2201.12677. arXiv: 2201.12677 [cs]. url: http://arxiv.org/abs/2201.12677 (visited on 07/25/2022).

【非特許文献3】Jun Zhang et al, "PrivBayes: Private Data Release via Bayesian Networks," In: ACM Transactions on Database Systems 42.4 (Oct. 27, 2017), 25:1-25:41. issn: 0362-5915. doi: 10.1145/3134428. url:https://doi.org/10.1145/3134428 (visited on 05/18/2021).

【発明の概要】

【発明が解決しようとする課題】

【0009】

Ｄｉｓｃに属するデータ合成モデルは、それと組み合わせる離散化の方法によって出力されるデータの品質が大きく変わる。しかし、非特許文献１～３に開示された技術などでは根拠なく離散化処理を選んでいる。また、離散化手法を決める方法としてはSturges' ruleなどが広く知られているが、これら既存の離散化手法はプライバシー保護のために後に加えられるノイズを考慮していない。そのため、ノイズが大きくなると、既存の離散化手法は必ずしも最適なものではなくなってしまう。

【0010】

本発明は上記の点に鑑みてなされたものであり、プライバシー保護を行うデータ合成モデルの出力の品質を向上させるための離散化の技術を提供することを目的とする。

【課題を解決するための手段】

【0011】

開示の技術によれば、連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置であって、
前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する演算部
を備える情報処理装置が提供される。

【発明の効果】

【0012】

開示の技術によれば、プライバシー保護を行うデータ合成モデルの出力の品質を向上させるための離散化の技術が提供される。

【図面の簡単な説明】

【0013】

【図1】情報処理装置１００の構成図である。

【図2】情報処理装置１００の動作を説明するためのフローチャートである。

【図3】区間への分割の例を示す図である。

【図4】情報処理装置１００のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0015】

（実施の形態の概要）
本実施の形態では、後述する情報処理装置１００が、連続変数である入力データの離散化及びデータ合成を行う。

【0016】

本実施の形態では、情報処理装置１００に入力される連続変数Ｘの範囲［Ｘ_ｍｉｎ，Ｘ_ｍａｘ］（∋Ｘ）と、入力されるデータの数ｎは公開されているものとし、情報処理装置１００は、当該範囲を何個のビン（実区間（実数の区間））に等分するべきかを決定する。

【0017】

なお、Ｘ_ｍｉｎは入力データの最小値より小さければ十分であり、入力データの最小値と等しくある必要はない。Ｘ_ｍａｘについても入力データの最大値より大きければ十分である。

【0018】

情報処理装置１００は、プライバシー保護を考慮するデータ合成を行う。当該データ合成において、情報処理装置１００は、プライバシーを保護する目的で、離散変数を計数した後に、計数結果にノイズを加える。なお、本実施の形態では、計数結果は、区間毎のデータの数（つまりヒストグラム）である。

【0019】

本実施の形態では、情報処理装置１００は、このノイズを考慮したビン（区間への分割）を作ることで出力されるデータの品質を向上させる。

【0020】

プライバシー保護のために加えられるノイズの絶対値の期待値（以下では「ノイズの大きさ」と呼ぶ）はデータ数ｎやプライバシー保護の強度など様々な因子により決定されるが、本実施の形態ではビン数ｄのみが変更できるものとし、ノイズの大きさをμ（ｄ）（≧０）と記載する。

【0021】

以下、情報処理装置１００の構成と動作について詳細に説明する。

【0022】

（情報処理装置１００の構成、動作概要）
図１に、本実施の形態における情報処理装置１００の機能構成の例を示す。図１に示すように、情報処理装置１００は、入力部１１０、演算部１２０、出力部１３０、及び記憶部１４０を備える。

【0023】

情報処理装置１００の全体動作例を図２のフローチャートを参照して説明する。Ｓ１０１において、データ合成の対象とするデータ（連続変数のデータ）を入力部１１０から入力する。入力されたデータは記憶部１４０に格納される。

【0024】

Ｓ１０２において、演算部１２０は、記憶部１４０から、入力データを読み出し、当該データに対して離散化処理を行う。離散化処理の詳細は後述する。離散化処理が行われたデータ（具体的には、離散的なラベルのデータ）は、記憶部１４０に格納される。

【0025】

Ｓ１０３において、演算部１２０は、離散化処理が行われたデータを記憶部１４０から読み出し、当該データに対して計数処理を行い、計数結果にノイズを付加する。Ｓ１０３は、データ合成モデルによる計算に相当する。

【0026】

Ｓ１０４において、出力部１３０は、ノイズが付加された計数結果を出力する。

【0027】

なお、情報処理装置１００は、離散化処理までを行い、離散化処理後の処理を他の装置が行うこととしてもよい。また、情報処理装置１００は、データ数ｎに基づきｄを決定する処理を行い、その他の処理を他の装置が行うこととしてもよい。

【0028】

（離散化処理の詳細）
Ｓ１０２の離散化処理を詳細に説明する。

【0029】

前述したとおり、離散化処理において、演算部１２０は、入力データ（連続変数）の範囲を分割して実区間（ビン）の列を作り、連続変数のそれぞれのデータがどの区間に属すのかによって、データを離散的なラベルに置き換える。

【0030】

例えば、連続変数Ｘの範囲［Ｘ_ｍｉｎ，Ｘ_ｍａｘ］を３つに等分割するイメージを図３に示す。図３の例では、３つの区間にＡ、Ｂ、Ｃのラベルが対応付けられている。

【0031】

＜ビンの個数の決定＞
ビンの個数の決定方法を詳細に説明する。

【0032】

ビンの個数ｄを少なくすると、元の連続変数Ｘの分布が離散化によって失われてしまう。例えばビンが１つしかなければ、元のデータ数とデータの範囲以外の情報は失われる。一方でビンの個数を多くすると、一つのビンに該当するデータ数が少なくなる。例えばビンの個数ｄをデータ数ｎにしてしまうと、一つのビンに該当するデータの個数が１、２程度になる。すると後に加えられるノイズによって該当するデータ数の情報がかき消されてしまうことになる。

【0033】

このような状況を防ぐため、演算部１２０は、以下のようにビン数ｄを選ぶ。データ数ｎ（＞０）とノイズの大きさμ（ｄ）（≧０）がわかっているとき、ビンの個数ｄ（＞０）は下記の値が定数α（＞０）に最も近くなるように選ぶと良い。定数は０．１程度にすると良いことが経験的にわかっている。

【0034】

μ（ｄ）／（ｎ／ｄ）
すなわち、本実施の形態における演算部１２０は、
・一つのビンに該当するデータの個数の平均ｎ／ｄと、
・一つのビンに該当するデータの個数へ加えられるノイズの大きさμ（ｄ）とが、
適当な比率αになるようにビンの個数を選ぶ。

【0035】

ビン数ｄ（＞０）が決まった後、演算部１２０は、変数の範囲［Ｘ_ｍｉｎ，Ｘ_ｍａｘ］をｄ等分して小区間を作り、各データ点をどの小区間に入っているかによってラベル付すれば、離散化が完了する。

【0036】

上記のαは、０．１に限定されるわけではない。αとして、０＜α≦１を満たす任意の値を使用することができる。

【0037】

ｄ毎のμ（ｄ）については、例えば、記憶部１４０に事前に格納されているとする。つまり、演算部１２０は、記憶部１４０を参照することで、「μ（ｄ）／（ｎ／ｄ）」が定数α（＞０）に最も近くなるようなｄを決定することができる。

【0038】

＜ノイズの大きさの推量＞
ノイズの大きさμ（ｄ）が事前にわからなくても、実験的に調べることができる。以下では、実験的にμ（ｄ）を推量（推定）する方法について説明する。推量のための計算はどの装置が行ってもよいが、ここでは例として、情報処理装置１００が、データ合成モデルを有し、推量のための計算を行うものとする。

【0039】

プライバシー保護を行うデータ合成において、μ（ｄ）はデータ数ｎなどには依存する可能性があるものの、データの分布によって変化しないことが普通である。そのためμ（ｄ）がどのような関数かは、適当なデータを用いて事前実験で調べることができる。具体的には、下記の手順でノイズの大きさμ（ｄ）を調べる。

【0040】

（１）一様分布に従うデータＤ_０を作る。具体的には、下記の１－１、１－２のとおりである。

【0041】

＜１－１＞
まず、情報処理装置１００は、ｄ種類の値｛ｖ_１，...．，ｖ_ｄ｝を用意する。

【0042】

＜１－２＞
続いて、情報処理装置１００は、ｎ／ｄ個のデータ点にそれぞれの値を割り当てる。一例として、ｎ＝９、ｄ＝３、｛ｖ_１，ｖ_２，ｖ_３｝＝｛Ａ，Ｂ，Ｃ｝であるとして、データ点が、１，２，３，４，５，６，７，８，９であるとすると、例えば、１，２，３のそれぞれにＡを割り当て、４，５，６のそれぞれにＢを割り当て、７，８，９のそれぞれにＣを割り当てる。

【0043】

値の割り当てられたデータ点の集合がＤ_０である。

【0044】

（２）下記の２－１、２－２、２－３を繰り返してＭを複数回計算し、その平均値を求める。

【0045】

＜２－１＞
情報処理装置１００は、データＤ_０をデータ合成モデルに入力し、合成データＤ_１を得る。

【0046】

＜２－２＞
情報処理装置１００は、ｉ＝１，...．，ｄに対し、合成データＤ_１に含まれる、値ｖ_ｉを持つデータ点の個数ｃ_ｉを計数する。

【0047】

上記の具体例において、ノイズ付加により、例えば、Ｂが割り当てられたデータ点の個数が３個から４個になり、Ｃが割り当てられたデータ点の個数が３個から２個になる、といったことが生じる。また、合計数もノイズ付加前後で変わる可能性がある。

【0048】

＜２－３＞
情報処理装置１００は、Ｍ＝（１／ｄ）Σ^ｄ _ｉ＝１｜ｃ_ｉ－ｎ／ｄ｜を計算する。この計算により、データ合成モデルに入力する前と後での、データのずれ（ノイズの絶対値）を把握できる。

【0049】

上記（１）、（２）の手順からなる実験で得られるＭの平均値（期待値）がμ（ｄ）の推定値になる。μ（ｄ）はプライバシー情報には関係しない情報なので、公開しても構わない。

【0050】

なお、非特許文献１、２で提案されている差分プライベートなデータ合成モデルにおいては、プライバシーバジェット（プライバシー保護の強度）をεとしたとき、μ（ｄ）はおおよそｌｏｇ（ｄ／ε）に比例することが分かっている。

【0051】

例えば、情報処理装置１００が、データ合成モデルとして、非特許文献１、２で提案されている差分プライベートなデータ合成モデルを使用する場合において、Ｓ１０２における離散化処理でのμ（ｄ）として、Ｃ・ｌｏｇ（ｄ／ε）を使用することができる。Ｃはある定数である。

【0052】

つまり、情報処理装置１００は、「Ｃ・ｌｏｇ（ｄ／ε）／（ｎ／ｄ）」が定数α（＞０）に最も近くなるような値をｄとして使用できる。

【0053】

（ハードウェア構成例）
本実施の形態で説明した情報処理装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。

【0054】

すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0055】

図４は、上記コンピュータのハードウェア構成例を示す図である。図４のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。

【0056】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0057】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、情報処理装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

【0058】

（実施の形態のまとめ、効果等）
以上説明したとおり、本実施の形態で説明した技術において、情報処理装置１００は、連続変数を離散化して作られたヒストグラムへ後に加えられるノイズの大きさを考慮しながら連続変数の範囲を何個の小区間に等分するか決定する。具体的には、情報処理装置１００は、一つの区間に該当するデータ数の平均と、一つの区間に該当するデータ数へ加えられるノイズの絶対値の期待値（ノイズの大きさ）とが、予め定めた比率になるように小区間の個数を決定する。このようにして小区間の個数を決定することで、小区間の個数を最適化でき、ノイズが情報をかき消すことを防ぐことができる。

【0059】

離散変数のみを扱うデータ合成モデルを用いる際に、連続変数の離散化において、上述した方法で小区間の個数を決定することで、プライバシーを保護しながら良質な合成データを得ることができる。

【0060】

以上の実施形態に関し、更に以下の付記を開示する。

【0061】

＜付記＞
（付記項１）
連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する
情報処理装置。
（付記項２）
前記比率をαとすると、αは０＜α≦１を満たす値である
付記項１に記載の情報処理装置。
（付記項３）
前記プロセッサは、前記ノイズの大きさとして、データ合成モデルに入力するデータと、前記データ合成モデルから出力されるデータとから算出した、ノイズの絶対値の期待値に基づく推定値を用いる
付記項１に記載の情報処理装置。
（付記項４）
連続変数のデータを離散化して得られたデータを入力するデータ合成モデルとして、差分プライベートなデータ合成モデルを使用する場合において、
プライバシーバジェットをεとし、定数をＣとした場合に、前記プロセッサは、前記ノイズの大きさとして、Ｃ・ｌｏｇ（ｄ／ε）を使用する
付記項１に記載の情報処理装置。
（付記項５）
連続変数のデータを離散化するために、連続変数の範囲を等分する区間の個数を決定する情報処理装置による情報処理方法であって、
前記データのデータ数に基づいて、一つの区間に該当するデータ数の平均値と、一つの区間に該当するデータ数へ加えられるノイズの大きさとが、予め定めた比率になるように区間の個数を決定する
情報処理方法。
（付記項６）
コンピュータを、付記項１ないし４のうちいずれか１項に記載の情報処理装置における演算部として機能させるためのプログラムを記憶した非一時的記憶媒体。

【0062】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0063】

１００ 情報処理装置
１１０ 入力部
１２０ 演算部
１３０ 出力部
１４０ 記憶部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】