特許 7376401 情報処理システムおよび情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-30

(45)【発行日】2023-11-08

(54)【発明の名称】情報処理システムおよび情報処理プログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20231031BHJP

   G06Q 30/0201 20230101ALI20231031BHJP

   G06N 20/00 20190101ALI20231031BHJP

   G06Q 40/03 20230101ALI20231031BHJP

【ＦＩ】

G06Q10/04

G06Q30/0201

G06N20/00

G06Q40/03

【請求項の数】 13

(21)【出願番号】P 2020053667

(22)【出願日】2020-03-25

(65)【公開番号】P2021152838

(43)【公開日】2021-09-30

【審査請求日】2022-06-27

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】濱本 真生

(72)【発明者】

【氏名】恵木 正史

(72)【発明者】

【氏名】田代 大輔

(72)【発明者】

【氏名】浜 直史

【審査官】上田 威

(56)【参考文献】

【文献】特開２０１７－０２７１３７（ＪＰ，Ａ）

【文献】特開２０１９－２１９８１３（ＪＰ，Ａ）

【文献】特開２００３－２１６８１４（ＪＰ，Ａ）

【文献】米国特許第０８０６５１６９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

サービスに用いる前記サービスの利用者の個人情報であり、前記利用者に入力させないと決めたセンシティブな属性情報を含まない入力情報から前記サービスに応じた判定値を出力する深層学習を用いた予測器である第１の予測部と、
教師データにより前記利用者に入力させないと決めたセンシティブな属性情報を推定するように予め学習がなされ、前記センシティブな属性情報を含まない入力情報から前記センシティブな属性情報を推定する第２の予測部と、及び
前記第２の予測部から得られるセンシティブな属性情報の推定値に基づいて、前記第１の予測部が出力した判定値を補正して判定結果を出力する第１の量子化部と、
を備えたことを特徴とする情報処理システム。

【請求項2】

前記第１の量子化部が、
前記センシティブな属性情報の推定値と、優遇属性に対する判定値を補正する第１の閾値と、および非優遇属性に対する判定値を補正する第２の閾値に基づいて、第３の閾値を算出し、前記第３の閾値に基づいて第１の予測部が出力した判定値を補正して判定結果を出力すること
を特徴とする請求項１記載の情報処理システム。

【請求項3】

前記利用者に係る入力情報を入力して、判定結果を出力するイベントごとに、入力情報、第１の予測部が出力した判定値、第２の予測部から得られたセンシティブな属性情報の推定値、および第１の量子化部が出力した判定結果を状態ログ情報として、記憶装置に記憶するログ管理部と、
ログ管理部に記憶された過去イベントの状態ログ情報を読出し、公平性指標値を算出してユーザ画面へ出力する状態可視化部と、
を更に備えたことを特徴とする請求項１記載の情報処理システム。

【請求項4】

前記状態可視化部は、過去イベントの状態ログ情報から、指定されたセンシティブな属性情報に係る過去イベントに対する公平性指標値の推定値の遷移をグラフ表示し、任意のイベントの状態ログ情報を同時にユーザ画面へ出力することを特徴とする請求項３記載の情報処理システム。

【請求項5】

前記センシティブな属性情報を含まない入力情報と、前記第２の予測部が出力した前記センシティブな属性情報の推定値とを入力して、前記第１の予測部が出力する判定値を予測した参照判定値を出力する第３の予測部と、
前記センシティブな属性情報を含まない入力情報と、前記第２の予測部が出力した前記センシティブな属性情報の推定値とを入力して、前記第３の予測部の参照判定値に対する各入力特徴量の貢献度情報を出力する参照予測分析部と、
前記第１の予測部が出力する判定値、前記第３の予測部が出力する参照判定値、前記参照予測分析部が出力する各入力特徴量の貢献度情報、および閾値情報を入力して、前記判定値から前記センシティブな属性情報の影響を除去するように補正した補正後判定値を出力する属性影響補正部と、及び
前記第１の量子化部に代えて、前記第２の予測部から出力されるセンシティブな属性情報の推定値、および補正パラメータを用いて、前記属性影響補正部が出力する補正後判定値を量子化して判定結果を出力する第２の量子化部と、
を更に備えたことを特徴とする請求項１記載の情報処理システム。

【請求項6】

前記第３の予測部は、訓練データと訓練データから前記第２の予測部が予測したセンシティブな属性情報の推定値を入力特徴量とし、訓練データを入力特徴量として前記第１の予測部が出力した判定値を答えとして予め学習が実施されて構成され、
前記センシティブな属性情報を含まない入力情報と、前記第２の予測部が出力した前記
センシティブな属性情報の推定値とを入力して、前記第１の予測部が出力する判定値を予測した参照判定値を出力することを特徴とする請求項５記載の情報処理システム。

【請求項7】

前記参照予測分析部は、第３の予測部と貢献度分析部とを備え、
前記貢献度分析部は、前記センシティブな属性情報を含まない入力情報と、前記第２の予測部が出力した前記センシティブな属性情報の推定値とを入力して、前記入力情報と前記推定値に摂動を加えた特徴量を前記第３の予測部へ入力し、その出力値を統計的に処理する操作を繰り返すことで、各入力特徴量の貢献度情報を出力することを特徴とする請求項５記載の情報処理システム。

【請求項8】

前記属性影響補正部は、前記第１の予測部が出力する判定値と、前記第３の予測部が出力する参照判定値との距離が距離閾値よりも小さい場合に、前記判定値を前記センシティブな属性情報の貢献度により補正して、補正後判定値を出力することを特徴とする請求項５記載の情報処理システム。

【請求項9】

前記第２の量子化部は、前記センシティブな属性情報の推定値と、優遇属性に対する判定値を補正する第１の閾値と、非優遇属性に対する判定値を補正する第２の閾値と、及び前記属性影響補正部が出力する前記補正後判定値に含まれる前記センシティブな属性情報の度合いに関する情報に基づいて、第４の閾値を算出し、前記第４の閾値に基づいて前記属性影響補正部が出力した前記補正後判定値を補正して判定結果を出力することを特徴とする請求項５記載の情報処理システム。

【請求項10】

前記利用者に係る入力情報を入力して、判定結果を出力するイベントごとに、入力情報、第１の予測部が出力した判定値、第２の予測部から得られたセンシティブな属性情報の推定値、各入力特徴量の貢献度情報、補正後判定値、センシティブ属性情報の貢献度の妥当性情報、および第２の量子化部が出力した判定結果を状態ログ情報として、記憶装置に記憶するログ管理部と、
ログ管理部に記憶された過去イベントの状態ログ情報を読出し、公平性指標値を算出してユーザ画面へ出力する状態可視化部と、
を更に備えたことを特徴とする請求項５記載の情報処理システム。

【請求項11】

前記状態可視化部は、過去イベントの状態ログ情報から、指定されたセンシティブな属性情報に係る過去イベントに対する公平性指標値の推定値の遷移をグラフ表示し、任意のイベントの状態ログ情報を同時に表示し、およびイベントごとの判定結果の根拠説明として、イベントＩＤ、判定結果、各入力特徴量の貢献度情報、センシティブ属性情報の貢献度の妥当性情報を一覧表示して、ユーザ画面へ出力することを特徴とする請求項１０記載の情報処理システム。

【請求項12】

コンピュータを、
サービスに用いる前記サービスの利用者の個人情報であり、前記利用者に入力させないと決めたセンシティブな属性情報を含まない入力情報から前記サービスに応じた判定値を出力する深層学習を用いた予測器である第１の予測手段、
教師データにより前記利用者に入力させないと決めたセンシティブな属性情報を推定するように予め学習がなされ、前記センシティブな属性情報を含まない入力情報から前記センシティブな属性情報を推定する第２の予測手段、及び
前記第２の予測手段から得られるセンシティブな属性情報の推定値と、優遇属性に対する判定値を補正する第１の閾値と、および非優遇属性に対する判定値を補正する第２の閾値に基づいて、第３の閾値を算出し、前記第３の閾値に基づいて、前記第１の予測手段が出力した判定値を補正して判定結果を出力する第１の量子化手段、
として機能させるための情報処理プログラム。

【請求項13】

コンピュータを、
サービスに用いる前記サービスの利用者の個人情報であり、前記利用者に入力させないと決めたセンシティブな属性情報を含まない入力情報から前記サービスに応じた判定値を出力する深層学習を用いた予測器である第１の予測手段、
教師データにより前記利用者に入力させないと決めたセンシティブな属性情報を推定するように予め学習がなされ、前記センシティブな属性情報を含まない入力情報から前記センシティブな属性情報を推定する第２の予測手段、
前記センシティブな属性情報を含まない入力情報と、前記第２の予測手段が出力した前記センシティブな属性情報の推定値とを入力して、前記第１の予測手段が出力する判定値を予測した参照判定値を出力する第３の予測手段、
前記センシティブな属性情報を含まない入力情報と、前記第２の予測手段が出力した前記センシティブな属性情報の推定値とを入力して、前記第３の予測手段の参照判定値に対する各入力特徴量の貢献度情報を出力する参照予測分析手段、
前記第１の予測手段が出力する判定値、前記第３の予測手段が出力する参照判定値、前記参照予測分析手段が出力する各入力特徴量の貢献度情報、および閾値情報を入力して、前記判定値と前記参照判定値との距離が距離閾値よりも小さい場合に、前記判定値から前記センシティブな属性情報の影響を除去するように補正した補正後判定値を出力する属性影響補正手段、及び
前記センシティブな属性情報の推定値と、優遇属性に対する判定値を補正する第１の閾値と、非優遇属性に対する判定値を補正する第２の閾値と、及び前記属性影響補正手段が出力する前記補正後判定値に含まれる前記センシティブな属性情報の度合いに関する情報に基づいて、第４の閾値を算出し、前記第４の閾値に基づいて前記属性影響補正手段が出力した前記補正後判定値を補正して判定結果を出力する第２の量子化手段、
として機能させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は公平な予測結果あるいは判断結果を出力する情報処理システムおよび情報処理プログラムに関する。

【背景技術】

【0002】

過去の実績データから複雑なパタンを学習して予測あるいは判断の結果を出力する機械学習あるいは人工知能(以下、ＡＩと称する)の技術は、人間がもつ偏見や不公平な過去の慣例を内包した判断結果も忠実に学習する特性がある。このため、例えば雇用するか否かを自動で判断するＡＩが女性に比べて男性に高いスコアを与える、あるいは男女の採用率が大きく異なるなど、不公平なあるいは差別的な判断を行うことが近年大きな問題となっている。このような不公平なあるいは差別的な予測または判断をするＡＩはバイアスを持つＡＩと呼ばれる。この問題に対し、ＡＩへの入力情報に例えば性別、人種などセンシティブな情報を含めないことで差別を回避する手段がある。しかし、例えば身長、収入などの入力情報からＡＩが内部で性別に該当する中間特徴量を自動で生成するケースがあり、結局バイアスを持つＡＩが作成され得るため、これだけでは実質的な解決にはならない。

【0003】

これに対し、前述した入力情報にはセンシティブな情報を含まないがバイアスを持つＡＩにおいて、ＡＩの判断結果の統計値が所望の値になるように、ＡＩ判断の閾値を制御する従来技術（非特許文献１）がある。非特許文献１では例えば、金融融資を判断するＡＩ応用において、女性に融資しない傾向があるＡＩに対し、女性である場合は融資する判断の閾値を下げて融資しやすい傾向となるようにバイアスをかけることで、男性と女性への融資比率に関するＡＩ判断結果の統計値が所望の値になるように制御する技術である。

【先行技術文献】

【非特許文献】

【0004】

【文献】Moritz Hardt 他、「Equality of Opportunity inSupervised Learning」、２9th Conference on Neural Information Processing Systems (NIPS ２016)、 ２０１６年１２月、Pages 3315-33２3.

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１は、利用者のセンシティブな個人情報に基づいてＡＩの判定閾値を制御し、判断結果を補正する。即ち、非特許文献１に係るシステムでは、その利用者はセンシティブな個人情報をシステムへ入力することが求められる。

【0006】

ＡＩを活用したサービスを提供する上で、利用者に対してセンシティブな個人情報入力を求めることは、その入力情報が実際にどのように利用されるかが利用者からは不透明であるため、サービス利用に対する利用者の不安を大きくすることにつながる。また、利用者のセンシティブな個人情報がサービスシステムに残り続けることについても、個人情報の不正利用や流出事故など不安が残るため、利用に対する利用者の心理的負担が大きくなる課題がある。

【0007】

本発明の目的は、サービス利用者にセンシティブな個人情報の入力を求めることなく、公平な判定結果を出力するＡＩシステムを実現することである。

【課題を解決するための手段】

【0008】

本発明の情報処理システムの好ましい例では、利用者に入力させないと決めたセンシティブな属性情報を含まない入力情報から判定値を出力する第１の予測部と、教師データにより前記利用者に入力させないと決めたセンシティブな属性情報を推定するように予め学習がなされ、前記センシティブな属性情報を含まない入力情報から前記センシティブな属性情報を推定する第２の予測部と、及び前記第２の予測部から得られるセンシティブな属性情報の推定値に基づいて、第１の予測部が出力した判定値を補正して判定結果を出力する第１の量子化部と、を備えて構成する。

【0009】

また、本発明の情報処理プログラムの好ましい例では、コンピュータを、利用者に入力させないと決めたセンシティブな属性情報を含まない入力情報から判定値を出力する第１の予測手段、教師データにより前記利用者に入力させないと決めたセンシティブな属性情報を推定するように予め学習がなされ、前記センシティブな属性情報を含まない入力情報から前記センシティブな属性情報を推定する第２の予測手段、前記センシティブな属性情報を含まない入力情報と、前記第２の予測手段が出力した前記センシティブな属性情報の推定値とを入力して、前記第１の予測手段が出力する判定値を予測した参照判定値を出力する第３の予測手段、前記センシティブな属性情報を含まない入力情報と、前記第２の予測手段が出力した前記センシティブな属性情報の推定値とを入力して、前記第３の予測手段の参照判定値に対する各入力特徴量の貢献度情報を出力する参照予測分析手段、前記第１の予測手段が出力する判定値、前記第３の予測手段が出力する参照判定値、前記参照予測分析手段が出力する各入力特徴量の貢献度情報、および閾値情報を入力して、前記判定値と前記参照判定値との距離が距離閾値よりも小さい場合に、前記判定値から前記センシティブな属性情報の影響を除去するように補正した補正後判定値を出力する属性影響補正手段、及び前記センシティブな属性情報の推定値と、優遇属性に対する判定値を補正する第１の閾値と、非優遇属性に対する判定値を補正する第２の閾値と、及び前記属性影響補正手段が出力する前記補正後判定値に含まれる前記センシティブな属性情報の度合いに関する情報に基づいて、第４の閾値を算出し、前記第４の閾値に基づいて前記属性影響補正手段が出力した前記補正後判定値を補正して判定結果を出力する第２の量子化手段、として機能させるように構成する。

【発明の効果】

【0010】

本発明によって、サービス利用者はセンシティブな個人情報をシステムへ入力する必要がなくなるため、利用者のサービス利用に対する心理的負担を軽減することができる。また、本発明に係る情報処理システムおよび情報処理プログラムはセンシティブな個人情報入力を必要としないため、セキュリティの観点で、万が一の個人情報漏えい時においても利用者の被害を軽減することができる。

【図面の簡単な説明】

【0011】

【図1】実施例１の情報処理システム１０の構成例を示す図である。

【図2】量子化部１３０の補正手段の例を示す図である。

【図3】ユーザ画面３００の表示例を示す図である。

【図4】実施例２の情報処理システム２０の構成例を示す図である。

【図5】参照予測器２１０の作成手段の例を示す図である。

【図6】参照予測分析部２２０の構成例を示す図である。

【図7】属性影響補正部２６０の補正手段の概念を示す図である。

【図8】属性影響補正部２６０の補正手段の例を示すフローチャートである。

【図9】量子化部２３０の補正手段の例を示す図である。

【図10】ユーザ画面１０００の表示例を示す図である。

【発明を実施するための形態】

【0012】

以下、実施例を図面を用いて説明する。同一の要素には同一の符号を付し、その説明の繰り返しを省略する。

【0013】

ここでは、金融融資の合否を判定するラベル予測型ＡＩを用いた情報処理システムを例として実施例を説明する。本情報処理システムにおいて、利用者に対する融資の判定結果をＹと表し、Ｙ＝１のとき融資可能（すなわち、利用者にとって好ましい結果）、Ｙ＝０のとき融資不可能（すなわち、利用者にとって好ましくない結果）であるとする。

【0014】

また、利用者のセンシティブな属性情報（個人情報の中でも特に差別につながりかねない属性情報、過去に(歴史上)差別されたという実績がある属性情報）をＳ_ｉと表し、Ｓ_ｉ＝０では利用者が社会的に優遇されたグループ（優遇属性とも称する）に属しており、Ｓ_ｉ＝１では、例えば過去に差別の対象であったなど、利用者が社会的に優遇されていないグループ（非優遇属性とも称する）に属していることを示すとする。例えば、センシティブな属性情報が「性別」Ｓ_１だとすると、Ｓ_１＝１は女性に当てはめられ、Ｓ_１＝０は男性に当てはめられる。例えば、センシティブな属性情報が「人種(肌の色)」Ｓ_２だとすると、Ｓ_２＝１は黒人に当てはめられ、Ｓ_２＝０は白人に当てはめられる。

【実施例1】

【0015】

図１は実施例１に係る情報処理システム１０の構成例を示している。情報処理システム１０は予測部１１０、隠れ属性予測部１２０、量子化部１３０、ログ管理部１４０、状態可視化部１５０の各機能部を有する。

【0016】

また、補正パラメータ、および制約条件は、予め決定されて記憶部(図示せず)に格納しておく。情報処理システム１０の実行時に記憶部から適宜読み出されて利用される。

【0017】

情報処理システム１０は、汎用の計算機上に構成することができて、そのハードウェア構成の図示は省略するが、記憶部に記憶されているプログラムをＲＡＭへロードしてＣＰＵで実行することにより上記した各機能部を実現する。

【0018】

予測部１１０は入力情報１１に基づいてラベルの予測値（すなわち判定値情報１１１）を出力するＡＩの処理部である。入力情報１１は融資判定に用いる利用者の個人情報であるが、センシティブ属性情報Ｓ_ｉ（情報処理システム１０を運用する際に、サービスを提供する利用者に入力をさせない個人情報として予めリストアップしたセンシティブ属性情報）は含んでいない。予測部１１０は例えば深層学習を用いた予測器であり、本実施例ではその出力値（すなわち判定値ｙ）はシグモイド関数によって正規化された“０”から“１”までの連続値であるとする。

【0019】

隠れ属性予測部１２０は入力情報１１に基づいて、利用者のセンシティブ属性情報Ｓ_ｉの推定値ｓ_ｉ’（すなわち推定センシティブ属性情報１２１）を出力する処理部である。隠れ属性予測部１２０は例えば深層学習を用いた予測器であり、予測部１１０の入力特徴量と同一の特徴量を入力とし、これに対応するセンシティブ属性情報Ｓ_ｉ（サービスを提供する利用者に入力をさせない個人情報として予めリストアップしたセンシティブ属性情報）を答えとする訓練データを用いることで作成できる。ただし、学習に適用する訓練データそのものは、予測部１１０を作成するために用いた訓練データと同一である必要はない。

【0020】

隠れ属性予測部１２０は、センシティブ属性情報Ｓ_ｉが複数個ある場合は、「ｓ_１’を予測する隠れ属性予測部１」、「ｓ_２’を予測する隠れ属性予測部２」、……より構成される。

【0021】

本実施例ではセンシティブ属性情報Ｓ_ｉの推定値ｓ_ｉ’はシグモイド関数によって正規化された“０”から“１”までの連続値であるとする。このように、非特許文献１ではセンシティブ属性情報として利用者に入力させた真値が与えられるため、その値は“０”か“１”の離散値であるのに対し、本実施例で扱うセンシティブ属性情報は推定値ｓ_ｉ’で与えられるため、センシティブ属性情報を推定の自信の強さを示す連続値として扱う必要があることが大きな違いの一つである。

【0022】

量子化部１３０は、推定センシティブ属性情報１２１と補正パラメータ情報１２に基づいて、判定値情報１１１の判定値ｙを量子化して判定結果を算出し、判定結果情報１３１として出力する処理部である。

【0023】

補正パラメータ情報１２は判定値ｙを量子化するための閾値に関する情報であり、本実施例では基本判定閾値Ｔｈ_Ｙ、優遇属性の判定閾値α_p、非優遇属性の判定閾値α_ｎｐの情報を有している。基本判定閾値Ｔｈ_Ｙは公平性を考慮しないときに判定値ｙを量子化するために用いられる閾値であり、通常は０．５付近の値を取る。基本判定閾値Ｔｈ_Ｙは予測部１１０の予測器を学習する過程などで得られる。優遇属性の判定閾値α_ｐは優遇属性グループの判定値ｙを量子化するために用いる閾値であり、目安としてＴｈ_Ｙ≦α_ｐ＜１の値を取る。非優遇属性の判定閾値α_ｎｐは非優遇属性グループの判定値ｙを量子化するために用いる閾値であり、目安として０＜α_ｎｐ≦Ｔｈ_Ｙの値を取る。優遇属性の判定閾値α_ｐと非優遇属性の判定閾値α_ｎｐの最適値を算出する手法の例としては非特許文献１などが挙げられる。

【0024】

図２に量子化部１３０の補正手段の具体例を示す。本実施例にかかる判定値ｙの量子化処理では、判定値ｙが判定閾値α以上であるとき、補正後判定結果Ｙ^＊を“１“とし、判定閾値αより小さければ”０“とする。ここで、判定閾値αは数式(１)で得ることができる。

【0025】

【数1】

【0026】

ここで、α_ｐとα_ｎｐはそれぞれ優遇属性と非優遇属性の判定閾値である。ｓ’はセンシティブ属性情報の推定値である。なお本実施例では、センシティブ属性情報Ｓ＝０を優遇属性としており、センシティブ属性情報の推定値ｓ’の値が大きいほど非優遇属性の可能性が高いとした場合の判定閾値αの算出例を示している。このように、非優遇属性の利用者に好ましい結果が得られやすくなるように判定閾値αを定めることで、不公平な予測を行うＡＩに対してこれを抑制する方向にバイアスを掛けることができ、より公平な情報処理システムを提供できる。

【0027】

なお、センシティブ属性情報の推定値が複数個(ｓ_１’、ｓ_２’、……)の場合には、判定閾値αは数式(２)に示す線形和として得ることができる。ただし0≦α≦1になるようにクリップする。

【0028】

【数2】

【0029】

ここで、α_ｐ１、α_ｐ２とα_ｎｐ１、α_ｎｐ２はそれぞれ優遇属性と非優遇属性の判定閾値である。

【0030】

ログ管理部１４０は、情報処理システム１０が入力情報１１から判定結果情報１３１を導くまでに実施した処理の過程に関する状態情報をハードディスクなどの不揮発性記憶装置、あるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶装置に格納する記憶処置部である。格納される状態情報は入力情報１１、判定値情報１１１、推定センシティブ属性情報１２１、判定結果情報１３１を含んでおり、例えば金融機関など本実施例にかかる情報処理システムの所有者へ、システムの内部状態情報を可視化するために用いられる。

【0031】

状態可視化部１５０は、ログ管理部１４０から状態ログ情報１４１を読み出し、さらに制約情報１３を用いて状態ログ情報１５１として、システム所有者のユーザ画面３００へ出力する。制約情報１３はセンシティブ属性情報の推定値ｓ_ｉ’を量子化するための属性閾値Ｔｈ_Ｓと公平性指標値Ｆの目標値、上限値、および下限値の情報を含む。

【0032】

図３に本実施例に係るユーザ画面３００の一例を示す。ユーザ画面３００は内部状態情報を表示する領域３１０と、公平性指標値の状態を表示する領域３２０を有する。

【0033】

内部状態情報を表示する領域３１０では、例えば金融機関における融資判定イベントの識別子であるイベントＩＤ、該融資判定イベントでの入力情報Ｘ、補正前判定結果Ｙ、予測属性Ｓ_ｉ’、補正後判定結果Ｙ^＊を表示する。入力情報Ｘは入力情報１１である。補正前判定結果Ｙは判定閾値Ｔｈ_Ｙを用いて、判定値ｙが判定閾値Ｔｈ_Ｙ以上なら“１”（すなわち融資可能）、判定閾値Ｔｈ_Ｙより小さいなら“０”（すなわち融資拒否）として得られる。予測属性Ｓ’は属性閾値Ｔｈ_Ｓを用いて、センシティブ属性情報の推定値ｓ_ｉ’が属性閾値Ｔｈ_Ｓ以上なら“１”（すなわち非優遇属性）、属性閾値Ｔｈ_Ｓより小さいなら“０”（すなわち優遇属性）として得られる。補正後判定結果Ｙ^＊は判定結果情報１３１である。

【0034】

公平性指標値の状態を表示する領域３２０では、公平性指標値Ｆの目標値３２１、上限値３２２、下限値３２３と、融資判定イベントに対する公平性指標値Ｆの推定値の遷移を表示する。公平性指標値Ｆの一例としてグループ公平性の指標値があり、優遇属性（Ｓ＝０）グループでの融資可能判定（Ｙ＝１）を得る確率｛Ｐ[Ｙ＝１｜Ｓ＝０]｝に対する非優遇属性（Ｓ＝１）グループでの融資可能判定（Ｙ＝１）を得る確率｛Ｐ[Ｙ＝１｜Ｓ＝１]｝の比率として、数式(３)に示すように求めることができる。

【0035】

【数3】

【0036】

例えば、センシティブな属性情報を「性別」Ｓだとすると、融資可能判定をした人が男性であった確率と、融資可能判定をした人が女性であった確率の比率の遷移を、ログ管理部１４０に記憶されている過去ログから、公平性指標値Ｆの遷移を表示している。白丸３２４で示す過去イベントＩＤの内部状態情報を領域３１０に表示している。

【0037】

この場合、目標値３２１は一般的にＦ＝１と設定される。上限値３２２と下限値３２３は国ごとの文化や法律に依存するが、おおむね２０％の振れ幅を基準として上限値３２２は１．２、下限値３２３は０．８などのような値となる。情報処理システム１０の所有者(例えば銀行)が適宜、制約情報１３を設定して、公平性指標値Ｆの遷移を監視して、上限値、または下限値を超えるならば、システムのメンテナンスを実施することが考えられる。

【0038】

以上が情報処理システム１０の実施例である。これによりサービス利用者のセンシティブな個人情報を求めることなく、公平な判定結果を実現することが可能となり、利用者のサービス利用に対する心理的負担を軽減することができる。また、本実施例に係る情報処理システムはセンシティブな個人情報の入力を必要としないため、システム所有者の観点ではセンシティブな個人情報を扱うプライバシーに関するリスクを低減できる。

【実施例2】

【0039】

実施例１で示した情報処理システム１０では、ＡＩの判定結果に対するセンシティブ属性情報の実質的な影響を考慮せず、非優遇属性のサービス利用者が一律に好ましい判定結果を得やすくなる特徴がある。実施例２では、センシティブ属性情報の影響を除去した判定結果が得られるように補正する情報処理システム２０を示す。これにより、ＡＩの判定結果に対するセンシティブ属性情報の実質的な影響を取り除いた判定結果を導く公平な情報処理システムを実現できる。

【0040】

図４に本実施例に係る情報処理システム２０の構成例を示す。情報処理システム２０は予測部１１０、隠れ属性予測部１２０、参照予測部２１０、参照予測分析部２２０、属性影響補正部２６０、量子化部２３０、ログ管理部２４０、状態可視化部２５０の各機能部を備えている。

【0041】

また、閾値情報、補正パラメータ、および制約条件は、予め決定されて記憶部(図示せず)に格納しておく。情報処理システム２０の実行時に記憶部から適宜読み出されて利用される。

【0042】

参照予測部２１０は予測部１１０の挙動を模倣する予測処理部であり、入力情報１１と推定センシティブ属性情報１２１を用いて予測部１１０の判定値ｙを予測した参照判定値ｙ’を参照判定値情報２１１として出力する。

【0043】

図５に参照予測部２１０に適用する予測器（ここでは参照予測器５１１と称する）の作成手段の例を示す。参照予測器５１１は深層学習などによって実現される予測器であり、入力情報１１と推定センシティブ属性情報１２１を入力として予測部１１０の判定値を推定する予測モデルである。これを作成するために、参照予測学習部５１０は訓練データ５０１と訓練データ５０１から隠れ属性予測部１２０が予測した推定センシティブ属性情報１２１を入力特徴量とし、訓練データ５０１を入力特徴量として判定した予測部１１０の判定値情報１１１を答えとして教師あり学習を実施する。これにより、参照予測部２１０に適用する参照予測器５１１を得ることができる。

【0044】

参照予測分析部２２０は参照予測部２１０が出力した参照判定値ｙ’の根拠を分析する処理部であり、入力情報１１と推定センシティブ属性情報１２１を入力として、参照予測部２１０の出力値（すなわち参照判定値ｙ’）に対する各入力特徴量の貢献度情報２２１を出力する。

【0045】

図６に参照予測分析部２２０の構成例を示す。参照予測分析部２２０は参照予測部２１０と貢献度分析部６１０を備える。貢献度分析部６１０は参照予測部２１０の出力値に対する各入力特徴量の貢献度を算出し、各入力特徴量の貢献度情報２２１として出力する処理部である。各特徴量の貢献度には、例えばShapley値を用いることができる。貢献度分析部６１０は入力情報１１と推定センシティブ属性情報１２１の値を中心特徴量として、この中心特徴量に摂動を加えた特徴量（摂動特徴量６１１と称する）を参照予測部２１０へ入力し、その出力値である判定値６１２を統計的に処理する操作を繰り返すことで、各入力特徴量のShapley値（すなわち貢献度）を求めることができる。

【0046】

属性影響補正部２６０は、判定値情報１１１、参照判定値情報２１１、各入力特徴量の貢献度情報２２１、および閾値情報２１を用いて、予測部１１０の判定値ｙからセンシティブ属性情報の影響を除去するように補正した補正後判定値ｙ^＊を算出し、補正後判定値情報２６１として出力する処理部である。

【0047】

図７に属性影響補正部２６０の補正手段の概念図を示す。ここでは、入力情報１１には特徴量１から特徴量３が含まれており、推定センシティブ属性情報１２１は特徴量４として表現されている例を示している。判定値ｙに対する各入力特徴量の影響を示しており、矢印の長さが貢献度の大きさ、矢印の向きは貢献度の正負の符号を表している。各入力特徴量の貢献度の総和は判定値ｙと一致するように正規化されている。図７の例では、特徴量１と特徴量２は判定値ｙに対して正の方向に寄与しており、これは融資可能の根拠に該当する。一方、特徴量３と特徴量４は判定値ｙに対して負の方向に寄与しており、これは融資不可能の根拠に該当する。ここで、特徴量４は例えば性別や国籍などのセンシティブ属性情報に該当するため、該センシティブ属性情報について公平な判定結果を得るには判定値ｙからこの影響を除去することが望ましい。そのため、属性影響補正部２６０は判定値ｙに対し、センシティブ属性情報の貢献度Ｃ_Ｓ（図７では特徴量４の貢献度）を打ち消すように補正することで補正後判定値ｙ^＊を得る。

【0048】

なお、図７の例では、推定センシティブ属性情報１２１は特徴量４として表現されているが、センシティブ属性情報が複数ある場合には、推定センシティブ属性情報１２１は複数のセンシティブ属性情報Ｓ_ｉの推定値ｓ_ｉ’である。この場合は、各推定値ｓ_ｉ’の特徴量を負の方向に多段に加算したものが特徴量４として表現されることになる。

【0049】

図８に属性影響補正部２６０の補正手段の具体例を示す。図７に示した補正方式の適切さはセンシティブ属性情報の貢献度Ｃ_Ｓの妥当性に大きく影響を受ける。そのため、ここでは予測部１１０と参照予測部２１０の出力結果（すなわち判定値ｙと参照判定値ｙ’）の類似度を妥当性の指標とし、これらが一致している場合はセンシティブ属性情報の貢献度Ｃ_Ｓは妥当に評価されているとし、大きく異なる場合は妥当に評価されていないとして補正処理を行わないアルゴリズムを採用した例を示す。

【0050】

まず、処理ステップＳ８１０として初期化処理を行う。具体的には補正後判定値ｙ^＊に判定値ｙを設定し（すなわちｙ^＊＝ｙ）、属性影響補正フラグγに“０”を設定する（すなわちγ＝０）。

【0051】

次に処理ステップＳ８２０として、判定値の類似度算出処理を行う。具体的には、類似度の指標として判定値ｙと参照判定値ｙ’の距離Ｌを導入し、距離Ｌとして判定値ｙと参照判定値ｙ’の差分絶対値を求める（すなわちＬ＝｜ｙ－ｙ’｜）。

【0052】

次に処理ステップＳ８３０として距離閾値Ｔｈ_Ｌを参照し、距離Ｌが距離閾値Ｔｈ_Ｌよりも小さければ判定値ｙと参照判定値ｙ’は十分類似しているとして処理ステップＳ８４０へ移行し、そうでなければ補正処理を終了する。距離閾値Ｔｈ_Ｌは閾値情報２１として与えられるパラメータである。

【0053】

処理ステップＳ８４０では判定値補正処理を行う。具体的には補正後判定値ｙ^＊に下限値を“０”、上限値を“１”として判定値ｙからセンシティブ属性情報の貢献度Ｃ_Ｓを差し引いた値を数式(４)にて設定する。

【0054】

【数4】

【0055】

また、処理ステップＳ８４０では属性影響補正フラグγに“１”を設定する（すなわちγ＝１）。ここで、補正後判定値ｙ^＊の下限値と上限値をそれぞれ“０”および“１”としているのは、本実施例では予測部１１０が深層ニューラルネットで構成されており、シグモイド関数で“０”から“１”までに正規化された値が判定値ｙとして出力されていることを前提としているためである。以上が、属性影響補正部２６０の補正手段の具体例である。

【0056】

量子化部２３０は推定センシティブ属性情報１２１、および補正パラメータ２２を用いて、補正後判定値情報２６１の補正後判定値ｙ^＊を量子化して判定結果を算出し、判定結果情報２３１として出力する処理部である。

【0057】

補正パラメータ情報２２は補正後判定値ｙ^＊を量子化するための閾値に関する情報であり、情報処理システム１０で用いた基本判定閾値Ｔｈ_Ｙ、優遇属性の判定閾値α_ｐ、非優遇属性の判定閾値α_ｎｐに加え、優遇属性の閾値調整係数β_ｐ、非優遇属性の閾値調整係数β_ｎｐを有している。

【0058】

優遇属性の閾値調整係数β_ｐは属性影響補正部２６０にて判定値ｙからセンシティブ属性情報の影響が除去された場合に優遇属性の判定閾値α_ｐによるバイアス効果をどれだけ除去するかを調整するパラメータであり、“０”から“１”までの値を持つ（すなわち０≦β_ｐ≦１）。非優遇属性の閾値調整係数β_ｎｐは属性影響補正部２６０にて判定値ｙからセンシティブ属性情報の影響が除去された場合に非優遇属性の判定閾値α_ｎｐによるバイアス効果をどれだけ除去するかを調整するパラメータであり、“０”から“１”までの値を持つ（すなわち０≦β_ｎｐ≦１）。このように、優遇属性の閾値調整係数β_ｐと非優遇属性の閾値調整係数β_ｎｐは実施例１の情報処理システム１０で用いた判定閾値αの調節による補正手段と、属性影響補正部２６０による補正手段の効果を調整するパラメータとして機能する。

【0059】

図９に量子化部２３０の補正手段の具体例を示す。ここでは、補正後判定値情報２６１の補正後判定値ｙ^＊が判定閾値α以上であるとき、補正後判定結果Ｙ^＊を“１”とし、判定閾値αより小さければ“０”とする。ここで、判定閾値αは数式(５)で得ることができる。

【0060】

【数5】

【0061】

ここで、ｓ’はセンシティブ属性情報の推定値である。また、α_ｐ’とα_ｎｐ’はそれぞれ優遇属性の補正後判定閾値と非優遇属性の補正後判定閾値であり、これらは基本判定閾値Ｔｈ_Ｙ、優遇属性の判定閾値α_ｐ、非優遇属性の判定閾値α_ｎｐ、優遇属性の閾値調整係数β_ｐ、非優遇属性の閾値調整係数β_ｎｐ、および属性影響補正フラグγを用いて数式(６)、数式(７)で得ることができる。

【0062】

【数6】

【0063】

【数7】

【0064】

なお、センシティブ属性情報の推定値が複数個(ｓ_１’、ｓ_２’、……)の場合には、数式(５)に示す判定閾値αは数式(８)に示す線形和として得ることができる。ただし0≦α≦1になるようにクリップする。

【0065】

【数8】

【0066】

また、センシティブ属性情報Ｓ_ｉの優遇属性の補正後判定閾値α_ｐｉ’と非優遇属性の補正後判定閾値α_ｎｐｉ’は、数式(９)、数式(１０)で得ることができる。

【0067】

【数9】

【0068】

【数10】

【0069】

ここで、α_ｐｉと、α_ｎｐｉは、センシティブ属性情報Ｓ_ｉの優遇属性と非優遇属性の判定閾値であり、β_ｐｉと、β_ｎｐｉは、センシティブ属性情報Ｓ_ｉの優遇属性と非優遇属性の閾値調整係数である。

【0070】

ここで、属性影響補正フラグγは属性影響補正部２６０で得た補正処理実施の有無を示すフラグ情報であり、補正後判定値情報２６１に含まれている。優遇属性の閾値調整係数β_ｐ、および非優遇属性の閾値調整係数β_ｎｐの値がともに“１”のとき、量子化部２３０ではセンシティブ属性情報に関する補正処理が実施されないことを意味するため、補正後判定値ｙ^＊が判定値ｙからセンシティブ属性情報の影響を十分に除去できていることが期待できるアプリケーションほどこれらの値を“１”に近い値に設定することが好ましい。このように、優遇属性の閾値調整係数β_ｐ、および非優遇属性の閾値調整係数β_ｎｐは補正後判定値ｙ^＊に含まれるセンシティブ属性情報Ｓ_ｉの度合いを表現するパラメータとも表現できる。なお、本実施例では、センシティブ属性情報Ｓ_ｉ＝０を優遇属性としており、センシティブ属性情報の推定値ｓ_ｉ’の値が大きいほど非優遇属性の可能性が高いことを意味する場合の判定閾値αの算出例を示している。

【0071】

ログ管理部２４０は、情報処理システム２０が入力情報１１から判定結果情報２３１を導くまでに実施した処理の過程に関する状態情報を不揮発性記憶装置、あるいは揮発性記憶装置に格納する記憶処置部である。格納される状態情報は入力情報１１、判定値情報１１１、推定センシティブ属性情報１２１、判定結果情報２３１、各入力特徴量の貢献度情報２２１、補正後判定値情報２６１、および属性影響補正部２６０で求めたセンシティブ属性の貢献度Ｃ_Ｓの妥当性情報（すなわち判定値ｙと参照判定値ｙ’の距離Ｌ）を含んでいる。ここで、判定値情報１１１、各入力特徴量の貢献度情報２２１、補正後判定値情報２６１、および貢献度Ｃ_Ｓの妥当性情報は属性影響補正部２６０から得られる内部状態情報２６２に含まれている。

【0072】

状態可視化部２５０は、ログ管理部２４０から状態ログ情報２４１を読み出し、さらに制約情報１３を用いて、状態ログ情報２５１として、システム所有者のユーザ画面１０００へ出力する。

【0073】

図１０に本実施例に係るユーザ画面１０００の例を示す。ユーザ画面１０００は内部状態情報を表示する領域９１０、公平性指標値の状態を表示する領域３２０、および判定結果の根拠説明を表示する領域９２０を有する。

【0074】

イベントＩＤを指定して内部状態情報を表示する領域９１０では、情報処理システム１０のユーザ画面３００で表示するイベントＩＤ、入力情報、補正前判定結果、予測属性、補正後判定結果に加えて、属性影響を除去するように補正した属性影響補正後判定値を表示する。属性影響補正後判定値は補正後判定値情報２６１に含まれる補正後判定値ｙ^＊である。

【0075】

判定結果の根拠説明を表示する領域９２０では、イベントＩＤごとに判定結果９２１とその属性貢献度９２２、および貢献度分析の信頼性９２３を表示する。判定結果９２１は補正後判定結果Ｙ^＊の情報であり、融資可否の判定結果が表示される。ここでは、融資可能（すなわちＹ^＊＝１）を許可、融資不可能（すなわちＹ^＊＝０）を却下と表現している。属性貢献度９２２は各入力特徴量の貢献度情報２２１の情報であり、入力情報１１に含まれる特徴量の貢献度だけでなく、判定値ｙに対するセンシティブ属性情報の貢献度の情報も表示される。ここでは、特徴量４がセンシティブ属性情報の貢献度に該当する。信頼性９２３は属性貢献度９２２の評価の妥当性を示す情報であり、センシティブ属性情報の貢献度Ｃ_Ｓの妥当性情報（すなわち判定値ｙと参照判定値ｙ’の距離Ｌ）と等価である。ここで、信頼性９２３は距離Ｌが距離閾値Ｔｈ_Ｌよりも小さい場合は信頼性を“高”、大きい場合は信頼性を“低”として単純化して表現することもできる。図１０では単純化した表現と距離Ｌの数値の両方を表示する例を示している。

【0076】

このように、情報処理システム２０では、予測部１１０が出力する判定値ｙから属性影響を除去するだけでなく、判定値ｙに対するセンシティブ属性情報の影響の度合い（すなわち貢献度）を定量化して可視化できる特徴があり、サービス運用時だけでなく、ＡＩ開発時にもＡＩ判断の公平性を改善するために極めて有効に活用できる。

【0077】

以上が本発明に係る第２の実施形態として示す情報処理システム２０である。これによりＡＩの判定結果に対するセンシティブ属性情報の実質的な影響を考慮した公平な情報処理システム２０が実現できる。

【0078】

また、上記した情報処理システム１０、および情報処理システム２０における予測部１１０は、金融融資の合否を判定するラベル予測型ＡＩに限らず、利用者に係る個人情報を入力して、サービス目的に応じた判定結果を出力するＡＩに適用することができる。予測部１１０が、第三者が作成した内部がブラックボックスのＡＩであったとしても、それを導入して、情報処理システム１０、または情報処理システム２０を構成することが可能である。

【符号の説明】

【0079】

１０…情報処理システム、１１…入力情報、１２…補正パラメータ、１３…制約情報、２０…情報処理システム、２１…閾値情報、２２…補正パラメータ、
１１０…予測部、１１１…判定値情報、１２０…隠れ属性予測部、１２１…推定センシティブ属性情報、１３０…量子化部、１３１…判定結果情報、１４０…ログ管理部、１４１…状態ログ情報、１５０…状態可視化部、１５１…状態ログ情報、
２１０…参照予測部、２１１…参照判定値情報、２２０…参照予測分析部、２２１…各入力特徴量の貢献度情報、２３０…量子化部、２３１…判定結果情報、２４０…ログ管理部、２４１…状態ログ情報、２５０…状態可視化部、２５１…状態ログ情報、２６０…属性影響補正部、２６１…補正後判定値情報、２６２…内部状態情報、
３００…ユーザ画面、３１０…内部状態情報を表示する領域、３２０…公平性指標値の状態を表示する領域、３２１…公平性指標値Ｆの目標値、３２２…公平性指標値Ｆの上限値、３２３…公平性指標値Ｆの下限値、３２４…内部状態情報を表示させる過去イベントＩＤ、
５０１…訓練データ、５１０…参照予測学習部、５１１…参照予測器、
６１０…貢献度分析部、６１１…中心特徴量に摂動を加えた特徴量（摂動特徴量）、６１２…参照予測部２１０の出力値である判定値、
９１０…内部状態情報を表示する領域、９２０…判定結果の根拠説明を表示する領域、９２１…イベントＩＤごとの判定結果、９２２…イベントＩＤごとの属性貢献度（各入力特徴量の貢献度情報）、９２３…信頼性（属性貢献度９２２の評価の妥当性を示す情報）、１０００…ユーザ画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】