特開2024-142810訓練データ生成プログラム，訓練データ生成方法および情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142810
(43)【公開日】2024-10-11
(54)【発明の名称】訓練データ生成プログラム，訓練データ生成方法および情報処理装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20241003BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023055148
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】成田 顕一郎
(57)【要約】
【課題】機械学習モデルの精度の劣化を抑制するような訓練データを生成する。
【解決手段】第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、処理をコンピュータに実行させる。
【選択図】図１２
【解決手段】第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、処理をコンピュータに実行させる。
【選択図】図１２
【特許請求の範囲】
【請求項1】
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータに実行させる、訓練データ生成プログラム。
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータに実行させる、訓練データ生成プログラム。
【請求項2】
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
請求項１に記載の訓練データ生成プログラム。
請求項１に記載の訓練データ生成プログラム。
【請求項3】
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
請求項１又は請求項２に記載の訓練データ生成プログラム。
請求項１又は請求項２に記載の訓練データ生成プログラム。
【請求項4】
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
請求項１又は請求項２に記載の訓練データ生成プログラム。
請求項１又は請求項２に記載の訓練データ生成プログラム。
【請求項5】
前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
処理を前記コンピュータに実行させる、請求項１又は請求項２に記載の訓練データ生成プログラム。
処理を前記コンピュータに実行させる、請求項１又は請求項２に記載の訓練データ生成プログラム。
【請求項6】
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータが実行する、訓練データ生成方法。
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータが実行する、訓練データ生成方法。
【請求項7】
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
制御部を備える、情報処理装置。
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
制御部を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、訓練データ生成プログラム，訓練データ生成方法および情報処理装置に関する。
【背景技術】
【0002】
訓練データセット（複数の訓練データ）を用いて訓練される機械学習モデルは、統計的に確率の高い判断を下すという特性上、訓練データの所定の属性に偏り（バイアス）がある場合に、不公平な推論結果、例えば差別を引き起こす推論結果を出力する可能性がある。所定の属性としては、例えば、性別，年齢，人種，国籍，婚姻状況等の保護属性が挙げられる。
【0003】
訓練データを変換、例えば訓練データの値又はラベルを変換（修正）し、保護属性と非保護属性との間の相関を軽減した訓練データを用いて機械学習モデルを訓練することで、機械学習モデルによる不公平な推論を抑制する手法が知られている。訓練データの修正は、「是正」処理と称されてもよい。なお、相関とは、属性間の関連性又はその強さを意味してよい。
【0004】
是正処理において、複数の訓練データを所定の属性の値等に基づき複数のグループ（セグメント）に分類し、グループごとに、グループに含まれる訓練データを是正する手法が知られている。当該手法により、複数の訓練データを一括で是正するよりも、機械学習モデルによる不公平な推論の抑制効果を高めることができる。複数の訓練データを複数のセグメントに分類する処理は、セグメント分割，セグメント抽出，セグメンテーション（Segmentation）又はデータセグメンテーションと称されてもよい。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第２０２０／２４０９８１号パンフレット
【特許文献2】特開２０２１－１２５９３号公報
【特許文献3】国際公開第２０２１／２６０９４５号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0006】
是正処理を行なう際のセグメンテーションの仕方によっては、セグメントに含まれる訓練データの是正量、例えば是正対象の訓練データ数が増えてしまう場合がある。それにより、是正処理済みの訓練データを用いて訓練される機械学習モデルの精度（例えば推論精度）の劣化を引き起こす可能性がある。
【0007】
１つの側面では、本発明は、機械学習モデルの精度の劣化を抑制するような訓練データを生成することを目的の１つとする。
【課題を解決するための手段】
【0008】
１つの側面では、訓練データ生成プログラムは、コンピュータに、以下の処理を実行させてよい。前記処理は、第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類してよい。また、前記処理は、前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成してよい。さらに、前記処理は、前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成してよい。
【発明の効果】
【0009】
１つの側面では、本発明は、機械学習モデルの精度の劣化を抑制するような訓練データを生成することができる。
【図面の簡単な説明】
【0010】
【図1】訓練データセットから抽出されるセグメントの数と、公平性スコアとの関係の一例を示す図である。
【図2】セグメンテーションの手法の一例を説明するための図である。
【図3】一実施形態の一例としてのサーバの機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。
【図4】一実施形態の一例としてのサーバのソフトウェア構成例を示すブロック図である。
【図5】訓練データセットの一例を示す図である。
【図6】一実施形態に係るセグメントの生成処理の一例を説明するための図である。
【図7】一実施形態に係るセグメントの生成処理の一例を説明するための図である。
【図8】公平性スコア変化量の一例を示す図である。
【図9】シンプソンのパラドックスの一例を説明するための図である。
【図10】マージ部によるマージ処理の一例を説明するための図である。
【図11】公平性スコア変化量及び訓練データ数に基づくマージ結果の一例を示す図である。
【図12】一実施形態に係るサーバの動作例を説明するためのフローチャートである。
【図13】サーバの動作例を説明するための図である。
【0011】
以下、図面を参照して実施形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【0012】
〔Ａ〕セグメンテーションについて
まず、セグメンテーションについて説明する。上述したように、複数の訓練データを複数のセグメントに分類し、セグメントごとに是正処理を行なうことで、複数の訓練データに一括で是正処理を行なうよりも、より良い公平性を得られる。なお、セグメントの分類（分割）は、「その条件下で判定は公平であるべき」といえる数値属性、例えば「収入」等の数値属性（第１の属性）の値を尺度として実行されてよい。当該尺度は、例えば、訓練データセットごとに決定されてよい。
まず、セグメンテーションについて説明する。上述したように、複数の訓練データを複数のセグメントに分類し、セグメントごとに是正処理を行なうことで、複数の訓練データに一括で是正処理を行なうよりも、より良い公平性を得られる。なお、セグメントの分類（分割）は、「その条件下で判定は公平であるべき」といえる数値属性、例えば「収入」等の数値属性（第１の属性）の値を尺度として実行されてよい。当該尺度は、例えば、訓練データセットごとに決定されてよい。
【0013】
図１は、訓練データセットから抽出されるセグメントの数と、公平性スコアとの関係の一例を示す図である。「公平性スコア」は、公平性の評価値の一例であり、訓練データの公平性（Fairness）を示す指標の一例である。公平性スコアの詳細は後述する。「セグメントNo.」は、セグメントの識別情報の一例である。
【0014】
図１の符号Ａ１に示すように、セグメント数が例えば10個のように少なすぎる場合、図１の符号Ａ２に示す最適な分割数（例えば30個）と比較して、個々のセグメントの訓練データの傾向の把握が困難になる場合がある。例えば、誤って把握された傾向に基づき、或るセグメントの是正処理が行なわれる場合、当該或るセグメント内の多くの訓練データが是正される可能性がある。
【0015】
また、図１の符号Ａ３に示すように、セグメント数が例えば100個のように多すぎる場合、最適な分割数（符号Ａ２参照）と比較して、個々のセグメント内のデータ件数が少なくなり、各セグメントの公平性スコアが訓練データの僅かな変化に過敏に反応し得る。例えば、公平性スコアに基づき多くのセグメントが是正対象に決定され、多くの訓練データが是正される可能性がある。
【0016】
このように、複数の訓練データから抽出されるセグメントの数が適切ではない場合、セグメントごとの是正処理において、是正対象の訓練データ数が増加する可能性がある。なお、図１に示すセグメント数は例示にすぎず、適切なセグメント数は、訓練データセットに含まれる訓練データ数や、訓練データの分布等の要因に応じて変わるものである。
【0017】
是正処理によって訓練データのレコードの値やラベルを書き換えることにより、元の訓練データには存在しない属性値の組み合わせを含む訓練データや、元の訓練データの属性値の組み合わせと矛盾する訓練データが生成される可能性がある。このため、是正される訓練データの数が増加するほど、当該訓練データを用いて訓練された機械学習モデルの精度（例えば推論精度）が劣化する可能性が高まる。
【0018】
以下の説明では、訓練データセットは、収入，性別，婚姻状況，子供有無，人種，住宅融資（ローン）通過可否等の属性の値（属性値）を含む住宅融資データの集合であるものとする。また、訓練データセットを用いた機械学習モデルの訓練により、収入，婚姻状況等の入力情報からローンの通過可否の判定を行なうＡＩ（Artificial Intelligence）が作成されるものとする。
【0019】
図２は、セグメンテーションの手法の一例を説明するための図である。図２の符号Ｂ１に示すように、訓練データセットは、収入の属性値が0～400万円（特に、0～200万円）の範囲にある訓練データ（レコード）を多く含んでいる。
【0020】
例えば、セグメンテーションの手法の１つとして、等幅binningが知られている。binningは、連続値の特徴量を離散化してカテゴリ変数に変換する手法であり、等幅binningは、各セグメントの区間（値の範囲）が一定となるようにbinningする、範囲優先分割手法である。
【0021】
【0022】
しかし、収入が400～1000万円の範囲のセグメント（符号Ｂ３参照）は、収入が0～400万円の範囲のセグメント（符号Ｂ４参照）と比較して、訓練データ数が極端に少なく、訓練データのサンプル不足が生じている。このため、是正処理において、符号Ｂ３に示すセグメントにおいてバイアスを正しく検知することが難しい。
【0023】
また、セグメンテーションの手法の１つとして、各セグメントの標本数が一定となるようにbinningする、数優先分割手法である分位binningが知られている。しかし、図２の符号Ｂ１に示す訓練データセットに対して分位binningを行なうと、例えば、収入が400～1000万円の範囲が１つのセグメントに含まれることになる。この場合、当該セグメントに含まれる訓練データの傾向の把握が困難になる場合がある。
【0024】
このように、セグメンテーションの手法として、等幅binningや分位Binning等の手法を単純に採用する場合、セグメントごとの是正処理の実行が困難になる場合がある。
【0025】
〔Ｂ〕一実施形態に係る手法の説明
そこで、１つの側面では、一実施形態において、機械学習モデルの精度の劣化を抑制するような訓練データを生成する手法を説明する。例えば、一実施形態では、機械学習モデルの精度の劣化を抑制しつつ、是正による是正効果が大きくなるようなセグメントを求める。なお、セグメントは、「グループ」の一例である。
そこで、１つの側面では、一実施形態において、機械学習モデルの精度の劣化を抑制するような訓練データを生成する手法を説明する。例えば、一実施形態では、機械学習モデルの精度の劣化を抑制しつつ、是正による是正効果が大きくなるようなセグメントを求める。なお、セグメントは、「グループ」の一例である。
【0026】
例えば、訓練データの是正量（例えば是正する訓練データ数）が減少すれば、機械学習モデルの精度の劣化への影響は減少する傾向にある。また、複数のセグメントの各々において、セグメント内の訓練データの傾向が類似している方が、是正対象となるセグメントを絞り込めるため、訓練データの是正量が減少する。さらに、セグメントに含まれる訓練データの数が多いほど、是正処理は容易になる。
【0027】
これらの観点から、是正量が少なくなるように、傾向が近い訓練データどうしを同じセグメントに含めること、並びに、是正処理を適切に行なうのに十分な数の訓練データをセグメントに含めること、の少なくとも一方を満たすセグメンテーションを実行することを想定する。
【0028】
一例として、一実施形態において、複数の訓練データを生成する装置、例えばサーバは、以下の（ｉ）～（iii）の処理を実行してよい。
【0029】
（ｉ）サーバは、第１の複数の訓練データを、第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類する。
【0030】
（ii）サーバは、複数のグループのそれぞれに含まれる訓練データの第１の属性の値間の差分と、複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成する。
【0031】
（iii）サーバは、第３のグループの公平性の評価値に基づいて、第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する。
【0032】
これにより、一実施形態に係るサーバによれば、機械学習モデルの精度の劣化を抑制するような、第２の複数の訓練データを生成することができる。
【0033】
〔Ｃ〕ハードウェア構成例
一実施形態に係るサーバ１（図４参照）は、仮想サーバ（ＶＭ：Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１の機能のうちの少なくとも一部は、クラウド環境により提供されるハードウェア（ＨＷ）リソース及びネットワーク（ＮＷ）リソースを用いて実現されてもよい。
一実施形態に係るサーバ１（図４参照）は、仮想サーバ（ＶＭ：Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１の機能のうちの少なくとも一部は、クラウド環境により提供されるハードウェア（ＨＷ）リソース及びネットワーク（ＮＷ）リソースを用いて実現されてもよい。
【0034】
図３は、一実施形態の一例としてのサーバ１の機能を実現するコンピュータ１０のハードウェア（ＨＷ）構成例を示すブロック図である。サーバ１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図３に例示するＨＷ構成を備えてよい。
【0035】
図３に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ，グラフィック処理装置１０ｂ，メモリ１０ｃ，記憶部１０ｄ，ＩＦ（Interface）部１０ｅ，ＩＯ（Input / Output）部１０ｆ及び読取部１０ｇを備えてよい。
【0036】
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｊで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0037】
プロセッサ１０ａとしては、例えば、ＣＰＵ，ＭＰＵ，ＡＰＵ，ＤＳＰ，ＡＳＩＣ，ＦＰＧＡ等の集積回路（ＩＣ：integrated circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【0038】
グラフィック処理装置１０ｂは、ＩＯ部１０ｆのうちのモニタ等の出力装置に対する画面表示制御を行なう。また、グラフィック処理装置１０ｂは、機械学習モデルを利用した機械学習処理及び推論処理を実行するアクセラレータとしての構成を有してよい。グラフィック処理装置１０ｂとしては、種々の演算処理装置、例えば、ＧＰＵ（Graphics Processing Unit），ＡＰＵ，ＤＳＰ，ＡＳＩＣ又はＦＰＧＡ等の集積回路（ＩＣ）が挙げられる。
【0039】
メモリ１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｃとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
【0040】
記憶部１０ｄは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｄとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置，ＳＳＤ（Solid State Drive）等の半導体ドライブ装置，不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ，ＳＣＭ（Storage Class Memory），ＲＯＭ（Read Only Memory）等が挙げられる。
【0041】
記憶部１０ｄは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｈ（訓練データ生成プログラム）を格納してよい。
【0042】
例えば、サーバ１のプロセッサ１０ａは、記憶部１０ｄに格納されたプログラム１０ｈをメモリ１０ｃに展開して実行することにより、後述する制御部２０（図４参照）としての機能を実現できる。
【0043】
ＩＦ部１０ｅは、サーバ１と他のコンピュータとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｅは、イーサネット（登録商標）等の電気通信（例えばＬＡＮ（Local Area Network））、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。
【0044】
なお、プログラム１０ｈは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｄに格納されてもよい。
【0045】
ＩＯ部１０ｆは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。また、ＩＯ部１０ｆは、入力装置及び表示装置が一体となったタッチパネル等を含んでもよい。出力装置は、グラフィック処理装置１０ｂに接続されてよい。
【0046】
読取部１０ｇは、記録媒体１０ｉに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｇは、記録媒体１０ｉを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｇとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｉにはプログラム１０ｈが格納されてもよく、読取部１０ｇが記録媒体１０ｉからプログラム１０ｈを読み出して記憶部１０ｄに格納してもよい。
【0047】
記録媒体１０ｉとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
【0048】
上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
【0049】
〔Ｄ〕ソフトウェア構成例
図４は、一実施形態の一例としてのサーバ１のソフトウェア構成例を示すブロック図である。サーバ１は、情報処理装置又はコンピュータの一例である。
図４は、一実施形態の一例としてのサーバ１のソフトウェア構成例を示すブロック図である。サーバ１は、情報処理装置又はコンピュータの一例である。
【0050】
図４に示すように、サーバ１は、例示的に、基底セグメント抽出部１２，算出部１３，マージ部１４及び是正処理部１５を備えてよい。また、サーバ１は、機械学習処理を行なう場合には機械学習部１６を備えてもよい。サーバ１が備えるブロック１２～１６は、制御部２０の一例である。制御部２０の機能は、例えば、図３に示すコンピュータ１０のプロセッサ１０ａが、メモリ１０ｃに展開されたプログラム１０ｈを実行することにより実現されてよい。
【0051】
また、図４に示すように、サーバ１は、例示的に、訓練データセット１１ａ，基底セグメント１１ｂ，公平性スコア１１ｃ，マージ済みセグメント１１ｄ及び是正済み訓練データセット１１ｅを記憶可能な記憶領域を備えてよい。また、当該記憶領域は、サーバ１が機械学習部１６を備える場合、機械学習モデル１１ｆを記憶可能であってもよい。
【0052】
サーバ１が有する記憶領域は、例えば、図３に示すコンピュータ１０のメモリ１０ｃ及び記憶部１０ｄのうちの一方又は双方の記憶領域により実現されてよい。
【0053】
サーバ１は、例えば、訓練データセット１１ａ及び訓練未実施の機械学習モデル１１ｆのうちの少なくとも１つを、図示しない他のコンピュータからＩＦ部１０ｅ及びネットワークを介して受信し、記憶領域に格納してもよい。
【0054】
また、サーバ１は、例えば、記憶領域に格納されたマージ済みセグメント１１ｄ，是正済み訓練データセット１１ｅ及び訓練済みの機械学習モデル１１ｆのうちの少なくとも１つを、ＩＦ部１０ｅ及びネットワークを介して、図示しない他のコンピュータに送信してもよい。なお、サーバ１は、中間データ、例えばデータ１１ｂ及び１１ｃのうちの少なくとも１つを、ＩＦ部１０ｅ及びネットワークを介して、図示しない他のコンピュータに送信してもよい。
【0055】
図５は、訓練データセット１１ａの一例を示す図である。訓練データセット１１ａは、第１の複数の訓練データの一例であり、例えば住宅融資データであってよい。図５に例示するように、訓練データセット１１ａは、収入（万円），性別，婚姻状況，子供有無，人種，通過可否等の属性を有する訓練データ（エントリ）の集合である。なお、訓練データセット１１ａは、図５に例示する属性以外に、他の種々の属性を含んでもよい。
【0056】
収入は、第１の属性の一例である。収入は、例えば、属性の値が数値である数値属性であり、非保護属性である。収入は、訓練データにおける連続値を有する特徴量の一例である。例えば，収入は、セグメンテーションにおける複数の訓練データの分類に利用される尺度であってよい。
【0057】
性別，婚姻状況，子供有無，人種の各々は、保護属性の一例である。保護属性は、差別の発生し得る属性である。保護属性としては、例えば、これらのうちの少なくとも１つに代えて又は加えて、国籍，シングルマザー等の他の属性（保護属性）が含まれてもよい。
【0058】
通過可否は、値が「可」又は「否」となる属性であり、例えば非保護属性である。通過可否は、訓練データセット１１ａにおける特定の属性の一例である。通過可否が「可」であることは、特定の属性が所定の値（例えば正例）であることの一例である。通過可否は、例えば、機械学習モデル１１ｆの訓練において正解ラベルとして用いられてもよい。
【0059】
基底セグメント抽出部１２は、訓練データセット１１ａを、訓練データセット１１ａの収入の値に基づいて、複数の基底セグメント１１ｂに分類する。基底セグメント１１ｂは、グループの一例である。例えば、基底セグメント１１ｂは、訓練データセット１１ａを所定数に分割して得られる最小粒度のセグメントである。基底セグメント１１ｂは、或る属性の、属性値の取り得る範囲（例えば訓練データセット１１ａにおける最小値～最大値の範囲）に応じて定められる基底セグメント幅を有してよい。
【0060】
基底セグメント抽出部１２は、例えば、オペレータからの指示や是正技術に従い、１つの基底セグメント１１ｂに含める訓練データ数、例えば下限値の目安となる必要データ数を定義（決定）してよい。また、基底セグメント抽出部１２は、訓練データセット１１ａに含まれる全ての訓練データの数を、定義した訓練データ数で除算することで、生成する基底セグメント１１ｂのセグメント数（所定数）を決定してよい。
【0061】
そして、基底セグメント抽出部１２は、例えば、等幅binning等の手法により、訓練データセット１１ａから所定数の基底セグメント１１ｂを抽出し、基底セグメント１１ｂの情報を記憶領域に格納してよい。
【0062】
【0063】
図６の符号Ｃ２には、訓練データセット１１ａの収入の数値範囲（0～1000［万円］）を所定数（例えば20）に分割して得られた、基底セグメント幅（例えば50［万円］幅）を有する基底セグメント１１ｂを示す。なお、図６の符号Ｃ１に示すように、訓練データセット１１ａは、訓練データの分布に収入に応じた偏りがある。このため、符号Ｃ２に示す複数の基底セグメント１１ｂには、定義した訓練データ数未満の数の訓練データを含む基底セグメント１１ｂが存在し得る。
【0064】
基底セグメント１１ｂの情報は、例えば、基底セグメント１１ｂの識別情報，基底セグメント１１ｂの収入の軸上での区間（例えば収入範囲），基底セグメント１１ｂに含まれる訓練データの識別情報及び訓練データ数等の情報を含んでもよい。
【0065】
なお、一実施形態では、基底セグメント１１ｂ及び後述するマージ済みセグメント１１ｄが、１つの属性（収入）を軸とした１次元の空間上で、当該属性（収入）の値に基づき訓練データセット１１ａを分類して得られるものとするが、これに限定されるものではない。例えば、基底セグメント１１ｂ及びマージ済みセグメント１１ｄは、２以上の属性を互いに直交する軸とした２次元以上の空間上で、これらの各属性の値に基づき訓練データセット１１ａを分類して得られてもよい。
【0066】
以下、基底セグメント１１ｂ及びマージ済みセグメント１１ｄを区別しない場合には、単にセグメント１１と表記する。
【0067】
算出部１３は、訓練データセット１１ａ及び複数のセグメント１１に基づき、公平性スコア１１ｃを算出する。例えば、算出部１３は、セグメント１１ごとに、セグメント１１に含まれる複数の訓練データの属性値に基づき、公平性スコア１１ｃを算出してよい。
【0068】
一例として、公平性スコア１１ｃは、ＤＩ（Disparate Impact）値であってもよい。以下、一実施形態では、公平性スコア１１ｃがＤＩ値である場合を例に挙げて説明するが、これに限定されるものではなく、公平性スコア１１ｃとしては、セグメント１１内の訓練データの公平性を示すことのできる種々の指標が用いられてよい。
【0069】
ＤＩ値は、（被差別群の採択率）／（優遇群の採択率）により算出されてよい。被差別群は、特定の保護属性の属性値が、差別を受ける属性値である訓練データ群であり、優遇群は、特定の保護属性の属性値が、差別を受けない（或いは優遇される）属性値である訓練データ群である。採択率は、訓練データ群の訓練データ数に対する、訓練データ群において特定の属性（例えば非保護属性）の属性値が正例（所定の値）である割合を示す。
【0070】
算出部１３は、例えば、訓練データセット１１ａに含まれる複数の保護属性のうちの、ＤＩ値の算出に用いる特定の保護属性を決定してよい。一例として、算出部１３は、「性別」を特定の保護属性に決定した場合、下記のようにＤＩ値を算出してよい。なお、採択率の算出に用いる特定の属性が「通過可否」であるものとする。
ＤＩ値＝〔（被差別群の通過可否「可」の訓練データ数／被差別群の訓練データ数）
／（優遇群の通過可否「可」の訓練データ数／優遇群の訓練データ数）〕
ＤＩ値＝〔（被差別群の通過可否「可」の訓練データ数／被差別群の訓練データ数）
／（優遇群の通過可否「可」の訓練データ数／優遇群の訓練データ数）〕
【0071】
なお、上記式において、被差別群は、セグメント１１に含まれる複数の訓練データのうちの性別が女性である訓練データ群であり、優遇群は、セグメント１１に含まれる複数の訓練データのうちの性別が男性である訓練データ群であるものとする。
【0072】
図６の符号Ｃ３に示すように、算出部１３は、セグメント１１ごとに公平性スコア１１ｃ（例えばＤＩ値）を算出し、公平性スコア１１ｃを記憶領域に格納してよい。
【0073】
なお、図６の符号Ｃ３の例では、セグメント１１が全て基底セグメント１１ｂである場合、例えば、公平性スコア１１ｃの初回の算出処理を示す。後述するように、算出部１３は、マージ部１４によりマージ済みセグメント１１ｄが生成された場合、当該マージ済みセグメント１１ｄを含む複数のセグメント１１を対象として、公平性スコア１１ｃの算出処理を再度行なう場合がある。
【0074】
算出部１３は、図７の符号Ｃ４に示すように、互いに隣接する２つのセグメント１１（図７の例では基底セグメント１１ｂ）間の公平性スコア１１ｃの変化量を算出してよい。公平性スコア１１ｃの変化量は、公平性の評価値間の差分の一例である。以下、公平性スコア１１ｃの変化量を、単に「公平性スコア変化量」と表記する場合がある。
【0075】
一例として、算出部１３は、互いに隣接する２つのセグメント１１（以下、「隣接セグメント」と表記する場合がある）のそれぞれの公平性スコア１１ｃの差分の絶対値を、当該変化量として算出してよい。
【0076】
図７の符号Ｃ４には、横軸をセグメントNo.とし、縦軸を公平性スコア変化量とした空間上に、隣接セグメントの公平性スコア変化量をプロットして結線した折れ線グラフ（実線参照）を示す。
【0077】
公平性スコア変化量は、隣接セグメントのペアごとに算出されてよく、例えば、Ｎ－１（Ｎはセグメント１１の数）個の変化量が算出されてよい。図７の符号Ｃ４の例では、複数のセグメント１１が全て基底セグメント１１ｂであるため、20個の基底セグメント１１ｂについて19個の変化量が算出されてよい。
【0078】
算出部１３は、例えば、複数のセグメント１１のそれぞれに含まれる訓練データの収入（第１の属性）の値間の差分に基づき、隣接セグメントを特定してよい。
【0079】
算出部１３は、例えば、互いに異なるセグメント１１に含まれる２つの訓練データの収入の値間の差分が「基底セグメント幅」以下である場合に、当該２つの訓練データを含む２つのセグメント１１を隣接セグメントとして特定してもよい。基底セグメント幅は、第３の閾値の一例である。
【0080】
なお、２つの訓練データの収入の値間の差分が基底セグメント幅以下である場合とは、２つの訓練データを含む２つのセグメント１１の区間が収入の軸上で連続することを意味してよい。従って、算出部１３は、例えば、収入の軸上での区間が連続する２つのセグメント１１を隣接セグメントとして特定してもよい。或いは、セグメント１１の識別情報が、収入の軸上で区間の昇順又は降順に割り当てられる連続番号を含む場合、算出部１３は、識別情報が連続する２つのセグメント１１を隣接セグメントとして特定してもよい。
【0081】
また、算出部１３は、公平性スコア変化量の閾値ΔＦｔｈを決定してよい。閾値ΔＦｔｈは、第２の閾値の一例である。閾値ΔＦｔｈは、オペレータにより指定されてもよいし、算出した公平性スコア変化量に基づき、算出部１３が所定の条件に従って算出してもよい。
【0082】
マージ部１４は、複数のグループのそれぞれに含まれる訓練データの収入（第１の属性）の値間の差分と、複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、第１のグループと第２のグループとを合わせて第３のグループを生成する。
【0083】
例えば、マージ部１４は、算出部１３が算出した公平性スコア変化量が閾値ΔＦｔｈ未満となる場合に、当該変化量の算出に用いた公平性スコア１１ｃを有する２つのセグメント１１をマージして、マージ済みセグメント１１ｄを生成してよい。マージ部１４は、生成したマージ済みセグメント１１ｄの情報を記憶領域に格納してよい。
【0084】
マージ済みセグメント１１ｄの情報は、例えば、マージ済みセグメント１１ｄの識別情報，マージ済みセグメント１１ｄの収入の軸上での区間（例えば収入範囲），マージ済みセグメント１１ｄに含まれる訓練データの識別情報及び訓練データ数等の情報を含んでもよい。なお、マージ済みセグメント１１ｄは、複数の基底セグメント１１ｂを合わせたセグメント１１であるため、マージ済みセグメント１１ｄの情報は、マージ対象の（マージ元の）基底セグメント１１ｂの識別情報を含んでもよい。
【0085】
サーバ１は、基底セグメント１１ｂの情報とマージ済みセグメント１１ｄの情報とを、セグメント１１の情報として記憶領域において管理してもよい。
【0086】
マージされる２つのセグメント１１は、第１及び第２のグループの一例である。マージ済みセグメント１１ｄは、第３のグループの一例である。なお、マージされる２つのセグメント１１は、２つの基底セグメント１１ｂ，２つのマージ済みセグメント１１ｄ，或いは１つの基底セグメント１１ｂ及び１つのマージ済みセグメント１１ｄ、のうちのいずれであってもよい。
【0087】
図７の符号Ｃ４及びＣ５に示すように、マージ部１４は、例えば、公平性スコア変化量が閾値ΔＦｔｈ未満であるＣ４１の区間に含まれる５つの基底セグメント１１ｂを、隣接セグメントごとに順にマージし、Ｃ５１のマージ済みセグメント１１ｄを生成する。また、マージ部１４は、例えば、公平性スコア変化量が閾値ΔＦｔｈ未満であるＣ４２の区間に含まれる４つの基底セグメント１１ｂを、隣接セグメントごとに順にマージし、Ｃ５２のマージ済みセグメント１１ｄを生成する。さらに、マージ部１４は、例えば、公平性スコア変化量が閾値ΔＦｔｈ未満であるＣ４３の区間に含まれる２つの基底セグメント１１ｂ（隣接セグメント）をマージし、Ｃ５３に示すマージ済みセグメント１１ｄを生成する。
【0088】
算出部１３は、マージ部１４によるセグメント１１のマージ処理が完了すると、マージ済みセグメント１１ｄを含む複数のセグメント１１について、公平性スコア１１ｃ及び変化量の算出処理を再度実行してもよい。マージ部１４は、算出部１３により再度算出された公平性スコア変化量に基づき、マージ処理を再度実行してもよい。算出部１３及びマージ部１４は、マージ可能なセグメント１１が存在しなくなるまで、これらの処理を繰り返してもよい。
【0089】
図７の符号Ｃ６は、マージ部１４によるマージ処理後におけるセグメント１１ごとの訓練データ数（レコード数）を示す棒グラフである。符号Ｃ５１～Ｃ５３に示すマージ済みセグメント１１ｄの生成により、符号Ｃ６では、符号Ｃ６１～Ｃ６３に示すセグメント１１が得られる。
【0090】
図７の符号Ｃ６に示すように、一実施形態に係るサーバ１によれば、公平性の評価値間の差分に基づいて、隣接セグメントどうしをマージ（併合）することができる。
【0091】
例えば、公平性スコア変化量が閾値ΔＦｔｈ未満の隣接セグメントは、互いに訓練データの傾向が近いセグメント１１であるといえる。従って、このような隣接セグメントのマージにより、傾向が近い訓練データどうしを同じセグメント１１に含めることができ、是正処理における是正量を減少させることができる。
【0092】
また、傾向が近い訓練データを含むセグメント１１どうしをマージすることで、セグメント１１に含まれる訓練データの数を増加させることができ、当該セグメント１１に対する是正処理が適切に行なわれる可能性を高めることができる。
【0093】
なお、図７の符号Ｃ６において、収入が850～1000万円の範囲における３つの基底セグメント１１ｂ（符号Ｃ６４参照）は、いずれも訓練データ数が少ない（図６の符号Ｃ２参照）ものの、マージ対象からは除外されている。符号Ｃ６４で示す３つの基底セグメント１１ｂは、符号Ｃ４に示すように、公平性スコア変化量が閾値ΔＦｔｈを大きく超えており、互いに異なる傾向の訓練データを含んでいる。サーバ１は、このような基底セグメント１１ｂをマージ対象から除外することで、傾向の把握が困難になる可能性の高いセグメント１１が生成されることを抑制でき、結果として、機械学習モデル１１ｆの精度の劣化を抑制することができる。
【0094】
是正処理部１５は、マージ済みセグメント１１ｄの公平性の評価値に基づいて、マージ済みセグメント１１ｄに含まれる訓練データを修正することによって是正済み訓練データセット１１ｅを生成する。是正済み訓練データセット１１ｅは、第２の複数の訓練データの一例である。
【0095】
例えば、是正処理部１５は、訓練データセット１１ａに含まれる複数の訓練データのそれぞれについて、セグメント１１ごとに、公平性の判断を行なってよい。また、是正処理部１５は、訓練データセット１１ａに含まれる複数のデータのそれぞれについて、判断結果に基づき、セグメント１１ごとに、データの是正処理を行なってよい。そして、是正処理部１５は、是正処理が行なわれた訓練データを含む複数の訓練データを、是正済み訓練データセット１１ｅとして記憶領域に格納してよい。公平性の判断処理並びにデータの是正処理は、既知の種々の手法が採用されてよい。例えば、公平性の判断処理としては、算出部１３による公平性スコア１１ｃの算出処理が採用されてもよい。
【0096】
機械学習部１６は、是正済み訓練データセット１１ｅを利用して機械学習モデル１１ｆの訓練（機械学習処理）を実行する。機械学習部１６による機械学習モデル１１ｆの訓練手法としては、既知の種々の手法が採用されてよい。
【0097】
是正処理部１５による是正済み訓練データセット１１ｅの生成により、機械学習モデル１１ｆによる不公平な推論を抑制することが可能となる。一例として、是正処理部１５による公平性の判断処理により、互いに類似する傾向を有する複数の訓練データを含むセグメント１１ごとに、差別等の不公平な推論結果の出力を引き起こし得る訓練データを、訓練データセット１１ａの中から推定できる。また、訓練データの是正処理により、例えば、推定したデータにおける保護属性に対する非保護属性の値を書き換え、保護属性と非保護属性との間の相関を軽減することで、機械学習モデル１１ｆによる不公平な推論を抑制できる。
【0098】
以上のように、一実施形態に係るサーバ１によれば、図７の符号Ｃ６に示すように、機械学習モデル１１ｆの精度の劣化を抑制しつつ、是正による是正効果が大きくなるようなセグメント１１を求めることができる。これにより、機械学習モデル１１ｆの精度の劣化を抑制するような訓練データを含む是正済み訓練データセット１１ｅを生成できる。
【0099】
〔Ｅ〕複数のバイアスについて公平性の評価を行なう場合の一例
ところで、訓練データセット１１ａに含まれ得るバイアスは多様であり、訓練データセット１１ａによっては２つ以上のバイアスについて公平性の評価が行なわれる場合がある。一例として、サーバ１は、単独バイアス及び交差バイアスの双方を是正するための公平性の評価、並びに、セグメント１１のマージを行なう場合がある。
ところで、訓練データセット１１ａに含まれ得るバイアスは多様であり、訓練データセット１１ａによっては２つ以上のバイアスについて公平性の評価が行なわれる場合がある。一例として、サーバ１は、単独バイアス及び交差バイアスの双方を是正するための公平性の評価、並びに、セグメント１１のマージを行なう場合がある。
【0100】
単独バイアスは、訓練データの所定の属性における偏り、又は、当該偏りによって差別が生じる現象をいう。単独バイアスとしては、例えば、「性別」に応じて差別が生じる現象が挙げられる。このような差別は、「性別」という１つの保護属性についてのバイアスによって生じているため、当該バイアスを、便宜上、「単独バイアス」と表記している。
【0101】
交差バイアスは、訓練データの複数の属性の組み合わせにおける偏り、又は、当該偏りによって差別が生じる現象をいう。例えば、「シングルマザー」という属性を考える。「シングルマザー」は、例えば、図５に示す訓練データセット１１ａでは、「性別：女」，「婚姻状況：無」，「子供有無：有」という複数の保護属性の属性値の組み合わせにより表される属性である。交差バイアスは、例えば、「シングルマザー」であるか否かによる採択率の差が、「性別」，「婚姻状況」，「子供有無」のそれぞれについての単独バイアスから想定される差別よりも大きく表われる現象である。
【0102】
例えば、サーバ１が交差バイアスの観点で公平性スコア１１ｃを算出し、公平性スコア変化量に基づきセグメント１１をマージする場合を想定する。
【0103】
図８は、公平性スコア変化量の一例を示す図である。図８の符号Ｄ１には、図６の符号Ｃ２に示す複数の基底セグメント１１ｂのそれぞれについて、交差バイアスの観点で算出された公平性スコア１１ｃを示す。一例として、算出部１３は、「人種：白人（non_white=0.0）」且つ「性別：女性（female=1.0）」という保護属性の属性値の組み合わせを被差別群とした場合の採択率と、当該組み合わせ以外を優遇群とした場合の採択率との割合（ＤＩ値）を公平性スコア１１ｃとして算出してよい。
【0104】
図８の符号Ｄ２には、横軸をセグメントNo.とし、縦軸を公平性スコア変化量とした空間上に、符号Ｄ１に示す公平性スコア１１ｃの隣接セグメントにおける変化量をプロットして結線した折れ線グラフ（実線参照）を示す。破線で示す枠内（符号Ｄ２１参照）では、複数のセグメント１１で連続して、公平性スコア変化量が閾値ΔＦｔｈ未満である。このため、これらのセグメント１１はマージ部１４によるマージ対象となる。
【0105】
図８の符号Ｄ３には、符号Ｄ２に示す折れ線グラフに加えて、単独バイアスの観点で算出された公平性スコア変化量を示す折れ線グラフ（太実線参照）を示す。以下、実線の折れ線グラフが示す変化量を「変化量（交差バイアス）」と表記し、太実線の折れ線グラフが示す変化量を「変化量（単独バイアス）」と表記する。
【0106】
例えば、変化量（単独バイアス）は、「人種：白人（non_white=0.0）」、又は、「性別：女性（female=1.0）」という保護属性の属性値を被差別群とした場合の採択率と、当該組み合わせ以外を優遇群とした場合の採択率との割合（ＤＩ値）を公平性スコア１１ｃとした場合の、隣接セグメントにおける公平性スコア変化量を示す。
【0107】
符号Ｄ３１は、符号Ｄ２１と同じ領域を囲ったものである。符号Ｄ３２に示す太実線枠は、セグメントNo.16～17の付近において、変化量（公差バイアス）が閾値ΔＦｔｈ未満である一方、変化量（単独バイアス）が閾値ΔＦｔｈを超えていることを示す。
【0108】
このように、変化量（交差バイアス）に基づきセグメント１１のマージ範囲が決定されたとしても、変化量（単独バイアス）の観点では、当該セグメント１１をマージして得られるマージ済みセグメント１１ｄが最適なセグメント１１とは限らない場合がある。
【0109】
符号Ｄ３２に示す太実線枠のような現象の要因の１つとして、シンプソンのパラドックスが考えられる。シンプソンのパラドックスとは、細分化されたグループの傾向と全体の傾向とが、予想に反して逆転する現象をいう。
【0110】
図９は、シンプソンのパラドックスの一例を説明するための図である。図９の符号Ｅ１は、高校Ａ及び高校Ｂの間における、理系コース，文系コース別の試験平均点の比較例を示す。符号Ｅ１に示すように、理系コースの試験平均点は、高校Ａが80点，高校Ｂが90点であり、高校Ｂの方が高い。また、文系コースの試験平均点は、高校Ａが60点，高校Ｂが70点であり、高校Ｂの方が高い。これらの結果（前提）から、理系コース及び文系コースを合わせた全体での試験平均点も、高校Ｂの方が高いと推測できる。しかし、実際には、全体の試験平均点は、高校Ａが78点，高校Ｂが72点であり、高校Ａの方が高い。
【0111】
図９の符号Ｅ２は、符号Ｅ１に示す試験平均点の算出に用いたデータの母数を示す。符号Ｅ２に示すように、高校Ａでは、生徒100人のうち、理系コースが90人，文系コースが10人である。高校Ｂでは、生徒100人のうち、理系コースが10人，文系コースが90人である。高校Ａは、試験平均点が80点である理系コースの90人が全体の試験平均点を引き上げているため、試験平均点が70点である文系コースが90人である高校Ｂよりも、全体の試験平均点が高くなっている。
【0112】
このように、試験平均点という割合の算出に用いたレコード数が、理系コース，文系コースのグループ間で大きく異なる場合、理系コース，文系コースをマージした全体の試験平均点を算出する際に、結果の逆転が発生することがある。
【0113】
一実施形態に係る公平性スコア１１ｃは、例えばＤＩ値である場合、被差別群の採択率と優遇群の採択率との「割合」に基づき算出される。従って、公平性スコア変化量に基づきセグメント１１をマージする場合、シンプソンのパラドックスが発生する可能性がある。
【0114】
そこで、一実施形態に係るマージ部１４は、交差バイアスについての公平性スコア１１ｃと、各セグメント１１に含まれる訓練データ数との２つの観点で、セグメント１１のマージ処理におけるマージ判定を行なってよい。
【0115】
図１０は、マージ部１４によるマージ処理の一例を説明するための図である。図１０の符号Ｆ１は、訓練データセット１１ａを分割して得られた複数の基底セグメント１１ｂの各々について、交差バイアスの観点で算出された公平性スコア１１ｃを示す。
【0116】
図１０の符号Ｆ２は、符号Ｆ１に示す公平性スコア１１ｃの、隣接セグメントにおける変化量（交差バイアス）を示す折れ線グラフである。破線で示す枠内（符号Ｆ２１参照）では、複数のセグメント１１で連続して、公平性スコア変化量が閾値ΔＦｔｈ未満である。このため、これらのセグメント１１はマージ部１４によるマージ対象となる。
【0117】
符号Ｆ３は、符号Ｆ２１で示す枠内のセグメント１１（セグメントＳ４～Ｓ７）の各々の公平性スコア変化量及び訓練データ数を示す。
【0118】
例えば、マージ部１４は、公平性スコア変化量が閾値ΔＦｔｈ（例えば0.015）未満であると判定したセグメントＳ４～Ｓ７をマージ範囲として抽出する。
【0119】
また、マージ部１４は、隣接セグメントごと、例えばセグメントＳ４及びＳ５，セグメントＳ５及びＳ６，セグメントＳ６及びＳ７のそれぞれについて、訓練データ数の差が、所定の閾値ΔＮｕｍｔｈ未満か否かを判定する。図１０の例において、閾値ΔＮｕｍｔｈは、75000であるものとする。閾値ΔＮｕｍｔｈは、第１の閾値の一例である。なお、閾値ΔＮｕｍｔｈは、オペレータにより指定されてもよいし、セグメント１１ごとの訓練データ数，基底セグメント抽出部１２が決定した必要データ数等に基づき、算出部１３又はマージ部１４が所定の条件に従って算出してもよい。
【0120】
符号Ｆ３の例では、セグメントＳ４及びＳ５の訓練データ数の差は70000であり、閾値ΔＮｕｍｔｈの75000未満である。このため、マージ部１４は、セグメントＳ４及びＳ５をマージ対象に決定し、セグメントＳ４及びＳ５をマージする。
【0121】
一方、符号Ｆ３１の破線枠で示すように、セグメントＳ５及びＳ６の訓練データ数の差は100000であり、閾値ΔＮｕｍｔｈ（75000）以上である。また、符号Ｆ３２の破線枠で示すように、セグメントＳ６及びＳ７の訓練データ数の差は80000であり、閾値ΔＮｕｍｔｈ（75000）以上である。
【0122】
このように、セグメントＳ５及びＳ６，セグメントＳ６及びＳ７には、それぞれ、データ規模に閾値ΔＮｕｍｔｈ以上の大きな差があるため、上述したシンプソンのパラドックスが発生するリスクが高い。そこで、マージ部１４は、セグメントＳ５及びＳ６，セグメントＳ６及びＳ７のそれぞれをマージ対象から除外し、セグメントＳ５及びＳ６のマージ，セグメントＳ６及びＳ７のマージをそれぞれ抑制する。
【0123】
従って、図１０の例では、マージ部１４は、公平性スコア変化量が閾値Ｆｔｈ未満であるセグメントＳ４～Ｓ７のうち、セグメントＳ４及びＳ５のみをマージして、マージ済みセグメント１１ｄを生成する。
【0124】
なお、図１０の符号Ｆ３に例示する、セグメント１１ごとの訓練データ数の情報は、例えば、基底セグメント１１ｂ又はマージ済みセグメント１１ｄが生成される際に、基底セグメント抽出部１２又はマージ部１４により取得され、記憶領域に格納されてよい。
【0125】
図１１は、公平性スコア変化量及び訓練データ数に基づくマージ結果の一例を示す図である。図１１の符号Ｇ１は、図６の符号Ｃ２と同様に、複数の基底セグメント１１ｂの一例を示す。符号Ｇ２は、図７の符号Ｃ６と同様に、公平性スコア変化量に基づくセグメント１１のマージ例を示す。
【0126】
図１１の符号Ｇ３は、図１０の符号Ｆ３に示す公平性スコア変化量及び訓練データ数に基づくセグメント１１のマージ例を示す。符号Ｇ３では、図１１の符号Ｇ２１に示すセグメントＳ４～Ｓ７のうち、セグメントＳ４及びＳ５がマージされている（符号Ｇ３１参照）。一方、符号Ｇ３では、セグメントＳ６及びＳ７がマージ対象から除外され、基底セグメント１１ｂのままとなっている（符号Ｇ３２参照）。
【0127】
このように、マージ部１４は、交差バイアスについて算出された公平性スコア変化量に基づきマージ対象となるセグメント１１を抽出（選定）し、マージ対象の隣接セグメントごとに、訓練データ数の差に基づき、マージするセグメント１１を決定する。
【0128】
これにより、符号Ｇ２に示す場合と同様に、訓練データ数を確保しつつ、できるだけ広い範囲でセグメント１１を併合することができる。また、訓練データ数の差が所定の閾値Ｎｕｍｔｈ以上である隣接セグメント（符号Ｇ３２参照）については併合対象から除外することで、シンプソンのパラドックスの発生リスクを低減しつつ、交差バイアス及び単独バイアスの両方について効果的なセグメント１１を生成できる。
【0129】
〔Ｆ〕動作例
次に、一実施形態に係るサーバ１の動作例を、図１２及び図１３を参照して説明する。図１２は、一実施形態に係るサーバ１の動作例を説明するためのフローチャートであり、図１３は、サーバ１の動作例を説明するための図である。
次に、一実施形態に係るサーバ１の動作例を、図１２及び図１３を参照して説明する。図１２は、一実施形態に係るサーバ１の動作例を説明するためのフローチャートであり、図１３は、サーバ１の動作例を説明するための図である。
【0130】
ステップＳ１において、サーバ１は、訓練データセット１１ａを取得する。
【0131】
ステップＳ２において、サーバ１は、公平性スコア１１ｃの算出に用いる保護属性を決定する。例えば、サーバ１は、２つ以上の保護属性を決定してよい。一例として、サーバ１は、訓練データセット１１ａに含まれる「性別：女性」，「シングルマザー：YES」の保護属性及び属性値を選択してよい。なお、「シングルマザー：YES」の保護属性及び属性値は、例えば、「性別：女性」，「婚姻状況：無」，「子供有無：有」の保護属性及び属性値の組み合わせであってもよい。
【0132】
ステップＳ３において、サーバ１は、基底セグメント１１ｂの分類用の属性（例えば非保護属性）を決定する。一例として、サーバ１は、訓練データセット１１ａに含まれる「収入」の属性を選択してよい。
【0133】
ステップＳ４において、基底セグメント抽出部１２は、等幅binningにより訓練データセット１１ａを複数の基底セグメント１１ｂに分割する。図１３の例では、基底セグメント抽出部１２は、符号Ｈ１に示すように、訓練データセット１１ａを６つの基底セグメントＳ１～Ｓ６に分割する。このとき、基底セグメント抽出部１２は、各基底セグメント１１ｂの訓練データ数を取得（例えば算出）してよい。
【0134】
ステップＳ５において、算出部１３は、未選択のセグメント１１を１つ選択する。
【0135】
ステップＳ６において、算出部１３は、ステップＳ２で決定した２つ以上の保護属性における交差バイアスについて、ステップＳ５で選択したセグメント１１の公平性スコア１１ｃを算出する。
【0136】
ステップＳ７において、算出部１３は全てのセグメント１１を選択したか否かを判定する。全てのセグメント１１を選択していない場合（ステップＳ７でＮＯ）、処理がステップＳ５に移行する。全てのセグメント１１を選択した場合（ステップＳ７でＹＥＳ）、処理がステップＳ８に移行する。
【0137】
算出部１３は、公平性スコア変化量の閾値ΔＦｔｈ，訓練データ数の差の閾値（訓練データ数差閾値）ΔＮｕｍｔｈを決定する（ステップＳ８）。
【0138】
図１３の例では、算出部１３は、符号Ｈ２に示すように、セグメントＳｎ（ｎはセグメントＳ１～Ｓ６に対応する１～６の整数）について、公平性スコアＦｎを算出する。なお、基底セグメント抽出部１２又はマージ部１４により取得されるセグメントＳｎの訓練データ数を、Ｎｕｍｎと表記する。
【0139】
ステップＳ９において、マージ部１４は、セグメント１１を選択するための変数Ｓ，ループ内におけるマージの実行有無判定用の変数Ｄをそれぞれ初期化する。例えば、マージ部１４は、Ｓ＝１，Ｄ＝０をセットする。また、マージ部１４は、セグメント１１の数をＳｍａｘにセットする。
【0140】
ステップＳ１０において、マージ部１４は、セグメントＳとセグメントＳ－１との間の公平性スコア変化量ΔＦＳ－１，訓練データ数差ΔＮｕｍＳ－１を算出する。また、マージ部１４は、セグメントＳとセグメントＳ＋１との間の公平性スコア変化量ΔＦＳ＋１，訓練データ数差ΔＮｕｍＳ＋１を算出する。
【0141】
ステップＳ１１において、マージ部１４は、公平性スコア変化量ΔＦＳ－１が閾値ΔＦｔｈ未満、且つ、訓練データ数差ΔＮｕｍＳ－１が閾値ΔＮｕｍｔｈ未満か否かを判定する。判定条件が満たされる場合（ステップＳ１１でＹＥＳ）、処理がステップＳ１２に移行する。一方、判定条件が満たされない場合（ステップＳ１１でＮＯ）、処理がステップＳ１４に移行する。
【0142】
ステップＳ１２において、マージ部１４は、セグメントＳ及びＳ－１をマージしてマージ済みセグメント１１ｄを生成し、処理がステップＳ１３に移行する。このとき、マージ部１４は、マージ済みセグメント１１ｄの訓練データ数を取得（例えば算出）してよい。
【0143】
ステップＳ１３において、マージ部１４は、変数Ｄ＝１をセットし、処理がステップＳ１６に移行する。
【0144】
ステップＳ１４において、マージ部１４は、公平性スコア変化量ΔＦＳ＋１が閾値ΔＦｔｈ未満、且つ、訓練データ数差ΔＮｕｍＳ＋１が閾値ΔＮｕｍｔｈ未満か否かを判定する。判定条件が満たされる場合（ステップＳ１４でＹＥＳ）、処理がステップＳ１５に移行する。一方、判定条件が満たされない場合（ステップＳ１４でＮＯ）、処理がステップＳ１６に移行する。
【0145】
ステップＳ１５において、マージ部１４は、セグメントＳ及びＳ＋１をマージしてマージ済みセグメント１１ｄを生成し、処理がステップＳ１３に移行する。このとき、マージ部１４は、マージ済みセグメント１１ｄの訓練データ数を取得（例えば算出）してよい。
【0146】
ステップＳ１６において、マージ部１４は、Ｓ＝Ｓ＋２をセット（変数Ｓに２を加算）する。
【0147】
ステップＳ１７において、マージ部１４は、変数ＳがＳｍａｘを超えたか否かを判定する。変数ＳがＳｍａｘ以下の場合（ステップＳ１７でＮＯ）、処理がステップＳ１０に移行する。変数ＳがＳｍａｘを超えた場合（ステップＳ１７でＹＥＳ）、処理がステップＳ１８に移行する。
【0148】
このように、変数ＳがＳｍａｘを超えた場合、全てのセグメント１１についての公平性の判定処理及びマージ処理が１周分完了したことになる。図１３の例では、符号Ｈ３に示すように、１周分の公平性の判定処理及びマージ処理として、マージ部１４は、マージ条件（ステップＳ１１，Ｓ１４）に一致した隣接セグメントを是正候補としてマージする。そして、マージ部１４は、セグメントＳ２，Ｓ４，Ｓ６のように、１つ飛ばしでセグメント１１を選択し、選択したセグメント１１とその前後のセグメント１１との間でマージ条件の判定を行なう。なお、図１２の例では、ステップＳ１１及びＳ１４のうち、ステップＳ１１が優先的に実行されるが、これに限定されるものではなく、ステップＳ１１及びＳ１２と、ステップＳ１４及びＳ１５とを入れ替えてもよい。
【0149】
ステップＳ１８において、マージ部１４は、変数Ｄが初期値の０であるか否かを判定する。変数Ｄが０ではない（１である）場合（ステップＳ１８でＮＯ）、処理がステップＳ５に移行する。
【0150】
変数Ｄが０ではないということは、直近の１周分の公平性の判定処理及びマージ処理の中で、マージが行なわれたことを意味する。この場合、セグメントの数、並びに、マージ対象となったセグメント１１の公平性スコア１１ｃ及び訓練データ数が、マージによって変化している。そこで、サーバ１は、ステップＳ５から、次の１周分の公平性の判定処理及びマージ処理を実行するのである。
【0151】
なお、次の１周分の公平性の判定処理において、ステップＳ５では、算出部１３は、変化のあったセグメント１１（マージ済みセグメント１１ｄ）を選択すればよい。また、この場合のステップＳ６では、算出部１３は、選択したセグメント１１の公平性スコア１１ｃとして、マージ元の複数の基底セグメント１１ｂのうちのいずれかの公平性スコア１１ｃ、或いは、当該複数の基底セグメント１１ｂの公平性スコア１１ｃの平均値等を求めてもよい。
【0152】
ステップＳ１８において、変数Ｄが０である場合（ステップＳ１８でＹＥＳ）、処理がステップＳ１９に移行する。
【0153】
変数Ｄが０であるということは、直近の１周分の公平性の判定処理及びマージ処理の中で、マージが行なわれていない、換言すれば、セグメント１１に変化がないことを意味する。この場合、サーバ１は、公平性の判定処理及びマージ処理を終了する。
【0154】
図１３の例では、符号Ｈ４に示すように、算出部１３及びマージ部１４は、マージ条件（ステップＳ１１，Ｓ１４）に一致する隣接セグメントが存在しなくなるまで、公平性の判定処理及びマージ処理を繰り返し実行してよい。
【0155】
ステップＳ１９において、是正処理部１５は、セグメント１１の情報、例えば、基底セグメント１１ｂ及びマージ済みセグメント１１ｄの情報に基づき、セグメント１１ごとに、訓練データセット１１ａの是正処理を行なう。是正処理部１５は、是正処理により是正済み訓練データセット１１ｅを生成する。
【0156】
ステップＳ２０において、機械学習部１６は、是正済み訓練データセット１１ｅを用いて機械学習モデル１１ｆの訓練を実施し、処理が終了する。
【0157】
〔Ｇ〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
【0158】
例えば、図４に示すサーバ１が備えるブロック１２～１６は、任意の組み合わせで併合してもよく、それぞれ分割してもよい。
【0159】
また、一実施形態に係るサーバ１は、さらに、推論用のデータセットを取得し、取得したデータセットを訓練済みの機械学習モデル１１ｆに入力することで推論結果を取得する、推論処理を実行してもよい。推論用のデータセットは、訓練データセット１１ａと同様の属性を有するデータセットであってよい。なお、推論用データセットは、住宅融資の通過可否の属性が除外されていてもよい。
【0160】
また、例えば、図４に示すサーバ１は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、各ブロック１２～１６はＷｅｂサーバ及びアプリケーションサーバ、各データ１１ａ～１１ｆを格納する記憶領域はＤＢサーバ、等であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１としての処理機能を実現してもよい。
【0161】
〔Ｈ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
以上の実施形態に関し、さらに以下の付記を開示する。
【0162】
（付記１）
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータに実行させる、訓練データ生成プログラム。
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータに実行させる、訓練データ生成プログラム。
【0163】
（付記２）
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記１に記載の訓練データ生成プログラム。
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記１に記載の訓練データ生成プログラム。
【0164】
（付記３）
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記１又は付記２に記載の訓練データ生成プログラム。
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記１又は付記２に記載の訓練データ生成プログラム。
【0165】
（付記４）
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記１～付記３のいずれか１項に記載の訓練データ生成プログラム。
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記１～付記３のいずれか１項に記載の訓練データ生成プログラム。
【0166】
（付記５）
前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の訓練データ生成プログラム。
前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の訓練データ生成プログラム。
【0167】
（付記６）
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータが実行する、訓練データ生成方法。
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
処理をコンピュータが実行する、訓練データ生成方法。
【0168】
（付記７）
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記６に記載の訓練データ生成方法。
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記６に記載の訓練データ生成方法。
【0169】
（付記８）
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記６又は付記７に記載の訓練データ生成方法。
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記６又は付記７に記載の訓練データ生成方法。
【0170】
（付記９）
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記６～付記８のいずれか１項に記載の訓練データ生成方法。
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記６～付記８のいずれか１項に記載の訓練データ生成方法。
【0171】
（付記１０）
前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
処理を前記コンピュータが実行する、付記６～付記９のいずれか１項に記載の訓練データ生成方法。
前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
処理を前記コンピュータが実行する、付記６～付記９のいずれか１項に記載の訓練データ生成方法。
【0172】
（付記１１）
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
制御部を備える、情報処理装置。
第１の複数の訓練データを、前記第１の複数の訓練データの第１の属性の値に基づいて、複数のグループに分類し、
前記複数のグループのそれぞれに含まれる訓練データの前記第１の属性の値間の差分と、前記複数のグループのそれぞれの公平性の評価値間の差分とに基づいて、前記複数のグループの第１のグループと第２のグループとを合わせて第３のグループを生成し、
前記第３のグループの公平性の評価値に基づいて、前記第３のグループに含まれる訓練データを修正することによって第２の複数の訓練データを生成する、
制御部を備える、情報処理装置。
【0173】
（付記１２）
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記１１に記載の情報処理装置。
前記第１のグループに含まれる訓練データのデータ数と、前記第２のグループに含まれる訓練データのデータ数との間の差分が第１の閾値未満である、
付記１１に記載の情報処理装置。
【0174】
（付記１３）
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記１１又は付記１２に記載の情報処理装置。
前記第１のグループの公平性の評価値と、前記第２のグループの公平性の評価値との間の差分が第２の閾値未満である、
付記１１又は付記１２に記載の情報処理装置。
【0175】
（付記１４）
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記１１～付記１３のいずれか１項に記載の情報処理装置。
前記第１のグループに含まれる訓練データの前記第１の属性の値と、前記第２のグループに含まれる訓練データの前記第１の属性の値との間の差分が第３の閾値以下である、
付記１１～付記１３のいずれか１項に記載の情報処理装置。
【0176】
（付記１５）
前記制御部は、前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
付記１１～付記１４のいずれか１項に記載の情報処理装置。
前記制御部は、前記第２の複数の訓練データを用いて機械学習モデルの訓練を行なう、
付記１１～付記１４のいずれか１項に記載の情報処理装置。
【符号の説明】
【0177】
１ サーバ
１０ コンピュータ
１１ａ 訓練データセット
１１ｂ 基底セグメント
１１ｃ 公平性スコア
１１ｄ マージ済みセグメント
１１ｅ 是正済み訓練データセット
１１ｆ 機械学習モデル
１２ 基底セグメント抽出部
１３ 算出部
１４ マージ部
１５ 是正処理部
１６ 機械学習部
２０ 制御部
１０ コンピュータ
１１ａ 訓練データセット
１１ｂ 基底セグメント
１１ｃ 公平性スコア
１１ｄ マージ済みセグメント
１１ｅ 是正済み訓練データセット
１１ｆ 機械学習モデル
１２ 基底セグメント抽出部
１３ 算出部
１４ マージ部
１５ 是正処理部
１６ 機械学習部
２０ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】