特許 7568085 機械学習プログラム，機械学習方法および機械学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】機械学習プログラム，機械学習方法および機械学習装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241008BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2023525255

(86)(22)【出願日】2021-06-02

(86)【国際出願番号】 JP2021021059

(87)【国際公開番号】W WO2022254626

(87)【国際公開日】2022-12-08

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】園田 亮介

【審査官】福西 章人

(56)【参考文献】

【文献】国際公開第２０２１／０８５１８８（ＷＯ，Ａ１）

【文献】ZEHLIKE, Meike et al.，Reducing disparate exposure in ranking: A learning to rank approach [online]，2020年04月20日，pp.2849-2855，[retrieved on 2021.06.23], Retrieved from the Internet: <URL: https://dl.acm.org/doi/pdf/10.1145/3366424.3380048>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

複数のデータのそれぞれに対する機械学習モデルの出力に応じた前記複数のデータ内の第１の順位を特定し、
前記複数のデータのうち第１の属性の第１のデータと第２の属性の第２のデータとの前記第１の順位における順位を入れ替えた場合の第２の順位の属性を基準とする公平性の値と前記第１の順位の属性を基準とする公平性の値との差分に基づくパラメータを算出し、
前記パラメータを含む損失関数を用いて前記機械学習モデルの訓練を実行する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。

【請求項2】

前記第１の順位の属性を基準とする公平性の値は、前記第１の順位に基づく前記第１の属性の公平性を示す第１の評価値と、前記第１の順位に基づく前記第２の属性の公平性を示す第２の評価値との差分である、
ことを特徴とする請求項１に記載の機械学習プログラム。

【請求項3】

前記損失関数は、前記訓練のステップ毎に前記機械学習モデルの出力に応じたデータの順位に基づいて算出される属性を基準とする公平性の値を累積的に処理して得られる累積公平性値を含む、
ことを特徴とする請求項１または２に記載の機械学習プログラム。

【請求項4】

前記損失関数は、前記パラメータと前記累積公平性値とを含む重みを精度損失に乗算した重み付き損失関数である、
ことを特徴とする請求項３に記載の機械学習プログラム。

【請求項5】

複数のデータのそれぞれに対する機械学習モデルの出力に応じた前記複数のデータ内の第１の順位を特定し、
前記複数のデータのうち第１の属性の第１のデータと第２の属性の第２のデータとの前記第１の順位における順位を入れ替えた場合の第２の順位の属性を基準とする公平性の値と前記第１の順位の属性を基準とする公平性の値との差分に基づくパラメータを算出し、
前記パラメータを含む損失関数を用いて前記機械学習モデルの訓練を実行する、
処理をコンピュータが実行することを特徴とする機械学習方法。

【請求項6】

複数のデータのそれぞれに対する機械学習モデルの出力に応じた前記複数のデータ内の第１の順位を特定し、
前記複数のデータのうち第１の属性の第１のデータと第２の属性の第２のデータとの前記第１の順位における順位を入れ替えた場合の第２の順位の属性を基準とする公平性の値と前記第１の順位の属性を基準とする公平性の値との差分に基づくパラメータを算出し、
前記パラメータを含む損失関数を用いて前記機械学習モデルの訓練を実行する、
処理を実行する制御部を含むことを特徴とする機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、公平性を考慮した機械学習手法に関する。

【背景技術】

【0002】

近年、ウェブページ上のクリック，与信や採用の合格などの過去の２値データから、正例となる可能性が高い順に整列されたランキングを機械学習モデルを用いて予測するランク学習が知られている。
ランク学習は、銀行やＳＮＳ（Social Networking Service）会社などの多くの企業の意思決定に利用されるようになってきている。

【0003】

しかし、性別や人種など、差別してはならない属性（保護属性）が予測結果に影響するケースが発生しており、問題となっている。このような問題は、以前においては分類問題において提唱されていたが、近年においてはランキング問題でも提唱されている。

【0004】

例えば、ＳＮＳにおいて、男性アカウントのクリック数が多いデータを用いて機械学習を行なうことで、検索結果ランキングの上位を男性アカウントが占めるように予測してしまう場合がある。

【0005】

これは、機械学習で用いる入力データに差別的なバイアスが含まれていることが主な原因である。上記の例においては、男性の正例数が圧倒的に多いデータや、男性の数が圧倒的に多いデータが原因となる。

【0006】

予測結果のランキングに対し、保護属性に基づくグループ（保護グループ）の公平性を評価する様々な基準が導入され、差別のような潜在的な社会的問題に配慮し、出力からバイアスを無くす公平ランク学習が期待される。

【0007】

このようなランキング出力の不公平性を是正する手法として、ランク学習のＡＩ（Artificial Intelligence）アルゴリズムに対して公平性制約を加えることで公平性是正処理をするIn-processing手法が知られている。かかる手法においては、以下の式（１）に示すように、公平性制約を損失に加え、その近似式を最適化する。

【0008】

【数1】

【0009】

なお、許容度εは不公平性が許容されるしきい値であり、λijは制約の影響をコントロールするパラメータである。
機械学習においては、上記の式（１）で表される損失関数Lossを最小過する最適化問題を解く。

【先行技術文献】

【特許文献】

【0010】

【文献】国際公開第２０２０／２４０９８１号

【文献】米国特許出願公開第２０２０／０２９３８３９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、このような従来のランキング出力の不公平性是正手法において、上記の式（１）における公平性制約は微分不可能であるので近似する必要がある。これにより、公平性を過剰（過少）評価する恐れがある。また、近似された公平性制約を最適化する際、多くの領域で導関数が0になるため slack （微小量）を加えて調整する必要がある。これは入手できる教師データが少ないとき、過適合が発生する可能性があり、テストでトレードオフを失敗する。すなわち、従来手法によるランキング精度損失の公平性制約付き最適化では、過適合を起こしてしまう場合がある。
１つの側面では、本発明は、過適合を発生させることなく公平性制約付き最適化を実現できるようにすることを目的とする。

【課題を解決するための手段】

【0012】

このため、この機械学習プログラムは、複数のデータのそれぞれに対する機械学習モデルの出力に応じた前記複数のデータ内の第１の順位を特定し、前記複数のデータのうち第１の属性の第１のデータと第２の属性の第２のデータとの前記第１の順位における順位を入れ替えた場合の第２の順位の属性を基準とする公平性の値と前記第１の順位の属性を基準とする公平性の値との差分に基づくパラメータを算出し、前記パラメータを含む損失関数を用いて前記機械学習モデルの訓練を実行する、処理をコンピュータに実行させる。

【発明の効果】

【0013】

一実施形態によれば、過適合を発生させることなく公平性制約付き最適化を実現できる。

【図面の簡単な説明】

【0014】

【図1】実施形態の一例としての情報処理装置の機能構成を模式的に示す図である。

【図2】複数の例に対して予測スコアに応じてランキングを設定した例を示す図である。

【図3】実施形態の一例としての情報処理装置におけるスワップ変数を説明するための図である。

【図4】実施形態の一例としての情報処理装置における処理を説明するためのフローチャートである。

【図5】実施形態の一例としての情報処理装置による公平性評価値を従来手法と比べて示す図である。

【図6】実施形態の一例としての情報処理装置による公平性是正手法をペアを考慮しない手法と比べて示す図である。

【図7】実施形態の一例としての情報処理装置のハードウェア構成を例示する図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本機械学習プログラム，機械学習方法および機械学習装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。

【0016】

（Ａ）構成
図１は実施形態の一例としての情報処理装置１の機能構成を模式的に示す図である。

【0017】

情報処理装置１は、入力される複数（Ｎ個）の入力データに対して、順位付け（ランキング）を行なう。情報処理装置をコンピュータもしくは計算装置といってもよい。

【0018】

本情報処理装置１においては、観測できない、バイアスされてない真のデータが存在するが、観測できる入力データはそこからバイアスされているため、不公平なランキングが生成されると仮定する。真のデータを用いることは出来ず、本情報処理装置１においては、観測データのみからランキング推定を行なう。また、個人の公平性よりも、グループの公平性について考慮するものとする。
ランキングの精度、公平性評価基準は複数存在し、特に公平性評価基準は社会的に複数を考慮する必要性があるものとする。

【0019】

また、本情報処理装置１においては、観測されない真のラベルと観測されるラベルとに次の関係を仮定するものとする。すなわち、真のデータ集合D_trueに属するラベルy′と観測データ集合D_biasedに属するラベルyとに、以下に示す二項関係があるものとする。

P(y) ∝ P(y′)×w

ここでw∈[0,1] は、真のラベルy′に対するバイアスである。バイアスはグループごとに異なる。

【0020】

機械学習では、訓練データとして観測データを用いて訓練を行なう。また、バイアスに影響されたラベルyを機械学習モデルに入力することにより、特定グループに不公平性が発生するものとする。機械学習モデルを単にモデルといってもよい。

【0021】

情報処理装置１は、図１に示すように、ペアデータ作成部１０１，ランキング生成部１０２，予測スコア計算部１０３，重み付き損失関数作成部１０４およびモデルパラメータ計算部１０８を備える。

【0022】

ペアデータ作成部１０１は、入力された２値の入力データを用いてペアデータを作成する。入力データは、ラベルに関する正例と負例とを含む２値データである。入力データの数をＮとし、Ｎ例と表す場合がある。ペアデータ作成部１０１は、正例と負例とを組み合わせたペアデータを作成する。具体的には、ペアデータ作成部１０１は、（正例の数）×（負例の数）の数のペアデータを作成する。
ペアデータ作成部１０１が作成したペアデータは、例えば、図７を用いて後述するメモリ１２や記憶装置１３における所定の記憶領域に記憶される。

【0023】

予測スコア計算部１０３は、入力データを機械学習モデルに入力して、ラベル｛0,1｝に対する予測スコアを算出する。例iの予測スコアを以下の符号で表す場合がある。予測スコアの値（確率）が高いほど正例と判断される。予測スコアの算出には、既知のランク学習において用いられる機械学習モデルを用いてよい。

【0024】

【数2】

【0025】

予測スコア計算部１０３は、ペアデータ作成部１０１が作成した全てのペアデータを用いてもよい。また、ペアデータ作成部１０１によって作成されたペアデータ数が多く、ペアデータが所定の閾値以上ある場合には、所定数のペアデータを抽出してもよい。

【0026】

ランキング生成部１０２は、予測スコア計算部１０３が算出した各例の予測スコアをソートすることで、例の予測スコアに関する降順リストを作成する。予測スコアに関する降順リストを予測ランキングといってもよい。
重み付き損失関数作成部１０４は、公平性制約を近似処理せずに用いた重みを含む重み付き損失関数を作成する。
重み付き損失関数作成部１０４は、図１に示すように、累積公平性評価差計算部１０５，重み計算部１０６および重み付き損失関数計算部１０７を備える。

【0027】

累積公平性評価差計算部１０５は、ランキング生成部１０２によって設定された予測ランキングに基づき、予測ランキングに対して、保護グループペア毎に公平性評価差（diff）を計算する。また、公平性評価差（diff）は、現在の公平性を示す。累積公平性評価差計算部１０５は、訓練のステップ毎に算出される公平性評価差（diff）を累積させて累積公平性評価差を算出する。訓練のステップごとに、訓練データを機械学習モデルに入力し、得られた予測ランキングに応じた損失関数に基づいて機械学習モデルのパラメータを更新する処理が実行される。

【0028】

図２は複数（図２に示す例では４つ）の例に対して予測スコアに応じてランキングを設定した例を示す図である。この図２中において、網掛けを付して示す丸は正例または負例を表し、丸内の数字はそれぞれ予測スコアを表す。

【0029】

また、図中、四角で囲んだ丸は例えば社会的にマイノリティなグループに属することを示す。社会的にマイノリティなグループを保護グループという場合がある。これに対して、四角で囲まれていない丸は例えば、社会的にマジョリティなグループに属することを示す。社会的にマジョリティなグループを非保護グループという場合がある。

【0030】

図２中に示す４つの例は予測スコアに従ってランキングが設定されている。また、予測スコア0.9の正例と予測スコア0.7の負例とが同一のグループGiに属している。また、予測スコア0.4の正例と予測スコア0.1の負例とが同一のグループGjに属している。

【0031】

以下、グループの組み合わせをグループペアという場合がある。図２に示す例において、Gi、Gjというグループに対し、例えば、(Gi, Gi)、(Gi, Gj)、(Gj, Gi)、(Gj, Gj)という4つのグループペアがあり得る。

【0032】

累積公平性評価差計算部１０５は、グループペア毎に公平性評価関数の差diffを算出する。公平性評価関数の差を公平性の差といってもよい。公平性評価関数の差は現在の公平性を表す。

【0033】

累積公平性評価差計算部１０５は、例えば、リストワイズ (Listwise)な評価基準である評価基準値Eを用いて公平性評価関数の差diffを算出してもよい。
累積公平性評価差計算部１０５は、例えば、以下の式（２）～（４）を用いて、グループG_iの評価基準値E_Giを算出する。

【数3】

【0034】

累積公平性評価差計算部１０５は、同様の手法でグループG_jの評価基準値E_Gjを算出する。
そして、累積公平性評価差計算部１０５は、以下の式（５）を用いて公平性評価関数の差diffを算出する。公平性評価関数の差diffは、各グループの公平性評価値の差を表す。

【0035】

【数4】

【0036】

公平性評価関数の差diffは、第１の順位の属性を基準とする公平性の値に相当する。
公平性評価関数の差diffは、グループG_iの評価基準値E_Gi（第１の順位に基づく第１の属性の公平性を示す第１の評価値）と、グループG_jの評価基準値E_Gj（第１の順位に基づく第２の属性の公平性を示す第２の評価値）との差分である。
また、累積公平性評価差計算部１０５は、ペアワイズ (Pairwise)な評価基準値であるＡＵＣ（Area Under the Curve）を用いて、公平性評価関数の差diffを算出してもよい。
ＡＵＣは以下の式で表される。

【0037】

【数5】

【0038】

そして、累積公平性評価差計算部１０５は、例えば、以下の式（６）を用いて公平性評価関数の差diffを算出する。公平性評価関数の差diffは、各グループの公平性評価値の差を表す。

【0039】

【数6】

【0040】

そして、累積公平性評価差計算部１０５は、算出した公平性評価関数の差diffを用いて、以下の式（７），（８）に基づき、累積公平性評価差c_ij，c_jiを算出する。累積公平性評価差c_ij，c_jiは、単純なイテレーション（Iteration）によりdiff_ij，diff_jiを累積させた値である。累積公平性評価差を累積公平性値といってもよい。
累積公平性評価差計算部１０５は、学習率ηを用いた以下の式（７）に示す更新式を用いて累積公平性評価差c_ijを推定する。

【0041】

【数7】

【0042】

累積公平性評価差計算部１０５が算出した累積公平性評価差の値は、例えば、メモリ１２や記憶装置１３における所定の記憶領域に記憶される。
重み計算部１０６は、グループペア毎に重みを設定する。ペア(i,j)の重みを重みw_ijと表す。

【0043】

重み計算部１０６は、スワップ（swap）変数を算出する。スワップ変数は、ペアを交換（最適化）することによって変動するグループ公平性を示す。同じグループペアでも．ランキングの位置によって swap が変化する。
図３は実施形態の一例としての情報処理装置１におけるスワップ変数を説明するための図である。

【0044】

図３に示す例において、網掛けを付して示す各丸は正例または負例を表し、各例のランキングを示す。また、図中、四角で囲んだ丸は保護グループに属することを示す。また、四角で囲まれていない丸は非保護グループに属することを示す。

【0045】

この図３に示す例において、正例と負例グループ公平性（pairwise fairness）の差 (diff) は 0.75である（diff＝0.75）。公平性達成のために、このdiffを0にしたいものとする。

【0046】

保護グループの正例と非保護グループの負例とを交換（順序を最適化）することにより是正処理することを考える。図３に示す例において、２つのペア <2,6> と <5,6>とをそれぞれ交換する候補として考慮する。
<2,6>を交換した場合、変換後のdiff<2,6>は0となり、公平性が理想的になる。
<5,6>を交換した場合、変換後のdiff<5,6>は0.5となり、依然として公平性は達成されない。
ここで、グループペアの順位を入れ替える前後におけるグループ公平性diffの差分をスワップ変数といってもよい。

【0047】

例えば、上記の<2,6>の例におけるスワップ変数swap<2,6>は0.75（= 0.75 - 0）である。また、上記の<5,6>の例におけるスワップ変数swap<5,6>は0.25（= 0.75 - 0.5）である。

【0048】

スワップ変数は、複数のデータのうち保護グループ（第１の属性）の第１のデータと非保護グループ（第２の属性）の第２のデータとの順位を入れ替えた後の第２の順位の属性を基準とする公平性の値と前記第１の順位（予測ランキング）の属性を基準とする公平性の値との差分diffに基づくパラメータである。
スワップ変数は交換後の公平性変化率に応じたペアの重要度を表す。そして、重み計算部１０６は、ペア毎にスワップ変数を計算する。

【0049】

重み計算部１０６は、c_ijに基づき重みw_ijを算出する。重みw_ijは以下の式（８）で表わされる。すなわち、重みw_ijは、swap_ij × c_ijを引数とする確率分布に比例する。

【0050】

w_ij ∝ P (swap_ij × c_ij)・・・（８）

【0051】

重み計算部１０６は、例えば、シグモイド関数σを用いて重みw_ijを算出してもよい。すなわち、重み計算部１０６は、以下の式（９）により重みw_ijを算出してもよい。

【0052】

w_ij = σ (swap_ij× c_ij)・・・（９）

なお、σ(x)は引数xを[0,1]の範囲に変換する関数であり、変数を確率化する関数である。σ(x)は例えば、以下の式で表される。

【0053】

σ(x) = 1/(1+e^-x)

重み計算部１０６は、swapと公平性評価関数の差とが反映された重みを算出する。
重み付き損失関数計算部１０７は、重み計算部１０６によって算出された重みw_ijを用いて、以下の式（１０）で表す重み付き損失関数Lossを算出する。

【0054】

【数8】

【0055】

上記の式（１０）に示す損失関数においては、重みと精度損失とが掛け合わされている。
すなわち、重み付き損失関数計算部１０７は、予測ランキングの誤差（精度損失）を算出し、この誤差に重みを乗算した値を累積することで、重み付き損失関数Lossを計算する。
重み付き損失関数Loss（損失関数）は、訓練のステップ毎に機械学習モデルの出力に応じたデータの順位に基づいて算出される属性を基準とする公平性の値を累積的に処理して得られる累積公平性値を含む。

【0056】

モデルパラメータ計算部１０８は、重み付き損失関数作成部１０４（重み付き損失関数計算部１０７）が作成（算出）した重み付き損失関数Lossを用いて、予測スコア計算部１０３が用いる機械学習モデルの各パラメータを更新する。モデルパラメータ計算部１０８は、重み付き損失関数Lossを用いて勾配降下法により機械学習モデルの各パラメータを算出する。算出された各パラメータは、予測スコア計算部１０３が用いる機械学習モデルに反映される。

【0057】

上述した式（１０）に示す損失関数においては、diff_ij＜0である場合、すなわち、グループG_iがグループG_jよりも不利な扱いを受けている場合にc_ijが増加する。

【0058】

これにより、重みw_ijが増加し、G_iのアイテムに関する損失が増加する。これにより、機械学習において、グループG_iのアイテムがより上位となるように学習される。
一方、diff_ij＞0である場合、すなわち、グループG_iがグループG_jよりも有利な扱いを受けている場合に、c_ijが減少する。

【0059】

これにより、重みw_ijが減少し、G_iのアイテムに関する損失が減少する。これにより、機械学習において、グループG_iのアイテムがより下位となるように学習される。

【0060】

このように、モデルパラメータ計算部１０８が重み付き損失関数Lossを用いて機械学習モデルのパラメータを更新することで、機械学習モデルが、より損失が大きいアイテムを上位に位置させようと学習するのである。

【0061】

（Ｂ）動作
上述の如く構成された実施形態の一例としての情報処理装置１における処理を、図４に示すフローチャートに従って説明する。
予め、重み付き損失関数作成部１０４による初期化が実行され、例えば、訓練ステップt = 0，η=10，c_ij = 0がそれぞれ設定される。

【0062】

Ｓ１において、ペアデータ作成部１０１が、入力された２値の入力データを用いて、正例と負例とを組み合わせたペアデータを複数作成する。ペアデータ作成部１０１は、正例と負例との全ての組み合わせのペアデータを作成する。

【0063】

Ｓ２において、予測スコア計算部１０３は、ペアデータ作成部１０１によって作成されたペアデータ数が多く、ペアデータの数が所定の閾値以上ある場合に、所定数のペアデータを抽出する。なお、ペアデータの数が閾値未満である場合には、当該処理をスキップしてＳ３に移行してもよい。
Ｓ３において、予測スコア計算部１０３が、入力データの各例を機械学習モデルに入力して、ラベル｛0,1｝に対する予測スコアを算出する。

【0064】

Ｓ４において、ランキング生成部１０２が、予測スコア計算部１０３が算出した各例の予測スコアをソートすることで、例の予測スコアに関する降順リストを作成する。
Ｓ５において、累積公平性評価差計算部１０５が、ランキング生成部１０２によって設定された予測ランキングに基づき累積公平性評価差を算出する。

【0065】

累積公平性評価差計算部１０５は、累積公平性評価差を算出するに際して、グループペア毎の公平性評価差（diff）を計算する（Ｓ５１）。そして、累積公平性評価差計算部１０５は、算出した公平性評価差（diff）をイテレーションにより累積させることで、累積公平性評価差を算出する（Ｓ５２）。

【0066】

例えば、図２に例示する予測ランキングにおいて、グループG_iの評価基準値E_Giが0.58（E_Gi ≒0.58）であり、グループG_jの評価基準値E_Gjが0.33（E_Gj ≒0.33）である場合に、グループペア（G_i,G_j）の公平性評価関数の差diff_ijが以下のように求められる。

【数9】

累積公平性評価差計算部１０５は、公平性評価関数の差diff_ijおよび上記の式（７）に基づいて、累積公平性評価差c_ij，c_jiを算出する。

【数10】

Ｓ６において、重み計算部１０６が、グループペア毎に重みを設定する。

【0067】

重み計算部１０６は、重みを算出するに際して、ペア毎にスワップ（swap）を計算し（Ｓ６１）、この算出したスワップ（swap）と累積公平性評価差c_ijとの積に基づき重みw_ijを算出する（Ｓ６２）。なお、重み計算部１０６は、正例と負例のペアだけを考慮することが望ましい。

【0068】

例えば、図２に例示した予測ランキングにおいて、重みを算出する例を示す。以下に示す例において、添え字の数字1～4はランキング（順位）を表す。swap₁₂ = 0，swap₁₄ ≒ 0.3，swap₃₂ ≒ 0.1，swap₃₄= 0である。
w_ij = P (swap_ij× c_ij)により重みw_ijを算出可能であるが、本例においてはシグモイド関数σを用いた例を示す。
重み計算部１０６は、例えば、シグモイド関数σを用いて以下の式により重みw_ijを算出する。
wi_j = σ(swap_ij× c_ij)

【0069】

図２に例示した予測ランキングにおいて、算出された重みを以下に示す。
w₁₂ = σ(0 × 0) = 0.5
w₁₄ = σ{0.3 × (-2.5)} ≒ 0.32
w₃₂ = σ(0.1 × 2.5) ≒ 0.56
w₃₄ = σ(0 × 0) = 0.5

【0070】

Ｓ７において、重み付き損失関数計算部１０７が、重み付き損失関数を計算する。重み付き損失関数を算出するに際して、重み付き損失関数計算部１０７は、各予測ランキングの誤差（精度損失）を算出し（Ｓ７１）、これらの誤差に対応する重みを乗算する（Ｓ７２）。そして、重み付き損失関数計算部１０７は、誤差と重みの積を累積することで、重み付き損失関数Lossを計算する。

【0071】

予測ランキングの誤差は、例えば、以下の式で表される。

【数11】

【0072】

誤差の計算には既知の種々の手法を用いてもよい。本例においては、先ずσ(x)で確率化した後に、対数lnx = log_exを計算する。対数を使うのは一般的な理由で勾配の計算を簡単にするためである。
重み付き損失関数計算部１０７は、上記の式（１０）を用いて、重み付き損失関数を計算する。

Loss = 0.5 × 0.59 + 0.32 × 0.37 + 0.56 × 0.85 0.5×0.55
≒1.1

【0073】

その後、Ｓ８において、モデルパラメータ計算部１０８が、重み付き損失関数作成部１０４（重み付き損失関数計算部１０７）が作成（算出）した重み付き損失関数Lossを用いて、予測スコア計算部１０３が用いる機械学習モデルの各パラメータを算出する。

【0074】

Ｓ９において、モデルパラメータ計算部１０８は、算出した各パラメータを用いて、予測スコア計算部１０３が用いる機械学習モデルを更新する。その後、処理を終了する。

【0075】

（Ｃ）効果
このように、本発明の一実施形態としての情報処理装置１によれば、重み計算部１０６が、保護グループの正例と非保護グループの負例との順序を入れ替えた場合のスワップ変数を算出し、重み付き損失関数計算部１０７が、このスワップ変数を重みとして反映させた損失関数を算出する。この際、公平性制約を近似することなく直接用いて重み推定を行なう。

【0076】

そして、このように算出された損失関数を用いて機械学習モデルの各パラメータを更新する。これにより、データ数に依らず、グループの公平性を正確に検出することができる。
図５は実施形態の一例としての情報処理装置１による公平性評価値を従来手法と比べて示す図である。

【0077】

従来手法においては、損失関数（式（１）参照）における公平性制約に近似処理を行なうので、この近似処理による誤差が発生する。これにより、あるグループについて過剰（過少）に評価するなど，実際の評価値との剥離が生じる。

【0078】

これに対して、本情報処理装置１においては、損失関数において近似処理をすることなく、公平性評価値をそのまま重みとして用いる。そのため、機械学習モデルの訓練時とテスト評価とで公平性が大きく異なることがない。
図６は実施形態の一例としての情報処理装置１による公平性是正手法を、ペアを考慮しない手法と比べて示す図である。

【0079】

上述した式（１）に示した従来手法における損失関数において、近似処理を行なわずに、公平性制約を引数とするボルツマン分布に従う重みで損失に重み付けし、公平性是正処理を行なうことが考えられる。公平性制約の指数族に従う確率分布を重みとして用いる。

【0080】

しかしながら、このような手法においては、ペアを考慮しないので、訓練ステップの過程において損失が小さい場合に誤判断が生じ、誤差検出ができないまま機械学習モデルの訓練が終了する。

【0081】

これに対して、本情報処理装置１においては、重み計算部１０６がグループペア毎に重みを設定する。ペアの組み合わせによって重みの大きさが異なるので、訓練ステップの過程において順序に関する損失をより正確に検出することができ、誤差検出を行なうことができる。

【0082】

重み計算部１０６が、ペア（順序）毎にスワップ変数を考慮する重みを設定し、ペアの組み合わせによって重みを変動させることで、ペアを最適化することができる。

【0083】

また、本情報処理装置１においては、ペア（順序）を考慮する重みづけを行なうことにより、重みづけによるランキングの公平性是正を行なうことができる。ペア（順序）の不公平性を検出し是正することができる。
（Ｄ）その他
図７は実施形態の一例としての情報処理装置１のハードウェア構成を例示する図である。

【0084】

情報処理装置１は、コンピュータであって、例えば、プロセッサ１１，メモリ１２，記憶装置１３，グラフィック処理装置１４，入力インタフェース１５，光学ドライブ装置１６，機器接続インタフェース１７およびネットワークインタフェース１８を構成要素として有する。これらの構成要素１１～１８は、バス１９を介して相互に通信可能に構成される。

【0085】

プロセッサ（制御部）１１は、情報処理装置１全体を制御する。プロセッサ１１は、マルチプロセッサであってもよい。プロセッサ１１は、例えばＣＰＵ，ＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor），ＡＳＩＣ（Application Specific Integrated Circuit），ＰＬＤ（Programmable Logic Device），ＦＰＧＡ（Field Programmable Gate Array）のいずれか一つであってもよい。また、プロセッサ１１は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのうちの２種類以上の要素の組み合わせであってもよい。

【0086】

そして、プロセッサ１１が制御プログラム（機械学習プログラム，：図示省略）を実行することにより、図１に例示した、ペアデータ作成部１０１，ランキング生成部１０２，予測スコア計算部１０３，重み付き損失関数作成部１０４およびモデルパラメータ計算部１０８としての機能が実現される。

【0087】

なお、情報処理装置１は、例えばコンピュータ読み取り可能な非一時的な記録媒体に記録されたプログラム（機械学習プログラム，ＯＳプログラム）を実行することにより、ペアデータ作成部１０１，ランキング生成部１０２，予測スコア計算部１０３，重み付き損失関数作成部１０４およびモデルパラメータ計算部１０８としての機能を実現する。

【0088】

情報処理装置１に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１に実行させるプログラムを記憶装置１３に格納しておくことができる。プロセッサ１１は、記憶装置１３内のプログラムの少なくとも一部をメモリ１２にロードし、ロードしたプログラムを実行する。

【0089】

また、情報処理装置１（プロセッサ１１）に実行させるプログラムを、光ディスク１６ａ，メモリ装置１７ａ，メモリカード１７ｃ等の非一時的な可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１１からの制御により、記憶装置１３にインストールされた後、実行可能になる。また、プロセッサ１１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0090】

メモリ１２は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１２のＲＡＭは情報処理装置１の主記憶装置として使用される。ＲＡＭには、プロセッサ１１に実行させるプログラムの少なくとも一部が一時的に格納される。また、メモリ１２には、プロセッサ１１による処理に必要な各種データが格納される。

【0091】

記憶装置１３は、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）、ＳＳＤ（Solid State Drive）、ストレージクラスメモリ（Storage Class Memory：ＳＣＭ）等の記憶装置であって、種々のデータを格納するものである。
記憶装置１３には、ＯＳプログラム，制御プログラムおよび各種データが格納される。制御プログラムには機械学習プログラムが含まれる。

【0092】

なお、補助記憶装置としては、ＳＣＭやフラッシュメモリ等の半導体記憶装置を使用することもできる。また、複数の記憶装置１３を用いてＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。

【0093】

記憶装置１３やメモリ１２には、ペアデータ作成部１０１，ランキング生成部１０２，予測スコア計算部１０３，重み付き損失関数作成部１０４およびモデルパラメータ計算部１０８が生成した演算結果や、使用する各種データ等を格納してもよい。

【0094】

グラフィック処理装置１４には、モニタ１４ａが接続されている。グラフィック処理装置１４は、プロセッサ１１からの命令に従って、画像をモニタ１４ａの画面に表示させる。モニタ１４ａとしては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置等が挙げられる。

【0095】

入力インタフェース１５には、キーボード１５ａおよびマウス１５ｂが接続されている。入力インタフェース１５は、キーボード１５ａやマウス１５ｂから送られてくる信号をプロセッサ１１に送信する。なお、マウス１５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル，タブレット，タッチパッド，トラックボール等が挙げられる。

【0096】

光学ドライブ装置１６は、レーザ光等を利用して、光ディスク１６ａに記録されたデータの読み取りを行なう。光ディスク１６ａは、光の反射によって読み取り可能にデータを記録された可搬型の非一時的な記録媒体である。光ディスク１６ａには、ＤＶＤ（Digital Versatile Disc），ＤＶＤ－ＲＡＭ，ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。

【0097】

機器接続インタフェース１７は、情報処理装置１に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１７には、メモリ装置１７ａやメモリリーダライタ１７ｂを接続することができる。メモリ装置１７ａは、機器接続インタフェース１７との通信機能を搭載した非一時的な記録媒体、例えばＵＳＢ（Universal Serial Bus）メモリである。メモリリーダライタ１７ｂは、メモリカード１７ｃへのデータの書き込み、またはメモリカード１７ｃからのデータの読み出しを行なう。メモリカード１７ｃは、カード型の非一時的な記録媒体である。

【0098】

ネットワークインタフェース１８は、ネットワークに接続される。ネットワークインタフェース１８は、ネットワークを介してデータの送受信を行なう。ネットワークには他の情報処理装置や通信機器等が接続されてもよい。

【0099】

そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。

【符号の説明】

【0100】

１ 情報処理システム
１０ コンピュータ
１１ プロセッサ（制御部）
１２ ＲＡＭ
１３ ＨＤＤ
１４ グラフィック処理装置
１４ａ モニタ
１５ 入力インタフェース
１５ａ キーボード
１５ｂ マウス
１６ 光学ドライブ装置
１６ａ 光ディスク
１７ 機器接続インタフェース
１７ａ メモリ装置
１７ｂ メモリリーダライタ
１７ｃ メモリカード
１８ ネットワークインタフェース
１８ａ ネットワーク
１９ バス
１０１ ペアデータ作成部
１０２ ランキング生成部
１０３ 予測スコア計算部
１０４ 重み付き損失関数作成部
１０５ 累積公平性評価差計算部
１０６ 重み計算部
１０７ 重み付き損失関数計算部
１０８ モデルパラメータ計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】