特開 2023-120742 計算機システム、施策の定義の評価方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023120742

(43)【公開日】2023-08-30

(54)【発明の名称】計算機システム、施策の定義の評価方法、及びプログラム

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20230823BHJP

【ＦＩ】

G06Q30/02 300

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022023762

(22)【出願日】2022-02-18

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】リョウ ウシン

(72)【発明者】

【氏名】恵木 正史

(72)【発明者】

【氏名】高橋 正和

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB02

(57)【要約】

【課題】要素の母集団に対する、比較グループに含まれる要素のバイアスを評価する。
【解決手段】計算機システムは、施策の効果の評価に用いる、前記施策の要素の集合である比較グループを生成するための割当条件を含む施策定義データを格納する施策定義管理情報を保持し、施策定義データに基づいて生成された比較グループと、施策定義データに含まれる割当条件に合致する要素の母集団とを特定し、比較グループに含まれる要素の属性の分布と、母集団に含まれる要素の属性の分布とに基づいて、比較グループにおける要素のバイアスが発生しているか否かを判定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を少なくとも一つ含む計算機システムであって、
施策の効果の評価に用いる、前記施策の要素の集合である比較グループを生成するための割当条件を含む施策定義データを格納する施策定義管理情報を保持し、
前記少なくとも一つの計算機は、
前記施策定義データに基づいて生成された前記比較グループと、前記施策定義データに含まれる前記割当条件に合致する前記要素の母集団とを特定し、
前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布とに基づいて、前記比較グループにおける前記要素のバイアスが発生しているか否かを判定することを特徴とする計算機システム。

【請求項2】

請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布との類似度を算出し、
前記類似度に基づいて、前記バイアスが発生しているか否かを判定することを特徴とする計算機システム。

【請求項3】

請求項１に記載の計算機システムであって、
前記施策定義管理情報は、第１割当条件を含む、第１施策の第１施策定義データと、第２割当条件を含む、第２施策の第２施策定義データと、を格納し、
前記少なくとも一つの計算機は、
前記第１割当条件に合致する要素の集合と、前記第１割当条件及び前記第２割当条件に合致する要素の集合とに基づいて、前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第１割当条件及び前記第２割当条件の組合せの影響の程度を示すスコアを算出し、
前記スコアに基づいて、前記第１割当条件及び前記第２割当条件の組合せが前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定することを特徴とする計算機システム。

【請求項4】

請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、
第３割当条件を含む、第３施策の第３施策定義データの登録要求を受け付けた場合、前記施策定義管理情報に格納される前記施策定義データを取得し、
前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第３割当条件及び取得した前記施策定義管理情報に含まれる前記割当条件の組合せの影響の程度を示すスコアを算出し、
前記スコアに基づいて、前記第３割当条件及び取得された前記施策定義管理情報に含まれる前記割当条件の組合せが前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定することを特徴とする計算機システム。

【請求項5】

請求項１に記載の計算機システムであって、
前記少なくとも一つの計算機は、前記施策定義管理情報から一つの前記施策定義データを取得し、取得した前記施策定義データに含まれる前記割当条件に基づいて一つの前記要素を選択する処理を繰り返し実行することによって、前記施策定義管理情報に格納される複数の前記施策定義データに対応する前記施策の前記比較グループを生成することを特徴とする計算機システム。

【請求項6】

計算機システムが実行する施策の定義の評価方法であって、
前記計算機システムは、
プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を少なくとも一つ含み、
施策の効果の評価に用いる、前記施策の要素の集合である比較グループを生成するための割当条件を含む施策定義データを格納する施策定義管理情報を保持し、
前記施策の定義の評価方法は、
前記少なくとも一つの計算機が、前記施策定義データに基づいて生成された前記比較グループと、前記施策定義データに含まれる前記割当条件に合致する前記要素の母集団とを特定する第１のステップと、
前記少なくとも一つの計算機が、前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布とに基づいて、前記比較グループにおける前記要素のバイアスが発生しているか否かを判定する第２のステップと、を含むことを特徴とする施策の定義の評価方法。

【請求項7】

請求項６に記載の施策の定義の評価方法であって、
前記第２のステップは、
前記少なくとも一つの計算機が、前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布との類似度を算出するステップと、
前記少なくとも一つの計算機が、前記類似度に基づいて、前記バイアスが発生しているか否かを判定するステップと、を含むことを特徴とする施策の定義の評価方法。

【請求項8】

請求項６に記載の施策の定義の評価方法であって、
前記施策定義管理情報は、第１割当条件を含む、第１施策の第１施策定義データと、第２割当条件を含む、第２施策の第２施策定義データと、を格納し、
前記施策の定義の評価方法は、
前記少なくとも一つの計算機が、前記第１割当条件に合致する要素の集合と、前記第１割当条件及び前記第２割当条件に合致する要素の集合とに基づいて、前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第１割当条件及び前記第２割当条件の組合せの影響の程度を示すスコアを算出するステップと、
前記少なくとも一つの計算機が、前記スコアに基づいて、前記第１割当条件及び前記第２割当条件の組合せが前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定するステップと、を含むことを特徴とする施策の定義の評価方法。

【請求項9】

請求項６に記載の施策の定義の評価方法であって、
前記少なくとも一つの計算機が、第３割当条件を含む、第３施策の第３施策定義データの登録要求を受け付けた場合、前記施策定義管理情報に格納される前記施策定義データを取得するステップと、
前記少なくとも一つの計算機が、前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第３割当条件及び取得した前記施策定義管理情報に含まれる前記割当条件の組合せの影響の程度を示すスコアを算出するステップと、
前記少なくとも一つの計算機が、前記スコアに基づいて、前記第３割当条件及び取得された前記施策定義管理情報に含まれる前記割当条件の組合せが前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定するステップと、を含むことを特徴とする施策の定義の評価方法。

【請求項10】

請求項６に記載の施策の定義の評価方法であって、
前記少なくとも一つの計算機が、前記施策定義管理情報から一つの前記施策定義データを取得し、取得した前記施策定義データに含まれる前記割当条件に基づいて一つの前記要素を選択する処理を繰り返し実行することによって、前記施策定義管理情報に格納される複数の前記施策定義データに対応する前記施策の前記比較グループを生成するステップを含むことを特徴とする施策の定義の評価方法。

【請求項11】

プロセッサ及び前記プロセッサに接続される記憶装置を有し、施策の効果の評価に用いる、前記施策の要素の集合である比較グループを生成するための割当条件を含む施策定義データを格納する施策定義管理情報を保持する計算機に手順を実行させるためのプログラムであって、
前記施策定義データに基づいて生成された前記比較グループと、前記施策定義データに含まれる前記割当条件に合致する前記要素の母集団とを特定する第１の手順と、
前記少なくとも一つの計算機が、前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布とに基づいて、前記比較グループにおける前記要素のバイアスが発生しているか否かを判定する第２の手順と、を前記計算機に実行させることを特徴とするプログラム。

【請求項12】

請求項１１に記載のプログラムであって、
前記第２の手順は、
前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布との類似度を算出する手順と、
前記類似度に基づいて、前記バイアスが発生しているか否かを判定する手順と、を含むことを特徴とするプログラム。

【請求項13】

請求項１１に記載のプログラムであって、
前記施策定義管理情報は、第１割当条件を含む、第１施策の第１施策定義データと、第２割当条件を含む、第２施策の第２施策定義データと、を格納し、
前記プログラムは、
前記第１割当条件に合致する要素の集合と、前記第１割当条件及び前記第２割当条件に合致する要素の集合とに基づいて、前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第１割当条件及び前記第２割当条件の組合せの影響の程度を示すスコアを算出する手順と、
前記スコアに基づいて、前記第１割当条件及び前記第２割当条件の組合せが前記第１施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定する手順と、を前記計算機に実行させることを特徴とするプログラム。

【請求項14】

請求項１１に記載のプログラムであって、
第３割当条件を含む、第３施策の第３施策定義データの登録要求を受け付けた場合、前記施策定義管理情報に格納される前記施策定義データを取得する手順と、
前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生に対する、前記第３割当条件及び取得した前記施策定義管理情報に含まれる前記割当条件の組合せの影響の程度を示すスコアを算出する手順と、
前記スコアに基づいて、前記第３割当条件及び取得された前記施策定義管理情報に含まれる前記割当条件の組合せが前記第３施策定義データに基づいて生成される前記比較グループにおける前記バイアスの発生要因であるか否かを判定する手順と、を前記計算機に実行させることを特徴とするプログラム。

【請求項15】

請求項１１に記載のプログラムであって、
前記施策定義管理情報から一つの前記施策定義データを取得し、取得した前記施策定義データに含まれる前記割当条件に基づいて一つの前記要素を選択する処理を繰り返し実行することによって、前記施策定義管理情報に格納される複数の前記施策定義データに対応する前記施策の前記比較グループを生成する手順を前記計算機に実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施策の評価に用いる比較グループに含まれる要素のバイアスの評価技術に関する。

【背景技術】

【0002】

業務効率、生産性、及び売上げ等の指標を改善させるために様々な施策が実施される。本明細書の「施策」は、施策の実施対象にリソースを用いて、ある作用を目的とした行為を行うこと、と定義する。

【0003】

施策を評価する方法としてＡＢテストが知られている。ＡＢテストは、Ａ群及びＢ群の二つの比較グループに分けて、Ａ群及びＢ群に異なる行為を行い、Ａ群及びＢ群における行為の結果を比較し、施策の効果及び因果関係を評価する手法である。

【0004】

ＡＢテストでは比較グループに対する要素の割当てが重要である。本明細書の施策では、対象及びリソースの各々を適切に割り当てる必要がある。これに対して、分割対象の属性に基づく比較グループの割当方法が知られている（例えば、特許文献１の段落［００４６］、［００４７］）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－８９４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術では、比較グループ間の要素の属性のバイアスに着目しているが、選択対象となる要素の集合（母集団）と、比較グループに含まれる要素群との間の属性のバイアスは着目されていない。比較グループに含まれる要素の属性の分布は、母集団に含まれる要素の属性の分布と類似していることが望ましい。二つの分布が異なる場合、バイアスが発生していることを示す。

【0007】

本発明は、要素の母集団に対する、比較グループに含まれる要素のバイアスを評価するシステム及び方法を提供する。

【課題を解決するための手段】

【0008】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、プロセッサ及び前記プロセッサに接続される記憶装置を有する計算機を少なくとも一つ含む計算機システムであって、施策の効果の評価に用いる、前記施策の要素の集合である比較グループを生成するための割当条件を含む施策定義データを格納する施策定義管理情報を保持し、前記少なくとも一つの計算機は、前記施策定義データに基づいて生成された前記比較グループと、前記施策定義データに含まれる前記割当条件に合致する前記要素の母集団とを特定し、前記比較グループに含まれる前記要素の属性の分布と、前記母集団に含まれる前記要素の属性の分布とに基づいて、前記比較グループにおける前記要素のバイアスが発生しているか否かを判定する。

【発明の効果】

【0009】

本発明によれば、計算機システムは、要素の母集団に対する、比較グループに含まれる要素のバイアスを評価し、提示することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】実施例１の計算機システムの構成の一例を示す図である。

【図2】実施例１の施策評価システムに含まれる計算機のハードウェア構成の一例を示す図である。

【図3】実施例１の施策定義管理情報の一例を示す図である。

【図4】実施例１のリソース管理情報の一例を示す図である。

【図5】実施例１の施策対象管理情報一例を示す図である。

【図6】実施例１の施策実施計画管理情報の一例を示す図である。

【図7A】実施例１のバイアス分析結果管理情報の一例を示す図である。

【図7B】実施例１のバイアス分析結果管理情報の一例を示す図である。

【図8】実施例１の端末が表示する画面の一例を示す図である。

【図9】実施例１の施策評価システムが実行する施策実施計画生成処理の一例を説明するフローチャートである。

【図10A】実施例１の施策評価システムが実行するバイアス評価指標算出処理の一例を説明するフローチャートである。

【図10B】実施例１の施策評価システムが実行するバイアス評価指標算出処理の一例を説明するフローチャートである。

【図11】実施例２の第２バイアス分析情報の一例を示す図である。

【図12】実施例１の端末が表示する画面の一例を示す図である。

【図13】実施例２の施策評価システムが実行する要因分析処理の一例を説明するフローチャートである。

【図14】実施例２の端末が表示する画面の一例を示す図である。

【図15】実施例３の端末が表示する画面の一例を示す図である。

【図16】実施例３の施策評価システムが実行する施策定義評価処理の一例を説明するフローチャートである。

【図17】従来の課題を説明する図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0012】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0013】

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

【0014】

本明細書では、施策を評価するための比較グループをＡ群及びＢ群と定義する。また、対象及びリソースを区別しない場合、要素と記載する。

【実施例0015】

図１は、実施例１の計算機システムの構成の一例を示す図である。図２は、実施例１の施策評価システムに含まれる計算機のハードウェア構成の一例を示す図である。

【0016】

計算機システムは、施策評価システム１００及び端末１０１から構成される。施策評価システム１００及び端末１０１は、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク１０２を介して互いに接続される。ネットワーク１０２の接続方式は、有線及び無線のいずれでもよい。

【0017】

施策評価システム１００は施策の実施計画を生成し、また、施策の評価に用いる比較グループのバイアスを評価するシステムであり、図２に示すような計算機２００から構成される。

【0018】

計算機２００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア要素はバスを介して互いに接続される。なお、計算機２００は、キーボード、マウス、及びタッチパネル等の入力装置を有してもよいし、ディスプレイ及びプリンタ等の出力装置を有してもよい。

【0019】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。

【0020】

主記憶装置２０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置であり、プロセッサ２０１が実行するプログラム及びプログラム使用するデータを格納する。主記憶装置２０２はワークエリアとしても用いられる。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置であり、データを永続的に格納する。

【0021】

なお、主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１は、副記憶装置２０３からプログラム及びデータを読み出し、主記憶装置２０２にロードする。

【0022】

施策評価システム１００は、施策計画部１１０、バイアス分析部１１１、及び施策定義評価部１１２を有する。また、施策評価システム１００は、施策定義管理情報１２０、リソース管理情報１２１、施策対象管理情報１２２、施策実施計画管理情報１２３、及びバイアス分析結果管理情報１２４を保持する。

【0023】

施策定義管理情報１２０は、施策の定義を含むデータ（施策定義データ）を管理するための情報である。ここで、施策の定義とは、施策の具体内容及び施策を評価するための比較グループの割当条件を含む概念である。リソース管理情報１２１は、施策で用いるリソースを管理するための情報である。施策対象管理情報１２２、施策の対象を管理するための情報である。施策実施計画管理情報１２３は、施策の実施計画を管理するための情報である。バイアス分析結果管理情報１２４は、比較グループのバイアスの分析結果を管理するための情報である。

【0024】

施策計画部１１０は、施策定義データに基づいて実施計画を生成し、生成した実施計画を施策実施計画管理情報１２３に登録する。本実施例の施策計画部１１０は、複数の施策の実施計画を生成する場合に、Ａ群及びＢ群における要素のバイアスと、比較グループの割当条件に合致する要素の集合（母集団）に対する比較グループに含まれる要素のバイアスとの発生を抑止するように比較グループへの要素の割当を行う。詳細については後述する。

【0025】

以下の説明では、Ａ群及びＢ群における要素のバイアスを第１バイアスと記載し、比較グループの割当条件に合致する要素の集合に対する比較グループに含まれる要素のバイアスを第２バイアスと記載する。

【0026】

バイアス分析部１１１は、比較グループの各種バイアスを分析する。バイアス分析部１１１は、評価指標算出部１３０及び要因分析部１３１を含む。評価指標算出部１３０は、第１バイアス及び第２バイアスの各々の発生強度を表す指標を算出する。要因分析部１３１は、第２バイアスが発生している要因を分析する。なお、要因分析部１３１の詳細は実施例２で説明する。

【0027】

施策定義評価部１１２は、新たな施策の施策定義データに基づいて、新たな施策の第２バイアスの発生のしやすさを評価する。なお、施策定義評価部１１２の詳細は実施例３で説明する。

【0028】

なお、施策評価システム１００が有する各機能部については、複数の機能部を一つの機能部にまとめてもよいし、一つの機能部を機能毎に複数の機能部に分けてもよい。

【0029】

端末１０１は、施策評価システム１００を利用するユーザが操作する端末である。端末１０１は、図示しないプロセッサ、主記憶装置、ネットワークインタフェース、入力装置、及び出力装置を有する。端末１０１は、データ受付部１４０及び表示部１４１を有する。データ受付部１４０は、ユーザからのデータの入力を受け付ける。表示部１４１は、各種表示を行う。

【0030】

第２バイアスは、複数の施策を同時に実行する場合に顕著に発生する。図１７は、従来の課題を説明する図である。ここでは、コールセンタの業務における従業員（リソース）のグループ分けを例に説明する。図１７において丸は従業員を示す。次のような施策１及び施策２におけるリソースのグループ分けを考える。
施策１ Ａ群：女性
施策１ Ｂ群：男性
施策２ Ａ群：３０代
施策２ Ｂ群：２０代

【0031】

図１７に示すように、施策１及び施策２の順に各施策のグループ分けが行われた場合、施策２のＢ群には女性の従業員しか含まれていない。しかし、施策２のＢ群の割当条件に合致する要素の集合（母集団）には男性が含まれている。したがって、施策２のＢ群では、第２バイアスが発生していると判断できる。

【0032】

図３は、実施例１の施策定義管理情報１２０の一例を示す図である。施策定義管理情報１２０は、施策ＩＤ３０１、行為３０２、顧客割当条件３０３、及びリソース割当条件３０４を含むエントリを格納する。一つの施策に対して一つのエントリが存在する。

【0033】

施策ＩＤ３０１は、施策を一意に識別するための識別情報を格納するフィールドである。行為３０２は、施策の行為を格納するフィールドである。顧客割当条件３０３は、施策の実施対象である顧客に関する比較グループの割当条件を格納するフィールド群である。顧客割当条件３０３にはＡ群及びＢ群のそれぞれの割当条件が格納される。リソース割当条件３０４は、リソースに関する比較グループの割当条件を格納するフィールド群である。リソース割当条件３０４にはＡ群及びＢ群のそれぞれの割当条件が格納される。

【0034】

図４は、実施例１のリソース管理情報１２１の一例を示す図である。リソース管理情報１２１は、リソースＩＤ４０１及び属性４０２を含むエントリを格納する。一つのリソースに対して一つのエントリが存在する。

【0035】

リソースＩＤ４０１は、リソースを一意に識別するための識別情報を格納するフィールドである。属性４０２は、リソースの属性を格納するフィールド群である。リソースが従業員である場合、属性４０２には、スタッフＩＤ、年齢、性別、及び勤務時間等のフィールドが格納される。なお、本発明は、属性４０２に含まれるフィールドに限定されない。

【0036】

図５は、実施例１の施策対象管理情報１２２一例を示す図である。施策対象管理情報１２２は、対象ＩＤ５０１及び属性５０２を含むエントリを格納する。一つの対象に対して一つのエントリが存在する。

【0037】

対象ＩＤ５０１は、対象を一意に識別するための識別情報を格納するフィールドである。属性５０２は、対象の属性を格納するフィールド群である。対象が顧客である場合、属性５０２には、年齢、性別、及び年収等のフィールドが格納される。なお、本発明は、属性５０２に含まれるフィールドに限定されない。

【0038】

図６は、実施例１の施策実施計画管理情報１２３の一例を示す図である。施策実施計画管理情報１２３は、施策ＩＤ６０１、ＡＢ種別６０２、対象リスト６０３、及びリソースリスト６０４を含むエントリを格納する。施策及び比較グループの種別の組合せに対して一つのエントリが存在する。

【0039】

施策ＩＤ６０１は施策ＩＤ３０１と同一のフィールドである。ＡＢ種別６０２は、比較グループの種別を格納するフィールドである。ＡＢ種別６０２にはＡ群を表す「Ａ」及びＢ群を表す「Ｂ」のいずれかが格納される。対象リスト６０３は、施策の比較グループに割り当てられた対象のリストを格納するフィールドである。リソースリスト６０４は、施策の比較グループに割り当てられたリソースのリストを格納するフィールドである。

【0040】

図７Ａ及び図７Ｂは、実施例１のバイアス分析結果管理情報１２４の一例を示す図である。バイアス分析結果管理情報１２４は、第１バイアス分析情報７００及び第２バイアス分析情報７１０を含む。

【0041】

第１バイアス分析情報７００は、施策ＩＤ７０１及びＡＢ群バイアス７０２を含むエントリを格納する。一つの施策に対して一つのエントリが存在する。

【0042】

施策ＩＤ７０１は施策ＩＤ３０１と同一のフィールドである。ＡＢ群バイアス７０２は、第１バイアスの発生強度を表す指標（第１バイアス指標）を格納するフィールドである。

【0043】

第２バイアス分析情報７１０は、施策ＩＤ７１１、ＡＢ種別７１２、及び分布バイアス７１３を含むエントリを格納する。施策及び比較グループの種別の組合せに対して一つのエントリが存在する。

【0044】

施策ＩＤ７１１は施策ＩＤ３０１と同一のフィールドである。ＡＢ種別７１２はＡＢ種別６０２と同一のフィールドである。分布バイアス７１３は、第２バイアスの発生強度を表す指標（第２バイアス指標）を格納するフィールド群である。分布バイアス７１３には、対象の各属性の第２バイアスの発生強度を格納するフィールド群と、リソースの各属性の第２バイアスの発生強度を格納するフィールド群とが含まれる。

【0045】

図８は、実施例１の端末１０１が表示する画面の一例を示す図である。端末１０１の表示部１４１は、施策定義データを登録するための画面８００を表示する。

【0046】

画面８００は、Ａ群設定領域８１０、Ｂ群設定領域８２０、マニュアル条件設定領域８３０、施策ＩＤ設定欄８４０、及び登録ボタン８５０を含む。

【0047】

Ａ群設定領域８１０は、Ａ群のリソース及び対象の割当条件及びＡ群における行為を設定するための欄を含む。Ｂ群設定領域８２０は、Ｂ群のリソース及び対象の割当条件及びＢ群における行為を設定するための欄を含む。マニュアル条件設定領域８３０は、その他の条件を設定するための欄を含む。追加ボタンを押下することによって欄が追加される。施策ＩＤ設定欄８４０は、施策の識別情報を設定する欄である。登録ボタン８５０は、施策定義データを登録するための操作ボタンである。

【0048】

ユーザは、画面８００に対して各種設定を行い、登録ボタン８５０を押下する。端末１０１のデータ受付部１４０は、画面８００に対する各種設定を含む施策定義のデータを施策評価システム１００に送信する。施策評価システム１００は、施策定義のデータを施策定義管理情報１２０に登録する。

【0049】

図９は、実施例１の施策評価システム１００が実行する施策実施計画生成処理の一例を説明するフローチャートである。

【0050】

施策評価システム１００は、端末１０１から施策実施計画の生成指示を受信した場合、以下で説明する処理を開始する。

【0051】

施策計画部１１０は、施策定義管理情報１２０を参照して実施する施策を特定する（ステップＳ１０１）。具体的には、施策計画部１１０は、施策定義管理情報１２０の各エントリを取得し、施策のリストを生成する。また、施策計画部１１０は、施策実施計画管理情報１２３に、各施策についてＡ群及びＢ群のエントリを追加する。

【0052】

施策計画部１１０は、各施策について、Ａ群及びＢ群の対象の割当条件に合致する対象の集合（対象母集団）を抽出し、Ａ群及びＢ群のリソースの割当条件に合致するリソースの集合（リソース母集団）を抽出する（ステップＳ１０２）。ここでは、各施策について、Ａ群の対象母集団、Ｂ群の対象母集団、Ａ群のリソース母集団、及びＢ群のリソース母集団が抽出される。

【0053】

施策計画部１１０は、施策のループ処理を開始する（ステップＳ１０３）。具体的には、施策計画部１１０は施策のリストから一つの施策を選択する。

【0054】

施策計画部１１０は、選択した施策の対象母集団からＡ群に割り当てる対象及びＢ群に割り当てる対象を選択し、選択した施策のリソース母集団からＡ群に割り当てるリソース及びＢ群に割り当てるリソースを選択する（ステップＳ１０４）。対象及びリソースは各母集団からランダムに選択されるものとする。施策計画部１１０は、施策実施計画管理情報１２３の各エントリの対象リスト６０３及びリソースリスト６０４に対象及びリソースの識別情報を設定する。

【0055】

施策計画部１１０は、全ての施策について処理が完了したか否かを判定する（ステップＳ１０５）。全ての施策について処理が完了していない場合、施策計画部１１０は、新たな施策を選択し、ステップＳ１０４に戻る。

【0056】

このように、各施策について母集団から要素を一つ選択することによって、一度に要素を選択することによる第２バイアスの発生を抑制することができる。また、要素をランダムに選択することによって第１バイアスの発生を抑制することができる。

【0057】

施策計画部１１０は、比較グループへの要素の割当が完了した施策が存在するか否かを判定する（ステップＳ１０６）。例えば、Ａ群及びＢ群の各々の要素の数が閾値より大きい場合、又は、母集団が枯渇した場合、比較グループへの要素の割当が完了した施策が存在すると判定される。

【0058】

比較グループへの要素の割当が完了した施策が存在しない場合、施策計画部１１０は、施策のループ処理を再度実行する。

【0059】

比較グループへの要素の割当が完了した施策が存在する場合、施策計画部１１０は、当該施策を選択対象から除外する（ステップＳ１０７）。具体的には、施策計画部１１０は、施策のリストから当該施策のエントリを削除する。

【0060】

施策計画部１１０は、全ての施策の要素の割当が完了したか否かを判定する（ステップＳ１０８）。

【0061】

全ての施策の要素の割当が完了していない場合、施策計画部１１０は、ステップＳ１０３に戻り、施策のループ処理を再度実行する。

【0062】

全ての施策の要素の割当が完了した場合、施策計画部１１０は施策実施計画生成処理を終了する。

【0063】

図１０Ａ及び図１０Ｂは、実施例１の施策評価システム１００が実行するバイアス評価指標算出処理の一例を説明するフローチャートである。

【0064】

バイアス分析部１１１の評価指標算出部１３０は、施策実施計画生成処理が終了した後、以下で説明する処理を開始する。なお、処理の実行契機はこれに限定されない。例えば、端末１０１から実行指示を受け付けた場合に施策実施計画生成処理が実行されてもよい。

【0065】

評価指標算出部１３０は、施策実施計画管理情報１２３を参照して施策を特定し、施策のループ処理を開始する（ステップＳ２０１）。具体的には、評価指標算出部１３０は、施策実施計画管理情報１２３を参照して施策のリストを生成し、施策のリストから一つの施策を選択する。

【0066】

評価指標算出部１３０は、選択した施策の第１バイアス指標を算出する（ステップＳ２０２）。

【0067】

例えば、評価指標算出部１３０は、Ａ群及びＢ群の間の対象の属性のばらつきを示す指標と、Ａ群及びＢ群の間の対象のリソースの属性のばらつきを示す指標とを用いて施策の第１バイアス指標を算出する。

【0068】

評価指標算出部１３０は、第１バイアス分析情報７００にエントリを追加し、施策ＩＤ７０１に選択した施策の識別情報を設定し、ＡＢ群バイアス７０２に第１バイアス指標を設定する。

【0069】

評価指標算出部１３０は、比較グループのループ処理を開始する（ステップＳ２０３）。ここでは、Ａ群及びＢ群の順に比較グループが選択されるものとする。このとき、評価指標算出部１３０は、第２バイアス分析情報７１０にエントリを追加し、エントリの施策ＩＤ７１１に選択した施策の識別情報を設定し、ＡＢ種別７１２に選択した比較グループの種別を設定する。

【0070】

評価指標算出部１３０は、選択した施策について、比較グループの対象の割当条件に合致する対象の集合（対象母集団）を抽出し、比較グループのリソースの割当条件に合致するリソースの集合（リソース母集団）を抽出する（ステップＳ２０４）。

【0071】

評価指標算出部１３０は、対象の属性のループ処理を開始する（ステップＳ２０５）。具体的には、評価指標算出部１３０は対象の属性群の中から一つの属性を選択する。

【0072】

評価指標算出部１３０は、対象の属性の第２バイアス指標を算出する（ステップＳ２０６）。具体的には、評価指標算出部１３０は、比較グループ及び母集団の属性分布の類似度を第２バイアス指標として算出する。例えば、Ｊａｃｃａｒｄ係数が類似度として算出される。このとき、評価指標算出部１３０は、ステップＳ２０３で追加されたエントリの分布バイアス７１３の選択した対象の属性に対応するフィールドに類似度を設定する。

【0073】

評価指標算出部１３０は、第２バイアス指標が閾値以下である否かを判定する（ステップＳ２０７）。本実施例では、比較グループの属性の分布が母集団の属性の分布と類似していない場合、すなわち、第２バイアス指標が閾値以下である場合、第２バイアスが発生している可能性があるものと判定する。

【0074】

第２バイアス指標が閾値より大きい場合、評価指標算出部１３０はステップＳ２０９に進む。

【0075】

第２バイアス指標が閾値以下である場合、評価指標算出部１３０は、アラートを設定し（ステップＳ２０８）、その後、ステップＳ２０９に進む。

【0076】

ステップＳ２０９では、評価指標算出部１３０は、対象の全ての属性について処理が完了したか否かを判定する（ステップＳ２０９）。

【0077】

対象の全ての属性について処理が完了していない場合、評価指標算出部１３０は、新たな対象の属性を選択し、Ｓ２０６に戻る。

【0078】

対象の全ての属性について処理が完了した場合、評価指標算出部１３０は、リソースの属性のループ処理を開始する（ステップＳ２１０）。具体的には、評価指標算出部１３０はリソースの属性群の中から一つの属性を選択する。

【0079】

評価指標算出部１３０は、リソースの属性の第２バイアス指標を算出する（ステップＳ２１１）。具体的には、評価指標算出部１３０は、比較グループ及び母集団の属性分布の類似度を第２バイアス指標として算出する。例えば、Ｊａｃｃａｒｄ係数が類似度として算出される。このとき、評価指標算出部１３０は、ステップＳ２０３で追加されたエントリの分布バイアス７１３の選択したリソースの属性に対応するフィールドに類似度を設定する。

【0080】

評価指標算出部１３０は、第２バイアス指標が閾値以下である否かを判定する（ステップＳ２１２）。

【0081】

第２バイアス指標が閾値より大きい場合、評価指標算出部１３０はステップＳ２１４に進む。

【0082】

第２バイアス指標が閾値以下である場合、評価指標算出部１３０は、アラートを設定し（ステップＳ２１３）、その後、ステップＳ２１４に進む。

【0083】

ステップＳ２１４では、評価指標算出部１３０は、リソースの全ての属性について処理が完了したか否かを判定する（ステップＳ２１４）。

【0084】

リソースの全ての属性について処理が完了していない場合、評価指標算出部１３０は、新たなリソースの属性を選択し、Ｓ２１１に戻る。

【0085】

リソースの全ての属性について処理が完了した場合、評価指標算出部１３０は、各比較グループの処理が完了したか否かを判定する（ステップＳ２１５）。

【0086】

各比較グループの処理が完了していない場合、評価指標算出部１３０は、新たな比較グループを選択し、ステップＳ２０４に戻る。

【0087】

各比較グループの処理が完了した場合、評価指標算出部１３０は、全ての施策について処理が完了したか否かを判定する（ステップＳ２１６）。

【0088】

全ての施策について処理が完了していない場合、評価指標算出部１３０は、新たな施策を選択し、ステップＳ２０２に戻る。

【0089】

全ての施策について処理が完了した場合、評価指標算出部１３０はバイアス評価指標算出処理を終了する。バイアス分析部１１１は、アラートが設定されたエントリを端末１０１に表示する。

【0090】

なお、ステップＳ２０４において、評価指標算出部１３０は、対象母集団からランダムに所定数の対象を選択して処理用の対象集合を生成し、また、リソース母集団からランダムに所定数の対象を選択して処理用のリソース集合を生成してもよい。この場合、ステップＳ２０６では、比較グループ及び処理用集合の属性の分布の類似度が算出される。

【0091】

実施例１によれば、施策評価システム１００は、第２バイアスの発生の強度を定量的に評価し、評価結果を提示することができる。これによって、ユーザは、施策定義の検討及び設定変更等を行うことができる。

【実施例0092】

実施例２の施策評価システム１００は第２バイアスが発生した要因を分析する。以下、実施例１との差異を中心に実施例２について説明する。

【0093】

実施例２の計算機システムの構成は実施例１と同一である。実施例２の施策定義管理情報１２０、リソース管理情報１２１、施策対象管理情報１２２、及び施策実施計画管理情報１２３は実施例１と同一である。実施例２のバイアス分析結果管理情報１２４の第１バイアス分析情報７００は実施例１と同一である。

【0094】

実施例２では、第２バイアス分析情報７１０が異なる。図１１は、実施例２の第２バイアス分析情報７１０の一例を示す図である。

【0095】

第２バイアス分析情報７１０のエントリは、バイアス要因スコア７１４を含む。バイアス要因スコア７１４は、第２バイアスの発生に対する、エントリに対応する施策（ターゲット施策）の対象及びリソースの割当条件と、他の施策（対比施策）の対象及びリソースの割当条件との組合せの影響の程度を示すスコアを格納するフィールド群である。本実施例のバイアス要因スコア７１４には、式（１）に示すように、ターゲット施策の割当条件に合致する要素の母集団と対比施策の割当条件に合致する要素の母集団との間の重複度がスコアとして格納される。

【0096】

【数1】

【0097】

図１２は、実施例１の端末１０１が表示する画面の一例を示す図である。

【0098】

端末１０１の表示部１４１は、施策定義を入力するための画面９００を表示する。

【0099】

画面１２００は、Ａ群設定領域１２１０、Ｂ群設定領域１２２０、施策ＩＤ設定欄１２３０、及び登録ボタン１２４０を含む。

【0100】

Ａ群設定領域１２１０は、Ａ群のリソース及び対象の割当条件及びＡ群における行為を設定するための欄を含む。Ｂ群設定領域１２２０は、Ｂ群のリソース及び対象の割当条件及びＢ群における行為を設定するための欄を含む。施策ＩＤ設定欄１２３０は、施策の識別情報を設定する欄である。登録ボタン１２４０は、施策定義を登録するための操作ボタンである。

【0101】

実施例２では、表示部１４１は、施策定義データの登録前に、Ａ群設定領域１２１０及びＢ群設定領域１２２０の内容を問い合わせて、リソース及び対象の占有数を表示する。占有数の分母は割当条件に合致する要素の数であり、分子は比較グループに割り当てる要素の数である。

【0102】

図１３は、実施例２の施策評価システム１００が実行する要因分析処理の一例を説明するフローチャートである。図１４は、実施例２の端末１０１が表示する画面の一例を示す図である。

【0103】

バイアス分析部１１１の要因分析部１３１は、施策実施計画生成処理が終了した後、以下で説明する処理を開始する。なお、処理の実行契機はこれに限定されない。例えば、端末１０１から実行指示を受け付けた場合に要因分析処理が実行されてもよい。

【0104】

要因分析部１３１は、施策のループ処理（１）を開始する（ステップＳ３０１）。具体的には、要因分析部１３１は、施策実施計画管理情報１２３を参照して、一つの施策を選択する。以下の説明では、選択された施策をターゲット施策と記載する。

【0105】

要因分析部１３１は、ターゲット施策の比較グループのループ処理（１）を開始する（ステップＳ３０２）。ここでは、Ａ群及びＢ群の順に比較グループが選択されるものとする。

【0106】

要因分析部１３１は、ターゲット施策について、比較グループの対象の割当条件に合致する対象の集合（対象母集団）を抽出し、比較グループのリソースの割当条件に合致するリソースの集合（リソース母集団）を抽出する（ステップＳ３０３）。

【0107】

要因分析部１３１は、施策のループ処理（２）を開始する（ステップＳ３０４）。具体的には、要因分析部１３１は、施策実施計画管理情報１２３を参照して、一つの施策を選択する。なお、ターゲット施策は選択対象から除外されている。以下の説明では、選択された施策を対比施策と記載する。

【0108】

要因分析部１３１は、対比施策の比較グループのループ処理（２）を開始する（ステップＳ３０５）。ここでは、Ａ群及びＢ群の順に比較グループが選択されるものとする。

【0109】

要因分析部１３１は、対比施策について、比較グループの対象の割当条件に合致する対象の集合（対象母集団）を抽出し、比較グループのリソースの割当条件に基づいてリソースの集合（リソース母集団）を抽出する（ステップＳ３０６）。

【0110】

要因分析部１３１は、スコア（対象）及びスコア（リソース）を算出する（ステップＳ３０７）。具体的には、式（１）を用いてスコア（対象）及びスコア（リソース）が算出される。

【0111】

要因分析部１３１は、第２バイアス分析情報７１０を参照して、施策ＩＤ７１１にターゲット施策の識別情報が格納され、かつ、ＡＢ種別７１２にステップＳ３０２で選択した比較グループの種別が格納されるエントリを検索する。要因分析部１３１は、検索されたエントリのバイアス要因スコア７１４を参照し、対比施策及びステップＳ３０５で選択した比較グループの種別の組合せに一致するフィールドに算出されたスコア（対象）及びスコア（リソース）を設定する。

【0112】

なお、要因分析部１３１は、占有数を算出し、フィールドに設定してもよい。

【0113】

要因分析部１３１は、判定式（１）及び判定式（２）の少なくともいずれかを満たすか否かを判定する（ステップＳ３０８）。
判定式（１）：スコア（対象）が閾値以上
判定式（２）：スコア（リソース）が閾値以上

【0114】

判定式（１）及び判定式（２）の少なくともいずれかを満たす場合、ターゲット施策の割当条件及び対比施策の割当条件の組合せが、ターゲット施策の比較グループにおける第２バイアスの発生要因であると判定される。

【0115】

判定式（１）及び判定式（２）のいずれも満たさない場合、要因分析部１３１はステップＳ３１０に進む。

【0116】

判定式（１）及び判定式（２）の少なくともいずれかを満たす場合、要因分析部１３１はアラートを設定し（ステップＳ３０９）、ステップＳ３１０に進む。

【0117】

ステップＳ３１０では、要因分析部１３１は、対比施策の各比較グループの処理が完了したか否かを判定する（ステップＳ３１０）。

【0118】

対比施策の各比較グループの処理が完了していない場合、要因分析部１３１は、新たな比較グループを選択し、ステップＳ３０６に戻る。

【0119】

対比施策の各比較グループの処理が完了した場合、要因分析部１３１は、ターゲット施策を除く全ての施策について処理が完了したか否かを判定する（ステップＳ３１１）。

【0120】

ターゲット施策を除く全ての施策について処理が完了していない場合、要因分析部１３１は、新たな対比施策を選択し、ステップＳ３０５に戻る。

【0121】

ターゲット施策を除く全ての施策について処理が完了した場合、要因分析部１３１は、ターゲット施策の各比較グループの処理が完了したか否かを判定する（ステップＳ３１２）。

【0122】

ターゲット施策の各比較グループの処理が完了していない場合、要因分析部１３１は、新たな比較グループを選択し、ステップＳ３０３に戻る。

【0123】

ターゲット施策の各比較グループの処理が完了した場合、要因分析部１３１は、全ての施策について処理が完了したか否かを判定する（ステップＳ３１３）。

【0124】

全ての施策について処理が完了していない場合、要因分析部１３１は、新たなターゲット施策を選択し、ステップＳ３０２に戻る。

【0125】

全ての施策について処理が完了した場合、要因分析部１３１は要因分析処理を終了する。バイアス分析部１１１は、アラートが設定されたエントリを端末１０１に表示する。例えば、端末１０１には図１４に示すような画面１４００が表示される。画面１４００は、施策選択欄１４１０、アラート情報１４２０、１４３０を含む。

【0126】

施策選択欄１４１０は、アラートが設定された施策を選択するための欄であり、プルダウン形式でアラートが設定された施策が表示される。

【0127】

アラート情報１４２０は、アラートが設定された対比施策及び比較グループの組合せとスコア（対象）とを示す情報である。アラート情報１４３０は、アラートが設定された対比施策及び比較グループの組合せとスコア（リソース）とを示す情報である。

【0128】

実施例２によれば、施策評価システム１００は、第２バイアスの発生の要因となっている要素の割当条件の組合せをユーザに提示することができる。これによって、ユーザは、より詳細に、施策定義の検討及び設定変更等を行うことができる。