特開 2024-696 情報処理装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000696

(43)【公開日】2024-01-09

(54)【発明の名称】情報処理装置、方法及びプログラム

(51)【国際特許分類】

   G06Q 10/00 20230101AFI20231226BHJP

【ＦＩ】

G06Q10/00

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022099545

(22)【出願日】2022-06-21

(71)【出願人】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】100145838

【弁理士】

【氏名又は名称】畑添 隆人

(74)【代理人】

【識別番号】100103137

【弁理士】

【氏名又は名称】稲葉 滋

(74)【代理人】

【識別番号】100216367

【弁理士】

【氏名又は名称】水谷 梨絵

(72)【発明者】

【氏名】王 旭

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA02

(57)【要約】

【課題】オペレーションがユーザに与える効果のスコアリングの精度を高めることを課題とする。
【解決手段】情報処理装置１に、第一のモデルにユーザの属性を入力することで、所定のオペレーションがユーザに与える効果を示す第一の因果スコアＳを取得する第一の効果推定部２１Ａと、第二のモデルにユーザの属性を入力することで効果を示す第二の因果スコアＥｈを取得する第二の効果推定部２１Ｂと、複数のユーザの夫々について算出された第一の因果スコアＳ及び第二の因果スコアＥｈに基づいて、第一の因果スコアＳの補正のための補正関数Ｆを決定する補正関数決定部２２と、対象ユーザについて算出された第一の因果スコアＳを補正関数Ｆに適用することで、対象ユーザについての効果を示す第三の因果スコアＥを決定する第三の効果推定部２１Ｃと、を備えた。
【選択図】図２

【特許請求の範囲】

【請求項1】

第一のモデルにユーザの属性を入力することで、所定のオペレーションが該ユーザに与える効果を示す第一の因果スコアを取得する第一の効果推定手段と、
第二のモデルに前記ユーザの属性を入力することで前記効果を示す第二の因果スコアを取得する第二の効果推定手段と、
複数のユーザの夫々について算出された前記第一の因果スコア及び前記第二の因果スコアに基づいて、該第一の因果スコアの補正のための補正関数を決定する補正関数決定手段と、
対象ユーザについて算出された前記第一の因果スコアを前記補正関数に適用することで、該対象ユーザについての前記効果を示す第三の因果スコアを決定する第三の効果推定手段と、
を備える情報処理装置。

【請求項2】

前記第二の効果推定手段は、前記第一のモデルに比べてバイアスがより小さく且つバリアンスがより大きい前記第二のモデルに前記ユーザの属性を入力することで前記効果を示す第二の因果スコアを取得する、
請求項１に記載の情報処理装置。

【請求項3】

前記補正関数決定手段は、前記第一の因果スコアを前記補正関数に適用したときに得られる第三の因果スコアと前記第二の因果スコアとの間の差分がより小さくなる前記補正関数を決定する、
請求項１に記載の情報処理装置。

【請求項4】

前記補正関数決定手段は、前記補正関数として、滑らかな関数であり且つ単調関数である関数を決定する、
請求項１に記載の情報処理装置。

【請求項5】

前記第一の効果推定手段は、アンサンブル学習に基づく機械学習フレームワークを用いて生成された機械学習モデルを用いて前記第一の因果スコアを推定する、
請求項１に記載の情報処理装置。

【請求項6】

前記第一の効果推定手段は、勾配ブースティング決定木に基づく機械学習フレームワークを用いて生成された機械学習モデルを用いて、前記第一の因果スコアを推定する、
請求項１に記載の情報処理装置。

【請求項7】

前記効果は、所定のアクションの実行をユーザに促すための該ユーザに対する所定のオペレーションが、該ユーザが前記アクションを実行するか否かに与える効果であり、
前記第一のモデルは、所定の属性を有する複数のユーザのうち前記オペレーションを受けたユーザによる前記アクションの実行率に係る統計量と、前記複数のユーザのうち前記オペレーションを受けなかったユーザによる前記アクションの実行率に係る統計量とに基づくスコアを、前記属性を有するユーザに対する前記オペレーションの効果を示すスコアとして定義した教師データに基づいて、作成される、
請求項１に記載の情報処理装置。

【請求項8】

前記第二の効果推定手段は、複数のユーザを、各ユーザの属性に従ってヒストグラム中の複数のビンの夫々に割り当て、ビン毎に該ビンに割り当てられたユーザ群に対応する因果スコアを算出する方法で生成された前記第二のモデルにおいて、対象ユーザが対応するビンと特定し、特定されたビンについて算出された因果スコアを該対象ユーザの第二の因果スコアとして推定する、
請求項１に記載の情報処理装置。

【請求項9】

前記効果は、所定のアクションの実行をユーザに促すための該ユーザに対する所定のオペレーションが、該ユーザが前記アクションを実行するか否かに与える効果であり、
前記第二のモデルは、前記ビン毎に該ビンに割り当てられたユーザ群に対応する因果スコアを、所定の属性を有する複数のユーザのうち前記オペレーションを受けたユーザによる前記アクションの実行率に係る統計量と、前記複数のユーザのうち前記オペレーションを受けなかったユーザによる前記アクションの実行率に係る統計量とに基づいて算出する方法で生成される、
請求項８に記載の情報処理装置。

【請求項10】

推定された前記効果に基づいて、前記ユーザに対する前記オペレーションに関する条件を出力する条件出力手段を更に備える、
請求項１に記載の情報処理装置。

【請求項11】

前記条件出力手段は、推定された前記効果がより高いユーザに対する前記オペレーションについて、より高い優先度が与えられるような条件を出力する、
請求項１０に記載の情報処理装置。

【請求項12】

コンピュータが、
第一のモデルにユーザの属性を入力することで、所定のオペレーションが該ユーザに与える効果を示す第一の因果スコアを取得する第一の効果推定ステップと、
第二のモデルに前記ユーザの属性を入力することで前記効果を示す第二の因果スコアを取得する第二の効果推定ステップと、
複数のユーザの夫々について算出された前記第一の因果スコア及び前記第二の因果スコアに基づいて、該第一の因果スコアの補正のための補正関数を決定する補正関数決定ステップと、
対象ユーザについて算出された前記第一の因果スコアを前記補正関数に適用することで、該対象ユーザについての前記効果を示す第三の因果スコアを決定する第三の効果推定ステップと、
を実行する方法。

【請求項13】

コンピュータを、
第一のモデルにユーザの属性を入力することで、所定のオペレーションが該ユーザに与える効果を示す第一の因果スコアを取得する第一の効果推定手段と、
第二のモデルに前記ユーザの属性を入力することで前記効果を示す第二の因果スコアを取得する第二の効果推定手段と、
複数のユーザの夫々について算出された前記第一の因果スコア及び前記第二の因果スコアに基づいて、該第一の因果スコアの補正のための補正関数を決定する補正関数決定手段と、
対象ユーザについて算出された前記第一の因果スコアを前記補正関数に適用することで、該対象ユーザについての前記効果を示す第三の因果スコアを決定する第三の効果推定手段と、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オペレーションがユーザに与える効果をスコアリングするための技術に関する。

【背景技術】

【0002】

従来、クレジットカードの支払いの督促、即ち債権の回収を目的として、コールセンターのオペレータによる、顧客に対する架電等のオペレーションが行われている（特許文献１を参照）。また、督促業務を行う時間帯に応じて、オペレータが応対に用いる例文の口調を変更する督促支援技術が知られている（特許文献２を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－２８２９９４号公報

【特許文献2】特開２０１０－２２４６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

所定のオペレーションがユーザに与える効果をスコアリングするために、機械学習モデルを用いることが考えられる。しかし、機械学習モデルが、過去のユーザの行動傾向及び／又は結果に強く依存して学習処理された場合、未来のスコアを当該モデルが正確に予測できない可能性がある。

【0005】

本開示は、上記した問題に鑑み、オペレーションがユーザに与える効果のスコアリングの精度を高めることを課題とする。

【課題を解決するための手段】

【0006】

本開示の一例は、第一のモデルにユーザの属性を入力することで、所定のオペレーションが該ユーザに与える効果を示す第一の因果スコアを取得する第一の効果推定手段と、前記第一のモデルに比べてバイアスがより小さく且つバリアンスがより大きい第二のモデルに前記ユーザの属性を入力することで前記効果を示す第二の因果スコアを取得する第二の効果推定手段と、複数のユーザの夫々について算出された前記第一の因果スコア及び前記第二の因果スコアに基づいて、該第一の因果スコアの補正のための補正関数を決定する補正関数決定手段と、対象ユーザについて算出された前記第一の因果スコアを前記補正関数に適用することで、該対象ユーザについての前記効果を示す第三の因果スコアを決定する第三の効果推定手段と、を備える情報処理装置である。

【0007】

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

【発明の効果】

【0008】

本開示によれば、オペレーションがユーザに与える効果のスコアリングの精度を高めることが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る情報処理システムの構成を示す概略図である。

【図2】実施形態に係る情報処理装置の機能構成の概略を示す図である。

【図3】実施形態において、比較的高バイアス且つ低バリアンスなモデルから出力された因果スコアを、比較的低バイアス且つ高バリアンスなモデルによる出力を参照して補正する構成の概要を示す図である。

【図4】実施形態において、第一の因果スコア及び第二の因果スコアを用いて補正関数を決定する処理の概要を示す図である。

【図5】実施形態において採用される機械学習モデルの決定木の概念を簡略化して示す図である。

【図6】実施形態において推定される効果及びリスクとオペレーション条件との関係を示す図である。

【図7】実施形態に係る機械学習処理の流れを示すフローチャートである。

【図8】実施形態に係る補正関数決定処理の流れを示すフローチャートである。

【図9】実施形態に係る第三の因果スコア推定処理の流れを示すフローチャートである。

【図10】実施形態に係るオペレーション条件出力処理の流れを示すフローチャートである。

【図11】実施形態に係るオペレーション条件出力処理のバリエーション（１）の流れを示すフローチャートである。

【図12】実施形態に係るオペレーション条件出力処理のバリエーション（２）の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示に係る情報処理装置、方法及びプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係る情報処理装置、方法及びプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

【0011】

本実施形態では、本開示に係る技術を、支払いが遅延しているクレジットカード利用額の支払いを督促して債権を回収するためのオペレーションセンター管理システムのために実施した場合の実施の形態について説明する。但し、本開示に係る技術を適用可能なシステムは、クレジットカード利用額の支払督促のためのオペレーションセンター管理システムに限定されない。本開示に係る技術は、オペレーションがユーザに与える効果をスコアリングするための技術について広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。また、本開示に係る技術を適用可能なオペレーションの種類、及びユーザに与える効果の種類についても、実施形態において示した例に限定されない。

【0012】

通常、クレジットカード利用額の支払いは、毎月の引き落とし日にユーザの口座から引き落とされる、又は指定日までにユーザから入金される、等の方法で行われるが、ユーザの口座の残高が不足していたり、ユーザが指定日までの入金を行わなかったり等の理由でクレジットカード利用額の支払いが規定日までに完了しない場合がある。このため、従来、クレジットカード利用額の支払いをユーザに督促して債権を回収するために、オペレーションセンター（コールセンター）からの顧客に対する架電やメッセージ送信等のオペレーションが行われている。

【0013】

一般的には、デフォルト（債務不履行）を回避するために、ユーザに対するオペレーションは有効であり、オペレーションの量を増やすほど債権の回収率は上がる。しかし一方で、オペレーションの量を増やすほど、オペレーションのための人件費やシステム利用料、システム維持費用等のコストが増大する。そこで、本開示に係るシステムでは、上記した問題に鑑み、債権の回収率を下げることなく、オペレーションに係るコストを抑制するための技術を採用している。なお、本実施形態では、主として所定のオペレーションがユーザへの架電である例について説明するが、所定のオペレーションの内容は限定されず、ユーザに所定のアクションを促すための種々のオペレーションであってよい。

【0014】

＜システムの構成＞
図１は、本実施形態に係る情報処理システムの構成を示す概略図である。本実施形態に係るシステムでは、情報処理装置１と、オペレーションセンター管理システム３と、クレジットカード管理システム５と、が互いに通信可能に接続されている。オペレーションセンターには、オペレーションセンター管理システム３による指示に従ってオペレーションを行うためのオペレーション端末（図示は省略する）が設置され、オペレータは、オペレーション端末を操作して、ユーザに対するオペレーションを行う。ユーザは、クレジットカードの利用者であり、金融機関等を介してクレジットカード利用額の入金を行い、クレジットカード利用額の支払履歴データは、クレジットカード管理システム５を介してオペレーションセンター管理システム３に通知される。

【0015】

情報処理装置１は、オペレーションセンター管理システム３によるオペレーションを制御するためのデータを出力するための情報処理装置である。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0016】

オペレーションセンター管理システム３、クレジットカード管理システム５及びオペレーション端末は、いずれも、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。また、これらのシステム及び端末は、いずれも、単一の筐体からなる装置に限定されない。これらのシステム及び端末は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

【0017】

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、効果推定部２１、補正関数決定部２２、リスク推定部２３、機械学習部２４、及び条件出力部２５を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

【0018】

効果推定部２１は、所定のアクションの実行をユーザに促すための当該ユーザに対する所定のオペレーションが、当該ユーザがアクションを実行するか否かに与える効果を推定する。本実施形態において、所定のアクションは、支払いが遅延しているクレジットカード利用額の支払いである。なお、具体的な支払手段は限定されず、指定口座への振込や指定窓口での支払等であってよい。また、本実施形態において、所定のオペレーションは、支払いが遅延しているクレジットカード利用額の支払いのための督促の架電である。なお、ユーザに対する架電は、録音又は機械音声を用いた自動架電であってもよいし、オペレータ（人間）がユーザと会話する架電であってもよい。そして、本実施形態において、効果推定部２１は、対象ユーザに係る１又は複数のユーザ属性の入力に対して、当該ユーザに対するオペレーションの効果を示す因果スコア（ｃａｕｓａｌｉｔｙ ｓｃｏｒｅ）を出力する機械学習モデルを用いて、オペレーションの効果を推定する。

【0019】

ここで、因果スコアを出力する機械学習モデルの生成には、例えば、アンサンブル学習に基づく機械学習フレームワーク、及び勾配ブースティング決定木に基づく機械学習フレームワークを用いることができる。しかし、機械学習フレームワーク、教師データ又はその他の条件にも依存するが、機械学習モデルにおいてバイアスとバリアンスは一般的にトレードオフの関係にあり、因果スコアの算出においては機械学習モデルの出力が高バイアス且つ低バリアンスとなる傾向があった。

【0020】

そこで、本実施形態に係るシステムでは、比較的高バイアス且つ低バリアンスなモデルから出力された因果スコアを、実際の回収率又はデフォルト率に応じて因果スコアを決定する比較的低バイアス且つ高バリアンスなモデルによる出力を参照して補正する構成を採用することで、因果スコアについてのより正確なスコアリングを可能としている。

【0021】

図３は、本実施形態において、比較的高バイアス且つ低バリアンスなモデルから出力された因果スコアを、比較的低バイアス且つ高バリアンスなモデルによる出力を参照して補正する構成の概要を示す図である。図３を参照すれば、本実施形態において、
（１）比較的高バイアス且つ低バリアンスなモデルから出力された第一の因果スコアＳが、より精度の高い（比較的低バイアス且つ低バリアンスな）第三の因果スコアＥに補正されること、及び、
（２）当該補正には、ユーザ毎に付された実際の回収有無を示すラベルＹに基づいて生成された比較的低バイアス且つ高バリアンスなモデル（ベース推定器）から出力された第二の因果スコアＥｈと、比較的高バイアス且つ低バリアンスな第一の因果スコアＳとの間の差分（例えば、Ｌ２損失）をより小さくする（可能であれば最小化する）補正関数が用いられること、がわかる。なお、本実施形態では、予測値と正解値との誤差の評価にＬ２損失を用いる例を用いて説明しているが、誤差の評価方法は限定されず、その他の評価方法が採用されてよい。

【0022】

上記した処理を実行し、効果推定部２１による最終的な出力として第三の因果スコアＥを得るために、本実施形態において、効果推定部２１は、比較的高バイアス且つ低バリアンスな第一の因果スコアＳを得る第一の効果推定部２１Ａと、比較的低バイアス且つ高バリアンスな第二の因果スコアＥｈを得る第二の効果推定部２１Ｂと、第一の因果スコアを補正して比較的低バイアスな第三の因果スコアＥを得る第三の効果推定部２１Ｃとを有する（図２を参照）。

【0023】

第一の効果推定部２１Ａは、第一のモデルにユーザの属性を入力することで、所定のオペレーションが当該ユーザに与える効果を示す第一の因果スコアＳを取得する。上述の通り、本実施形態に係る第一のモデルは比較的バイアス（偏り）が大きいため、第一のモデルから出力された第一の因果スコアＳは、後述する第三の効果推定部２１Ｃによって補正される。

【0024】

第二の効果推定部２１Ｂは、第一のモデルに比べてバイアス（偏り）がより小さく且つバリアンス（分散）がより大きい第二のモデルにユーザの属性を入力することで効果を示す第二の因果スコアＥｈを取得する。ここで第二のモデルとして採用可能なモデルは、第一のモデルに比べてバイアスがより小さく且つバリアンスがより大きいモデルであればよく、第二のモデルとして採用可能なモデルの構成は限定されない。

【0025】

本実施形態では、第二のモデル（ベース推定器）として、ヒストグラムを用いて因果スコアを推定するモデル（ヒストグラムウィンドウ推定器）が採用される例を説明する。本実施形態において第二のモデルは、複数のユーザを、各ユーザの属性に従ってヒストグラム中の複数のビン（ここでは、ｎ個のビンとする。）の夫々に割り当て、ビン毎に当該ビンに割り当てられたユーザ群に対応する因果スコアを算出する方法で生成される。そして、第二の効果推定部２１Ｂは、因果スコアを推定したい対象ユーザの属性に基づいて第二のモデル（ヒストグラム）中の対象ユーザが対応するビンを特定し、特定されたビンについて算出された因果スコアを、当該対象ユーザの第二の因果スコアＥｈとして推定する。このため、第二のモデルは、後述する補正関数と異なり滑らかな関数（ｓｍｏｏｔｈ ｆｕｎｃｔｉｏｎ）ではなく、また単調関数（ｍｏｎｏｔｏｎｉｃ ｆｕｎｃｔｉｏｎ）でもないが、当該第二のモデルによれば、低バイアスの第二の因果スコアＥｈを得ることが出来る。

【0026】

ここで、各ビンに割り当てられたユーザ群に対応する因果スコアは、当該ビンに対応する属性を有する複数のユーザのうちオペレーションを受けたユーザによるアクションの実行率に係る統計量と、これらの複数のユーザのうちオペレーションを受けなかったユーザによるアクションの実行率に係る統計量とに基づいて因果スコアを、ユーザ毎に付された実際の回収有無を示すラベルＹに基づいて算出する方法で生成される。本実施形態では、オペレーションを受けたユーザによるアクションの実行率に係る統計量としてデフォルト率Ｐ１を、オペレーションを受けなかったユーザによるアクションの実行率に係る統計量としてデフォルト率Ｐ０を用い、この差分を第二の因果スコアＥｈ（Ｅｈ＝Ｐ０－Ｐ１）とする。

【0027】

第三の効果推定部２１Ｃは、対象ユーザについて算出された第一の因果スコアＳを補正関数Ｆ（ｘ）に適用することで、当該対象ユーザについての効果を示す第三の因果スコアＥ（Ｅ＝Ｆ（Ｓ））を決定する。なお、本開示では第三の効果推定部２１Ｃによって用いられる関数の処理内容を補正（ｃａｌｉｂｒａｔｉｏｎ）との表現を用いて説明しているが、当該関数の処理内容は、正則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）、又は修正（ｍｏｄｉｆｉｃａｔｉｏｎ）等を含んでいてもよい。

【0028】

補正関数決定部２２は、複数のユーザの夫々について算出された第一の因果スコアＳ及び第二の因果スコアＥｈに基づいて、当該第一の因果スコアＳの補正のための補正関数を決定する。

【0029】

図４は、本実施形態において、第一の因果スコア及び第二の因果スコアを用いて補正関数を決定する処理の概要を示す図である。補正関数決定部２２は、第一の因果スコアＳを補正関数に適用したときに得られる第三の因果スコアＥと第二の因果スコアＥｈとの間の差分（例えば、Ｌ２損失）がより小さくなる（可能であれば最小化される）ように（L2 loss = min_{F}(E - Eh)^2）、換言すれば、第三の因果スコアＥが補正によって第二の因果スコアＥｈにより近づくように、補正関数及び当該補正関数のパラメータを決定する。

【0030】

「F(x) = a*x + b」の一次関数を例に挙げて説明すると、補正関数決定部２２は、第一の因果スコアＳを補正関数に適用したときに得られる第三の因果スコアＥと第二の因果スコアＥｈとの間の差分（例えば、Ｌ２損失）がより小さくなる（可能であれば最小化される）ように、パラメータａ及びｂを決定する（L2 loss = min_{a, b}(aS + b - Eh)^2）。なお、ここでは補正関数の例として「F(x) = a*x + b」の一次関数を挙げたが、補正関数の種類及びパラメータの数は限定されない。例えば、補正関数決定部２２は、予め複数種類の関数のフォーマットを保持しておき、第三の因果スコアＥと第二の因果スコアＥｈとの間の差分に基づいて近似する関数フォーマットを特定してから、当該関数フォーマット内のパラメータ（係数）を、損失が小さくなるように探索することとしてもよい。また、例えば、補正関数決定部２２は、第一の因果スコアＳに基づいて生成された第一の因果スコアＳの近似関数と、第二の因果スコアＥｈに基づいて生成された第二の因果スコアＥｈの近似関数とを参照して、第一の因果スコアＳの近似関数を第二の因果スコアＥｈの近似関数に変換可能な関数を求め、当該関数を補正関数として決定してもよい。

【0031】

本実施形態において、補正関数には、滑らかな関数（ｓｍｏｏｔｈ ｆｕｎｃｔｉｏｎ）であり且つ単調関数（ｍｏｎｏｔｏｎｉｃ ｆｕｎｃｔｉｏｎ）である関数が用いられてよい。補正関数が滑らかな関数であり且つ単調関数であることで、補正関数の適用前後で、第一の因果スコアＳに基づいて決定されたユーザのランク（因果ランクに基づく順位）を維持することが出来、補正の前後でユーザの順位が入れ替わってしまうことを防止することが出来る。滑らかな関数とは、例として、微分可能な関数を指してよく、連続的微分可能な関数を指してよく、ｋ階連続的微分可能な関数を指してよく（ｋ＝１，２，・・・）、導関数が連続関数となるような関数を指してよく、区分的微分可能な関数を指してよく、所定のｎに対して連続的微分可能な関数を指してよい。単調関数とは、例として、変数の増加又は減少にともない関数値が常に増加又は減少する単調増加関数又は単調減少関数を指してよく、変数の所定の範囲内の増加又は減少にともない関数値が増加又は減少する関数を指してよい。

【0032】

リスク推定部２３は、ユーザが上記説明した所定のアクションを実行しない蓋然性に基づくリスクを推定する。リスクの表現方法は限定されず、様々な指標が採用されてよいが、例えば、リスクは、債権が回収されずにデフォルトとなる確率を用いて表現することが出来る。そして、本実施形態において、リスク推定部２３は、対象ユーザに係る１又は複数のユーザ属性の入力に対して、当該ユーザについて債権が回収されずにデフォルトとなる確率を示すリスク指標を出力する機械学習モデルを用いて、ユーザがアクションを実行しない蓋然性に基づくリスクを推定する。但し、リスクは、機械学習モデルを用いずに、例えば所定のルールに従って推定されてもよい。例えば、リスクは、ユーザ属性又はユーザ属性の組合せ毎に予め対応する値を保持しておき、この値を読み出すことで取得されてもよい。また、リスクを示す指標には、デフォルトとなる確率以外の指標が採用されてよい。例えば、リスクをクラス（ランク）分けし、いずれのクラス（ランク）であるかを指標として用いてもよい。

【0033】

機械学習部２４は、効果推定部２１による効果推定に用いられる機械学習モデル、及びリスク推定部２３によるリスク推定に用いられる機械学習モデルを生成及び／又は更新する。効果推定のための機械学習モデルは、対象ユーザに係る１又は複数のユーザ属性のデータが入力された場合に、当該ユーザに対するオペレーションの効果の多寡を示す因果スコアを出力する機械学習モデルである。また、リスク推定のための機械学習モデルは、対象ユーザに係る１又は複数のユーザ属性のデータが入力された場合に、当該ユーザがアクションを実行しない蓋然性に基づくリスクの程度を示すリスク指標を出力する機械学習モデルである。これらの機械学習モデルに入力されるユーザ属性には、例えば、デモグラフィック属性、ビヘイビオラル属性、又はサイコグラフィック属性が含まれてよい。ここで、デモグラフィック属性は、例えば、ユーザの性別（ジェンダー）、家族構成、年齢等であり、ビヘイビオラル属性は、例えば、キャッシング利用有無、リボ払い利用有無、所定の口座に係る入出金履歴、賭博又はくじを含む何らかの商品に係る商取引履歴（オンラインマーケットプレイス等におけるオンライン取引履歴を含んでよい）等であり、サイコグラフィック属性は、例えば、賭博又はくじに係る趣向等である。但し、利用可能なユーザの属性は、本実施形態における例示に限定されない。例えば、「オペレーション（架電等）に要する時間」、「クレジットカード利用額」も、属性として用いられてよい。

【0034】

効果推定のための機械学習モデル（本実施形態では、第一のモデル）生成及び／又は更新にあたって、機械学習部２４は、ユーザの属性毎に、所定の属性を有する複数のユーザのうちオペレーションを受けたユーザによるアクションの実行率（債権の回収率）に係る統計量と、複数のユーザのうちオペレーションを受けなかったユーザによるアクションの実行率に係る統計量とに基づくスコアを、当該属性を有するユーザに対するオペレーションの効果を示す因果スコアとして定義した教師データ（機械学習用データ）に基づいて、機械学習モデルを作成する。本実施形態では、例として、オペレーションの内容がユーザへの架電であった場合、「（ユーザが架電された場合における債権の回収率）－（ユーザが架電されなかった場合における債権の回収率）」の式により各統計量の差分に基づく因果スコアが算出され、算出された因果スコアが対応するユーザの属性データと組み合わせられて、教師データとして機械学習部２４に入力される。なお、本実施形態では、統計量として平均値を用いる例を説明する。但し、統計量としては例えば最頻値や中央値等の統計的指標が用いられてもよい。ここで、アクションの実行率に係る統計量は、各ユーザの所定期間（例えば、所定の月）内の過去の債権回収率に基づいてよい。また、本実施形態では、各統計量の差分に基づく因果スコアを算出することとしているが、当該差分に統計的な有意差が認められない場合には、因果スコアをゼロ又は略ゼロとしてよい。ここで、当該有意差の存否の判定には既存の統計的手法が採用されてよい。例えば、各月のユーザの平均回収率等の集合について標準誤差や信頼区間を考慮し、架電の有無による回収率の変化について統計的有意性を考慮することが出来る。このようにすることで、同一グループ内のユーザによる平均回収率のばらつきを考慮して因果スコアを算出することが可能となる。

【0035】

教師データの作成にあたって、一度架電されたユーザは、以後架電されなかったユーザにはなり得ないため、１のユーザについては、当該ユーザが架電された場合の回収率と架電されなかった場合の回収率とのいずれか一方のみを取得可能である。このため、架電の効果の教師データは、共通の属性を有するユーザ群毎に作成される。即ち、ある共通の属性を有するユーザからなるユーザ群に対する架電の効果を示す因果スコアは、例えば、当該共通の属性を有する複数のユーザを架電される第１サブユーザ群と架電されない第２サブユーザ群とに分け、架電された第１サブユーザ群からの債権の回収率の平均値と架電されなかった第２サブユーザ群からの債権の回収率の平均値とを夫々算出し、これらの回収率の平均値の差分を上述した式に基づいて算出することによって取得される。例えば、架電された第１サブユーザ群からの債権の回収率の平均値が８０％であり、架電されなかった第２サブユーザ群からの債権の回収率の平均値が７０％である場合、当該ユーザ群に対する架電の効果を示す因果スコアは、「１０」である。

【0036】

本開示に係る技術を実装するにあたり採用可能な機械学習モデル生成のフレームワークは、例として、アンサンブル学習アルゴリズムに基づく。当該フレームワークには、例えば、勾配ブースティング決定木（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ：ＧＢＤＴ）に基づく機械学習フレームワーク（例えば、ＬｉｇｈｔＧＢＭ）が採用されてよい。換言すると、当該フレームワークは、前後の弱学習器（弱分類器）間で正解と予測値との誤差を引き継がせるような決定木モデルに基づく機械学習フレームワークが採用されてよい。ここでの予測値とは、例として、因果スコアやリスク指標の予測値を指す。なお、当該フレームワークは、ＬｉｇｈｔＧＢＭの他、ＸＧＢｏｏｓｔやＣａｔＢｏｏｓｔ等のブースティング手法を採用してよい。決定木を用いるフレームワークによれば、ニューラルネットワークを用いるフレームワークと比較して少ないパラメータ調整の手間で、比較的高い性能を有する機械学習モデルを生成することが出来る。但し、本開示に係る技術を実装するにあたり採用可能な機械学習モデル生成のフレームワークは、本実施形態における例示に限定されない。例えば、学習器として勾配ブースティング決定木に代えてランダムフォレスト等の他の学習器が採用されてよいし、ニューラルネットワーク等の所謂弱学習器とは称されない学習器が採用されてもよい。また、特にニューラルネットワーク等の所謂弱学習器とは称されない学習器が採用される場合には、アンサンブル学習が採用されなくてもよい。

【0037】

図５は、本実施形態において採用される機械学習モデルの決定木の概念を簡略化して示す図である。決定木アルゴリズムに基づいた勾配ブースティングの機械学習フレームワークを採用する場合、決定木の各ノードの分岐条件の最適化が行われる。具体的には、決定木アルゴリズムに基づいた勾配ブースティングの機械学習フレームワークでは、一つの親のノードから分岐した二つの子のノードの夫々が示す属性を有するユーザ群について、オペレーションの効果を示す因果スコアを夫々算出し、この因果スコアの差分が大きくなるように（例えば、差分が最大になるように、又は所定の閾値以上になるように）、即ち、二つの子のノードがきれいに分岐するように、親のノードの分岐条件が最適化される。例えば、ノードの分岐条件として示される属性が年齢である場合、分岐の閾値に設定される年齢を変更したり、分岐条件を年齢以外の属性に変更したりしてもよい。このようにして、決定木の全ノードの分岐条件を再帰的に最適化することで、オペレーションの効果の推定精度を向上させることができる。

【0038】

リスク推定のための機械学習モデル生成及び／又は更新にあたって、機械学習部２４は、ユーザの属性毎に、所定の属性を有する複数のユーザのデフォルト発生率に係る統計量（本実施形態では、平均値。但し、例えば最頻値や中央値等の統計的指標が用いられてもよい。）を、当該属性を有するユーザのリスクの程度を示すリスク指標として定義した教師データに基づいて、機械学習モデルを作成する。算出されたリスク指標は、対応するユーザの属性データと組み合わせて、教師データとして機械学習部２４に入力される。また、リスク推定のための機械学習モデル生成又は更新においても、採用可能な機械学習モデル生成のフレームワークは限定されないが、決定木アルゴリズムに基づいた勾配ブースティングの機械学習フレームワークが採用されてよいことは、上記説明した効果推定のための機械学習モデル生成及び／又は更新と同様である。

【0039】

条件出力部２５は、推定された効果及びリスク（本実施形態では、因果スコア及びリスク指標）に基づいて、オペレーションセンターにおいてユーザに対して実行されるオペレーションに関する条件（以下、「オペレーション条件」と称する）を決定し、出力する。本実施形態において、オペレーション条件は、オペレーションの実行要否、オペレーションの実行回数、オペレーションの実行順序、オペレーションにおけるユーザへのコンタクト手段、及びオペレーションにおいてユーザにコンタクトする際の内容の少なくいともいずれかである。ここで、コンタクト手段の例としては、架電やメッセージ送信等が挙げられ、コンタクトする際の内容としては、架電においてユーザに伝える内容やメッセージの記載内容が挙げられる。

【0040】

図６は、本実施形態において推定される効果及びリスクとオペレーション条件との関係を示す図である。基本的に、条件出力部２５は、推定された効果がより高いユーザに対するオペレーション、及び推定されたリスクがより高いユーザに対するオペレーションの少なくとも一部について、より高い優先度が与えられるようなオペレーション条件を出力する。また、条件出力部２５は、推定された効果がより低いユーザに対するオペレーション、及び推定されたリスクがより低いユーザに対するオペレーションの少なくとも一部について、より低い優先度が与えられるようなオペレーション条件を出力する。

【0041】

ここで、優先度とは、ユーザ又は当該ユーザへのオペレーションに対して設定される、オペレーションが優先的に行われる度合いを示す尺度である。優先度が高いユーザほどオペレーションを受ける可能性又は頻度が高くなり、優先度が低いユーザほどオペレーションを受ける可能性又は頻度が低くなる。具体的には、条件出力部２５は、より高い優先度が与えられるような条件として、当該オペレーションを実行要に設定する、当該オペレーションの実行回数を多くする、当該オペレーションの実行順序を早くする、又は当該オペレーションにおけるユーザへのコンタクト手段又はコンタクト内容をよりコスト又は効果が高いものとするようなオペレーション条件を出力する。また、条件出力部２５は、より低い優先度が与えられるような条件として、当該オペレーションを実行不要に設定する、当該オペレーションの実行回数を少なくする、当該オペレーションの実行順序を遅くする、又は当該オペレーションにおけるユーザへのコンタクト手段又はコンタクト内容をよりコスト又は効果が低いものとするようなオペレーション条件を出力する。

【0042】

本実施形態において、条件出力部２５は、推定された因果スコア及びリスク指標と、因果スコア及びリスク指標の夫々について予め設定された閾値とを比較し、比較の結果に応じて、オペレーション条件を決定し、出力する。具体的には、図６に示す例では、因果スコアについて、閾値Ｃ１と閾値Ｃ１よりも大きい閾値Ｃ２とが設定され、リスク指標について、閾値Ｒ１（第一の閾値）と閾値Ｒ１よりも大きい閾値Ｒ２（第二の閾値）とが設定されている。また、リスク指標については、更に、因果スコアに応じたオペレーション条件設定の対象とするかしないかを切り分けるための閾値Ｒ３と、因果スコアにかかわらず優先度の高いオペレーション条件が設定される対象とするユーザを判定するための閾値Ｒ４が設定されている。なお、本実施形態では、閾値Ｒ１と閾値Ｒ３に同じ値が採用され、また閾値Ｒ２と閾値Ｒ４に同じ値が採用される例について説明するが（図６を参照）、これらの閾値には夫々異なる値が採用されてもよい。

【0043】

ここで、優先度の高いオペレーション条件が出力されるケースについて説明する。
ケース（１）：条件出力部２５は、因果スコアが閾値Ｃ２以上であるユーザの少なくとも一部について、オペレーションの効果が高いため、優先度の高いオペレーション条件を決定し、出力する。
ケース（２）：また、条件出力部２５は、リスク指標が閾値Ｒ２以上であるユーザの少なくとも一部について、リスクが高いため、優先度の高いオペレーション条件を決定し、出力する。
ケース（３）：特に、条件出力部２５は、因果スコアが閾値Ｃ２以上であり且つリスク指標が閾値Ｒ２以上であるユーザ（図６における破線で示された領域ＵＲを参照）については、最も優先度の高いオペレーション条件を決定し、出力してよい。
ケース（４）：但し、条件出力部２５は、推定されたリスク指標が閾値Ｒ３より低いユーザについては、そもそもデフォルトとなる可能性が低いため、高い優先度が与えられるようなオペレーション条件を出力しなくてもよい。コストの抑制効果を高めたい場合には、リスク指標が閾値Ｒ３より低いユーザについては、因果スコアにかかわらず、優先度の低いオペレーション条件又は優先度が中程度のオペレーション条件を決定し、出力することが好ましい（図６における破線で示された領域ＵＬは、因果スコアがＣ２以上であるが、リスク指標がＲ３未満であるため、優先度の高いオペレーション条件とはならない）。このため、効果推定部２１は、リスク指標が閾値Ｒ３（第三の閾値）以上であると推定されたユーザについて、オペレーションの効果を推定し、リスク指標が閾値Ｒ３（第三の閾値）未満であると推定されたユーザについて、オペレーションの効果を推定しない（推定処理をオミットする）こととしてよい。

【0044】

また、優先度の低いオペレーション条件が出力されるケースについて説明する。
ケース（５）：条件出力部２５は、因果スコアが閾値Ｃ１未満であるユーザの少なくとも一部について、オペレーションの効果が低いため、優先度の低いオペレーション条件を決定し、出力する。
ケース（６）：また、条件出力部２５は、リスク指標が閾値Ｒ１未満であるユーザの少なくとも一部について、リスクが低いため、優先度の低いオペレーション条件を決定し、出力する。
ケース（７）：特に、条件出力部２５は、因果スコアが閾値Ｃ１未満であり且つリスク指標が閾値Ｒ１未満であるユーザ（図６における破線で示された領域ＬＬを参照）については、最も優先度の低いオペレーション条件を決定し、出力してよい。
ケース（８）：但し、条件出力部２５は、推定されたリスク指標が閾値Ｒ４以上であるユーザについては、そもそもデフォルトとなる可能性が高いため、低い優先度が与えられるようなオペレーション条件を出力しなくてもよい。むしろ、リスク指標が閾値Ｒ４以上であるユーザについては、因果スコアにかかわらず、優先度の高いオペレーション条件を決定し、出力することが好ましい（図６における破線で示された領域ＬＲは、因果スコアがＣ１未満であるが、リスク指標がＲ４以上であるため、優先度の低いオペレーション条件とはならない）。

【0045】

以上より、図６に示された例では、高リスクユーザ、及び中リスク且つ高効果ユーザについてのオペレーション優先度を上げ、低リスクユーザ、及び中リスク且つ低効果ユーザについてのオペレーション優先度を下げることとなる。なお、上記説明した例では閾値に基づいて領域を区切り、１の領域に属するユーザに対して共通のオペレーション条件が決定される例について説明したが、１の領域においてユーザ毎又はユーザ毎に異なるオペレーション条件が設定されてもよい。例えば、同一の領域内であっても、因果スコア及び／又はリスク指標の高低に応じてグラデーションを持たせるようにオペレーション条件を異ならせることとしてもよい。

【0046】

なお、オペレーションセンター管理システム３によるオペレーションの量（オペレーションの総数やオペレーションの対象となるユーザ数）は、上記説明した閾値を調整することで変更することが可能である。例えば、閾値Ｃ１、閾値Ｃ２、閾値Ｒ１及び閾値Ｒ２の少なくとも１つ以上を下げることでオペレーションの量を増やすことが可能であり、また、閾値Ｃ１、閾値Ｃ２、閾値Ｒ１及び閾値Ｒ２の少なくとも１つ以上を上げることでオペレーションの量を減らすことが可能である。

【0047】

＜処理の流れ＞
次に、本実施形態に係る情報処理システムによって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

【0048】

図７は、本実施形態に係る機械学習処理の流れを示すフローチャートである。本フローチャートに示された処理は、オペレーションセンター管理システム３の管理者によって指定されたタイミングで実行される。

【0049】

ステップＳ１０１及びステップＳ１０２では、効果推定に用いられる機械学習モデルが生成及び／又は更新される。機械学習部２４は、オペレーションセンター管理システム３又はクレジットカード管理システム５において過去に蓄積された、ユーザの属性データ、オペレーション履歴データ、及びクレジットカード利用額の支払履歴データに基づいて、複数のユーザ属性の夫々について因果スコアを算出し、ユーザ属性と因果スコアとの組み合わせを含む教師データを作成する（ステップＳ１０１）。ここで、オペレーション履歴データは、ユーザ毎に、当該ユーザに対してオペレーションが行われたか否かを把握することが可能なデータを含み、支払履歴データは、ユーザ毎に、当該ユーザのクレジットカード利用額の支払有無（デフォルトの有無）を把握することが可能なデータを含む。そして、機械学習部２４は、作成された教師データを機械学習モデルに入力し、第一の効果推定部２１Ａによる効果推定に用いられる機械学習モデル（第一のモデル）を生成又は更新する（ステップＳ１０２）。その後、処理はステップＳ１０３へ進む。

【0050】

ステップＳ１０３及びステップＳ１０４では、リスク推定に用いられる機械学習モデルが生成及び／又は更新される。機械学習部２４は、オペレーションセンター管理システム３又はクレジットカード管理システム５において過去に蓄積された、ユーザの属性データ、オペレーション履歴データ、及びクレジットカード利用額の支払履歴データに基づいて、複数のユーザの属性の夫々についてリスク指標を算出し、ユーザ属性とリスク指標との組み合わせを含む教師データを作成する（ステップＳ１０３）。そして、機械学習部２４は、作成された教師データを機械学習モデルに入力し、リスク推定部２３によるリスク推定に用いられる機械学習モデルを生成又は更新する（ステップＳ１０４）。その後、本フローチャートに示された処理は終了する。

【0051】

図８は、本実施形態に係る補正関数決定処理の流れを示すフローチャートである。本フローチャートに示された処理は、オペレーションセンター管理システム３の管理者によって指定されたタイミングで実行される。

【0052】

ステップＳ９０１では、第一の因果スコアＳが取得される。第一の効果推定部２１Ａは、複数のユーザの夫々について、図７を用いて説明した機械学習処理において生成及び／又は更新された第一のモデルに対してユーザ属性のデータを入力し、当該第一のモデルからの出力として、当該複数のユーザの夫々に対応する第一の因果スコアＳを取得する。ここで、第一のモデルは、一定期間以上過去（例えば先月まで）の学習データで学習されたモデルであり、当該モデルからの出力である第一の因果スコアＳは、一定期間以上過去の学習データで学習されたモデルの出力である。その後、処理はステップＳ９０２へ進む。

【0053】

ステップＳ９０２及びステップＳ９０３では、第二の因果スコアＥｈが取得される。情報処理装置１は、複数のユーザを、各ユーザの属性に従ってヒストグラム中の複数のビンの夫々に割り当て、ビン毎に当該ビンに割り当てられたユーザ群に対応する因果スコアを算出する方法で、第二のモデルを生成又は更新する（ステップＳ９０２）。ここで、第二のモデルの生成又は更新には、最新の期間の（例えば、今月の）ファクトデータ（デフォルトの有無を示すラベル等）が用いられる。第二のモデルが生成又は更新されると、第二の効果推定部２１Ｂは、当該第二のモデルに複数のユーザの属性を入力することで、当該複数のユーザの夫々に対応する第二の因果スコアＥｈを取得する（ステップＳ９０３）。このため、第二の因果スコアＥｈは、最新の期間のファクトデータに基づいた出力となる。その後、処理はステップＳ９０４へ進む。

【0054】

ステップＳ９０４では、補正関数が決定される。補正関数決定部２２は、複数のユーザについての第一の因果スコアＳと第二の因果スコアＥｈとの間のＬ２損失をより小さくなる（可能であれば最小化される）ような補正関数及びパラメータを決定する。上述の通り、第一の因果スコアＳは、一定期間以上過去の学習データで学習されたモデルの出力であり、第二の因果スコアＥｈは、最新の期間のファクトデータに基づいた出力である。このため、補正関数は、過去（例えば、先月まで）のデータを基に推定された第一の因果スコアＳを、より正確な現在（例えば、今月）のファクトデータに基づいて補正することが可能なものとなる。その後、本フローチャートに示された処理は終了する。

【0055】

図９は、本実施形態に係る第三の因果スコア推定処理の流れを示すフローチャートである。本フローチャートに示された処理は、毎月の予め設定されたタイミングで実行される。より具体的には、処理の実行タイミングには、クレジットカード利用額の支払い規定日より後で、且つ未払いユーザへのオペレーション実行予定日より前のタイミングが設定される。

【0056】

ステップＳ１００１では、第一の因果スコアＳが取得される。第一の効果推定部２１Ａは、複数のユーザの夫々について、図７を用いて説明した機械学習処理において生成及び／又は更新された第一のモデルに対して対象ユーザに係る１又は複数のユーザ属性のデータを入力し、当該第一のモデルからの出力として、当該ユーザに対応する第一の因果スコアＳを取得する。その後、処理はステップＳ１００２へ進む。

【0057】

ステップＳ１００２及びステップＳ１００３では、オペレーション条件出力のために用いられる因果スコアが決定される。第三の効果推定部２１Ｃは、対象ユーザについてステップＳ１００１で算出された第一の因果スコアＳを補正関数Ｆ（ｘ）に適用することで、当該対象ユーザについての第三の因果スコアＥ（Ｅ＝Ｆ（Ｓ））を決定する（ステップＳ１００２）。効果推定部２１は、ステップＳ１００２で算出された第三の因果スコアＥを、図１０を参照して後述するオペレーション条件出力処理において対象ユーザのオペレーション条件出力のために用いられる因果スコアとして決定する（ステップＳ１００３）。その後、本フローチャートに示された処理は終了する。

【0058】

図１０は、本実施形態に係るオペレーション条件出力処理の流れを示すフローチャートである。本フローチャートに示された処理は、毎月の予め設定されたタイミングで実行される。より具体的には、処理の実行タイミングには、クレジットカード利用額の支払い規定日より後で、且つ未払いユーザへのオペレーション実行予定日より前のタイミングが設定される。

【0059】

ステップＳ２０１及びステップＳ２０２では、オペレーションの効果及びユーザがアクションを実行しない蓋然性に基づくリスクが推定される。リスク推定部２３は、複数のユーザの夫々について、ステップＳ１０４で生成及び／又は更新された機械学習モデルに対して対象ユーザに係る１又は複数のユーザ属性のデータを入力し、当該機械学習モデルからの出力として、当該ユーザに対応するリスク指標を取得する（ステップＳ２０１）。また、効果推定部２１は、図９を用いて説明した第三の因果スコア推定処理を実行することで、複数のユーザの夫々について、対象ユーザに対応する因果スコアを取得する（ステップＳ２０２）。その後、処理はステップＳ２０３へ進む。

【0060】

ステップＳ２０３では、オペレーション条件が決定され、出力される。条件出力部２５は、ステップＳ２０１及びステップＳ２０２で推定された因果スコア及びリスク指標に基づいて、オペレーション条件を決定し、オペレーションセンター管理システム３に対して出力する。本実施形態において、条件出力部２５は、因果スコア及びリスク指標に対して予めマッピングされたオペレーション条件を特定し、出力する。但し、オペレーション条件の決定方法は、本実施形態における例示に限定されない。例えば、オペレーション条件は、因果スコア及びリスク指標を所定の関数に入力して算出された値を含むものであってもよい。その後、本フローチャートに示された処理は終了する。

【0061】

オペレーション条件が出力されると、オペレーションセンター管理システム３は、オペレーション条件に従って対象ユーザへのオペレーションを管理し、オペレーション端末は、オペレーションセンター管理システム３によって出力された指示に従ってオペレーションを実行する。

【0062】

＜効果＞
本実施形態によれば、因果スコアの推定結果に対して補正を行うことで、より正確なスコアリングを実現することができる。また、本発明によれば、機械学習モデルそのものより単純化された補正関数を用いることで、急激な行動変容に対応することが可能となり、ユーザの行動変容に即応可能なスコアリング技術を実現できる。

【0063】

更に、本実施形態によれば、ユーザ毎のオペレーションの効果及びリスクに応じたオペレーション条件の優先度を設定し、効果やリスクの低いユーザへのオペレーションを抑制することで、債権の回収率を下げることなく、オペレーションに係るコストを抑制することが可能となる。即ち、本開示によれば、ユーザに所定のアクションを促すオペレーションの効果を減じさせることなく、オペレーションのためのコストを抑制することが可能となる。また、本実施形態によれば、効果やリスクの高いユーザへのオペレーションを増やすことで、コストを抑制しつつ債権の回収率を上げることも期待出来る。

【0064】

＜オペレーション条件出力処理のバリエーション＞
上記説明した実施形態では、オペレーション条件出力処理の流れを、図１０を参照して概略的に説明したが、より具体的には、オペレーション条件出力処理は、以下のように処理されてよい。

【0065】

図１１は、本実施形態において、図６を参照して説明したケース（１）から（４）の判定手法が採用された場合のオペレーション条件出力処理の流れを示すフローチャートである。図１１に示す例によれば、ある属性を有するユーザについてリスク推定部２３によって算出（ステップＳ３０１）されたリスク指標が閾値Ｒ３（第三の閾値）未満である場合に（ステップＳ３０２のＮＯ）、効果推定部２１による因果スコアの算出が省略され、優先度が低い（又は、中程度の）オペレーション条件が決定され、出力されることがわかる（ステップＳ３０３）。

【0066】

当該ユーザについて算出されたリスク指標が閾値Ｒ３（第三の閾値）以上である場合（ステップＳ３０２のＹＥＳ）、因果スコアが算出され（ステップＳ３０４）、因果スコアが閾値Ｃ２以上且つリスク指標が閾値Ｒ２以上である場合（ステップＳ３０５のＹＥＳ）には優先度が最も高いオペレーション条件が決定、出力され（ステップＳ３０６）、因果スコアが閾値Ｃ２以上又はリスク指標が閾値Ｒ２以上である場合（ステップＳ３０７のＹＥＳ）には優先度が高いオペレーション条件が決定、出力される（ステップＳ３０８）。なお、因果スコアが閾値Ｃ２未満且つ閾値Ｒ２未満である場合、優先度が中程度のオペレーション条件が決定、出力される（ステップＳ３０９）。

【0067】

図１２は、本実施形態において、図６を参照して説明したケース（５）から（８）の判定手法が採用された場合のオペレーション条件出力処理の流れを示すフローチャートである。図１２に示す例によれば、ある属性を有するユーザについてリスク推定部２３によって算出（ステップＳ４０１）されたリスク指標が閾値Ｒ４以上である場合に（ステップＳ４０２のＮＯ）、効果推定部２１による因果スコアの算出が省略され、優先度が高い（又は、中程度の）オペレーション条件が決定され、出力されることがわかる（ステップＳ４０３）。

【0068】

当該ユーザについて算出されたリスク指標が閾値Ｒ４未満である場合（ステップＳ４０２のＹＥＳ）、因果スコアが算出され（ステップＳ４０４）、因果スコアが閾値Ｃ１未満且つリスク指標が閾値Ｒ１未満である場合（ステップＳ４０５のＹＥＳ）には優先度が最も低いオペレーション条件が決定、出力され（ステップＳ４０６）、因果スコアが閾値Ｃ１未満又はリスク指標が閾値Ｒ１未満である場合（ステップＳ４０７のＹＥＳ）には優先度が低いオペレーション条件が決定、出力される（ステップＳ４０８）。なお、因果スコアが閾値Ｃ１以上且つ閾値Ｒ１以上である場合、優先度が中程度のオペレーション条件が決定、出力される（ステップＳ４０９）。

【0069】

＜その他のバリエーション＞
上記説明した実施形態では、ユーザに対するオペレーションが架電である例について説明したが、ユーザに対するオペレーションの種類は、架電に限定されない。例えば、ユーザに対するオペレーションの種類として、メッセージ送信が採用されてもよい。なお、ここでメッセージ送信のための手段は限定されず、電子メールシステム、ショートメッセージサービス（ＳＭＳ）、又はソーシャルネットワーキングサービス（ＳＮＳ）のメッセージ送受信サービス等が利用されてよい。

【0070】

また、上記説明した実施形態では、１種類のオペレーション（架電）について推定された効果に基づいてオペレーション条件が決定される例について説明したが、オペレーション条件は、複数種類のオペレーション（例えば、架電及びメッセージ送信）の夫々について推定された効果に基づいて決定されてもよい。この場合、効果推定部２１は、所定のアクションの実行をユーザに促すための当該ユーザに対する第一のオペレーション（例えば、架電）が、当該ユーザがアクションを実行するか否かに与える第一の効果、及び、所定のアクションの実行をユーザに促すための当該ユーザに対する第二のオペレーション（例えば、メッセージ送信）が、当該ユーザがアクションを実行するか否かに与える第二の効果を推定し、条件出力部２５は、推定された第一の効果及び第二の効果に基づいて、ユーザに対するオペレーション条件を出力する。

【0071】

この場合、オペレーションの効果を推定するための機械学習モデルも、オペレーションの種類毎に生成及び更新される。例えば、第一のオペレーションが架電であり第二のオペレーションがメッセージ送信である場合、架電の効果推定用機械学習モデル、及びメッセージ送信の効果推定用機械学習モデルが生成及び更新されてよい。

【0072】

更に、複数種類のオペレーションの夫々について推定された効果に基づいてオペレーション条件が決定される場合、複数種類のオペレーションから、ユーザに対して効果の高い種類のオペレーションが選択されてよい。この場合、条件出力部２５は、推定された第一の効果及び第二の効果に基づいて、ユーザに対して第一のオペレーションを行うか又は第二のオペレーションを行うかを含むオペレーション条件を出力する。より具体的には、対象ユーザについて得られた第一の効果（第一のオペレーションに係る因果スコア）及び第二の効果（第二のオペレーションに係る因果スコア）を比較して、因果スコアが高い方の種類のオペレーションを、当該ユーザに対して効果の高い種類のオペレーションとして選択することが出来る。

【0073】

また、上記説明した実施形態では、オペレーション条件を決定するための評価軸として、オペレーションの効果を示す因果スコアとリスクを示すリスク指標の２つの軸を用いる例について説明したが、本開示に係る技術において、オペレーション条件を決定するための評価軸には少なくともオペレーションの効果が含まれていればよく、その他の評価軸が採用されてもよいし、また、３以上の評価軸が採用されてもよい。例えば、（１）因果スコアと組み合わせられる指標にリスク指標以外の第三の指標が採用されてもよいし、（２）因果スコア及びリスク指標に加えて第三の指標が採用されてもよいし、（３）架電の因果スコア、メッセージ送信の因果スコア、及びリスク指標の３つの軸が採用されてもよい。

【0074】

また、上記説明した実施形態では、オペレーションを受けたサブユーザ群のアクション実行率と、オペレーションを受けなかったサブユーザ群のアクション実行率との差分を因果スコアとして用いる例について説明したが、因果スコアには、その他の方法で算出されたものが用いられてもよい。例えば、効果推定のための機械学習モデル生成及び／又は更新にあたって、機械学習部２４は、ユーザの属性毎に、所定の属性を有する複数のユーザのうちオペレーションに対する所定のリアクションを行なったユーザによるアクションの実行率に係る統計量と、複数のユーザのうち所定のリアクションを行わなかったユーザによるアクションの実行率に係る統計量とに基づくスコアを、当該属性を有するユーザに係る因果スコアとして定義した教師データに基づいて、機械学習モデルを作成してもよい。例として、本バリエーションでは、「（ユーザが所定のリアクションを行った場合における債権の回収率）－（ユーザが所定のリアクションを行わなかった場合における債権の回収率）」の式により、因果スコアが算出される。この場合、条件出力部２５は、ユーザによるリアクションの有無やその内容等と、リアクションに応じた因果スコアと、に基づきオペレーションに関する条件を出力してよい。このとき、条件出力部２５によって出力されるオペレーション条件の優先度の調整は、図６を参照して説明した因果スコアと優先度との関係を用いて行われてよい。

【0075】

ここで、所定のリアクションは、例えば、架電に対するダイヤルプッシュ等によるユーザの応答、又は架電に対するユーザからの折り返し電話に伴うオペレータとの通話、メッセージに対する返信、メッセージの既読化等である。更に、リアクションの内容として、支払いに対する肯定的な回答や、支払予定日の回答の有無等が考慮されてよい。ユーザによるリアクションが音声によるリアクションであった場合には、ユーザの音声に基づいてユーザの感情等を判定し、リアクションが肯定的であったか否かを判定することも可能である。また、音声に基づいて判定されたユーザの感情等から、次回のオペレーション条件の優先度を調整してもよい。

【0076】

また、オペレーション条件の優先度は、上記以外の要素に基づいて調整されてもよい。例えば、クレジットカード利用の支払い設定がリボ払いや分割払いであるユーザについては、一括払いのユーザに比べてオペレーション条件の優先度を上げてよいし、クレジットカード利用にキャッシングが含まれるユーザについては、キャッシングが含まれないユーザに比べてオペレーション条件の優先度を上げてよい。また、対象ユーザの、クレジットカード以外の取引データ（例えば、クレジットカード利用額引落口座の残高データや、系列銀行における取引履歴データ等）に応じて、オペレーション条件の優先度を調整することも可能である。ここで、条件出力部２５は、例えば、クレジットカードの利用条件に基づき、図６に示される各種スコアと対応する各種閾値を調整してよい。

【符号の説明】

【0077】

１ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】