特表 2023-502521 自動モデル生成のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-24

(54)【発明の名称】自動モデル生成のためのシステムおよび方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230117BHJP

   G06N 3/02 20060101ALI20230117BHJP

   G06Q 40/03 20230101ALI20230117BHJP

【ＦＩ】

G06N20/00

G06N3/02

G06Q40/02 300

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022530184

(86)(22)【出願日】2020-11-25

(85)【翻訳文提出日】2022-06-29

(86)【国際出願番号】 US2020062235

(87)【国際公開番号】W WO2021108553

(87)【国際公開日】2021-06-03

(31)【優先権主張番号】62/940,113

(32)【優先日】2019-11-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】521434850

【氏名又は名称】ゼストファイナンス，インコーポレーテッド

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100141025

【弁理士】

【氏名又は名称】阿久津 勝久

(72)【発明者】

【氏名】ブジック，ジェローム，ルイ

【テーマコード（参考）】

5L055

【Ｆターム（参考）】

5L055BB23

(57)【要約】

機械学習技術を利用してモデルを自動的に生成するためのシステムおよび方法。

【特許請求の範囲】

【請求項1】

方法であって、機械学習プラットフォームを使用して、
ユーザデータにアクセスするステップと、
モデルの目的を特定する目的情報にアクセスするステップと、
前記目的情報を使用することによって規範的特徴を特定するステップと、
アクセスされたユーザデータから前記規範的特徴のうちの１つまたは複数を検出するステップと、
前記目的情報に従ってモデルタイプを選択するステップと、
前記目的情報に従って目標を選択するステップと、
前記目的情報に従ってモデルパラメータを選択するステップと、
前記アクセスされたユーザデータを使用することによって、前記選択されたモデルタイプを有するモデルを生成するステップであって、前記モデルが、前記検出された規範的特徴を入力として使用し、前記選択された目標に関する値を予測し、前記選択されたモデルパラメータを含む、ステップと、
前記目的情報に従って、前記生成されたモデルに関するビジネス分析情報を生成するステップと、
前記ビジネス分析情報を、前記機械学習プラットフォームの外部の少なくとも１つのシステムに提供するステップとを含む、方法。

【請求項2】

前記機械学習プラットフォームが、前記機械学習プラットフォームに含まれるユーザインターフェースシステムを介してユーザシステムからの前記ユーザデータおよび前記目的情報にアクセスすることに応じて、自動的に規範的特徴を特定し、前記アクセスされたユーザデータから規範的特徴を検出し、前記モデルタイプを選択し、前記目標を選択し、前記モデルパラメータを選択し、前記モデルを生成し、前記ビジネス分析情報を生成し、前記ビジネス分析情報を提供する、請求項１に記載の方法。

【請求項3】

前記特定された目的が、自動車ローン組成、消費者ローン組成、ビジネスローン組成、ローン返済の予測、新規ローンの勧誘、是正可能なローンの特定、申請者の特定、およびビジネスローンの返済のうちの１つである、請求項１に記載の方法。

【請求項4】

モデルの目的を特定する目的情報にアクセスするステップが、前記特定されたモデル目的に関連付けて記憶されているモデル目的データにアクセスすることを含み、
前記アクセスされたモデル目的データが、モデルの入力として使用される前記規範的特徴、前記モデルタイプ、前記目標、および前記モデルパラメータを定義し、
規範的特徴を特定するステップが、前記アクセスされたモデル目的データによって定義された規範的特徴を特定することを含む、請求項１に記載の方法。

【請求項5】

前記アクセスされたユーザデータから前記規範的特徴のうちの１つまたは複数を検出するステップが、少なくとも１つの所定の変換規則を適用することによって、前記アクセスされたユーザデータから規範的特徴を抽出することを含む、請求項４に記載の方法。

【請求項6】

前記アクセスされたモデル目的データが、前記アクセスされたユーザデータから前記規範的特徴を抽出するために使用される前記少なくとも１つの所定の変換規則を定義する、請求項５に記載の方法。

【請求項7】

前記アクセスされたモデル目的データが、ビジネス分析プロセスを定義し、
前記生成されたモデルのビジネス分析情報を生成するステップが、前記アクセスされたモデル目的データによって定義された前記ビジネス分析プロセスを実行することを含む、請求項４に記載の方法。

【請求項8】

前記機械学習プラットフォームを使用して、前記生成されたモデルを評価するステップをさらに含み、
前記アクセスされたモデル目的データが、少なくとも１つのビジネス指標を定義し、
前記生成されたモデルを評価するステップが、
前記生成されたモデルに関して前記モデル目的データによって定義された各ビジネス指標のビジネス指標値を計算することと、
元のモデルに関して前記モデル目的データによって定義された各ビジネス指標のビジネス指標値を計算することと、
前記元のモデルの前記ビジネス指標値を、前記生成されたモデルの対応する前記ビジネス指標値と比較することと、
前記元のモデルの前記ビジネス指標値と前記生成されたモデルの前記ビジネス指標値との間の前記比較の結果を含む評価情報を生成することとを含む、請求項４に記載の方法。

【請求項9】

前記生成されたモデルを評価するステップが、公平貸付差別的効果分析を実行することをさらに含み、評価情報を生成することが、前記公平貸付差別的効果分析の結果を含む、請求項８に記載の方法。

【請求項10】

前記生成されたモデルを評価するステップが、モデル精度分析を実行することをさらに含み、評価情報を生成することが、前記モデル精度分析の結果を含む、請求項９に記載の方法。

【請求項11】

前記機械学習プラットフォームを使用して、前記モデルによって生成されたモデル出力に関する説明情報を生成するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記モデルが、与信取引申請に関するクレジットスコアを生成するクレジットモデルであり、前記モデル出力に関して生成される前記説明情報が、ＦＣＲＡ不利益行為理由コードを含む、請求項１１に記載の方法。

【請求項13】

前記機械学習プラットフォームを使用して、
特徴ドリフト、予想外の入力、予想外の出力、集団不安定性、および予想外の経済的性能のうちの少なくとも１つを検出するために前記モデルを監視するステップと、
特徴ドリフト、予想外の入力、予想外の出力、集団不安定性、および予想外の経済的性能のうちの少なくとも１つを検出することに応じて、少なくとも１つのシステムにアラートを提供するステップとをさらに含む、請求項１１に記載の方法。

【請求項14】

前記機械学習プラットフォームを使用して、
前記モデルに関する文書を自動的に生成するステップであって、前記文書が、
前記アクセスされたユーザデータを特定する文書情報、
前記特定された規範的特徴を特定する文書情報、
前記検出された規範的特徴を特定する文書情報、
前記選択されたモデルタイプを特定する文書情報、
前記選択された目標を特定する文書情報、
前記選択されたモデルパラメータを特定する文書情報、
前記モデルの生成を説明する情報、および
前記ビジネス分析情報を含む、ステップと、
生成された文書を、前記機械学習プラットフォームの外部のシステムに提供するステップとをさらに含む、請求項１に記載の方法。

【請求項15】

前記ユーザデータおよび前記目的情報が、外部のローン組成システムおよび外部のローン管理システムのうちの１つまたは複数から受信される、請求項４に記載の方法。

【請求項16】

前記モデル目的データが、ドメインエキスパートの外部コンピューティングシステムから受信される、請求項１５に記載の方法。

【請求項17】

前記生成されたモデルが、ベース信号に結合された少なくとも勾配ブースティング木フォレスト（ＧＢＭ）と、前記ＧＭＢの出力に結合された平滑化された近似経験累積分布関数（ＥＣＤＦ）とを含み、前記ＧＢＭの出力値が、前記ＥＣＤＦを使用することによって変換され、クレジットスコアとして提示される、請求項１に記載の方法。

【請求項18】

前記生成されたモデルが、少なくとも、ＧＭＢ、ニューラルネットワーク、および極端ランダムフォレスト（ＥＴＦ）を含むサブモデルを含み、前記サブモデルの出力が、スタッキング関数および結合関数のうちの１つを使用して一緒にアンサンブルされ、アンサンブルされた出力が、クレジットスコアとして提示される、請求項１に記載の方法。

【請求項19】

前記生成されたモデルが、少なくとも、ニュートラルネットワーク（ＮＮ）、ＧＢＭ、およびＥＴＦを含むサブモデルを含み、前記サブモデルの出力が、線形アンサンブルモジュールによってアンサンブルされ、前記線形アンサンブルモジュールの出力が、微分可能な関数によって処理され、前記微分可能な関数の出力が、クレジットスコアとして提示される、請求項１に記載の方法。

【請求項20】

前記生成されたモデルが、少なくとも、ニュートラルネットワーク（ＮＮ）、ＧＢＭ、およびニューラルネットワークアンサンブルモジュールを含み、前記ニューラルネットワークアンサンブルモジュールの出力が、微分可能な関数によって処理される、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、この参照によりその全体が本明細書に組み込まれる、２０１９年１１月２５日に出願した米国仮出願第６２／９４０，１１３号明細書の利益を主張するものである。

【0002】

本発明は、データモデリングの分野に関し、より詳細には、新規の有用なモデリングシステムに関する。

【背景技術】

【0003】

データサイエンスのタスクは、概して、機械学習モデルの生成、検証、およびデプロイに関連する専門知識を有するデータサイエンティストによって実行される。

【発明の概要】

【0004】

データモデリングのための新規の有用なシステムおよび方法を作成するニーズが、データモデリングの分野に存在する。本出願の実施形態は、そのような新規の有用なシステムおよび方法を提供する。

【図面の簡単な説明】

【0005】

【図1A】実施形態によるシステムの概略図である。

【図1B】実施形態によるシステムの概略図である。

【図2A】実施形態による方法を示す図である。

【図2B】実施形態による方法を示す図である。

【図2C】実施形態による方法を示す図である。

【図2D】実施形態による方法を示す図である。

【図3】実施形態によるシステムの概略図である。

【図4】実施形態による方法を示す図である。

【図5】実施形態による、モデル目的の選択を受け取るための例示的なユーザインターフェースを示す図である。

【図6】実施形態による、生成されたモデルの選択のための例示的なユーザインターフェースを示す図である。

【発明を実施するための形態】

【0006】

本出願の好ましい実施形態の以下の説明は、限定的であるように意図されておらず、すべての当業者が本明細書に記載されたこれらの実施形態を作成し、使用することを可能にするように意図される。

【0007】

１．概要
データサイエンスのタスクは、概して、データモデリングに関連する専門知識を有するデータサイエンティストによって実行される。そのようなタスクは、生データの処理、特徴の選択、モデルの生成、モデルの検証、およびモデルの実行を含むことが多い。

【0008】

本明細書の実施形態は、供給されたデータに基づいて機械学習モデルを自動的に生成することによって簡素化されたデータモデリングを可能にする。

【0009】

一部の変更形態において、モデルのモデル目的が特定され、特定された目的に基づいてモデルが生成される。一部の変更形態において、モデル目的は、グラフィカルユーザインターフェースとインタラクションするユーザのインジケーションによって、予め決定されたモデル目的のリストから選択される。例えば、ユーザインターフェースは、選択可能なモデル目的のリストを表示することができ、システムは、ユーザインターフェースを介して、選択可能なモデル目的のうちの１つのユーザの選択を受け取ることができる。一部の実装において、特定された目的は、生成されることになるモデルの機能的制約を特定するために使用される。例えば、「信用リスク評価」目的は、制約の第１の組（例えば、信用リスクの予測に有用な特徴）を特定する可能性がある。一部の実装において、特定された目的は、特定のドメイン（例えば、「一般的な貸付商品」、「自動車ローン」、「住宅ローン」、「クレジットカード」、「分割払いローン」など）を特定する。一部の実装において、システムは、システムによってサポートされる各モデル目的に関して以下、すなわち、データソース、データセット、特徴、規範的特徴（標準的特徴）（canonical feature）、予測目標、モデルタイプ、モデルパラメータ、ハイパーパラメータのうちの少なくとも１つを特定するモデル目的データを含む。一部の実装において、システムは、特定された目的のためのモデル目的データを含み、モデル目的データは、モデルを生成するために使用される。例えば、モデル目的データは、特徴を選択するかまたはモデルパラメータ（モデルのタイプ、目標、ハイパーパラメータなど）を選択するために使用され得る。一部の実装において、モデル目的データは、少なくとも１つのモデルテンプレートを含む。

【0010】

一部の変更形態において、モデル目的データは、特定された目的に関連する特定のドメイン知識を有するドメインエキスパート（例えば、データサイエンティスト、ビジネスアナリストなど）によって生成される。一部の実装において、モデル目的データは、（例えば、ドメインエキスパートの）コンピューティングシステム（例えば、１３１）を介して受信される。例えば、自動車ローン組成（origination）の経験を有するデータサイエンティストが、「自動車ローン組成」目的のモデル目的データを生成することができ、この自動車ローン組成モデル目的データが、データサイエンティストからのさらなる入力なしに「自動車ローン組成」目的のモデルを自動的に生成するために使用され得る。

【0011】

一部の変更形態において、モデル目的は、消費者ローン組成に関連し、モデルの結果は、消費者ローンを許可すべきかどうかを判定するために使用される。一部の変更形態において、モデル目的は、ビジネスローン組成に関連し、モデルの結果は、ビジネスへのローンを許可すべきかどうかを判定するために使用される。その他の変更形態において、モデル目的は、ローン返済の予測に関連し、モデルの結果は、すでに供与されたローンが返済されるかどうかを判定するために使用される。その他の変更形態において、モデル目的は、新規ローンの勧誘をする消費者を特定することに関連し、モデルの結果は、どの消費者にローンの申し込みを勧誘すべきかを決定するために使用される。その他の変更形態において、モデル目的は、是正可能なローンを特定することに関連し、モデルの結果は、ローンの支払いを滞納しているどの消費者が、求められた場合に是正される可能性が高いかを判定するために使用される。一部の変更形態において、モデル目的は、申込者の特定に関連し、モデルの結果は、ローンを申し込む消費者が実在する人なのかまたは合成アイデンティティ（synthetic identity）なのかを判定するために使用される。一部の変更形態において、モデル目的は、ビジネスローンの返済に関連し、モデルの結果は、ローンを申し込む企業がローンを返済するかどうかを判定するために使用される。一部の変更形態において、モデル目的は、住宅ローン、リファイ（refi）、住宅担保ローン（home equity loan）、自動車ローン、ＲＶローン、パワースポーツローン（powersports loan）、クレジットカード、個人ローン、学生ローンなどの小売ローン、および設備ローン、リボ払い信用枠（revolving lines of credit）、買掛金融資（accounts payable financing）を含む商業ローン、ならびに小売かまたは商業かに関わらないその他のローンのタイプを限定なしに含むローンのタイプによってさらに精緻にされる。

【0012】

本明細書の実施形態は、自動特徴選択、自動パラメータ選択、自動モデル生成、自動モデル評価、自動モデル文書化、自動代替モデル選択、自動モデル比較、自動ビジネス分析、自動モデル実行、自動モデル出力説明、および自動モデル監視のうちの少なくとも１つを提供する。一部の変更形態において、機械学習プラットフォーム（例えば、クラウドベースのサービスとしてのソフトウェア（ＳａａＳ）プラットフォーム）が、モデルの生成、分析および検証、ならびにデプロイおよび監視に関連するそのような機能を提供する。一部の変更形態において、（例えば、機械学習プラットフォームによって生成された）自動的に生成されたモデルが、既存のモデル（例えば、プラットフォームのユーザによって現在使用されているが、プラットフォームによって生成されていないモデル）と比較され、比較の結果が、ユーザシステムに提供される。一部の変更形態において、比較は、新しいモデルをデプロイすることによって生じる可能性が高い期待されるビジネスの成果を説明する経済分析を含む。

【0013】

一部の実装において、ローンの属性（例えば、ローンの額、ローンの期間、担保の価値、担保の属性）を特定するローンデータ、ローンを許可すべきかどうかを判断するために使用される信用データ（例えば、問い合わせ（inquiry）の数、滞納の回数、利用可能なクレジットおよび利用率、信用調査機関の属性、トレンド属性（trended attribute）など）、クレジットの方針、および以前に行われたローンのローン結果（例えば、無事に返済された、貸倒償却された／返済されなかった、または所与の日数滞納された）が、特定のビジネスアプリケーション（例えば、自動車ローンの許可、信用枠の引き上げなど）のためにシステムによって生成されたモデルを使用した結果として生じるビジネス指標（ローン総額、新規顧客、利息による収入、損失率、損失額、粗利益、および純利益など）の変化を推定するために使用される。一部の実装において、システムは、自動的に文書を生成し、文書は、選択された特徴、選択された特徴の選択理由、様々な状況においてモデルがどのように振る舞うか、ビジネスの見通しなどのうちの少なくとも１つを特定する。

【0014】

一部の変更形態において、システムは、機械学習プラットフォーム（例えば、図１Ａ～図１Ｂに示される１１０）である。一部の変更形態において、方法が、データにアクセスすることと、特徴を検出することと、少なくとも１つのモデルを生成することと、少なくとも１つのモデルを評価することと、少なくとも１つのモデルを実行することと、少なくとも１つのモデルに関する説明情報を生成することと、少なくとも１つのモデルに関するビジネス分析を生成することと、少なくとも１つのモデルに関するモニタ（monitor）および監視出力を生成することと、少なくとも１つのモデルに関する文書情報を生成することと、少なくとも１つのモデルに関する文書の提供することとのうちの少なくとも１つを含む。

【0015】

２．システム
一部の変更形態において、システム（例えば、１００）が、特徴検出モジュール（例えば、１１１）、特徴選択モジュール（例えば、１１２）、モデル生成モジュール（例えば、１１３）、パラメータ選択モジュール（例えば、１１４）、モデル評価モジュール（例えば、１１５）、モデル選択モジュール（例えば、１１６）、出力説明モジュール（例えば、１１７）、モデル文書化モジュール（例えば、１１８）、ユーザインターフェースシステム（例えば、１１９）、モデル実行モジュール（例えば、１４０）、モデル監視モジュール（例えば、１４１）、およびモデル目的データを記憶するデータストア（例えば、１５０）のうちの少なくとも１つを含む。

【0016】

一部の変更形態において、システムが、機械学習プラットフォーム１１０を含む。一部の変更形態において、機械学習プラットフォーム、はオンプレミスのシステムである。一部の変更形態において、機械学習プラットフォームは、クラウドシステムである。一部の変更形態において、機械学習プラットフォームは、サービスとしてのソフトウェア（ＳａａＳ）を提供するように機能する。一部の変更形態において、プラットフォーム１１０は、マルチテナントプラットフォームである。一部の変更形態において、プラットフォーム１１０は、シングルテナントプラットフォームである。

【0017】

一部の実装において、システム１１０は、機械学習プラットフォーム（例えば、図１Ａ～図１Ｂに示される１１０）である。

【0018】

一部の実装において、システム１１０は、ユーザインターフェースシステム１１９およびストレージデバイス１５０のうちの少なくとも１つを含む。一部の実装において、システム１１０は、図１Ａおよび図１Ｂに示されるモジュール１１１～１１８、１４０および１４１のうちの少なくとも１つを含む。

【0019】

一部の実装において、システム１１０の少なくとも１つの構成要素（例えば、１１１～１１９、１４０、１４１、１５０）は、システム１１０によって（例えば、図３に示されるストレージ媒体３０５、メモリ３２２に）記憶され、システム１１０のプロセッサ（例えば、図３に示される３０３Ａ～Ｎ）によって実行されるプログラム命令として実装される。

【0020】

一部の実装において、システム１１０は、ネットワーク（例えば、パブリックネットワーク、プライベートネットワーク）を介して少なくとも１つのデータソース（例えば、１２１～１２３）に通信可能に結合される。一部の実装において、システム１１０は、ネットワーク（例えば、パブリックネットワーク、プライベートネットワーク）を介して少なくとも１つのユーザシステム（例えば、１３１）に通信可能に結合される。

【0021】

図１Ｂは、変更形態によるシステムの構成要素のインタラクションを示す。

【0022】

一部の実装において、ストレージデバイス１５０は、システムによってサポートされる各モデル目的に関して以下、すなわち、データソース、データセット、特徴、規範的特徴、予測目標、モデルタイプ、モデルパラメータ、ハイパーパラメータのうちの少なくとも１つを特定するモデル目的データを記憶する。一部の実装において、ストレージデバイス１５０は、特定された目的のためのモデル目的データを含み、モデル目的データは、モデルを生成するために使用される。例えば、モデル目的データは、特徴を選択するかまたはモデルパラメータ（モデルのタイプ、予測目標、ハイパーパラメータなど）を選択するために使用され得る。一部の実装において、モデル目的データは、少なくとも１つのモデルテンプレートを含む。一部の実装において、テンプレートは、少なくとも、モデルの入力として使用される規範的特徴、モデルタイプ、および予測目標を定義する。一部の実装において、テンプレートは、アンサンブルの各モデルおよびアンサンブル機能を定義する。一部の実装において、テンプレートは、少なくとも１つのモデルに関して、入力ソースを定義する。入力ソースは、モデルに特徴を提供する特徴検出モジュール１１１であることが可能である。入力ソースは、別のモデルの出力も含み得る。例えば、第１のモデルが、第２のモデルの入力として使用される出力値を生成し得る。

【0023】

一部の実施形態において、モデル目的データは、特定された目的に関連する特定のドメイン知識を有するドメインエキスパート（例えば、データサイエンティスト）によって生成される。例えば、自動車ローンの経験を有するデータサイエンティストが、「自動車ローン組成」目的のモデル目的データを生成することができ、この自動車ローンモデル目的データが、データサイエンティストからのさらなる入力なしに「自動車ローン組成」目的のモデルを自動的に生成するために使用され得る。

【0024】

一部の変更形態において、特徴検出モジュール１１１が、アクセスされたデータ（例えば、ユーザシステムによって提供されたデータ、データソースから取り出されたデータなど）から特徴を検出するように機能する。一部の変更形態において、アクセスされたデータは、生データを含む。一部の実装において、特徴検出モジュール１１１は、ユーザインターフェースシステム１１９を介してアクセスされたデータを受信する。一部の実装において、特徴検出モジュール１１１は、ユーザシステムのローン管理システム（ＬＭＳ）（例えば、１３３）、ユーザシステムのローン組成システム（ＬＯＳ）（例えば、１３２）、データソース（例えば、１２１～１２３）（例えば、ＴｒａｎｓＵｎｉｏｎ、Ｅｑｕｉｆａｘ、Ｓｃｈｕｆａ、ＬｅｘｉｓＮｅｘｉｓ、ＲｉｓｋＶｉｅｗの完全なトレードライン（tradeline）情報をともなう信用調査機関データ、Ｅｘｐｅｒｉａｎ、Ｃｌａｒｉｔｙ、中央銀行、Ｃｒｅｄｉｔｉｎｆｏ、Ｃｏｍｐｕｓｃａｎなど）のうちの少なくとも１つからデータを受信する。

【0025】

一部の変更形態において、システム１１０の少なくとも１つの構成要素は、構成要素によって実行されたプロセスを文書化する文書情報を生成する。一部の変更形態において、モジュール１１１～１１８、１４０および１４１のうちの少なくとも１つが、そのモジュールによって実行されたプロセスを記述する文書情報を生成し、生成された文書情報をモデル文書モジュール１１８に記憶する。

【0026】

一部の変更形態において、文書は、（例えば、方法２００のＳ２１２において特定されたモデル目的に基づいて）モデル上で実行される分析に基づき、モデル目的によって決定されたビジネス分析を含む。例えば、自動車ローンにおいては、ビジネス報告出力が、古いモデルから新しいモデルへの切り替えに基づくビジネスの成果を含む。変更形態において、ビジネスの成果は、（成約率（approval rate）を一定にした）新しいモデルの推定された債務不履行率（default rate）を含む。その他の変更形態において、ビジネスの成果は、リスクを一定にする推定された成約率、貸倒償却額の見通し、利息収入の見通し、ならびに資産情報および減価償却式に基づく回収の見通しのうちの１つまたは複数を含む。一部の変更形態において、複数のモデルバリエーションからの推定されたビジネスの成果が比較され、要約される。

【0027】

一部の変更形態において、特徴検出モジュール１１１は、特徴検出モジュール１１１によってアクセスされた生データから規範的特徴を抽出する。一部の実装において、各規範的特徴は、アクセスされたデータに含まれる情報の意味的に意味のある表現である。例えば、規範的特徴「倒産数」が、特徴「ＴｒａｎｓＵｎｉｏｎ倒産数」、「Ｅｘｐｅｒｉａｎ倒産数」、および「Ｅｑｕｉｆａｘ倒産数」を含む生データから抽出され得る。言い換えると、「ＴｒａｎｓＵｎｉｏｎ倒産数」、「Ｅｘｐｅｒｉａｎ倒産数」、および「Ｅｑｕｉｆａｘ倒産数」をモデル生成の目的のための個々の特徴として扱うのではなく、これらの特徴からのデータが、規範的特徴「倒産数」の値を決定するために使用される。

【0028】

一部の実装において、特徴検出モジュール１１１は、所定の変換規則を適用することによって規範的特徴を抽出する。一部の実装において、変換規則は、特定されたモデル目的およびモデル開発データのプロパティに基づいて自動的に選択される。一部の実装において、モデル開発データのプロパティは、分析方法と、欠損データの割合、最小、最大、中央値、平均最頻値、歪度（skew）、分散、および全体的および時間的に限定されないその他の統計などの統計とに基づいて自動的に決定される。その他の実装において、変換規則は、訓練データの各列に関連付けられたメタデータに基づいて選択される。一部の実装において、このメタデータは、所定の規則に基づいて計算される。その他の実装において、メタデータは、統計に基づいて推測される。例えば、１００，０００以上の行にわたって低い欠損率を持つ変数が５つの異なる数値しか取らない場合、システム（例えば、１００、１１０）は、変数が分類的であると推測し、「ワンホット」エンコーディングに対応する変換規則を選択し、それによって一連の５つのブールフラグを生成して、モデリングデータにおいて元の低カーディナリティの値（low-cardinal value）をその数値によって置き換える場合がある。その他の実装において、変換規則は、（例えば、図１Ｂに示されるユーザインターフェースシステム１１９によって提供される）グラフィカルユーザインターフェース内のユーザのインジケーションによって選択される。

【0029】

一部の実装において、特徴検出モジュール１１１は、教師あり学習（例えば、ロジスティック回帰、逆伝播ニューラルネットワーク、ランダムフォレスト、決定木などを使用する）、教師なし学習（例えば、Ａｐｒｉｏｒｉアルゴリズム、ｋ平均クラスタリングなどを使用する）、半教師付き学習、強化学習（例えば、Ｑ学習アルゴリズム、時間差分学習（temporal difference learning）などを使用する）、および任意のその他の好適な学習スタイルのうちの１つまたは複数を含む任意の好適な機械学習プロセスを実行することによって規範的特徴を抽出する。一部の実装において、特徴検出モジュール１１１は、回帰アルゴリズム（例えば、通常最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所推定散布図平滑化（locally estimated scatterplot smoothing）など）、インスタンスベース法（instance-based method）（例えば、ｋ最近傍法、学習ベクトル量子化、自己組織化マップなど）、正則化法（例えば、リッジ回帰、最小絶対値縮小および選択演算子（least absolute shrinkage and selection operator）、エラスティックネット（elastic net）など）、決定木学習法（例えば、分類回帰木（classification and regression tree）、反復二分法３（iterative dichotomiser 3）、Ｃ４．５、カイ二乗自動相互作用検出（chi-squared automatic interaction detection）、決定株、ランダムフォレスト、多変量適応回帰スプライン、勾配ブースティングマシンなど）、ベイズ法（例えば、ナイーブベイズ、平均１依存推定器（averaged one-dependence estimator）、ベイジアン信念ネットワーク（Bayesian belief network）など）、カーネル法（例えば、サポートベクターマシン、放射基底関数、線形判別分析など）、クラスタリング法（例えば、ｋ平均クラスタリング、期待値最大化など）、関連規則学習アルゴリズム（例えば、Ａｐｒｉｏｒｉアルゴリズム、Ｅｃｌａｔアルゴリズムなど）、人工ニューラルネットワークモデル（例えば、パーセプトロン法、誤差逆伝播法（back-propagation method）、ホップフィールドネットワーク法、自己組織化マップ法、学習ベクトル量子化法など）、深層学習アルゴリズム（例えば、制限付きボルツマンマシン、深層信念ネットワーク（deep belief network）法、畳み込みネットワーク法、積層自己符号化器法など）、次元削減法（例えば、主成分分析、部分的最小二乗回帰、サモンマッピング（Sammon mapping）、多次元尺度構成、射影追跡など）、アンサンブル法（例えば、ブースティング、ブートストラップアグリゲーション（bootstrapped aggregation）、ＡｄａＢｏｏｓｔ、積層汎化（stacked generalization）、勾配ブースティングマシン法、ランダムフォレスト法など）、および任意の好適な形態の機械学習アルゴリズムのうちの１つまたは複数を含む任意の好適な機械学習プロセスを実行することによって規範的特徴を抽出する。一部の実装において、特徴検出モジュール１１１は、追加的または代替的に、確率的モジュール、発見的（heuristic）モジュール、決定的（deterministic）モジュール、または任意のその他の好適な計算方法、機械学習方法、もしくはそれらの組合せを利用する任意のその他の好適なモジュールを利用することができる。しかし、任意の好適な機械学習手法が、それ以外の方法で特徴検出モジュール１１１に組み込まれ得る。さらに、任意の好適なモデル（例えば、機械学習、非機械学習など）が、規範的特徴の検出において使用され得る。

【0030】

一部の変更形態において、特徴検出モジュール１１１は、複数の特徴検出器を含む。一部の変更形態において、特徴検出モジュール１１１は、各規範的特徴のための特徴検出器を含む。

【0031】

一部の変更形態において、特徴検出モジュール１１１は、システム１１０によってサポートされるすべての規範的特徴を検出する。一部の変更形態において、特徴検出モジュール１１１は、システム１１０によってサポートされる規範的特徴のうちの選択された規範的特徴を検出することによって選択的特徴検出を実行する。一部の実装において、特徴検出モジュール１１１は、モデル目的を特定する情報に基づいて、検出のための規範的特徴を選択する。一部の実装において、特徴検出モジュール１１１は、特定されたモデル目的に関連するモデル目的データに基づいて、検出のための規範的特徴を選択する。一部の実装において、特徴検出モジュール１１１は、特徴選択モジュール（例えば、１１２）から受信された情報に基づいて、検出のための規範的特徴を選択する。

【0032】

一部の変更形態において、特徴検出モジュール１１１は、特徴検出モジュール１１１によってアクセスされたデータ（例えば、生データ、ユーザシステムによって提供されたデータ、データソースから取り出されたデータなど）から訓練データを生成する。一部の変更形態において、特徴検出モジュール１１１は、ユーザインターフェースシステム１１９を介してユーザシステム（例えば、１３１）から受信された情報に基づいて、データソースからデータを自動的に取り出す。一部の実装において、特徴検出モジュール１１１によってユーザインターフェースシステム１１９を介してユーザシステムから受信される情報は、借り手の個人データ（名前、住所、政府ＩＤ番号（government ID number））、およびモデル目的の選択を特定する情報を含む。一部の実装において、特徴検出モジュール１１１は、ユーザシステムから受信されたデータに基づいて、様々なシステムおよびデータソース（例えば、１２１～１２３）から訓練データレコードを自動的に取り出す。一部の実装において、ユーザシステムから受信されるデータは、人口統計学的特徴、経済的特徴、および信用の特徴（credit characteristic）のうちの１つまたは複数によって特定されるユーザアカウントの集団のサンプルの借り手データを含む。

【0033】

一部の実装において、生成された訓練データは、特徴検出モジュール１１１によって検出された規範的特徴の列、およびそれぞれの値のみを含む。一部の実装において、生成された訓練データは、モデル生成モジュール１１３によって、モデル生成プロセス中にモデル（例えば、ユーザシステム、例えば、１３１による情報によって特定されたモデル目的に対応するモデル目的データ、例えば、１５０によって定義されるモデル）を訓練するために使用される。一部の変更形態において、特徴検出モジュール１１１は、訓練データが、モデルテンプレートによって入力として特定される規範的特徴のデータ、およびモデルテンプレートによって予測目標として特定される規範的特徴のデータのうちの少なくとも１つを含むように、モデル生成モジュール１１３によって使用されるモデルテンプレート用の訓練データを生成する。

【0034】

一部の変更形態において、特徴検出モジュール１１１は、選択された特徴、アクセスされたデータソース、アクセスされたデータのタイムスタンプ、検出された規範的特徴のタイムスタンプ、生成された訓練データの説明、データの範囲、検出された特徴に関連する統計データ、規範的特徴を生成するために適用された変換の名前および説明などのうちの少なくとも１つを特定する文書情報を生成し、記憶する。

【0035】

一部の変更形態において、ユーザインターフェースシステム１１９は、グラフィカルユーザインターフェース（例えば、ウェブインターフェース）を提供する。一部の変更形態において、グラフィカルユーザインターフェースは、ビジネス機能、例えば、モデル開発、モデル採用、およびのモデル運用によって編成された一連のモジュールを含む。一部の変更形態において、モデル採用モジュールは、モデルリスク、モデルコンプライアンス、およびビジネスインパクトを含むサブモジュールを含む。一部の変更形態において、ユーザインターフェースシステム１１９は、中間出力およびシステム（例えば、１１０）からの最終出力にアクセスするためのプログラミングインターフェース（例えば、アプリケーションプログラミングインターフェース（ＡＰＩ））を提供する。一部の変更形態において、ユーザインターフェースシステム１１９は、モデルバリエーションおよび詳細な変更ログを反映する監査ログおよびレポートを作成する。一部の変更形態において、ユーザインターフェースシステム１１９は、特定のユーザが特定のモジュールにのみアクセスすることができるロールベースのアクセスを提供する。一部の変更形態において、ユーザインターフェースシステム１１９は、モデルがユーザインターフェースシステム１１９から直接開発され、検証され、公開され得るように、ローン組成システム（ＬＯＳ）（例えば、１３２）、データアグリゲータ、および信用調査機関などの他のシステムと事前に統合される。このようにして、新しいモデルバリエーションが、より簡単にテストされ、それらがビジネスインパクトを生じ得る場所にデプロイされることが可能である。一部の変更形態において、ユーザインターフェースシステム１１９は、ビジネスインパクト監視ダッシュボード、モデル監視ダッシュボード、およびシステム監視ダッシュボードを含む監視ダッシュボードを含む。変更形態において、ビジネスインパクト監視ダッシュボードは、成約率、滞納率、ヴィンテージ損失曲線（vintage loss curve）、貸倒償却値、利息収入値、および前のモデルとの比較などのビジネス指標を含む。変更形態において、システム１１０は、その他の貸し手によって資金のない集団に与えられた履行ローン（performance loan）に基づいて、前のモデルと新しいモデルとの間の自動ＲＯＩ比較を実行するために、資金のない集団に関する新しいデータを自動的に収集する。

【0036】

一部の変更形態において、特徴選択モジュール１１２は、モデル目的を特定する情報に基づいて、１つまたは複数の規範的特徴を選択するように機能する。一部の実装において、特徴選択モジュール１１２は、ユーザインターフェースシステム（例えば、１１９）からモデル目的を特定する情報を受信する。一部の変更形態において、特徴選択モジュール１１２は、特定されたモデル目的に関連するモデル目的データに基づいて、１つまたは複数の規範的特徴を選択する。

【0037】

一部の変更形態において、特徴選択モデル１１２は、最大の利益をもたらすデータソースの組を選択するためにコスト情報を組み込む。

【0038】

一部の変更形態において、特徴選択モジュール１１２およびパラメータ選択モジュール１１４は、選択モジュールに含まれる。

【0039】

一部の変更形態において、モデル生成モジュール１１３は、モデル目的を特定する情報および（例えば、特徴検出モジュールによって生成される、データストアからアクセスされる、データソースからアクセスされるなどの）訓練データに基づいて、少なくとも１つのモデルを生成する。一部の変更形態において、モデル生成モジュール１１３は、特定されたモデル目的に関連する（例えば、１５０に記憶された）モデル目的データに基づいて、少なくとも１つのモデルを生成する。一部の変更形態において、モデル生成モジュール１１３は、パラメータ選択モジュール（例えば、１１４）から受信された情報（例えば、モデルテンプレート）に基づいて、少なくとも１つのモデルを生成する。一部の変更形態において、モデル生成モジュール１１３は、特徴選択モジュール（例えば、１１２）から受信された情報に基づいて、少なくとも１つのモデルを生成する。一部の実装において、モデル目的データは、モデルテンプレートを特定する。一部の実装において、各モデルテンプレートは、特徴検出モジュール１１１によって検出可能な規範的特徴を使用するモデルを定義する。一部の実装において、モデル生成モデル１１３は、特徴検出モジュール１１１によって検出可能な規範的特徴のみを使用するモデルを生成する。このようにして、モデルの生成は、規範的特徴を使用するモデルに制約され得る。

【0040】

生データを処理して規範的形式のデータを生成する特徴検出モジュール（例えば、１１１）を使用することによって、モデル生成モジュール（例えば、１１３）によって使用可能な規範的特徴の形式およびアイデンティティ（identity）を、事前に知ることができ、それによって、新しいモデルを生成するために使用され得るモデルテンプレートの生成を可能にすることができる。

【0041】

一部の変更形態において、モデル生成モジュール１１３は、特徴検出モジュール１１１によって出力されたデータ（訓練データ）を使用して、モデル生成モジュール１１３によって生成された少なくとも１つのモデルを訓練する。

【0042】

一部の変更形態において、モデル生成モジュール１１３は、教師あり学習（例えば、ロジスティック回帰、逆伝播ニューラルネットワーク、ランダムフォレスト、決定木などを使用する）、教師なし学習（例えば、Ａｐｒｉｏｒｉアルゴリズム、ｋ平均クラスタリングなどを使用する）、半教師付き学習、強化学習（例えば、Ｑ学習アルゴリズム、時間差分学習などを使用する）、および任意のその他の好適な学習スタイルのうちの１つまたは複数を含む任意の好適な機械学習プロセスを使用してモデルを生成するように機能する。一部の実装において、生成されたモデルは、回帰アルゴリズム（例えば、通常最小二乗法、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン、局所推定散布図平滑化など）、インスタンスベース法（例えば、ｋ再近傍法、学習ベクトル量子化、自己組織化マップなど）、正則化法（例えば、リッジ回帰、最小絶対値縮小および選択演算子、エラスティックネットなど）、決定木学習法（例えば、分類回帰木、反復二分法３、Ｃ４．５、カイ二乗自動相互作用検出、決定株、ランダムフォレスト、多変量適応回帰スプライン、勾配ブースティングマシンなど）、ベイズ法（例えば、ナイーブベイズ、平均１依存推定器、ベイジアン信念ネットワークなど）、カーネル法（例えば、サポートベクターマシン、放射基底関数、線形判別分析など）、クラスタリング法（例えば、ｋ平均クラスタリング、期待値最大化など）、関連規則学習アルゴリズム（例えば、Ａｐｒｉｏｒｉアルゴリズム、Ｅｃｌａｔアルゴリズムなど）、人工ニューラルネットワークモデル（例えば、パーセプトロン法、誤差逆伝播法、ホップフィールドネットワーク法、自己組織化マップ法、学習ベクトル量子化法など）、深層学習アルゴリズム（例えば、制限付きボルツマンマシン、深層信念ネットワーク法、畳み込みネットワーク法、積層自己符号化器法など）、次元削減法（例えば、主成分分析、部分的最小二乗回帰、サモンマッピング、多次元尺度構成、射影追跡など）、アンサンブル法（例えば、ブースティング、ブートストラップアグリゲーション、ＡｄａＢｏｏｓｔ、積層汎化、勾配ブースティングマシン法、ランダムフォレスト法など）、および任意の好適な形態の機械学習アルゴリズムのうちの１つまたは複数を実装し得る。一部の実装において、生成されたモデルは、追加的または代替的に、確率的モジュール、発見的モジュール、決定的モジュール、または任意のその他の好適な計算方法、機械学習方法、もしくはそれらの組合せを利用する任意のその他の好適なモジュールを利用することができる。しかし、任意の好適な機械学習手法が、それ以外の方法で、生成されたモデルに組み込まれ得る。さらに、任意の好適なモデル（例えば、機械学習、非機械学習など）が、生成され得る。

【0043】

一部の変更形態において、特徴選択モジュール１１２は、特徴検出モジュール１１１によって検出される特徴を選択するように機能する。一部の変更形態において、特徴選択モジュール１１２は、モデル生成モジュール１１３によって使用される特徴を選択するように機能する。一部の実装において、特徴選択モジュール１１２は、モデル目的を特定する情報（例えば、ユーザインターフェースシステム１１９を介して受信された情報）に基づいて特徴を選択する。一部の実装において、特徴選択モジュール１１２は、モデル生成中に使用される入力値の特徴および予測目標の特徴のうちの少なくとも１つを特定するモデルテンプレートに基づいて特徴を選択する。

【0044】

一部の変更形態において、パラメータ選択モジュール１１４は、（例えば、モデル生成モジュール１１３によって）モデル生成中に使用されるパラメータを選択するように機能する。一部の実装において、パラメータ選択モジュール１１４は、モデル目的を特定する情報（例えば、ユーザインターフェースシステム１１９を介して受信された情報）に基づいてパラメータを選択する。一部の実装において、パラメータ選択モジュール１１４は、モデル生成中に使用されるパラメータを特定するモデルテンプレートに基づいてパラメータを選択する。一部の実装において、パラメータ選択モジュール１１４は、（例えば、モデル生成モジュール１１３によって）モデル生成中に使用されるパラメータを特定する少なくとも１つのモデルテンプレートを選択する。一部の実装において、パラメータは、データソース、データセット、特徴、規範的特徴、予測目標、モデルタイプ、モデルパラメータ、およびハイパーパラメータのうちの少なくとも１つを含んでいた。

【0045】

変更形態において、パラメータ選択モジュール１１４は、モデルを訓練するために使用されるパラメータを決定し、モデル生成モジュール１１３は、訓練データおよび選択されたパラメータに基づいてモデルを生成する。一部の変更形態において、パラメータ選択モジュール１１４は、様々なパラメータを列挙し、一連のモデルを訓練し、次いでさらに、テストデータセット上で最大のモデル性能をもたらすパラメータを選択する。変更形態において、モデル性能は、曲線下面積（ＡＵＣ）、最大Ｋ－Ｓ（max K-S）、およびその他の統計に基づいて測定される。その他の変更形態において、モデル性能は、モデル目的および選択された目的に関連する経済分析方法によって決定される経済的成果に基づいて測定される。モデルパラメータを選択するための探索プロセスは、グリッド探索（grid search）、ベイズ探索（bayesian search）などの任意の普通の探索方法を使用することができる。システム（例えば、１００、１１０）は、モデル目的を利用して、（特徴選択モジュール１１２によって実行される）特徴選択プロセスおよび（パラメータ選択モジュール１１４によって実行される）モデルパラメータ探索プロセスを案内するために経済分析を適用し、それが、システムが（単に高い統計的性能ではなく）高い経済的性能をもたらすモデルを生成し、文書化することを可能にすることによる従来のシステムを本明細書において開示した。貸付においては、偽陽性（false positive）の経済的結果が偽陰性（false negative）に関する経済的結果と異なることが多い。したがって、開示されるシステムは、特定のモデル目的（例えば、自動車組成対クレジットカード組成）に対応する現実的な経済モデルに基づいて、この非対称性をモデル開発プロセスに組み込む新規の有用な方法を提供する。一例において、自動車ローンの特定の目的で、偽陰性は、実際にはユーザが返済しないときに、ユーザが返済するとモデルが予測する場合に対応する可能性がある。この場合、貸し手のコストは、オークションでの差し押さえた車の価格からコストを引いた額を未払いローン残高の値から引いた額になる。銀行カード（クレジットカード）に関しては、担保（差し押さえる車）がなく、したがって、実施形態において、偽陰性の経済的結果は、例えば、未払い残高、回収のコスト、および回収された額に基づいて異なる方法で計算される。同様に、実施形態において、銀行カード組成のモデル目的で、真陰性（true negative）（返済）の値は、期待される顧客のＬＴＶ（数カ月において残高を維持する顧客の割合に関する平均保有期間（tenure）および平均銀行カード残高に対する利息収入）に基づく可能性がある。自動車ローンに関して、真陰性（返済）の値は、ある特定のローンの利息収入に基づく可能性がある。これらの値は、これらが等しく評価されると仮定するのに対して、真陽性（true positive）、真陰性、偽陽性、および偽陰性の期待値を計算に組み込む、重み付けされたＦ値および重み付けされたＡＵＣなどの重み付けされた統計を生成するために使用され得る。任意の適切な統計が、この目的のために使用されてよい。このようにして、モデル開発プロセス中に、パラメータ選択モジュール１１４は、真陽性、真陰性、偽陽性、および偽陰性の異なる期待値をモデルパラメータを選択するプロセスに組み込むことができる。

【0046】

一部の変更形態において、モデル文書化モジュール１１８は、モデル文書化モジュールによって記憶されたデータ（および任意でシステム１１０のその他のモジュール（例えば、１１１～１１８、１４０、１４１）から受信されたデータ）に基づいてモデルの文書を生成する。一部の実装において、モデル文書化モジュール１１８は、モデル文書化モジュール１１８によって受信および／または記憶されたデータに基づいて、モデルリスク管理（ＭＲＭ）レポートを自動的に生成する。

【0047】

一部の変更形態において、モデル文書化モジュール１１８は、変数および特徴に関する事実を記憶する。一部の変更形態において、モデル文書化モジュール１１８は、特徴のタイプ（数値、カテゴリ、テキスト、画像）、変数の出所（例えば、どのデータベースか、どのクエリか、いつ取り出されたか）、どの変数が特徴に寄与するか（例えば、どの２つの変数の平均か、どの列内の最大か）、特徴がどのようにして計算されたか（人間が読める言語、例えば、英語で、およびコンピュータが実行可能なコードで）、カーディナリティ、ヒストグラム、分布、分析、主成分、異常、欠損データ、時系列、比較、特徴の理想値、および保護されたクラス（protected class）のプロキシ（proxy）（例えば、保護されたクラスを特定することができる変数、特徴、または変数と特徴との組合せ）を含む記述統計、視覚化、ならびに要約を示す情報を記憶する。一部の変更形態において、モデル文書化モジュール１１８は、モデルを開発するためにデータを誰がアップロードしたか、そのデータがいつアップロードされたか、モデルの入力、パラメータなどに誰によって、いつ、どんな変更が行われたか、モデルのレビュープロセス中にモデルのレビュー担当者によって追加されたコメント、およびユーザインターフェースによって編成された、モデル開発プロセスに関連するその他の重要な情報を含む、モデル開発プロセスについての事実を記憶する。

【0048】

一部の変更形態において、モデル文書化モジュール１１８は、訓練および検証データセット、使用されたモデリング方法／機械学習アルゴリズム、モデルチューニングパラメータ、モデルのスコア、モデルの評価および分析を限定なしに含む、モデルについての事実を記憶する。一部の変更形態において、モデル文書化モジュール１１８は、アンサンブルされたモデル内のサブモデルのリスト、モデルタイプ、入力される特徴のリスト、およびモデルまたはサブモデルのハイパーパラメータ、パラメータ選択方法および結果、モデル性能指標、モデルまたはサブモデルの特徴の寄与を示す情報を記憶する。一部の変更形態において、特徴の寄与は、特徴の説明、および記述統計、およびメタデータにリンクされる。一部の変更形態において、モデル文書化モジュール１１８は、（アンサンブルモデルに関して）アンサンブル方法、サブモデル、サブモデルの重み、ならびにサブモデルに関するスコアリング関数、およびアンサンブルに関するスコアリング関数を示す情報を記憶する。一部の変更形態において、モデル文書化モジュール１１８は、全体およびセグメントごとのモデルスコアおよび性能統計の分布に関連する情報を記憶する。その他の変更形態において、モデル文書化モジュール１１８は、アンサンブルの特徴の寄与についての情報を記憶する。一部の変更形態において、モデル文書化モジュール１１８は、２０１９年４月２５日に出願された米国特許出願第１６／３９４，６５１号明細書（「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＮＲＩＣＨＩＮＧ ＭＯＤＥＬＩＮＧ ＴＯＯＬＳ ＡＮＤ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ ＷＩＴＨ ＳＥＭＡＮＴＩＣＳ」）に記載されているように、知識リポジトリを含み、この米国特許出願の内容は、本明細書に組み込まれる。

【0049】

一部の変更形態において、モデル評価モジュール１１５は、モデル生成モジュール１１３によって生成された少なくとも１つのモデルを評価するように機能する。一部の変更形態において、モデル評価モジュール１１５は、モデル生成モジュール１１３によって生成された少なくとも１つのモデルに関する精度分析を実行する。一部の変更形態において、精度分析は、テストデータセットに対する最大Ｋ－Ｓ、ジニ係数、またはＡＵＣ統計を計算することを含む。一部の変更形態において、テストデータセットは、時間外ホールドアウトデータセット（out-of-time hold-out data set）（時間的にモデル開発データより後の期間からのデータセット）である。一部の変更形態において、モデル評価モジュール１１５は、テストデータのサブセットに関する統計、例えば、日、週、月ごとのＫ－ＳおよびＡＵＣを計算する。一部の変更形態において、前週比の（week over week）ＡＵＣの分散など、ばらつきの指標が、経時的にこれらの精度指標に関して計算される。一部の変更形態において、モデル評価モジュール１１５は、モデルを別のモデルまたは方法と比較し、（パラメータ選択モジュール１１４に関連して本明細書に記載されているように）モデル目的に基づいて新しいモデルを採用することの経済的影響を推定する経済分析を実行する。一部の変更形態において、モデル評価モジュール１１５は、モデル生成モジュール１１３によって生成された少なくとも１つのモデルに関する公平貸付差別的効果分析（fair lending disparate impact analysis）を実行する。一部の変更形態において、モデル評価モジュール１１５は、２０２０年３月１８日に出願された米国特許出願第１６／８２２，９０８号明細書（「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＭＯＤＥＬ ＦＡＩＲＮＥＳＳ」）に記載の方法を使用して公平貸付差別的効果分析を実行し、この米国特許出願の内容は、本明細書に組み込まれる。一部の変更形態において、評価モジュール１１５は、評価結果をモデル文書化モジュール１１８に記憶する。

【0050】

一部の変更形態において、モデル選択モジュール１１６は、モデル評価モジュール１１５の結果に基づいて、生成モジュール１１３によって生成された少なくとも１つのモデルを選択する。例えば、生成モジュール１１３は、複数のモデルを生成することができ、評価モジュールは、公平貸付差別的効果分析、精度分析、および経済的影響分析に基づいて各モデルを評価することができ、選択モジュール１１６は、経済性、精度、および公平性に関する制約（例えば、ユーザインターフェースシステム１１９を介して与えられた制約）を満たすモデルを選択することができる。一部の変更形態において、モデル選択モジュール１１６は、モデル文書化モジュール１１８に選択結果（および任意で、選択の理論的根拠、例えば、選択において使用された経済性、精度、および公平性の分析結果）を記憶する。

【0051】

一部の変更形態において、モデル実行モジュール１４０は、モデル生成モジュール１１３によって生成された少なくとも１つのモデルを実行するように機能する。一部の変更形態において、モデル実行モジュール１４０は、特徴検出モジュール１１１によって出力されたデータを入力データとして使用することによってモデル生成モジュール１１３によって生成された少なくとも１つのモデルを実行する。一部の実装において、モデル実行モジュール１４０によって実行される各モデルは、特徴検出モジュール１１１から入力データを受信する。このようにして、特徴検出モジュール１１１は、モデルの実行中に使用される生データの前処理を実行する。一部の変更形態において、モデルの実行中に、生入力データが、特徴検出モジュール１１１によって受信され、特徴検出モジュール１１１が、生データを処理し、この処理されたデータが、モデル実行モジュール１４０によって実行されている１つのモデル（または複数のモデル）に入力として提供される。

【0052】

一部の変更形態において、出力説明モジュール１１７は、モデル実行モジュール１４０によって実行されているモデルによって生成された出力に関する説明情報を生成するように機能する。一部の変更形態において、出力説明モジュール１１７は、Ｄｏｕｇｌａｓ Ｃ．Ｍｅｒｒｉｌｌらによる、「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＭＯＤＥＬ ＥＸＰＬＡＩＮＡＢＩＬＩＴＹ ＩＮＦＯＲＭＡＴＩＯＮ ＢＹ ＵＳＩＮＧ ＤＥＣＯＭＰＯＳＩＴＩＯＮ」と題された、２０１９年３月８日に出願された米国特許出願第１６／２９７，０９９号明細書に記載の方法を実行することによって説明情報を生成するように機能し、この米国特許出願の内容は、本明細書に組み込まれる。一部の変更形態において、出力説明モジュール１１７は、２０１９年１１月１９日に出願された米国特許出願第１６／６８８，７８９号明細書（「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＥＣＯＭＰＯＳＩＴＩＯＮ ＯＦ ＤＩＦＦＥＲＥＮＴＩＡＢＬＥ ＡＮＤ ＮＯＮ－ＤＩＦＦＥＲＥＮＴＩＡＢＬＥ ＭＯＤＥＬＳ」）に記載の方法を実行することによって説明情報を生成するように機能し、この米国特許出願の内容は、参照により組み込まれる。一部の変更形態において、出力説明モジュール１１７は、２０２０年３月１８日に出願された米国特許出願第１６／８２２，９０８号明細書（「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＭＯＤＥＬ ＦＡＩＲＮＥＳＳ」）に記載の方法を実行することによって説明情報を生成するように機能し、この米国特許出願の内容は、本明細書に組み込まれる。

【0053】

一部の変更形態において、説明モジュール１１７は、モデル実行モジュール１４０によって実行されているモデルによって生成された出力に関するＦＣＲＡ不利益行為理由コード（Adverse Action Reason Codes）を生成する。

【0054】

一部の変更形態において、監視モジュール１４１は、生成中の少なくとも１つのモデルの性能を監視するように機能する。一部の変更形態において、監視モジュール１４１は、２０１９年４月２５日に出願された米国特許出願第１６／３９４，６５１号明細書（「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＥＮＲＩＣＨＩＮＧ ＭＯＤＥＬＩＮＧ ＴＯＯＬＳ ＡＮＤ ＩＮＦＲＡＳＴＲＵＣＴＵＲＥ ＷＩＴＨ ＳＥＭＡＮＴＩＣＳ」）に記載の方法を実行することによって監視し、この米国特許出願の内容は、本明細書に組み込まれる。一部の変更形態において、監視モジュール１４１は、文書化モジュール１１８によって記憶されたデータ、実行モジュール１４０によって提供されたデータ、および説明モジュール１１７によって提供されたデータのうちの少なくとも１つに基づいて監視を実行する。

【0055】

一部の変更形態において、監視モジュール１４１は、生成中の少なくとも１つのモデルの経済的性能を監視するように機能する。変更形態において、経済的性能が、モデル目的と、顧客のシステムから収集された性能データとに基づいて計算され、成約率、推定された債務不履行率、推定された損失、推定された利益、実際の債務不履行率、実際の損失、および実際の利益を含む。その他の変更形態において、経済的性能の監視は、顧客がその元のモデルを生成させたままにしていたらどうなっていたかを考察する反実仮想のシナリオを算出することを含む。変更形態において、ローン組成を目的としたモデルに関する反実仮想の経済的シナリオを計算する方法は、新しいモデルによって拒否されたが、古いモデルによって受け入れられたであろうローンの申し込みについてのデータを信用調査機関およびその他のデータソースから取り出すことを含む。その他の反実仮想の経済分析方法が、異なる目的を有するモデルのために採用される。このようにして、本明細書において開示される監視方法は、システムがサポートする複数のモデル目的のための意味のあるビジネス結果監視出力を生成するために、モデル目的と、モデル開発および評価プロセス中に収集されたデータとの知識を組み込むことによって現況技術を改善する。

【0056】

３．方法
図２Ａに示されるように、方法２００は、データにアクセスすること（Ｓ２１０）と、特徴を検出すること（Ｓ２２０）と、少なくとも１つのモデルを生成すること（Ｓ２３０）と、少なくとも１つのモデルを評価すること（Ｓ２４０）と、少なくとも１つのモデルを実行すること（Ｓ２５０）と、ビジネス分析情報を生成すること（Ｓ２６０）と、少なくとも１つのモデルに関する説明情報を生成すること（Ｓ２７０）と、少なくとも１つのモデルを監視すること（Ｓ２８０）と、少なくとも１つのモデルに関する文書情報を生成すること（Ｓ２９０）とのうちの少なくとも１つを含む。図４は、方法２００の実施の概略図を示す。

【0057】

一部の変更形態において、システム１００の少なくとも１つの構成要素が、方法２００の少なくとも一部を実行する。

【0058】

一部の変更形態において、機械学習プラットフォーム１１０が、方法２００の少なくとも一部を実行する。一部の変更形態において、システム１１０の少なくとも１つの構成要素が、方法２００の少なくとも一部を実行する。

【0059】

一部の実装において、クラウドベースのシステムが、方法２００の少なくとも一部を実行する。一部の実装において、ローカルデバイスが、方法２００の少なくとも一部を実行する。

【0060】

一部の変更形態において、データにアクセスすることＳ２１０は、ユーザシステム（例えば、１３１～１３３）およびユーザシステムの外部にあるデータソース（例えば、１２１～１２３）（例えば、信用調査機関のシステムなど）のうちの少なくとも１つのデータにアクセスするように機能する。一部の変更形態において、特徴検出モジュール１１１が、Ｓ２１０の少なくとも一部を実行する。一部の変更形態において、ユーザインターフェースシステム１１９が、Ｓ２１０の少なくとも一部を実行する。

【0061】

データにアクセスすることＳ２１０は、図２Ｂに示されるユーザデータにアクセスすることＳ２１１、目的を特定することＳ２１２、および文書情報を生成することＳ２１３のうちの少なくとも１つを含み得る。

【0062】

ユーザデータにアクセスすることＳ２１１は、ユーザシステム（例えば、図１Ｂに示される１３１～１３３）またはユーザシステムによって特定されたデータソースのユーザデータにアクセスすることを含み得る。

【0063】

目的を特定することＳ２１２は、システム（例えば、１１０）によって生成されるモデルの目的を特定するように機能する。一部の変更形態において、システム１１０（例えば、ユーザインターフェースシステム１１９）が、ユーザシステム（例えば、１３１）によって提供された情報から目的を特定する。変更形態において、システム１１０が、ユーザインターフェースシステム（例えば、１１９）を介してモデル目的のユーザの選択を特定する情報を受信する。図５は、モデル目的に関するユーザ入力（「モデルタイプ」、「商品ライン」）を受け取る例示的なユーザインターフェースを示す。一部の変更形態において、システム１１０が、モデルを生成するために使用されるデータ（例えば、訓練データ）を処理することによって目的を特定する。例えば、システム１１０は、ローン組成システム（例えば、１３２）からデータを受信し、受信されたデータを処理してモデル目的を特定することができる。ローン組成データは、データが自動車ローンのデータであることを特定することができ、システム１１０は、モデル目的を「自動車ローン」と自動的に特定することができる。例えば、データは、ローンの対象である自動車を特定するデータを含むことができ、この情報が、データが「自動車ローン」に関連すると推測するために使用され得る。しかし、モデル目的を特定するための任意の好適なプロセスが、システム１１０によって実行され得る。

【0064】

変更形態において、Ｓ２１２で目的を特定することは、特定されたモデル目的に関連付けて記憶されているモデル目的データにアクセスすることを含む。一部の実装において、モデル目的データは、モデル目的データストア（例えば、１５０）から（直接または間接的に）アクセスされる。

【0065】

文書を生成することＳ２１３は、Ｓ２１０の間に実行されたプロセスに関連する文書情報を生成するように機能する。変更形態において、文書情報は、モデル文書化モジュール１１８によって管理される。

【0066】

一部の変更形態において、特徴を検出することＳ２２０は、Ｓ２１０においてアクセスされたデータから訓練データを生成することを含む。一部の変更形態において、特徴を検出することＳ２２０は、特徴を検出することと、検出された特徴を含む訓練データを生成することとを含む。一部の変更形態において、特徴検出モジュール１１１が、Ｓ２２０の少なくとも一部を実行する。

【0067】

特徴を検出することＳ２２０は、図２Ｃに示されるように、特徴を選択することＳ２２１、アクセスされたデータから規範的特徴を検出することＳ２２２、および文書情報を生成することＳ２２３のうちの少なくとも１つを含み得る。

【0068】

特徴を選択することＳ２２１は、システム１１０によって（例えば、特徴検出モジュール１１１を使用することによって）検出される特徴を選択するように機能する。一部の実装において、特徴選択モジュール１１２が、特徴選択モジュール１１２に関連して本明細書において説明されるように、特徴の選択を実行する。一部の実装において、規範的特徴が、Ｓ２２１において選択される。一部の実装において、特徴は、Ｓ２１２において特定された目的に関連する（例えば、１５０に記憶された）モデル目的データに基づいて（例えば、特徴選択モジュール１１２によって）選択される。一部の実装において、モデル目的データは、本明細書において説明されるように、モデルテンプレートを含む。

【0069】

規範的特徴を検出することＳ２２２は、Ｓ２１０においてアクセスされたデータから少なくとも１つの規範的特徴を検出するように機能する。一部の変更形態において、特徴検出モジュール１１１が、（特徴検出モジュール１１１に関連して本明細書において説明されるように）Ｓ２２２を実行する。一部の変更形態において、Ｓ２２２は、Ｓ２２１において選択された規範的特徴を検出することを含む。一部の変更形態において、Ｓ２２２は、Ｓ２２１において選択された規範的特徴のみを検出することを含む。一部の実装において、複数の特徴検出器が、Ｓ２２２を実行するために使用される。一部の変更形態において、Ｓ２２２は、検出された規範的特徴から訓練データを生成することを含む。

【0070】

Ｓ２２３において文書情報を生成することは、Ｓ２２０の間に実行されたプロセスに関連する文書情報を生成するように機能する。一部の実装において、文書情報は、モデル文書化モジュール１１８によって管理される。

【0071】

モデルを生成することＳ２３０は、図２Ｄに示されるように、モデルタイプを選択することＳ２３１、検出された特徴に基づいてモデルを生成することＳ２３２、パラメータを選択することＳ２３３、およびモデル生成に関連する文書情報を生成することＳ２３４のうちの少なくとも１つを含み得る。一部の変更形態において、モデル生成モジュール１１３が、Ｓ２３０の少なくとも一部を実行する。

【0072】

モデルを生成することＳ２３０は、Ｓ２１２において特定された目的に関連する（例えば、１５０に記憶された）モデル目的データ（例えば、モデルテンプレート）によって特定されたパラメータに基づいてモデルを生成することと、Ｓ２２０において生成された訓練データを使用することによってモデルを訓練することとを含み得る。

【0073】

一部の変更形態において、Ｓ２３１でモデルタイプを選択することは、（例えば、１５０に記憶された）モデル目的データ（例えば、モデルテンプレート）に基づいてモデルタイプを選択することを含む。

【0074】

一部の変更形態において、検出された特徴に基づいてモデルを生成することＳ２３２は、入力される特徴として、特徴検出モジュール１１１によって検出可能な特徴のみを含むようにモデルを定義することを含む。一部の変更形態において、Ｓ２３２は、予測目標として、特徴検出モジュール１１１によって検出可能な特徴のみを含むようにモデルを定義することを含む。

【0075】

一部の変更形態において、モデルパラメータを選択することＳ２３３は、ハイパーパラメータ、特徴の重みなどのうちの少なくとも１つを選択することを含む。一部の変更形態において、モデルパラメータは、（例えば、１５０に記憶された）モデル目的データ（例えば、モデルテンプレート）に基づいて選択される。一部の変更形態において、モデルパラメータは、（例えば、１５０に記憶された）モデル目的データに関連するモデルの経済分析方法に基づいて選択される。一例において、モデル目的データは、少なくとも１つのモデル目的に関して、モデル目的のために生成されたモデルのために実行される経済分析方法に関連するモデルパラメータを特定する。例えば、自動車ローン組成の目的で、モデル目的データは、自動車ローン組成に関連するビジネス分析を可能にするモデルパラメータを特定する。

【0076】

Ｓ２３４において文書情報を生成することは、Ｓ２３０の間に実行されたプロセスに関連する文書情報を生成するように機能する。一部の実装において、生成された文書情報は、モデル文書化モジュール１１８によって管理される。

【0077】

変更形態において、Ｓ２３０で生成されるモデルは、任意の好適なタイプのモデルであることが可能である。Ｓ２３０において生成されるモデルは、微分可能なモデル、微分不可能なモデル、および（任意の好適なアンサンブル関数を使用してアンサンブルされた、微分可能なモデルと微分不可能なモデルとの任意の組合せを含み得る）アンサンブルを含み得る。

【0078】

第１の例において、Ｓ２３０で生成されるモデルは、ベース入力信号（base input signal）を処理することによってベーススコア（base score）を出力する勾配ブースティング木フォレストモデル（ＧＢＭ：gradient boosted tree forest model）を含む。

【0079】

第２の例において、Ｓ２３０で生成されるモデルは、ベース入力信号を処理することによって出力を生成する勾配ブースティング木フォレストモデルを含む。ＧＭＢの出力は、平滑化された経験累積分布関数（ＥＣＤＦ）によって処理され、平滑化されたＥＣＤＦの出力が、モデル出力（パーセンタイルスコア）として提供される。

【0080】

第３の例において、Ｓ２３０で生成されるモデルは、それぞれがベース入力信号から出力を生成するサブモデル（例えば、勾配ブースティング木フォレストモデル、ニューラルネットワーク、および極端ランダムフォレスト（extremely random forest）モデル）を含む。各サブモデルの出力は、モデル出力（パーセンタイルスコア）を生成するために線形スタッキング関数（linear stacking function）を使用することによってアンサンブルされる。

【0081】

第４の例において、Ｓ２３０で生成されるモデルは、それぞれがベース入力信号から出力を生成するサブモデル（例えば、勾配ブースティング木フォレストモデル、ニューラルネットワーク、および極端ランダムフォレストモデル）を含む。各サブモデルの出力は、線形スタッキング関数を使用することによってアンサンブルされる。線形スタッキング関数の出力は、平滑化されたＥＣＤＦによって処理され、平滑化されたＥＣＤＦの出力が、モデル出力（パーセンタイルスコア）として提供される。

【0082】

第５の例において、Ｓ２３０で生成されるモデルは、それぞれがベース入力信号から出力を生成するサブモデル（例えば、勾配ブースティング木フォレストモデルおよびニューラルネットワーク）を含む。各サブモデルの出力（およびベース信号自体）は、深層スタッキングニューラルネットワーク（deep stacking neural network）を使用することによってアンサンブルされる。深層スタッキングニューラルネットワークの出力は、平滑化されたＥＣＤＦによって処理され、平滑化されたＥＣＤＦの出力が、モデル出力（パーセンタイルスコア）として提供される。

【0083】

しかし、モデルは、任意の好適なタイプのモデルであることが可能であり、任意の好適な構成で配置された任意の適切なサブモデルを、任意の好適なアンサンブルおよびその他の処理関数とともに含み得る。

【0084】

モデルを評価することＳ２４０は、Ｓ２３０において生成されたモデルを評価し、モデルの評価情報を生成するように機能する。一部の変更形態において、モデル評価モジュール１１５が、Ｓ２４０の少なくとも一部を実行する。

【0085】

一部の変更形態において、Ｓ２４０でモデルを評価することは、本明細書において説明されるように、Ｓ２３０で生成された少なくとも１つのモデルに関する精度分析を実行することを含む。変更形態において、評価情報は、精度分析の結果を含む。

【0086】

一部の変更形態において、モデルを評価すること（Ｓ２４０）は、Ｓ２３０で生成された少なくとも１つのモデルに関する経済分析情報を生成することを含む。一部の変更形態において、経済分析情報は、モデル目的およびモデルまたは方法の比較に基づいて生成される。一部の変更形態において、経済分析情報を生成することは、Ｓ２３０において生成されたモデルに関して少なくとも１つのビジネス指標の値を計算することを含む。一部の実装において、（Ｓ２１２でアクセスされた）モデル目的データは、モデル目的に関連する各ビジネス指標を定義し、これらのビジネス指標の値が、Ｓ２３０で生成されたモデルについて（Ｓ２４０で）計算される。一部の実装において、少なくとも１つのビジネス指標の値が、Ｓ２１２で特定された目的のために使用される元のモデルに関しても計算される。一部の実装において、元のモデルに関するビジネス指標値が、Ｓ２３０で生成されたモデルに関する対応するビジネス指標値と比較される。一部の実装において、元のモデルに関するビジネス指標値と、Ｓ２３０で生成されたモデルに関するビジネス指標値との間の比較結果が、生成される経済分析情報に含められる。

【0087】

一例において、Ｓ２４０で経済分析を実行することは、Ｓ２３０で生成されたモデルのデプロイされたインスタンスに関するビジネス指標の推定された値を特定する経済分析情報を生成することを含む。Ｓ２４０において推定される例示的なビジネス指標は、ローン総額、新規顧客、顧客獲得コスト、利息収入、損失率、損失額、粗利益、および純利益のうち１つまたは複数を含む。

【0088】

例えば、自動車ローンにおいては、ビジネス報告出力が、古いモデルから新しいモデルへの切り替えに基づくビジネスの成果を含む。変更形態において、ビジネスの成果は、（成約率を一定にする）新しいモデルの推定された債務不履行率を含む。その他の変更形態において、ビジネスの成果は、リスクを一定にする推定された成約率、貸倒償却額の見通し、利息収入の見通し、ならびに資産情報および減価償却式に基づく回収の見通しのうちの１つまたは複数を含む。一部の変更形態において、複数のモデルバリエーションからの推定されたビジネスの成果が比較され、文書化される。

【0089】

一部の変更形態において、Ｓ２４０でモデルを評価することは、本明細書において説明されるように、Ｓ２３０で生成された少なくとも１つのモデルに関する公平貸付差別的効果分析を実行することを含む。変更形態において、評価情報は、公平貸付差別的効果分析の結果を含み、様々なシナリオの下での公平性の指標およびビジネスの成果を含む。シナリオは、ユーザが、ユーザインターフェース（例えば、１１９）を介して、どのモデルを選択すべきかを選択し、ユーザの選択の理由を文書化するのに役立つ。

【0090】

一部の変更形態において、モデルを評価することＳ２４０は、Ｓ２４０で生成されたモデル評価結果に基づいて、Ｓ２３０で生成された少なくとも１つのモデルを（例えば、モデル選択モジュール１１６を使用することによって）選択することを含む。図６は、Ｓ２４０において生成されたモデル評価結果（「精度」、「公平性」、「節約（Saving）（損失の削減）」）に基づいて、モデル（「自動車２０２０バージョン２」）を選択するための例示的なユーザインターフェースを示す。

【0091】

一部の変更形態において、Ｓ２４０でモデルを評価することは、Ｓ２４０の間に実行されたプロセスに関連する文書情報を生成することを含む。変更形態において、文書は、生成された評価情報を含む。一部の実装において、文書情報は、モデル文書化モジュール１１８によって管理される。

【0092】

Ｓ２５０においてモデルを実行することは、Ｓ２３０において生成されたモデルを実行するように機能する。一部の変更形態において、モデル実行モジュール１４０が、Ｓ２５０の少なくとも一部を実行する。一部の変更形態において、Ｓ２５０は、Ｓ２３０で生成された少なくとも１つのモデルを実行することを含む。一部の変更形態において、Ｓ２５０は、特徴検出モジュール１１１によって出力されたデータを入力データとして使用することによってモデル生成モジュール１１３によって生成された少なくとも１つのモデルを実行することを含む。一部の実装において、Ｓ２５０で実行される各モデルは、特徴検出モジュール１１１から入力データを受信する。このようにして、特徴検出モジュール１１１は、（Ｓ２５０における）モデルの実行中に使用される生データの前処理を実行する。一部の変更形態において、モデルの実行中に、生入力データが、特徴検出モジュール１１１によって受信され、特徴検出モジュール１１１が、生データを処理し、この処理されたデータが、Ｓ２５０において実行されている１つのモデル（または複数のモデル）に入力として提供される。

【0093】

一部の変更形態において、Ｓ２５０は、Ｓ２３０で生成された少なくとも１つのモデルを使用することによって少なくとも１つのモデル出力を生成することを含む。変更形態において、Ｓ２５０は、ユーザインターフェースを介してユーザによって指定された申請者の変更など、ユーザが指定したシナリオに関するモデルの結果を検証する目的でモデル出力を生成することを含む。

【0094】

一部の変更形態において、Ｓ２５０は、Ｓ２５０の間に実行されたプロセスに関連する文書情報を生成することを含む。一部の実装において、文書情報は、モデル文書化モジュール１１８によって管理される。

【0095】

Ｓ２６０においてビジネス分析情報を生成することは、（例えば、Ｓ２５０において）デプロイされたモデルによって生成されたモデル出力を使用することによってビジネス分析情報を生成するように機能する。変更形態において、ビジネス分析情報を生成することは、Ｓ２５０においてデプロイされた１つのモデル（または複数のモデル）によって生成された出力を使用することによって組成されたローンに関連する、成約率、滞納率、ヴィンテージ損失曲線、貸倒償却値、および利息収入値のうちの１つまたは複数を特定することを含む。変更形態において、（Ｓ２１２でアクセスされる）モデル目的情報が、少なくとも１つのビジネス分析プロセスを定義し、システム（例えば、１１０）が、アクセスされたモデル目的情報によって定義される少なくとも１つのビジネス分析プロセスを実行することによって（Ｓ２６０で）ビジネス分析情報システムを生成する。このようにして、ビジネス分析が、（Ｓ２１２で特定された）特定されたモデル目的に従って実行され、ビジネス分析が、特定のモデル目的に合わせて仕立てられ得る。変更形態において、ユーザは、ユーザインターフェースを介してビジネス分析の入力を提供する。システムは、１組の所定の規則またはモデルに基づき、ビジネスの目的およびモデル開発データに基づいてビジネス入力（business input）の良好なデフォルト値を提供する。ユーザは、例えば、債務不履行の平均総コスト、平均利息収入、顧客生涯価値、ならびに収益性などの様々なビジネス指標の計算に入るその他の値およびコストを提供することによって、ユーザの特定のビジネス状況に基づいて、ビジネス入力のデフォルト値を修正し得る。文書モデルは、ユーザによって選択された方法および仮定を文書に反映する。

【0096】

Ｓ２７０は、Ｓ２５０において生成されたモデル出力に関する説明情報を生成するように機能する。一部の変更形態において、出力説明モジュール１１７が、Ｓ２７０の少なくとも一部を実行する。一部の変更形態において、Ｓ２７０は、出力説明モジュール１１７に関連して本明細書において説明されるように、説明情報を生成することを含む。一部の変更形態において、Ｓ２７０は、Ｓ２５０で生成された出力に関するＦＣＲＡ不利益行為理由コードを生成することを含む。一部の変更形態において、Ｓ２６０は、個々の入力される特徴からより広い理由コードにマッピングすること、および同じ理由コードに属する個々の入力される特徴の寄与を集約することに基づいて、Ｓ２５０で生成された出力に関するＦＣＲＡ不利益行為理由コードを生成することを含む。

【0097】

一部の変更形態において、Ｓ２７０は、Ｓ２７０の間に実行されたプロセスに関連する文書情報を生成することを含む。一部の実装において、文書情報は、モデル文書化モジュール１１８によって管理される。

【0098】

Ｓ２８０は、Ｓ２５０において実行されている少なくとも１つのモデルを監視するように機能する。一部の変更形態において、モデル監視モジュール１４１が、Ｓ２８０の少なくとも一部を実行する。一部の変更形態において、Ｓ２８０は、監視モジュール１４１に関連して本明細書において説明されるように、生成中の少なくとも１つのモデルの性能を監視することを含む。一部の変更形態において、Ｓ２８０は、特徴ドリフト（feature drift）、予想外の入力、予想外の出力、集団安定性（population stability）、予想外の経済的性能などのうちの少なくとも１つを検出するように機能する。一部の変更形態において、Ｓ２８０の機能は、特徴ドリフト、予想外の入力、予想外の出力、集団安定性、経済的性能などのうちの少なくとも１つを検出することに応じて、少なくとも１つのシステム（例えば、図１Ｂに示される１３１～１３３）にアラートを提供する。変更形態において、Ｓ２８０は、モデル開発データのプロパティおよびモデル目的に基づいて監視出力の重要度を評価する。一部の変更形態において、監視結果の重要度を評価するための基準は、モデルに基づく。変更形態において、重要度の評価は、さらに注意を払う必要がある重要な監視出力が生成されたことを示すアラートをユーザに送信すべきかどうかを判定するために使用される。このようにして、ユーザは、例えば、新しいデータまたは観測結果に基づいてモデルを作り直すことによって、特徴ドリフトの多発または予想外の経済的性能が生じるときに是正措置を講じてよい。変更形態において、アラートが、アラートを引き起こした状態を修正するためのプロセスをユーザに案内するユーザインターフェースにつながる。変更形態において、このプロセスは、モデル目的、モデル開発データのプロパティ、およびビジネス分析の入力に基づいて構成される。

【0099】

一部の変更形態において、Ｓ２９０において文書を生成することは、方法２００の実行中に（例えば、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６０、およびＳ２７０において）生成された文書情報の少なくとも一部を提供することを含む。一部の実装において、文書は、Ｓ２４０において生成された評価情報を含む。一部の実装において、文書は、Ｓ２５０において生成されたビジネス分析情報を含む。一部の実装において、文書は、Ｓ２７０において生成された説明情報を含む。一部の実装において、文書は、Ｓ２８０において生成された監視情報を含む。一部の変更形態において、モデル文書化モジュール１１８が、Ｓ２９０の少なくとも一部を実行する。一部の変更形態において、ユーザインターフェースシステム１１９が、Ｓ２９０の少なくとも一部を実行する。一部の変更形態において、Ｓ２９０は、モデルリスク管理（ＭＲＭ）レポートをユーザシステム（例えば、１３１）に提供するように機能する。

【0100】

一部の変更形態において、ユーザインターフェースシステム１１９は、ユーザシステム１３１の既存のシステムまたはプロセスを使用することによるローンの生成および管理の結果として生じるローン組成のコストおよび利益を特定する情報、ならびにシステム１１０によって生成されたモデルを使用することによって予測されたローン組成のコストおよび利益を特定する情報をユーザシステム１３１に提供する。例えば、システム１１０は、ユーザシステムの（例えば、ＬＯＳ１３２の）ローン組成データ（および関連するデータ）にアクセスし、債務不履行による実際の損失を特定し、システム１１０によって生成されたモデルが実際の損失をもたらすローンを承認したであろうかどうかを判定し、（システム１１０によって生成された）モデルがユーザシステムによって処理されるローンを承認するために使用されていたならば実現されたであろう予測された債務不履行の損失を決定することができる。このようにして、ユーザシステムを管理するエンティティは、プラットフォーム１１０によって生成されたモデルの使用が債務不履行の損失を減らすことになったかどうかを知ることができる。別の例として、システム１１０は、エンティティによって拒否されたが、モデルを使用することによって承認されたであろうローンの申し込みを特定し、これらのローンを承認することに関連する利益および債務不履行を予測することができる。このようにして、エンティティは、債務不履行のリスクを同時に管理しながらより多くのローンを承認する（結果として利益を増やす）ためにモデルが使用され、それによって、利益を増やすことが可能であるどうかを知ることができる。

【0101】

変更形態において、ユーザインターフェースシステム１１９は、モデルのリスクおよびコンプライアンスチーム（model risk and compliance teams）がモデルリスク管理レポートにコメントし、記録され、重大性によってカテゴリ分けされ、レビューのためにモデルを準備しているユーザに自動的に送られる文書によるフィードバックを提供することを可能にする機能を提供する。変更形態において、このフィードバックは、さらにモデル文書化モジュール１１８において取り込まれ、管理される。変更形態において、複数の利害関係者がモデルをレビューし、レビューのためにモデルを準備するユーザにフィードバックを提供するモデルレビュープロセスが促進される。その他の変更形態において、このフィードバックが、モデルを修正するために使用される。一部の変更形態において、ユーザインターフェースシステム１１９は、入力される特徴を減らすこと、単調性制約を追加すること、異なる訓練データを選択すること、不利益行為理由コードのマッピングを修正することなどを含むモデルの修正を容易にする。そのようなモデルの修正は、モデル文書化モジュール１１８およびモデルの文書にやはり反映される。

【0102】

一部の変更形態において、システム１１０は、１つまたは複数のハードウェアデバイスによって実装される。図３は、例示的なハードウェアデバイス３００のアーキテクチャの概略図を示す。

【0103】

一部の変更形態において、システム１１０を実装するハードウェアデバイス（例えば、図３に示される３００）は、プロセッサ３０３Ａ～Ｎ、メインメモリ３２２（例えば、ランダムアクセスメモリ（ＲＡＭ））、読み出し専用メモリ（ＲＯＭ）３０４、プロセッサ可読ストレージ媒体３０５、およびネットワークデバイス３１１とインターフェースするバス３０１を含む。一部の変更形態において、バス３０１は、ディスプレイデバイス３９１およびユーザ入力デバイス３８１のうちの少なくとも１つとインターフェースを取る。

【0104】

一部の変更形態において、プロセッサ３０３Ａ～３０３Ｎは、ＡＲＭプロセッサ、Ｘ８６プロセッサ、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）などのうちの１つまたは複数を含む。一部の変更形態において、プロセッサのうちの少なくとも１つは、積和演算（multiply and accumulate operation）のネイティブサポートを提供する単一命令複数データ（ＳＩＭＤ）システムをサポートする少なくとも１つの算術論理演算ユニット（ＡＬＵ）を含む。

【0105】

一部の変更形態において、中央演算処理装置（プロセッサ）、ＧＰＵ、およびマルチプロセッサユニット（ＭＰＵ）のうちの少なくとも１つが含まれる。

【0106】

一部の変更形態において、プロセッサおよびメインメモリは、処理ユニット３９９を形成する。一部の変更形態において、処理ユニットは、ＲＡＭ、ＲＯＭ、および機械可読ストレージ媒体のうちの１つまたは複数に通信可能なように結合された１つまたは複数のプロセッサを含み、処理ユニットの１つまたは複数のプロセッサは、バスを介してＲＡＭ、ＲＯＭ、および機械可読ストレージ媒体のうちの１つまたは複数によって記憶された命令を受け取り、１つまたは複数のプロセッサは、受け取られた命令を実行する。一部の実施形態において、処理ユニットは、特定用途向け集積回路（ＡＳＩＣ）である。一部の実施形態において、処理ユニットは、システムオンチップ（ＳｏＣ）である。

【0107】

一部の変更形態において、処理ユニットは、積和演算のネイティブサポートを提供する単一命令複数データ（ＳＩＭＤ）システムをサポートする少なくとも１つの算術論理演算ユニット（ＡＬＵ）を含む。一部の変更形態において、処理ユニットは、Ｉｎｔｅｌプロセッサなどの中央処理装置である。

【0108】

一部の変更形態において、ネットワークアダプタデバイス３１１は、データおよびコマンドをやりとりするための１つまたは複数の有線または無線インターフェースを提供する。そのような有線および無線インターフェースは、例えば、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース、Ｗｉ－Ｆｉインターフェース、イーサネットインターフェース、近距離無線通信（ＮＦＣ：Near Field Communication）インターフェースなどを含む。

【0109】

（オペレーティングシステム、アプリケーションプログラム、およびデバイスドライバなどの）ソフトウェアプログラムの機械実行可能命令は、プロセッサ可読ストレージ媒体、ＲＯＭ、または任意のその他の記憶場所から（処理ユニットの）メモリにロードされる。これらのソフトウェアプログラムの実行中に、それぞれの機械実行可能命令は、バスを介して（処理ユニットの）プロセッサのうちの少なくとも１つによってアクセスされ、次いで、プロセッサのうちの少なくとも１つによって実行される。ソフトウェアプログラムによって使用されるデータも、メモリに記憶され、そのようなデータは、ソフトウェアプログラムの機械実行可能命令の実行中にプロセッサのうちの少なくとも１つによってアクセスされる。プロセッサ可読ストレージ媒体は、ハードドライブ、フラッシュドライブ、ＤＶＤ、ＣＤ、光ディスク、フロッピーディスク、フラッシュストレージ、ソリッドステートドライブ、ＲＯＭ、ＥＥＰＲＯＭ、電子回路、半導体メモリデバイスなどのうちの１つ（または２つ以上の組合せ）である。

【0110】

好ましい実施形態およびその変更形態のシステムおよび方法は、少なくとも部分的に、コンピュータ可読命令を記憶するコンピュータ可読媒体を受け取るように構成された機械として具現化および／または実装され得る。一部の変更形態において、命令は、システムならびに、プロセッサおよび／またはコントローラの１つまたは複数の部分と統合されたコンピュータ実行可能構成要素によって実行される。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブ、または任意の好適なデバイスなどの任意の好適なコンピュータ可読媒体に記憶され得る。一部の変更形態において、コンピュータ実行可能構成要素は、汎用または特定用途向けプロセッサであるが、任意の好適な専用ハードウェアまたはハードウェア／ファームウェアの組合せのデバイスが、代替的にまたは追加的に命令を実行し得る。

【0111】

簡潔にするために省略されたが、好ましい実施形態は、様々なシステムの構成要素および様々な方法のプロセスのあらゆる組合せおよび順列を含む。

【0112】

当業者がこれまでの詳細な説明から、ならびに図および請求項から認識するであろうように、以下の請求項において定義されるこの発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正および変更が行われ得る。

【符号の説明】

【0113】

１００ システム
１１０ 機械学習プラットフォーム、システム
１１１ 特徴検出モジュール
１１２ 特徴選択モジュール
１１３ モデル生成モジュール
１１４ パラメータ選択モジュール
１１５ モデル評価モジュール
１１６ モデル選択モジュール
１１７ 出力説明モジュール
１１８ モデル文書化モジュール
１１９ ユーザインターフェースシステム
１２１～１２３ データソース
１３１ ユーザシステム、コンピューティングシステム
１３２ ローン組成システム（ＬＯＳ）
１３３ ローン管理システム（ＬＭＳ）
１４０ モデル実行モジュール
１４１ モデル監視モジュール
１５０ データストア、ストレージデバイス
２００ 方法
３００ ハードウェアデバイス
３０１ バス
３０３Ａ～Ｎ プロセッサ
３０４ 読み出し専用メモリ（ＲＯＭ）
３０５ ストレージ媒体
３１１ ネットワークデバイス
３２２ メモリ
３８１ ユーザ入力デバイス
３９１ ディスプレイデバイス

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】