(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-18
(54)【発明の名称】説明可能人工知能ベースの販売最大限化決定モデル
(51)【国際特許分類】
G06N 20/00 20190101AFI20230111BHJP
G16H 50/70 20180101ALI20230111BHJP
G06Q 10/04 20230101ALI20230111BHJP
G16H 70/40 20180101ALI20230111BHJP
G06Q 30/02 20230101ALI20230111BHJP
【ＦＩ】
G06N20/00
G16H50/70
G06Q10/04
G16H70/40
G06Q30/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022527120
(86)(22)【出願日】2020-06-02
(85)【翻訳文提出日】2022-07-05
(86)【国際出願番号】 US2020035773
(87)【国際公開番号】W WO2021096564
(87)【国際公開日】2021-05-20
(31)【優先権主張番号】62/934,955
(32)【優先日】2019-11-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/948,719
(32)【優先日】2019-12-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520363753
【氏名又は名称】アクタナ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】コーエン， マーク
(72)【発明者】
【氏名】ベン－オル， ピニ
【テーマコード（参考）】
5L049
5L099
【Ｆターム（参考）】
5L049AA04
5L049BB02
5L099AA03
5L099AA25
(57)【要約】
本開示は、決定モデルを説明するためのシステム、方法、およびコンピュータプログラム製品を提供する。例示的方法は、（ａ）１つまたはそれを上回る予測モデルを生成するステップと、（ｂ）（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを予測モデルに課すことによって、決定モデルを１つまたはそれを上回る予測モデルから生成するステップと、（ｃ）決定モデルを使用して、１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定するステップと、（ｄ）説明可能性モデル化を決定モデルに適用し、説明モデルを生成するステップであって、説明モデルは、１人またはそれを上回るユーザによって、１つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含んでもよい。
【特許請求の範囲】
【請求項1】
１つまたはそれを上回る製品の販売を増加させるために使用可能である１つまたはそれを上回るモデルの説明可能性を向上させるためのコンピュータ実装方法であって、前記方法は、少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを前記１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、前記１つまたはそれを上回る製品の使用を促進するための１人またはそれを上回る標的人員と相互作用する１人またはそれを上回る販売担当者と関連付けられるロジスティック制約を備え、前記ブランド方略ルールのセットは、販売のための前記１つまたはそれを上回る製品を提案する１つまたはそれを上回るエンティティによって定義される、ことと、
前記決定モデルを使用して、前記標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定することと、
説明可能性モデル化を前記決定モデルおよび前記１つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、１人またはそれを上回るユーザによって、前記１つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
を含む、方法。
【請求項2】
前記１人またはそれを上回る標的人員は、医療提供者（ＨＣＰ）を含み、前記１つまたはそれを上回る製品は、医薬品製品を含む、請求項１に記載の方法。
【請求項3】
前記標的変数は、前記ＨＣＰによって行われる１つまたはそれを上回るアクションと関連付けられる１つまたはそれを上回るカテゴリ変数を含む、請求項２に記載の方法。
【請求項4】
前記１つまたはそれを上回るアクションは、（１）前記ＨＣＰが、前記１人またはそれを上回る販売担当者によって前記ＨＣＰに送信される電子メール対応を開くこと、または（２）前記ＨＣＰが、前記医薬品製品と関連付けられるオンライン報告を読むことを含む、請求項３に記載の方法。
【請求項5】
前記標的変数は、前記医薬品製品と関連付けられる１つまたはそれを上回る持続的変数を含み、前記１つまたはそれを上回る持続的変数は、前記医薬品製品に関する処方箋、市場占有率、または販売数を含む、請求項２に記載の方法。
【請求項6】
前記特徴のセットは、前記ＨＣＰと関連付けられる人口統計データを含む、請求項２に記載の方法。
【請求項7】
前記人口統計データは、前記ＨＣＰの年齢、性別、教育背景、およびセグメントメンバーシップを含む、請求項６に記載の方法。
【請求項8】
前記特徴のセットは、前記ＨＣＰの患者母集団特性を示す患者データを含む、請求項２に記載の方法。
【請求項9】
前記特徴のセットは、前記ＨＣＰと前記１人またはそれを上回る販売担当者との間の通信と関連付けられる連絡履歴を含む、請求項２に記載の方法。
【請求項10】
前記連絡履歴は、（１）前記１人またはそれを上回る販売担当者による前記ＨＣＰへの訪問の回数、（２）前記訪問の際の会話の話題、（３）前記１人またはそれを上回る販売担当者によって前記ＨＣＰに送信された電子メール対応の回数、（４）前記送信された電子メール対応の話題、（５）前記１人またはそれを上回る販売担当者によって前記ＨＣＰに提供された前記医薬品製品に関連する文書、（６）前記１人またはそれを上回る販売担当者および前記ＨＣＰによって出席されたウェビナー、および（７）前記１人またはそれを上回る販売担当者および前記ＨＣＰによって出席された会議のうちの１つまたはそれを上回るものを含む、請求項７に記載の方法。
【請求項11】
前記決定変数のセットは、前記１人またはそれを上回る販売担当者によって、または第三者によって、制御可能かつ実行されるアクションおよびタイミングを含む、請求項２に記載の方法。
【請求項12】
前記論理制約は、（１）前記１人またはそれを上回る販売担当者による前記ＨＣＰへの訪問のペースを維持すること、（２）前記訪問と非対面相互作用を協調させること、または（３）前記１人またはそれを上回る販売担当者がある担当地域を体系的または効率的様式において横断することのうちの１つまたはそれを上回るものと関連付けられる、請求項２に記載の方法。
【請求項13】
前記ブランド方略ルールのセットを定義する前記１つまたはそれを上回るエンティティは、前記医薬品製品のためのブランド管理および販売戦略チームを含む、請求項２に記載の方法。
【請求項14】
前記標的変数のセットは、平均グループ施設販売数からの販売数偏差を含む、請求項２に記載の方法。
【請求項15】
前記１つまたはそれを上回る予測モデルは、前記平均グループ施設販売数からの販売数偏差である選択された標的を用いて、ランダムフォレスト回帰を使用して構築される、請求項１４に記載の方法。
【請求項16】
前記説明モデルは、反事実のセットを使用して、複数の予測子の空間を網羅する複数の観察を生成することによって生成される、請求項２に記載の方法。
【請求項17】
前記複数の予測子は、（１）ある数のＨＣＰを有する医療施設、（２）前記医療施設における前記ＨＣＰへの予定外訪問の回数、または（３）販売データが収集される会計四半期のうちの１つまたはそれを上回るものを含む、請求項１６に記載の方法。
【請求項18】
前記説明可能性モデル化を適用することは、前記空間全体にわたって回帰的パーティション化を使用して、共変量関係の洞察を有効にすることを含む、請求項１６に記載の方法。
【請求項19】
前記説明モデルは、大域的説明モデルを含む、請求項１８に記載の方法。
【請求項20】
前記大域的説明モデルは、非制約大域的決定木を含む、請求項１９に記載の方法。
【請求項21】
前記大域的説明モデルは、制約された大域的決定木を含む、請求項１９に記載の方法。
【請求項22】
前記説明可能性モデル化を適用することは、前記空間全体にわたっての代わりに、前記空間のマージンに対する回帰的パーティション化を使用することを含む、請求項１６に記載の方法。
【請求項23】
前記説明モデルは、局所的説明モデルを含む、請求項２２に記載の方法。
【請求項24】
前記局所的説明モデルは、局所的決定木を含む、請求項２３に記載の方法。
【請求項25】
前記説明モデルは、前記１人またはそれを上回るユーザによって、マーケティング分析のあるドメインにおける最適決定、１対１のマーケティング、および推奨の個人化を行い、前記１つまたはそれを上回る製品の販売を増加させるために使用可能である、請求項１に記載の方法。
【請求項26】
１つまたはそれを上回る製品の販売を増加させるために使用可能である１つまたはそれを上回るモデルの説明可能性を向上させるためのシステムであって、前記システムは、１つまたはそれを上回るプロセッサと、
メモリであって、前記メモリは、命令を記憶しており、前記命令は、前記１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、
少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを前記１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、１人またはそれを上回る標的人員と相互作用し、前記１つまたはそれを上回る製品の使用を促進する１人またはそれを上回る販売担当者と関連付けられるロジスティック制約を含み、前記ブランド方略ルールのセットは、販売のための前記１つまたはそれを上回る製品を提案する１つまたはそれを上回るエンティティによって定義される、ことと、
前記決定モデルを使用して、前記標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定することと、
説明可能性モデル化を前記決定モデルおよび前記１つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、１人またはそれを上回るユーザによって、前記１つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
を含む動作を実施させる、メモリと
を備える、システム。
【請求項27】
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を含み、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成することであって、前記特徴は、前記標的変数を予測し、それに影響を及ぼし、前記決定変数は、特徴のセットのサブセットである、ことと、
（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを前記１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成することであって、前記動作制約のセットは、１人またはそれを上回る標的人員と相互作用し、前記１つまたはそれを上回る製品の使用を促進する１人またはそれを上回る販売担当者と関連付けられるロジスティック制約を備え、前記ブランド方略ルールのセットは、販売のための前記１つまたはそれを上回る製品を提案する１つまたはそれを上回るエンティティによって定義される、ことと、
前記決定モデルを使用して、前記標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定することと、
説明可能性モデル化を前記決定モデルおよび前記１つまたはそれを上回る最適アクションに適用し、説明モデルを生成することであって、前記説明モデルは、１人またはそれを上回るユーザによって、前記１つまたはそれを上回る製品の販売に影響を及ぼす前記決定モデル内の相互作用の洞察または理解を得るために使用可能である、ことと
を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、それぞれ、参照することによって本明細書に全体的に組み込まれる、２０１９年１１月１３日に出願された、米国仮特許出願第６２／９３４，９５５号、および２０１９年１２月１６日に出願された、米国仮特許出願第６２／９４８，７１９号の優先権を主張する。
本願は、それぞれ、参照することによって本明細書に全体的に組み込まれる、２０１９年１１月１３日に出願された、米国仮特許出願第６２／９３４，９５５号、および２０１９年１２月１６日に出願された、米国仮特許出願第６２／９４８，７１９号の優先権を主張する。
【背景技術】
【0002】
機械学習（ＭＬ）モデルは、１つまたはそれを上回る入力からの１つまたはそれを上回る出力を予測または分類するように訓練され得る、アルゴリズムである。ＭＬモデルは、データを分類し、データの特徴を予測し、データに基づいて、推奨を行うことができる。しかしながら、ＭＬモデルは、非常に複雑であり得る、すなわち、それらは、数千の特徴を入力として受信し、数千のパラメータを有し得、パラメータは、非線形であり得る。加えて、ＭＬモデルの下層構造および機能は、不透明であり得る。換言すると、人間ユーザにとって、ＭＬモデルがあるデータを解釈する方法およびＭＬモデルが特定の出力を生成する理由が不明確であり得る。実践的ＡＩ技術は、典型的には、ルールおよび最適化を伴う決定モデル等のＭＬモデル以外の付加的要素を含む。説明可能人工知能（ｘＡＩ）は、ＭＬおよびＡＩモデルがそれらが行った出力を生成する方法および理由を説明するためのアプローチを開発することを専門とする、研究の分野である。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示は、事業のための意思決定プロセスを扇動し、狭義に解釈されるＭＬモデル以外のｘＡＩをＡＩ決定モデルのより一般的カテゴリに拡張させることを伴う、モデルを説明するための方法を提供する。そのようなモデルは、本開示では、「決定モデル」と称され得る。決定モデルは、予測モデルを含有してもよい、または、何らかの方法で、履歴データ上で訓練され、多くの実践的用途に関して、１つまたはそれを上回る制約によって限定され得る、予測または分類ＭＬモデルに基づいてもよい。制約は、予測モデルが生成し得る、実践的出力の範囲を限定する、事業に課される、動作制約であってもよい。加えて、または代替として、制約は、同様に、決定モデルが生成し得る、出力の範囲を限定する、事業の目標と整合する、事業によって設定される、ルールであってもよい。訓練された決定モデルは、１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定することができる。標的変数は、事業メトリック、例えば、販売メトリックであってもよい。本明細書に説明される方法は、説明モデルを決定モデルから生成するステップを含むことができる。説明モデルは、モデルの構造および機能の洞察を得るために使用可能であり得る。
【0004】
上記に説明される方法は、組織が、それが使用する、決定モデルをより深く理解し、組織内の利害関係者が、そのようなモデルを信用し、その決定に従うように説得することを有効にし得る。これは、特に医師との相互作用を扇動するための決定モデルの使用が実質的に増加され得る、医薬品販売の分野において望ましくあり得る。そのような決定モデルは、医薬品販売および医師関与を改良するために、医師に対して話す方法、時間、および内容に関する決定を管理するように進化している。最も効果的であるために、そのような決定モデルは、ブランド方略、事業制約、および人間挙動を予測する、モデルを統合し得る。これらの要因のそれぞれの効果は、個々には理解可能であり得るが、合成決定モデルの挙動は、説明することがはるかに難しくあり得る。これは、特に、ＭＬベースの分析に依拠する、決定モデルに関して当てはまり得る。決定モデルが、事業ルールによって制約されず、単一ＭＬまたは人工知能（ＡＩ）モデルにのみ依拠する場合でも、その決定は、利害関係者に説得力のあるものであるために、理解可能である必要があり得る。例えば、決定モデルが、販売員が対面において特定のメッセージを医師に送達することを推奨する場合、販売員が、推奨（より一般的には、本システム）を確信し、推奨に従うように、販売員が、本システムがそのような推奨を行った理由を把握することが重要であり得る。
【0005】
ある側面では、本開示は、１つまたはそれを上回る製品の販売を増加させるために使用可能である、１つまたはそれを上回るモデルの説明可能性を向上させるためのコンピュータ実装方法を提供する。本方法は、少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、１つまたはそれを上回る製品の使用を促進するための１人またはそれを上回る標的人員と相互作用する、１人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための１つまたはそれを上回る製品を提案する、１つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび１つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、１人またはそれを上回るユーザによって、１つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含んでもよい。
【0006】
いくつかの実施形態では、１人またはそれを上回る標的人員は、医療提供者（ＨＣＰ）を含んでもよい。１つまたはそれを上回る製品は、医薬品製品を含んでもよい。標的変数は、ＨＣＰによって行われる１つまたはそれを上回るアクションと関連付けられる、１つまたはそれを上回るカテゴリおよび／または持続的変数を含んでもよい。
【0007】
決定モデルはまた、保健医療および医薬品セクタ外で実装されてもよい。例えば、決定モデルは、小売、財務サービス、および消費者製品セクタにおいて実装されてもよい。決定モデルはまた、軍事、輸送、およびロボット技術と併用されてもよい。例えば、決定モデルは、複雑な財務モデルによって行われる予測の洞察を提供する、または軍当局者が洞察を情報報告もしくはセンサデータから抽出することに役立てるために使用されてもよい。加えて、決定モデルは、消費者を小売店に扇動し、オンラインショッピングから離れる、要因を説明することに役立ち得る。
【0008】
いくつかの実施形態では、上記の方法における１つまたはそれを上回るアクションは、（１）ＨＣＰが、１人またはそれを上回る販売担当者によって標的に送信される、電子メール対応を開くこと、または（２）ＨＣＰが、医薬品製品と関連付けられる、オンライン報告を読むことを含んでもよい。
【0009】
いくつかの実施形態では、標的変数は、医薬品製品と関連付けられる、１つまたはそれを上回る持続的変数を含んでもよく、１つまたはそれを上回る持続的変数は、処方箋、市場占有率、または医薬品製品に関する販売数を含む。
【0010】
いくつかの実施形態では、特徴のセットは、ＨＣＰと関連付けられる、人口統計データを含んでもよい。人口統計データは、ＨＣＰの年齢、性別、教育背景、およびセグメントメンバーシップを含んでもよい。特徴のセットは、ＨＣＰの患者母集団特性を示す、患者データを含んでもよい。特徴のセットは、ＨＣＰと１人またはそれを上回る販売担当者との間の通信と関連付けられる、連絡履歴を含んでもよい。いくつかの実施形態では、連絡履歴は、以下、すなわち、（１）１人またはそれを上回る販売担当者によるＨＣＰへの訪問の回数、（２）訪問の際の会話の話題、（３）１人またはそれを上回る販売担当者によってＨＣＰに送信された電子メール対応の回数、（４）送信された電子メール対応の話題、（５）１人またはそれを上回る販売担当者によってＨＣＰに提供された医薬品製品に関連する文書、（６）１人またはそれを上回る販売担当者およびＨＣＰによって出席されたウェビナー、および（７）１人またはそれを上回る販売担当者およびＨＣＰによって出席された会議のうちの１つまたはそれを上回るものを含んでもよい。
【0011】
いくつかの実施形態では、決定変数のセットは、１人またはそれを上回る販売担当者によって、または第三者によって、制御可能かつ実行される、アクションおよびタイミングを含んでもよい。
【0012】
いくつかの実施形態では、論理制約は、以下、すなわち、（１）１人またはそれを上回る販売担当者によるＨＣＰへの訪問のペースを維持すること、（２）訪問と非対面相互作用を協調させること、または（３）１人またはそれを上回る販売担当者がある担当地域を体系的または効率的様式において横断することのうちの１つまたはそれを上回るものと関連付けられてもよい。
【0013】
いくつかの実施形態では、ブランド方略ルールのセットを定義する、１つまたはそれを上回るエンティティは、医薬品製品のためのブランド管理および販売戦略チームを含んでもよい。
【0014】
いくつかの実施形態では、標的変数のセットは、平均グループ施設販売数からの販売数偏差を含んでもよい。いくつかの実施形態では、１つまたはそれを上回る予測モデルは、平均グループ施設販売数からの販売数偏差である、選択された標的を用いて、ランダムフォレスト回帰を使用して構築されてもよい。
【0015】
いくつかの実施形態では、説明モデルは、反事実のセットを使用して、複数の予測子の空間を網羅する、複数の観察を生成することによって生成されてもよい。複数の予測子は、以下、すなわち、（１）ある数のＨＣＰを有する、医療施設、（２）医療施設におけるＨＣＰへの予定外訪問の回数、または（３）販売データが収集される、会計四半期のうちの１つまたはそれを上回るものを備えてもよい。
【0016】
いくつかの実施形態では、説明可能性モデル化を適用するステップは、空間全体にわたって回帰的パーティション化を使用して、共変量関係の洞察を有効にするステップを含んでもよい。
【0017】
いくつかの実施形態では、説明モデルは、大域的説明モデルを含んでもよい。代替として、大域的説明モデルは、非制約大域的決定木を含んでもよい。いくつかの実施形態では、大域的説明モデルは、制約された大域的決定木を含んでもよい。
【0018】
いくつかの実施形態では、説明可能性モデル化を適用するステップは、空間全体にわたっての代わりに、空間のマージンに対する回帰的パーティション化を使用するステップを含んでもよい。
【0019】
いくつかの実施形態では、説明モデルは、局所的説明モデルを含んでもよい。局所的説明モデルは、局所的決定木を含んでもよい。
【0020】
いくつかの実施形態では、説明モデルは、１人またはそれを上回るユーザが、マーケティング分析のあるドメインにおける最適決定、１対１のマーケティング、および推奨の個人化を行い、１つまたはそれを上回る製品の販売を増加させるために使用可能であってもよい。
【0021】
別の側面は、１つまたはそれを上回る製品の販売を増加させるために使用可能である、１つまたはそれを上回るモデルの説明可能性を向上させるためのシステムを提供する。本システムは、１つまたはそれを上回るプロセッサと、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、１人またはそれを上回る標的人員と相互作用し、１つまたはそれを上回る製品の使用を促進する、１人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための１つまたはそれを上回る製品を提案する、１つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび１つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、１人またはそれを上回るユーザによって、１つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含む、動作を実施させる、命令を記憶する、メモリとを備えてもよい。
【0022】
さらなる側面は、非一過性コンピュータ可読記憶媒体であって、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、少なくとも部分的に、（ｉ）標的変数のセットと、（ｉｉ）特徴のセットと、（ｉｉｉ）決定変数のセットとに基づいて、１つまたはそれを上回る予測モデルを生成するステップであって、特徴は、標的変数を予測し、それに影響を及ぼし、決定変数は、特徴のセットのサブセットである、ステップと、（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを１つまたはそれを上回る予測モデルに課すことによって、決定モデルを生成するステップであって、動作制約のセットは、１人またはそれを上回る標的人員と相互作用し、１つまたはそれを上回る製品の使用を促進する、１人またはそれを上回る販売担当者と関連付けられる、ロジスティック制約を含み、ブランド方略ルールのセットは、販売のための１つまたはそれを上回る製品を提案する、１つまたはそれを上回るエンティティによって定義される、ステップと、決定モデルを使用して、標的変数のセット内の１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定するステップと、説明可能性モデル化を決定モデルおよび１つまたはそれを上回る最適アクションに適用し、説明モデルを生成するステップであって、説明モデルは、１人またはそれを上回るユーザによって、１つまたはそれを上回る製品の販売に影響を及ぼす決定モデル内の相互作用の洞察または理解を得るために使用可能である、ステップとを含む、動作を実施させる、命令を含む、非一過性コンピュータ可読記憶媒体を提供する。
【0023】
本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える、非一過性コンピュータ可読媒体を提供する。
【0024】
本開示の別の側面は、１つまたはそれを上回るコンピュータプロセッサと、それに結合されるコンピュータメモリとを備える、システムを提供する。コンピュータメモリは、１つまたはそれを上回るコンピュータプロセッサによる実行に応じて、上記もしくは本明細書の別の場所の方法のうちのいずれかを実装する、機械実行可能コードを備える。
【0025】
本開示の付加的側面および利点が、本開示の例証的実施形態のみが示され、説明される、以下の詳細な説明から当業者に容易に明白な状態となるであろう。認識されるであろうように、本開示は、他の異なる実施形態が可能であり、そのいくつかの詳細は、全て本開示から逸脱することなく、種々の明白な点において修正が可能である。故に、図面および説明は、制限的ではなく、本質的に例証的と見なされるべきである。
（参照による組み込み）
（参照による組み込み）
【0026】
本明細書に言及される全ての公開文書、特許、および特許出願は、各個々の公開文書、特許、または特許出願が、具体的かつ個々に示された場合と同程度に、参照することによって本明細書に組み込まれる。参照することによって組み込まれる公開文書および特許または特許出願は、本明細書に含有される開示と矛盾する範囲で、本明細書が、任意のそのような矛盾する資料に優先する、ならびに／もしくはその上位にあると意図される。
【図面の簡単な説明】
【0027】
本発明の新規の特徴が、添付の請求項において具体的に記載される。本発明の特徴および利点のより深い理解が、本発明の原理が利用される例証的実施形態を記載する、以下の詳細な説明ならびに付随の図面（また、本明細書では「図（ＦｉｇｕｒｅおよびＦＩＧ．）」）を参照することによって取得されるであろう。
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【発明を実施するための形態】
【0039】
詳細な説明
本発明の種々の実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、本発明から逸脱することなく、当業者に想起され得る。本明細書に説明される本発明の実施形態に対する種々の代替が、採用され得ることを理解されたい。
本発明の種々の実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、本発明から逸脱することなく、当業者に想起され得る。本明細書に説明される本発明の実施形態に対する種々の代替が、採用され得ることを理解されたい。
【0040】
用語「少なくとも」、「～を上回る」、または「～を上回る、またはそれに等しい」が、一連の２つまたはそれを上回る数値の中の第１の数値に先行する度に、用語「少なくとも」、「～を上回る」、または「～を上回る、またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「１、２、または３を上回る、またはそれに等しい」は、「１を上回る、またはそれに等しい」、「２を上回る、またはそれに等しい」、もしくは「３を上回る、またはそれに等しい」と同等である。
【0041】
用語「～以下」、「～未満」、または「～未満またはそれに等しい」が、一連の２つまたはそれを上回る数値の中の第１の数値に先行する度に、用語「～以下」、「～未満」、または「～未満またはそれに等しい」は、その一連の数値の中の数値のそれぞれに適用される。例えば、「３、２、または１未満またはそれに等しい」は、「３未満またはそれに等しい」、「２未満またはそれに等しい」、もしくは「１未満またはそれに等しい」と同等である。
【0042】
本開示は、事業のための意思決定プロセスを扇動する、モデルを説明するための方法を提供する。そのようなモデルは、本開示では、「決定モデル」と称され得る。決定モデルは、履歴データ上で訓練され、１つまたはそれを上回る制約によって限定され、いくつかの事業の財務上の目標を最適化する、決定を識別する、予測モデル、例えば、機械学習（ＭＬ）モデルを含んでもよい。制約は、予測モデルが生成し得る、実践的出力の範囲を限定する、事業に課される、動作制約であってもよい。加えて、または代替として、制約は、同様に、予測モデルが生成し得る、決定出力の範囲を限定し、事業目標を最適化する、事業の目標と整合する、事業によって設定される、ルールであってもよい。訓練された決定モデルは、１つまたはそれを上回る標的変数を最大限にするための１つまたはそれを上回る最適アクションを決定することができる。標的変数は、事業メトリック、例えば、販売メトリックであってもよい。本明細書に説明される方法は、説明モデルを決定モデルから生成するステップを含むことができる。説明モデルは、モデルの構造および機能の洞察を得るために使用可能であり得る。
【0043】
ＭＬおよび人工知能（ＡＩ）モデルの一般化の前に、統計的モデルが、概して、予測および解釈可能であるように設計された。モデルは、人物が、モデルが決定する、標的変数に及ぼされる、予測子または予測子のグループの影響を理解し得る場合、「解釈可能」であり得る。代替として、または加えて、モデルは、（ｉ）人物が、試験されていないデータ上において、その挙動について正確な予測を行うために十分なモデルを理解し得る場合、または（ｉｉ）人物が、それを信じるためにモデルを十分に信頼する場合、「解釈可能」であり得る。そのような解釈可能モデルは、高確実度を伴って、標的変数に及ぼされる特定の予測子の効果を区別するように設計された。本目的のために、解釈可能モデルは、典型的には、パラメトリックであって、多くの場合、線形であった。そのようなパラメータモデルのパラメータは、予測子と標的変数との間の下層関係の洞察を提供するように設計された。
【0044】
今日の最先端モデルは、概して、従来的パラメータモデルより複雑かつより不透明である。そのようなモデルは、深層ニューラルネットワークおよびアンサンブルモデルを含む。予測子が複雑なＭＬモデルにおいて果たす役割を理解することは、現在、「説明可能ＡＩ」（ｘＡＩ）または「説明可能性」と称される。図１は、Ｇｕｎｎｉｎｇ， Ｄ．の「Ｅｘｐｌａｉｎａｂｌｅ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＸＡＩ）」（参照することによってその全体として本明細書に組み込まれる）からの種々のモデル化技法の略図である。
説明可能性モデル
説明可能性モデル
【0045】
説明可能性モデルは、本質的に解釈可能である、モデル、または他の解釈不能モデルを説明する、モデルであってもよい。説明可能性モデルは、深層説明モデル、解釈可能モデル、およびモデルのモデル（「モデル帰納法」）を含んでもよい。深層説明モデルは、ニューラルネットワークであって、その中でノードは、種々の層の加重がニューラルネットワークの扇動子を明らかにするように、特徴として識別される。解釈可能モデルは、線形モデル、パラメータモデル、木モデル、ベイズモデル、および同等物を含む、本質的に解釈可能である、モデルである。また、モデル帰納法は、それによって、より多くの解釈可能モデルが下層モデルの上に構築される、技法である。モデル帰納法内で使用され得る、モデルの実施例は、局所的解釈可能モデル非依存型説明（ＬＩＭＥ）、Ｓｈａｐｌｅｙ付加説明（ＳＨＡＰ）、回帰を介した反事実局所的説明（ＣＬＥＡＲ）、Ａｎｃｈｏｒｓ、および一共変量抜き法（ＬＯＣＯ）である。
【0046】
説明可能性モデルは、局所的または大域的であってもよい。モデルの局所的説明可能性は、下層モデルの、すなわち、訓練または試験データの空間内の単一点における、具体的予測を説明し得る。例えば、画像分類のコンテキストでは、モデルの局所的説明可能性は、特定の画像が特定の方法において分類される結果をもたらす、扇動子を識別し得る。一般に、モデルの局所的説明可能性は、入力特徴の線形に加重された組み合わせを使用して、モデルの局所的挙動を説明する、説明を提供し得る。線形関数は、理解が容易な様式において、特徴の相対的重要性を捕捉することができる。大域的説明可能性モデルは、一方、広範囲の観測されていないインスタンスを説明することを求め得る。
モデルの局所的説明可能性
モデルの局所的説明可能性
【0047】
モデルの局所的説明可能性の一実施例は、ＬＩＭＥである。ＬＩＭＥは、線形モデルを特定のデータサンプル（例えば、入力特徴のセット）に適合する、技法である。線形モデルは、それぞれ、特定の特徴が下層モデルの出力に寄与する、量を示す、係数を有してもよい。ＬＩＭＥは、入力特徴を摂動させ、下層モデルの出力に及ぼされる結果として生じる影響を観察することによって、係数を決定してもよい。ＬＩＭＥは、データサンプルの周囲でサンプリングされるインスタンスにおける下層モデルの加重された予測の集合を保存してもよい。加重は、データサンプルまでの距離に基づいてもよい。モデルの線形近似が、より複雑な下層モデルの挙動を説明するために使用されてもよい。
【0048】
モデルの局所的説明可能性の別の実施例は、Ａｎｃｈｏｒｓである。Ａｎｃｈｏｒｓは、ＬＩＭＥと異なり、相互作用効果を考慮し得、テキストマイニング用途において、説明により正確に起因し得る。Ａｎｃｈｏｒｓは、そのセット内にない任意の特徴が含まれる場合、予測が「実質的に」変化しないような特徴のセットを探す。「実質的に」は、事前に規定された量未満である、予測の変化の尤度の予期される値によって定義される。Ａｎｃｈｏｒｓは、大空間がＡｎｃｈｏｒｓ基準を充足させるために検索される必要があり得るため、算出上複雑であり得る。
【0049】
モデルの局所的説明可能性の別の実施例は、ＣＬＥＡＲである。ＣＬＥＡＲは、反事実の使用を利用し、また、ＬＩＭＥの一変量限界をさらに展開させる。ＣＬＥＡＲは、「もし事物が異なった場合どうなるか」という質問に特徴セットを用いて回答することによって、ｗ－反事実の概念を使用して、予測を説明する。データをランダムにサンプリングし、ＬＩＭＥにおけるように、着目点までの近接度によって、そのようなデータに加重するのではなく、ＣＬＥＡＲ法は、着目データ点の周囲の空間を体系的に検索し、それらの点において、モデルを評価し、反事実を生産し、分類変化を識別する。これが生じる、点は、次いで、説明のための回帰モデルを構築し、したがって、当該点の周囲の説明の忠実性を改良するために使用されることができる。
【0050】
モデルの局所的説明可能性の別の実施例は、ＬＯＣＯである。ＬＯＣＯは、変数重要性を測定する、メトリックを生成し得る。メトリックは、完成モデルまたは共変量のうちの１つを用いて構築されるモデルからの誤差における差異に基づいてもよい。メトリックは、それを試験データセット内の全てのインスタンスに適用し、次いで、変数重要性メトリックの分布を分析することによって、局所的様式または大域的様式において分析されることができる。単一インスタンスメトリックは、変数分裂の順序を変化させることによるノード純度の減少を分析することによって、ランダムフォレスト内で使用される、変数重要性測定に類似する。
大域的説明可能性モデル
大域的説明可能性モデル
【0051】
大域的説明モデルの一実施例は、Ｓｈａｐｌｅｙ付加説明（ＳＨＡＰ）である。ＳＨＡＰは、予測を解釈するための統合されたフレームワークであって、各特徴に、特定の予測の重要性値を割り当てる。このように、これは、上記に説明される局所的アプローチのうちのいくつかに類似する。
【0052】
ＳＨＡＰに関する１つのフレームワークは、付加的特徴属性法であって、これは、相対的特徴重要性の表現を予測モデル内に提供する。付加的特徴属性は、変換され、加重された、特徴項の和として、下層予測モデルを推定し得る。本方法は、損失関数を最小限にすることによって、加重を決定し得る。より重く加重される、特徴は、したがって、予測にとってより重要であると推測され得る。
【0053】
これは、新しいモデルが、予測子毎に、その予測子を抜いて構築され、次いで、新しいモデルが、着目点において評価され、完全モデルからの予測との予測の値における差異が、その予測子に関する非ゼロ生起によって加重されるという点で、ＬＯＣＯに類似する。他の大域的説明可能性モデルは、部分的依存性プロット、回帰的パーティション化、決定木方法、および同等物を含む。
【0054】
図２は、決定モデルおよび決定モデルの説明可能性モデルを生成し得る、システム２００を図式的に図示する。決定モデルは、推奨を人物またはエンティティ（例えば、事業）に行う、モデルであってもよい。推奨は、人物またはエンティティにとって着目される標的変数を最小限にする、最大限にする、または別様に最適化する、アクションであってもよい。例えば、販売組織のための決定モデルは、販売員が、顧客が製品を購入する尤度を最大限にする、顧客連絡を開始することを推奨し得る。推奨は、顧客連絡の内容、時間、およびモード（例えば、対面、電話、または電子メール）を含んでもよい。
【0055】
決定モデルは、その挙動が、不透明であって、説明を要求するほど複雑であり得る。システム２００は、推奨毎に、決定モデルがそれが行った特定の推奨を行った理由を実証する、説明を生成する、決定モデルの説明可能性モデルを生成することができる。例えば、上記に説明される販売組織のための決定モデルを継続して参照すると、説明可能性モデルは、決定モデルが顧客連絡の特定のモードを推奨した理由を実証する、説明を生成することができる。
【0056】
システム２００は、予測モデル生成器２０５を含むことができる。予測モデル生成器２０５は、予測モデル
を生成することができる。それらは、標的変数であってもよい。それらは、顧客が特定のアクション（例えば、電子メールを開く、電話に応対する、オンライン報告を読む、提案された製品を購入する等）を行うであろうかどうか等のカテゴリ標的変数であってもよい。代替として、Ｙは、販売組織が提案する製品に関する市場占有率、または顧客による販売組織の認知度等の持続的標的変数であってもよい。
【数1】
【0057】
Ｘは、標的変数Ｙを予測する、または予測すると考えられる、特徴であってもよい。販売組織のための予測モデルを継続して参照すると、Ｘは、顧客についての人口統計情報（例えば、年齢、性別、教育背景、および同等物）を含んでもよい。顧客の人口統計プロファイルは、例えば、顧客が受信することを好む、通信のタイプ（例えば、電子メールではなく、電話）を予測してもよい。Ｘはまた、顧客の事業についてのデータを含んでもよい。例えば、販売組織が、医薬品販売組織であって、顧客が、医療提供者（「ＨＣＰ」）である場合、Ｘは、ＨＣＰの患者母集団についてのデータを含んでもよい。Ｘはまた、顧客への対面訪問、顧客に送信される電子メール、顧客に提供される文書、顧客によって出席されたウェビナーおよび会議、ならびに同等物の内容、日付および時間、ならびに結果を含む、顧客との前の連絡の履歴を含んでもよい。Ｘは、予測モデルが時間依存であるかどうかに応じて、複数の方法において構成されてもよい。
【0058】
予測モデル生成器２０５は、将来的Ｙ値を予測するために使用され得る、ＸおよびＹに関する履歴値を含む、履歴データを使用して、モデルｆ（Ｘ）＝Ｙを見出す（例えば、訓練する）ことができる。訓練方法にかかわらず、訓練されたモデルは、完璧ではあり得ない。したがって、訓練されたモデルは、モデルと関連付けられる誤差が
であるように、
として表され得る。成功決定モデルは、人間に、Ｘ内の変数のあるセットを決定変数として識別することによって、
が予測される理由を説明し得る。これらの決定変数は、人間が、制御を有し得る、したがって、人間が、所望の結果（例えば、増加された販売または充填される処方箋）を達成するために、そのアクション（例えば、医薬品販売員からＨＣＰへの連絡）を較正または最適化することを可能にし得る、変数であってもよい。所望の結果を達成する、決定変数の値は、実世界では、実行不可能である場合がある。さらに、エンティティ（例えば、事業または規制機関）が、人物が決定変数によって表されるアクションを行うことを妨げ得る。これらの状況では、本システムは、制約を決定モデルに追加し、より良好に、実世界条件をシミュレートする、または実世界ニーズを反映させてもよい。
【数2】
【数3】
【数4】
【0059】
予測モデル生成器２０５は、例えば、教師あり、半教師あり、または教師なし学習プロセスを使用して、予測モデルを訓練することができる。教師あり予測モデルは、標識された訓練入力、すなわち、特徴Ｘおよび対応する標的変数Ｙを使用して、訓練されることができる。特徴Ｘは、予測モデルの訓練されていないまたは部分的に訓練されたバージョンに提供され、を予測される出力生成することができる。予測される出力は、その特徴Ｘのセットに関する既知の標的変数Ｙと比較されることができ、差異が存在する場合、予測モデルのパラメータは、更新されることができる。半教師あり予測モデルは、多数の未標識特徴Ｘおよび少数の標識された特徴Ｘを使用して、訓練されることができる。教師なし予測モデルは、例えば、クラスタ化または次元低減モデルは、これまで未知のパターンを特徴Ｘ内に見出し得る。
【0060】
予測モデル生成器２０５によって生成された予測モデルは、ニューラルネットワーク（例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、再帰ニューラルネットワーク（ＲＮＮ）、長短期メモリネットワーク（ＬＳＴＭ）等）、自動エンコーダ、回帰モデル、決定木、ランダムフォレストモデル、サポートベクトルマシン、ベイズネットワーク、クラスタ化モデル、強化学習アルゴリズム、または同等物であってもよい。
【0061】
システム２００はまた、決定モデル生成器２１０を含むことができる。決定モデル生成器２１０は、決定モデルを予測モデルから生成することができる。決定モデルは、標的変数Ｙを最大限にする、決定変数Ｄの値を予測することができ、決定変数Ｄは、特徴Ｘのサブセットである。決定変数は、人物またはエンティティある程度の制御を有する、変数であってもよい。例えば、販売員は、電子メールのコンテンツおよびタイミング、電話での議論の話題、および同等物を制御することができる。予測問題は、したがって、ｆ（Ｘ，Ｄ）＝Ｙとして再特性評価されてもよい。ｆ（）を見出す目標は、その中に含有される情報を使用して、Ｙを最大限にするＤの値について決定を行うことであってもよい。これは、以下のように、非制約決定モデルとして表されてもよい。
【化1】
【0062】
実践では、ｄ（）に関するあらゆる可能性として考えられる選択肢が、事業の視点から、実行不可能である場合がある。したがって、決定モデル生成器２１０は、決定モデルを予測モデルから生成するとき、ある制約を考慮してもよい。例えば、顧客が製品を購入する、尤度を最大限にすることは、顧客を直ちに訪問することを要求し得る。それは、望ましくあり得るが、ロジスティック上の現実のため、実行不可能である場合がある（例えば、販売員または顧客が、直ちに対応可能ではない場合がある）。販売組織のための制約の他の実施例は、訪問のペースを維持する、訪問と非対面相互作用を協調させる、担当地域を体系的に横断することであってもよい。これらの制約は、Ｃによって示されてもよい。したがって、ｄ＊（ｘ）は、以下によって示されてもよい。
式中、ｄεＣは、制約を充足させる、ｄ値の検索可能空間を示す。
【化2】
【0063】
実践では、ブランド管理および販売戦略チームがまた、あるルールを規定してもよい。そのようなルールは、（Ｘ，Ｄ）とＹとの間の関係において捕捉され得ない、種々の計画および目標から生じ得る。例えば、ブランドチームは、市場での新しい製品の販売を優先することを所望し得る。加えて、または代替として、ブランドチームは、非制御刊行物と相互作用するためのルール、商業上のメトリックが統計的に関連方法において変化するときに訪問を要求する、ルール、季節的商業上の扇動子との相互作用のタイミングを調整するためのルール、製品ブランドを横断してメッセージングを協調させるためのルール、および同等物を規定してもよい。Ｒが、ルールのセットを示し、Ｄが、制約およびルールの合体、すなわち、Ｄ＝ＣＵＲを示すとする。制約された決定モデルは、したがって、以下によって示されてもよい。
【化3】
【0064】
制約された決定モデルは、標的変数Ｙを最大限にすることが予測される、推奨を生成することができる。ｄ＊（ｘ）は、提示されるように、単一適合モデルに基づくが、実践では、最適化される機能は、ヒューリスティック、未加工データ、特徴エンジニアリングデータ、ならびに統計的および機械学習されたモデルの結果を含む、多くのコンポーネントを伴う、アルゴリズムであり得る。本汎用性は、下記に提示される説明可能性アプローチを変化させない。
【0065】
システム２００はまた、説明可能性モデル生成器２１５を含むことができる。説明可能性モデル生成器２１５は、決定モデルの説明可能性モデルを生成することができる。説明可能性モデルは、決定モデルの局所的または大域的説明を生成してもよく、これは、決定モデルが、不透明である、または別様に理解することが困難である場合、望ましくあり得る。
【0066】
決定モデルを説明することは、従来的分類モデルを説明することより複雑であり得る。分類モデルは、インスタンスが標的グループ内にあるかどうかを決定する。決定モデルは、バイナリまたはさらにマルチクラス分類ではないが、１つまたはそれを上回る決定変数に基づく、最適化であり得るという点で、より複雑であり得る。しかしながら、最適化を扇動しているものを理解する必要性も、同じように重要である。多くの実践的場合では、人物またはエンティティは、単に、決定を出力する、不透明モデルに、不本意ながら依拠し得る。人物またはエンティティは、モデルの構造および機能ならびに具体的決定につながる予測子空間のエリアのより深い理解を要求し得る。
【0067】
本明細書で前述の説明可能性モデルは、決定モデルの理解および説明に適用されることができる。決定モデルの説明可能性モデルは、下記の実施例を参照してさらに詳細に説明されるであろう。
【0068】
図２のサブシステムおよびその構成要素は、１つまたはそれを上回るコンピューティングデバイス上に実装されることができる。コンピューティングデバイスは、サーバ、デスクトップまたはラップトップコンピュータ、電子タブレット、モバイルデバイス、もしくは同等物であることができる。コンピューティングデバイスは、１つまたはそれを上回る場所に位置することができる。コンピューティングデバイスは、汎用目的プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または同等物を有することができる。コンピューティングデバイスは、加えて、メモリ、例えば、動的または静的ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ、ハードドライブ、もしくは同等物を有することができる。メモリは、実行に応じて、コンピューティングデバイスにサブシステムの機能性を実装させる命令を記憶するように構成されることができる。コンピューティングデバイスは、加えて、ネットワーク通信デバイスを有することができる。ネットワーク通信デバイスは、コンピューティングデバイスが、ネットワークを経由して、相互および任意の数のユーザデバイスと通信することを可能にすることができる。ネットワークは、有線または無線ネットワークであることができる。例えば、ネットワークは、光ファイバネットワーク、Ｅｔｈｅｒｎｅｔ（登録商標） ネットワーク、衛星ネットワーク、セルラーネットワーク、Ｗｉ－Ｆｉ（登録商標） ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標） ネットワーク、または同等物であることができる。他の実装では、コンピューティングデバイスは、インターネットを通してアクセス可能である、いくつかの分散型コンピューティングデバイスであることができる。そのようなコンピューティングデバイスは、クラウドコンピューティングデバイスと見なされ得る。
【0069】
図３は、決定モデルの説明モデルを生成するための例示的プロセス３００のフローチャートである。プロセス３００は、１つまたはそれを上回る場所における１つまたはそれを上回る適切にプログラムされたコンピュータ上に実装され得る、図２のシステム２００によって実施されることができる。
【0070】
本システムは、予測モデルを生成することができる（３０５）。予測モデルは、標的変数を特徴のセットから決定するように構成（例えば、訓練）され得る。一般に、予測モデルは、不透明または別様に「ブラックボックス」である、モデルであってもよい。すなわち、予測モデルの構造および機能は、ユーザによって容易に解釈可能ではあり得ない。予測モデルは、ＭＬまたはＡＩモデルであってもよい。ＭＬまたはＡＩモデルは、ニューラルネットワーク（例えば、フィードフォワードニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、再帰ニューラルネットワーク（ＲＮＮ）、長短期メモリネットワーク（ＬＳＴＭ）等）、自動エンコーダ、回帰モデル、決定木、ランダムフォレストモデル、サポートベクトルマシン、ベイズネットワーク、クラスタ化モデル、強化学習アルゴリズム、または同等物であってもよい。
【0071】
標的変数は、人物または事業が、最小限にする、最大限にする、または別様に最適化することに関心がある、メトリック（例えば、収入、利益、顧客またはユーザの量、生産時間、出荷時間、顧客評定、顧客応答率等）であってもよい。標的変数は、カテゴリ変数であってもよい。すなわち、標的変数は、値の離散数に限定され得る。例えば、標的変数は、特定のイベントが、生じるであろう、または生じないであろう、もしくは特定のアクションが、行われるであろう、または行われないであろうことの決定であってもよい。医薬品企業、例えば、医療提供者（ＨＣＰ）が、販売員からの連絡に応答して、特定のアクション（例えば、販売員によってＨＣＰに送信される、電子メール対応を開く、または医薬品製品と関連付けられる、オンライン報告を読む）を行うであろうかどうかに関心があり得る。代替として、または加えて、標的変数は、持続的変数であってもよい。すなわち、標的変数は、持続的範囲内のいくつかの値をとりうる。医薬品企業は、例えば、医薬品製品の処方箋、市場占有率、または販売数に関心があり得る。
【0072】
特定の実施例では、標的変数は、ある施設への医薬品製品の販売数における匹敵する施設（例えば、その施設と同一十分位数販売数にある施設）への平均販売数からの偏差であってもよい。
【0073】
特徴のセットは、標的変数を予測する、または予測すると考えられる、特徴を含んでもよい。特徴のセットは、決定変数を含んでもよい。決定変数は、予測モデルを実装または使用する、人物またはエンティティ（例えば、販売員）の制御下で、それによって実行される、アクションであってもよい。換言すると、決定変数は、慎重に制御され得る、変数であってもよい。特徴のセットはまた、同様に標的変数を予測する、直接制御されることができない、変数を含んでもよい。例えば、企業が直接制御することが不可能であり得る、企業の既存の市場占有率は、販売数を予測し得る。
【0074】
医薬品企業の場合、特徴のセットは、ＨＣＰと関連付けられる、人口統計データを含んでもよい。人口統計データは、例えば、ＨＣＰが、特定の連絡のモードに応答するであろうが、別のモードに応答しないであろう（例えば、電話に応答するが、電子メールに応答しない）かどうかの予測子であり得る。人口統計データは、ＨＣＰの年齢、性別、教育背景、およびセグメントメンバーシップを含んでもよい。加えて、または代替として、特徴のセットは、ＨＣＰの患者母集団を示す、データ（例えば、特定の疾患を有する、ＨＣＰの患者母集団のパーセンテージ）を含んでもよい。加えて、または代替として、特徴のセットは、ＨＣＰと関連付けられる連絡履歴および医薬品企業の販売担当者を含んでもよい。連絡履歴は、以下、すなわち、（１）１人またはそれを上回る販売担当者によるＨＣＰへの訪問の回数、（２）訪問の際の会話の話題、（３）１人またはそれを上回る販売担当者によってＨＣＰに送信された電子メール対応の回数、（４）送信された電子メール対応の話題、（５）１人またはそれを上回る販売担当者によってＨＣＰに提供された医薬品製品に関連する文書、（６）１人またはそれを上回る販売担当者およびＨＣＰによって出席されたウェビナー、および（７）１人またはそれを上回る販売担当者およびＨＣＰによって出席された会議のうちの１つまたはそれを上回るものを含んでもよい。そのような連絡履歴および対応する販売データは、医薬品企業に最も有用である、連絡のタイプを示し得る。
【0075】
本システムは、（ｉ）動作制約のセットと、（ｉｉ）ブランド方略ルールのセットとを予測モデルに課すことによって、決定モデルを生成することができる（３１０）。動作制約のセットは、決定モデルを使用する、人物またはエンティティが行い得る、潜在的アクションを限定する、ロジスティック制約であってもよい。例えば、販売組織の場合、ロジスティック制約は、販売担当者が、製品を促進するために標的（例えば、潜在的クライアントまたは顧客）と相互作用する方法と関連付けられる、制約であってもよい。医薬品企業の具体的場合では、標的は、ＨＣＰであってもよく、製品は、医薬品製品であってもよい。ロジスティック制約は、例えば、（１）販売員が、その場所に対して利用可能な時間を前提として、各日に出席することが可能である、会合約束および訪問の回数、（２）訪問と非対面相互作用を協調させること、または（３）販売員の現実的地理的範囲であってもよい。
【0076】
他方では、ブランド方略ルールは、ブランド方略または販売戦略チームによって実装される、計画および目標であってもよい。例えば、ブランドチームは、市場での新しい製品の販売を優先することを所望し得る。加えて、または代替として、ブランドチームは、非制御刊行物と相互作用するためのルール、商業上のメトリックが統計的に関連方法において変化するときに訪問を要求する、ルール、季節的商業上の扇動子との相互作用のタイミングを調整するためのルール、製品ブランドを横断してメッセージングを協調させるためのルール、および同等物を規定してもよい。これらは、ロジスティック制約ではないが、それらは、依然として、販売担当者によって実施され得る、潜在的アクションを限定する。
【0077】
本システムは、標的変数のセット内の１つまたはそれを上回る標的変数を最小限にする、最大限にする、または別様に最適化するための１つまたはそれを上回る最適アクションを決定することができる（３１５）。
【0078】
本システムは、説明可能性モデル化を決定モデルに適用し、説明モデルを生成することができる（３２０）。説明モデルは、標的変数に影響を及ぼす決定モデル内の相互作用の洞察を得るために、１人またはそれを上回るユーザによって使用可能であってもよい。ある場合には、本システムは、回帰的パーティション化を決定モデルに適用する、決定モデルを訓練するために使用される特徴のセット間の共変量関係の洞察を有効にすることによって、説明可能性モデル化を適用してもよい。回帰的パーティション化は、マルチ変数分析のための統計的方法である。回帰的パーティション化は、いくつかの二分独立変数に基づいて、母集団をサブ母集団に分裂させることによって、母集団のメンバーを正しく分類することを目指す、決定木を作成してもよい。各サブ母集団は、ひいては、特定の停止基準に到達後、分裂プロセスが終了するまで、不定回数、分裂されてもよい。結果として生じる決定木は、ユーザに、決定モデルが実際に決定を行う方法をより明確に示し得る。
【0079】
ある場合には、本システムは、ＬＩＭＥ、ＣＬＥＡＲ、ＬＯＣＯ、または同等物等の本明細書に説明される他の技法を含む、他のタイプの説明可能性モデル化も決定モデルに適用することができる。
【0080】
ある場合には、本システムは、決定モデルを訓練するために使用される特徴のセット全体にわたって、説明可能性モデル化（例えば、回帰的パーティション化）を適用し、大域的説明モデル（例えば、大域的決定木）をもたらしてもよい。大域的説明モデルは、決定モデルに適用される制約を考慮するという点で、制約された大域的説明モデルであり得る、または非制約大域的説明モデルであり得る。しかしながら、他の場合では、本システムは、決定モデルを訓練するために使用される、特徴のサブセット、例えば、空間全体の代わりに、空間のマージンにわたってのみ、説明可能性モデル化を適用し、局所的説明モデルをもたらしてもよい。回帰的パーティション化の場合、例えば、これは、局所的決定木をもたらし得る。
【0081】
説明モデルは、マーケティング分析のあるドメイン内における最適決定、１対１のマーケティング、および１つまたはそれを上回る製品の販売を増加させるための推奨の個人化を行うために、１人またはそれを上回るユーザによって使用可能であってもよい。本システムは、コンピューティングデバイスのグラフィカルユーザインターフェース上に可視化されるように、説明モデルを１人またはそれを上回るユーザに提示することができる。例えば、本システムは、本明細書に説明される決定木をユーザインターフェース内に提示することができる。
【0082】
小売実施例では、特徴のセットは、特定の顧客と関連付けられる、人口統計および購入履歴を含んでもよい。特徴は、予測特定の店舗における顧客であるかどうか、顧客が購入を行い得る時間、顧客が購入し得る、アイテムのタイプ、または他の標的変数に関して予測してもよい。決定変数は、そのようなシナリオでは、小売企業または個々の小売従業員が、クーポンの配布および従業員と顧客との相互作用等のある程度の制御を有する、特徴であってもよい。したがって、決定モデルは、標的結果に対する決定変数の相対的重要性を決定してもよい一方、説明モデルは、決定変数特徴が相互に相互作用する方法の洞察を提供してもよい。
【0083】
同様に、軍事実施例では、特徴のセットは、特定のドローンまたは無人航空車両（ＵＡＶ）の視覚的センサからの地形情報を含んでもよい。特徴は、情報収集または偵察のために重要な可視オブジェクトもしくはエリアならびドローンおよびドローンの飛行経路についての情報に関して示してもよい。決定変数は、したがって、ドローンのユーザ決定された飛行軌道およびドローン上のカメラの構成を含んでもよい。説明モデルは、着目オブジェクトの検出を改良し得る、ユーザアクションの洞察を提供してもよい。
【0084】
財務実施例では、特徴のセットは、株価の変化のインジケータを含んでもよい。本シナリオにおけるいくつかの決定変数は、企業が近々株価に影響を及ぼすために行い得る、アクションに関連してもよい。説明モデルは、企業が、それ自体で、企業に対して個々に負債を殆どかけずに、株価を増加させ得る、アクションを行うために、これらのアクション間の関係に関する洞察を提供してもよい。
【実施例】
【0085】
ある医薬品企業が、２つの医薬院製品のそれぞれの販売を最大限にする、企業がサービス提供する、各施設（例えば、医師のオフィス、診療所、および病院）への四半期毎訪問の量を決定することを所望する。企業は、より多くの施設が、同一リソース間接費を用いて、サービス提供され得るように、コストがかかる個々の訪問を低減させ、潜在的に、それらをグループ会議または電子メールで置換し、リソースを解放することに躍起になっている。しかしながら、対面訪問は、より多くの販売をもたらし得る。企業は、履歴データを考慮して、２つの医薬品の販売を最大限にする、各施設への訪問の回数を決定する、決定モデルを構築する。決定モデルは、施設訪問を含む、特徴を販売数にマッピングする、予測モデルｆ（ｘ，ｄ）に基づく。Ｄ＊（ｘ）は、制約された決定モデルを表し得る。
データ
データ
【0086】
企業は、異なる医療施設への２つの製品の履歴販売データ上で予測モデルを訓練した。履歴販売データは、施設毎に、２つの製品毎に、四半期毎販売データを含んだ。特定のデータ記録は、データ記録の製品（製品）、四半期（四半期）、および施設のインジケーション、施設（施設）の販売数の十分位数を示す、コード、販売担当者が施設内のＨＣＰに対して行った予定された訪問の回数（会合約束）、施設内のＨＣＰが出席した会議の回数（会議）、施設内のＨＣＰが出席したグループミーティングの回数（グループ）、施設内のＨＣＰに送信された電子メールの数（電子メール）、および施設内のＨＣＰへの予定されない訪問の回数（訪問）を含有した。
【0087】
図４は、上記に述べられたデータ内の観察の数の２つのグラフを示す。グラフは、施設十分位数および施設への訪問の回数を横断した観察の分布を示す。
予測および決定モデル
予測および決定モデル
【0088】
企業は、ランダムフォレストモデルを予測モデルとして使用し、標的変数Ｙは、販売ある施設に対する販売数のその施設と販売数の同一十分位数における施設の平均販売数からの偏差である。ランダムフォレストモデルは、回帰および分類の両方を実施し得る、アンサンブル機械学習モデルである。ランダムフォレストモデルは、単一決定木より正確かつ安定した予測を達成するために、複数の決定木からの予測をマージしてもよい。ランダムフォレスト内の各決定木は、訓練データのランダムサンプルから学習してもよい。各木を異なるサンプル上で訓練することによって、ランダムフォレストモデルは、低分散を達成し得る。
【0089】
上記に述べられた特徴は、販売数の変動の７２％を説明した。各特徴の重要性は、下記の表１に示される。
【表1】
【0090】
表１は、四半期、訪問、および施設が、最も重要な予測子であることを示す。特定の変数に関する％ＩｎｃＭＳＥは、変数からのデータがランダム雑音と置換されることになる場合、モデルが予測能力において劣化するであろう程度を測定する。ＩｎｃＮｏｄｅＰｕｒｉｔｙは、特定の変数によって分裂されるノード内のデータが均質である程度を測定する。木をより均質なノードに分裂させることは、モデルの予測およびランク付け力における改良、故に、モデルに基づいて行われる決定の品質における改良をもたらし得る。
【0091】
図５は、医薬品毎の実際の標的値に対する予測モデルの予測される値の散布図である。プロットは、モデル適合が良好であることを確認する、著しい対角線パターンを示す。上記に説明されるように、説明モデルを構築するアプローチは、モデルを訓練するために使用されるデータセットのサンプルまたは反事実のセットのいずれか上で予測モデルを評価する。この場合、反事実は、予測子の完全空間を網羅する、観察を生成するために使用された。本システムは、これらのデータを使用して、決定モデルを構築してもよい。
【0092】
ｆ（）の予測によって定義される表面は、８次元表面である。表面を備える、観察は、パラメータモデルではなく、ランダムフォレストモデルの予測に由来するため、図６のプロットが示すように、断続性が表面に存在する。図６は、２つの四半期に関する４次元を横断した表面を示す。表面は、四半期を横断して、施設を横断して、および製品を横断して、変動する。各プロット内の第１の行は、製品１に関するデータを示し、第２の行は、製品２に関するデータを示し、プロットが、移動させるから左から右に移動するにつれて、施設十分位数が、増加する。プロット内の分散および変動のうちのいくつかは、ランダムフォレストモデルの断続性によって引き起こされ、いくつかのは、プロットに示されない、隠れ変数によって引き起こされる。図６は、本予測表面に関するさらなる詳細を図示し、決定モデルの洞察を提供する。右側のプロットは、青色および赤色線を有し、これらは、それぞれ、識別された次元のそれぞれにおける、予測に関する最大値および９５％分位数である。最大値が交差する、訪問の値は、その予測子のセットのためのｄ＊（ｘ）に関する値である。予測モデル法と関連付けられる、分散が存在するため、それらの値に関する予測が予測子のそのビン内の９５％分位数を上回る、訪問の平均回数が、ｄ＊（ｘ）に関する値として使用される。
【0093】
図７は、予測子のいくつかの組み合わせに関して、９５％分位数を上回る訪問の平均回数を描写する、プロットを含む。それらはまた、それらの点を通して平滑化されたカーネル推定線を示す。
【0094】
左側のプロットでは、推定線は、施設販売数サイズ、送信された電子メールの数、会合約束の数の関数として、販売数を最大限にする、訪問の回数を示す。会合約束は、プロットに関して、右に行くほど増加し、送信された電子メールは、プロットに関して、上に向かうほど増加する。プロットは、訪問の値が、より少ない会合約束が存在するとき、施設サイズに伴って増加する（左側に正の傾きを伴う推定線）が、傾向が、会合約束が増えるにつれて、反転する（右側に負の傾きを伴うカーネル推定器線）ことを示す。会合約束は、施設が増えるにつれて、より重要であることが予期され得る。左側のプロットはまた、送信される電子メールの数の影響が、よりわずかであることを示す（同一列内の推定線の傾きにおけるわずかな変動のみ）。
【0095】
右側のプロットは、類似するが、会合約束の代わりに、グループミーティングの数に焦点を当てる。グループミーティングは、プロット内では、右に増加し、送信される電子メールは、プロット内では、ページの上に向かって増加する。グループミーティングは、何人かの処方者が同時にミーティングに存在するため、よりコスト効果的であり得る。本データは、より多くの訪問が、施設サイズが増えるにつれて、必要とされることを示唆する。これは、ＨＣＰが、グループミーティング後、対面訪問においてより多くの説明を必要とすることを示唆し得る。これらは、決定空間を通した、マージナルスライスの図であるため、ｄ＊（）の扇動子および形状の完全理解を得ることが困難である。したがって、説明可能性モデルが、望ましい。
説明モデル
説明モデル
【0096】
入力データのいくつかの次元を横断したマージナルプロットは、下層決定モデルの洞察を提供し得るが、全ての相互作用およびその相対的強度を捕捉し得ない。さらに、ＬＩＭＥおよびＣＬＥＡＲ等の線形モデルの使用は、決定モデルによって生産された最適決定に及ぼされる変数の全ての相対的影響の完全洞察を与え得ない。特定の決定点に関して、特定の決定点を最適または所望のものにする要因、ならびに決定変数の特定の値が本特定の決定点をもたらす方法を決定することが有用であり得る。より多くの相互作用を捕捉するために、本システムは、最適ソリューションに近い複数のソリューションを試験し、再帰的に処理し、複数のソリューションと関連付けられる、決定変数の値を決定してもよい。
【0097】
より詳しい説明を得る第１のステップとして、企業は、回帰的パーティション化を使用して、決定木をｄ＊（ｘ）に適合させてもよい。回帰的パーティション化は、マルチ変数分析のための統計的方法である。回帰的パーティション化は、いくつかの二分独立変数に基づいて、それをサブ母集団に分裂させることによって、母集団のメンバーを正しく分類することを目指す、決定木を作成する。回帰的パーティション化は、ｄ＊（ｘ）における共変量関係の洞察を有効にする。
【0098】
図８は、最適ソリューション（例えば、最大販売数）の７０％以内の全てのソリューションを標的として使用することによって、インスタンスｄ＊（ｚ）（ｚは、ｘの変換である）までの近接度を予測するための２つの木適合を示す。左側の木は、非制約決定モデルに関する結果を示す一方、右側の木は、制約モデルに関する結果を示す。左側の木に関して、０．７５および１００％として標識された上位ノードは、ｄ＊（施設７製品１四半期１）に関する最適ソリューションの木平均７５％の全てのサブノード内の決定変数に関するソリューションを示す。グループ値１を有する、本木のサブグループは、母集団の５６％を表し、７４％の最適の平均パーセントを有する。本木はまた、最適ソリューションが、８またはそれ未満の訪問を有し、施設７内のＨＣＰに送信された０または１の電子メールを有し、９１％最適販売を達成し得ることを示す。本木内に含まれない、決定変数は、最適ソリューションの扇動子ではあり得ない。本木は、ソリューションｄ＊（ｚ＊）の近傍内の最適性に影響を及ぼす変数の洞察を与える、局所的説明と見なされ得る。
【0099】
制約された決定モデルは、１つまたはそれを上回る制約を組み込んでもよい。例えば、制約モデルは、送信される電子メールの数が訪問の回数の少なくとも２５％であることを要求する、制約を組み込んでもよい。右側の木は、「訪問」変数が、最適ソリューションを扇動する際に最も重要であることを示す。本プロットに示される最適ソリューションに関する減少された値は、定位置における制約を反映させ得る。
【0100】
図９は、大域的説明モデルのための決定木を示す。検索空間を最適の７０％以内に制限する代わりに、全ての反事実に関する予測の空間全体が、回帰的パーティション化アルゴリズム内で使用されてもよい。図９の非制約および制約された木の実施例では、木内の分裂の順序は、重要性の順序に匹敵する、すなわち、木の上に向かう変数は、最適ソリューションを生産するためにより重要である。右側の木内の制約された分析は、電子メールをソリューションに向かわせる制約の影響を示す。「電子メール＞＝５」と標識された右側の分岐は、空間の８３％を含有し、制約された最適値の平均６２％を占める。サブ分岐は、決定モデルが電子メール制約を導くことに役立つ、「グループ」訪問と「訪問」との間のトレードオフが存在することを示す。
局所的説明モデル
局所的説明モデル
【0101】
本実施例は、を有する、ｄ＊（ｘ）を説明する大域的アプローチに焦点を当てる。しかしながら、回帰的パーティション化が、問題のより局在化された部分に関する説明を取得するために使用されることができる。ＬＩＭＥおよびＣＬＥＡＲのような説明可能性アプローチでは、局所的説明可能性は、その点の周囲の空間内の下層モデルをサンプリングすることによって、単一点において、下層モデルの挙動を分析することによって取得される。ＬＩＭＥの場合、線形モデルが、本開示で上記に記載されるように、それらの点に基づいて構築される。前節では、回帰的パーティション化が、ｄ＊（ｘ）の空間全体上で使用された。図９の実施例は、に空間の一部に焦点を当てる。施設サイズは、決定モデルのための重要な予測子および重要な変数であるため、回帰的パーティション化は、施設の単一値に適用されることができる。
【0102】
図９は、施設の異なる販売十分位数（第３および第８の十分位数）に関する決定木を示す。両方の分析は、同一分裂レベルまで行われた。四半期は、それぞれの場合において、第１の分裂に関する最も重要な変数であるが、その下の構造は、有意に異なる。これは、本分析が表１内で識別された３つの最も重要な変数上で調整されたため、予期される。これらの木は、四半期、製品、および施設サイズによって定義されたマージンに関する、会合約束の回数、グループミーティングの回数、および会議の回数を前提とした、販売数を最大限にする、訪問の回数間の関係を示す。
ＬＩＭＥ説明モデル
ＬＩＭＥ説明モデル
【0103】
ＬＩＭＥアルゴリズムの実装が、本実施例のために開発された。標準的実装は、試験セットからサンプリングし、次いで、着目点までの距離によって加重されたサンプル点に関する予測を使用して、線形モデルを構築する。線形説明モデルと関連付けられる、係数は、その特定の説明点に関する予測子の重要性をもたらす。現在の実装は、ｄ＊（ｘ）を評価するために使用される空間全体を横断して反事実を使用するように修正されている。標準的ＬＩＭＥアプローチと同様に、点が、サンプリングされるが、次いで、着目点の周囲の付加的点をサンプリングするのではなく、辺長１を伴う超立方体内の全ての反事実が、サンプリングされる。本実施例は全て、整数予測子を有し、したがって、単位超立方体は、自然選択肢である。予測子のうちのいくつかが、持続的である場合、類似アプローチが、行われ得るが、異なる方略が、概して、決定モデル反事実を評価するために必要とされるである。
【0104】
現在の実装はまた、ＬＩＭＥ説明モデル内の観察にｅｘｐ（－ｗ）によって加重し、ｗは、超立方体内の点から着目点までの距離である。
【0105】
図１０Ａにおける棒グラフは、サンプリングされるインスタンスに関する係数値を示す。正の値は、販売を最適化する、訪問の回数の増加を扇動する、予測子の増加として解釈される。観察内では、四半期の増加は、販売最適化シナリオにおける訪問の増加と関連付けられることに留意されたい。これは、例えば、図８および９に示されるように、回帰的パーティション化説明モデルからの観察と一致する。
【0106】
ＬＩＭＥは、局所的説明アプローチであるが、多数のサンプル着目点を横断して説明係数を検査することによって、モデルがより一般的に挙動する方法を理解するために使用されることができる。例えば、ユーザが点検するためのインスタンスのセットを取り上げ、次いで、結果をインスタンスの行列内に表示してもよい。ここでは、我々は、小数（２５０）の着目点をサンプリングし、係数値の箱ひげ図を図１０Ｂに示す。プロットは、販売を最大限にするための訪問の最適回数に及ぼされる四半期の著しい影響を示す。本プロットに見られ得ないものは、回帰的パーティション化が、例えば、図９において明らかにする、詳細であって、より小さい施設に関して、より大きい施設と比較して、年の後半により少ない会合約束を有することが好ましく、年の前半により多くの会合約束を有することが好ましい。
【0107】
本システムは、パーセント偏差を最適値からモデル化する標的を伴って、加重された超立方体値を予測子として用いて、線形モデルを構築してもよい。これは、回帰的パーティション化内で使用されるものと同一標的であってもよい。
【0108】
本システムは、加重された超立方体値を予測子として、線形モデルを構築してもよい。予測子変数（予測子）の寄与を決定するために、本システムは、最適値から特定のパーセンテージ偏差である、異なるモデル標的を試験してもよい。図１０Ｃのプロットは、２つの推定されるＬＩＭＥ説明モデル、すなわち、制約モデルおよび非制約モデルに関する係数の値を示す。予測子は、水平軸にあって、その係数の値は、垂直軸上にある。本表は、係数の正確な値を与える。非制約モデルに関するｒ２の値は、０．９７であって、制約モデルに関しては、０．９８であって、モデルが、効果的予測ツールであることを意味する。プロットは、モデル毎に、変数「会合約束」、「会議」、および「訪問」が、予測を非常に確定的であったことを示す。これらの結果は、回帰的モデルに関するものに合致するが、ＬＩＭＥモデルは、決定モデル内の説明子としての予測子の多変量影響を決定し得ない。
コンピュータシステム
コンピュータシステム
【0109】
本開示は、本開示の方法を実装するようにプログラムされる、コンピュータシステムを提供する。図１１は、本明細書に説明される、予測モデル、決定モデル、および説明モデルを実装するようにプログラムされる、または別様に構成される、コンピュータシステム１１０１を示す。コンピュータシステム１１０１は、ユーザの電子デバイスまたは電子デバイスに対して遠隔で位置するコンピュータシステムであることができる。電子デバイスは、モバイル電子デバイスであることができる。
【0110】
コンピュータシステム１１０１は、シングルコアまたはマルチコアプロセッサ、もしくは並列処理のための複数のプロセッサであり得る、中央処理ユニット（ＣＰＵ、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」）１１０５を含む。コンピュータシステム１１０１はまた、メモリまたはメモリ場所１１１０（例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ）と、電子記憶ユニット１１１５（例えば、ハードディスク）と、１つまたはそれを上回る他のシステムと通信するための通信インターフェース１１２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データ記憶装置、ならびに／もしくは電子ディスプレイアダプタ等の周辺デバイス１１２５とを含む。メモリ１１１０、記憶ユニット１１１５、インターフェース１１２０、および周辺デバイス１１２５は、マザーボード等の通信バス（実線）を通してＣＰＵ１１０５と通信する。記憶ユニット１１１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム１１０１は、通信インターフェース１１２０の助けを借りてコンピュータネットワーク（「ネットワーク」）１１３０に動作的に結合されることができる。ネットワーク１１３０は、インターネット、イントラネットおよび／またはエクストラネット、もしくはインターネットと通信するイントラネットおよび／またはエクストラネットであり得る。ネットワーク１１３０は、ある場合には、電気通信および／またはデータネットワークである。ネットワーク１１３０は、クラウドコンピューティング等の分散コンピューティングを可能にし得る、１つまたはそれを上回るコンピュータサーバを含むことができる。ネットワーク１１３０は、ある場合には、コンピュータシステム１１０１の助けを借りて、コンピュータシステム１１０１に結合されるデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。
【0111】
ＣＰＵ１１０５は、プログラムまたはソフトウェア内で具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ１１１０等のメモリ場所内に記憶されてもよい。命令は、ＣＰＵ１１０５にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにＣＰＵ１１０５をプログラムまたは別様に構成することができる。ＣＰＵ１１０５によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。
【0112】
ＣＰＵ１１０５は、集積回路等の回路の一部であり得る。システム１１０１の１つまたはそれを上回る他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路（ＡＳＩＣ）である。
【0113】
記憶ユニット１１１５は、扇動子、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット１１１５は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム１１０１は、ある場合には、イントラネットまたはインターネットを通してコンピュータシステム１１０１と通信する遠隔サーバ上等に位置する、コンピュータシステム１１０１の外部にある、１つまたはそれを上回る付加的データ記憶ユニットを含むことができる。
【0114】
コンピュータシステム１１０１は、ネットワーク１１３０を通して１つまたはそれを上回る遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム１１０１は、ユーザの遠隔コンピュータシステム（例えば、ユーザのモバイルデバイス）と通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標） ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標） ＧａｌａｘｙＴａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標） ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、もしくは携帯情報端末を含む。ユーザは、ネットワーク１１３０を介してコンピュータシステム１１０１にアクセスすることができる。
【0115】
本明細書に説明されるような方法は、例えば、メモリ１１１０または電子記憶ユニット１１１５上等、コンピュータシステム１１０１の電子記憶場所上に記憶される、機械（例えば、コンピュータプロセッサ）実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードが、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ１１０５によって実行されることができる。ある場合には、コードは、記憶ユニット１１１５から読み出され、プロセッサ１１０５による迅速なアクセスのためにメモリ１１１０上に記憶されることができる。いくつかの状況では、電子記憶ユニット１１１５は、除外されることができ、機械実行可能命令は、メモリ１１１０上に記憶される。
【0116】
コードは、事前コンパイルされ、コードを実行するように適合されるプロセッサを有する機械との併用のために構成されることができる、またはランタイムの間にコンパイルされることができる。コードは、コードが事前コンパイルされた様式またはコンパイル直後の方式で実行されることを可能にするように選択され得る、プログラミング言語で供給されることができる。
【0117】
コンピュータシステム１１０１等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、あるタイプの機械可読媒体上で搬送される、またはそれにおいて具現化される機械（もしくはプロセッサ）実行可能コードおよび／または関連付けられるデータの形態における「製品」もしくは「製造品」と考えられ得る。機械実行可能コードは、メモリ（例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプ媒体は、ソフトウェアプログラミングのために任意の時点で非一過性記憶を提供し得る、コンピュータ、プロセッサ、または同等物の有形メモリ、もしくは種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等のその関連付けられるモジュールのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットもしくは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、１つのコンピュータまたはプロセッサから別のものへの、例えば、管理サーバもしくはホストコンピュータからアプリケーションサーバのコンピュータプラットフォームへのソフトウェアのローディングを可能にし得る。したがって、ソフトウェア要素を保有し得る別のタイプの媒体は、ローカルデバイス間の物理的インターフェースを横断して、有線および光学固定ネットワークを通して、ならびに種々のエアリンクを経由して使用されるもの等、光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、もしくは同等物等のそのような波を搬送する物理的要素はまた、ソフトウェアを保有する媒体と見なされ得る。本明細書に使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、実行のためにプロセッサに命令を提供することに関与する、任意の媒体を指す。
【0118】
故に、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。不揮発性記憶媒体は、例えば、図面に示されるデータベース等を実装するために使用され得るもの等、任意のコンピュータまたは同等物内の記憶デバイスのうちのいずれか等の光学もしくは磁気ディスクを含む。揮発性記憶媒体は、そのようなコンピュータプラットフォームのメインメモリ等の動的メモリを含む。有形伝送媒体は、同軸ケーブルと、コンピュータシステム内のバスを備えるワイヤを含む、銅ワイヤおよび光ファイバとを含む。搬送波伝送媒体は、電気または電磁信号、もしくは無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に発生されるもの等の音響または光波の形態をとり得る。コンピュータ可読媒体の一般的な形態は、したがって、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、データまたは命令を転送する搬送波、そのような搬送波を転送するケーブルもしくはリンク、またはそれからコンピュータがプログラミングコードならびに／もしくはデータを読み取り得る任意の他の媒体を含む。コンピュータ可読媒体のこれらの形態のうちの多くは、１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行のためにプロセッサに搬送することに関与してもよい。
【0119】
コンピュータシステム１１０１は、例えば、決定木等の説明モデルの可視化を提供するためのユーザインターフェース（ＵＩ）１１４０を備える電子ディスプレイ１１３５を含む、またはそれと通信することができる。ＵＩの実施例は、限定ではないが、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースを含む。
【0120】
本開示の方法およびシステムは、１つまたはそれを上回るアルゴリズムを用いて実装されることができる。アルゴリズムが、中央処理ユニット１１０５による実行に応じて、ソフトウェアを用いて実装されることができる。アルゴリズムは、例えば、予想モデルまたは決定モデルであることができる。
【0121】
本発明の好ましい実施形態が、本明細書に示され、説明されているが、そのような実施形態が、実施例としてのみ提供されることが、当業者に明白となるであろう。本発明が、本明細書内に提供される具体的実施例によって限定されることを意図していない。本発明は、前述の本明細書を参照して説明されているが、本明細書における実施形態の説明および図は、限定的意味で解釈されることを意味していない。多数の変形例、変更、および代用が、ここで、本発明から逸脱することなく、当業者に想起されるであろう。さらに、本発明の全ての側面が、種々の条件および変数に依存する、本明細書に記載される具体的描写、構成、または相対的割合に限定されないことを理解されたい。本明細書に説明される本発明の実施形態に対する種々の代替物が、本発明を実践する際に採用され得ることを理解されたい。したがって、本発明がまた、任意のそのような代替、修正、変形例、または均等物を網羅することとすることが想定される。以下の請求項が、本発明の範囲を定義すること、これらの請求項ならびにそれらの均等物の範囲内の方法および構造が、それによって網羅されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11】
【国際調査報告】