(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-14
(54)【発明の名称】医療提供者関与のためのシステムおよび方法
(51)【国際特許分類】
G06Q 30/02 20120101AFI20220907BHJP
【ＦＩ】
G06Q30/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022500893
(86)(22)【出願日】2020-05-19
(85)【翻訳文提出日】2022-03-04
(86)【国際出願番号】 US2020033654
(87)【国際公開番号】W WO2021006957
(87)【国際公開日】2021-01-14
(31)【優先権主張番号】62/871,642
(32)【優先日】2019-07-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
(71)【出願人】
【識別番号】520363753
【氏名又は名称】アクタナ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ブルーステイン， ギル
(72)【発明者】
【氏名】ファン， ジン
(72)【発明者】
【氏名】コーエン， マーク
(72)【発明者】
【氏名】ジュー， ウェンドン
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB02
(57)【要約】
医療提供者（ＨＣＰ）関与エンジンが、開示される。ＨＣＰ関与エンジンは、機械学習アルゴリズムを使用して、医療販売員がＨＣＰに送信するためのメッセージを発生させることによって、医薬品販売担当者（医療販売員）とＨＣＰとの間の効果的通信を促進する。推奨されるメッセージは、ネットワークを経由して送信されてもよく、電子メールメッセージ、テキストメッセージ、またはオンラインチャットメッセージを含んでもよい。推奨されるメッセージは、関与エンジンによって全体的に草案されてもよい、または医療販売員によってすでに使用されているメッセージへの補遺として草案されてもよい。ＨＣＰ関与エンジンは、ＨＣＰおよび医療販売員によって実施されるアクションに関する履歴データ、およびメッセージ推奨を生成するために、履歴メッセージ推奨イベントから収集されたデータを使用する。
【特許請求の範囲】
【請求項1】
標的顧客とのユーザの関与またはアクションを向上させ、マーケティングの有効性を増加させるためのコンピュータ実装方法であって、前記方法は、前記標的顧客と関連付けられる１つ以上のデバイスからの顧客データを受信することであって、前記顧客データは、前記ユーザによって前記標的顧客に送信される少なくとも１つのメッセージに応答して、前記標的顧客によって行われる１つ以上のアクションに関する情報を含み、前記メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる、ことと、
複数の異なる期間にわたって、前記１つ以上のデバイスからの顧客データを集約することと、
機械学習アルゴリズムを用いて、前記集約された顧客データを分析し、前記標的顧客との前記ユーザの関与またはアクションを向上させるための前記ユーザへの１つ以上の推奨を決定することであって、前記１つ以上の推奨は、前記ユーザが前記医薬品製品のマーケティングまたは販売に関連する前記標的顧客に効果的に関与するか、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む、ことと
を含む、方法。
【請求項2】
前記標的顧客は、１人以上の医療従事者を含み、前記ユーザは、前記医薬品製品のための１人以上の販売担当者を含む、請求項１に記載の方法。
【請求項3】
前記標的顧客によって行われる前記１つ以上のアクションは、（ａ）前記メッセージを開くこと、（ｂ）前記メッセージ内のコンテンツまたはハイパーリンクをクリックすること、（ｃ）前記メッセージに返信すること、（ｄ）前記メッセージを１人以上の他の当事者に転送すること、（ｅ）前記メッセージを削除すること、（ｆ）前記メッセージをアーカイブすること、（ｇ）前記メッセージをソーシャルメディアまたはウェブサイト上に投稿するか、またはそこで共有すること、または（ｈ）前記メッセージに対して行われるアクションの無行為または欠如を含む、請求項１に記載の方法。
【請求項4】
前記少なくとも１つのメッセージは、前記複数の異なる期間にわたって前記ユーザによって前記標的顧客に送信される複数のメッセージを含む、請求項１に記載の方法。
【請求項5】
前記集約された顧客データは、以下のイベントまたはアクション、すなわち、（１）前記メッセージが前記標的顧客のデバイスに伝送される瞬間ｔ１、（２）前記メッセージが前記標的顧客のデバイスによって受信される瞬間ｔ２、（３）前記メッセージが前記標的顧客によってまだ開かれていない持続時間ｔ３、（４）前記標的顧客が前記メッセージを開く瞬間ｔ４、（５）前記メッセージが開かれている持続時間ｔ５、（６）前記標的顧客が前記メッセージ内のコンテンツまたはハイパーリンクをクリックする瞬間ｔ６、（７）前記標的顧客が前記メッセージを閉じる瞬間ｔ７、（８）前記標的顧客が前記ユーザのメッセージに返信する瞬間ｔ８、（９）前記標的顧客が前記ユーザのメッセージに返信することに費やす持続時間ｔ９、（１０）前記標的顧客が前記ユーザのメッセージを１人以上の他の当事者に転送する瞬間ｔ１０、（１１）前記標的顧客が前記メッセージをアーカイブする瞬間ｔ１１、または（１２）前記標的顧客が前記メッセージを削除する瞬間ｔ１２のうちの１つ以上のものと関連付けられるタイムスタンプを含む時系列データを含む、請求項１に記載の方法。
【請求項6】
前記複数の異なる期間は、時間、日、週、または月の順序で異なる時間間隔において定義される、請求項１に記載の方法。
【請求項7】
前記複数の異なる期間は、重複または非重複する異なる時間的セグメントを含む、請求項１に記載の方法。
【請求項8】
前記１つ以上の推奨における時間的洞察は、前記ユーザが追跡メッセージを前記標的顧客に送達するための提案されるタイミングを含み、前記提案されるタイミングは、特定の週の曜日または月の日付上の特定の時間またはタイムスロットを含む、請求項１に記載の方法。
【請求項9】
前記１つ以上の推奨における前記コンテキスト的洞察は、前記ユーザが前記標的顧客に送達するために提案される追跡メッセージを含み、前記提案される追跡メッセージは、前記標的顧客の関心を引くか、またはそれに関連性があると決定される、前記医薬品製品に関連する話題、件名、またはキーワードを含む、請求項１に記載の方法。
【請求項10】
前記話題、件名、またはキーワードは、以下、すなわち、（１）前記標的顧客のプロフィール、（２）直接または間接的に複数のソースから取得される前記標的顧客についての情報、（３）前記標的顧客が、出席した、出席中である、または出席する予定である１つ以上の会議またはイベントについての情報、（４）前記標的顧客によって執筆または公開されている論文、（５）前記標的顧客によって与えられる講演または発表、（６）前記標的顧客によって投稿されるオンラインコンテンツ、（７）前記標的顧客と関わりがある第三者または個人によって投稿された前記標的顧客についてのニュース、レビュー、または論文、または（８）前記標的顧客によって現在使用または公認されているか、または以前に使用または公認されている他の医薬品製品のうちの１つ以上のものに基づいて、前記標的顧客の関心を引くか、またはそれに関連性があると決定される、請求項９に記載の方法。
【請求項11】
前記１つ以上の推奨はさらに、（３）前記ユーザが、前記医薬品製品のマーケティングまたは販売に関連する前記標的顧客に効果的に関与するか、またはそれと相互作用する尤度を増加させるための通信のモードまたはチャネルに関する洞察を含む、請求項１に記載の方法。
【請求項12】
前記通信のモードまたはチャネルは、以下、すなわち、（１）電子メール通信、（２）モバイルテキストメッセージ、（３）ソーシャルメディアウェブサイト、（４）モバイルアプリケーション、（５）電話コール、（６）対面会合、（７）ビデオ会議、（８）会議またはセミナー、または（９）前記標的顧客の業務施設で行われるイベントのうちの１つ以上のものを含む、請求項１１に記載の方法。
【請求項13】
前記１つ以上の推奨を前記ユーザと関連付けられる１つ以上のデバイスに提供することと、前記１つ以上の推奨を１つ以上の視覚的グラフィカルオブジェクトとして前記ユーザのデバイス上に表示することと
をさらに含む、請求項１に記載の方法。
【請求項14】
前記１つ以上の視覚的グラフィカルオブジェクトは、前記ユーザが、以下のアクション、すなわち、（１）前記１つ以上の推奨を承認すること、（２）前記１つ以上の推奨を否認すること、（３）前記１つ以上の推奨をステータスマーカでマークすること、または（４）前記１つ以上の推奨に関するフィードバックを提供することのうちの１つ以上のものを実施することを可能にするように構成される、請求項１３に記載の方法。
【請求項15】
前記ステータスマーカは、やるべきアクションまたは完了済みアクションを含む、請求項１４に記載の方法。
【請求項16】
前記ユーザと関連付けられる１つ以上のデバイスからのユーザデータを受信することであって、前記ユーザデータは、前記１つ以上の推奨に基づいて前記ユーザによって行われる１つ以上のアクションに関する情報を含む、ことと、前記複数の異なる期間にわたって、前記ユーザデータを集約することと、
前記機械学習アルゴリズムを用いて、前記集約されたユーザデータおよび前記集約された顧客データを分析し、前記標的顧客との前記ユーザの関与またはアクションを向上させる際の前記推奨および前記ユーザのアクションの有効性を決定することと
をさらに含む、請求項１４に記載の方法。
【請求項17】
前記１つ以上の推奨の有効性は、前記推奨毎に、スコアとして提供される、請求項１６に記載の方法。
【請求項18】
前記ユーザへの１つ以上の後続推奨を修正し、前記ユーザへの１つ以上の前の推奨のスコアに基づいて、その有効性を改良することをさらに含む、請求項１７に記載の方法。
【請求項19】
前記機械学習アルゴリズムは、メッセージシーケンス最適化（ＭＳＯ）に基づく、請求項１に記載の方法。
【請求項20】
前記ＭＳＯベースの機械学習アルゴリズムは、ランダムフォレストアルゴリズムを含む、請求項１９に記載の方法。
【請求項21】
前記機械学習アルゴリズムは、決定モデルを発生させるために使用される、請求項２０に記載の方法。
【請求項22】
前記決定モデルを使用して、前記１つ以上の推奨を決定することであって、前記１つ以上の推奨は、前記標的顧客が、前記ユーザからの既存のメッセージまたは次のメッセージをクリックするか、または開く尤度を最大限にするように構成される、ことをさらに含む、請求項２１に記載の方法。
【請求項23】
前記決定モデルは、（１）前記ユーザによって送信されるメッセージに対する前記標的顧客の個々の履歴挙動と、（２）複数の異なるユーザによって送信されるメッセージに対する異なる標的顧客の母集団の集約された履歴挙動とに基づく、請求項２１に記載の方法。
【請求項24】
前記機械学習アルゴリズムは、ブースト決定木、分類木、回帰木、バギング木、ランダムフォレスト、ニューラルネットワーク、および回転フォレストから成る群から選択される、請求項１に記載の方法。
【請求項25】
前記決定モデルに、前記ユーザによって前記標的顧客に送信される前記少なくとも１つのメッセージに応答して前記標的顧客によって行われる１つ以上の新しいアクションと関連付けられる新しい顧客データを提供することと、前記ユーザのための前記１つ以上の推奨を決定するとき、前記決定モデルを修正し、前記新しい顧客データおよび新しいアクションの関連性を考慮することによって、前記決定モデルを訓練することと
をさらに含む、請求項２２に記載の方法。
【請求項26】
標的顧客とのユーザの関与またはアクションを向上させ、マーケティングの有効性を増加させるためのシステムであって、前記システムは、前記標的顧客と関連付けられる１つ以上のデバイスと通信するサーバと、
メモリであって、前記メモリは、命令を記憶しており、前記命令は、前記サーバによって実行されると、前記サーバに、
前記標的顧客と関連付けられる１つ以上のデバイスからの顧客データを受信することであって、前記顧客データは、前記ユーザによって前記標的顧客に送信される少なくとも１つのメッセージに応答して、前記標的顧客によって行われる１つ以上のアクションに関する情報を含み、前記メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる、ことと、
複数の異なる期間にわたって、前記１つ以上のデバイスからの顧客データを集約することと、
機械学習アルゴリズムを用いて、前記集約された顧客データを分析し、前記標的顧客との前記ユーザの関与またはアクションを向上させるための前記ユーザへの１つ以上の推奨を決定することであって、前記１つ以上の推奨は、前記ユーザが前記医薬品製品のマーケティングまたは販売に関連する前記標的顧客に効果的に関与するか、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む、ことと
を含む動作を実施させる、メモリと
を備える、システム。
【請求項27】
前記サーバは、前記標的顧客と関連付けられる１つ以上のデバイスと通信し、前記サーバは、前記ユーザと関連付けられる１つ以上のデバイスからのユーザデータを受信することであって、前記ユーザデータは、前記１つ以上の推奨に基づいて前記ユーザによって行われる１つ以上のアクションに関する情報を含む、ことと、
前記複数の異なる期間にわたって、前記ユーザデータを集約することと、
前記機械学習アルゴリズムを用いて、前記集約されたユーザデータおよび前記集約された顧客データを分析し、前記標的顧客との前記ユーザの関与またはアクションを向上させる際の前記推奨および前記ユーザのアクションの有効性を決定することと
を含む動作を実施するように構成される、請求項２６に記載のシステム。
【請求項28】
非一過性コンピュータ可読記憶媒体であって、前記非一過性コンピュータ可読記憶媒体は、命令を含み、前記命令は、サーバによって実行されると、前記サーバに、前記標的顧客と関連付けられる１つ以上のデバイスからの顧客データを受信することであって、前記顧客データは、前記ユーザによって前記標的顧客に送信される少なくとも１つのメッセージに応答して、前記標的顧客によって行われる１つ以上のアクションに関する情報を含み、前記メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる、ことと、
複数の異なる期間にわたって、前記１つ以上のデバイスからの顧客データを集約することと、
機械学習アルゴリズムを用いて、前記集約された顧客データを分析し、前記標的顧客との前記ユーザの関与またはアクションを向上させるための前記ユーザへの１つ以上の推奨を決定することであって、前記１つ以上の推奨は、前記ユーザが前記医薬品製品のマーケティングまたは販売に関連する前記標的顧客に効果的に関与するか、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む、ことと
を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【0001】
（関連出願の相互参照）
本願は、その全開示が参照することによって本明細書に組み込まれる、２０１９年７月８日に出願された、米国特許出願第６２／８７１，６４２号（弁理士整理番号第５５４４２－７０１．１０１号）の優先権を主張する。
本願は、その全開示が参照することによって本明細書に組み込まれる、２０１９年７月８日に出願された、米国特許出願第６２／８７１，６４２号（弁理士整理番号第５５４４２－７０１．１０１号）の優先権を主張する。
【0002】
（背景）
医療販売担当者（「医療販売員」）は、医師または他の医療提供者（ＨＣＰ）がその企業の薬物および治療を購入するように助長するとき、異なる方法を使用し得る。例えば、医療販売担当者は、ＨＣＰに宣伝商品を与えること、彼らを会議で発言するように招待すること等を行い得る。ＨＣＰに関与するために、医療販売担当者は、対面会合、電話呼出、インスタントメッセージング、電子メール、およびメールを含む、異なる方法を使用して、彼らと通信し得る。ＨＣＰと効果的に通信するために、医薬品販売員は、あるレベルの知識および親密な関係を確立するために、ＨＣＰとの関係を構築する必要があり得る。
医療販売担当者（「医療販売員」）は、医師または他の医療提供者（ＨＣＰ）がその企業の薬物および治療を購入するように助長するとき、異なる方法を使用し得る。例えば、医療販売担当者は、ＨＣＰに宣伝商品を与えること、彼らを会議で発言するように招待すること等を行い得る。ＨＣＰに関与するために、医療販売担当者は、対面会合、電話呼出、インスタントメッセージング、電子メール、およびメールを含む、異なる方法を使用して、彼らと通信し得る。ＨＣＰと効果的に通信するために、医薬品販売員は、あるレベルの知識および親密な関係を確立するために、ＨＣＰとの関係を構築する必要があり得る。
【0003】
医薬品販売員が、ＨＣＰと通信するとき、彼らは、製品およびサービスをマーケティングするために、多くの場合、ＨＣＰとのその独自の個人的関係およびその独自の直感に依拠する。しかしながら、医薬品販売員は、多くの場合、そのマーケティング労力を補完または向上させるための経験的方法を有しておらず、したがって、その販売およびマーケティング労力は、主として、主観的プロセスである。データ収集は、困難であり得、したがって、有効性は、測定することが困難であり得る。加えて、コンピュータ発生または標準化された販売プロセスは、多くの場合、医療販売員が、製品を彼らが関係を有するＨＣＰに販売することに成功することを可能にする、個人的触れ合いを欠いている。医療販売員は、データ駆動方法とその個人的関係を合成することが不可能であり得るため、彼らは、販売を成功させる、またはより多くの数の販売を行うことを妨げられ得る。
【発明の概要】
【発明が解決しようとする課題】
【0004】
（要約）
故に、医療販売員は、販売を成功させるための機会を増加させるために、実験的に決定された方法を用いて、ＨＣＰとのその個人的関係を補完することが可能である必要がある。
故に、医療販売員は、販売を成功させるための機会を増加させるために、実験的に決定された方法を用いて、ＨＣＰとのその個人的関係を補完することが可能である必要がある。
【課題を解決するための手段】
【0005】
一側面では、標的顧客とのユーザの関与またはアクションを向上させ、マーケティングの有効性を増加させるためのコンピュータ実装方法が、開示される。
【0006】
本方法は、標的顧客と関連付けられる、１つ以上のデバイスからの顧客データを受信するステップであって、顧客データは、ユーザによって標的顧客に送信される少なくとも１つのメッセージに応答して、標的顧客によって行われる１つ以上のアクションに関する情報を含み、メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる、ステップを含む。
【0007】
本方法は、複数の異なる期間にわたって、１つ以上のデバイスからの顧客データを集約するステップを含む。
【0008】
本方法は、最後に、機械学習アルゴリズムを用いて、集約された顧客データを分析し、標的顧客とのユーザの関与またはアクションを向上させるためのユーザへの１つ以上の推奨を決定するステップであって、１つ以上の推奨は、ユーザが医薬品製品のマーケティングまたは販売に関連する標的顧客に効果的に関与する、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む、ステップを含む。
【0009】
いくつかの実施形態では、標的顧客は、１人以上の医療従事者を含み、ユーザは、医薬品製品のための１人以上の販売担当者を含む。
【0010】
いくつかの実施形態では、標的顧客によって行われる１つ以上のアクションは、（ａ）メッセージを開くこと、（ｂ）メッセージ内のコンテンツまたはハイパーリンクをクリックすること、（ｃ）メッセージに返信すること、（ｄ）メッセージを１人以上の他の当事者に転送すること、（ｅ）メッセージを削除すること、（ｆ）メッセージをアーカイブすること、（ｇ）メッセージをソーシャルメディアまたはウェブサイト上に投稿する、またはそこで共有すること、または（ｈ）メッセージに対して行われるアクションの無行為または欠如を含む。
【0011】
いくつかの実施形態では、少なくとも１つのメッセージは、複数の異なる期間にわたってユーザによって標的顧客に送信される、複数のメッセージを含む。
【0012】
いくつかの実施形態では、集約された顧客データは、以下のイベントまたはアクション、すなわち、（１）メッセージが標的顧客のデバイスに伝送される、瞬間ｔ１、（２）メッセージが標的顧客のデバイスによって受信される、瞬間ｔ２、（３）メッセージが標的顧客によってまだ開かれていない、持続時間ｔ３、（４）標的顧客がメッセージを開く、瞬間ｔ４、（５）メッセージが開かれている、持続時間ｔ５、（６）標的顧客がメッセージ内のコンテンツまたはハイパーリンクをクリックする、瞬間ｔ６、（７）標的顧客がメッセージを閉じる、瞬間ｔ７、（８）標的顧客がユーザのメッセージに返信する、瞬間ｔ８、（９）標的顧客がユーザのメッセージに返信することに費やす、持続時間ｔ９、（１０）標的顧客がユーザのメッセージを１人以上の他の当事者に転送する、瞬間ｔ１０、（１１）標的顧客がメッセージをアーカイブする、瞬間ｔ１１、または（１２）標的顧客がメッセージを削除する、瞬間ｔ１２のうちの１つ以上のものと関連付けられる、タイムスタンプを含む、時系列データを含む。
【0013】
いくつかの実施形態では、複数の異なる期間は、時間、日、週、または月の順序で異なる時間間隔において定義される。
【0014】
いくつかの実施形態では、複数の異なる期間は、重複または非重複する、異なる時間的セグメントを含む。
【0015】
いくつかの実施形態では、１つ以上の推奨における時間的洞察は、ユーザが追跡メッセージを標的顧客に送達するための提案されるタイミングを含み、提案されるタイミングは、特定の週の曜日または月の日付上の特定の時間またはタイムスロットを含む。
【0016】
いくつかの実施形態では、１つ以上の推奨におけるコンテキスト的洞察は、ユーザが標的顧客に送達するために提案される追跡メッセージを含み、提案される追跡メッセージは、標的顧客の関心を引く、またはそれに関連性があると決定される、医薬品製品に関連する話題、件名、またはキーワードを含む。
【0017】
いくつかの実施形態では、話題、件名、またはキーワードは、以下、すなわち、（１）標的顧客のプロフィール、（２）直接または間接的に複数のソースから取得される、標的顧客についての情報、（３）標的顧客が、出席した、出席中である、または出席する予定である、１つ以上の会議またはイベントについての情報、（４）標的顧客によって執筆または公開されている、論文、（５）標的顧客によって与えられる、講演または発表、（６）標的顧客によって投稿される、オンラインコンテンツ、（７）標的顧客と関わりがある第三者または個人によって投稿された標的顧客についてのニュース、レビュー、または論文、または（８）標的顧客によって、現在使用または公認されている、または以前に使用または公認されている、他の医薬品製品のうちの１つ以上のものに基づいて、標的顧客の関心を引く、またはそれに関連性があると決定される。
【0018】
いくつかの実施形態では、１つ以上の推奨はさらに、（３）ユーザが、医薬品製品のマーケティングまたは販売に関連する標的顧客に効果的に関与する、またはそれと相互作用する、尤度を増加させるための通信のモードまたはチャネルに関する洞察を含む。
【0019】
いくつかの実施形態では、通信のモードまたはチャネルは、以下、すなわち、（１）電子メール通信、（２）モバイルテキストメッセージ、（３）ソーシャルメディアウェブサイト、（４）モバイルアプリケーション、（５）電話コール、（６）対面会合、（７）ビデオ会議、（８）会議またはセミナー、または（９）標的顧客の業務施設で行われる、イベントのうちの１つ以上のものを含む。
【0020】
いくつかの実施形態では、本方法はさらに、１つ以上の推奨をユーザと関連付けられる１つ以上のデバイスに提供するステップを含む。本方法はまた、１つ以上の推奨を１つ以上の視覚的グラフィカルオブジェクトとしてユーザのデバイス上に表示するステップを含む。
【0021】
いくつかの実施形態では、１つ以上の視覚的グラフィカルオブジェクトは、ユーザが、以下のアクション、すなわち、（１）１つ以上の推奨を承認すること、（２）１つ以上の推奨を否認すること、（３）１つ以上の推奨をステータスマーカでマークすること、または（４）１つ以上の推奨に関するフィードバックを提供することのうちの１つ以上のものを実施することを可能にするように構成される。
【0022】
いくつかの実施形態では、ステータスマーカは、やるべきアクションまたは完了済みアクションを含む。
【0023】
いくつかの実施形態では、本方法はさらに、ユーザと関連付けられる１つ以上のデバイスからのユーザデータを受信するステップであって、ユーザデータは、１つ以上の推奨に基づいてユーザによって行われる、１つ以上のアクションに関する情報を含む、ステップを含む。本方法はまた、複数の異なる期間にわたって、ユーザデータを集約するステップを含む。最後に、本方法は、機械学習アルゴリズムを用いて、集約されたユーザデータおよび集約された顧客データを分析し、標的顧客とのユーザの関与またはアクションを向上させる際の推奨およびユーザのアクションの有効性を決定するステップを含む。
【0024】
いくつかの実施形態では、１つ以上の推奨の有効性は、推奨毎に、スコアとして提供される。
【0025】
いくつかの実施形態では、本方法はさらに、ユーザへの１つ以上の後続推奨を修正し、ユーザへの１つ以上の前の推奨のスコアに基づいて、その有効性を改良するステップを含む。
【0026】
いくつかの実施形態では、機械学習アルゴリズムは、メッセージシーケンス最適化（ＭＳＯ）に基づく。
【0027】
いくつかの実施形態では、ＭＳＯベースの機械学習アルゴリズムは、ランダムフォレストアルゴリズムを含む。
【0028】
いくつかの実施形態では、機械学習アルゴリズムは、決定モデルを発生させるために使用される。
【0029】
いくつかの実施形態では、１つ以上の推奨は、標的顧客が、ユーザからの既存のメッセージまたは次のメッセージをクリックする、または開く尤度を最大限にするように構成される。
【0030】
いくつかの実施形態では、決定モデルは、（１）ユーザによって送信されるメッセージに対する標的顧客の個々の履歴挙動と、（２）複数の異なるユーザによって送信されるメッセージに対する異なる標的顧客の母集団の集約された履歴挙動とに基づく。
【0031】
いくつかの実施形態では、機械学習アルゴリズムは、ブースト決定木、分類木、回帰木、バギング木、ランダムフォレスト、ニューラルネットワーク、および回転フォレストから成る群から選択される。
【0032】
いくつかの実施形態では、本方法はさらに、決定モデルに、ユーザによって標的顧客に送信される少なくとも１つのメッセージに応答して標的顧客によって行われる１つ以上の新しいアクションと関連付けられる、新しい顧客データを提供するステップを含む。本方法は、加えて、ユーザのための１つ以上の推奨を決定するとき、決定モデルを修正し、新しい顧客データおよび新しいアクションの関連性を考慮することによって、決定モデルを訓練するステップを含む。
【0033】
いくつかの側面では、標的顧客とのユーザの関与またはアクションを向上させ、マーケティングの有効性を増加させるためのシステムが、開示される。本システムは、標的顧客と関連付けられる１つ以上のデバイスと通信する、サーバと、サーバによって実行されると、サーバに、動作を実施させる、命令を記憶する、メモリとを備える。動作は、標的顧客と関連付けられる、１つ以上のデバイスからの顧客データを受信するステップを含む。データは、ユーザによって標的顧客に送信される少なくとも１つのメッセージに応答して、標的顧客によって行われる１つ以上のアクションに関する情報を含む。メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる。動作はさらに、複数の異なる期間にわたって、１つ以上のデバイスからの顧客データを集約するステップと、機械学習アルゴリズムを用いて、集約された顧客データを分析し、標的顧客とのユーザの関与またはアクションを向上させるためのユーザへの１つ以上の推奨を決定するステップとを含む。１つ以上の推奨は、ユーザが医薬品製品のマーケティングまたは販売に関連する標的顧客に効果的に関与する、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む。
【0034】
いくつかの実施形態では、サーバは、標的顧客と関連付けられる、１つ以上のデバイスと通信する。サーバは、ユーザと関連付けられる１つ以上のデバイスからのユーザデータを受信するステップを含む、動作を実施するように構成される。ユーザデータは、１つ以上の推奨に基づいてユーザによって行われる、１つ以上のアクションに関する情報を含む。動作はさらに、複数の異なる期間にわたって、ユーザデータを集約するステップと、機械学習アルゴリズムを用いて、集約されたユーザデータおよび集約された顧客データを分析し、標的顧客とのユーザの関与またはアクションを向上させる際の推奨およびユーザのアクションの有効性を決定するステップとを含む。
【0035】
非一過性コンピュータ可読記憶媒体は、サーバによって実行されると、サーバに、動作を実施させる、命令を含む。動作は、標的顧客と関連付けられる、１つ以上のデバイスからの顧客データを受信するステップを含む。顧客データは、ユーザによって標的顧客に送信される少なくとも１つのメッセージに応答して、標的顧客によって行われる１つ以上のアクションに関する情報を含む。メッセージは、医薬品製品のマーケティングまたは販売と関連付けられる。動作はさらに、複数の異なる期間にわたって、１つ以上のデバイスからの顧客データを集約するステップと、機械学習アルゴリズムを用いて、集約された顧客データを分析し、標的顧客とのユーザの関与またはアクションを向上させるためのユーザへの１つ以上の推奨を決定するステップとを含む。１つ以上の推奨は、ユーザが医薬品製品のマーケティングまたは販売に関連する標的顧客に効果的に関与する、またはそれと相互作用するための尤度を増加させるための（１）時間的洞察および（２）コンテキスト的洞察を含む。
【0036】
（参照による組み込み）
本明細書に言及される全ての刊行物、特許、および特許出願は、各個々の刊行物、特許、または特許出願が、具体的かつ個々に参照することによって組み込まれることが示される場合と同程度に、参照することによって本明細書に組み込まれる。
本明細書に言及される全ての刊行物、特許、および特許出願は、各個々の刊行物、特許、または特許出願が、具体的かつ個々に参照することによって組み込まれることが示される場合と同程度に、参照することによって本明細書に組み込まれる。
【図面の簡単な説明】
【0037】
本開示の新規の特徴は、添付される請求項で詳細に記載される。本開示の特徴および利点のより深い理解が、本開示の原理が利用される、例証的実施形態を記載する、以下の詳細な説明および付随の図面を参照することによって取得されるであろう。
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】
【発明を実施するための形態】
【0050】
（詳細な説明）
開示されるシステムおよび方法は、医療提供者（ＨＣＰ）との関与を改良または向上させるために、医療販売員（例えば、医薬品販売担当者（医薬品販売員）、医療デバイス販売担当者）がＨＣＰに送信するための推奨される標的化されたメッセージを発生させることができる。本システムは、推奨される標的化されたメッセージを、パブリッシャに提供し得、これは、次いで、ひいては、ＨＣＰへの提示のために、それらを医療販売員に提供し得る。本システムは、医療販売員によって使用される既存の販売およびマーケティング技法を補完するように構成される、ＨＣＰ関与エンジンを備えてもよい。ＨＣＰ関与エンジンは、ＨＣＰが医療販売員から受信するメッセージに応答して実施される、ＨＣＰのアクション、および個々のＨＣＰの付加的人口統計データに、機械学習分析を実施するように構成されることができる。実施されるＨＣＰアクションを目録化することは、最も効果的であるＨＣＰと通信する方法を決定するためのデータが収集されることを可能にすることができる。ＨＣＰのアクションは、１つ以上の機械学習アルゴリズムによって分析され、医療販売員に、効果的である高確率を有すると予測される、ＨＣＰに送信するためのメッセージの推奨を生成することができる。有効性は、ＨＣＰが、メッセージを開く、またはメッセージに応答する等の所望のアクションを行うように促されるであろう、確率を決定することによって測定されてもよい。これらの推奨が、行われると、ＨＣＰ受信者によって実施されるアクションが、収集され、したがって、より多くのデータを本システムの中に追加することができる。本フィードバックプロセスは、機械学習アルゴリズムが、持続的に学習し、改良またはより標的化された推奨を発生させることを可能にすることができる。
開示されるシステムおよび方法は、医療提供者（ＨＣＰ）との関与を改良または向上させるために、医療販売員（例えば、医薬品販売担当者（医薬品販売員）、医療デバイス販売担当者）がＨＣＰに送信するための推奨される標的化されたメッセージを発生させることができる。本システムは、推奨される標的化されたメッセージを、パブリッシャに提供し得、これは、次いで、ひいては、ＨＣＰへの提示のために、それらを医療販売員に提供し得る。本システムは、医療販売員によって使用される既存の販売およびマーケティング技法を補完するように構成される、ＨＣＰ関与エンジンを備えてもよい。ＨＣＰ関与エンジンは、ＨＣＰが医療販売員から受信するメッセージに応答して実施される、ＨＣＰのアクション、および個々のＨＣＰの付加的人口統計データに、機械学習分析を実施するように構成されることができる。実施されるＨＣＰアクションを目録化することは、最も効果的であるＨＣＰと通信する方法を決定するためのデータが収集されることを可能にすることができる。ＨＣＰのアクションは、１つ以上の機械学習アルゴリズムによって分析され、医療販売員に、効果的である高確率を有すると予測される、ＨＣＰに送信するためのメッセージの推奨を生成することができる。有効性は、ＨＣＰが、メッセージを開く、またはメッセージに応答する等の所望のアクションを行うように促されるであろう、確率を決定することによって測定されてもよい。これらの推奨が、行われると、ＨＣＰ受信者によって実施されるアクションが、収集され、したがって、より多くのデータを本システムの中に追加することができる。本フィードバックプロセスは、機械学習アルゴリズムが、持続的に学習し、改良またはより標的化された推奨を発生させることを可能にすることができる。
【0051】
本明細書に開示されるシステムによって収集される、ＨＣＰによって行われるアクションは、彼らが医療販売員から受信するメッセージに関連する。例えば、ＨＣＰは、医療販売員のうちの１人以上の者からのメッセージを開く、それに返信する、またはそれを無視し得る。これらのアクションは、本システムに提供され、それによって収集されることができる。アクションをログ付けするとき、本システムは、付加的情報を収集してもよい。例えば、本システムはまた、特定のアクションが行われた時間、特定のアクションが行われる頻度、および特定のアクション間の時間間隔をログ付けしてもよい。開示されるシステムはまた、医療販売員からのアクションもログ付けしてもよい。例えば、開示されるシステムは、医療販売員によるＨＣＰへの送信イベントをログ付けしてもよい。本システムは、特定のメッセージの繰り返し送信アクションまたは初期メッセージと追跡メッセージとの間の持続時間をログ付けしてもよい。
【0052】
ＨＣＰ関与エンジンは、推奨を生成するための複数の段階を含むことができる。ＨＣＰ関与エンジンは、異なるＨＣＰに連絡するための異なるコンテキストにおいて適切であり得る、複数の機械学習モデルを含有してもよい。例えば、ＨＣＰ関与エンジンは、最初に、モデルを選定し、次いで、特定のＨＣＰのためのモデルを訓練し、次いで、モデルを使用して、１つ以上の推奨を生成してもよい。訓練は、利用可能なデータおよびそれにわたって訓練が生じ得る時間スケールに応じて、異なるＨＣＰに関して異なるように進められ得る。ＨＣＰ関与エンジンはまた、メッセージシーケンスモデルを使用して、ＨＣＰに送信するためのメッセージのシーケンスを選択してもよい。モデルは、ＨＣＰへの通信メッセージの中への挿入のために推奨される単語または語句を発生させてもよい。メッセージシーケンスモデルは、「メッセージシーケンス最適化」（ＭＳＯ）モデルとも称され得る。
【0053】
いくつかの実施形態では、ＨＣＰ関与エンジンは、ランダムフォレストアルゴリズムを含み、推奨されるメッセージを発生させ、推奨されるメッセージをシーケンス化してもよい。ランダムフォレストモデルは、複数の木構造を使用して、データ要素を分類し、次いで、木構造によって生成された分類を集約し、分散を低減させる。ランダムフォレストアルゴリズムは、そのメッセージへの前の応答を前提として、あるアクションが推奨されるメッセージに関して実施されるかどうかを予測するために使用されてもよい。
【0054】
開示されるシステムは、モバイルデバイスであり得る、メッセージパブリッシャのコンピューティングデバイスに、推奨を送信してもよい。パブリッシャは、推奨を医療販売員に送信してもよい。医療販売員は、推奨に基づいて、インターネットメッセージまたはモバイル通信方法を通して、推奨されるメッセージをＨＣＰのコンピューティングデバイスに送信してもよい。推奨は、完全メッセージ、または件名またはメッセージ本文内の一文等のメッセージの一部であってもよい。推奨は、メッセージの一部ではなくてもよく、それと関連付けられる時間的またはコンテキスト的情報を有してもよい。例えば、推奨は、医療販売員に、医師に連絡すべき時間または最良に効果を発揮する方法を知らせてもよい。ＨＣＰ関与エンジンは、１つの推奨を生成してもよい、またはランク付けされた推奨のリストを生成してもよい。ＨＣＰ関与エンジンは、複数回、複数のＨＣＰに連絡するために呼び出されてもよい。
【0055】
図１は、医療提供者（ＨＣＰ）関与エンジンを実装するためのシステムを示す。本システムは、ネットワークと、１つ以上のクライアントデバイスと、１つ以上のサーバとを含む。
【0056】
ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、またはパーソナルエリアネットワーク（ＰＡＮ）等のコンピュータネットワークであってもよい。ネットワークは、有線ネットワークまたはＷｉ－Ｆｉネットワーク等の無線ネットワークであってもよい。ネットワークは、サーバ、ルータ、スイッチ、およびセッションデータ、制御データ、コマンド、および本システムの種々の部分の間の他の通信を含む、データの転送を促進するための、他のネットワークデバイスおよびサービスを含んでもよい。
【0057】
クライアントデバイスは、コンピューティングデバイスであってもよい。例えば、それらは、携帯電話、スマートフォン、携帯情報端末、およびタブレットコンピュータ等のモバイルコンピューティングデバイスであってもよい。それらはまた、ラップトップコンピュータ、端末、またはデスクトップコンピュータであってもよい。クライアントデバイスは、本システムの利害関係者、すなわち、医療販売員とＨＣＰとの間の情報交換を可能にすることができる。クライアントデバイスのうちの１つ以上のものが、医療販売員に属してもよい。付加的クライアントデバイスが、１人以上の医療提供者（ＨＣＰ）に属してもよい。これらの医療提供者は、医師、看護師、実地看護師、薬剤師、科学者、研究員、または技師であってもよい。医療販売員およびＨＣＰは、電子メール、インスタントメッセージング、インターネットチャットプロトコル、メッセージボード、または電子掲示板システム（ＢＢＳ）等のテキストベースのオンラインまたはネットワーク化通信の方法を使用して、自身のクライアントデバイスと通信してもよい。メッセージはまた、モバイルテキストメッセージおよびソーシャルメディアウェブサイト、モバイルアプリケーション、電話呼出、対面会合、ビデオ会議、会議またはセミナー、またはＨＣＰの業務施設において実行されるイベントからのメッセージを含んでもよい。
【0058】
医療販売員クライアントデバイスは、分析のために、医療販売員によって行われるアクションを含む、情報をサーバに伝送してもよい。医療販売員クライアントデバイスは、サーバから、推奨されるメッセージまたはＨＣＰに連絡するための提案される方法等の推奨を受信し、それらを医療販売員に提示してもよい。医療販売員クライアントデバイスは、そのような推奨を提示するためのユーザインターフェース（ＵＩ）を提供する、ソフトウェアをインストールされてもよい。ソフトウェアは、ＭＩＣＲＯＳＯＦＴ（登録商標） ＯＵＴＬＯＯＫ、ＧＯＯＧＬＥ（登録商標） ＨＡＮＧＯＵＴＳ、ＡＰＰＬＥ（登録商標） ｉＣＨＡＴ、およびＦＡＣＥＢＯＯＫ（登録商標） ＭＥＳＳＥＮＧＥＲ等のネットワーク化通信を可能にするアプリケーションと統合してもよい。例えば、ソフトウェアは、情報が医療販売員に提示される、ポップアップ通知または付加的ウィンドウを提供するために、チャットアプリケーションを拡張してもよい。医療販売員クライアントデバイスは、サーバから推奨されるメッセージを周期的に読み出してもよい、または医療販売員が、サーバから提供されることになる推奨されるメッセージを要求するときにメッセージを読み出してもよい。ＨＣＰクライアントデバイスはまた、ネットワーク化通信プログラムをそれらの上にインストールされてもよく、医療販売員に推奨されたメッセージをＨＣＰに提示してもよい。医療販売員クライアントデバイスおよびＨＣＰクライアントデバイスの両方は、医療販売員およびＨＣＰによって行われるアクションをログ付けし得る、ソフトウェアをそれらの上にインストールされ、これらのアクションの記録をサーバに送信してもよい。ログ付けされるアクションは、マウスクリック、キーストローク、またはオンスクリーン要素との相互作用であってもよい。アクションは、サーバが、機械学習分析のための時間的にビニングされたデータとしてそれらを記録するために、タイムスタンプとともにサーバに送信されてもよい。
【0059】
サーバは、物理サーバまたは仮想サーバであってもよい。物理サーバは、サーバファーム環境内に展開されてもよい。仮想サーバは、クラウドコンピューティング環境または分散コンピューティング環境内に存在してもよい。サーバは、データを記憶し、データ分析を実施してもよい。サーバは、１つ以上のデータ記憶システムを含んでもよい。データ記憶装置は、メッセージデータ、医薬品担当者（医療販売員）データ、およびＨＣＰデータを含有してもよい。医療販売員データは、医薬品担当者によって販売される、薬物および治療を含んでもよい。ＨＣＰデータは、ＨＣＰの専門または実践エリア、ＨＣＰが属している病院または団体、およびＨＣＰの年功レベルを含んでもよい。医療販売員およびＨＣＰデータはまた、年齢、教育、場所、および民族性等の人口統計情報を含んでもよい。
【0060】
サーバは、医療販売員クライアントデバイスおよびＨＣＰクライアントデバイスを含む、クライアントデバイスからデータを受信してもよい。サーバは、クライアントデバイスからデータを要求し、機械学習分析を実施するために、クライアントデバイス上にインストールされたコンピュータプログラムとネットワークを通して通信してもよい。例えば、サーバは、アクションデータに関する要求を周期的に行ってもよい。サーバは、月単位、週単位、または日単位で、データを要求してもよい。いくつかの実装では、クライアントデバイスは、サーバと特定のデータアイテムまたはデータのカテゴリを共有することをオプトインまたはオプトアウトすることが可能であってもよい。サーバは、データを集約および編成するために、１つ以上のコンピュータプログラムをインストールされてもよい。コンピュータプログラムのうちの１つは、クライアントデバイスのうちの１つ以上のものからサンプリングされたデータが、不十分であるかどうかを決定してもよく、クライアントデバイスから付加的データを要求してもよい。
【0061】
図２Ａは、医療販売員とＨＣＰとの間の通信を促進するために、メッセージ推奨がパブリッシャに送達される、環境を示す。図２Ａは、それぞれ、ゆくゆくは、１人以上のＨＣＰとの関係を有することになる、１人以上の医療販売員を採用する、２つの企業を示す。ある場合には、異なる企業または同一企業からの医療販売員が、共通ＨＣＰに関与し得る。異なる企業からの医療販売員に関して、本場合は、販売員が、競合製品をＨＣＰに販売するときに生じ得る。同一企業からの医療販売員に関して、これは、医療販売員が、ＨＣＰの多様な必要性を満たすために、異なる製品をＨＣＰに販売する場合に該当し得る。異なる医療販売員に関して、関与エンジンは、医療販売員がメッセージのための要求を行うとき、異なる推奨を生成してもよい。ＨＣＰ関与エンジンによって発生される推奨は、医療販売員の特性および医療販売員が製品またはサービスを販売するＨＣＰの特性に依存し得る。１つ以上の推奨を要求するとき、特定の医療販売員は、ＨＣＰ関与エンジンに、ＨＣＰ関与エンジンが特定の医療販売員のために調整される分析を実施することを可能にする、識別子を提供してもよい。代替として、ＨＣＰ関与エンジンは、テーブルまたは別のデータ構造内に、特定の医療販売員に対応する識別子を記憶し、またはそれにアクセスし、周期的に、テーブル内に列挙された医療販売員に推奨を供給してもよい。ＨＣＰ関与エンジンはまた、特定の医療販売員および特定のＨＣＰの両方に特有の推奨を発生させるために、ＨＣＰを含有する、テーブルを記憶する、またはそれにアクセスしてもよい。
【0062】
ＨＣＰ関与エンジンは、１人以上のＨＣＰへの提示のための医療販売員に送信するためのメッセージをパブリッシャに推奨してもよい。医療販売員は、彼らが関係を有する１人以上のＨＣＰのために意図される、メッセージを受信してもよい。いくつかの実施形態では、メッセージは、特定の機関に属する多くのＨＣＰに意図されてもよい。異なる推奨を伴うメッセージは、メッセージをスコア化およびフィルタリングするために機械学習アルゴリズムを使用することによって発生される、候補メッセージのリストに属してもよい。候補メッセージは、サーバへのアクセスに伴って、薬品販売員に提供される。特定の候補メッセージまたは候補メッセージのリストは、メッセージを送信する特定の医療販売員に基づいて選択されてもよく、また、メッセージの意図される受信者に基づいてもよい。例えば、メッセージ推奨は、特定の医療販売員からのメッセージに関して実施されるＨＣＰアクションに関連する、または薬品販売員によって販売されている特定の製品に関連する、特徴を選択することによって作成されてもよい。選択されたメッセージはまた、特定のＨＣＰの注意を引くために、すでに既知のより汎用の言語を含有してもよい。ＨＣＰ関与エンジンからの推奨メッセージはまた、推奨を使用する医療販売員の企業を考慮してもよい。例えば、企業名が、医療販売員の識別子とともに記憶されてもよい。企業名は、１つ以上の機械学習アルゴリズムによって、非時間的にビニングされた特徴として、分析される、または機械学習分析が完了した後、加重として推奨候補に適用されてもよい。
【0063】
図２Ｂは、図１からのＨＣＰ関与エンジンのブロック図を示す。図３は、履歴データ記憶装置と、メッセージクラスタ化モデルと、メッセージシーケンスモデルと、モデルリポジトリと、メッセージ記憶モデルと、ブランド方略モジュールとを示す。サーバ内のモジュールは、本システムによって使用され、医療販売員がメッセージをＨＣＰに送信するための１つ以上の推奨を生成する。推奨は、医薬品製品またはサービスの販売を駆動するために、効果的にＨＣＰに関与する、またはそれと相互作用する確率を増加させるための洞察を有してもよい。
【0064】
履歴データ記憶装置は、薬品販売員によって送信されるメッセージとともに、ＨＣＰの時系列アクションを記憶する。メッセージ送達システムは、１年または６ヶ月間隔等の特定の時間間隔内の複数の期間から、アクションを収集してもよい。アクションは、過去の時間、日、週、月、または年から遡ってもよい。アクションは、「過去６ヶ月におけるクリックの総数」等の累積集計であってもよい、またはそれらは、「２月に開かれたメッセージ」等、特定の時間ウィンドウ内に行われたアクションを表してもよい。集約された顧客データからの時系列データは、以下のイベントまたはアクション、すなわち、（１）メッセージが標的顧客のデバイスに伝送される、瞬間ｔ１、（２）メッセージが標的顧客のデバイスによって受信される、瞬間ｔ２、（３）メッセージが標的顧客によってまだ開かれていない、持続時間ｔ３、（４）標的顧客がメッセージを開く、瞬間ｔ４、（５）メッセージが開かれている、持続時間ｔ５、（６）標的顧客がメッセージ内のコンテンツまたはハイパーリンクをクリックする、瞬間ｔ６、（７）標的顧客がメッセージを閉じる、瞬間ｔ７、（８）標的顧客がユーザのメッセージに返信する、瞬間ｔ８、（９）標的顧客がユーザのメッセージに返信することに費やす、持続時間ｔ９、（１０）標的顧客がユーザのメッセージを１人以上の他の当事者に転送する、瞬間ｔ１０、（１１）標的顧客がメッセージをアーカイブする、瞬間ｔ１１、または（１２）標的顧客がメッセージを削除する、瞬間ｔ１２のうちの１つ以上のものと関連付けられる、タイムスタンプを含んでもよい。時系列データと関連付けられる、期間は、重複または非重複期間であってもよい。期間内では、間隔が空いていてもよい、または期間は、連続的であってもよい。
【0065】
アクションは、メッセージを開くこと、メッセージに返信すること、メッセージを無視すること、メッセージを削除すること、ユーザによって送信されるメッセージのサブスクライブを解除すること、またはユーザをブロックすること、メッセージをアーカイブすること、メッセージをソーシャルメディア上または外部ウェブページまたはプラットフォーム上で共有すること、メッセージ内のコンテンツまたはハイパーリンクをクリックすること、またはメッセージを１つ以上の当事者に転送すること等のイベントであってもよい。履歴データ記憶装置はまた、全体的アクションの総数を含む、時間的にビニングされていない、アクションを記憶してもよい。
【0066】
いくつかの実施形態では、履歴データ記憶装置は、医療販売員およびＨＣＰからのアクションを収集してもよい。これらのアクションはまた、特定の時間間隔の間、記録されてもよく、また、時間的にビニングされてもよい。
【0067】
履歴データは、ＳａｌｅｓｆｏｒｃｅおよびＶｅｅｖａ等の顧客関係管理（ＣＲＭ）システムから収集されてもよい。ＣＲＭシステムは、医療販売員およびＨＣＰについての人口統計情報または他の特性を記憶してもよく、これはまた、機械学習分析のための特徴として使用されてもよい。ＨＣＰは、ＣＲＭが医療販売員と共有することが可能である、データを選定することが可能であり得る。
【0068】
メッセージクラスタ化モデルは、ＨＣＰへの提示のために潜在的に好適であり得る、メッセージを決定するために、メッセージをグループにクラスタ化してもよい。メッセージクラスタ化モデルは、勧誘メッセージ、追跡メッセージ、およびスケジューリングメッセージ等、話題別にメッセージをクラスタ化してもよい。メッセージクラスタ化モデルはまた、ＨＣＰに販売される薬物のタイプ等、製品別にメッセージをクラスタ化してもよい。メッセージは、タイトル別にメッセージをクラスタ化してもよい。メッセージクラスタ化モデルはまた、時間的にメッセージをクラスタ化し、特定の期間の間にともに送信されるために好適であり得る、メッセージをグループ化してもよい。
【0069】
メッセージは、例えば、ｋ－平均またはｋ－メドイドクラスタ化、メドイド周辺パーティション化（ＰＡＭ）、階層クラスタ化、密度ベースのクラスタ化、または確率ベースのクラスタ化方法等のパーティションベースのクラスタ化方法を使用して、クラスタ化されてもよい。クラスタ化は、メッセージの１つ以上の特徴に対して行われてもよい。例えば、メッセージは、２つの特徴に対するその値に基づいて、プロットされてもよく、グループは、説明されるクラスタ化アルゴリズムのうちの１つを使用して、これらのメッセージから形成されてもよい。
【0070】
モデルリポジトリは、ＨＣＰへの提示のために提案されるメッセージのリストを作成するために使用される、１つ以上のモデルを含有する。これらのモデルは、バイナリ分類モデル、勾配ブースト木、ランダムフォレストアルゴリズム、回転フォレストアルゴリズム、およびバギングアルゴリズム等の木ベースのモデルを含んでもよい。それらはまた、畳み込みニューラルネットワーク（ＣＮＮ）および再帰ニューラルネットワーク（ＲＮＮ）等のニューラルネットワークベースの分類アルゴリズムを含んでもよい。ニューラルネットワークは、複数のカスケード表示されるＣＮＮおよびＲＮＮを用いて深層ニューラルネットワークを形成するために、層化されてもよい。それらはまた、全結合または稠密層またはソフトマックス層を使用して、正しい次元性を伴う出力を生成してもよい。モデルは、ＨＣＰアクションおよび医療販売員アクションからのデータを分析してもよい。
【0071】
機械学習モデルは、巡回ベースで訓練されてもよい。例えば、過去１２ヶ月の分析周期からの月単位でビニングされたデータが、１３ヶ月目に関する予測を行うために使用されてもよい。医療販売員は、特定の特性を伴うメッセージが特定のＨＣＰによって開かれるであろう、確率を見出すことを所望し得る。類似メッセージが、第１２ヶ月目に、送信され、応答されている場合、モデルは、類似メッセージに関する予測を行うことによって訓練されてもよい。類似メッセージのデータは、すでに利用可能であって、したがって、モデルは、第１２ヶ月目のメッセージに関する応答を「予測」し、予測される応答と実際の結果との間の誤差を測定することによって訓練されることができる。機械学習アルゴリズムは、予測される応答および実際の結果が収束するまで、複数の反復にわたって、本誤差を逆伝搬してもよい。本プロセスは、正確な予測器となるまで、機械学習アルゴリズムを調節する。調節された機械学習アルゴリズムは、次いで、第１３ヶ月に関する予測を行うために使用されてもよい。
【0072】
訓練は、訓練加重が調節される必要があり得るため、推奨が特定のＨＣＰに関して発生されたときに生じる必要があり得る。例えば、メッセージが意図されるＨＣＰによって実施される、メッセージアクションは、他のＨＣＰによって実施されるメッセージアクションより重く加重される必要があり得る。これは、ＨＣＰが、異なる専門または所属を有するときに重要であり得る。加えて、訓練のために使用される特徴は、メッセージが意図されるＨＣＰのための訓練データが不十分または破損している場合、修正される必要があり得る。
【0073】
メッセージシーケンスモデルは、所望のアクションを促すために、ＨＣＰに送信するための好ましいメッセージシーケンスを決定するために使用されてもよい。メッセージシーケンスモデルは、好ましいメッセージシーケンスを決定するために、貪欲アルゴリズムを使用してもよい。例えば、第１の動作では、メッセージシーケンスモデルは、メッセージのグループから送信するための最良メッセージを選定してもよい。メッセージシーケンスモデルは、統計的または機械学習分析に基づいて、本メッセージを選定してもよい。次の動作では、メッセージシーケンスモデルは、残りのメッセージの中から、第１のメッセージがすでに選定されているイベントを前提として、選定するであろう。第３のステップでは、メッセージシーケンスモデルは、２つのメッセージの以前のシーケンスが選定されているイベントを前提として、第３のメッセージを選定してもよい。本プロセスは、全てのメッセージが選定されるまで、継続し得る。メッセージシーケンスモデルの各段階では、１つ以上の機械学習アルゴリズムが、メッセージを選択するために使用されてもよい。例えば、ランダムフォレストアルゴリズムが、第１のメッセージを第１の動作から選択するために使用されてもよい。以下は、メッセージシーケンスモデルの実装の説明である。例えば、アクションのセットは、メッセージ送信、メッセージ開封、またはメッセージクリックアクションを含む。
Ｅａ，ｉ（ｓ，ｔ）：時間ｓから時間ｔまでのアカウントａに関するｉ番目のイベント
Ｎａ（ｓ，ｔ）：時間ｓから時間ｔまでのアカウントａに関するイベントの数
Ｍ：全てのメッセージのセット
Ｅａ，ｉ（ｓ，ｔ）：時間ｓから時間ｔまでのアカウントａに関するｉ番目のイベント
Ｎａ（ｓ，ｔ）：時間ｓから時間ｔまでのアカウントａに関するイベントの数
Ｍ：全てのメッセージのセット
【0074】
アクションは、Ｅａ，ｉ（ｓ，ｔ）が生じるときの時間が、アクションＥａ，ｊ（０，ｔ）が生じるときの時間より早い場合、ｉ＜ｊとなるように、時間別に順序付けられてもよい。
上記の方程式は、時間ｓから時間ｔまでのアカウントに関する全てのアクションの順序付けられたセットを意図する。
【化1】
【0075】
メッセージシーケンスモデルは、履歴データ記憶装置からのアクションの履歴に基づいて、特定のアクションタイプが生じる確率を予測するために使用されてもよい。モデルは、例えば、収集された履歴アクションに関して調整された恣意的ＨＣＰに関するメッセージｍ＊に関するメッセージ開封アクションを予測するように試みてもよい。ｍ＊に関するメッセージ開封は、標的アクションである。例示的アクションシーケンスは、｛送信ｍ、送信ｎ、開封ｍ、送信ｎ、送信ｍ＊、開封ｎ．．．｝であり得、次いで、Ｅａ（０，ｔ）の観察が、以下のように示され得る。
Ｅａ（０，ｔ）＝｛送信ｍ、送信ｎ、開封ｍ、送信ｎ、送信ｍ＊、開封ｎ｝
モデルは、メッセージアクション開封ｍ＊に関する以下の確率を予測するように試み得る。
Ｅａ（０，ｔ）＝｛送信ｍ、送信ｎ、開封ｍ、送信ｎ、送信ｍ＊、開封ｎ｝
モデルは、メッセージアクション開封ｍ＊に関する以下の確率を予測するように試み得る。
【化2】
【0076】
モデルは、Ｍ内のメッセージ毎に、今日ｔに関して、本確率を推定し得る。本確率を推定するために、モデルは、Ｍ内のメッセージｍ毎に、設計行列を構築してもよい。設計行列は、標的メッセージの送信があった場合および標的アクションがなかった場合の標的アクションに先行するイベントまたは全てのイベントを捕捉してもよい。また、標的ＨＣＰを特性評価する、任意の付加的人口統計およびセグメント化変数を含んでもよい。予測を行うために、メッセージシーケンスモデルは、生じているイベントのシーケンスを表す、バイナリ値のシーケンスである、標的ベクトルを使用する。本実装では、標的ベクトルは、標的メッセージｍ＊が開かれた（またはクリックされた）かどうかに応じたバイナリ値のシーケンスである。
【0077】
メッセージシーケンスモデルは、ランダムフォレストアルゴリズム等の機械学習アルゴリズムを使用して、設計行列と標的ベクトルとの間の関係をマッピングしてもよい。メッセージシーケンスモデルは、毎日新しいデータを受信するため、経時的に改良され得る。モデルは、毎日、毎週、または毎年等、周期的に、再訓練され、付加的データを反映させてもよい。
【0078】
特に、ランダムフォレストモデルが、メッセージ開封イベントからの設計行列内の情報からメッセージ開封イベントの条件付き確率を発生させるために使用されてもよい。メッセージシーケンスモデルは、過去の観察されたデータを前提として、メッセージ毎に、別個のランダムフォレストモデルを適合させ、モデルの順序付けられた数列を使用して、送信するためのメッセージの最適シーケンスを発生させてもよい。各段階において、前のメッセージが送信されたことを前提として、メッセージが開かれる条件付き確率が、ランダムフォレストを実施する前に、データセットを修正（またはそれに介入）し、前のメッセージ送信を考慮することによって、計算される。ランダムフォレストモデルに加え、メッセージシーケンスモデルは、平均二乗誤差モデルまたは単純回帰モデルであってもよい。
【0079】
ブランド方略モジュールは、薬物または治療をマーケティングすることを所望する、企業のための方略を収集してもよい。これらの方略は、時間的にビニングされていない、特徴を表し、時間的にビニングされた特徴と併せて、分析のために使用されることができる。ブランド方略モジュールは、医療販売員によって販売されている薬物または治療をマーケティングする企業によって承認される、メッセージを含有してもよい。推奨されるメッセージは、これらのブランド承認メッセージと比較されてもよい。いくつかの実施形態では、推奨されるメッセージは、それらが医療販売員が属する企業によって承認されたメッセージに類似する場合、より高い加重がかけられてもよい。企業はまた、メッセージをより効果的にするために、そのメッセージと推奨されるメッセージとの間の類似性を使用して、そのマーケティング方略を査定し、彼らがＨＣＰに送信するために承認する、勧誘メッセージを調整してもよい。
【0080】
決定サポートモデルは、ブランド方略モジュール、メッセージシーケンスモデル、および１つ以上の推奨を決定し、医療販売員に提示するためのモデルリポジトリから選択されたモデルのうちの１つ以上のものを使用してもよい。１つ以上の推奨は、ＨＣＰが、医療販売員からの既存のメッセージまたは次のメッセージをクリックする、または開く尤度を最大限にするように構成される。決定サポートモデルはまた、１つ以上の推奨を決定するために、類似ＨＣＰアクションの分析、例えば、機械学習分析を組み込んでもよい。さらに、決定サポートモデルはまた、１つ以上の推奨を決定するために、類似医療販売員からのアクションの分析を組み込んでもよい。決定サポートモデルは、医療販売員が推奨のうちの１つを実装するときのＨＣＰによって実施されるアクションの結果を記録し、将来的分析のために、記録された結果を使用してもよい。例えば、決定サポートモデルは、実装される推奨からのＨＣＰアクションをメッセージ記憶装置内に記憶してもよく、本システムは、ＨＣＰアクションを使用して、将来的推奨を生成してもよい。これは、モデルリポジトリ内のモデルのために使用される機械学習アルゴリズムのうちの１つを訓練することによって行われてもよい。
【0081】
図３は、推奨されるべきメッセージを選択するためのプロセスフローを図示する。一般に、メッセージ送達システムは、携帯電話、デスクトップまたはラップトップコンピューティングデバイス、ポケベル、およびタブレットコンピュータ等の１つ以上の標的ＨＣＰデバイスからのデータを収集する。データは、１人以上の医薬品販売担当者によって送信されるメッセージに応答して標的ＨＣＰによって行われる、アクションについての情報を含んでもよい。例えば、アクションは、受信されたメッセージに応答すること、それを開くこと、それを削除する、その中のハイパーリンクをクリックする、または単にそれを無視することを含んでもよい。メッセージは、薬物または治療等の医薬品製品を販売することに関連してもよい、または追跡メッセージ等の関連メッセージであってもよい。
【0082】
本方法は、ある期間にわたって、ＨＣＰデバイスからの応答データを集約してもよい。例えば、本方法は、年単位のデータを集約してもよい。データは、時間的にビニングされてもよい。例えば、２月からのデータが、そのように標識されてもよい。データはまた、「先週受信されたメッセージ」等、それが捕捉された過去の時点に従って標識されてもよい。本システムは、１つ以上の機械学習アルゴリズムを使用して、データを分析し、推奨を医療販売員に発生させてもよい。これらの推奨は、販売員に、将来的にメッセージを用いてＨＣＰを最良に標的化するための方法に関して助言してもよい、またはメッセージ内に挿入するためのサンプルメッセージまたはサンプルテキストを提供してもよい。
【0083】
メッセージは、標的ＨＣＰが医療販売員によって好まれる方法において応答するであろう、確率を増加させるために、時間的またはコンテキスト的洞察を含有してもよい。時間的洞察は、医療販売員が、特定の時間または時間ウィンドウにおいて、または特定の曜日または月の日付の間に、追跡メッセージを標的ＨＣＰに送達するための時間または期間を提案することであってもよい。これを行うために、推奨は、医薬品販売員に、午後４：００以降またはＨＣＰが３人の患者予約を終了した後、電子メールによって、ＨＣＰに連絡するように促してもよい。コンテキスト的洞察は、ＨＣＰの関心に関連する、したがって、ＨＣＰがメッセージを開く、メッセージに応答する、または医薬品製品またはサービスを購入するように拍車を掛け得る、特定のキーワード、話題、または語句を伴う、ＨＣＰに送達するための提案される追跡メッセージであってもよい。話題、件名、またはキーワードは、以下、すなわち、（１）標的ＨＣＰのプロフィール、（２）直接または間接的に１つ以上のソースから取得される、標的ＨＣＰについての情報、（３）標的ＨＣＰが、出席した、出席中である、または出席することを予定している、１つ以上の会議またはイベントについての情報、（４）標的ＨＣＰによって執筆または公開されている、論文、（５）標的ＨＣＰによって与えられる、講演または発表、（６）標的ＨＣＰによって投稿される、オンラインコンテンツ、（７）標的ＨＣＰと関わりがある第三者または個人によって投稿された標的ＨＣＰについてのニュース、レビュー、または論文、または（８）標的ＨＣＰによって、現在使用または公認されている、または以前に使用または公認されている、他の医薬品製品のうちの１つ以上のものに基づいて、標的顧客の関心を引く、またはそれに関連性があると決定される。さらに、コンテキスト的洞察は、特別オファーについての情報または広告された薬物または治療に関する成功率を示唆する情報を含んでもよい。メッセージをこれらの洞察とともに送信することは、標的ＨＣＰが、より多くのメッセージを開くこと、メッセージにタイムリーな様式で応答すること、または医薬品製品をより頻繁に購入することに同意することを生じさせ得る。
【0084】
第１の動作では、履歴アクションについての情報が、図２Ｂの履歴データ記憶装置を使用して収集される。第２の動作では、メッセージが、医療販売員がメッセージを送信する最終意図に基づいて、クラスタ化される。第３の動作では、モデルが、メッセージを選択するために選定される。モデルは、利用可能な履歴アクションデータに基づいて、およびブランド方略特徴等の付加的特徴が分析において使用するために利用可能であるかどうかに基づいて、選定されてもよい。第４の動作では、選定されたモデルが、訓練される。モデルは、設定数の基準時点（例えば、１０の基準時点）にわたって、または収束条件が満たされる（例えば、損失関数の最小限化が選定される閾値未満となる）まで、訓練されてもよい。モデルは、訓練された後、時系列データ上で試験され、候補メッセージをスコア化するために使用される。最高スコア化メッセージは、次いで、ランク別に順序付けられ、次いで、それらの中からＨＣＰに送信するものを選定し得る、薬品販売員に、推奨として提示されてもよい。
【0085】
推奨は、それらが実装された後、再使用または破棄されてもよい。例えば、医療販売員は、推奨メッセージを医師に送信してもよい。メッセージが、効果的である場合、機械学習アルゴリズムによって分析されるとき、より高いスコアまたは加重を与えられ得る。本推奨は、実装された後、メッセージ記憶装置内に記憶され、将来的勧誘イベントのための別の候補メッセージとなってもよい。効果的推奨メッセージは、本将来的イベントの際、勧誘される製品またはサービスの変化を反映させるように修正されてもよい。非効果的メッセージは、手動で、または機械学習アルゴリズムの訓練の間のいずれかにおいて、そのスコアを低減されてもよい。非効果的メッセージはまた、モデルのうちの１つ以上のものによって、または医療販売員によってのいずれかにおいて、破棄されてもよい。
【0086】
図４は、ランダムフォレストアルゴリズムを示す。ランダムフォレストは、訓練時間に多数の決定木を構築し、個々の木のクラス（分類）または平均予測（回帰）のモードであるクラスを出力することによって動作する、分類、回帰、および他のタスクのためのアンサンブル学習方法である。ランダム決定フォレストは、それらの訓練セットに過剰適合する決定木の傾向を補正することができる。
【0087】
大きいデータセットを分類するために単一の木を使用することは、多くの場合、望ましくない。決定木は、データセットの要素の個々の特性に関してデータセットを反復的にパーティション化することによって、データセット内の要素を分類する。これらの特性は、特徴と呼ばれる。データ要素を適切に分類するために、パーティションは、それぞれ、いくつかの要素のみを含有する必要があり得る。決定木では、パーティションが、ある特徴のためにある閾値を使用して要素を比較することによって作製される。例えば、集団が、２つのグループに分割されてもよく、一方のグループは、茶色の眼を有し、他方のグループは、茶色の眼を有していない。本分割は、枝として可視化され、各枝の下層における要素は、葉または節点として可視化されてもよい。大きいデータセットに関して、多くのパーティションが、作製される必要がある。決定木を訓練するとき、多すぎるパーティションを作成することは、低バイアスであるが、高分散のデータセットをもたらし得る。したがって、単一の深層決定木を使用して多すぎるパーティションを作成することは、過剰適合をもたらし得る。
【0088】
決定木を使用してデータを分類するときに過剰適合を回避するために、いくつかの機械学習アルゴリズムが、開発された。これらの方法のうちの１つは、ランダムフォレスト方法である。ランダムフォレスト方法は、多くの木を作成し、それらを平均化し、分散を低減させ、性能を向上させる。作成される木毎に、ランダムフォレストアルゴリズムは、特徴のランダムサブセットを選択する。本プロセスは、ブートストラップアグリゲーティングまたはバギングと呼ばれる。作成されるべき木の数は、開発者によって設定されてもよく、数百単位であってもよい。個々の決定木が、特定の長さまたは分岐する決定の数まで成長されてもよい。例えば、使用される特徴の数は、開発者によって設定されてもよい。代替として、木の長さは、損失関数の最小化等の収束条件に基づいて決定されてもよい。いったん木の全てが、実装されると、木からの分類結果が、集約される。例えば、各木の下層における各分類グループ（節点または葉）は、あるスコアを与えられてもよく、これらのスコアは、分類グループ毎の合計分類スコアを生成するために、ともに加算されてもよい。各グループ内の要素は全て、同一のスコアを有する。これらのスコアは、定性的な値にマッピングされてもよい。前述の実施例では、ランダムフォレスト方法は、茶色の眼を伴う対象の全てに０．５を上回るスコアを与え、茶色の眼を伴わない全ての対象に０．５を下回るスコアを与えてもよい。
【0089】
図４は、２つの決定木を伴う、ランダムフォレストの単純な実施例を示す。各決定木は、２つの特徴の異なる「ランダム」セットに基づいて、２つの分割を有する。左の木は、特徴１および２に分割する一方、右の木は、特徴３および４に分割する。各木は、黒色の塗りつぶされた円によって指定される、着目特徴を含む、要素のセットを分析する。各木は、同一数の要素を分析するが、塗りつぶされていない白色の円によって指定される、残りの要素は、必ずしも同一ではない。これは、本実装では、各木が、分析のために要素の固定サイズのサブセットを無作為に選択するためである。木の各レベルは、バイナリ決定に対応する。図４では、決定は、「はい」または「いいえ」決定である。木の各レベルにおいて、要素は、各レベルにおける特徴に関するバイナリ決定に基づいて分類される。末端の節点または葉は、要素の最終分類を表す。これらの分類に基づいて、要素は、スコアを与えられる。左の木では、黒色の塗りつぶされた円は、スコア（１）を与えられる。右の木では、黒色の塗りつぶされた円は、スコア（２）を与えられる。これらのスコアは、黒色の塗りつぶされた円の要素に関する全体的スコアを生成するために、加算される。白色の塗りつぶされていない円もまた、スコアを受け取るが、それらは、図に示されない。
【0090】
ランダムフォレストアルゴリズムが、ここで説明されるが、データ要素を分類するために決定木からのスコアを集約する、他の方法もまた、使用されてもよい。これらの方法は、勾配ブースト木、他のタイプのバギング木、回転フォレスト、および決定リストを含む。
【0091】
図５Ａは、医療販売員からＨＣＰに送信されるために推奨されるメッセージの例証的実施例を示す。メッセージは、視覚的グラフィカルオブジェクトとして表示される、１つ以上の推奨を含有し、これは、電子メールテキスト内に埋め込まれる、または外部メッセージ内において医療販売員に中継されてもよい。
【0092】
図５Ａの実施形態では、メッセージは、電子メールクライアント内に表示される。使用される電子メールクライアントの実施例は、ＧＯＯＧＬＥ（登録商標） ＧＭＡＩＬおよびＭＩＣＲＯＳＯＦＴ（登録商標） ＯＵＴＬＯＯＫを含む。メッセージはまた、チャットプログラムに属してもよい、またはショートメッセージサービス（ＳＭＳ）メッセージであってもよい。ＨＣＰ関与エンジンは、例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を使用することによって、これらのメッセージ送達プログラムとインターフェースをとることが可能であり得る。ＨＣＰ関与エンジンは、電子メールクライアントまたはメッセージ送達プログラムに、ボタン、メニュー、またはオーバーレイ等の視覚的オブジェクトを提供し、推奨を表示することが可能であり得る。ＨＣＰ関与エンジンは、件名または本文テキストのためのフィールド等のテキストボックスに、メッセージ推奨からの事前に書き込まれたテキストを取り込むことが可能であり得る。ＨＣＰ関与エンジンはまた、時間的またはコンテキスト的洞察から決定され、テキストボックス内に取り込まれないが、医療販売員がＨＣＰのためのメッセージを草案するときに考慮すべきことが意図され得る、１つ以上のメッセージ提案をオーバーレイすることが可能であり得る。時間的洞察から決定される提案は、メッセージを送信すべき時間を規定することを含んでもよい。時間的提案はまた、「午後」または「午後１２～５時」等の時間ウィンドウを含んでもよい。時間的提案は、「日曜日」等の曜日提案または「２５日またはそれ以降」等の日付提案を含有してもよい。時間的提案はまた、追跡メッセージをＨＣＰに送信する前に、１日または２週間等の規定された時間量を待機することを含んでもよい。
【0093】
図５Ａは、医療販売員の電子メールクライアント上にオーバーレイされる、医療販売員に提示される推奨の例証を示す。医療販売員は、アドレスフィールドと、件名フィールドと、メッセージ本文フィールドとを含有する、メッセージウィンドウを開いている。メッセージ本文フィールド内には、提案および非提案されるテキストを伴う、メッセージ本文がある。下線付きテキストとして示される、文中のコンテキスト的提案が、推奨エンジンによって発生され、メッセージ本文内の１行目として挿入された。発生された推奨は、医療販売員によって、メッセージの本文中のいずれかの場所に設置されてもよい。加えて、ＨＣＰ関与エンジンは、医療販売員に発生された文中テキスト提案を設置するためのメッセージ本文内の最適場所を知らせるための推奨を発生させてもよい。ＨＣＰ関与エンジンはまた、メッセージ本文全体を含む、テキストを推奨してもよく、また、推奨される対象行を発生させてもよい。
【0094】
オーバーレイされた推奨は、視覚的グラフィカルオブジェクトとして表示される。ＨＣＰ関与エンジンはまた、医療販売員が発生された提案と相互作用することを可能にするために、付加的視覚的グラフィカルオブジェクトを表示してもよい。１つ以上の視覚的グラフィカルオブジェクトは、医療販売員が、以下のアクション、すなわち、（１）１つ以上の推奨を承認すること、（２）１つ以上の推奨を否認すること、（３）１つ以上の推奨をステータスマーカでマークすること、または（４）１つ以上の推奨に関するフィードバックを提供することのうちの１つ以上のものを実施することを可能にするように構成されてもよい。ステータスマーカは、やるべきアクションまたは完了済みアクションを含んでもよい。
【0095】
メッセージ本文外では、図５Ａは、時間的洞察およびコンテキスト的洞察を伴う、推奨を表示する。これらの推奨は、テキストフィールドとして表示され、これは、医療販売員によって操作されてもよい。他の実施形態では、推奨は、ページ上の他の場所に表示されてもよい、または電子メールクライアントの外側で起動されているプログラム内に表示されてもよい。推奨は、別個のツールバー、コマンドウィンドウ、またはメニュー内に表示されてもよい。図５の実施形態では、推奨は、右クリックすることによって、承認される、否認される、マークされる、またはフィードバックを与えられてもよい。時間的推奨は、メッセージを送信すべき時間を規定してもよい。時間的提案はまた、「午後」または「午後１２～５時」等の時間ウィンドウを含んでもよい。時間的提案は、「日曜日」等の曜日提案または「２５日またはそれ以降」等の日付提案を含有してもよい。コンテキスト的推奨は、医療販売員がＨＣＰを追跡するための話題を提案する。
【0096】
医療販売員は、最も効果的であり得る候補に関して医療販売員が閃いた直感に応じて、１つ以上の推奨候補の中で循環させることが可能であり得る。代替として、医療販売員は、テキスト本文において使用するための１つ以上の推奨を組み合わせてもよい。
【0097】
図５Ｂは、ＨＣＰの電子メールクライアントの例証を示す。図５Ｂの例証では、ＨＣＰは、メッセージを図５Ａの実施形態から受信する。ＨＣＰは、メッセージを開くことを決定している。ＨＣＰによって実施されるメッセージ開封アクションは、ＨＣＰ関与エンジンによってログ付けされてもよい。ログ付けは、ＨＣＰのクライアントデバイス上にインストールされる、ＨＣＰ関与クライアントによって実施されてもよく、これは、データをＨＣＰ関与エンジンに戻るように報告する。代替として、医療販売員は、ＨＣＰから開封確認を要求してもよい。医療販売員が、ＨＣＰから開封確認を受信すると、関与エンジンは、ＨＣＰが電子メール通信を開いたことを通知されてもよい。
【0098】
図５Ｃは、推奨を医療販売員に提供する、ユーザインターフェースのための代替実施形態を示す。本実施形態は、ＨＣＰに電話をかけることを予定すること、また、テキスト通信をＨＣＰに送信することためのオプションを含む。図５Ｃは、複数のＨＣＰに関する推奨の異なるセットを示す。ＨＣＰ毎に、ユーザインターフェースは、電話をかけることを予定すること等のアクションを提案する。ＵＩは、次いで、販売員とＨＣＰとの間の以前のやりとりを詳述する、情報のリストを印刷する。例えば、ＵＩは、医療販売員に、医療販売員のＨＣＰとの最後の連絡以降の時間間隔を知らせる。ＵＩはまた、医療販売員とＨＣＰとの間の相互作用が成功する程度を説明する、関与スコア等、医療販売員との関与を反映させる統計を示してもよい。ＵＩはまた、医療販売員に、ＨＣＰが医療販売員の製品に対して容認的であり得るかどうかを示す、ＨＣＰが説明している投薬療法または治療の種類についての情報を示してもよい。ＵＩはまた、医療販売員に、その薬物をマーケティングするための方法についてのさらなる情報を与えるために、競合企業薬物および治療が市場に出回っている程度についての情報を示してもよい。医療販売員はまた、本実施形態から、完了済み提案として棄却またはマークすることが可能であり得る。
【0099】
図６は、本システムによって処理されたサンプル入力データ６００を示す。図６に示される入力のセットは、入力の限定セットであるものとして解釈されるべきではない。より多いまたはより少ない入力が、本システムの１つ以上の機械学習アルゴリズムによって使用および分析されてもよい。図６は、標識ｓｔａｂｌｅＭｅｓｓａｇｅＩＤ、ｐｒｏｄｕｃｔＮａｍｅ、ｐｈｙｓｉｃａｌＭｅｓｓａｇｅＩＤ、ｉｎｔｅｒａｃｔｉｏｎＩＤ、ｒｅｐＩＤ、ａｃｃｏｕｎｔＩＤ、ｐｒｏｄｕｃｔＮａｍｅ、ｐｈｙｓｉｃａｌＭｅｓｓａｇｅＵＩＤ、ｉｎｔｅｒａｃｔｉｏｎＩＤ、ｒｅｐＩＤ、ａｃｃｏｕｎｔＩＤ、ｐｒｏｄｕｃｔＩｎｔｅｒａｃｔｉｏｎＴｙｐｅＮａｍｅ、ｄａｔｅ、ｐｒｏｄｕｃｔＵＩＤ、ｄｏｃｕｍｅｎｔＤｅｓｃｒｉｐｔｉｏｎ、ｅｍａｉｌＳｕｂｊｅｃｔ、ｅｍａｉｌＴｏｐｉｃＩＤ、ｐｒｏｄＮｏ、ｌａｓｔＰｈｙｓｉｃａｌＭｅｓｓａｇｅＵＩＤ、ｍｅｓｓａｇｅＴｏｐｉｃＩＤ、ｍｅｓｓａｇｅＮａｍｅ、およびｅｖｅｎｔＤａｔｅＴｉｍｅＵＴＣを伴う入力を含む。
【0100】
図６の実施形態では、入力は、複数の医療販売員から複数のアカウントまたはＨＣＰに特定の製品（本実施例では、製品１）を広告する、同じメッセージのセットのためのものである。ＨＣＰは全て、本実施例では、同一メッセージを異なる時間に送信される。ＨＣＰに送信された前のメッセージもまた、入力として含まれる。メッセージは、喫煙者が禁煙することに役立つために広告されている、製品を広告している。
【0101】
機械学習アルゴリズムを訓練するために、本システムは、入力特徴のセットを、但し、それに対してこれらのメッセージが送信されたＨＣＰのアクションを示す、関連付けられるグラウンドトゥルースとともに使用してもよい。グラウンドトゥルースは、バイナリ変数またはスコアであってもよい。例えば、１のグラウンドトゥルース出力は、ＨＣＰがメッセージを開いたことを示し得、０のグラウンドトゥルース出力は、ＨＣＰがメッセージを開いていないことを示し得る。特定のスコアまたはスコアの範囲は、ＨＣＰによる特定のアクションと相関されてもよい。例えば、スコアが、１～５に及ぶ場合、０～１のスコアは、ＨＣＰによる無アクションを表し得、２～３のスコアは、メッセージを読んだことを示し得る、４～５のスコアは、メッセージへの返信を示し得る。
【0102】
図７は、本システムからのサンプル出力推奨データ７００を示す。図７は、メッセージ推奨のリストを示す。メッセージは、スコア化され、最高スコア化メッセージは、所望のアクションを標的ＨＣＰから発生させる可能性が最も高いと予測される。
【0103】
図７の実施形態では、データは、ａｃｃｏｕｎｔＩｄと、ｍｅｓｓａｇｅＡｌｇｏｒｉｔｈｍＩｄと、ｍｅｓｓａｇｅＩｄと、ｍｏｄｅｌＩｄと、ｐｒｏｂａｂｉｌｉｔｙとを含む。データは、アカウント識別子１００２、１００３、１００６、１００７、１００９、および１０１０を伴うＨＣＰへの４つのメッセージ（識別子１５９８、１６３９、１８０６、および１８１２を伴う）に関するメッセージ応答予測を示す。予測は、ランダムフォレストアルゴリズムである、（ｍｅｓｓａｇｅＡｌｇｏｒｉｔｈｍＩｄ下の）機械学習アルゴリズム４４を使用して実施された。モデルＩＤパラメータは、標的アクション（クリックまたはメッセージ開封等）および特定の製品を含む、分析のためにユーザによって選定されるパラメータを指す。アカウント毎に、確率のセットが、示され、これは、４つのメッセージのそれぞれに対応する。最高確率は、ＨＣＰによって開かれる最大機会を有する、メッセージＩＤを示す。
【0104】
図８は、推奨メッセージを発生させるために使用される、機械学習アルゴリズムの評価を示す。評価は、受信者動作特性を含み、これは、バイナリ分類閾値として、機械学習システムが意図される応答をＨＣＰから発生させるメッセージを推奨する可変有効性を測定する。有効性は、ＲＯＣ曲線下面積（ＡＵＣ）を測定することによって測定されてもよい。ＡＵＣ値は、０～１に及んでもよく、１により近い値は、閾値が変動されるにつれてメッセージが特定の応答をＨＣＰからもたらすであろうかどうかを予測するための、より効果的な能力を示す。閾値は、機械学習アルゴリズムによって行われる予測が、メッセージがパブリッシャによるＨＣＰへの送達のための推奨候補である最小スコアとして解釈され得るかどうかを決定する。
【0105】
図８は、評価の出力を示す。標的カテゴリは、特定のメッセージ上で実施されるための特定のアクションを反映させる。例えば、行２における標的は、メッセージａ３ＲＡ．．．Ｍｆｕ２ＭＡＣのための開封イベントである一方、行３における標的は、メッセージａ３ＲＡ．．．ｅ０ｔａＭＡＡのための開封イベントである。これらの標的の両方に関して、ＡＵＣは、０．９７および０．９６であって、効果的機械学習モデルを示す。モデルは、０．９８および０．９３６の正確度を有し、効果的推奨を正しく予測することの高率を示す。０．９７および０．６８の精度は、第１の反復によって予測される正の値の９７％が正しく、第２の相互作用によって予測される正の値の６８％が正しかった（例えば、誤検出の代わりに、正検出）ことを示す。誤分類率は、効果的メッセージの予測に対する誤検出および未検出のパーセンテージを示す。分布率は、効果的推奨のパーセンテージを示す。
【0106】
また、図８に描写されるものは、ＡＵＣ＝０．９７を伴うＲＯＣである。ＲＯＣ曲線は、丸みを帯びた「角」を示し、大閾値においてさえ、高分類正確度を示す。１．０に近い閾値においてさえ、正検出値の大相対的頻度および誤検出値の小相対的頻度が存在する（例えば、正検出率（ＴＰＲ）が、高く、誤検出率（ＦＰＲ）が、低い）。
【0107】
（コンピュータシステム）
本開示は、本開示の方法を実装するようにプログラムされる、コンピュータシステムを提供する。図９は、データ共有および分析タスクを実施するようにプログラムまたは別様に構成される、コンピュータシステム９０１を示す。コンピュータシステム９０１は、例えば、ＨＣＰおよび医療販売員からのアクションを記憶するステップ、メッセージ候補を記憶するステップ、および機械学習分析を実施するステップ等の本開示の種々の側面を調整することができる。コンピュータシステム９０１は、ユーザの電子デバイス、または電子デバイスに対して遠隔に位置する、コンピュータシステムであり得る。電子デバイスは、モバイル電子デバイスであり得る。
本開示は、本開示の方法を実装するようにプログラムされる、コンピュータシステムを提供する。図９は、データ共有および分析タスクを実施するようにプログラムまたは別様に構成される、コンピュータシステム９０１を示す。コンピュータシステム９０１は、例えば、ＨＣＰおよび医療販売員からのアクションを記憶するステップ、メッセージ候補を記憶するステップ、および機械学習分析を実施するステップ等の本開示の種々の側面を調整することができる。コンピュータシステム９０１は、ユーザの電子デバイス、または電子デバイスに対して遠隔に位置する、コンピュータシステムであり得る。電子デバイスは、モバイル電子デバイスであり得る。
【0108】
コンピュータシステム９０１は、シングルコアまたはマルチコアプロセッサ、または並行処理のための複数のプロセッサであり得る、中央処理ユニット（ＣＰＵ、また、本明細書では、「プロセッサ」および「コンピュータプロセッサ」）９０５を含む。コンピュータシステム９０１はまた、メモリまたはメモリ場所９１０（例えば、ランダムアクセスメモリ、読取専用メモリ、フラッシュメモリ）と、電子記憶ユニット９１５（例えば、ハードディスク）と、１つ以上の他のシステムと通信するための通信インターフェース９２０（例えば、ネットワークアダプタ）と、キャッシュ、他のメモリ、データ記憶装置、または電子ディスプレイアダプタ等の周辺デバイス９２５とを含む。メモリ９１０、記憶ユニット９１５、インターフェース９２０、および周辺デバイス９２５は、マザーボード等の通信バス（実線）を通して、ＣＰＵ９０５と通信する。記憶ユニット９１５は、データを記憶するためのデータ記憶ユニット（またはデータリポジトリ）であり得る。コンピュータシステム９０１は、通信インターフェース９２０を用いて、コンピュータネットワーク（「ネットワーク」）９３０に動作可能に結合されることができる。ネットワーク９３０は、インターネット、インターネットまたはエクストラネット、またはインターネットと通信するイントラネットまたはエクストラネットであり得る。ネットワーク９３０は、ある場合には、電気通信またはデータネットワークである。ネットワーク９３０は、クラウドコンピューティング等、分散コンピューティングを可能にし得る、１つ以上のコンピュータサーバを含むことができる。ネットワーク９３０は、ある場合には、コンピュータシステム９０１を用いて、コンピュータシステム６０１に結合されたデバイスが、クライアントまたはサーバとして挙動することを可能にし得る、ピアツーピアネットワークを実装することができる。
【0109】
ＣＰＵ９０５は、プログラムまたはソフトウェア内に具現化され得る、機械可読命令のシーケンスを実行することができる。命令は、メモリ９１０等のメモリ場所内に記憶されてもよい。命令は、ＣＰＵ９０５にダイレクトされることができ、これは、続けて、本開示の方法を実装するようにＣＰＵ９０５をプログラムまたは別様に構成することができる。ＣＰＵ９０５によって実施される動作の実施例は、フェッチ、デコード、実行、およびライトバックを含むことができる。
【0110】
ＣＰＵ９０５は、集積回路等の回路の一部であり得る。システム９０１の１つ以上の他のコンポーネントが、回路内に含まれることができる。ある場合には、回路は、特定用途向け集積回路（ＡＳＩＣ）である。
【0111】
記憶ユニット９１５は、ドライバ、ライブラリ、および保存されたプログラム等のファイルを記憶することができる。記憶ユニット９１５は、ユーザデータ、例えば、ユーザ選好およびユーザプログラムを記憶することができる。コンピュータシステム９０１は、ある場合には、イントラネットまたはインターネットを通してコンピュータシステム９０１と通信する遠隔サーバ上に位置する等、コンピュータシステム９０１の外部の１つ以上の付加的データ記憶ユニットを含むことができる。
【0112】
コンピュータシステム９０１は、ネットワーク９３０を通して、１つ以上の遠隔コンピュータシステムと通信することができる。例えば、コンピュータシステム９０１は、ユーザの遠隔コンピュータシステムと通信することができる。遠隔コンピュータシステムの実施例は、パーソナルコンピュータ（例えば、ポータブルＰＣ）、スレートまたはタブレットＰＣ（例えば、Ａｐｐｌｅ（登録商標） ｉＰａｄ（登録商標）、Ｓａｍｓｕｎｇ（登録商標） ＧａｌａｘｙＴａｂ）、電話、スマートフォン（例えば、Ａｐｐｌｅ（登録商標） ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ対応デバイス、Ｂｌａｃｋｂｅｒｒｙ（登録商標））、または携帯情報端末を含む。ユーザは、ネットワーク９３０を介して、コンピュータシステム９０１にアクセスすることができる。
【0113】
本明細書に説明されるような方法は、例えば、メモリ９１０または電子記憶ユニット９１５上等のコンピュータシステム９０１の電子記憶場所上に記憶される、機械（例えば、コンピュータプロセッサ）実行可能コードを用いて実装されることができる。機械実行可能または機械可読コードは、ソフトウェアの形態において提供されることができる。使用の間、コードは、プロセッサ９０５によって実行されることができる。ある場合には、コードは、プロセッサ６０５による容易なアクセスのために、記憶ユニット９１５から読み出され、メモリ９１０上に記憶されることができる。いくつかの状況では、電子記憶ユニット９１５は、除外されることができ、機械実行可能命令は、メモリ９１０上に記憶される。
【0114】
コードは、コードを実行するように適合されたプロセッサを有する機械との併用のために事前コンパイルおよび構成されることができる、またはランタイムの間、コンパイルされることができる。コードは、コードが事前コンパイルまたはコンパイルされたままの方式で実行することを可能にするように選択され得る、プログラミング言語で供給されることができる。
【0115】
コンピュータシステム６０１等の本明細書に提供されるシステムおよび方法の側面は、プログラミングにおいて具現化されることができる。本技術の種々の側面は、典型的には、機械可読媒体のあるタイプ上で搬送される、またはその中に具現化される、機械（またはプロセッサ）実行可能コードまたは関連付けられるデータの形態における、「製品」または「製造品」と見なされ得る。機械可読コードは、メモリ（例えば、読取専用メモリ、ランダムアクセスメモリ、フラッシュメモリ）またはハードディスク等の電子記憶ユニット上に記憶されることができる。「記憶」タイプの媒体は、ソフトウェアプログラミングのために、随時、非一過性記憶を提供し得る、種々の半導体メモリ、テープドライブ、ディスクドライブ、および同等物等、コンピュータ、プロセッサ、または同等物、またはその関連付けられるモジュールの有形メモリのうちのいずれかまたは全てを含むことができる。ソフトウェアの全てまたは一部は、随時、インターネットまたは種々の他の電気通信ネットワークを通して通信されてもよい。そのような通信は、例えば、１つのコンピュータまたはプロセッサから、別のコンピュータまたはプロセッサに、例えば、管理サーバまたはホストコンピュータから、アプリケーションサーバのコンピュータプラットフォームに、ソフトウェアのロードを可能にしてもよい。したがって、ソフトウェア要素を担持し得る、別のタイプの媒体は、有線および光学固定線ネットワークを通して、かつ種々のエアリンクを経由して、ローカルデバイスの間の物理的インターフェースを横断して使用されるような光学、電気、および電磁波を含む。有線または無線リンク、光学リンク、または同等物等のそのような波を搬送する、物理的要素もまた、ソフトウェアを担持する媒体と見なされてもよい。本明細書で使用されるように、非一過性有形「記憶」媒体に制限されない限り、コンピュータまたは機械「可読媒体」等の用語は、命令を実行のためにプロセッサに提供することに関与する、任意の媒体を指す。
【0116】
したがって、コンピュータ実行可能コード等の機械可読媒体は、限定ではないが、有形記憶媒体、搬送波媒体、または物理的伝送媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、図面に示されるデータベース等を実装するために使用され得るような任意のコンピュータまたは同等物内の記憶デバイスのうちのいずれか等の光学または磁気ディスクを含む。揮発性記憶媒体は、コンピュータプラットフォームの主要メモリ等の動的メモリを含む。有形伝送媒体は、コンピュータシステム内にバスを備えるワイヤを含む、同軸ケーブル、銅ワイヤ、および光ファイバを含む。搬送波伝送媒体は、無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信の間に発生されるもの等の電気または電磁信号または音響または光波の形態をとってもよい。コンピュータ可読媒体の一般的形態は、したがって、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤまたはＤＶＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、データまたは命令をトランスポートする搬送波、そのような搬送波をトランスポートするケーブルまたはリンク、またはそれからコンピュータがプログラムコードまたはデータを読み取り得る、任意の他の媒体を含む。これらの形態のコンピュータ可読媒体の多くは、実行のために、１つ以上の命令の１つ以上のシーケンスをプロセッサに搬送することに関与してもよい。
【0117】
コンピュータシステム９０１は、例えば、３Ｄオブジェクトの複数の断面を提供するために、ユーザインターフェース（ＵＩ）９４０を備える、電子ディスプレイ９３５を含む、またはそれと通信することができる。ＵＩの実施例は、限定ではないが、グラフィカルユーザインターフェース（ＧＵＩ）およびウェブベースのユーザインターフェースを含む。
【0118】
本開示の方法およびシステムは、１つ以上のアルゴリズムを用いて実装されることができる。アルゴリズムは、中央処理ユニット９０５による実行に応じて、ソフトウェアを用いて実装されることができる。アルゴリズムは、例えば、メッセージ推奨を発生させるために使用される、機械学習アルゴリズムであり得る。
【0119】
本発明の好ましい実施形態が、本明細書に示され、説明されたが、そのような実施形態は、実施例のみとして提供されることが、当業者に明白となるであろう。多数の変形例、変更、および代用が、ここで、本発明から逸脱することなく当業者に想起されるであろう。本明細書に説明される本発明の実施形態の種々の代替が、本発明を実践する際に採用され得ることを理解されたい。以下の請求項は、本発明の範囲を定義し、これらの請求項およびそれらの均等物の範囲内の方法および構造が、それによって網羅されることを意図している。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】