特表 2022-529287 ネットワーク環境におけるメッセージ選択システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-20

(54)【発明の名称】ネットワーク環境におけるメッセージ選択システム

(51)【国際特許分類】

   H04L 67/306 20220101AFI20220613BHJP

   G06F 16/335 20190101ALI20220613BHJP

【ＦＩ】

H04L67/306

G06F16/335

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021562078

(86)(22)【出願日】2020-04-16

(85)【翻訳文提出日】2021-12-13

(86)【国際出願番号】 US2020028527

(87)【国際公開番号】W WO2020214815

(87)【国際公開日】2020-10-22

(31)【優先権主張番号】62/835,267

(32)【優先日】2019-04-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/835,271

(32)【優先日】2019-04-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＵＮＩＸ

２．Ｌｉｎｕｘ

３．ＪＡＶＡ

４．ＦＩＲＥＷＩＲＥ

５．ＴＨＵＮＤＥＲＢＯＬＴ

６．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】521455268

【氏名又は名称】クリック セラピューティクス インコーポレイテッド

【氏名又は名称原語表記】ＣＬＩＣＫ ＴＨＥＲＡＰＥＵＴＩＣＳ， ＩＮＣ．

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100226263

【弁理士】

【氏名又は名称】中田 未来生

(72)【発明者】

【氏名】アダム ガオ

(72)【発明者】

【氏名】マイケル ブランドン ング

(72)【発明者】

【氏名】クリストファー マーク ジョーダン

(72)【発明者】

【氏名】ビクター ガオ

(72)【発明者】

【氏名】アダム バーガー

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA01

5B175HA01

(57)【要約】

パーソナライズされたメッセージング・システムのユーザーはメッセージ疲れに陥り、それによって、意図した受信者に対するメッセージの効果が低下することがある。ネットワークを介してユーザーのクライアントデバイスに送信されたメッセージはクライアントデバイスで役割を果たされないため、メッセージ疲れは、計算リソース及び帯域幅の浪費につながることがある。所望のユーザー・インタラクション及びレスポンスを伴うアプリケーションにとって、パーソナライズされたメッセージングは、ユーザー・エンゲージメント目標を達成するためのツールになりえる。ここで紹介するシステムと方法は、パーソナライズされたメッセージングの技術的課題のいくつかに対処することができる。

【特許請求の範囲】

【請求項1】

ネットワーク環境を介してメッセージを送信する方法であって、
１つ以上のプロセッサを有する少なくとも１台のサーバにより、複数のメッセージオブジェクト候補を識別するステップであり、各前記複数のメッセージオブジェクト候補は、複数の行動エンドポイントのうち、１つ以上を達成するためにユーザーに提示する選択基準に関連付けられている、該識別するステップと、
前記少なくとも１台のサーバにより、リモートコンピューティングデバイスに関連付けられたユーザーのアクティビティログから、リモートコンピューティングデバイスを介して記録された前記ユーザーによる１つ以上のアクションを取得するステップと、
前記少なくとも１台のサーバにより、前記ユーザーによる記録された前記１つ以上のアクションから、前記複数のメッセージオブジェクト候補のうち１つを特定するために使用されるユーザー状態を決定するステップと、
前記少なくとも１台のサーバにより、各前記複数のメッセージオブジェクト候補について信頼値を決定するステップであり、前記信頼値は、前記ユーザー状態と前記メッセージオブジェクト候補の選択基準との比較に基づいて、前記複数のエンドポイントのうち１つ以上を達成するための、対応する前記メッセージ候補の前記ユーザーに対する予測有効性を示している、該信頼値を決定するステップと、
前記少なくとも１台のサーバにより、各前記複数のメッセージオブジェクト候補について、前記複数のメッセージオブジェクト候補の少なくとも１つに対応する前回のメッセージの送信時刻から現在時刻までの少なくとも１つの経過時間に基づいて、前記信頼値をアップデートするステップと、
前記少なくとも１台のサーバにより、前記複数のメッセージオブジェクト候補から、前記メッセージに対する前記信頼値に基づいて、メッセージオブジェクトを選択するステップと、
前記少なくとも１台のサーバにより、前記複数のメッセージオブジェクトから選択された前記メッセージオブジェクトに基づいて、メッセージを生成するステップと、及び
前記少なくとも１台のサーバにより、前記ユーザーに関連付けられた前記リモートコンピューティングデバイスに、提示する前記メッセージを送信するステップと、
を備える、方法。

【請求項2】

請求項１に記載の方法において、さらに、
前記少なくとも１台のサーバにより、前記リモートコンピューティングデバイスを介した前記メッセージの前記提示に応じた前記ユーザーによる１つ以上の後続のアクションの前記アクティビティログを記録するステップと、及び
前記少なくとも１台のサーバにより、前記メッセージの提示に応じた前記１つ以上の後続のアクションに基づいて、前記ユーザーの状態をアップデートするステップと、
を備える、方法。

【請求項3】

請求項１に記載の方法において、さらに、前記少なくとも１台のサーバにより、前記複数のメッセージオブジェクト候補のうち１つ以上に対応するメッセージに対する前記ユーザーからのレスポンスデータ履歴を含むトレーニングデータセットを使用してメッセージオブジェクトモデルを確立するステップ
を備え、また
前記信頼値を決定するステップは、さらに、前記信頼値を決定するため、前記メッセージオブジェクトモデルを、前記ユーザー状態及び前記複数のメッセージオブジェクト候補の前記選択基準に適用するステップを含む、方法。

【請求項4】

請求項１に記載の方法において、前記複数のメッセージオブジェクト候補の各メッセージオブジェクトは、対応するメッセージを生成するためのメッセージテンプレートと、前記信頼値を決定するためのモデルと、前記対応するメッセージを送信する時刻の制約と、及び定義された時間窓内で達成するために前記複数の行動上のエンドポイントのうちの１つ以上を定義する前記選択基準と、を含む、方法。

【請求項5】

請求項１に記載の方法において、前記ユーザー状態を決定するステップは、さらに、前記リモートコンピューティングデバイスに関連付けられた前記ユーザーの複数のユーザー状態から、前記複数の行動上のエンドポイントのうちの少なくとも１つに対応する前記ユーザー状態を決定するステップを含む、方法。

【請求項6】

請求項１に記載の方法において、前記信頼値をアップデートするステップは、前記前回の送信時刻と前記現在時刻との間の前記経過時間に対応するクールダウン係数を特定して、前記信頼値に適用するステップを含む、方法。

【請求項7】

請求項１に記載の方法において、前記メッセージオブジェクトを選択するステップは、さらに、前記メッセージオブジェクトに対する前記信頼値と閾値との比較に基づいて、複数のメッセージオブジェクト候補からメッセージオブジェクトを選択するステップであり、前記閾値は、メッセージを送信するための配信ポリシーによって定義される該選択するステップを含む、方法。

【請求項8】

請求項１に記載の方法において、前記１つ以上のアクションを取得するステップは、前記ユーザーの前記アクティビティログから、前記複数のメッセージオブジェクト候補のうち１つ以上に対応する前回のメッセージの提示に応じた前記ユーザーによる前記１つ以上のアクションを取得するステップを含む、方法。

【請求項9】

請求項１に記載の方法において、前記メッセージを送信するステップは、さらに、メッセージを送信するための配信ポリシーによって定義された前記現在時刻に、前記メッセージを前記リモートコンピューティングデバイスに送信するステップを含む、方法。

【請求項10】

請求項１に記載の方法において、さらに、前記少なくとも１台のサーバにより、前記ユーザー状態が前記複数のメッセージオブジェクト候補の各サブセットの前記選択基準に一致しないことに基づいて、前記複数のメッセージオブジェクト候補の少なくとも１つのサブセットを選択から削除するステップを備える、方法。

【請求項11】

ネットワーク環境にわたってメッセージを送信するため、メモリに接続された１つ以上のプロセッサを有する少なくとも１台のサーバを備えるシステムであって、前記少なくとも１台のサーバは、以下のことをする、すなわち、
複数のメッセージオブジェクト候補を識別し、各前記複数のメッセージオブジェクト候補は、複数の行動上のエンドポイントのうち、１つ以上を達成するためにユーザーに提示する選択基準に関連付けられている、該識別を行う、
リモートコンピューティングデバイスに関連付けられたユーザーのアクティビティログから、リモートコンピューティングデバイスを介して記録された前記ユーザーによる１つ以上のアクションを取得する、
前記ユーザーによる記録された前記１つ以上のアクションから、前記複数のメッセージオブジェクト候補のうち１つを特定するために使用されるユーザー状態を決定する、
前記少なくとも１台のサーバにより、各前記複数のメッセージオブジェクト候補について、前記ユーザー状態と前記メッセージオブジェクト候補の選択基準との比較に基づいて、前記複数のエンドポイントのうちの１つ以上を達成するための、対応する前記メッセージ候補の前記ユーザーに対する予測有効性を示している信頼値を決定する、
各前記複数のメッセージオブジェクト候補について、前記複数のメッセージオブジェクト候補の少なくとも１つに対応する前回のメッセージの送信時刻から現在時刻までの少なくとも１つの経過時間に基づいて、前記信頼値をアップデートする、
前記複数のメッセージオブジェクト候補から、前記メッセージに対する前記信頼値に基づいて、メッセージオブジェクトを選択する、
前記複数のメッセージオブジェクトから選択された前記メッセージオブジェクトに基づいて、メッセージを生成する、及び
前記ユーザーに関連付けられた前記リモートコンピューティングデバイスに、提示する前記メッセージを送信する、
よう構成されている、システム。

【請求項12】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、
前記リモートコンピューティングデバイスを介した前記メッセージの前記提示に応じた前記ユーザーによる１つ以上の後続のアクションの前記アクティビティログを記録する、及び
前記メッセージの提示に応じた前記１つ以上の後続のアクションに基づいて、前記ユーザーの状態をアップデートする、
よう構成されている、システム。

【請求項13】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、
前記複数のメッセージオブジェクト候補のうち１つ以上に対応するメッセージに対する前記ユーザーからのレスポンスデータ履歴を含むトレーニングデータセットを使用してメッセージオブジェクトモデルを確立する、及び
前記メッセージオブジェクトモデルを、前記ユーザー状態及び前記複数のメッセージオブジェクト候補の前記選択基準に適用して、前記信頼値を決定する、
よう構成されている、システム。

【請求項14】

請求項１１に記載のシステムにおいて、前記複数のメッセージオブジェクト候補の各メッセージオブジェクトは、対応するメッセージを生成するためのメッセージテンプレートと、前記信頼値を決定するためのモデルと、前記対応するメッセージを送信する時刻の制約と、及び定義された時間窓内で達成するために前記複数の行動上のエンドポイントのうちの１つ以上を定義する前記選択基準と、を含む、システム。

【請求項15】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、前記リモートコンピューティングデバイスに関連付けられた前記ユーザーの複数のユーザー状態から、前記複数の行動上のエンドポイントのうち少なくとも１つに対応する前記ユーザー状態を決定するよう構成されている、システム。

【請求項16】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、前記前回の送信時刻と前記現在時刻との間の前記経過時間に対応するクールダウン係数を特定して、前記信頼値に適用するよう構成されている、システム。

【請求項17】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、前記メッセージオブジェクトに対する前記信頼値と閾値との比較に基づいて、複数のメッセージオブジェクト候補からメッセージオブジェクトを選択するよう構成されており、前記閾値は、メッセージを送信するための配信ポリシーによって定義される、システム。

【請求項18】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、前記ユーザーの前記アクティビティログから、前記複数のメッセージオブジェクト候補のうち１つ以上に対応する前回のメッセージの提示に応じた前記ユーザーによる前記１つ以上のアクションを取得するよう構成されている、システム。

【請求項19】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、メッセージを送信するための配信ポリシーによって定義された前記現在時刻に、前記メッセージを前記リモートコンピューティングデバイスに送信するよう構成されている、システム。

【請求項20】

請求項１１に記載のシステムにおいて、前記少なくとも１台のサーバは、さらに、前記ユーザー状態が前記複数のメッセージオブジェクト候補の各サブセットの前記選択基準に一致しないことに基づいて、前記複数のメッセージオブジェクト候補の少なくとも１つのサブセットを選択から削除するよう構成されている、システム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１９年４月１７日に出願された「ネットワーク環境における信頼値及びクールダウン係数に基づくメッセージ選択及び送信（”MESSAGE SELECTION AND TRANSMISSION BASED ON CONFIDENCE VALUES AND COOL DOWN FACTORS IN A NETWORKED ENVIRONMENT”）」と題した米国仮特許出願第６２／８３５，２６７号、及び２０１９年４月１７日に出願された「ネットワーク環境におけるメッセージング・システムに対する間接アップデート（”INDIRECT UPDATES TO MESSAGING SYSTEMS IN A NETWORKED ENVIRONMENT”）」と題した米国仮特許出願第６２／８３５，２７１号の優先権を主張し、それら双方はその全体が参照により本明細書に組み込まれるものとする。

【背景技術】

【0002】

カスタマイズされたメッセージング・システムのユーザーは、メッセージ疲れに陥り、それによって、意図した受信者に対するメッセージの効果が低下することがある。ネットワークを介してユーザーのクライアントデバイスに送信されたメッセージはクライアントデバイスで役割を果たされないため、メッセージ疲れは、計算リソース及び帯域幅の浪費につながることがある。所望のユーザー・インタラクション及びレスポンスを伴うアプリケーションにとって、カスタマイズされたメッセージング（メッセージ送信）は、ユーザー・エンゲージメント目標を達成するためのツールになりえる。

【発明の概要】

【0003】

本開示は、信頼値及びクールダウン係数に基づいてメッセージを選択並びに送信するためのシステム並びに方法を説明する。メッセージング・システムは、関連するメッセージを関連する時刻にユーザーに送信することができる。パーソナライズされたメッセージング・システムは、ユーザー・エンゲージメント及びアプリケーションの有効性を高めることができる。各ユーザーに合わせて適切なタイミングで配信される適切なコンテンツは、ユーザーのアプリケーションへのエンゲージメントに好影響を与えることができる。アプリケーションを介して各ユーザーにタイムリーに配信されるパーソナライズされた関連性のあるメッセージは、健康、幸福、フィットネス、及び全体的な生活の質を向上させるためにユーザーが行う実際のアクションにつなげることができる。

【0004】

メッセージ疲れに関連するいくつかの課題及びその他の関連する課題に対処するために、本開示は、いつでも呼び出されると複数のメッセージを生成することができる複数のメッセージオブジェクトを呼び出すことができるメッセージ選択システムに関する。メッセージのそれぞれについて信頼値を生成し、各メッセージに関連する信頼値を使用して、クライアントデバイスのアプリケーションに送信する1つ以上のメッセージを選択できる。メッセージ選択システムは、クールダウン係数に基づいて、選択された各メッセージに関連付けられた信頼値を調整できる。メッセージ選択システムは、クールダウン係数を使用して、クライアントデバイスによって最後のメッセージが受信されてからの時間、クライアントデバイスのユーザーが所定の時間内に受信することを選択したメッセージの総数、及びクライアントデバイスのユーザーがアウェイク又はアクティブである時間の長さを含むがこれらに限定されない様々な要因に基づいて、選択されたメッセージのそれぞれの信頼性の値を調整することができる。次に、メッセージ選択システムは、選択された各メッセージの調整された信頼値に基づいて、調整された信頼値に基づいて選択された１つ以上のメッセージを送信することを決定することができる。

【0005】

メッセージ選択システムは、ユーザーがメッセージ疲れを感じる可能性を低減するように、クライアントデバイスに最後にメッセージが配信されてからの時間に基づいて可能性を調整しつつ、メッセージが所望のエンドポイント又は目標値を達成する可能性に基づいてメッセージを選択することができる。メッセージ選択システムは、メッセージが意図された効果をもたらす可能性に基づいて、ユーザーのクライアントデバイスにメッセージを選択的に送信又は発信することによって、ユーザーがメッセージ疲れを感じる可能性を低減することができる。各ユーザーがメッセージ疲れを感じるメッセージの数と頻度は様々であるため、各ユーザーのメッセージの好み、アプリケーションのエンゲージメント、及び類似のメッセージに対するレスポンスに関する情報を組み込んで、適切なタイミングでパーソナライズされたメッセージを配信するためのフレームワーク又はモデルを構築することができる。

【0006】

メッセージ選択システムによって、ユーザーのそれぞれのクライアントデバイスに送信されたメッセージは、それぞれのクライアントデバイス上でアプリケーションを実行することを介して開くことができる。クライアントデバイス上で実行されているアプリケーションは、メッセージ選択システムからクライアントデバイスのユーザーにメッセージを表示し、ユーザーにアクションを実行するか、又はユーザーの応答を引き出すように促すことができる。アプリケーションは、メッセージがクライアントデバイスで受信されたとき、アプリケーションがメッセージを表示したとき、ユーザーがアプリケーション上で実行したアクティビティ、ユーザーがクライアントデバイス上で実行したアクティビティなどに対応するデータを含む情報をメッセージ選択システムにフィードバックするように構成することができる。メッセージ選択システムは、ユーザーのクライアントデバイスから収集又は受信した情報を、ユーザーにアクションを実行させる上でのメッセージ、又は個々のユーザーに送信されるメッセージのパーソナライゼーションを改善するため、若しくはいくつかの実施形態では、メッセージに対するユーザーとその行動を監視するためにユーザーのレスポンスの内容及びタイミングの有効性を評価するために使用することができる。

【0007】

特定の実施形態では、メッセージ選択システムは、複数のユーザーのユーザープロファイルを維持することができる。各ユーザープロファイルに対して、メッセージ選択システムは、所定の時間間隔でメッセージオブジェクトを呼び出すことができるインボケータ（invocator）を実行できる。各メッセージオブジェクトは、ユーザープロファイルに関連付けられたクライアントデバイスへの送信候補であるメッセージテンプレートを使用して、メッセージ候補を生成できる。メッセージ選択システムのメッセージオブジェクトエバリュエータは、コンテキストデータをメッセージオブジェクトのモデルに組み込んで、メッセージオブジェクトによって生成されたメッセージ候補に関連付けられた信頼値を出力できる。信頼値は、ユーザーに送信されたメッセージ候補が意図した効果をもたらす可能性を示すことができる。メッセージオブジェクトエバリュエータは、特定の制約を満たすメッセージオブジェクトの信頼値を出力できる。メッセージオブジェクトエバリュエータは、特定の条件に基づいて各メッセージ候補に関連付けられた信頼値を評価し、クールダウン係数に基づいて信頼値をアップデートし、アップデートされた信頼値が所定の値を超えた場合に候補メッセージをクライアントデバイスに送信することを決定できる。

【0008】

メッセージ選択システムは、ユーザープロファイルに関連付けられたクライアントデバイス上で実行されているアプリケーションのレポートエージェントからレスポンスデータを受信できる。メッセージ選択システムのレスポンスエバリュエータは、前回のメッセージに対応するレスポンスデータに基づいて、モデルの性能を向上させるように、レスポンスデータをメッセージオブジェクトのモデルに組み込むことができる。レスポンスデータは、メッセージオブジェクトのモデルを改善するために、メッセージオブジェクトの目標値（又は所望のエンドポイント）と比較することができる。このようにして、メッセージ選択システムは、ユーザーのメッセージの好みやレスポンスから学習し、将来のメッセージ候補の選択プロセスを改善するとともに、将来のメッセージ候補について計算される信頼値の品質を改善することができる。このようにすることで、メッセージ選択システムは、より少ないメッセージを選択してユーザーのクライアントデバイスに送信することができ、同時に、ユーザーがメッセージに関与又は応答し、メッセージの所望のエンドポイントを達成する可能性を高めることができる。

【0009】

本開示の少なくとも1つの態様によれば、方法は、１つ以上のプロセッサによって、複数のユーザー及び複数のメッセージオブジェクトを識別することを含むことができる。本方法は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクトに対する各複数のユーザーのコンテキストデータを検索することを含むことができる。本方法は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクト及びコンテキストデータに基づいて、メッセージ候補を生成することを含むことができる。本方法は、１つ以上のプロセッサによって、各メッセージ候補に対する信頼値をクールダウン係数に基づいてアップデートし、アップデートされた信頼値を生成することを含むことができる。本方法は、１つ以上のプロセッサによって、アップデートされた信頼値に基づいてメッセージ候補を選択することを含むことができる。本方法は、１つ以上のプロセッサによって、アップデートされた信頼値が所定の閾値を越えることに基づいて、選択されたメッセージ候補を送信することを含むことができる。

【0010】

本開示は、メッセージング・システムのメッセージオブジェクトのモデルを間接的にアップデートするためのシステム及び方法を説明する。メッセージング・システムは、非修辞的メッセージへのレスポンスを使用して、非修辞的メッセージに関連するメッセージオブジェクトのモデルをアップデートする。修辞的なメッセージは、ユーザーからのレスポンスを誘発しないので、メッセージング・システムは、修辞的なメッセージに関連するメッセージオブジェクトのモデルをアップデートすることができない場合がある。修辞的なメッセージを受け取ったユーザーからのレスポンスがない場合、修辞的なメッセージの有効性又は非有効性に関連する情報は提供されない。さらに、ユーザーからのレスポンスがなければ、メッセージング・システムは、修辞的メッセージがユーザーに与える利益を定量化することができない可能性がある。

【0011】

修辞的メッセージからのレスポンスデータの欠如に関連するいくつかの課題に対処するために、本開示は、メッセージ選択システムのメッセージオブジェクトのモデルへの間接的なアップデートに関するものである。メッセージ選択システムは、修辞的でないメッセージに関連するメッセージオブジェクトのモデルのレスポンスデータを、修辞的なメッセージに関連するメッセージオブジェクトのモデルに組み込むことができるレスポンスエバリュエータを含むことができる。このようにして、メッセージ選択システムは、修辞的でないメッセージのレスポンスデータを、修辞的なメッセージのレスポンスデータ（又はその欠如）のプロキシとして使用することができる。このようにすることで、メッセージ選択システムは、修辞的メッセージに関する直接的なフィードバックを受けていなくても、カスタマイズされた修辞的メッセージを選択し、ユーザーのクライアントデバイスに送信することができる。また、メッセージ選択システムは、メッセージ疲れを防ぐために、カスタマイズされた時刻に修辞的メッセージをユーザーのクライアントデバイスに送信することができる。

【0012】

メッセージ選択システムは、ユーザーがメッセージ疲れを経験する可能性を低減するように、メッセージが所望のエンドポイント又は目標値を達成しようとしている可能性に基づいてメッセージを選択し、一方で、最後のメッセージがクライアントデバイスに配信されてからの時間に基づいて可能性を調整することができる。メッセージ選択システムは、メッセージが意図された効果をもたらす可能性に基づいて、ユーザーのクライアントデバイスにメッセージを選択的に送信又は送付することで、ユーザーがメッセージ疲れを経験する可能性を低減することができる。個々のユーザーがメッセージ疲れを経験する原因となるメッセージの数や頻度は様々であるため、メッセージ選択システムは、各ユーザーのメッセージの好み、アプリケーションのエンゲージメント、及び類似のメッセージに対するレスポンスに関する情報を組み込んで、カスタマイズされたメッセージを適切なタイミングで配信するためのフレームワーク又はモデルを構築することができる。

【0013】

メッセージ選択システムによってユーザーのそれぞれのクライアントデバイスに送信されたメッセージは、それぞれのクライアントデバイス上で実行されるアプリケーションを介して開くことができる。クライアントデバイス上で実行するアプリケーションは、メッセージ選択システムからのメッセージをクライアントデバイスのユーザーに表示し、ユーザーにアクションの実行を促したり、ユーザーのレスポンスを引き出したりすることができる。アプリケーションは、メッセージがクライアントデバイスで受信されたとき、アプリケーションがメッセージを表示したとき、ユーザーがアプリケーション上で実行したアクティビティ、ユーザーがクライアントデバイス上で実行したアクティビティなどに対応するデータを含む情報をメッセージ選択システムにフィードバックするように構成することができる。メッセージ選択システムは、ユーザーのクライアントデバイスから収集又は受信した情報を使用して、ユーザーにアクションを実行させる上でのメッセージの有効性、若しくはユーザーのレスポンスの内容とタイミングを評価し、個々のユーザーに送信されるメッセージのパーソナライゼーションを改善したり、いくつかの実施形態では、メッセージに対するユーザーとそのアクティビティを監視したりすることができる。

【0014】

特定の実施形態では、メッセージ選択システムは、複数のユーザーのユーザープロファイルを維持することができる。各ユーザープロファイルに対して、メッセージ選択システムは、所定の時間間隔でメッセージオブジェクトを呼び出すことができるインボケータを実行させることができる。各メッセージオブジェクトは、ユーザープロファイルに関連付けられたクライアントデバイスへの送信候補であるメッセージテンプレートを使用して、メッセージ候補を生成することができる。メッセージ選択システムのメッセージオブジェクトエバリュエータは、コンテキストデータをメッセージオブジェクトのモデルに組み込み、メッセージオブジェクトが生成したメッセージ候補に関連する信頼値を出力することができる。信頼値は、ユーザーに送信されたメッセージ候補が意図された効果を持つ可能性を示すことができる。メッセージオブジェクトエバリュエータは、特定の制約を満たすメッセージオブジェクトの信頼値を出力することができます。メッセージオブジェクトエバリュエータは、一定の条件に基づいて各メッセージ候補に関連する信頼値を評価し、クールダウン係数に基づいて信頼値をアップデートし、アップデートされた信頼値が所定の閾値を越えた場合に、メッセージ候補をクライアントデバイスに送信することを決定することができる。

【0015】

メッセージ選択システムは、ユーザープロファイルに関連付けられたクライアントデバイス上で実行されるアプリケーションのレポーティングエージェントからレスポンスデータを受け取ることができる。メッセージ選択システムのレスポンスエバリュエータは、クライアントデバイスに送信された前回のメッセージに対応するレスポンスデータに基づいて、モデルの性能を向上させるように、レスポンスデータをメッセージオブジェクトのモデルに組み込むことができる。レスポンスデータは、メッセージオブジェクトのモデルを改善するために、メッセージオブジェクトの目標値（又は所望のエンドポイント）と比較することができる。このようにして、メッセージ選択システムは、ユーザーのメッセージの好みやレスポンスから学習し、将来のメッセージ候補の選択プロセスを改善するとともに、将来の候補メッセージについて計算される信頼値の品質を改善することができる。そうすることで、メッセージ選択システムは、より少ないメッセージを選択してユーザーのクライアントデバイスに送信することができると同時に、ユーザーがメッセージに関与又は応答し、メッセージの所望のエンドポイントを達成する可能性を高めることができる。

【0016】

レスポンスエバリュエータは、非修辞的メッセージに関連するメッセージオブジェクトのモデルにおけるレスポンスデータを、修辞的メッセージに関連するメッセージオブジェクトのモデルに組み込むことができる。このようにして、メッセージ選択システムは、非修辞的メッセージのレスポンスデータを、修辞的メッセージのレスポンスデータ（又はその欠如）の代理として使用することができる。このようにすることで、メッセージ選択システムは、ユーザーが修辞的メッセージ受信時にメッセージ選択システムがユーザーから直接的なフィードバックを受け取らないとしても、適切かつパーソナライズされた修辞的メッセージを選択してユーザーのクライアントデバイスに送信することができる。

【0017】

本開示の少なくとも１つの態様によれば、方法は、サーバの１つ以上のプロセッサによって、複数の非修辞的メッセージを識別することを含むことができる。非修辞的メッセージは、サーバに送信されるレスポンスメッセージをリモートデバイスで生成するように構成された第１のリクエストセットを含み得る。本方法は、サーバの１つ以上のプロセッサによって、修辞的メッセージを識別することを含むことができる。修辞的なメッセージは、リモートデバイスでレスポンスメッセージを生成しないように構成された第２のリクエストセットを含むことができる。本方法は、サーバの１つ以上のプロセッサによって、修辞的メッセージモデルを識別することを含むことができる。修辞的メッセージモデルは、修辞的メッセージに対応することができる。本方法は、サーバの１つ以上のプロセッサによって、複数の非修辞的メッセージモデルを識別することを含むことができる。非修辞的メッセージモデルは、修辞的メッセージモデルに対応することができる。本方法は、サーバの１つ以上のプロセッサによって、非修辞的メッセージに対するレスポンスメッセージを受信することを含むことができる。本方法は、非修辞的メッセージに対する受信したレスポンスメッセージに基づいて修辞的メッセージモデルをアップデートすることを含むことができる。

【0018】

少なくとも１つの態様によれば、本開示は、ネットワーク環境を介してメッセージを送信するシステム及び方法に向けられている。１つ以上のプロセッサを有する少なくとも１つのサーバは、複数のメッセージオブジェクト候補を識別してもよい。各複数のメッセージオブジェクト候補は、複数のエンドポイントのうちの１つ以上を実現するためにユーザーに提示するための選択基準と関連していてもよい。少なくとも１つのサーバは、リモートコンピューティングデバイスに関連付けられたユーザーのアクティビティログから、リモートコンピューティングデバイスを介して記録されたユーザーによる１つ以上のアクションを取得してもよい。少なくとも１つのサーバは、ユーザーによる記録された１つ以上のアクションから、複数のメッセージオブジェクト候補のうちの１つを特定するために使用されるユーザー状態を決定してもよい。少なくとも１つのサーバは、複数のメッセージオブジェクト候補のそれぞれについて、ユーザー状態とメッセージオブジェクト候補の選択基準との比較に基づいて、信頼値を決定してもよい。信頼値は、複数のエンドポイントのうちの１つ以上を達成するための、対応するメッセージ候補のユーザーに対する有効性の予測を示してもよい。少なくとも１つのサーバは、各複数のメッセージオブジェクト候補について、少なくとも、複数のメッセージオブジェクト候補の少なくとも１つに対応する前回のメッセージの送信時刻から現在時刻までの少なくとも１つの経過時間に基づいて、信頼値をアップデートしてもよい。少なくとも１つのサーバは、複数のメッセージオブジェクト候補の中から、メッセージに対する信頼値に基づいて、メッセージオブジェクトを選択してもよい。少なくとも１つのサーバは、複数のメッセージオブジェクトから選択されたメッセージオブジェクトに基づいて、メッセージを生成してもよい。少なくとも１つのサーバは、ユーザーに関連付けられたリモートコンピューティングデバイスに、提示するメッセージを送信してもよい。

【0019】

いくつかの実施形態では、少なくとも１つのサーバは、リモートコンピューティングデバイスを介したメッセージの提示に応じたユーザーによる１つ以上の後続のアクションをアクティビティログに記録してもよい。いくつかの実施形態では、少なくとも１つのサーバは、メッセージの提示に応じた１つ以上の後続のアクションに基づいて、ユーザー状態をアップデートしてもよい。

【0020】

いくつかの実施形態では、少なくとも１つのサーバは、トレーニングデータセットを使用してメッセージオブジェクトモデルを確立してもよい。トレーニングデータセットは、複数のメッセージオブジェクト候補のうちの１つ以上に対応するメッセージに対するユーザーからのレスポンスデータ履歴を含んでもよい。いくつかの実施形態において、少なくとも１つのサーバは、メッセージオブジェクトモデルを、ユーザー状態及び複数のメッセージオブジェクト候補の選択基準に適用して、信頼値を決定してもよい。

【0021】

いくつかの実施形態では、複数のメッセージオブジェクト候補の各メッセージオブジェクト候補は、対応するメッセージを生成するためのメッセージテンプレートと、信頼値を決定するためのモデルと、対応するメッセージを送信する時刻の制約と、定義された時間窓（time window）内で達成するために複数のエンドポイントのうちの１つ以上を定義する選択基準とを含んでもよい。

【0022】

いくつかの実施形態では、少なくとも１つのサーバは、リモートコンピューティングデバイスに関連付けられたユーザーの複数のユーザー状態から、複数のエンドポイントのうちの少なくとも１つに対応するユーザー状態を決定してもよい。いくつかの実施形態において、少なくとも１つのサーバは、前回の送信時刻と現在時刻との間の経過時間に対応するクールダウン係数を特定して、信頼値に適用してもよい。

【0023】

いくつかの実施形態では、少なくとも１つのサーバは、メッセージオブジェクトに対する信頼値と閾値との比較に基づいて、複数のメッセージオブジェクト候補からメッセージオブジェクトを選択してもよい。閾値は、メッセージを送信するための配信ポリシーによって定義されてもよい。いくつかの実施形態では、少なくとも１つのサーバは、ユーザーのアクティビティログから、複数のメッセージオブジェクト候補のうちの１つ以上に対応する前回のメッセージの提示に応じたユーザーによる１つ以上のアクションを取得してもよい。

【0024】

いくつかの実施形態では、少なくとも１つのサーバは、メッセージを送信するための配信ポリシーによって定義された現在時刻に、メッセージをリモートコンピューティングデバイスに送信してもよい。いくつかの実施形態では、少なくとも１つのサーバは、ユーザー状態が各サブセットの選択基準に一致しないことに基づいて、複数のメッセージオブジェクト候補の少なくとも１つのサブセットを選択から削除してもよい。

【0025】

少なくとも１つの態様によれば、本開示は、ネットワーク環境を介して送信するメッセージを選択するシステム及び方法を企図する。１つ以上のプロセッサを有する少なくとも１つのサーバは、複数のメッセージオブジェクトを識別してもよい。複数のメッセージオブジェクトの各メッセージオブジェクトは、達成すべき複数のエンドポイントのうちの１つ以上に関連付けられてもよい。少なくとも１つのサーバは、複数のメッセージオブジェクトの各メッセージオブジェクトについて、対応するメッセージが提示された複数のリモートコンピューティングデバイスに関連付けられた、メッセージオブジェクトの複数のエンドポイントのうちの１つ以上の少なくとも１つを満たすユーザーの数を決定してもよい。少なくとも１つのサーバは、複数のメッセージオブジェクトの各メッセージオブジェクトについて、対応するメッセージが提示され、メッセージオブジェクトの複数の動作エンドポイントのうち１つ以上の少なくとも１つを満足させたユーザーの数に基づいて、メッセージオブジェクトのパフォーマンススコアを決定してもよい。少なくとも１つのサーバは、対応する複数のパフォーマンススコアに基づいて、複数のメッセージオブジェクトをランク付けしてもよい。少なくとも１つのサーバは、複数のメッセージオブジェクトのランク付けに基づいて、複数のメッセージオブジェクトの少なくとも１つのサブセットが、複数のリモートコンピューティングデバイスに送信するためのメッセージを生成するために使用されることを制限してもよい。

【0026】

いくつかの実施形態では、少なくとも１つのサーバは、第１のメッセージタイプの複数のメッセージオブジェクトを識別してもよい。第１のメッセージタイプの複数のメッセージオブジェクトの各メッセージオブジェクトは、対応するメッセージを生成するためのメッセージテンプレートを定義してもよい。対応するメッセージは、複数のリモートコンピューティングデバイス上に提示されたときに、１つ以上の入力要素を有してもよい。

【0027】

いくつかの実施形態では、少なくともサーバは、第２の複数のメッセージオブジェクトを識別してもよく、第２の複数のメッセージオブジェクトの各メッセージオブジェクトは、達成すべき１つ以上のエンドポイントに関連付けられている。いくつかの実施形態では、少なくともサーバは、送信のために、第２の複数のメッセージオブジェクトのサブセットを、少なくともサブセットの除去に続く第１のメッセージタイプの複数のメッセージオブジェクトの残りのサブセットに関連付けられた達成すべき複数のエンドポイントのうちの１つ以上に基づいて選択してもよい。

【0028】

いくつかの実施形態では、第２の複数のメッセージオブジェクトの各メッセージオブジェクトは、複数のメッセージオブジェクトの第１のメッセージタイプとは異なる第２のメッセージタイプであってもよい。第２のメッセージタイプの第２の複数のメッセージオブジェクトの各メッセージオブジェクトは、対応するメッセージを生成するためのメッセージテンプレートを定義してもよい。対応するメッセージは、複数のリモートコンピューティングデバイス上に提示されたときに、入力要素を欠いていてもよい。

【0029】

いくつかの実施形態では、複数のメッセージオブジェクトの各メッセージオブジェクトについて、少なくとも１つのサーバは、複数のリモートコンピューティングデバイスの１つに提示されたときのメッセージオブジェクトに対応するメッセージに対する各レスポンスにおいて、対応するメッセージの１つ以上の入力要素に対する入力を識別してもよい。いくつかの実施形態では、複数のメッセージオブジェクトの各メッセージオブジェクトについて、少なくとも１つのサーバは、対応するメッセージに対する各レスポンスにおいて、メッセージの１つ以上の入力要素上の入力に基づいて、メッセージオブジェクトの複数のエンドポイントのうちの少なくとも１つが満たされていることを判定してもよい。いくつかの実施形態では、少なくとも１つのサーバは、複数のメッセージの各メッセージオブジェクトについて、メッセージオブジェクトの複数のエンドポイントのうちの少なくとも１つが満たされているという判定に基づいて、ユーザーの数を決定してもよい。

【0030】

いくつかの実施形態では、少なくとも１つのサーバは、トレーニングデータセットを使用してパフォーマンススコアを決定するための性能モデルを確立してもよい。トレーニングデータセットは、複数のメッセージオブジェクト候補のうちの１つ以上に対するユーザーからのレスポンスデータ履歴を含んでもよい。いくつかの実施形態では、少なくとも１つのサーバは、対応するメッセージの提示に応答して複数のリモートコンピューティングデバイスから受信したレスポンスに、性能モデルを適用してもよい。

【0031】

いくつかの実施形態では、少なくとも１つのサーバは、複数のメッセージオブジェクトの各メッセージオブジェクトについて、メッセージオブジェクトに対応するメッセージの１つ以上の入力要素への入力に基づいて、メッセージオブジェクトの複数のエンドポイントのうち少なくとも１つが満たされていることを判定してもよい。いくつかの実施形態では、少なくとも１つのサーバは、複数のメッセージオブジェクトの各メッセージオブジェクトについて、メッセージオブジェクトの複数のエンドポイントのうち少なくとも１つが満たされているという決定を用いて、パフォーマンススコアを決定するための性能モデルをアップデートしてもよい。

【0032】

いくつかの実施形態では、少なくとも１つのサーバは、対応するメッセージの提示に応答して複数のリモートコンピューティングデバイスから受信したレスポンスに基づいて、複数のメッセージオブジェクトの各メッセージオブジェクトに複数のエンドポイントのうち１つ以上を属性付けさせてもよい。いくつかの実施形態では、少なくとも１つのサーバは、パフォーマンススコアと閾値との比較に基づいて、複数のメッセージオブジェクトの少なくともサブセットを制限してもよい。いくつかの実施形態では、少なくとも１つのサーバは、複数のリモートコンピューティングデバイス間で、複数のメッセージオブジェクトの残りのサブセットに対応する複数のメッセージの送信を許可してもよい。

【0033】

本開示の前述及び他の目的、態様、特徴、並びに利点は、添付の図面と併せて取り入れられる以下の説明を参照することによって、より明白になり、よりよく理解されるであろう。

【図面の簡単な説明】

【0034】

【図1A】リモートデバイスと通信するローカルデバイスを含むネットワーク環境の一実施形態を示すブロック図である。

【図1B】本明細書に記載されている方法及びシステムに関連して有用なコンピュータの一実施形態を示すブロック図である。

【図1C】本明細書に記載されている方法及びシステムに関連して有用なコンピュータの一実施形態を示すブロック図である。

【図1D】本明細書に記載されている方法及びシステムに関連して有用なコンピュータの一実施形態を示すブロック図である。

【図2】ユーザーに関連するメッセージを送信するためのシステムの一実施形態を示すブロック図である。

【図3】競合メッセージ選択の方法の一例を示すフロー図である。

【図4】急なピークを伴う時間に対する信頼値のグラフである。

【図5】上限閾値と下限閾値を用いた信頼値対時間のグラフである。

【図6A】１日に送信されたメッセージの数の分布を示している。

【図6B】１日に送信されたメッセージの数の分布を示している

【図6C】１日に送信されたメッセージの数の分布を示している

【図7】ユーザーに関連するメッセージを送信するためのシステムの一実施形態を示すブロック図である。

【図8】間接学習モデルのアップデート方法の一例を示すフロー図である。

【図9A】信頼値を用いてネットワーク環境でメッセージを選択して送信するシステムのブロック図である。

【図9B】信頼値を用いてネットワーク環境でメッセージを選択して送信するシステムのシーケンス図である。

【図9C】信頼値を用いてネットワーク環境でメッセージを選択して送信するシステムのシーケンス図である。

【図9D】信頼値を用いてネットワーク環境でメッセージを選択して送信するシステムのシーケンス図である。

【図10】信頼値を使用してネットワーク環境でメッセージを選択して送信する方法のフロー図である。

【図11A】ネットワーク環境で異なるタイプのメッセージを選択して送信するシステムのブロック図である。

【図11B】ネットワーク環境で異なるタイプのメッセージを選択して送信するシステムのシーケンス図である。

【図11C】ネットワーク環境で異なるタイプのメッセージを選択して送信するシステムのシーケンス図である。

【図11D】ネットワーク環境で異なるタイプのメッセージを選択して送信するシステムのシーケンス図である。

【図12】ネットワーク化された環境で異なるタイプのメッセージを選択して送信する方法のフロー図である。

【発明を実施するための形態】

【0035】

本発明の特徴および利点は、以下に記載される詳細な説明を図面と併せて読むことにより、より明らかになる。図面では、全体的に同様の参照文字が対応する要素を示している。図面において、同様の参照番号は、概して、同一の、機能的に類似した、又は構造的に類似した要素を示す。

【0036】

以下の様々な実施形態の説明を読む目的で、本明細書のセクションとそれぞれの内容を以下のように列挙すると参考になるだろう。

【0037】

セクションＡは、本明細書に記載された実施形態を実践するのに有用なネットワーク及びコンピューティング環境を説明する。

【0038】

セクションＢでは、ネットワーク環境において、信頼値及びクールダウン係数に基づいてメッセージを選択並びに送信するためのシステム並びに方法の実施形態について説明する。

【0039】

セクションＣでは、メッセージング・システムへの間接的なアップデートのためのシステム及び方法の実施形態について説明する。

【0040】

セクションＤでは、信頼値を使用してネットワーク環境全体でメッセージを選択及び送信するシステム並びに方法の実施形態について説明する。

【0041】

セクションＥでは、ネットワーク環境で異なるタイプのメッセージを選択して送信するシステム及び方法の実施形態について説明する。

【0042】

Ａ．ネットワーク及びコンピューティング環境

【0043】

本解決策の特定の実施形態を説明することに加えて、本明細書に記載されている方法及びシステムに関連して、動作環境の側面、並びに関連するシステムコンポーネント（例えば、ハードウェア要素）を説明することが有用である。図１Ａを参照すると、ネットワーク環境の一実施形態が描かれている。簡単に概説すると、ネットワーク環境は、1つ以上のネットワーク１０４を介して1つ以上のサーバ１０６a～１０６ｎ（一般に、サーバ（複数）１０６、ノード１０６、又はリモートマシン（複数）１０６とも称される）と通信している1つ以上のクライアント１０２a～１０２ｎ（一般に、ローカルマシン（複数）１０２、クライアント（複数）１０２、クライアントノード（複数）１０２、クライアントマシン（複数）１０２、クライアントコンピュータ（複数）１０２、クライアントデバイス（複数）１０２、エンドポイント（複数）１０２、又はエンドポイントノード（複数）１０２とも称される）を含む。いくつかの実施形態では、クライアント１０２は、サーバによって提供されるリソースへのアクセスを求めるクライアントノードとして、及び他のクライアント１０２a～１０２ｎのためのホストとされたリソースへのアクセスを提供するサーバとしての両方として機能する能力を有する。

【0044】

図１Ａは、クライアント１０２とサーバ１０６との間のネットワーク１０４を示しているが、クライアント１０２とサーバ１０６とは、同じネットワーク１０４上にあってもよい。いくつかの実施形態では、クライアント１０２とサーバ１０６の間に複数のネットワーク１０４が存在する。これらの実施形態の1つでは、ネットワーク１０４'（図示せず）がプライベートネットワークであり、ネットワーク１０４がパブリックネットワークであってもよい。これらの実施形態の別のものでは、ネットワーク１０４がプライベートネットワークであり、ネットワーク１０４'がパブリックネットワークであってもよい。これらの実施形態の更に別のものでは、ネットワーク１０４及び１０４'は両方ともプライベートネットワークであってもよい。図１Ａを参照すると、ネットワーク環境の一実施形態が描かれている。簡単に概説すると、ネットワーク環境は、1つ以上のネットワーク１０４を介して1つ以上のサーバ１０６a～１０６ｎ（一般に、サーバ（複数）１０６、ノード１０６、又はリモートマシン（複数）１０６とも呼ばれる）と通信している1つ以上のクライアント１０２a～１０２ｎ（一般に、ローカルマシン（複数）１０２、クライアント（複数）１０２、クライアントノード（複数）１０２、クライアントマシン（複数）１０２、クライアントコンピュータ（複数）１０２、クライアントデバイス（複数）１０２、エンドポイント（複数）１０２、またはエンドポイントノード（複数）１０２とも呼ばれる）を含む。 いくつかの実施形態では、クライアント１０２は、サーバによって提供されるリソースへのアクセスを求めるクライアントノードとして、及び他のクライアント１０２a～１０２ｎのためのホストとされたリソースへのアクセスを提供するサーバとしての両方として機能する能力を有する。

【0045】

ネットワーク１０４は、有線リンクまたは無線リンクを介して接続されてもよい。 有線リンクは、デジタル加入者線（ＤＳＬ）、同軸ケーブル回線、又は光ファイバ回線を含んでもよい。無線リンクは、ＢＬＵＥＴＯＯＴＨ（登録商標）、Wｉ－Fｉ（登録商標）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ：登録商標）、赤外線チャネル、又は衛星バンドを含んでもよい。また、無線リンクには、１Ｇ、２Ｇ、３Ｇ、４Ｇのいずれかに該当する規格を含むモバイル機器間の通信に使用されるセルラーネットワーク規格が含まれる。ネットワーク規格は、国際電気通信連合が整備している仕様などの規格を満たすことで、1世代以上のモバイル通信規格として適格であり得る。例えば、３Ｇ規格はインターナショナルモバイルテレコミュニケーション－２０００（ＩＭＴ－２０００）仕様に対応し、１Ｇ規格はインターナショナルモバイルテレコミュニケーションアドバンスト（ＩＭＴ－Ａｄｖａｎｃｅｄ）仕様に対応してもよい。セルラーネットワーク規格の例としては、ＡＭＰＳ、ＧＳＭ、ＧＰＲＳ、ＵＭＴＳ、ＬＴＥ、ＬＴＥアドバンスト、モバイルＷｉＭＡＸ、及びＷｉＭＡＸアドバンストが挙げられる。セルラーネットワーク規格は、ＦＤＭＡ、ＴＤＭＡ、ＣＤＭＡ、ＳＤＭＡなどの様々なチャネルアクセス方式を使用してもよい。いくつかの実施形態では、異なるタイプのデータが、異なるリンク及び規格を介して送信してもよい。他の実施形態では、同じ種類のデータが異なるリンクや規格を介して送信してもよい。

【0046】

ネットワーク１０４は、任意のタイプ又は形態のネットワークであってもよい。ネットワーク１０４の地理的範囲は広く異なっていてもよく、ネットワーク１０４は、ボディエリアネットワーク（ＢＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、例えばイントラネット、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットであってもよい。ネットワーク１０４のトポロジーは、どのような形態であってもよく、例えば、ポイントツーポイント、バス、スター、リング、メッシュ、又はツリーのいずれかを含んでいてもよい。ネットワーク１０４は、仮想的であり、他のネットワーク１０４’の１つ以上の層の上に位置するオーバーレイネットワークであってもよい。ネットワーク１０４は、本明細書に記載された動作をサポートすることができる当業者に知られているような任意のそのようなネットワークトポロジーであってもよい。ネットワーク１０４は、例えば、イーサネットプロトコル、インターネットプロトコルスイート（ＴＣＰ／ＩＰ）、ＡＴＭ（非同期転送モード）技術、ＳＯＮＥＴ（同期光ネットワーク）プロトコル、又はＳＤＨ（Synchronous Digital Hierarchy）プロトコルを含む、異なる技術およびプロトコルの層又はスタックを利用してもよい。ＴＣＰ／ＩＰインターネットプロトコルスイートは、アプリケーション層、トランスポート層、インターネット層（例えば、ＩＰｖ６を含む）、又はリンク層を含んでいてもよい。ネットワーク１０４は、放送ネットワーク、通信ネットワーク、データ通信ネットワーク、又はコンピュータネットワークの一種であってもよい。

【0047】

いくつかの実施形態では、システムは、複数の論理的にグループ化されたサーバ１０６を含んでもよい。 これらの実施形態の1つでは、サーバの論理的グループは、サーバファーム３８又はマシンファーム３８と呼ばれてもよい。これらの実施形態の別のものでは、サーバ１０６は、地理的に分散していてもよい。他の実施形態では、マシンファーム３８は、単一のエンティティとして管理されてもよい。さらに他の実施形態では、マシンファーム３８は、複数のマシンファーム３８を含む。各マシンファーム３８内のサーバ１０６は、異種であってもよく、サーバ１０６又はマシン１０６の1つ以上は、1種類のオペレーティングシステム・プラットフォーム（例えば、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ社によって製造されたＷＩＮＤＯＷＳ ＮＴ）に従って動作することができ、一方、他のサーバ１０６の１つ以上は、別の種類のオペレーティングシステム・プラットフォーム（例えば、Ｕｎｉｘ、Ｌｉｎｕｘ、又はＭａｃ ＯＳ Ｘ）に従って動作することができる。

【0048】

一実施形態では、マシンファーム３８内のサーバ１０６は、関連するストレージシステムとともに高密度ラックシステムに格納され、企業のデータセンターに配置されてもよい。この実施形態では、サーバ１０６をこのように統合することで、サーバ１０６及び高性能ストレージシステムを局所的な高性能ネットワーク上に配置し、システムの管理性、データセキュリティ、システムの物理的セキュリティ、及びシステム性能を向上させることができる。サーバ１０６とストレージシステムを集中化し、高度なシステム管理ツールと結合することで、サーバリソースをより効率的に使用することができる。

【0049】

各マシンファーム３８のサーバ１０６は、同じマシンファーム３８の別のサーバ１０６に物理的に近接している必要はない。したがって、マシンファーム３８として論理的にグループ化されたサーバ１０６のグループは、ワイドエリアネットワーク（ＷＡＮ）接続又はメトロポリタンエリアネットワーク（ＭＡＮ）接続を用いて相互に接続されてもよい。例えば、マシンファーム３８は、国、州、都市、キャンパス、部屋などの異なる大陸又は異なる地域に物理的に配置されたサーバ１０６を含んでいてもよい。マシンファーム３８内のサーバ１０６間のデータ伝送速度は、サーバ１０６がローカルエリアネットワーク（ＬＡＮ）接続又は何らかの形態の直接接続を用いて接続されている場合には、向上させることができる。さらに、異種マシンファーム３８、一種のオペレーティングシステムに従って動作する1つ以上のサーバ１０６を含み、一方、1つ以上の他のサーバ１０６は、オペレーティングシステムではなく1つ以上のタイプのハイパーバイザを実行することができる。これらの実施形態では、ハイパーバイザは、仮想ハードウェアのエミュレーション、物理ハードウェアのパーティショニング、物理ハードウェアの仮想化、及びコンピューティング環境へのアクセスを提供する仮想マシンの実行に使用されてもよく、複数のオペレーティングシステムがホストコンピュータ上で同時に実行されることを可能にする。ネイティブハイパーバイザは、ホストコンピュータ上で直接実行することができる。ハイパーバイザには、カリフォルニア州パロアルトに本社を置くＶＭＷａｒｅ社のＶＭｗａｒｅ ＥＳＸ／ＥＳＸｉ、Ｃｉｔｒｉｘ Ｓｙｓｔｅｍｓ社が開発しているオープンソースのＸｅｎハイパーバイザ、Ｍｉｃｒｏｓｏｆｔ社などが提供するＨＹＰＥＲ－Ｖハイパーバイザなどがある。ホスト型ハイパーバイザは、オペレーティングシステム内で第２のソフトウェアレベルで動作する。ホスト型ハイパーバイザの例としては、ＶＭｗａｒｅ Ｗｏｒｋｓｔａｔｉｏｎ、ＶＩＲＴＵＡＬＢＯＸなどがある。

【0050】

マシンファーム３８の管理は分散化されてもよい。例えば、１つ以上のサーバ１０６は、マシンファーム３８のための１つ以上の管理サービスをサポートするコンポーネント、サブシステム、及びモジュールを備えてもよい。これらの実施形態の1つにおいて、１つ以上のサーバ１０６は、フェイルオーバー、データ複製、及びマシンファーム３８の頑強性を高めるための処理技術を含む、動的データ管理の機能を提供する。各サーバ１０６は、固定記憶装置と通信してもよく、一部の実施形態では、動的記憶装置と通信してもよい。サーバ１０６は、ファイルサーバ、アプリケーションサーバ、ウェブサーバ、プロキシサーバ、アプライアンス、ネットワークアプライアンス、ゲートウェイ、ゲートウェイサーバ、仮想化サーバ、展開サーバ、ＳＳＬ ＶＰＮサーバ、又はファイアウォールであってもよい。一実施形態では、サーバ１０６は、リモートマシン又はノードと称することもできる。

【0051】

図１Ｂを参照すると、クラウドコンピューティング環境が描かれている。クラウドコンピューティング環境は、ネットワーク環境によって提供される1つ以上のリソースをクライアント１０２に提供してもよい。クラウドコンピューティング環境としては、1つ以上のネットワーク１０４を介してクラウド１０８と通信する、1つ以上のクライアント１０２ａ～１０２ｎを含んでもよい。クライアント１０２としては、例えば、シッククライアント、シンクライアント、及びゼロクライアントを含んでもよい。シッククライアントは、クラウド１０８又はサーバ１０６から切断された場合でも、少なくともいくつかの機能を提供してもよい。シンクライアント又はゼロクライアントは、機能を提供するために、クラウド１０８又はサーバ１０６への接続に依存してもよい。ゼロクライアントは、クライアントデバイスのオペレーティングシステム・データを取得するために、クラウド１０８又は他のネットワーク１０４若しくはサーバ１０６に依存してもよい。クラウド１０８は、バックエンドプラットフォーム、例えば、サーバ１０６、ストレージ、サーバファーム又はデータセンターを含んでもよい。

【0052】

クラウド１０８は、パブリック、プライベート、又はハイブリッドであってもよい。 パブリッククラウドは、クライアント１０２又はクライアントの所有者に対する第三者によって維持されるパブリックサーバ１０６を含んでもよい。サーバ１０６は、上記または他の方法で開示されるように、遠隔地の地理的位置にオフサイトで配置されてもよい。パブリッククラウドは、パブリックネットワークを介してサーバ１０６に接続されていてもよい。プライベートクラウドは、クライアント１０２又はクライアントの所有者によって物理的に維持されるプライベートサーバ１０６を含んでもよい。プライベートクラウドは、プライベートネットワーク１０４を介してサーバ１０６に接続されてもよい。 ハイブリッドクラウド１０８は、プライベートネットワーク１０４及びパブリックネットワーク１０６の両方を含んでいてもよい。

【0053】

クラウド１０８は更にクラウドベースの配信、例えば、サービス型ソフトウェア（ＳａａＳ：Software as a Service）１１０、サービス型プラットフォーム（ＰａａＳ：Platform as s Service）１１２、及びサービス型インフラストラクチャ（ＩａａＳ：Infrastructure as a Service）１１４を含んでもよい。ＩａａＳとは、特定期間中に必要とされるインフラストラクチャリソースの使用をレンタルするユーザーを指す場合がある。ＩａａＳプロバイダは、ストレージ、ネットワーク、サーバ、又は仮想化リソースを大規模なプールから提供し、ユーザーは必要に応じてより多くのリソースにアクセスして迅速にスケールアップできるようにすることができる。ＩａａＳの例としては、ワシントン州シアトルのＡｍａｚｏｎ社が提供するＡＭＡＺＯＮ ＷＥＢ ＳＥＲＶＩＣＥＳ、テキサス州サンアントニオのＲａｃｋｓｐａｃｅ ＵＳ社が提供するＲＡＣＫＳＰＡＣＥ ＣＬＯＵＤ、カリフォルニア州マウンテンビューのＧｏｏｇｌｅ社が提供するＧｏｏｇｌｅ Ｃｏｍｐｕｔｅ Ｅｎｇｉｎｅ、カリフォルニア州サンタバーバラのＲｉｇｈｔＳｃａｌｅ社が提供するＲＩＧＨＴＳＣＡＬＥなどがある。ＰａａＳプロバイダは、ストレージ、ネットワーク、サーバ、仮想化などのＩａａＳが提供する機能に加えて、オペレーティングシステム、ミドルウェア、ランタイムリソースなどの追加リソースを提供することができます。ＰａａＳの例としては、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ社が提供するＷＩＮＤＯＷＳ ＡＺＵＲＥ、Ｇｏｏｇｌｅ社が提供するＧｏｏｇｌｅ Ａｐｐ Ｅｎｇｉｎｅ、カリフォルニア州サンフランシスコのＨｅｒｏｋｕ社が提供するＨＥＲＯＫＵなどがある。ＳａａＳプロバイダは、ストレージ、ネットワーク、サーバ、仮想化、オペレーティングシステム、ミドルウェア、又はランタイムリソースなど、ＰａａＳが提供するリソースを提供することができる。いくつかの実施形態では、ＳａａＳプロバイダは、例えば、データ及びアプリケーションリソースを含む追加リソースを提供することができる。ＳａａＳの例には、グーグル（Ｇｏｏｇｌｅ）社が提供するＧＯＯＧＬＥ ＡＰＰＳ、カリフォルニア州サンフランシスコのセールスフォース社が提供するＳＡＬＥＳＦＯＲＣＥ、又はマイクロソフト社が提供するＯＦＦＩＣＥ ３６５がある。また、ＳａａＳの例には、データストレージプロバイダ、例えば、カリフォルニア州サンフランシスコのドロップボックス（Dropbox）社が提供するＤＲＯＰＢＯＸ、マイクロソフト社が提供するＭｉｃｒｏｓｏｆｔ ＳＫＹＤＲＩＶＥ、グーグル社が提供するグーグル・ドライブ、又は、カリフォルニア州クパチーノのアップル社が提供するＡｐｐｌｅ ＩＣＬＯＵＤがあり得る。

【0054】

クライアント１０２は、例えば、Ａｍａｚｏｎ Ｅｌａｓｔｉｃ Ｃｏｍｐｕｔｅ Ｃｌｏｕｄ（ＥＣ２）、Ｏｐｅｎ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｉｎｔｅｒｆａｃｅ（ＯＣＣＩ）、Ｃｌｏｕｄ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ Ｍａｎａｇｅｍｅｎｔ Ｉｎｔｅｒｆａｃｅ（ＣＩＭＩ）、又はＯｐｅｎＳｔａｃｋの標準を含む、１つ以上のＩａａＳ標準を使用してＩａａＳリソースにアクセスしてもよい。一部のＩａａＳ標準は、クライアントがＨＴＴＰを介してリソースにアクセスすることを許可してもよく、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ＲＥＳＴ）プロトコル又はＳＯＡＰ（Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）を使用してもよい。クライアント１０２は、異なるＰａａＳインターフェースを用いてＰａａＳリソースにアクセスしてもよい。いくつかのＰａａＳインターフェースは、ＨＴＴＰパッケージ、標準的なＪａｖａ ＡＰＩ、ＪａｖａＭａｉｌ ＡＰＩ、Ｊａｖａ Ｄａｔａ Ｏｂｊｅｃｔｓ（ＪＤＯ）、Ｊａｖａ Ｐｅｒｓｉｓｔｅｎｃｅ ＡＰＩ（ＪＰＡ）、Ｐｙｔｈｏｎ ＡＰＩ、例えばＲｕｂｙ用のＲａｃｋ、Ｐｙｔｈｏｎ用のＷＳＧＩ、又はＰｅｒｌ用のＰＳＧＩを含む異なるプログラミング言語用のウェブ統合ＡＰＩ、又はＲＥＳＴ、ＨＴＴＰ、ＸＭＬ、若しくは他のプロトコル上に構築される可能性のある他のＡＰＩを使用する。クライアント１０２は、ウェブブラウザ（例えば、ＧＯＯＧＬＥ ＣＨＲＯＭＥ、マイクロソフト・インターネット・エクスプローラー、又はカリフォルニア州マウンテンビューのモジラ（Mozilla）社が提供するMozilla Firefox）によって提供されるウェブベースのユーザーインタフェースを使用して、ＳａａＳリソースにアクセスしてもよい。また、クライアント１０２は、例えば、セールスフォース・セールス・クラウド、又はグーグルドライブアプリを含む、スマートフォン若しくはタブレットのアプリケーションを介してＳａａＳリソースにアクセスしてもよい。また、クライアント１０２は、例えば、ドロップボックス（DROPBOX）社ＤＲＯＰＢＯＸのＷｉｎｄｏｗｓファイルシステムを含むクライアントのオペレーティングシステムを介してＳａａＳリソースにアクセスしてもよい。

【0055】

いくつかの実施形態では、ＩａａＳ、ＰａａＳ、又はＳａａＳリソースへのアクセスを認証してもよい。例えば、サーバ又は認証サーバは、セキュリティ証明書、ＨＴＴＰＳ、若しくはＡＰＩキーを介してユーザーを認証してもよい。ＡＰＩキーは、例えば高度暗号化標準（ＡＥＳ：Advanced Encryption Standard）などの様々な暗号化規格を含んでいてもよい。データリソースは、トランスポート・レイヤー・セキュリティ（ＴＬＳ：Transport Layer Security）又はセキュア・ソケット・レイヤー（ＳＳＬ：Secure Socket Layer）を介して送信されてもよい。

【0056】

クライアント１０２及びサーバ１０６は、例えばコンピュータ、ネットワークデバイス又は設備で任意のタイプ及び形態のネットワーク上で通信し、本明細書に記載された動作を実行することができる任意のタイプ及び形態のコンピューティングデバイスとして展開、若しくは実行されてもよい。図１Ｃ及び図１Ｄは、クライアント１０２又はサーバ１０６の一実施形態を実践するのに有用なコンピューティングデバイス１００のブロック図を示している。図１Ｃ及び図１Ｄに示すように、各コンピューティングデバイス１００は、中央処理ユニット１２１及びメインメモリユニット１２２を含む。図１Ｃに示すように、コンピューティングデバイス１００は、記憶装置１２８、インストールデバイス１１６、ネットワークインターフェース１１８、Ｉ／Ｏコントローラ１２３、ディスプレイデバイス１２４ａ～１２４ｎ、キーボード１２６及びポインティングデバイス１２７（例えばマウス）を含んでもよい。記憶装置１２８は、限定されるものではないが、オペレーティングシステム、ソフトウェア、及びメッセージ選択システム（ＭＳＳ）１９７のソフトウェアを含んでもよい。また、図１Ｄに示すように、各コンピューティングデバイス１００は、追加のオプション要素、例えば、メモリポート１０３、ブリッジ１７０、１つ以上のＩ／Ｏデバイス１３０ａ～１３０ｎ（総括的に参照番号１３０を使用して参照される）、及び中央処理ユニット１２１と通信するキャッシュメモリ１４０を含んでもよい。

【0057】

中央処理ユニット１２１は、メインメモリ装置１２２からフェッチされた命令に応答して処理する任意の論理回路である。多くの実施形態において、中央処理ユニット１２１は、マイクロプロセッサユニットによって提供され、このマイクロプロセッサユニットとしては、例えば、カリフォルニア州マウンテンビューのＩｎｔｅｌ社によって製造されたもの、イリノイ州シャンバーグのＭｏｔｏｒｏｌａ社によって製造されたもの、カリフォルニア州サンタクララのＮｖｉｄｉａ社によって製造されたＡＲＭプロセッサ及びＴＥＧＲＡシステム・オン・ア・チップ（ＳｏＣ：system on a chip）、ＰＯＷＥＲ７プロセッサ、ニューヨーク州ホワイトプレーンズのインターナショナル・ビジネス・マシーンズ（ＩＢＭ）社によって製造されたもの、又はカリフォルニア州サニーベールのアドバンスド・マイクロ・デバイセズ（Advanced Micro Devices）社によって製造されたものがある。コンピューティングデバイス１００は、これらのプロセッサのいずれかをベースにしてもよいし、本明細書に記載されているように動作可能な他のプロセッサをベースにしてもよい。中央処理ユニット１２１は、命令レベルの並列処理、スレッドレベルの並列処理、異なるレベルのキャッシュ、及びマルチコアプロセッサを利用してもよい。マルチコアプロセッサは、単一のコンピューティングコンポーネント上の２つ以上の処理ユニットを含んでもよい。マルチコアプロセッサの例としては、ＡＭＤ ＰＨＥＮＯＭ ＩＩＸ２、ＩＮＴＥＬ ＣＯＲＥ ｉ５及びＩＮＴＥＬ ＣＯＲＥ ｉ７がある。

【0058】

メインメモリ装置１２２は、データを記憶することができ、任意の記憶場所がマイクロプロセッサ１２１によって直接アクセスされることを可能にする１つ以上のメモリチップを含んでもよい。メインメモリ装置１２２は、揮発性であり、ストレージ１２８メモリよりも高速であってもよい。メインメモリ装置１２２は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、又はスタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、バーストＳＲＡＭ若しくは同期バーストＳＲＡＭ（ＢＳＲＡＭ）、高速ページモードＤＲＡＭ（ＦＰＭ ＤＲＡＭ）、エンハンスドＤＲＡＭ（ＥＤＲＡＭ）、拡張データ出力ＲＡＭ（ＥＤＯ ＲＡＭ）、拡張データ出力ＤＲＡＭ（ＥＤＯ ＤＲＡＭ）、バースト拡張データ出力ＤＲＡＭ（ＢＥＤＯ ＤＲＡＭ）、シングル・データレート同期ＤＲＡＭ（ＳＤＲ ＳＤＲＡＭ）、ダブル・データレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、ダイレクト・ラムバスＤＲＡＭ（ＤＲＤＲＡＭ）若しくはエクストリーム・データレートＤＲＡＭ（ＸＤＲ ＤＲＡＭ）を含む任意の変種であってもよい。いくつかの実施形態では、メインメモリ１２２又はストレージ１２８は、不揮発性であってもよく、例えば、不揮発性リードアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ不揮発性スタティックＲＡＭ（ｎｖＳＲＡＭ）、強誘電体ＲＡＭ（ＦｅＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、相変化メモリ（ＰＲＡＭ）、導電性架橋ＲＡＭ（ＣＢＲＡＭ）、シリコン－酸化膜－窒化膜－酸化膜－シリコン（ＳＯＮＯＳ）、抵抗性ＲＡＭ（ＲＲＡＭ）、レーストラック（Racetrack）、ナノＲＡＭ（ＮＲＡＭ）、又はミリピードメモリなどである。メインメモリ１２２は、上述したメモリチップのいずれかをベースにしてもよいし、本明細書で説明したように動作可能な他の利用可能なメモリチップをベースにしてもよい。図１Ｃに示す実施形態では、プロセッサ１２１は、システムバス１５０（以下で詳細に説明する）を介してメインメモリ１２２と通信する。図１Ｄは、プロセッサがメモリポート１０３を介してメインメモリ１２２と直接通信するコンピューティングデバイス１００の一実施形態を示す。例えば、図１Ｄでは、メインメモリ１２２はＤＲＤＲＡＭであってもよい。

【0059】

図１Ｄは、メインプロセッサ１２１が、バックサイドバスと呼ばれることもある二次バスを介して、キャッシュメモリ１４０と直接通信する実施形態を示している。他の実施形態では、メインプロセッサ１２１は、システムバス１５０を使用してキャッシュメモリ１４０と通信する。キャッシュメモリ１４０は、通常、メインメモリ１２２よりも速い応答時間を有し、通常、ＳＲＡＭ、ＢＳＲＡＭ、又はＥＤＲＡＭによって提供される。図１Ｄに示す実施形態では、プロセッサ１２１は、ローカルシステムバス１５０を介して様々なＩ／Ｏデバイス１３０と通信する。中央処理ユニット１２１をＩ／Ｏデバイス１３０のいずれかに接続するために、ＰＣＩバス、ＰＣＩ－Ｘバス、又はＰＣＩ－Ｅｘｐｒｅｓｓバス、若しくはＮｕＢｕｓなど、様々なバスを使用することができる。Ｉ／Ｏデバイスがビデオディスプレイ１２４である実施形態では、プロセッサ１２１は、アドバンストグラフィックスポート（ＡＧＰ）を使用して、ディスプレイ１２４又はディスプレイ１２４用のＩ／Ｏコントローラ１２３と通信してもよい。図１Ｄは、メインプロセッサ１２１が、ハイパートランスポート（HYPERTRANSPORT）、ラピッドアイオー（RAPIDIO）、又はインフィニバンド（INFINIBAND）の通信技術を介して、Ｉ／Ｏデバイス１３０ｂ又は他のプロセッサ１２１’と直接通信するコンピュータ１００の一実施形態を示している。また、図１Ｄは、ローカルバスと直接通信が混在する実施形態を示しており、プロセッサ１２１は、ローカルインターコネクトバスを用いてＩ／Ｏデバイス１３０ａと通信する一方で、Ｉ／Ｏデバイス１３０ｂと直接通信する。

【0060】

コンピューティングデバイス１００には、多種多様なＩ／Ｏデバイス１３０ａ～１３０ｎが存在してもよい。入力デバイスは、キーボード、マウス、トラックパッド、トラックボール、タッチパッド、タッチマウス、マルチタッチパッド及びタッチマウス、マイクロフォン、マルチアレイマイクロフォン、お絵かきタブレット、カメラ、一眼レフカメラ（ＳＬＲ）、デジタル一眼レフカメラ（ＤＳＬＲ）、ＣＭＯＳセンサ、加速度センサ、赤外光センサ、圧力センサ、磁力センサ、角速度センサ、深度センサ、近接センサ、環境光センサ、ジャイロセンサ、又はその他のセンサを含んでもよい。出力デバイスには、ビデオディスプレイ、グラフィックディスプレイ、スピーカー、ヘッドフォン、インクジェットプリンター、レーザープリンター、及び３Ｄプリンターなどを含んでもよい。

【0061】

デバイス１３０ａ～１３０ｎは、例えば、マイクロソフトＫＩＮＥＣＴ、任天堂Wii用リモコンＷｉｉｍｏｔｅ、任天堂Wii U用ゲームパッド（ＧＡＭＥＰＡＤ）、又はアップルiPhoneを含む複数の入力デバイス若しくは出力デバイスの組み合わせを含んでもよい。いくつかのデバイス１３０ａ～１３０ｎは、入力及び出力の一部を組み合わせることによって、ジェスチャー認識入力を可能にする。いくつかのデバイス１３０ａ～１３０ｎは、認証及び他のコマンドを含む異なる目的のための入力として利用され得る顔認識を提供する。いくつかのデバイス１３０ａ～１３０ｎは、例えば、マイクロソフトＫＩＮＥＣＴ、アップルによるiPhone用ＳＩＲＩ、グーグル・ナウ（Google Now）又はグーグル・ボイス・サーチ（Google Voice Search）を含む音声認識及び入力を提供する。

【0062】

追加のデバイス１３０ａ～１３０ｎは、例えば、触覚フィードバックデバイス、タッチスクリーンディスプレイ、又はマルチタッチディスプレイなど、入力及び出力の両方の機能を有する。タッチスクリーン、マルチタッチディスプレイ、タッチパッド、タッチマウス、又は他のタッチ感知デバイスは、例えば、容量性、表面容量性、投影型容量性タッチ（ＰＣＴ）、セル内容量性、抵抗性、赤外線、導波管、分散信号タッチ（ＤＳＴ）、セル内光学、表面音響波（ＳＡＷ）、曲げ波タッチ（ＢＷＴ）、又は力ベースの感知技術を含むタッチを感知するための異なる技術を使用してもよい。マルチタッチデバイスの中には、表面に２つ以上の接触点を設けることで、ピンチ、スプレッド、ローテーション、スクロールなどのジェスチャーを含む高度な機能を実現できるものがある。例えば、マイクロソフトＰＩＸＥＬＳＥＮＳＥ又はマルチタッチ・コラボレーション・ウォール（Multi-Touch Collaboration Wall）を含むいくつかのタッチスクリーンデバイスは、テーブルの上や壁の上など、より大きな表面を有していてもよく、更に他の電子デバイスと相互作用してもよい。いくつかのＩ／Ｏデバイス１３０ａ～１３０ｎ、ディスプレイデバイス１２４ａ～１２４ｎ、又はデバイスグループは、拡張現実デバイスであってもよい。Ｉ／Ｏデバイスは、図１Ｃに示すように、Ｉ／Ｏコントローラ１２３によって制御されてもよい。Ｉ／Ｏコントローラは、例えば、キーボード１２６や、例えば、マウスや光学ペンなどのポインティングデバイス１２７など、１つ以上のＩ／Ｏデバイスを制御してもよい。さらに、Ｉ／Ｏデバイスは、コンピューティングデバイス１００のためのストレージ又はインストールデバイス１１６を提供することもできる。さらに他の実施形態では、コンピューティングデバイス１００は、ハンドヘルドＵＳＢストレージデバイスを受け取るためのＵＳＢ接続（図示せず）を提供してもよい。さらなる実施形態では、Ｉ／Ｏデバイス１３０は、システムバス１５０と外部通信バス（例えば、ＵＳＢバス、ＳＣＳＩバス、ＦｉｒｅＷｉｒｅバス、イーサネットバス、ギガビットイーサネットバス、ファイバチャネルバス、又はＴｈｕｎｄｅｒｂｏｌｔバス）との間のブリッジであってもよい。

【0063】

いくつかの実施形態では、ディスプレイデバイス１２４ａ～１２４ｎがＩ／Ｏコントローラ１２３に接続されてもよい。ディスプレイデバイスは、例えば、液晶ディスプレイ（ＬＣＤ）、薄膜トランジスタＬＣＤ（ＴＦＴ－ＬＣＤ）、青相ＬＣＤ、電子ペーパー（ｅ－ｉｎｋ）ディスプレイ、フレキシルディスプレイ、発光ダイオードディスプレイ（ＬＥＤ）、デジタル光処理（ＤＬＰ）ディスプレイ、液晶オンシリコン（ＬＣＯＳ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、液晶レーザディスプレイ、時間多重光シャッター（ＴＭＯＳ）ディスプレイ、又は３Ｄディスプレイを含んでもよい。３Ｄディスプレイの例では、例えば、ステレオスコピー、偏光フィルタ、アクティブシャッター、又はオートステレオスコピーを使用してもよい。また、ディスプレイデバイス１２４ａ～１２４ｎは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。いくつかの実施形態では、ディスプレイデバイス１２４ａ～１２４ｎ又は対応するＩ／Ｏコントローラ１２３は、ＯＰＥＮＧＬ若しくはＤＩＲＥＣＴＸ ＡＰＩ若しくは他のグラフィックライブラリを介して制御されるか、若しくはハードウェアサポートを有してもよい。

【0064】

いくつかの実施形態では、コンピューティングデバイス１００は、複数のディスプレイデバイス１２４ａ～１２４ｎを含むか、又はそれらに接続することができ、それらはそれぞれ、同じタイプ又は異なるタイプ若しくはフォームであってもよい。そのようなものとして、Ｉ／Ｏデバイス１３０ａ～１３０ｎ又はＩ／Ｏコントローラ１２３のいずれかは、コンピューティングデバイス１００による複数のディスプレイデバイス１２４ａ～１２４ｎの接続及び使用をサポート、有効化、又は提供するために、任意のタイプ若しくは形態の適切なハードウェア、ソフトウェア、若しくはハードウェアとソフトウェアの組み合わせを含んでもよい。例えば、コンピューティングデバイス１００は、ディスプレイデバイス１２４ａ～１２４ｎをインターフェース、通信、接続、又はその他の方法で使用するために、任意のタイプ若しくはフォームのビデオアダプタ、ビデオカード、ドライバ、若しくはライブラリを含むことができる。一実施形態では、ビデオアダプタは、複数のディスプレイデバイス１２４ａ～１２４ｎにインターフェースするための複数のコネクタを含んでいてもよい。他の実施形態では、コンピューティングデバイス１００は、複数のビデオアダプタを含み、各ビデオアダプタが１つ以上のディスプレイデバイス１２４ａ～１２４ｎに接続されていてもよい。いくつかの実施形態では、コンピューティングデバイス１００のオペレーティングシステムの任意の部分は、複数のディスプレイ１２４ａ～１２４ｎを使用するように構成されてもよい。他の実施形態では、ディスプレイデバイス１２４ａ～１２４ｎのうちの１つ以上は、ネットワーク１０４を介して、コンピューティングデバイス１００に接続された１つ以上の他のコンピューティングデバイス１００ａ又は１００ｂによって提供されてもよい。いくつかの実施形態では、ソフトウェアは、他のコンピュータの表示装置をコンピューティングデバイス１００のための第２のディスプレイデバイス１２４ａとして使用するように設計および構築されてもよい。例えば、一実施形態では、Ａｐｐｌｅ ｉＰａｄは、コンピューティングデバイス１００に接続し、コンピューティングデバイス１００のディスプレイを、拡張デスクトップとして使用することができる追加のディスプレイ画面として使用することができる。当業者であれば、コンピューティングデバイス１００が複数のディスプレイデバイス１２４ａ～１２４ｎを有するように構成され得る様々な方法及び実施形態を認識し、理解するであろう。

【0065】

再び図１Ｃを参照すると、コンピューティングデバイス１００は、オペレーティングシステム又は他の関連ソフトウェアを格納するため、及び配信スケジューラ１９８のソフトウェアに関連する任意のプログラムなどのアプリケーションソフトウェアプログラムを格納するための記憶装置１２８（例えば、１つ以上のハードディスクドライブ又は独立したディスクの冗長アレイ）を含んでもよい。記憶装置１２８の例には、例えば、ハードディスクドライブ（ＨＤＤ）；ＣＤドライブ、ＤＶＤドライブ、又はＢＬＵ－ＲＡＹドライブを含む光学ドライブ；ソリッドステートドライブ（ＳＳＤ）；ＵＳＢフラッシュドライブ；若しくはデータを記憶するのに適した任意の他のデバイスが含まれる。一部のストレージデバイスは、複数の揮発性および不揮発性メモリを含んでもよく、例えば、ハードディスクとソリッドステートキャッシュを組み合わせたソリッドステートハイブリッドドライブを含む。一部の記憶装置１２８は、不揮発性、可変型、又は読み取り専用であってもよい。いくつかの記憶装置１２８は、内部にあり、バス１５０を介してコンピューティングデバイス１００に接続されていてもよい。いくつかの記憶装置１２８は、外部にあって、外部バスを提供するＩ／Ｏデバイス１３０を介してコンピューティングデバイス１００に接続してもよい。いくつかの記憶装置１２８は、例えば、ＡｐｐｌｅによるＭＡＣＢＯＯＫ ＡＩＲ用のリモートディスクを含む、ネットワーク１０４上のネットワークインターフェース１１８を介してコンピューティングデバイス１００に接続してもよい。一部のクライアントデバイス１００は、不揮発性の記憶装置１２８を必要とせず、シンクライアント又はゼロクライアント１０２であってもよい。また、一部の記憶装置１２８は、インストールデバイス１１６として使用され、ソフトウェアやプログラムのインストールに適していてもよい。 さらに、オペレーティングシステム及びソフトウェアは、起動可能な媒体、例えば、起動可能なＣＤ、例えば、ｋｎｏｐｐｉｘ．ｎｅｔからＧＮＵ／Ｌｉｎｕｘディストリビューションとして入手可能なＧＮＵ／Ｌｉｎｕｘ用の起動可能なＣＤであるＫＮＯＰＰＩＸから実行することができる。

【0066】

クライアントデバイス１００は、アプリケーション配布プラットフォームからソフトウェアやアプリケーションをインストールすることもできる。アプリケーション配布プラットフォームの例としては、Ａｐｐｌｅ社が提供するｉＯＳ用のＡｐｐ Ｓｔｏｒｅ、Ａｐｐｌｅ社が提供するＭａｃ Ａｐｐ Ｓｔｏｒｅ、Ｇｏｏｇｌｅ社が提供するＡｎｄｒｏｉｄ ＯＳ用のＧＯＯＧＬＥ ＰＬＡＹ、Ｇｏｏｇｌｅ 社が提供するＣＨＲＯＭＥ ＯＳ用のＣｈｒｏｍｅ Ｗｅｂｓｔｏｒｅ、Ａｍａｚｏｎ社が提供するＡｎｄｒｏｉｄ ＯＳ及びＫＩＮＤＬＥ ＦＩＲＥ用のＡｍａｚｏｎ Ａｐｐｓｔｏｒｅなどがある。アプリケーション配布プラットフォームは、クライアントデバイス１０２へのソフトウェアのインストールを容易にしてもよい。アプリケーション配布プラットフォームは、クライアント１０２ａ～１０２ｎがネットワーク１０４を介してアクセスする、サーバ１０６又はクラウド１０８上のアプリケーションのリポジトリを含んでもよい。アプリケーション配布プラットフォームは、様々な開発者によって開発及び提供されたアプリケーションを含んでもよい。クライアントデバイス１０２のユーザーは、アプリケーション配布プラットフォームを介して、アプリケーションを選択、購入又はダウンロードしてもよい。

【0067】

さらに、コンピューティングデバイス１００は、以下に限定されないが、標準的な電話回線ＬＡＮ又はＷＡＮリンク（例えば、８０２．１、Ｔ１、Ｔ３、ギガビットイーサネット、Ｉｎｆｉｎｉｂａｎｄ）、ブロードバンド接続（例えば、ＩＳＤＮ、フレームリレー、ＡＴＭ、ギガビットイーサネット、Ｅｔｈｅｒｎｅｔ－ｏｖｅｒ－ＳＯＮＥＴ、ＡＤＳＬ、ＶＤＳＬ、ＢＰＯＮ、ＧＰＯＮ、ＦｉＯＳを含む光ファイバ）、ワイヤレス接続、又は上記のいずれか若しくはすべての組み合わせを含むが、これらに限定されない。接続は、様々な通信プロトコル（例えば、ＴＣＰ／ＩＰ、イーサネット、ＡＲＣＮＥＴ、ＳＯＮＥＴ、ＳＤＨ、Ｆｉｂｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ（ＦＤＤＩ）、ＩＥＥＥ ８０２．１ａ／ｂ／ｇ／ｎ／ａｃ ＣＤＭＡ、ＧＳＭ、ＷｉＭａｘ、直接非同期接続）を使用して確立することができる。一実施形態では、コンピューティングデバイス１００は、任意のタイプ又は形式のゲートウェイ若しくはトンネリングプロトコル、例えば、セキュア・ソケット・レイヤー（ＳＳＬ）又はトランスポート・レイヤー・セキュリティ（ＴＬＳ）、若しくはフロリダ州フォートローダーデールのシトリックス・システムズ社によって製造されたシトリックス・ゲートウェイ・プロトコル（Citrix Gateway Protocol）を介して、他のコンピューティングデバイス１００’と通信する。ネットワークインターフェース１１８は、内蔵ネットワークアダプタ、ネットワークインターフェースカード、ＰＣＭＣＩＡネットワークカード、ＥＸＰＲＥＳＳＣＡＲＤネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、ＵＳＢネットワークアダプタ、モデム、又はコンピューティングデバイス１００と通信すること及び本明細書に記載されている動作を実行することが可能な任意のタイプのネットワークとのインターフェースに適したその他のデバイスで構成されてもよい。

【0068】

図１Ｂ及び１Ｃに描かれている種類のコンピューティングデバイス１００は、タスクのスケジューリング及びシステムリソースへのアクセスを制御するオペレーティングシステムの制御下で動作することができる。コンピューティングデバイス１００は、マイクロソフトＷＩＮＤＯＷＳオペレーティングシステムの任意のバージョン、Ｕｎｉｘ及びＬｉｎｕｘオペレーティングシステムの異なるリリース、マッキントッシュコンピュータ用ＭＡＣ ＯＳの任意のバージョン、任意の組み込みオペレーティングシステム、任意のリアルタイム・オペレーティングシステム、任意のオープンソース・オペレーティングシステム、任意の専用オペレーティングシステム、モバイルコンピューティングデバイス用の任意のオペレーティングシステム、又はコンピューティングデバイス上で動作して本明細書に記載された動作を実行することができる任意の他のオペレーティングシステムなどのような任意のオペレーティングシステムを実行することができる。代表的なオペレーティングシステムには、これらに限定されるものではないが、ワシントン州レドモンドのマイクロソフト社が製造するＷＩＮＤＯＷＳ ２０００、ＷＩＮＤＯＷＳ Ｓｅｒｖｅｒ ２０１２、ＷＩＮＤＯＷＳ ＣＥ、ＷＩＮＤＯＷＳ Ｐｈｏｎｅ、ＷＩＮＤＯＷＳ ＸＰ、ＷＩＮＤＯＷＳ ＶＩＳＴＡ、及びＷＩＮＤＯＷＳ ７、ＷＩＮＤＯＷＳ ＲＴ、ＷＩＮＤＯＷＳ ８、カリフォルニア州クパチーノのＡｐｐｌｅ社が製造するＭＡＣ ＯＳ及びｉＯＳ、並びに自由に利用できるオペレーティングシステムであるＬｉｎｕｘ、例えば、イギリス国ロンドンのカノニカル（Canonical）社が配布するＬｉｎｕｘ Ｍｉｎｔ ディストリビューション（以下、「ディストロ」）又はＵｂｕｎｔｕ、若しくはＵｎｉｘやその他のＵｎｉｘライクな派生ＯＳ、並びにカリフォルニア州マウンテンビューのＧｏｏｇｌｅが開発したＡｎｄｒｏｉｄなどが含まれる。例えばＧｏｏｇｌｅによるＣＨＲＯＭＥ ＯＳを含むいくつかのオペレーティングシステムは、例えばＣＨＲＯＭＥＢＯＯＫＳを含むゼロクライアント又はシンクライアントで使用することができる。

【0069】

コンピュータシステム１００は、ワークステーション、電話機、デスクトップコンピュータ、ラップトップ又はノートブックコンピュータ、ネットブック、ＵＬＴＲＡＢＯＯＫ、タブレット、サーバ、ハンドヘルドコンピュータ、携帯電話、スマートフォン若しくは他のポータブルテレコミュニケーションデバイス、メディア再生デバイス、ゲームシステム、モバイルコンピューティングデバイス、若しくは通信が可能な他のタイプ若しくはフォームのコンピューティング、テレコミュニケーション若しくはメディアデバイスのいずれかとすることができる。コンピューティングシステム１００は、本明細書に記載されている操作を実行するのに十分なプロセッサパワーとメモリ容量を有している。いくつかの実施形態では、コンピューティングデバイス１００は、デバイスと一致する異なるプロセッサ、オペレーティングシステム、及び入力デバイスを有していてもよい。サムスン社（Samsung）製ＧＡＬＡＸＹスマートフォンは、例えば、グーグル（Google）社が開発したＡｎｄｒｏｉｄオペレーティングシステムの制御下で動作する。ＧＡＬＡＸＹスマートフォンは、タッチインターフェースを介して入力を受け取る。

【0070】

いくつかの実施形態では、コンピューティングデバイス１００は、ゲームシステムである。例えば、コンピュータシステム１００は、日本の東京にあるソニー株式会社が製造したＰＬＡＹＳＴＡＴＩＯＮ ３、又はＰＥＲＳＯＮＡＬ ＰＬＡＹＳＴＡＴＩＯＮ ＰＯＲＴＡＢＬＥ（ＰＳＰ）、又はＰＬＡＹＳＴＡＴＩＯＮ ＶＩＴＡ装置、日本の京都にある任天堂株式会社が製造した任天堂ＤＳ、任天堂３ＤＳ、任天堂ＷＩＩ、又は任天堂ＷＩＩ Ｕ装置、米国ワシントン州レドモンドにあるマイクロソフト社が製造したＸＢＯＸ ３６０装置などで構成されてもよい。

【0071】

いくつかの実施形態では、コンピューティングデバイス１００は、カリフォルニア州クパチーノのアップル・コンピュータ社が製造したＡｐｐｌｅ ＩＰＯＤ、ＩＰＯＤ Ｔｏｕｃｈ、及びＩＰＯＤ ＮＡＮＯラインのデバイスなどのデジタルオーディオプレーヤである。デジタルオーディオプレーヤの中には、例えば、ゲームシステムや、デジタルアプリケーション配信プラットフォームからのアプリケーションによって利用可能な任意の機能を含む、他の機能を有するものもある。例えば、ＩＰＯＤ Ｔｏｕｃｈは、Ａｐｐｌｅ Ａｐｐ Ｓｔｏｒｅにアクセスしてもよい。いくつかの実施形態では、コンピューティングデバイス１００は、ＭＰ３、ＷＡＶ、Ｍ４Ａ／ＡＡＣ、ＷＭＡ保護されたＡＡＣ、ＡＩＦＦ、Ａｕｄｉｂｌｅ ａｕｄｉｏｂｏｏｋ、アップルロスレス（Apple Lossless）オーディオファイルフォーマット、及び．ｍｏｖ、ｍ４ｖ、並びに．ｍｐ４ ＭＰＥＧ－４（Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ）ビデオファイルフォーマットを含むがこれらに限定されないファイルフォーマットをサポートするポータブルメディアプレーヤ又はデジタルオーディオプレーヤである。

【0072】

いくつかの実施形態では、コンピューティングデバイス１００は、タブレットであり、例えば、アップル社によるデバイスのＩＰＡＤライン、サムソン社によるデバイスのＧＡＬＡＸＹ ＴＡＢファミリー、又はワシントン州シアトルのアマゾン社によるＫＩＮＤＬＥ ＦＩＲＥなどである。他の実施形態では、コンピューティングデバイス１００は、電子ブックリーダーであり、例えば、アマゾン社のＫＩＮＤＬＥファミリーのデバイス、又はニューヨーク州ニューヨーク市のバーンズ・アンド・ノーブル（Barnes & Noble）社のＮＯＯＫファミリーのデバイスである。

【0073】

いくつかの実施形態では、通信デバイス１０２は、デバイスの組み合わせ、例えば、デジタルオーディオプレーヤまたはポータブルメディアプレーヤと組み合わせたスマートフォンを含む。例えば、これらの実施形態の１つは、スマートフォンであり、例えば、アップル社製のスマートフォンのＩＰＨＯＮＥファミリー、サムスン社製のスマートフォンのサムスンＧＡＬＡＸＹファミリー、又はモトローラ社ＤＲＯＩＤファミリーのスマートフォンである。さらに別の実施形態では、通信デバイス１０２は、ウェブブラウザと、マイク及びスピーカーシステム、例えばテレフォニーヘッドセットとを備えたラップトップ又はデスクトップコンピュータである。これらの実施形態では、通信デバイス１０２はウェブ対応であり、電話を受信したり開始したりすることができる。いくつかの実施形態では、ラップトップ又はデスクトップコンピュータは、ビデオチャット及びビデオコールを可能にするウェブカム又は他のビデオキャプチャデバイスも備えている。

【0074】

いくつかの実施形態では、ネットワーク１０４内の１つ以上のマシン１０２、１０６のステータスが、一般にネットワーク管理の一部として監視される。これらの実施形態の１つでは、マシンのステータスは、負荷情報（例えば、マシン上のプロセスの数、ＣＰＵ及びメモリの使用率）の識別、ポート情報（例えば、利用可能な通信ポートの数及びポートアドレス）の識別、又はセッションステータス（例えば、プロセスの持続時間及びタイプ、並びにプロセスがアクティブであるかアイドルであるか）の識別を含んでもよい。これらの実施形態の別のものでは、この情報は、複数のメトリックによって識別することができ、複数のメトリックは、本明細書に記載されている本ソリューションの動作の任意の側面と同様に、負荷分散、ネットワークトラフィック管理、及びネットワーク障害回復における決定に向けて、少なくとも部分的に適用することができる。上述の動作環境及びコンポーネントの側面は、本明細書に開示されるシステム及び方法の文脈において明らかになるであろう。

【0075】

Ｂ．ネットワーク環境における信頼値とクールダウン係数に基づくメッセージの選択と送信

【0076】

パーソナライズされたメッセージング・システムのユーザーは、メッセージ疲れに陥る可能性があり、それにより、意図された受信者に対するメッセージの有効性が低下する。メッセージ疲れは、ネットワークを介してユーザーのクライアントデバイスに送信されたメッセージがクライアントデバイスで役割を果たさないため、コンピュータ計算リソース及び帯域幅の浪費につながる。ユーザーとのインタラクションやレスポンスを必要とするアプリケーションでは、パーソナライズされたメッセージングは、ユーザー・エンゲージメントの目標を達成するためのツールとなる。

【0077】

本開示では、信頼値及びクールダウン係数に基づいてメッセージを選択並びに送信するためのシステム並びに方法について説明する。パーソナライズされたメッセージング・システムは、関連するメッセージを関連する時刻にユーザーに送信することができる。パーソナライズされたメッセージング・システムは、ユーザー・エンゲージメント及びアプリケーションの有効性を高めることができる。各ユーザーに合わせて適切なタイミングで配信される適切なコンテンツは、ユーザーのアプリケーションへのエンゲージメントに好影響を与えることができる。パーソナライズされた関連性の高いメッセージがアプリケーションを通じて各ユーザーに適時に配信されることで、健康、ウェルビーイング、フィットネス、生活の質全体を向上させるためにユーザーが実際に行う行動につなげることができる。

【0078】

メッセージ疲れに関連する課題の一部、及び他の関連する課題に対処するために、本開示は、複数のメッセージオブジェクトを呼び出すことができるメッセージ選択システムに関する。これらのメッセージオブジェクトは、呼び出されると、複数のメッセージを生成することができる。メッセージ選択システムは、各メッセージについて信頼値を生成し、各メッセージに関連付けられた信頼値を使用して、クライアントデバイスのアプリケーションに送信する１つ以上のメッセージを選択することができる。メッセージ選択システムは、選択された各メッセージに関連付けられた信頼値を、クールダウン係数に基づいて調整することができる。メッセージ選択システムは、クールダウン係数を使用して、クライアントデバイスによって最後のメッセージが受信されてからの時間、クライアントデバイスのユーザーが所定の時間内に受信することを選択したメッセージの総数、及びクライアントデバイスのユーザーがアウェイクか又はアクティブである時間の長さを含むがこれらに限定されない様々な要因に基づいて、選択されたメッセージのそれぞれの信頼値を調整することができる。そして、メッセージ選択システムは、選択されたメッセージのそれぞれの調整された信頼値に基づいて、選択されたメッセージの１つ以上を送信する決定を行うことができる。

【0079】

メッセージ選択システムは、ユーザーがメッセージ疲れを感じる可能性（尤度）を低減するように、クライアントデバイスに最後のメッセージが配信されてからの時間に基づいてメッセージが所望のエンドポイント又は目標値を達成する可能性をクライアントデバイスに最後のメッセージが配信されてからの時間に基づいて調整しながら、その可能性に基づいてメッセージを選択することができる。メッセージ選択システムは、メッセージが意図された効果をもたらす可能性に基づいて、ユーザーのクライアントデバイスにメッセージを選択的に送信又は送付することで、ユーザーがメッセージ疲れを感じる可能性を低減することができる。個々のユーザーがメッセージ疲れを経験する原因となるメッセージの数や頻度は様々であるため、メッセージ選択システムは、各ユーザーのメッセージの好み、アプリケーションのエンゲージメント、及び類似のメッセージに対する反応に関する情報を組み込んで、適切なタイミングでパーソナライズされたメッセージを配信するためのフレームワーク又はモデルを構築することができる。

【0080】

メッセージ選択システムによってユーザーのそれぞれのクライアントデバイスに送信されたメッセージは、それぞれのクライアントデバイス上で実行されるアプリケーションを介して開くことができる。クライアントデバイス上で実行されるアプリケーションは、クライアントデバイスのユーザーに対するメッセージ選択システムからのメッセージを表示し、ユーザーにアクションを実行するように促したり、ユーザーのレスポンスを引き出したりすることができる。アプリケーションは、メッセージがクライアントデバイスで受信されたとき、アプリケーションがメッセージを表示したとき、ユーザーがアプリケーション上で実行したアクティビティ、ユーザーがクライアントデバイス上で実行したアクティビティなどに対応するデータを含む情報をメッセージ選択システムにフィードバックするように構成することができる。メッセージ選択システムは、ユーザーのクライアントデバイスから収集又は受信した情報を使用して、ユーザーにアクションを実行させる上でのメッセージの有効性、又はユーザーのレスポンスの内容とタイミングを評価し、個々のユーザーに送信されるメッセージのパーソナライゼーションを改善したり、いくつかの実施形態では、メッセージに対するユーザーとその行動を監視したりすることができる。

【0081】

特定の実施形態では、メッセージ選択システムは、複数のユーザーのユーザープロファイルを維持することができる。各ユーザープロファイルに対して、メッセージ選択システムは、所定の時間間隔でメッセージオブジェクトを呼び出すことができるインボケータ（invocator）を実行することができる。各メッセージオブジェクトは、ユーザープロファイルに関連付けられたクライアントデバイスへの送信候補であるメッセージテンプレートを使用して、メッセージ候補を生成することができる。メッセージ選択システムのメッセージオブジェクトエバリュエータは、コンテキストデータをメッセージオブジェクトのモデルに組み込み、メッセージオブジェクトが生成したメッセージ候補に関連する信頼値を出力することができる。信頼値は、ユーザーに送信されたメッセージ候補が意図された効果を持つ可能性を示すことができる。メッセージオブジェクトエバリュエータは、特定の制約を満たすメッセージオブジェクトの信頼値を出力することができる。メッセージオブジェクトエバリュエータは、一定の条件に基づいてメッセージ候補のそれぞれに関連する信頼値を評価し、クールダウン係数に基づいて信頼値をアップデートし、アップデートされた信頼値が所定の閾値を越えた場合に、メッセージ候補をクライアントデバイスに送信することを決定することができる。

【0082】

メッセージ選択システムは、ユーザープロファイルに関連付けられたクライアントデバイス上で実行されるアプリケーションのレポーティングエージェントからレスポンスデータを受け取ることができる。メッセージ選択システムのレスポンスエバリュエータは、クライアントデバイスに送信された前回のメッセージに対応するレスポンスデータに基づいて、モデルの性能を向上させるように、レスポンスデータをメッセージオブジェクトのモデルに組み込むことができる。レスポンスデータは、メッセージオブジェクトのモデルを改善するために、メッセージオブジェクトの目標値（又は所望のエンドポイント）と比較することができる。このようにして、メッセージ選択システムは、ユーザーのメッセージの好みやレスポンスから学習し、将来のメッセージ候補の選択プロセスを改善するとともに、将来のメッセージ候補について計算される信頼値の品質を改善することができる。そうすることで、メッセージ選択システムは、ユーザープロファイルに関連付けられたクライアントデバイスへの送信候補であるメッセージテンプレートを使用して、ユーザーがメッセージに関与又は応答し、メッセージの所望のエンドポイントを達成する可能性を高めると同時に、より少ないメッセージを選択し、ユーザークライアントデバイスに送信することができる。

【0083】

本開示の少なくとも１つの態様によれば、方法には、１つ以上のプロセッサによって、複数のユーザー及び複数のメッセージオブジェクトを識別することを含むことができる。本方法は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクトに対する複数のユーザーのそれぞれのコンテキストデータを検索することを含み得る。本方法は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクト及びコンテキストデータに基づいて、メッセージ候補を生成することを含むことができる。本方法は、１つ以上のプロセッサによって、メッセージ候補のそれぞれに対する信頼値をクールダウン係数に基づいてアップデートし、アップデートされた信頼値を生成することを含むことができる。本方法は、１つ以上のプロセッサによって、アップデートされた信頼値に基づいてメッセージ候補を選択することを含むことができる。本方法は、１つ以上のプロセッサによって、アップデートされた信頼値が所定の閾値を越えることに基づいて、選択されたメッセージ候補を送信することを含むことができる。

【0084】

図２は、競合メッセージ選択のための環境２００のブロック図を示す。環境２００は、メッセージ選択システム２０２と、少なくとも１つのリモートコンピューティングデバイス２７０とを含む。メッセージ選択システム２０２は、ネットワーク１０４を介してリモートコンピューティングデバイス２７０に送信する１つ以上のメッセージを選択し、リモートコンピューティングデバイス２７０からリモートコンピューティングデバイス２７０に送信された１つ以上のメッセージに応じて実行されたアクションに対応するデータを含むデータを受信することができる。

【0085】

環境２００は、複数のリモートコンピューティングデバイス２７０を含むことができる。複数のリモートコンピューティングデバイス２７０は、同じユーザーに属することができ、又はメッセージ選択システム２０２の異なるユーザー若しくはエンティティに属することができる。各リモートコンピューティングデバイスは、メッセージ選択システム２０２と通信するように構成されたアプリケーション２７２を含むことができる。アプリケーション２７２は、メッセージ選択システム２０２からメッセージを受信することに応答してコンピューティングデバイス上で実行されたアクションに対応するデータを提供するように構成されたレポーティングエージェント２７４を含むことができる。いくつかの実施形態では、アプリケーション２７２は、メッセージ選択システム２０２によって生成及び送信されたメッセージを表示するだけでなく、メッセージ選択システム２０２にデータを提供するように構成することができる。アプリケーション２７２及びレポーティングエージェントに関する追加の詳細を以下に提供する。

【0086】

ここで、メッセージ選択システム２０２を参照すると、メッセージ選択システム２０２はメモリ２０４を含む。メモリ２０４は、複数のメッセージオブジェクト２０６を含む。各複数のメッセージオブジェクト２０６は、メッセージテンプレート２０８、モデル２１０、制約２１２、及び目標値２１４を含むことができる。また、メモリ２０４は、少なくとも１つのユーザープロファイル２２２及び履歴データ２２４を含むことができるコンテキストデータ２２０を含む。また、メモリは、メッセージ候補２４０と、各メッセージ候補２４０対する各信頼値２４２とを格納することができる。本明細書で説明されるように、メッセージ選択システム２０２は、メッセージオブジェクトを使用してメッセージ候補２４０を生成し、更にメッセージ候補２４０に対する各信頼値２４２を計算することができる。

【0087】

また、メッセージ選択システム２０２は、各メッセージ候補２４０を評価するために、インボケータ２５０、メッセージオブジェクトエバリュエータ２５２、及び閾値マネージャ２５４を含む。インボケータ２５０は、複数のメッセージオブジェクト２０６を選択し、識別し、呼び出すためのアプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックとすることができる。インボケータ２５０は、定期的な間隔でスケジュールされたｃｒｏｎ（クロン）ジョブによって開始される呼び出しプロセスを開始することができる。ｃｒｏｎは、Ｕｎｉｘ系コンピュータオペレーティングシステムにおける時間ベースのジョブスケジューラであり、ジョブ（例えば、コマンド、又はシェルスクリプト）をスケジュールするために使用することができる。呼び出しプロセスは、時間に基づいて実行することができる（例えば、月曜日の午前８時に呼び出しプロセスを実行したり、３０分ごとに呼び出しプロセスを実行したり、隔週の木曜日に呼び出しプロセスを実行したりすることができる）。呼び出しプロセスは、イベントに基づいて行うことができる（例えば、呼び出しプロセスは、メッセージ選択システム２０２が、後述するようにリモートコンピューティングデバイス２７０からデータを受信したときに実行することができる）。インボケータ２５０は、特定のユーザーグループのために呼び出しプロセスを開始することができる。例えば、インボケータ２５０は、アプリケーション２７２の所定の機能を使用して、ユーザーのサブセットに対して呼び出しプロセスを開始することができる。インボケータ２５０は、異なるユーザーに対して、異なる呼び出しプロセスを開始することができる。例えば、インボケータ２５０は、第１のユーザーのために第１のタイミングで第１の呼び出しプロセスを開始し、第２のユーザーのために第２のタイミングで第２の呼び出しプロセスを開始することができる。インボケータ２５０は、アクティブなユーザーの取得、ユーザーデータの取得、データベースへの呼び出し記録の書き込みなど、多数の非同期要求に分解することができる。

【0088】

呼び出しプロセスの例は以下の疑似コードで示すことができる。

【数1】

【0089】

上記の疑似コードによって示されるような呼び出しプロセスは、一定の時間間隔（例えば、３０分ごと）で実行することができる。呼び出しプロセスは、各ユーザーのコンテキストデータ２２０（本明細書で詳細に説明する）を特定すること（例えば、ｇｅｔＤａｔａ（ｕ））、及び現在時刻を特定すること（例えば、Ｄａｔｅ．ｎｏｗ（））を含むことができる。呼び出しプロセスは、コンテキストデータ２２０のハッシュを含むことができるデータベースへの呼び出しレコードの書き込み（例えば、ｄｂ．ｗｒｉｔｅ（ｕ．ｉｄ，ｔｓ，ｈａｓｈ（ｄ））を含むことができる。呼び出しレコードは、ユーザー識別、タイムスタンプ、及び各ユーザーのデータ（例えば、アプリケーションデータ及びユーザーテンションデータ）を含むことができる。アプリケーションデータは、アプリケーションで受信したメッセージに応じたユーザークションを含むことができる。ユーザーテンションデータは、ユーザーがアプリケーションで受信したメッセージに応答する頻度など、１日を通してのユーザーの受容性を含むことができる。呼び出し記録は、上記の疑似コードに示されているように、アマゾン・シンプル・ストレージ・サービス（ＡＷＳ Ｓ３：Amazon Simple Storage Service）に保存することができる。

【0090】

アクティブなユーザー（例えば、アプリケーションのユーザー、メッセージに応答するユーザー）を識別することは、アプリケーション２７２に問い合わせて、メッセージングを有効にしたアクティブなユーザーを取得することを含むことができる。ユーザーデータを取得することは、各ユーザーのデータを取得することを含むことができ、これは、アプリケーションデータ及びユーザーテンションデータを含むことができる。このデータは、ハード制約を満たさないメッセージオブジェクト２０６をフィルタリングするために使用することができる。データベースへの呼び出し記録の書き込みは、将来の評価をグループ化するため、及び将来のモデルトレーニング用にメッセージオブジェクト２０６の意思決定履歴を追跡するために実行することができる。例えば、呼び出しレコードのタイムスタンプ、ユーザーのアプリケーションデータ、及びユーザーの注目データは、メッセージオブジェクトモデル２１０への入力としてレスポンスエバリュエータ２５６が使用することができる。コンテキストデータ２２０のハッシュは、保存用のリモートオブジェクトに格納することができ、これにより、メッセージオブジェクト２０６のデータベースのスペースを節約することができる。いくつかのデータをリモートで保存することにより、メッセージ選択システム２０２は、乏しいディスクスペースの結果によるパフォーマンスの低下を回避することができる。メッセージオブジェクトエバリュエータ２５２は、評価時のメッセージオブジェクト２０６からリモートデータベース（例えば、ＡＷＳ Ｓ３）への読み取りリクエストトラフィックをアンロードすることができる。メッセージ選択システム２０２は、ハッシュテーブルの使用によりユーザーデータを格納することができる。ハッシュテーブルは、コンテキストデータ２２０のユニークな変化を格納することができ、これはスペース効率が良い。例えば、重複するデータの保存を回避することができる。データをリモートデータベースに格納することで、インボケータ２５０がライブデータベースからデータをコピーしなければならない頻度を減らすことができる。代わりに、インボケータ２５０は、モデル２１０のオフライントレーニング中に、リモートデータベースから直接読み取ることができる。インボークアーキテクチャは、並列ユーザー処理を含むことができ、これは、ユーザーデータを取得するための複数のプロセスを含むことができる。

【0091】

上述したように、環境２００は、１つ以上のリモートコンピューティングデバイス２７０を含むことができる。さらに詳細には、リモートコンピューティングデバイス２７０は、メッセージ選択システム２０２からメッセージを受信することができる。リモートコンピューティングデバイス２７０は、インターネット対応のリモートデバイスであり得る。例えば、リモートコンピューティングデバイス２７０は、インターネット・オブ・シングス（「ＩｏＴ」）デバイスとすることができる。ＩｏＴデバイスは、リモートモーションセンサ、温度センサ、土壌状態センサ、又はビデオカメラを含むリモートモニタリングデバイスを含むことができる。いくつかの実装では、リモートコンピューティングデバイス２７０は、携帯電話、スマートフォン、ラップトップ、又はタブレットコンピュータなどのモバイルコンピューティングデバイス（若しくはそのコンポーネント）とすることができる。リモートコンピューティングデバイス２７０は、限られた計算リソースを有することができる。リモートコンピューティングデバイス２７０は、測定、アクティビティの実行、又は情報のリクエストに対するレスポンスを提供するために、所定の間隔で、ウェイク付け、ｐｉｎｇ打ち、メッセージ伝達、又はその他の方法によるコンタクト取りを行わせることができる。いくつかの実装では、リモートコンピューティングデバイス２７０は、定期的な所定の間隔でリクエストを受け取ることができる。

【0092】

リモートコンピューティングデバイス２７０は、リモートコンピューティングデバイス２７０がメッセージ選択システム２０２と通信することを可能にするために、アプリケーション２７２を含むことができる。例えば、アプリケーション２７２は、メッセージ選択システム２０２からメッセージを受信し、メッセージに対するレスポンスをレスポンスエバリュエータ２５６に返すことができる。アプリケーション２７２は、リモートコンピューティングデバイス２７０がネットワーク１０４を介してメッセージ選択システム２０２からデータパケットを受信すると、メッセージを受信することができる。メッセージ選択システム２０２がアプリケーション２７２にメッセージを送信すると、アプリケーション２７２は、リモートコンピューティングデバイス２７０上で起動することができる。アプリケーション２７２は、リモートコンピューティングデバイス２７０にｐｉｎｇ打ち、ウェイク付け、メッセージ伝達、又はその他のリモートコンピューティングデバイス２７０のユーザーとコンタクト取りを行うために通知を送信することができる。アプリケーション２７２は、メッセージ選択システム２０２からメッセージを起動して表示することができる。アプリケーション２７２は、レポーティングエージェント２７４を含むことができる。アプリケーション２７２は、リモートコンピューティングデバイス２７０のユーザーを関与させるためのグラフィカル・ユーザーインタフェースを含むことができる。いくつかの実施形態では、アプリケーション２７２は、デジタル治療アプリケーションを使用する対象者にメッセージを送信することができる禁煙アプリケーション又は任意の他のデジタル治療アプリケーションを含むことができる。

【0093】

アプリケーション２７２のレポーティングエージェント２７４は、アプリケーション２７２内のアクティビティを監視するように構成された、アプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックであり得る。アクティビティは、１つ以上のユーザーが実行したアクションを含むことができる。例えば、ユーザーが実行したアクションは、呼吸法、瞑想セッション、ヨガセッション、ウォーキングセッション、ジョギングセッション、ランニングセッション、同僚とのコミュニケーション、電話セッション、医療アドバイザーとのコミュニケーション、又はレポーティングエージェント２７４によって検出、決定、又は推論され得る任意な他のアクションを含むことができる。いくつかの実装では、レポーティングエージェント２７４は、アクティビティが開始された時刻、アクティビティが完了した時刻、コンピューティングデバイスの別のプロセスで発生した別のコンピュータ機能によってアクティビティが中断された時刻、又はアプリケーション２７２の環境との相互作用によってアクティビティが一時停止若しくは停止された時刻を監視することができる。例えば、アプリケーション２７２は、リモートコンピューティングデバイス２７０からの加速度データを使用して、ウォーキングセッションの開始およびウォーキングセッションの完了を検出することができる。アプリケーション２７２は、リモートコンピューティングデバイス２７０のユーザーがウォーキングセッションを開始し、ウォーキングセッションを完了したというデータを、レポーティングエージェント２７４に中継又はその他の方法で提供することができる。アプリケーション２７２は、リモートコンピューティングデバイス２７０上のデータを、ユーザーが生成したレスポンスに相関させることができる。例えば、アプリケーション２７２は、ユーザーからのレスポンスを要求する情報を表示することができる。アプリケーション２７２は、ユーザーがアクティビティを完了したことを確認するために、アプリケーション２７２上で選択を行うようにユーザーに求めるメッセージを表示することができる。アプリケーション２７２は、ユーザーがアクティビティを完了しなかったことを確認するために、アプリケーション２７２上で選択を行うことをユーザーに求めるメッセージを表示することができる。アプリケーション２７２は、メッセージの適切さに関連するユーザーのフィードバックを要求するメッセージを表示することができる。例えば、ユーザーは、ユーザーのカレンダーでスケジュールされたイベント中に送信されたメッセージが適切でないことをレポーティングエージェント２７４に通知する選択をアプリケーション２７２上で行うことができる。ユーザーは、ユーザーのカレンダー上でスケジュールされた会議の後に送信されたメッセージが適切であることをレポーティングエージェント２７４に通知する選択を、アプリケーション２７２上で行うことができる。

【0094】

リモートコンピューティングデバイス２７０は、タイムスタンプをアクティビティに割り当てることができる。レポーティングエージェント２７４は、アクティビティに関連するデータ及びアクティビティに関連するタイムスタンプにアクセスすることができる。レポーティングエージェント２７４は、ユーザーがリモートコンピューティングデバイス２７０上のデータにアクセスしてアクティビティを実行していることを検出することができる。レポーティングエージェント２７４は、アプリケーション２７２から、ユーザーが実行したアクティビティの詳細を示すレポートを受け取ることができる。いくつかの実装では、レポーティングエージェント２７４は、レポーティングデータをメッセージ選択システム２０２に送信するために、１つ以上のメッセージを生成することができる。

【0095】

再びメッセージオブジェクト２０６を参照すると、メッセージオブジェクト２０６は、メッセージを中心とした最適化のためのフレームワークとなり得るデータ構造であり得る。メッセージオブジェクトのデータ構造は、メッセージテンプレート２０８、モデル２１０、制約２１２、及び目標値２１４を含むことができる。インボケータ２５０は、複数のメッセージオブジェクト２０６を呼び出すことができる。メッセージオブジェクト２０６は、メッセージオブジェクトエバリュエータ２５２によって評価されるメッセージテンプレート２０８に基づいて、メッセージ候補２４０を生成することができる。

【0096】

メッセージオブジェクト２０６は、１つ以上のメッセージテンプレート２０８を含むことができる。メッセージテンプレート２０８は、テキスト文字列を含むことができる。メッセージオブジェクト２０６は、コンテキストデータ２２０を使用して、メッセージテンプレート２０８のフィールドを挿入することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージテンプレート２０８を使用してメッセージ候補２４０を生成することができる。メッセージテンプレート２０８は、静的なテキスト、テンプレート、又はメッセージ文字列を生成するための命令とすることができる。テンプレートは、メモリ２０４に格納されたデータライブラリからデータを取得する命令を含むことができる。データライブラリからのデータは、ユーザーに送信される前に、テンプレートに置換することができる。例えば、テンプレートは、メッセージテンプレート２０８がリモートコンピューティングデバイス２７０に設定される前に、テンプレートに記入または置換されるプレースホルダー又は変数を含むことができる。例えば、メッセージは、画像、ビデオ、リモートコンピューティングデバイス２７０に送信されて実行されるプロセッサ実行可能命令、又はメタデータを含むことができる。第１のメッセージオブジェクト２０６のメッセージテンプレート２０８は、第２のメッセージオブジェクト２０６のメッセージテンプレート２０８と同一又は異なっていてもよい。

【0097】

メッセージオブジェクト２０６のモデル２１０は、コンテキストデータ２２０を入力として受け取り、目標値２１４を達成するためのメッセージの予測される有効性を示す信頼値２４２を出力することができる。例えば、コンテキストデータ２２０は、それぞれのモデルオブジェクト２０６のモデル２１０への入力とすることができる。コンテキストデータは、ユーザー固有のデータ、日付、時刻、曜日、天候関連データなどを含むことができる。モデル２１０は、入力を受け取り、様々な出力を出力することができる。例えば、入力は、履歴データ２２４またはユーザーデータを含むことができ、出力は、入力データに基づいて計算された成功率または信頼値２４２を含むことができる。例えば、モデルは、ユーザーのレスポンスのタイムスタンプを指定する履歴データ２２４をメッセージの有効性に相関させることができる。レスポンスエバリュエータ２５６は、履歴データに基づいてモデル２１０をアップデートすることができる。例えば、レスポンスエバリュエータが、アプリケーション２７２を実行するリモートコンピューティングデバイス２７０のユーザーが週末にメッセージに応答しないことを示すデータをレポーティングエージェント２７４から受信した場合、レスポンスエバリュエータ２５６は、週末にメッセージを送信する確率を低減するようにモデル２１０をアップデートすることができる。モデル２１０は、過去のデータから学習するためのアップデートを受けることができる。レスポンスエバリュエータ２５６は、ユーザープリケーションデータに基づくある種の人口統計の時間的パターンに基づいて生成されたレスポンスのためのメッセージを生成するために使用されるモデル２１０をアップデートすることができる。例えば、レスポンスエバリュエータ２５６は、ある年齢以上のユーザーは暑い日に脱水症状になりやすいと判断することができる。レスポンスエバリュエータ２５６は、ユーザーに水分補給を促すメッセージを送信するようにモデル２１０をアップデートすることができる。

【0098】

モデル２１０は、機械学習モデル（例えば、強化学習モデル、ｋ近傍法、バックプロパゲーションモデル、ｑ学習モデル、遺伝的アルゴリズムモデル、ニューラルネットワーク、教師付き学習モデル、又は教師なし学習モデル）であり得る。モデル２１０は、機械学習モデルに利用可能な特徴である機能セットを含むことができる。機能セットは、ユーザープリケーションデータ、時間的コンテキスト、類似メッセージの有効性、及び後述するユーザーの注目度指標を含むことができる。新しいデータ又は時系列でモデル２１０を再トレーニングすることで、メッセージオブジェクト２０６に関連するモデル２１０を改善することができる。レスポンスエバリュエータ２５６は、より多くのユーザーコンテキスト情報を返すためにデータサービスをアップデートすることを含むことができるモデル２１０に新しい機能を追加することができる。レスポンスエバリュエータ２５６は、各履歴タイムスタンプにおいて新しい特徴値でデータポイントを埋めることができ、これは、履歴ユーザーコンテキストを再計算することを含むことができ、レスポンスエバリュエータ２５６が、新たに追加された機能を有するすべての履歴データ上でモデルを再学習することを可能にする。

【0099】

メッセージ選択システム２０２は、メッセージが送信されたリモートコンピューティングデバイス２７０から受け取ったフィードバックを使用して、メッセージ選択システム２０２のメッセージ生成及び選択能力を向上させることができることを理解されたい。例えば、メッセージ選択システム２０２は、メッセージオブジェクト２０６によって生成されたメッセージ候補２４０に関連する履歴データに基づいて、メッセージ候補２４０を生成するために使用されるメッセージオブジェクト２０６のモデル２１０をアップデートするように構成することができる。過去におけるメッセージオブジェクト２０６の成功又は失敗は、将来のモデル２１０の予測能力を向上させることができる。モデル２１０は、モデル２１０の学習段階で、送信されたメッセージと、それに対応する結果及び機能セットを使用することができる。多数の異なる教師付き機械学習モデルをオンライン又はオフラインでトレーニングすることができる。モデル２１０のトレーニングは、最適なモデルパラメータを見つけるために相互検証アプローチを使用することができる。メッセージオブジェクトモデル２１０の再トレーニングは、各反復（例えば、トレーニングサイクル）で起こり得る。いくつかのモデル２１０（例えば、ツリーベースのモデル、ニューラルネットワーク）は新しいデータが受信されるローリングベースでトレーニングすることができ、既存のモデルは、データセット全体を使用して再トレーニングすることなく新しいデータを組み込むことができる。メッセージオブジェクト２０６は、メッセージ候補２４０の信頼値２４２を予測するモデル２１０を含むことができる。

【0100】

メッセージオブジェクト２０６は、一連の制約２１２を含むことができる。制約２１２は、メッセージ候補２４０がメッセージオブジェクト２０６から生成されるべきかどうか、又は生成されたメッセージ候補２４０を送信できるかどうかを規定する制限又は制約を含むことができる。制約２１２は、メッセージ候補２４０を送信するための所定時刻又は時間窓（time window）を含むことができる。制約２１２は、メッセージテンプレート２０８を送信することができる時間窓を定義する決定された時刻及び曜日を含むことができる。制約２１２は、ユーザータイプ（例えば、性別、職業、会社、又は所属）を含むことができる。制約２１２は、メッセージを送信するための定期的な曜日を含むことができる。例えば、メッセージオブジェクト２０６の制約２１２は、メッセージオブジェクトエバリュエータ２５２がメッセージを送信することができる午前１０時から午後４時までの時間ベースの窓とすることができる。メッセージオブジェクトエバリュエータ２５２が、上記の制約を有するメッセージオブジェクト２０６を処理するとき、メッセージオブジェクトエバリュエータ２５２は、現在時刻に基づいて、メッセージ候補２４０を生成すべきかどうか（又は、メッセージオブジェクト２０６から生成されたメッセージ候補２４０を送信できるかどうか）を決定することができる。メッセージオブジェクト２０６は、特定の曜日にのみ（例えば、月曜日又は金曜日にのみ）メッセージを送信することができる。制約は、週末など、メッセージオブジェクトエバリュエータ２５２がメッセージオブジェクト２０６の送信を禁止する日にち又は時刻を含むことができる。メッセージオブジェクト２０６は、月曜日が休日でない限り、月曜日にメッセージを送信することができるという制約２１２を有することができ、その場合、メッセージオブジェクト２０６はメッセージの送信を制限される。制約２１２は、休日、うるう年、日の時刻、週の時刻、月の時刻、年の時刻、又はその他のカレンダー関連の主題に関する情報を含むことができる。制約２１２は、メッセージオブジェクトエバリュエータ２５２がメッセージを送信することができる特定時刻又は時間窓を指定することができる。制約２１２は、最小信頼値２４２を含むことができる。

【0101】

メッセージオブジェクト２０６は、目標値２１４を含むことができる。目標値２１４は、アクションに対応することができる（例えば、アプリケーション２７２においてユーザーに特定のアクションを実行させるため）。目標値２１４は、リプライ又はレスポンスに対応することができる。目標値２１４は、リモートコンピューティングデバイス２７０が受信したメッセージの有効性に対応する数値を含むことができる。目標値２１４は、アプリケーション２７２内のアクションと、そのアクションの所望の達成率とに対応することができる。例えば、アプリケーション２７２における第１のアクションは、呼吸法であってもよく、アプリケーション２７２における第２の行動は、ジョギング運動であってもよい。また、第１の行動に対応する目標値２１４は８０％であり、第２の行動に対応する目標値２１４は１５％であってもよい。例えば、アプリケーション２７２内のあるタスクを実行するようにユーザーに呼びかけるメッセージには、ある期間内にタスクを実行するようにユーザーに送られたメッセージの数の割合として、ユーザーがタスクを実行した回数に対応する数値を割り当てることができる。また、アプリケーションで特定のタスクを実行するようにユーザーを誘う主題を含むメッセージには、メッセージがユーザーに送信されてから、ユーザーがそのタスクを実行した時刻に対応する数値を割り当てることができる。別の例では、ユーザーに返信を呼びかけるメッセージは、ユーザーがメッセージに返信したかどうか、又はユーザーがメッセージに返信しなかったかどうかを判定することによって測定することができる。修辞的なメッセージの目標値２１４は、修辞的なメッセージが測定可能なユーザーの応答を引き出すことがないため、容易に定義できない場合がある。

【0102】

メッセージの失敗又は意図された行動を引き出す能力は、メッセージオブジェクトモデル２１０への入力として使用することができる。第１のメッセージオブジェクト２０６は、ユーザーに水分補給をしてもらうという目標値２１４を持つことができる。第１のメッセージオブジェクト２０６は、「こんにちは［名前］、お茶を一杯飲む」というメッセージテンプレート２０８を持つことができる。第２のメッセージオブジェクト２０６は、ユーザーに水分補給をしてもらうという目標値２１４を持つことができる。第２のメッセージオブジェクト２０６は、「こんにちは［名前］、氷水を一杯飲む」のメッセージテンプレート２０８を持つことができる。メッセージオブジェクトエバリュエータ２５２は、外気温及びユーザーが水分補給を忘れる傾向に関連するコンテキストデータ２２０を使用して、第１のメッセージオブジェクト２０６及び第２のメッセージオブジェクト２０６がメッセージ候補２４０を生成すべきであることを決定することができる。外気温が２０°Ｆ以下である場合、第１のメッセージオブジェクト２０６は、信頼値２４２の高い第１のメッセージ候補２４０を生成してもよいが、信頼値２４２の低い第２のメッセージ候補２４０を生成してもよい第２のメッセージオブジェクト２０６と比較して、第１のメッセージオブジェクト２０６は、信頼値２４２の高い第２のメッセージ候補２４０を生成してもよい。メッセージオブジェクトエバリュエータ２５２が最近、水分補給に関連するメッセージを送信した場合、メッセージオブジェクトエバリュエータ２５２は、第１のメッセージ候補２４０の信頼度スコア２４２および第２のメッセージ候補２４０の信頼度スコア２４２を下げてもよい。第１のメッセージ候補２４０が、閾値を通過するアップデートされた信頼度スコア２４２を有する場合、メッセージオブジェクトエバリュエータ２５２は、メッセージテンプレート２０８にユーザープロファイル２２２からのデータを入力し、メッセージ候補２４０を、アプリケーション２７２を実行するリモートコンピューティングデバイス２７０のユーザーに送信することができる。

【0103】

再びメッセージオブジェクトエバリュエータ２５２を参照すると、メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０を生成することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６から生成された各メッセージ候補２４０について、信頼値２４２を生成又は割り当てることができる。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０に関連する信頼値２４２を使用して、リモートコンピューティングデバイス２７０のユーザーへのメッセージの送信を控えるか、又はリモートコンピューティングデバイス２７０のユーザーに１つ以上のメッセージを送信するかを決定することができる。メッセージ候補２４０は、閾値よりも高い信頼値２４２を有することができる。メッセージ候補２４０は、メッセージオブジェクトエバリュエータ２５２によるメッセージオブジェクト２０６の実行から生成されたメッセージであり得る。メッセージ候補２４０は、閾値より低い信頼値２４２を有するメッセージを含むことができる。メッセージオブジェクトエバリュエータ２５２は、コンテキストデータ２２０（及び他のデータ）メッセージオブジェクト２０６を渡すことにより、メッセージ候補２４０を生成することができる。メッセージオブジェクト２０６は、それぞれのメッセージオブジェクト２０６に提供されたデータがメッセージオブジェクト２０６の制約２１２を満たす場合に、メッセージ候補２４０を出力又はその他の方法で生成することができる。メッセージオブジェクトエバリュエータ２５２は、コンテキストデータ２２０をメッセージオブジェクトモデル２１０に入力して、メッセージ候補２４０の信頼値２４２を生成することができる。メッセージオブジェクトエバリュエータ２５２は、アップデートされた信頼値２４２を生成するためにクールダウン係数に基づいて信頼値２４２をアップデートできる。メッセージ候補２４０は、アップデートされた信頼値２４２に基づいて、リモートコンピューティングデバイス２７０に送信するために選択することができる。メッセージ候補２４０は、メッセージオブジェクトエバリュエータ２５２によって生成することができる。

【0104】

メッセージ候補２４０は、信頼値２４２を含むことができる。信頼値２４２は、正規化され、メッセージがリモートコンピューティングデバイス２７０のユーザーに意図された効果をもたらす可能性を示す０から１（両端を含む）の間の２４２を含むことができる。信頼値２４２は、０から１００（両端を含む）の間など、他の範囲を含むことができる。メッセージの関連性は、メッセージコンテンツ、ユーザーデータ、ユーザーの注意、及び時間的コンテキストの組み合わせを含むことができる。特定の時点での特定のユーザーの特定のメッセージの有効性を推定することは、教師付き機械学習アプローチを含むことができる。現在時刻的コンテキスト（例えば、一日のうちの時刻、一週間のうちの曜日、又は一年のうちの週）、ユーザープリケーションデータ、及びユーザーの注意は、教師付き機械学習モデルの機能として使用することができる。決定モデルの種類（例えば、多項式回帰、決定木、又は対比較分析）は、メッセージオブジェクト２０６ごとに異なり得る。各メッセージオブジェクト２０６のモデル２１０は、目標値２１４の信頼度を示す信頼値２４２を出力することができる。メッセージオブジェクトエバリュエータ２５２は、インボケータ２５０が呼び出しプロセスを開始すると、信頼値２４２をアップデートすることができる。

【0105】

メッセージ選択システム２０２は、信頼値を生成するためのモデル２１０への入力としてコンテキストデータ２２０を使用できることを理解されたい。コンテキストデータは、ユーザープロファイル２２２及び履歴データ２２４を含むことができる。コンテキストデータ２２０は、類似のメッセージの有効性を含むことができる。例えば、メッセージオブジェクト２０６は、信頼値２４２を生成するための入力としてコンテキストデータ２２０を使用することができる。メッセージオブジェクト２０６は、コンテキストデータ２２０を使用して制約２１２を評価することができる。類似のメッセージは、精査中の現在のメッセージの成功又は失敗の予測指標とすることができる。類似のメッセージは、目的又は件名によってグループ化することができる。メッセージの目的は、コール・トゥ・アクション（ユーザーにアプリケーション２７２の機能に関与させるため）又はコール・トゥ・リプライ（ユーザーにメッセージに応答させるため）を含むことができる。メッセージの主題は、高いレベルでは、機能（例えば、ミッション）に関するもの、情報的なもの、健康に関するもの、又はお金に関するものであってもよい。コンテキストデータ２２０は、手動で生成されてもよいし、教師なしの機械学習アプローチによって生成されてもよい。

【0106】

コンテキストデータ２２０は、ユーザープロファイル２２２を含むことができる。ユーザープロファイル２２２は、特定のユーザーに関連するデータを含むことができる。ユーザープロファイル２２２は、ユーザーの名前、場所、履歴データ、習慣、アプリケーションの使用状況、アプリケーションのインタラクション、及びレスポンス率など、ユーザーのアイデンティティのデジタル表現を含むことができる。ユーザープロファイル２２２は、アプリケーション２７２の使用から得られるデータを含むことができる。データは、ユーザーがタバコを吸った回数や、ユーザーがタバコを吸ったタイムスタンプなど、アプリケーション２７２に特有のユーザーイベントデータを含むことができる。このデータは、禁煙を含むアプリケーションにとって重要であってもよい。データは、アプリケーション２７２がいつ開いたかなどの、より細かい粒度のユーザー・エンゲージメント・データを含んでもよい。いくつかの実装では、メッセージ選択システム２０２は、実装されたモデル２１０の種類に応じて、生データから派生機能を生成することができる。例えば、派生機能は、１日あたりの喫煙イベント数の生データではなく、ユーザーのタバコの喫煙のタイムスタンプのリストを含むことができる。

【0107】

コンテキストデータ２２０は、履歴データ２２４を含むことができる。履歴データ２２４は、現在時刻を含むことができる。履歴データ２２４は、時間的コンテキストを含むことができる。時間的コンテキストは、タイムゾーンから調整された時刻、曜日、及び季節など、現在時刻に関する使用可能な情報を含むことができる。履歴データ２２４は、レポーティングエージェント２７４によって生成することができる。レポーティングエージェント２７４は、ユーザーアクション又はレスポンスにタイムスタンプを割り当てることができる。レポーティングエージェント２７４は、ネットワーク１０４を介して履歴データ２２４をレスポンスエバリュエータ２５６に送信することができる。レポーティングエージェント２７４は、メッセージがリモートコンピューティングデバイス２７０によって受信されたときに、タイムスタンプを割り当てることができる。レポーティングエージェント２７４は、メッセージがリモートコンピューティングデバイス２７０のユーザーによって受信されたときのタイムスタンプを割り当てることができる。

【0108】

コンテキストデータ２２０は、ユーザーテンション指標を含むことができる。ユーザーテンションは、１日を通してのユーザーの受容性を含むことができ、これは、メッセージが意図した効果を持つかどうかの要因となり得る。ユーザーの注目は、高度に特定され得る。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６をトレーニングするためのモデル２１０に入力するために、ユーザーテンションの様々な機能を識別することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６をトレーニングするためのモデル２１０への入力として、初期推測、履歴的なユーザーの時刻の好み、及びアプリケーション・エンゲージメント・データを使用することができる。初期推測は、ユーザーテンションに関する初期仮説を含むことができる。ユーザーがアプリケーション２７２に最初にサインアップしたときに、作業するための履歴データがない場合があるため、メッセージオブジェクトエバリュエータ２５２は、ランダムに、又は人間の推測に基づいて、初期仮説を立てることができる。人間の推測は、他のユーザーからのデータに基づいて行うことができる。例えば、ユーザーは、主に平日の朝または夜にアプリケーション２７２と対話することがある。最良の人間の推測は、人口統計学的データに基づいてもよい。例えば、明確なパターンがある場合、レスポンスエバリュエータ２５６は、人口統計学的データに基づいてユーザーのクラスタを作成することができる。レスポンスエバリュエータ２５６は、ユーザーテンションの初期仮説として、時刻モデルを使用することができる。レスポンスエバリュエータ２５６は、１日のスパンまたは１週間のスパンでユーザーのアテンションを図示することができる。レスポンスエバリュエータ２５６は、時間の経過とともに、より多くのメッセージ２０８がユーザーに送信されると、ユーザーの時刻の好みを履歴的に表示することができる。より多くのメッセージが送信され、結果が受信されると、ユーザーがメッセージを受容する可能性が高い時刻のより正確な全体像を構築することができる。モデル２１０は、データベースに存在する履歴入力の量と、成功率の効果に基づいて、履歴入力を重み付けすることができ、モデル２１０の予測性を高めることができる。レスポンスエバリュエータ２５６は、学習率を使用して、メッセージ選択システム２０２がユーザーの時刻の好みを学習する速度を制御することができる。レスポンスエバリュエータ２５６は、エンゲージメント・パターンのオーバーフィッティングを回避し、ユーザーの嗜好を可能な限り迅速に学習するために、学習レートを選択することができる。高い学習率を使用すると、エンゲージメント・パターンをオーバーフィットさせてしまい、ランダムなノイズを捕捉してしまう可能性がある。低い学習率を使用すると、ユーザーの時刻の好みを学習するのに必要以上に時間がかかる可能性がある。アプリケーション・エンゲージメント・データは、アプリケーション２７２によって生成された一般的な時刻のエンゲージメント・データを含むことができる。レスポンスエバリュエータ２５６は、アプリケーション２７２のエンゲージメント・データを使用して、メッセージの有効性を予測することができ、これにより、アプリケーションのエンゲージメント・データをユーザーテンションの代理とすることができる。コンテキストデータ２２０は、レポーティングエージェント２７４によって生成することができる。レポーティングエージェント２７４は、ユーザーからのフィードバックを受け取ることができる。

【0109】

メッセージオブジェクトエバリュエータ２５２を再び参照すると、更に詳細には、メッセージ候補を生成するタイミングを決定し、メッセージ候補２４０の１つ以上を送信するためのアプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックとすることができる。メッセージオブジェクトエバリュエータ２５２は、コンテキストデータ２２０をメッセージオブジェクト２０６に渡してメッセージ候補２４０を生成することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０に対する信頼値２４２を生成することができる。例えば、メッセージオブジェクトエバリュエータ２５２は、信頼値２４２のセットを取り、その信頼値２４２を、以下でさらに説明する１つ以上の閾値と比較して、メッセージ候補２４０を送信すべきかどうかを決定することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０の信頼値に基づいて、メッセージ候補２４０のうち、もしあれば、どのメッセージをリモートコンピューティングデバイス２７０のユーザーに送信すべきかを決定することができる。

【0110】

メッセージオブジェクトエバリュエータ２５２は、所定の閾値を満たすメッセージ候補２４０の信頼値２４２に基づいたメッセージオブジェクト２０６のセットの特定の呼び出しによって生成されたメッセージ候補２４０のプールからメッセージ候補２４０を選択することができる。メッセージ候補２４０は、信頼値２４２によって重み付けすることができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２にクールダウン係数を乗じることによって、選択されたメッセージ候補２４０の信頼値２４２を調整することができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２をクールダウン係数で調整することにより、選択されたメッセージ候補２４０の信頼値２４２を調整することができる。いくつかの実施形態では、メッセージオブジェクトエバリュエータ２５２は、信頼値２４２をクールダウン係数でスケーリングすることによって、選択されたメッセージ候補２４０の信頼値２４２を調整することができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２が閾値を越えることに基づいて、選択されたメッセージ候補２４０を送信すべきかどうかを決定することができる。例えば、０．８の信頼値２４２は、０．７の閾値を超える。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６が制約２１２を満たす場合に、メッセージを送信することができる。制約２１２は、次のようにすることができる。

【数2】

ここでＬＭＩはラストメッセージ間隔、ＣＤＩはクールダウン間隔、ＣＤＦはクールダウン率である。

【0111】

各メッセージオブジェクト２０６（又はそれによって生成されたメッセージ候補２４０）は、一定の時間間隔で、特定のユーザーのために互いに直接競合することができる。メッセージ候補２４０間の競合は、例えば、メッセージがリモートコンピューティングデバイス２７０のユーザーに意図された効果をもたらす可能性を示す信頼値２４２に基づいて、メッセージ候補２４０をランク付けすることを含むことができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２に基づいてメッセージ候補２４０をランク付けすることができる。メッセージオブジェクトエバリュエータ２５２は、信頼度値２４２が最も高いものから最も低いものまでメッセージ候補２４０をランク付けすることができる。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０のランクに基づいて、送信のためにメッセージ候補２４０を選択することができる。いくつかの実装では、メッセージオブジェクト２０６は信頼値２４２を含むことができ、メッセージオブジェクト２０６は、例えば信頼値２４２によってソート又はランク付けすることができる。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６の１つ以上を選択してメッセージ候補２４０を生成することができる。いくつかの実装では、メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６をランク付けし、ソートする。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクトエバリュエータ２５２がメッセージオブジェクト２０６の評価を完了したときに、メッセージ候補２４０を送信することができる。いくつかの実装では、生成されたメッセージ候補２４０は、ランク付けされ、ソートされ、メッセージ候補２４０の選択された部分は、クライアントデバイス又はリモートコンピューティングデバイス２７０に送信され得る。

【0112】

メッセージオブジェクト２０６間の競合は、信頼値２４２に基づいてメッセージオブジェクト２０６をソートすることや、メッセージオブジェクト２０６のカテゴリに基づいてメッセージオブジェクト２０６のサブセットを選択することなど、メッセージオブジェクト２０６をソートすることを含むことができる。例えば、メッセージオブジェクト２０６のカテゴリは、フィットネスワークアウト、呼吸法、脱ストレス活動、水分補給リマインダ、禁煙のヒントなどを含むことができる。メッセージオブジェクトエバリュエータ２５２は、フィットネスワークアウトに関連するメッセージオブジェクト２０６のサブセットを選択して、リモートコンピューティングデバイス２７０のユーザーにワークアウトの実行を促すメッセージ候補２４０を選択することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージオブジェクト２０６によって生成された最高の信頼値２４２を有するメッセージ候補２４０を選択することができる。最高の信頼値２４２を有するメッセージ候補２４０は、関連する信頼値２４２が所定の閾値を越えるか、又は満たす場合、リモートコンピューティングデバイス２７０への送信のためにメッセージオブジェクトエバリュエータ２５２によって選択され得る。

【0113】

メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０の評価プロセスを実行することができる。評価プロセスは、メッセージオブジェクトエバリュエータ２５２がメッセージ候補２４０を送信するかしないかの決定を下すことができるプロセスを含むことができる。メッセージオブジェクトエバリュエータ２５２は、コンテキストデータ２２０をメッセージオブジェクト２０６に渡して制約２１２を評価することにより、メッセージ候補２４０を生成することができる。例えば、メッセージオブジェクト２５２は、ユーザーの喫煙習慣に関連するコンテキストデータ２２０と、１日の時刻に関連する履歴データ２２４とを取ることができる。メッセージオブジェクト２０６は、メッセージ候補２４０を生成して、「ハイ ジム！ タバコを吸う代わりに、散歩してみてください。」というメッセージ候補２４０を生成することができる。メッセージオブジェクト２０６の制約２１２は、メッセージがユーザーの一般的な睡眠時間中には適切でないこととすることができる。ユーザープロファイル２２２は、ユーザーが一般的に午前７時から午後１１時の間に起きていることを示すことができ、履歴データは、現在時刻が午後１時であることを示すことができる。制約２１２が満たされる場合、メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０を生成し、メッセージ候補２４０のデータベースに信頼値２４２を記録することができる。一定の間隔で、メッセージオブジェクトエバリュエータ２５２は、まだメッセージ候補２４０を生成していないメッセージオブジェクト２０６を識別し、メッセージオブジェクト２０６のためにメッセージ候補２４０を生成することができる。メッセージオブジェクトエバリュエータ２４０は、メッセージ候補２４０の信頼値２４２を決定することができる。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０を識別し、メッセージ候補２４０を信頼値２４２で重み付け又はソートし、メッセージ候補２４０をクールダウン係数でスケーリングし、次にメッセージ候補２４０を選択することができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２及び閾値ポリシー２３４を使用して、メッセージ候補２４０を送信すべきか否かを決定することができる。例えば、信頼値２４２が閾値ポリシー２３４に従って閾値を上回っている場合、メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０をリモートコンピューティングデバイス２７０に送信するように決定することができる。信頼値２４２が、閾値ポリシー２３４に従って閾値以下である場合、メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０をリモートコンピューティングデバイス２７０に送信しないと決定することができる。メッセージオブジェクトエバリュエータ２５２がメッセージ候補２４０を送信する決定を行う場合、いくつかの実施形態では、メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０をメッセージ選択システム２０２のメッセンジャーサービス又はメッセージ選択システム２０２に通信可能に結合され、これにより、ユーザーのデバイス又はリモートコンピューティングデバイス２７０へのメッセージ候補２４０の送信が容易になる。レポーティングエージェント２７４は、メッセージ候補２４０を受信するリモートコンピューティングデバイス２７０のアクションを記録することができる。メッセージオブジェクトエバリュエータ２５２がメッセージを送信しないと決定した場合、メッセージオブジェクトエバリュエータ２５２はメッセージを送信しない。

【0114】

再びレスポンスエバリュエータ２５６を参照すると、レスポンスエバリュエータ２５６は、リモートコンピューティングデバイス２７０のユーザーからの応答を分析することができる。レスポンスエバリュエータ２５６は、メッセージオブジェクト目標値２１４を達成するためのメッセージオブジェクト２０６の成功又は失敗など、ユーザーに送信されるメッセージの結果を記録することができる。レスポンスエバリュエータ２５６は、学習アルゴリズムが最適化するための目標値２１４を得るために、メッセージの結果を記録することができる。各メッセージオブジェクト２０６は、目標値２１４を達成するためのメッセージオブジェクト２０６の成功を定義することができる。結果の計算は、バッチプロセス又はリアルタイムのストリーミングプロセスとして実装され得る。

【0115】

レスポンスエバリュエータ２５６は、モデル２１０に新しい機能を追加することができ、これは、より多くのユーザーコンテキスト情報を返すようにデータサービスをアップデートすることを含むことができる。レスポンスエバリュエータ２５６は、過去のユーザーコンテキストを再計算することを含むことができる各履歴タイムスタンプにおいて、新しい特徴値でデータポイントを埋めることができ、レスポンスエバリュエータ２５６が、新たに追加された機能を有するすべての履歴データ上でモデルを再学習することができる。レスポンスエバリュエータ２５６は、人口統計学的データに基づいて、ユーザーのクラスタを作成することができる。レスポンスエバリュエータ２５６は、ユーザー注目度の初期仮説として、時刻モデルを使用することができる。レスポンスエバリュエータ２５６は、１日のスパン又は１週間のスパンでユーザーの注目度をグラフ化することができる。レスポンスエバリュエータ２５６は、時間の経過とともにより多くのメッセージ２０８がユーザーに送信されると、ユーザーの時刻の好みを履歴的に把握することができる。レスポンスエバリュエータ２５６は、学習率を使用して、メッセージ選択システム２０２がユーザーの時刻の好みを学習する速度を制御することができる。レスポンスエバリュエータ２５６は、エンゲージメント・パターンのオーバーフィッティングを回避し、ユーザーの好みを可能な限り迅速に学習するために、学習速度を選択することができる。レスポンスエバリュエータ２５６は、メッセージの有効性を予測するためにアプリケーション・エンゲージメント・データを使用することができ、これにより、アプリケーション・エンゲージメント・データをユーザーテンションの代理とすることができる。

【0116】

レスポンスエバリュエータ２５６は、レポーティングエージェント２７４によって記録されたアクションを使用して、将来の評価のためのクールダウン係数を決定することができる。クールダウン係数は、アプリケーション２７０の個々のユーザーに固有のものであり得る。クールダウン係数は、リモートコンピューティングデバイス２７０によって最後のメッセージが受信されてからの時間、リモートコンピューティングデバイス２７０のユーザーが所定の時間内に受信することを選択したメッセージの総数、及びリモートコンピューティングデバイス２７０のユーザーがアウェイクか、又はアクティブである時間の長さを含むが、これらに限定されない様々な要因を反映することができる。クールダウン係数は、メッセージがリモートコンピューティングデバイス２７０のユーザーに最後に送信されたのがどれだけ最近かに基づいて、メッセージ候補２４０の信頼値２４２を減少させることができる。例えば、時刻ｔ＝ｔ_１において、メッセージオブジェクトエバリュエータ２５２は、リモートコンピューティングデバイス２７０のユーザーにフィットネスワークアウトに取り組むことを促すメッセージを送信することができる。時刻ｔ＝ｔ_１＋１時間に、メッセージオブジェクトエバリュエータ２５２は、ｔ＝ｔ_１＋１時間に生成されたメッセージ２候補４０の信頼値２４２に、クールダウン係数１／２を乗じ、アップデートされた信頼値２４２は、アップデート前の信頼値２４２の１／２となるようにしている。時刻ｔ＝ｔ_１＋４時間に、メッセージオブジェクトエバリュエータ２５２は、ｔ＝ｔ_１＋４時間に生成されたメッセージ候補２４０の信頼値２４２に、５／８のクールダウン係数を掛けるので、アップデートされた信頼値２４２は、アップデート前の信頼値２４２の５／８となり、メッセージオブジェクトエバリュエータ２５２が時刻ｔ＝ｔ_１＋４時間にメッセージを送信する可能性が高くなる。レスポンスエバリュエータ２５６は、メッセージに応じて実行されたユーザークションに基づいて、クールダウン係数をアップデートすることができる。例えば、レスポンスエバリュエータ２５６は、現在のクールダウン係数に基づいて、ユーザーがメッセージ疲れを経験する可能性が高いと判断することができ、したがって、レスポンスエバリュエータ２５６は、クールダウン係数を減少させることができるクールダウン間隔を増加させることができる。クールダウン係数は、本明細書に記載された１つ以上のポリシー２３０によって決定することができる。

【0117】

メッセージ選択システム２０２は、信頼値２４２の計算に基づいてメッセージを送信するかどうか及びいつ送信するかを管理するためのポリシー２３０を格納することができる。ポリシー２３０は、クールダウンポリシー２３２及び閾値ポリシー２３４を含むことができる。クールダウンポリシー２３２は、クールダウン係数を含むことができる。クールダウン係数は、各メッセージ候補２４０の信頼値２４２を、最後のメッセージがリモートコンピューティングデバイス２７０によって受信された最近の状況に相対的に下げることによって、メッセージ疲れを考慮することができる。例えば、アプリケーション２７２を介してユーザーが報告又は監視することができるユーザーの起床時刻期間ｗに等しいクールダウン間隔を有する線形クールダウン率を、ユーザーが１日に受信することを選択したメッセージの最大数ｒで割ったものである。ユーザーは、ある数のメッセージを受信することを選択することができ、又はメッセージ選択システム２０２は、メッセージ疲れを引き起こすことなくユーザーに送信するメッセージの数を決定することができる。ユーザーがｒ＝４、ｗ＝１４時間を選択した場合、クールダウンの間隔は１４／４＝３．５時間となる。クールダウン間隔が１時間で、クールダウン率が線形で、最後のメッセージが１０分前に受信された場合、クールダウン係数は１／６であり、全体の信頼値２４２を低下させることができる。クールダウン率及びクールダウン間隔は、モデル２１０における調整可能なパラメータであってもよい。例えば、モデル２１０は、線形モデル、指数モデル、又は減衰モデルであり得る。モデルのタイプは、メッセージオブジェクトエバリュエータ２５２が、ユーザーのレスポンスを引き出す際のメッセージの有効性を予測するためのモデル２１０を構築するために重要であり得る。

【0118】

目標値２１４は、モデル２１０をトレーニングするためにレスポンスエバリュエータ２５６によって使用され得ることを理解されたい。目標値２１４は、メッセージが意図された効果を有していたか否かを表すことができ、これは、アクションへの呼びかけ（ユーザーにアプリケーション２７２内の機能を使用させる）又はレスポンスへの呼びかけ（ユーザーにメッセージに返信させる）を含むことができる。アプリケーションデータは、効果を監視するために使用することができ、意図された効果の結果を記録することができる。目標値２１４として２進数の値を用いることができる。メッセージ選択システム２０２の１つの目標は、メッセージオブジェクト２０６が目標値２１４を達成する効能を促進することである。アクションへの呼びかけとレスポンスへの呼びかけは、互いに直接競合することができる。意図された効果は、等しく評価されるカテゴリにおける成功を含むことができる。意図された効果は、異なる重み付けをされたカテゴリにおける成功を含むことができる。

【0119】

メッセージ選択システム２０２は、１つ以上の閾値マネージャ２５４を含むことができる。閾値マネージャ２５４は、閾値ポリシー２３４を管理するためのアプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックであり得る。閾値マネージャ２５４は、所定のユーザー、所定のコンテキスト（例えば、一日の時刻）、又はメッセージオブジェクト２０６に適用する閾値ポリシー２３４を決定することができる。閾値マネージャ２５４は、一定の閾値、動的な閾値、重み付けされたランダムな閾値、及びファジーな一定の閾値など、様々な閾値ポリシー２３４から選択することができる。閾値マネージャ２５４は、クールダウン率、クールダウン間隔、最後のメッセージ間隔、クールダウン係数、及び分配制御係数を選択又は決定することができる。

【0120】

ポリシー２３０は、閾値ポリシー２３４を含むことができる。閾値マネージャ２５４は、例えば、閾値よりも大きい値を持つメッセージ候補２４０を選択することによって、送信されたメッセージの品質を制御することができる。メッセージの品質は、ユーザーに対する有用性の定量的な表示、又はユーザーがメッセージに基づいて行動する可能性の定量的な表示であり得る。閾値マネージャ２５４は、１日に受信するリモートコンピューティングデバイス２７０に送信されるメッセージのおおよその数を制御することができる。例えば、１日あたりの所望のメッセージ数が与えられると、閾値マネージャ２５４は、予測された信頼値２４２の履歴に基づいて計算を行うことができる。閾値マネージャ２５４は、閾値を超える予測の数が、１日に配信されることが望まれるメッセージの数と等しくなるように、閾値を設定することができる。閾値マネージャ２５４は、メッセージオブジェクトエバリュエータ２５２に閾値を中継することで、閾値を設定することができる。メッセージオブジェクトエバリュエータ２５２は、格納されたメモリ２０４から本閾値、又は複数の閾値を取得することができる。閾値が確率に基づいているので、１日に配信されるメッセージ数は概算であることができる。配信されたメッセージの正確な数は、所望の配信されたメッセージの数とは限らない。例えば、メッセージ選択システム２０２は、価値の高いメッセージを送信することで、送信されたメッセージが所望の配信されたメッセージの数よりも大きくなる場合でも、価値の高いメッセージを送信してもよい。また、メッセージ選択システム２０２は、価値の低いメッセージを送信すれば、送信されるメッセージの数が望ましい配信メッセージの数になる場合でも、価値の低いメッセージを送信しなくてもよい。メッセージオブジェクトエバリュエータ２５２は、閾値ポリシー２３４に基づいて、メッセージを送信するか、又は送信を控えることが、メッセージ疲れ若しくはアプリケーション２７２に対する肯定的なユーザー・エンゲージメントにつながるかどうかを判断することができる。信頼値２４２の分布は、インボケータ２５０による呼び出しプロセス中に実行される数学的シミュレーションまたはモックから得ることができる。特定のユーザーの１日あたりのメッセージ数は、メッセージオブジェクトエバリュエータ２５２に入力されるパラメータである。特定のユーザーに送信される１日あたりのメッセージ数は、３などのデフォルト数か、ユーザーによる好みとして明示的に提供するか、又はユーザーのコンテキストを考慮して１日あたりの最適なメッセージ数を学習した他のモデル２１０によって提供することができる。

【0121】

閾値ポリシー２３４は、一定の閾値を含むことができる。一定の閾値は、メッセージを送信する最適な時刻を示す閾値を超える任意の値となる所定の日における閾値を見つけることができる。閾値は、所定の日について計算され、変化しない。変化しない閾値の効果は、送信されるメッセージ候補２４０が効果的に最適化されることである。メッセージオブジェクトエバリュエータ２５２は、閾値ポリシー２３４が一定の閾値である場合、頻繁にメッセージを送信しなくてもよい。図４は、急峻なピークを有する信頼値対時間のグラフ４００を示す。グラフ４００には、急峻なピーク４０２が存在する。急峻なピーク４０２は、メッセージ候補のセットに対して高い信頼値２４２を有するメッセージ候補２４０が、ある特定の時刻に向かって分布していることを示すことができる。メッセージオブジェクトエバリュエータ２５２は、高い信頼値２４２を有するメッセージが時刻４０４に集まっている場合、ユーザーが指定した数のメッセージ又はメッセージ選択システム２０２によって決定された数のメッセージを送信しないことができる。メッセージオブジェクトエバリュエータ２５２は、クールダウン係数に基づいて信頼値２４２を調整することができ、これにより、時刻４０６のメッセージが時刻４０８のメッセージと比較して高い信頼値を有していても、時刻４０６でメッセージが送信される可能性が低くなる可能性がある。閾値が、線４１０によって描かれた０．８の信頼値２４２に設定されている場合、メッセージオブジェクトエバリュエータ２５２は、０．７の信頼値２４２を有する時刻４０６のメッセージを送信しない。時刻４０６のメッセージが時刻４０８のメッセージに比べて高い信頼値２４２を持っていても、メッセージオブジェクトエバリュエータ２５２が時刻４０６のメッセージを送信することを一定の閾値が妨げる場合がある。単一のピーク４０２は、ユーザーが１日に数個（例えば、２又は３）のメッセージに対しては、十分な注意力を持っており、それ以上のメッセージはメッセージ疲れの原因となることを示しているかもしれない。しかし、メッセージオブジェクトエバリュエータ２５２は、閾値ライン４１０を下回る高い信頼値を持つメッセージを時刻４０６で送信する機会を逃してもよい。

【0122】

閾値ポリシー２３４は、動的閾値を含むことができる。閾値マネージャ２５４は、リモートコンピューティングデバイスに１日あたりの最小数のメッセージを送信することが望まれる場合、動的閾値を使用することができる。閾値マネージャ２５４は、一日の現在時刻に基づいて閾値を再計算することができる。動的閾値は、次の将来のピーク又はピークのセットを見つけることを含むことができ、信頼値が一日の初めに偏っている場合に発信する窓（firing window）を見逃す問題を解決する。動的閾値を用いると、メッセージオブジェクトエバリュエータ２５２がメッセージを送信できることが将来に少なくとも１回あることが保証され、これは、ユーザーが１日あたり所望の数のメッセージを受信できることを意味する。動的閾値は、閾値マネージャ２５４がメッセージを送信するために一日の終わりまで待ち、クールダウン率に基づいてメッセージを送信することによる時間切れを引き起こし得る。動的閾値は、メッセージ選択システム２０２が１日に送信するメッセージの数に対する制御を達成してもよいが、閾値マネージャ２５４は、送信するのに次善の時刻を選択することができ、また１日に送信するメッセージの数に関する決定を行わなくてもよい。例えば、閾値マネージャ２５４は、１日の異なる時刻について閾値ライン４１０を再計算することができる。閾値ライン４１０は、０８００時間から１０００時間の間は０．８、１００１時間から１８００時間の間は０．９、１８０１時間から２１００時間の間は０．７にすることができる。閾値は、ユーザーの１日のうちの勤務時間中に最も高く、朝と夕方には低くすることができる。動的な閾値ポリシーは、ユーザーが就業時間中にメッセージをあまり受け取らず、一日の初めと終わりにメッセージをより多く受け取るような状況において有用である。

【0123】

閾値ポリシー２３４は、加重ランダム閾値を含むことができる。加重ランダム閾値は、メッセージ候補信頼値２４２に対するメッセージ送信の確率を含むことができる。メッセージオブジェクトエバリュエータ２５２は、信頼値２４２に対する確率の重みをスケーリングすることができ、そのアルゴリズムへのパラメータは、加重ランダム閾値が１日あたりおよそ所望の数のメッセージを送信するようなデータから導出される（経験的な分布による）。確率ベースの閾値とは、信頼度のピーク４０２では高い確率で、信頼度の谷４１２では低い確率で、メッセージの送信が許可されることを意味する。加重ランダム閾値の利点は、メッセージオブジェクトエバリュエータ２５２が１日の非ピーク時にもメッセージを送信する可能性が残っており、メッセージオブジェクトエバリュエータ２５２による決定に、より多くのランダム性を導入できることである。より多くのランダム性を伴うことは、１日に送信されるメッセージの数を制御することが難しくなることを意味する。インボケータ２５０がメッセージオブジェクト２０６を起動し、メッセージオブジェクトエバリュエータ２５２がメッセージオブジェクト２０６を評価する速度を変更すると、確率重みが一定に保たれている場合、１日にユーザーに送信されるメッセージの数が変化する。メッセージ選択システム２０２は、確率重みパラメータを再計算し、メッセージ選択システム２０２が呼び出し時間間隔を変更するたびに、再計算された確率重みパラメータを適用して、１日に送信されるメッセージの数を同じにすることができる。

【0124】

閾値ポリシー２３４は、ファジー定数閾値を含むことができる。図５は、上側閾値および下側閾値を有する信頼値対時間のグラフを示す。ファジー一定の閾値は、問題の値に対してある確率で選択された上限閾値５０２以下の値を含むことができる。下限閾値５０４は、信頼値２４２が低すぎる場合に、メッセージを送信する確率をゼロに設定するように選択することができる。例えば、０．５の閾値は、１の確率でメッセージを送信するように設定することができ、０．１５の閾値は、１より小さく０より大きい確率でメッセージを送信するように設定することができ、０．１の閾値は、０の確率でメッセージを送信するように設定することができる。ファジー定数閾値は、ハード閾値を持たない定数閾値と類似することができ、信頼値２４２を超えるとメッセージオブジェクトエバリュエータ２５２はメッセージを送信し、それを下回るとメッセージオブジェクトエバリュエータ２５２はメッセージの送信を控える。

【0125】

分配制御係数を用いて、閾値以下の距離と相対的に低下するメッセージを送信する確率の速さを制御することができる。分配制御係数は、１日あたりのメッセージ数の分配を制御するメカニズムである。分配制御係数が大きければ大きいほど、メッセージオブジェクトエバリュエータ２５２が１日に所望の数のメッセージを送信する確率が高くなる。ファジー定数閾値は、以下のアルゴリズムを含むことができる。
Ｔ＝（ＣＶ^ＤＣＦ）×ＣＶ、ＣＶ∈［０，１］（式３）
ここで、ＣＶは信頼値であり、ＤＣＦは分配制御係数であり、Ｔは閾値である。

【0126】

ファジー定数閾値は、メッセージオブジェクトエバリュエータ２５２が、上限閾値５０２以下の低い信頼値２４２を持つメッセージ候補２４０を送信するが、下限閾値５０４以下の信頼値２４２を持つメッセージの送信を控えるという効果を持つことができる。一日のうちの非ピーク時にメッセージを送信するチャンスがあり、メッセージ送信の決定にいくらかのランダム性を導入することができる。メッセージオブジェクトエバリュエータ２５２は、閾値を超えない信頼値２４２を持つメッセージ候補２４０を、リモートコンピューティングデバイス２７０に送信してもよい。閾値を下回るメッセージを送信することは、モデル２１０によって予測されていない状況において、ユーザーテンションを引くのに有利であり得る。メッセージオブジェクト２０６が呼び出され、評価されるレートを変更することで、分配制御係数が一定に保たれている場合、１日あたりのユーザーに送信されるメッセージの数を変更することができる。メッセージ選択システム２０２は、１日に送信されるメッセージの数が同じになるように、インボケータ２５０が起動時間間隔を変更するたびに、分配制御係数パラメータを再計算して適用してもよい。

【0127】

図６Ａ～６Ｂは、１日に送信されたメッセージの数の分布を示す図である。図６Ａは、特定の日の３時前後に送信された多数のメッセージに対応する、平均３で低分散の、特定の日に送信されたメッセージの分布を描いている。図６Ｂは、図６Ａの分布よりも高い分散を有する、特定の日に送信されたメッセージの分布を描いている。閾値マネージャ２５４は、図６Ｂの分布に分布制御係数を適用して、２の分布制御係数を有する図６Ｃの分布を生成することができる。分布制御係数を分布に適用することで、閾値マネージャ２５４は、送信されたメッセージ数の分布の分散を減少させることができる。

【0128】

閾値周辺の値が非常に反復的であるエッジケースが生じ得る。例えば、信頼値２４２の仮想的なリストは、以下を含むことができる。［０．９５，０．９５，０．９５，０．９６，０．９６，０．９６，０．９６，０．９６，０．９６，０．９７］閾値が信頼値２４２のリストの６番目と７番目の要素の間に引かれていた場合（メッセージ数／日＝３に基づいて計算）、１日に所望のメッセージよりも多くのメッセージを送信する可能性が高くなるが、これは閾値の上にも下にも０．９６の信頼値２４２が多数存在するために起こり得ることである。単に閾値以上の値を探す単純な計算では、より多くのメッセージ２０８を送信してしまう可能性がある。メッセージオブジェクト２０６の計算は、非常に反復的なことがあり得る。例えば、１日を通して２４回の呼び出しが均等に分散されているが、ユーザーがアプリケーション２７２を１日の最初と最後にしか使用しない場合、非使用期間中のメッセージオブジェクト２０６の評価は、同じデータに基づいて信頼値２４２を計算し、同じ信頼値２４２を生成して終わる。メッセージ選択システム２０２は、信頼値２４２を繰り返すことを示すデータを持っているので、メッセージ候補２４０の信頼値２４２が閾値よりも大きくても、ユーザーに送信するメッセージの数を制限することができる。

【0129】

図３は、競合メッセージ選択のための例示的な方法３００のフロー図を示す。方法３００は、１つ以上のプロセッサによって、複数のユーザー及び複数のメッセージオブジェクトを識別することを含み得る（ブロック３０２）。方法３００は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクトに対する複数のユーザーの各コンテキストデータを検索することを含むことができる（ブロック３０４）。方法３００は、１つ以上のプロセッサによって、１つ以上のメッセージオブジェクト及びコンテキストデータに基づいて、メッセージ候補を生成することを含むことができる（ブロック３０６）。方法３００は、１つ以上のプロセッサによって、アップデートされた信頼値を生成するために、クールダウン係数に基づいて、各メッセージ候補に対する信頼値をアップデートすることを含むことができる（ブロック３０８）。方法３００は、１つ以上のプロセッサによって、アップデートされた信頼値に基づいてメッセージ候補を選択することを含むことができる（ブロック３１０）。方法３００は、信頼値が所定の閾値を越えるかどうかを判断することを含むことができる（ブロック３１２）。方法３００は、１つ以上のプロセッサによって、選択されたメッセージ候補を送信することを含むことができる（ブロック３１４）。

【0130】

上述したように、方法３００は、複数のユーザー及び複数のメッセージオブジェクトを識別すること（ブロック３０２）を含むことができる。複数のユーザーを識別することは、データベースにアクセスしてアクティブなアカウントを決定することを含み得る。また、図２を参照すると、とりわけ、レポーティングエージェント２７４は、リモートコンピューティングデバイス２７０からのレスポンスを分析することができるレスポンスエバリュエータ２５６にレポートを送信することができる。複数のユーザーを識別することは、複数のユーザーのユーザープロファイル２２２にアクセスすることを含むことができる。複数のメッセージオブジェクトを識別することは、メッセージ選択システム２０２に格納された複数のメッセージオブジェクト２０６を識別することを含むことができる。複数のメッセージオブジェクト２０６を識別することは、メッセージ選択システム２０２に格納されている複数のメッセージオブジェクト２０６にアクセスすることを含むことができる。インボケータ２５０は、アプリケーション２７２に問い合わせて、メッセージングが有効になっているアクティブなユーザーを取得することができる。

【0131】

方法３００は、１つ以上のメッセージオブジェクトについて、複数の各ユーザーに対するコンテキストデータを検索することを含むことができる（ブロック３０４）。コンテキストデータを検索することは、ユーザープロファイル２２２又は履歴データ２２４を含むコンテキストデータ２２０を検索することを含み得る。メッセージオブジェクトエバリュエータ２５２は、コンテキストデータを検索し、ユーザーにメッセージを送信するかどうか、及びいつ送信するかを決定することができる。コンテキストデータを検索することは、ブロック３０２で識別された複数の各ユーザーについてコンテキストデータを検索することを含むことができる。コンテキストデータを検索することは、ブロック３０２で識別された複数の各ユーザーについて、ユーザープロファイル２２２のコンテキストデータ２２０にアクセスすることを含むことができる。例えば、識別されたユーザーについて、メッセージオブジェクトエバリュエータ２５２は、識別されたユーザーのユーザープロファイル２２２にアクセスすることによって、そのユーザーのコンテキストデータ２２０を収集することができる。インボケータ２５０は、アプリケーションデータ及びユーザーテンションの指標を含む、各ユーザーのデータを得ることができる。このデータは、制約２１２を満たさないメッセージオブジェクト２０６をフィルタリングするために使用することができる。

【0132】

方法３００は、１つ以上のメッセージオブジェクト及びコンテキストデータに基づいてメッセージ候補を生成することを含み得る（ブロック３０６）。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補を生成することができる。メッセージ候補２４０は、１つ以上のメッセージオブジェクト２０６及びコンテキストデータ２２０に基づくことができる。例えば、第１のメッセージ候補２４０は、識別されたユーザーのための第１のメッセージオブジェクト２０６によって生成することができる。第２のメッセージ候補２４０は、識別されたユーザーのための第２のメッセージオブジェクト２０６によって生成することができる。第３のメッセージ候補２４０は、識別されたユーザーのための第３メッセージオブジェクト２０６によって生成することができる。第１のメッセージ候補２４０は、ユーザーのユーザープロファイル２２２と、ユーザーの時刻の好みとに基づいて生成することができる。第２のメッセージ候補２４０は、ユーザーのユーザープロファイル２２２及び類似メッセージの有効性に基づいて生成することができる。第３のメッセージ候補２４０は、メッセージの時間的コンテキスト及びユーザープリケーションデータに基づいて生成することができる。メッセージオブジェクト２０６は、メッセージを生成することができ、リモートコンピューティングデバイスに送信され、メッセージ候補２４０として格納される。メッセージ候補２４０は、生成され、信頼値２４２と関連付けられ得る。メッセージ候補２４０に関連付けられた信頼値２４２は、メッセージオブジェクト２０６がメッセージオブジェクト目標値２１４の達成にどれだけ自信があるかを示すことができる。メッセージオブジェクト２０６は、メッセージに関連付けられた第１又は元の信頼値２４２を生成することができる。メッセージオブジェクト２０６は、制約２１２に基づいてメッセージ候補２４０を生成することができる。メッセージオブジェクト２０６は、メッセージオブジェクト２０６が制約２１２を満たさなかったために、メッセージ候補２４０の生成に失敗する可能性がある。

【0133】

方法３００は、クールダウン係数に基づいて、各メッセージ候補に対する信頼値をアップデートすることを含むことができる（ブロック３０８）。閾値マネージャ２５４は、クールダウン係数に基づいて各メッセージ候補２４０に対する信頼値２４２をアップデートすることは、アップデートされた信頼値２４２を生成することを含むことができる。信頼値２４２をアップデートすることは、メッセージ選択システム２０２のクールダウンポリシー２３２にアクセスし、メッセージ候補２４０に対するアップデートされた信頼値２４２を生成するためにクールダウンポリシーを適用することを含むことができる。クールダウン係数に基づいてアップデートされた信頼値２４２を生成することは、第１の信頼値又は元の信頼値に適用することができる。アップデートされた信頼値２４２は、メッセージオブジェクト２０６によって生成された第１の信頼値２４２とは別に保存することができる。例えば、異なるクールダウンポリシーが異なる時期に適用される可能性があるシナリオでは、元の信頼値又は第１の信頼値は、任意のアップデートされた信頼値と一緒に記憶され得る。クールダウン係数は、各メッセージ候補２４０について信頼値２４２をアップデートするスケーリング係数とすることができる。

【0134】

方法３００は、アップデートされた信頼値に基づいてメッセージ候補を選択することを含み得る（ブロック３１０）。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０を選択してもよく、選択されたメッセージ候補２４０は、リモートコンピューティングデバイスに送信することができる。選択されたメッセージ候補２４０は、ユーザーに送信することができるメッセージ候補２４０のセットのうち、最高の信頼値２４２を有してもよい。メッセージ候補２４０は、ユーザーに送信することができるメッセージ候補２４０のセットのうち、最高の信頼値２４２を有していなくてもよい。例えば、第１のメッセージ候補２４０は、第２のメッセージ候補２４０よりも低い信頼値２４２を有することができるが、第１のメッセージ候補２４０は、閾値ポリシー２３４のためにユーザーに送信される。メッセージオブジェクトエバリュエータ２５２は、メッセージ候補２４０を生成するためにメッセージオブジェクト２０６を実行するタイミングと、選択されたメッセージ候補２４０を送信するタイミングとを決定する。メッセージオブジェクト２０６は、メッセージ候補２４０がメッセージ候補２４０のプールの最大値との信頼値を有していても、メッセージオブジェクト２０６のメッセージを送信しないことを決定することができる。

【0135】

方法３００は、信頼値が所定の閾値を越えるかどうかを判断することを含むことができる（ブロック３１２）。信頼値２４２が所定の閾値を越えるまたは満たす場合、メッセージオブジェクトエバリュエータ２５２は、選択されたメッセージ候補を送信することができる。信頼値が所定の閾値を越えない、又は満足しない場合、システムは、複数のメッセージオブジェクト２０６を識別するか、又は新しいメッセージ候補２４０を選択することができる。

【0136】

方法３００は、選択されたメッセージ候補をリモートコンピューティングデバイス２７０に送信することを含むことができる（ブロック３１４）。メッセージオブジェクトエバリュエータ２５２は、アップデートされた信頼値２４２を閾値と比較し、選択されたメッセージ候補２４０を送信するかどうかを決定することができる。閾値は、セクションの前の部分で説明した様々な閾値ポリシー２３４に基づくことができる。

【0137】

メッセージが送信された後、リモートコンピューティングデバイス２７０は、メッセージを受信することができる。リモートコンピューティングデバイス２７０は、アプリケーション２７２にメッセージを表示することができる。ユーザーはメッセージを受信することができ、これは、ユーザーからのレスポンス又はリプライを引き起こすことができる。ユーザーは、メッセージを受信することができ、これは、ユーザーからのアクションを引き出すことができる。

【0138】

Ｃ．メッセージング・システムの間接的なアップデート。

【0139】

メッセージング・システムは、健康、ウェルビーイング、フィットネス、及び全体的な生活の質を向上させるメッセージを配信することができる。しかし、メッセージング・システムは、メッセージ疲れにつながる可能性のあるメッセージの過剰供給をユーザーに配信する危険性があり得る。メッセージング・システムは、メッセージに対するレスポンスを利用して、メッセージを送信するタイミングを選択するためのモデルをアップデートすることで、将来のメッセージの送信時刻やメッセージの内容をカスタマイズすることができる。メッセージング・システムが送信するメッセージには、非修辞的なメッセージ、及び修辞的なメッセージがある。非修辞的なメッセージは、アプリケーションのユーザーにレスポンスや他の入力を促すことができる。修辞的なメッセージは、アプリケーションのユーザーにレスポンスや他の入力を促すものではない。例えば、修辞的なメッセージは、ユーザーに情報又はデータを提供することができる。又は修辞的メッセージの有効性に関するユーザーのレスポンスデータがなければ、メッセージング・システムは、修辞的メッセージを送信するタイミングを選択するためのモデルをアップデートすることができない場合がある。

【0140】

本開示は、メッセージング・システムのメッセージオブジェクトのモデルを間接的にアップデートするためのシステム及び方法を説明するものである。メッセージング・システムは、修辞的メッセージに対するレスポンスを受信しない可能性があるので、非修辞的メッセージに関連するメッセージオブジェクトのモデルをアップデートするために、非修辞的メッセージに対するレスポンスを使用する。修辞的なメッセージは、暗黙のうちにユーザーからのレスポンスを生成しないため、修辞的なメッセージに対するレスポンスに基づいて、修辞的なメッセージの有効性又は非有効性を判断することはできない。さらに、ユーザーからのレスポンスがないと、メッセージング・システムは、修辞的メッセージがユーザーに与える利益を定量化できない場合がある。

【0141】

修辞的メッセージからのレスポンスデータの欠如に関連するいくつかの課題に対処するために、本開示は、メッセージ選択システムのメッセージオブジェクトのモデルに対する間接的なアップデートに関する。メッセージ選択システムは、修辞的なメッセージに関連するメッセージオブジェクトのモデルをアップデートするために、非修辞的なメッセージに関連するレスポンスデータを組み込むことができるレスポンスエバリュエータを含むことができる。このようにして、メッセージ選択システムは、修辞的でないメッセージのレスポンスデータを、修辞的なメッセージのレスポンスデータ（又はその欠如）のプロキシとして使用することができる。このようにすることで、メッセージ選択システムは、修辞的メッセージに関する直接的なフィードバックを受けていなくても、カスタマイズされた修辞的メッセージを選択し、ユーザーのクライアントデバイスに送信することができる。また、メッセージ選択システムは、メッセージ疲れを防ぐために、カスタマイズされた時刻に修辞的なメッセージをユーザーのクライアントデバイスに送信することができる。

【0142】

図７は、ユーザーにメッセージを送信するシステムの環境２００のブロック図である。環境２００は、メッセージ選択システム２０２内で実行される複数のモジュール、コンポーネント、又は他のエンティティを含む。メッセージ選択システム２０２のコンポーネントは、モバイルデバイス、コンピュータ、又はサーバなどのデバイス上で実行されるアプリケーション、プログラム、ライブラリ、スクリプト、サービス、プロセス、タスク、若しくは実行可能な命令の任意のタイプ及び形式を含むことができる。メッセージ選択システム２０２は、図２に関連して説明したような、本明細書で説明した他のメッセージ選択システム２０２の構成要素のいずれかを含むことができる。図２に関連して説明したメッセージ選択システム２０２に関連して説明した構成要素に加えて、メッセージ選択システム２０２は、類似メッセージオブジェクトセレクタ７１２およびレスポンス分類器７１４を含むことができる。

【0143】

メッセージ選択システム２０２は、複数のメッセージオブジェクト２０６を含むことができる。メッセージオブジェクト２０６は、非修辞的メッセージオブジェクト２０６又は修辞的メッセージオブジェクト２０６であり得る。非修辞的メッセージオブジェクト２０６は、非修辞的メッセージが生成されるメッセージテンプレート２０８を有することができる。非修辞的なメッセージは、メッセージがリモートコンピューティングデバイス２７０のユーザーによって受信されたときに、ユーザーのレスポンスを引き出すメッセージである。例えば、非修辞的メッセージは、リモートコンピューティングデバイス２７０によって実行されると、リモートコンピューティングデバイス２７０に、例えば、プロンプト又は入力をユーザーに表示させるプロセッサ実行可能命令を含むことができる。プロンプト又は入力のアクティブ化は、リモートコンピューティングデバイス２７０がメッセージ選択システム２０２に送信するレスポンスメッセージを生成することができる。非修辞的メッセージオブジェクト２０６は、非修辞的メッセージモデル２１０を有する。モデル２１０は、非修辞的メッセージに応じて生成されたリモートコンピューティングデバイス２７０からのレスポンスに基づいてアップデートすることができる。非修辞的メッセージオブジェクト２０６は、リモートコンピューティングデバイス２７０のユーザーからのレスポンス又はリプライに対応する目標値２１４を有する。目標値２１４は、アクションに対応していてもよい。

【0144】

メッセージオブジェクト２０６は、修辞的メッセージオブジェクトも含むことができる。修辞的なメッセージオブジェクト２０６は、修辞的なメッセージが生成されるメッセージテンプレート２０８を有することができる。修辞的なメッセージは、メッセージがリモートコンピューティングデバイス２７０のユーザーによって受信されたときに、ユーザーのレスポンスを引き出さないメッセージであり得る。例えば、修辞的メッセージは、ユーザーの水の摂取量を記録するようにユーザーに促すことなく、又はユーザーが水の摂取量を増やしたことを確認するようにユーザーに求めることなく、ユーザーに水を多く飲むように促すことができる。別の例では、修辞的メッセージは、リモートコンピューティングデバイス２７０でアプリケーション２７２によってレンダリングされたときに、ユーザーに情報又はデータを表示することができる。修辞的メッセージオブジェクト２０６は、修辞的メッセージモデル２１０を有する。修辞的メッセージオブジェクト２０６は、アクションに対応し得る目標値２１４を有する。メッセージ選択システム２０２は、修辞的でないメッセージに対するリモートコンピューティングデバイス２７０からのレスポンスに基づいて、修辞的メッセージオブジェクト２０６に関連する目標値２１４を決定することができる。

【0145】

メッセージ選択システム２０２は、レスポンス分類器７１４を含むことができる。同様のレスポンス分類器７１４は、非修辞的メッセージからのレスポンスを分類するためのアプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックであり得る。レスポンス分類器７１４は、メッセージ選択システム２０２内のレスポンスのデータベースを検索して、メッセージオブジェクト２０６のモデル２１０をトレーニング又はアップデートするための機能セットを生成することができる。機能セットは、メッセージ選択システム２０２から送信されたメッセージに対するレスポンスの品質スコアに関連する情報を含むことができる。機能セットは、メッセージがリモートコンピューティングデバイス２７０に送信されたとき、メッセージに対するレスポンスが受信されたとき（または受信された場合）、及びレスポンスの品質スコアを示す時系列を含むことができる。品質スコアは、受信したメッセージに対するユーザーのエンゲージメントのレベルを示すことができる。レスポンス分類器７１４は、リモートコンピューティングデバイスへのメッセージの送信から、メッセージ選択システム２０２がメッセージへのレスポンスを受信するまでの時間に基づいて、レスポンスの品質スコアを決定することができる。例えば、レスポンス分類器７１４は、メッセージの送信から所定の持続時間内に受信したレスポンスに高品質スコアを割り当て、所定の持続時間後に受信したレスポンスに低品質スコアを割り当てることができる。いくつかの実装では、品質スコアは、時間減衰関数に基づくことができる。いくつかの実装では、レスポンス分類器７１４は、レスポンスの内容に基づいて品質スコアを生成することができる。例えば、メッセージが、ユーザーがテキストを入力するための入力ボックスを含む場合、レスポンス分類器７１４は、入力ボックスに入力されたテキストの量に基づいて、品質スコアを割り当てることができる。

【0146】

レスポンス分類器７１４は、レスポンスポリシー７１６に従って、非修辞的メッセージからのレスポンスを分類することができる。レスポンス分類器７１４は、品質スコアが、応答時間、メッセージとのインタラクション又はエンゲージメントの量（例えば、入力ボックスに入力されたテキストの量）、若しくはそれらの組み合わせに基づいて計算されるかどうかを示すことができる。レスポンスポリシー７１６は、品質スコアが時間ベースであることを示すことができる。例えば、レスポンスポリシー７１６は、リモートコンピューティングデバイス２７０による、修辞的でないメッセージの受信から、レポーティングエージェント２７４によるユーザーのレスポンスの記録までの経過時間に基づくことができる。例えば、リモートコンピューティングデバイス２７０は、午前７時にメッセージを受信することができる。修辞的でないメッセージは、リモートコンピューティングデバイス２７０のユーザーに、ユーザーがオフィスに出かける前に５分間のストレッチを行うことを促すことができる。非修辞的メッセージは、ユーザーが５分間のストレッチングセッションに従事したことを確認するようユーザーに求めるボタンを含むことができる。レポーティングエージェント２７４は、ユーザーがメッセージを受信した直後に、ユーザーが午前７時から午前７時１０分の間にストレッチセッションに従事したことを示している、ユーザーが午前７時１０分に５分間のストレッチセッションに従事したという確認を受信することができる。レスポンスポリシー７１６は、時間ベースで、非修辞的なメッセージに対するレスポンスをランク付けすることができる。例えば、レスポンスポリシー７１６は、非修辞的なメッセージに対する迅速なレスポンスを、非修辞的なメッセージに対する遅いレスポンスよりも高くランク付けすることができる。レスポンスポリシー７１６は、ユーザーがメッセージに応答するための時間制限を含むことができる。

【0147】

レスポンスポリシー７１６は、品質スコアがエンゲージメントベースであることを示すことができる。例えば、高い品質スコアは、アクティブなユーザーのエンゲージメントが高いレベルにあるレスポンスとすることができる。メッセージは、“活動をどのように評価しますか？”、“水を飲むことについての別のリマインダを希望しますか？”など、メッセージの内容に関するいくつかの質問に答えるようにユーザーを促すことができる。アクティブなユーザー・エンゲージメントを持つレスポンスには、メッセージによって促された質問の大部分にユーザーが答えるレスポンスが含まれることがある。

【0148】

メッセージ選択システム２０２は、類似メッセージオブジェクトセレクタ７１２を含むことができる。類似メッセージオブジェクトセレクタ７１２は、メッセージオブジェクトの別のメッセージオブジェクト２０６に対する類似性に基づいてメッセージオブジェクト２０６を選択するアプリケーション、アプレット、スクリプト、サービス、デーモン、ルーチン、又は他の実行可能なロジックであり得る。類似メッセージオブジェクトセレクタ７１２は、アップデートする修辞的メッセージオブジェクト２０６を識別することができる。類似メッセージオブジェクトセレクタ７１２は、レスポンスエバリュエータ２５６が所定の時間内にモデル２１０をアップデートしていない場合に、アップデートする修辞的メッセージオブジェクト２０６を選択することができる。例えば、類似メッセージオブジェクトセレクタ７１２は、毎日、毎週、又は毎月、モデル２１０をアップデートすることができる。類似メッセージオブジェクトセレクタ７１２は、修辞的メッセージオブジェクト２０６の分類を決定することができる。類似メッセージオブジェクトセレクタ７１２は、修辞的メッセージオブジェクトの分類を決定して、修辞的メッセージオブジェクト２０６のモデル２１０をアップデートするために使用することができる類似の非修辞的メッセージオブジェクト２０６を見つけることができる。

【0149】

類似メッセージオブジェクトセレクタ７１２は、アップデートされる修辞的メッセージオブジェクト２０６と類似する非修辞的メッセージオブジェクト２０６を識別することができる。非修辞的メッセージオブジェクト２０６の特徴セット（例えば、レスポンスデータ）は、類似の分類の修辞的メッセージオブジェクト２０６をアップデートすることができる。類似メッセージオブジェクトセレクタ７１２は、アップデートされる修辞的メッセージオブジェクト２０６と類似する非修辞的メッセージオブジェクト２０６を識別することができる。非修辞的メッセージオブジェクト２０６が修辞的メッセージオブジェクト２０６と同じ分類、タグ、又はカテゴリを有する場合、非修辞的メッセージオブジェクト２０６は修辞的メッセージオブジェクト２０６と類似することができる。例えば、類似メッセージオブジェクトセレクタ７１２は、アップデートされる修辞的メッセージオブジェクト２０６のタグ（例えば、呼吸法）を識別し、同じタグを有する１つ以上の非修辞的メッセージオブジェクト２０６を検索することができる。類似メッセージオブジェクトセレクタ７１２は、同じタグを有するメッセージオブジェクト２０６を識別することができる。例えば、メッセージオブジェクトは、「呼吸法」タグ又は「水分補給」タグを有することができる。類似メッセージオブジェクトセレクタ７１２は、修辞的でないメッセージオブジェクトの修辞的メッセージオブジェクト２０６に対する類似性に基づいて、修辞的でないメッセージオブジェクト２０６を選択することができる。類似メッセージオブジェクトセレクタ７１２は、同じタグ又は分類を有するメッセージオブジェクト２０６のグループを識別することができる。

【0150】

レスポンスエバリュエータ２５６を再び参照すると、レスポンスエバリュエータ２５６は、ネットワーク１０４を介してレポーティングエージェント２７４から情報及びデータを受け取り、メッセージオブジェクト２０６のモデル２１０へのアップデートを生成する。本開示の前のセクションで説明したように、メッセージオブジェクト２０６のモデル２１０は、入力としてコンテキストデータ２２０を受け取り、目標値２１４を達成するためのメッセージの予測される有効性を示す信頼値２４２を出力することができる。モデル２１０は、機械学習モデル（例えば、強化学習モデル、ｋ近傍法、バックプロパゲーションモデル、ｑ学習モデル、遺伝的アルゴリズムモデル、ニューラルネットワーク、教師付き学習モデル、又は教師なし学習モデル）であり得る。レスポンスエバリュエータ２５６は、メッセージに対する過去のレスポンスから生成された機能セットに基づいて、モデル２１０をトレーニングすることができる。各メッセージオブジェクト２０６のモデル２１０は、目標値２１４の信頼度を示す信頼値２４２を出力することができる。

【0151】

レスポンスエバリュエータ２５６は、メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。アップデートするメッセージオブジェクト２０６は、レスポンス分類器７１４による分類に基づいて、類似メッセージオブジェクトセレクタ７１２によって選択することができる。レスポンスエバリュエータ２５６は、レスポンスポリシー７１６に従ってレスポンス分類器によって分類されたレスポンスに基づいて、修辞的メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。例えば、類似メッセージオブジェクトセレクタ７１２は、アップデートされる修辞的メッセージオブジェクト２０６と同じタグ又は分類を有する非修辞的メッセージオブジェクト２０６を識別することができる。類似メッセージオブジェクトセレクタ７１２は、識別された非修辞的メッセージオブジェクト２０６からのメッセージに応じてメッセージ選択システム２０２が受信したレスポンスメッセージを識別し、レスポンスエバリュエータ２５６が非修辞的メッセージオブジェクト２０６及び修辞的メッセージオブジェクト２０６のモデル２１０をアップデートするために使用できる機能セットを生成することができる。

【0152】

レスポンスエバリュエータ２５６は、モデル２１０をトレーニング又は再トレーニングすることによって、メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。レスポンスエバリュエータは、非修辞的なメッセージオブジェクト２０６からの機能セットに基づいて、修辞的なメッセージオブジェクト２０６のモデル２１０をトレーニングすることができる。上述のように、レスポンスエバリュエータ２１０は、非修辞的メッセージオブジェクト２０６によって生成されたメッセージに対して受信されたレスポンスに基づいて、非修辞的メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。レスポンスエバリュエータ２５６は、類似メッセージオブジェクトセレクタ７１２が識別したメッセージオブジェクト２０６のモデル２１０に基づいて、修辞的メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。例えば、レスポンスエバリュエータ２５６は、識別された非修辞的メッセージオブジェクト２０６の１つから、アップデートされるべき修辞的メッセージオブジェクト２０６にモデル２１０をインポート又はコピーすることができる。

【0153】

レスポンスエバリュエータ２５６は、非修辞的メッセージオブジェクト２０６によって生成されたメッセージに対するレスポンスに基づいて、修辞的メッセージオブジェクト２０６のモデル２１０をアップデートすることができる。例えば、類似メッセージオブジェクトセレクタ７１２は、アップデートされる修辞的メッセージオブジェクト２０６と同じ分類を有する複数の非修辞的メッセージオブジェクト２０６を識別することができる。レスポンスエバリュエータ２５６は、識別された非修辞的メッセージオブジェクト２０６に対する複数の過去のメッセージ及びレスポンスを識別することができる。レスポンスエバリュエータ２５６は、識別された非修辞的メッセージオブジェクト２０６に対する複数の過去のメッセージ及びレスポンスに基づいて、機能セットを生成することができる。そして、レスポンスエバリュエータ２５６は、識別された非修辞的メッセージオブジェクト２０６に対する複数の過去のメッセージ及びレスポンスから生成された機能セットに基づいて、修辞的メッセージオブジェクト２０６のモデルをトレーニングすることができる。

【0154】

メッセージ選択システム２０２は、修辞的メッセージの有効性を決定することができる。レスポンスエバリュエータ２５６は、アプリケーション２７２のユーザーのサブセットが修辞的メッセージを受け取り、アプリケーション２７２のユーザーのサブセットが修辞的メッセージを受け取らないＡ／Ｂテスト（例えば、スプリットテスト又はバケットテスト）を実施することができる。このようにして、メッセージ選択システム２０２は、修辞的なメッセージの効果を測定することができる。例えば、ユーザーのサブセット（例えば、半分）（グループＡ）が修辞的メッセージを受信し、ユーザーのサブセット（例えば、半分）（グループＢ）が修辞的メッセージを受信しないことができる。グループＡのユーザーは、グループＢのユーザーとは異なっていてもよく、グループＡは、修辞的メッセージを同時に受け取る異なる人を含むことができる。メッセージ選択システム２０２は、修辞的なメッセージがアプリケーション２７２に対するユーザーのエンゲージメントに与える効果、及び修辞的なメッセージが健康、ウェルビーイング、並びにフィットネスを向上させるユーザーの行動につながるかどうかを判断するために、他の変数（例えば、メッセージの送信数、メッセージが送信される時刻）を一定に保つことができる。メッセージ選択システム２０２は、修辞的なメッセージを受け取ったユーザーのアクション又はレスポンスを、修辞的なメッセージを受け取らなかったユーザーと比較することによって、修辞的なメッセージの効果を測定することができる。

【0155】

図８は、学習モデルを間接的にアップデートする例示的な方法８００のフロー図を示す。方法８００は、サーバの１つ以上のプロセッサによって、複数の非修辞的メッセージ及び複数の修辞的メッセージを識別することを含むことができる（ブロック８０２）。方法８００は、サーバの１つ以上のプロセッサによって、修辞的メッセージモデルを識別することを含むことができる（ブロック８０４）。方法８００は、サーバの１つ以上のプロセッサによって、複数の非修辞的メッセージモデルを識別すること（ブロック８０６）を含むことができる。方法８００は、サーバの１つ以上のプロセッサによって、非修辞的メッセージに対するレスポンスメッセージを受信することを含むことができる（ブロック８０８）。方法８００は、非修辞的メッセージに対する受信したレスポンスメッセージに基づいて、修辞的メッセージモデルをアップデートすることを含むことができる（ブロック８１０）。

【0156】

上述したように、方法８００は、複数の非修辞的メッセージ及び複数の修辞的メッセージを識別することを含むことができる（ブロック８０２）。非修辞的メッセージは、ユーザーが応答するためのプロンプトを生成するメッセージを含むことができる。修辞的なメッセージは、ユーザーが応答するためのプロンプトを生成しないメッセージを含むことができる。例えば、修辞的なメッセージには、ユーザーを励ますメッセージや、ユーザーに興味深い事実を表示するメッセージなどが含むことができる。複数の非修辞的なメッセージ及び修辞的なメッセージを識別することは、メッセージのデータベースを検索することを含むことができる。データベース内の非修辞的メッセージは、レスポンス分類器によってタグ付け又は分類することができる。データベース内の修辞的なメッセージは、修辞的であるとタグ付けすることができる。

【0157】

方法８００は、修辞的メッセージモデルを識別することを含むことができる（ブロック８０４）。修辞的メッセージモデルを識別することは、修辞的メッセージオブジェクトとしてタグ付け、グループ化、又は分類されたメッセージオブジェクトを識別すること、及び修辞的メッセージオブジェクトのモデルを選択又は識別することとを含むことができる。例えば、修辞的メッセージオブジェクトは、修辞的メッセージモデルを有する修辞的メッセージオブジェクトとして分類され得る。メッセージ選択システムは、修辞的メッセージオブジェクトのモデルをアップデートする必要があると識別することができる。例えば、メッセージ選択システムは、修辞的メッセージオブジェクト及び非修辞的メッセージオブジェクトの両方のモデルを定期的にアップデートすることができる。メッセージ選択システムは、毎日、毎週、毎月など、メッセージオブジェクトを処理して、アップデートのためのメッセージオブジェクトを選択することができる。

【0158】

方法８００は、複数の非修辞的メッセージモデルを識別することを含むことができる（ブロック８０６）。メッセージ選択システムは、アップデートされる修辞的メッセージオブジェクト（及びモデル）と同じ分類又はグループ化を有する複数の非修辞的メッセージオブジェクトを識別することができる。例えば、メッセージ選択システムは、修辞的メッセージオブジェクトが「水分補給（hydration）」タグ、及び「水分補給（hydration）」タグでタグ付けされた複数の非修辞的メッセージオブジェクトを有することを決定することができる。各メッセージオブジェクトの表示は、リレーショナルデータベース又は他のデータベースに格納することができる。データベース内のメッセージオブジェクトの属性又は列は、タグ若しくは分類タグとすることができる。類似メッセージオブジェクトセレクタは、アップデートされる修辞的メッセージオブジェクトのタグを決定し、同じタグを有する非修辞的メッセージオブジェクトをデータベースに照会することができる。

【0159】

方法８００は、非修辞的メッセージに対するレスポンスメッセージを受信することを含むことができる（ブロック８０８）。レスポンスエバリュエータは、ブロック８０６で識別された修辞的メッセージオブジェクトの１つによって生成された非修辞的メッセージに対するレスポンスメッセージを受信することができる。いくつかの実装では、レスポンスエバリュエータは、ブロック８０６で識別された非修辞的メッセージオブジェクトによって生成された過去のメッセージに対する以前のレスポンスを取得することができる。レスポンス分類器は、受信したレスポンス又はブロック８０６で識別された非修辞的メッセージオブジェクトによって生成されたメッセージに対する過去のレスポンスに基づいて、１つ以上の機能セットを生成することができる。例えば、機能セットは、メッセージがリモートコンピューティングデバイスに送信された時刻、レスポンスが受信された時刻、及びレスポンスの品質スコアを示すことができる。また、レスポンス分類器は、メッセージ選択システムがレスポンスを受信しなかったメッセージの機能セットを生成することができる。機能セットは、メッセージがリモートコンピューティングデバイスに送信された時刻と、レスポンスが受信されなかったことを示す表示とを含むことができる。

【0160】

方法８００は、修辞的メッセージモデルをアップデートすることを含むことができる（ブロック８１０）。レスポンスエバリュエータは、識別された修辞的メッセージオブジェクトの非修辞的モデルに基づいて、修辞的モデルをアップデートすることができる。例えば、いくつかの実装では、レスポンスエバリュエータは、受信した（又は受信していない）レスポンスに応じて生成された機能セットをトレーニングデータとして使用して、非修辞的メッセージオブジェクトのモデルを再トレーニングすることができる。レスポンスエバリュエータは、アップデートされた機能セットで再学習されたモデルを、アップデートされる修辞的メッセージオブジェクトにコピーすることができる。いくつかの実装では、レスポンスエバリュエータは、非修辞的メッセージに対する受信したレスポンスメッセージに基づいて、修辞的メッセージモデルをアップデートすることができる。例えば、非修辞的メッセージオブジェクトのモデルを、そのメッセージに対するレスポンスに基づいてアップデートし、アップデートされたモデルを修辞的メッセージオブジェクトにコピーするのではなく、レスポンスエバリュエータは、識別された複数の非修辞的メッセージオブジェクトによって生成されたメッセージに対するレスポンスに基づいて生成された１つ以上の機能セットを識別することができる。レスポンスエバリュエータは、識別された複数の非修辞的メッセージオブジェクトによって生成されたメッセージへのレスポンスに基づいて生成された１つ以上の機能セットを使用して、修辞的メッセージオブジェクトのモデルをトレーニングすることができる。

【0161】

Ｄ．信頼値を用いてネットワーク環境上でメッセージを選択及び送信するシステム並びに方法

【0162】

メッセージは、特定の行動を取ることを指定したり、情報を提供したりするなど、ユーザーに通知するためにコンピューティングデバイスを介して提示されることがある。しかし、メッセージが繰り返し提示されると、ユーザーがメッセージの提示から何の行動も起こさず、ユーザー側にメッセージ疲れを引き起こす可能性がある。メッセージ疲れは、ユーザーに通知するメッセージの効果を低下させ、メッセージを提示する際のコンピューティングデバイスのヒューマンコンピュータインタラクション（ＨＣＩ）の質を低下させる可能性がある。メッセージがネットワークを介して送信され、コンピューティングデバイスによって処理されるため、効率の低下は、計算リソースとネットワーク帯域幅の浪費につながる可能性がある。

【0163】

メッセージ疲れに関するこれら及びその他の課題に対処するために、メッセージの選択及び提供は、ユーザーごとに行われてもよい。そのために、メッセージ選択システムは、メッセージオブジェクトのセットを維持してもよい。各メッセージは、対応するメッセージがどのように生成されるかを定義するテンプレートと、対応するメッセージを提供することで達成される１つ以上のエンドポイント（又は目的）を示す選択基準とを含んでもよい。メッセージが特定のユーザーに提供される場合、メッセージ選択システムは、ユーザーのアクティビティログを使用してユーザー状態（又は「意図」）を導出又は識別してもよい。アクティビティログには、ユーザーが以前に提示されたメッセージにどのように反応したかを示すエントリが含まれていてもよい。ユーザー状態は、対応するメッセージを生成するためにメッセージオブジェクトの１つを選択するために使用されてもよい。

【0164】

メッセージ選択システムは、各メッセージオブジェクトについて、対応するメッセージのユーザーへの提示がその目的を達成する可能性を示す信頼値を生成してもよい。メッセージ選択システムは、ユーザーのコンピューティングデバイスに任意のメッセージが提供されてからの経過時間、コンピューティングデバイスが所定の時間内に受信するように設定されているユーザープロファイルに示されたメッセージの総数、及びユーザーがアウェイク又はアクティブである時間の長さなどの調整要素に基づいて、メッセージオブジェクトの信頼性値を変更してもよい。調整された信頼値を用いて、メッセージ選択システムは、メッセージオブジェクトの１つを選択してもよい。メッセージ選択システムは、選択されたメッセージオブジェクトに従ってメッセージを生成し、ユーザーのコンピューティングデバイスに提供してもよい。ユーザーの回答は、コンピューティングデバイスを使用して記録され、次のラウンドの選択で使用されるようにメッセージ選択システムに提供されてもよい。

【0165】

このようにして、メッセージ選択システムは、適切なタイミングでユーザーのアクションにつながる可能性の高いメッセージを送信することができ、それによって、ユーザーとコンピューティングデバイスの間のＨＣＩ及びコンピューティングデバイス上でのメッセージの提示の有効性を高めることができる。また、ユーザーのアクションにつながる可能性が高いメッセージを選択することで、メッセージの提供や提示に必要なコンピューティングリソースやネットワーク帯域の無駄を省くことができる。また、各ユーザーに合わせた適切なコンテンツを適切なタイミングで配信することで、ユーザーのアプリケーションに対するエンゲージメントを向上させることができます。パーソナライズされた関連性の高いメッセージがアプリケーションを通じて各ユーザーにタイムリーに配信されることで、健康、ウェルビーイング、フィットネス、生活の質の向上を目的としたユーザーの実際のアクションにつなげることができる。

【0166】

ここで図９Ａを参照すると、信頼値を使用してネットワーク環境間でメッセージを選択及び送信するためのシステム９００のブロック図が描かれている。概要として、システム９００は、少なくとも１つのメッセージ選択システム９０２と、１つ以上のリモートコンピューティングデバイス９０４Ａ～Ｎ（以下、総括的にリモートコンピューティングデバイス９０４と呼ぶ）とを含んでもよい。メッセージ選択システム９０２及びリモートコンピューティングデバイス９０４は、少なくとも１つのネットワーク９０６を介して互いに通信可能に結合されてもよい。メッセージ選択システム９０２は、少なくとも１つの状態トラッカー９０８、少なくとも１つのオブジェクトエバリュエータ９１０、少なくとも１つのモデルトレーナー９１２、少なくとも１つのメッセージ配信器９１４、少なくとも１つのメッセージジェネレータ９１６、少なくとも１つのレスポンスハンドラ９１８、少なくとも１つの評価モデル９２０、少なくとも１つの配信ポリシー９２２、少なくとも１つのアクティビティデータベース９２４、及び少なくとも１つのメッセージデータベース９２６を含んでもよい。アクティビティデータベース９２４は、１つ以上のアクティビティログ９２８Ａ～Ｎ（以下、一般的にアクティビティログ９２８と呼ぶ）を維持又は含んでもよい。メッセージデータベース９２６は、１つ以上のメッセージオブジェクト９３０Ａ－Ｎ（以下、一般的にメッセージオブジェクト９３０と呼ぶ）を維持又は含んでもよい。各リモートコンピューティングデバイス９０４は、少なくとも１つのアプリケーション９３２を有してもよい。リモートコンピューティングデバイス９０４上で動作するアプリケーション９３２は、少なくとも１つのレポーティングエージェント９３４を有してもよい。リモートコンピューティングデバイス９０４は、少なくとも１人のユーザー９３６と関連していてもよい。

【0167】

システム９００の各構成要素（例えば、メッセージ選択システム９０２とその構成要素、及びリモートコンピューティングデバイス９０４並びにその構成要素）は、セクションＡで本明細書に詳述したシステム１００のようなハードウェア又はハードウェアの組み合わせを使用して実行、処理、若しくは実装されてもよい。また、システム９００の構成要素は、本明細書のセクションＢ及びＣで詳述されている機能性を実行、処理、又は実装するために使用されてもよい。例えば、メッセージ選択システム９０２は、メッセージ選択システム２０２に関連して説明した機能を含んでもよい。データベース９２４に保持されたメッセージオブジェクト９３０は、メッセージオブジェクト２０６に関連して本明細書で詳述された機能を含んでもよい。オブジェクトエバリュエータ９１２は、特に、メッセージオブジェクトエバリュエータ２５２の機能を含んでもよい。リモートコンピューティングデバイス９０４は、リモートコンピューティングデバイス２７０に関連して本明細書に記載された機能を含むか、又は実行してもよい。

【0168】

次に図９Ｂを参照すると、メッセージ選択システム９０２の、特に状態トラッカー９０８、モデルトレーナー９１０、及びオブジェクトエバリュエータ９１２の動作を伴うシステム９００のシーケンス図が描かれている。メッセージ選択システム９０２上で実行される状態トラッカー９０８は、アクティビティデータベース９２４にアクセスして、リモートコンピューティングデバイス９０４、アプリケーション９３２、又はユーザー９３６のいずれかのアクティビティログ９２８を取得若しくは識別してもよい。アクティビティデータベース９２４に保持されているアクティビティログ９２８は、１つ以上のエントリ９４０Ａ～Ｎ（以下、一般的にエントリ９４０と呼ぶ）を含んでもよい。アクティビティログ９２８の各エントリ９４０は、ユーザー９３６に関連付けられたリモートコンピューティングデバイス９０４を介して記録された、ユーザー９３６による少なくとも１つのアクションを識別又は含んでもよい。ユーザー９３６によるアクションは、リモートコンピューティングデバイス９０４上のアプリケーション９３２を介したメッセージの以前の提示に応じたものであってもよい。例えば、リモートコンピューティングデバイス９０４上で実行されているアプリケーション９３２は、アプリケーション９３２上で提示された前回のメッセージの１つ以上のユーザーインタフェース要素を介してユーザー９３６が入力したインタラクションを検出してもよい。ユーザーインタフェース要素とのインタラクションは、ユーザー９３６によって実行されたアクションを示してもよい。検出されると、アプリケーション９３２は、アクティビティデータベース９２４上のアクティビティログ９２８に記録するために、メッセージ選択システム９０２にインタラクションの指示を送信してもよい。指示は、インタラクションが入力された時刻を特定するタイムスタンプを含んでもよい。受信すると、リモートコンピューティングデバイス９０４からの指示は、アクティビティログ９２８のエントリ９４０の１つとしてアクティビティデータベース９２４に記憶され、維持されてもよい。

【0169】

アクティビティデータベース９２４からの識別により、状態トラッカー９０８は、アクティビティログ９２８を解析して、エントリ９４０を識別又は取得してもよい。エントリ９４０を識別することによって、状態トラッカー９０８は、アクティビティログ９２８のエントリ９４０に示されているように、リモートコンピューティングデバイス９０４を介して記録されたユーザー９３６によって実行されたアクションを決定、識別、又は取得してもよい。いくつかの実施形態では、状態トラッカー９０８は、定義された時間窓内のエントリ９４０のタイムスタンプに基づいて、アクティビティログ９２８のエントリ９４０のサブセットを選択又は識別してもよい。定義された時間窓は、現在時刻に対して相対的であってもよく、１時間から１ヶ月の範囲であってもよい。例えば、状態トラッカー９０８は、タイムスタンプで示されるように、過去１週間からのアクティビティログ９２８のエントリ９４０のサブセットを選択してもよい。アクティビティログ９２８からの選択フォーム時に、状態トラッカー９０８は、各エントリ９４０に示されるように、ユーザー９３６によって実行されたアクションを識別してもよい。

【0170】

エントリ９４０に示されているアクションに基づいて、状態トラッカー９０８は、リモートコンピューティングデバイス９０４のユーザー９３６に対する少なくとも１つのユーザー状態９４２（本明細書では、「意図」または「ユーザー意図」と呼ばれることがある）を識別又は決定してもよい。ユーザー状態９４２は、アクティビティデータベース９２４上のアクティビティログ９２８のエントリ９４０に記録されたアクションを推測して、ユーザー９３６の側で期待される目的（例えば、行動のエンドポイント）を分類又は識別してもよい。ユーザー状態９４２は、エントリ９４０に示された使用アクションの様々な側面に関連してもよく、例えば、アプリケーションナビゲーションイベント（例えば、アプリケーション９３２を開くこと）、アプリケーション９３２を介して提供されるレジームに準拠した特定のマイルストーンに属するアプリケーション９３２の完了のような１つ以上の機能とのエンゲージメント・パターン又はインタラクション率、及びアンケート（例えば、ユーザーの健康に関連する）からのユーザー入力データなどを含んでもよい。ユーザー状態９４２は、ユーザー９３６に提示するために提供するメッセージに対応するメッセージオブジェクト９３０の１つを選択する際のパラメータの１つとして使用されてもよい。いくつかの実施形態では、ユーザー状態９４２は、セクションＢおよびＣで議論されたようなコンテキストデータ２２０に対応してもよく、状態トラッカー９０８は、アクティビティログ９２８から特定されたアクションに基づいて、ユーザー状態９４２のセットからユーザー状態９４２を選択又は決定してもよい。セット内の各ユーザー状態９４２は、１つ以上のアクションに対応するものとして定義されてもよい。例えば、アクティビティログ９２８から特定されたアクションが、セット内のユーザー状態９４２に対して定義されたアクションの１つと一致する場合、状態トラッカー９０８は、ユーザー９３６のための対応するユーザー状態９４２を決定してもよい。

【0171】

関連して、メッセージ選択システム９０２上で実行されるオブジェクトエバリュエータ９１０は、メッセージデータベース９２６から１つ以上のメッセージオブジェクト９３０を識別してもよい。識別されたメッセージオブジェクト９３０は、リモートコンピューティングデバイス９０４での提示に提供する対応するメッセージを選択して生成するためのメッセージ候補オブジェクトとして機能してもよい。各メッセージオブジェクト９３０は、ユーザー９３６への提示のために対応するメッセージを生成して送信するかどうかを評価するための実行可能な命令（例えば、スクリプト）のセットを含んでもよい。いくつかの実施形態では、メッセージオブジェクト９３０は、セクションＢおよびＣで上述したメッセージオブジェクト２０６及びそのコンポーネントに対応してもよい。

【0172】

各メッセージオブジェクト９３０は、とりわけ、少なくとも１つのメッセージテンプレート９４４、少なくとも１つの制約９４６、及び少なくとも１つの選択基準９４８を含んでもよい。メッセージテンプレート９４４は、１つ以上のユーザーインタフェース要素を含むように対応するメッセージを生成するための命令を含んでもよい。例えば、メッセージテンプレート９４４は、リモートコンピューティングデバイス９０４を介して提示されるメッセージのグラフィカル・ユーザーインタフェース要素にテキスト又はビジュアルコンテンツを挿入するためのプレースホルダーを識別してもよい。制約９４６は、メッセージオブジェクト９３０に対応するメッセージを生成又は送信するための１つ以上の制約を定義若しくは含んでもよい。制約９４６の制限は、例えば、対応するメッセージの生成及び送信が許可される１つ以上の時間窓（例えば、時刻又は週末対平日）を含んでもよい。選択基準９４８は、メッセージオブジェクト９３０に対応するメッセージを提示する際にユーザー９３６が達成すべき１つ以上のエンドポイントを定義又は含んでもよい。また、選択基準９４８は、エンドポイントが達成されるべき時間窓を識別又は定義してもよい。選択基準９４８のエンドポイントは、アプリケーション９３２を介して提供されるデジタル療法の最適な提供を可能にするために、摂生パターンに従事するようにユーザー９３６を動機付けるものなど、ユーザー９３６に達成されることが期待される行動目標を含んでもよい。選択基準９４８は、ユーザー９３６がより大きな治療効果を受けるように動機付けすることを目的として、事前に構成又は事前設定されてもよい。選択基準９４８によって定義される行動オブジェクトは、例えば、アプリケーションナビゲーションイベント（例えば、アプリケーション９３２を開くこと）、ユーザー９３６の側での特定の活動（例えば、呼吸、エクササイズ、又はダイエット）の実行、及びアプリケーション９３２を介した活動のスケジューリング（例えば、エクササイズを実行する将来の時刻を指定すること）などを含んでもよい。

【0173】

各メッセージオブジェクト９３０について、オブジェクトエバリュエータ９１０は、ユーザー状態９４２及び選択基準９４８に基づいて、少なくとも１つの信頼値９５２を計算、生成、又は決定してもよい。信頼値９５２は、メッセージオブジェクト９３０に対する選択基準９４８によって定義されたエンドポイントの達成に向けて、特定のユーザー９３６に対するメッセージオブジェクト９３０に対応するメッセージの予測効果を特定、表現、又は示してもよい。また、信頼値９５２は、ユーザー９３６が、選択基準９４８によって定義されたエンドポイントのうちの少なくとも１つに対応する行動をとるという予測される可能性を示してもよい。メッセージオブジェクト９３０に対する信頼値９５２を決定する際、オブジェクトエバリュエータ９１０は、選択基準９４８によって定義されたエンドポイントと、ユーザー９３８のユーザー状態９４２とを比較してもよい。ユーザー状態９４２は、ユーザー９３６の側の目的を識別してもよく、選択基準９４８によって定義されたエンドポイントの１つに対応してもよい。選択基準９４８によって定義されたエンドポイントの少なくとも１つが、ユーザー状態９４２と一致又は対応する場合、オブジェクトエバリュエータ９１０は、比較的高い信頼値９４２を決定してもよい。逆に、選択基準９４８によって定義されたエンドポイントのいずれも、ユーザー状態９４２に一致又は対応しない場合、オブジェクトエバリュエータ９１０は、相対的に低い信頼値９４２を決定してもよい。いくつかの実施形態では、メッセージ配信器９１４はまた、メッセージオブジェクト９３０をさらなる処理から削除してもよい。

【0174】

信頼値９５２の決定を容易にするために、メッセージ選択システム９０２上で実行されるモデルトレーナー９１２は、評価モデル９２０を維持してもよい。評価モデル９２０は、メッセージオブジェクト９３０の信頼値９５２を決定するために使用されてもよい。評価モデル９２０は、例えば、回帰モデル（例えば、線形回帰モデル又はロジスティック回帰モデル）、サポートベクターマシン（ＳＶＭ）、人工ニューラルネットワーク（ＡＮＮ）、ナイーブベイズ分類器、及び分類モデル（例えば、ｋ近傍法）などを含んでもよい。一般に、評価モデル９２０は、一組の重みを介して互いに関連する一組の入力と一組の出力とを含んでもよい。いくつかの実施形態では、評価モデル９２０は、メッセージオブジェクト９３０の１つ（例えば、モデル２１０）の一部であるか、又は専用であってもよい。いくつかの実施形態では、評価モデル９２０は、個々のメッセージオブジェクト９３０とは別に、メッセージデータベース９２６に保持されているメッセージオブジェクト９３０のセットに対して一般的であってもよい。

【0175】

モデルトレーナー９１２は、トレーニングデータセットを使用して、評価モデル９２０を開始又は確立してもよい。評価モデル９２０のトレーニングは、評価モデル９２０のアーキテクチャに応じて行われてもよい。例えば、評価モデル９２０が分類モデルである場合、トレーニングは、収束するまで反復的に実行されてもよい。評価モデル９２０のためのトレーニングデータセットは、以前に提示されたメッセージに対するユーザー（例えば、ユーザー９３６）からのレスポンスデータ履歴を含んでもよい。トレーニングデータセット内のメッセージは、メッセージオブジェクト９３０の１つ以上に対応してもよい。トレーニングデータセットは、ユーザーに以前に提供されたメッセージに対応するメッセージオブジェクト９３０のメッセージテンプレート９４４、制約９４６、及び選択基準９４８を含んでもよい。レスポンスデータ履歴は、メッセージオブジェクト９３０によって指定されたエンドポイントの達成における成功又は失敗を示してもよい。モデルをトレーニングする際、モデルトレーナー９１２は、トレーニングデータセットを評価モデル９２０に適用して、成功又は失敗を示す出力を生成してもよい。モデルトレーナー９１２は、出力とレスポンスデータ履歴で示される結果との比較に基づいて、評価モデル９２０の重みを調整又は修正し、収束するまで適用を繰り返してもよい。評価モデル９２０の重みの修正は、評価モデル９２０を実装するために使用されるアーキテクチャに対する学習に従ったものであってもよい。

【0176】

確立により、オブジェクトエバリュエータ９１０は、ユーザー状態９４２及びメッセージオブジェクト９３０を評価モデル９２０に適用して、信頼値９５２を生成又は決定してもよい。いくつかの実施形態では、オブジェクトエバリュエータ９１０は、評価モデル９２０に適用する際に、メッセージテンプレート９４４、制約９４６、及び選択基準９４８、又はそれらの任意の組み合わせを（例えば、特徴空間表現において）考慮してもよい。例えば、オブジェクトエバリュエータ９１０は、評価モデル９２０に適用する際に、メッセージオブジェクト９３０のユーザー状態９４２及び選択基準９４８によって定義されるエンドポイントを使用してもよい。適用するために、オブジェクトエバリュエータ９１０は、評価モデル９２０への入力として、ユーザー状態９４２及びメッセージオブジェクト９３０を（例えば、それらの特徴空間表現で）供給してもよい。オブジェクトエバリュエータ９１０は、評価モデル９２０の重みの使用により入力を処理し、評価モデル９２０の出力を生成してもよい。オブジェクトエバリュエータ９１０は、評価モデル９２０の出力を、メッセージオブジェクト９３０の信頼値９５２として識別してもよい。一般的に、選択基準９４８によって定義されたエンドポイントの少なくとも１つがユーザー状態９４２と相関するとき、信頼値９４２は相対的に高くなってもよい。逆に、選択基準９４８によって定義されたエンドポイントのいずれもがユーザー状態９４２と相関しない場合、信頼値９４２は相対的に低くてもよい。

【0177】

いくつかの実施形態では、メッセージ配信器９１４は、メッセージオブジェクト９３０に対して定義された制約９４６に基づいて、メッセージオブジェクト９３０の１つ以上を選択から維持又は削除してもよい。各メッセージオブジェクト９３０について、メッセージ配信器９１４は、制約９４６を識別してもよい。上述したように、制約９４６は、メッセージオブジェクト９３０に対応するメッセージを生成又は送信するための１つ以上の制約（例えば、時間窓）を定義若しくは含んでもよい。いくつかの実施形態では、メッセージ配信器９１４は、メッセージオブジェクト９３０に対応するメッセージが送信される時刻に対応する現在時刻を特定してもよい。メッセージ配信器９１４は、現在時刻を、メッセージオブジェクト９３０の制約９４６によって定義された制限された時間窓と比較してもよい。現在時刻が制約９４６によって定義された制限された時間窓内にないとき、メッセージ配信器９１４は、以下に説明するように、さらなる処理のためにメッセージオブジェクト９３０を維持してもよい。そうでない場合、現在時刻が制約９４６によって定義された制限された時間窓内にあるとき、メッセージ配信器９１４は、メッセージオブジェクト９３０をさらなる処理から削除してもよい。

【0178】

次に図９Ｃを参照すると、メッセージ選択システム９０２の中でも、メッセージ配信器９１４及びメッセージジェネレータ９１６の動作を有するシステム９００のシーケンス図が描かれている。メッセージ選択システム９０２上で実行されるメッセージ配信器９１４は、少なくとも１つの配信ポリシー９２２に従って、メッセージオブジェクト９３０の少なくとも１つを識別又は選択してもよい。配信ポリシー９２２は、他の要因の中でも、メッセージオブジェクト９３０に対する信頼値９５２に基づいて、メッセージオブジェクト９３０のうちの少なくとも１つの選択を指定してもよい。いくつかの実施形態では、配信ポリシー９２２は、メッセージオブジェクト９３０のうちの１つに特定されてもよい。いくつかの実施形態では、配信ポリシー９２２は、メッセージオブジェクト９３０のセットに一般的に適用されてもよい。

【0179】

配信ポリシー９２２は、特に、少なくとも１つのアップデート係数９６０、少なくとも１つの閾値９６２、及び少なくとも１つの配信時刻９６４を特定、定義、又はその他の方法で含んでもよい。アップデート係数９６０は、メッセージオブジェクト９３０に対する信頼値９５２が修正又は調整されるべき値若しくは量を特定若しくは定義してもよい。いくつかの実施形態では、アップデート係数９６０は、信頼値９５２が調整される（例えば、増加又は減少）量が、リモートコンピューティングデバイス９０４への任意のメッセージの前回の提供からの経過時間に基づいて行われることを指定してもよい。例えば、アップデート係数９６０は、セクションＢ及びＣで説明したように、クールダウンポリシー２３２として機能してもよい。閾値９６２は、メッセージオブジェクト９３０がさらなる処理のために選択されることが許可される信頼値９５２の値を指定してもよい。いくつかの実施形態では、閾値９６２は、メッセージデータベース９２６上に保持されたメッセージオブジェクト９３０に対して決定された信頼値９５２に対して相対的に定義されてもよい。例えば、閾値９６２は、信頼値９５２の最高５％を有するメッセージオブジェクト９３０が更なる処理のために選択されることを許可されると規定してもよい。いくつかの実施形態では、閾値９６２は、セクションＢ及びＣで議論されるような閾値ポリシー２３４として機能してもよい。配信時刻９６４は、メッセージオブジェクト９３０の１つに対応するメッセージがリモートコンピューティングデバイス９０４に送信又は提供されてもよい時刻若しくは時間窓を指定してもよい。

【0180】

どのメッセージオブジェクト９３０を選択するかを決定する際に、メッセージ配信器９１４は、配信ポリシー９２２のアップデート係数９６０を使用して、各メッセージオブジェクト９３０の信頼値９５２を修正又は他の方法でアップデートしてもよい。いくつかの実施形態では、メッセージ配信器９１４は、メッセージオブジェクト９３０の１つに対応する任意のメッセージをリモートコンピューティングデバイス９０４に送信した前回の時刻と現在時刻との間の経過時間量を特定してもよい。経過時間量の特定は、配信ポリシー９２２のアップデート係数９６０によって特定されてもよい。経過時間の量に基づいて、メッセージ配信器９１４は、メッセージオブジェクト９３０のアップデート係数９６０を決定してもよい。アップデート係数９６０を用いて、メッセージ配信器９１４は、各メッセージオブジェクト９３０の信頼値９５２を修正又はアップデートしてもよい。例えば、メッセージ配信器９１４は、信頼値９５２を調整するために、アップデート係数９６０を信頼値９５２に乗じてもよい。

【0181】

いくつかの実施形態では、配信ポリシー９２２の仕様に加えて、メッセージ配信器９１４は、メッセージオブジェクト９３０に対して定義された制約９４６に基づいて、メッセージオブジェクト９３０の１つ以上を選択から維持又は削除してもよい。各メッセージオブジェクト９３０のために、メッセージ配信器９１４は、制約９４６を識別してもよい。上述したように、制約９４６は、メッセージオブジェクト９３０に対応するメッセージを生成又は送信するための１つ以上の制約（例えば、時間窓）を定義若しくは含んでもよい。いくつかの実施形態では、メッセージ配信器９１４は、メッセージオブジェクト９３０に対応するメッセージが送信される時刻に対応する現在時刻を特定してもよい。いくつかの実施形態では、メッセージ配信器９１４は、現在時刻を、メッセージオブジェクト９３０の制約９４６によって定義された制限された時間窓と比較してもよい。現在時刻が制約９４６によって定義された制限された時間窓内にないとき、メッセージ配信器９１４は、以下に説明するように、さらなる処理のためにメッセージオブジェクト９３０を維持してもよい。そうでない場合、現在時刻が制約９４６によって定義された制限された時間窓内にあるとき、メッセージ配信器９１４は、メッセージオブジェクト９３０をさらなる処理から削除してもよい。

【0182】

アップデートされた信頼値９５２に基づいて、メッセージ配信器９１４は、メッセージオブジェクト９３０のセットのうちの少なくとも１つを識別又は選択してもよい。いくつかの実施形態では、メッセージ配信器９１４は、アップデートされた信頼値９５２によってメッセージオブジェクト９３０のセットを順位付けしてもよい。ランク付けを使用して、メッセージ配信器９１４は、メッセージオブジェクト９３０のうちの１つ（例えば、ランク付けで最も高い信頼値９５２を有するメッセージオブジェクト９３０）を選択してもよい。いくつかの実施形態では、メッセージ配信器９１４は、メッセージオブジェクト９３０のアップデートされた信頼値９５２を、配信ポリシー９２２に定義された閾値９６２と比較してもよい。信頼値９５２が閾値９６２を満たす（例えば、それよりも大きい）場合、メッセージ配信器９１４は、対応するメッセージオブジェクト９３０を選択してもよい。逆に、信頼値９５２が閾値９６２を満たさない（例えば、以下である）場合、メッセージ配信器９１４は、対応するメッセージオブジェクト９３０の選択を控えてもよい。

【0183】

メッセージオブジェクト９３０の選択により、リモートコンピューティングシステム上で実行されるメッセージジェネレータ９１６は、リモートコンピューティングデバイス９０４のユーザー９３６に提示するための少なくとも１つの対応するメッセージ９１６を作成又は生成してもよい。メッセージジェネレータ９１６は、選択されたメッセージオブジェクト９３０のメッセージテンプレート９４４を識別してもよい。識別により、メッセージジェネレータ９１６は、メッセージオブジェクト９３０に対するメッセージテンプレート９４４の仕様を解析してもよい。構文解析において、メッセージジェネレータ９１６は、メッセージテンプレート９４４を実行して、メッセージ９６６を生成してもよい。生成されると、メッセージ９６６は、１つ以上のユーザーインタフェース要素９６８Ａ～Ｎ（以下、総括的にユーザーインタフェース要素９６８と称する）を含んでもよい。ユーザーインタフェース要素９６８は、リモートコンピューティングデバイス９０４を介して提示されるメッセージ９６６のグラフィカル・ユーザーインタフェース要素に対応してもよく、ユーザー９３６によるインタラクションの検出に応じて起動される機能を含んでもよい。

【0184】

次に図９Ｄを参照すると、メッセージ選択システム９０２及びリモートコンピューティングデバイス９１４のうち、メッセージジェネレータ９１６並びにレスポンスハンドラ９１８の動作を有するシステム９００のシーケンス図が描かれている。生成時に、メッセージジェネレータ９１６は、ネットワーク９０６を介してリモートコンピューティングデバイス９０４にメッセージ９６６を提供、送信、又はその他の方法で送信してもよい。いくつかの実施形態では、メッセージ配信器９１４は、現在時刻を、配信ポリシー９２２の配信時刻９６４によって定義される指定された時間窓と比較してもよい。現在時刻が、配信ポリシー９２２によって定義された指定された時間窓内にあるとき、メッセージ配信器９１４は、メッセージオブジェクト９３０をリモートコンピューティングデバイス９０４に送信してもよい。そうでない場合、現在時刻が配信ポリシー９２２によって定義された指定された時間窓の外にあるとき、メッセージ配信器９１４は、現在時刻が配信時刻９６４に一致するまで待ってもよい。

【0185】

受信すると、リモートコンピューティングデバイス９０４上で実行するアプリケーション９３２は、ユーザー９３６のためにメッセージ９６６を提示してもよい。アプリケーション９３２は、ネットワーク９０６を介してメッセージ選択システム９０２と通信するように、リモートコンピューティングデバイス９０４を構成してもよい。アプリケーション９３２は、メッセージ９６６を解析し、リモートコンピューティングデバイス９０４を介して、ユーザーインタフェース要素９６８を含むメッセージ９６６を提示（例えば、レンダリング又は再生）してもよい。メッセージ９６６が提示されると、アプリケーション９３２のレポーティングエージェント９３４は、リモートコンピューティングデバイス９０４の入力／出力（Ｉ／Ｏ）デバイスを介して、メッセージ９６６のユーザーインタフェース要素９６８との１つ以上のインタラクションを監視してもよい。インタラクションは、ユーザー９３６によって実行されてもよく、メッセージ９６６の提示に応じたユーザー９３６によって実行された１つ以上のアクティビティを記録するために使用されてもよい。例えば、リモートコンピューティングデバイス９０４を介して提示されたメッセージ９６６が、ユーザー９３６が呼吸法を実行することを示している場合、ユーザー９３６は、呼吸法が実行されたことを示すコマンドボタンを選択してもよい。メッセージ９６６で検出されたインタラクションに基づいて、レポーティングエージェント９３４は、少なくとも１つのレスポンス９７０を生成及び送信してもよい。レスポンス９７０は、リモートコンピューティングデバイス９０４を介したインタラクションを使用して記録されたメッセージ９６６の提示時にユーザー９３６によって実行された１つ以上のアクションを識別してもよい。また、レスポンス９７０は、アクションがリモートコンピューティングデバイス９０４に記録された時刻に対応するタイムスタンプを特定又は含んでもよい。生成時に、アプリケーション９３２は、ネットワーク９０６を介してメッセージ選択システム９０２にレスポンス９７０を送信又は伝送してもよい。

【0186】

メッセージ選択システム９０２上で実行されるレスポンスハンドラ９１８は、今度は、ネットワーク９０６を介してリモートコンピューティングデバイス９０４からレスポンス９７０を識別又は受信してもよい。レスポンスハンドラ９１８は、レスポンス９７０を解析して、レスポンス９７０に示されているようにユーザー９３６によって実行された１つ以上のアクションを識別してもよい。レスポンス９７０から識別されたアクティビティを使用して、レスポンスハンドラ９１８は、ユーザー９３６のアクティビティログ９２８に含めるための１つ以上のエントリ９４０’Ａ～Ｎ（以下、総括的にエントリ９４０’と称する）を生成してもよい。エントリ９４０は、メッセージ９６６の提示に応じたユーザー９３６が実行したアクションを識別してもよい。エントリ９４０は、ユーザー９３６がアプリケーション９３２上でアクションを記録した時刻に対応するタイムスタンプを含んでもよい。レスポンスハンドラ９１８は、メッセージデータベース９２４に保持されているユーザー９３６のアクティビティログ９２８に、新しいエントリ９４０’を追加又は挿入してもよい。エントリ９４０’を追加することにより、レスポンスハンドラ９１８は、リモートコンピューティングデバイス９０４を介したメッセージ９６６の提示に応じたユーザー９３６が実行したアクションを記録してもよい。アクティビティログ９２８に新たに追加されたエントリ９４０’は、ユーザー９３６のためのユーザー状態９４２をアップデートするために使用されてもよい。

【0187】

このようにして、メッセージ選択システム９０２は、適切なタイミングにリモートコンピューティングデバイス９０６に関連付けられたユーザー９３６によって対話される可能性がより高いメッセージ９６６を選択及び生成してもよい。メッセージ９６６の選択及び生成は、ユーザー９３６並びにシステム９００全体（リモートコンピューティングデバイス９０４を含む）との間のヒューマン・コンピュータ・インタラクション（ＨＣＩ）の質を高めてもよい。また、選択及び生成は、ユーザー９３６の行動上のエンドポイント又は目的の可能性を高める結果となり得る。さらに、メッセージ９６６が読まれ、対話される可能性が高いので、メッセージ選択システム９０２は、無駄なコンピューティングリソース及びネットワーク帯域幅をよりよく利用及び削減することができる。

【0188】

ここで図１０を参照すると、信頼値を使用してネットワーク環境でメッセージを選択及び送信する方法１０００のフロー図が描かれている。方法１０００は、図１～９Ｄに関連して本明細書で詳述したようなコンポーネントのいずれかを使用して実装されてもよい。１－９Ｄ．簡単に概要を説明すると、サーバは、アクティビティログからアクションを取得してもよい（１００５）。サーバは、ユーザー状態を決定してもよい（１０１０）。サーバは、メッセージオブジェクト候補を識別してもよい（１０１５）。サーバは、信頼値を決定してもよい（１０２０）。サーバは、経過時間によって信頼性の値をアップデートしてもよい（１０２５）。サーバは、メッセージオブジェクトを選択してもよい（１０３０）。サーバは、メッセージを生成してもよい（１０３５）。サーバは、メッセージを送信してもよい（１０４０）。

【0189】

さらに詳細には、サーバ（例えば、メッセージ選択システム９０２）は、アクティビティログ（例えば、アクティビティログ９２８）からアクションを取得してもよい（１００５）。アクティビティログは、１つ以上のエントリ（例えば、エントリ９４０）を含んでもよい。アクティビティログの各エントリは、前回のメッセージの提示に応じたユーザー（例えば、ユーザー９３６）によって実行された１つ以上のアクションを識別してもよい。サーバは、アクティビティログのエントリを解析して、１つ以上のアクションを識別してもよい。サーバは、ユーザー状態（例えば、ユーザー状態９４２）を決定してもよい（１０１０）。特定されたアクションを用いて、サーバは、ユーザーのユーザー状態を決定してもよい。ユーザーは、アクティビティログに記録されたアクションを実行する際のユーザーの目的を示してもよい。また、サーバは、定義されたユーザー状態のセットからユーザー状態を選択してもよい。各ユーザー状態は、ユーザーが実行した１つ以上の行動に対応してもよい。

【0190】

サーバは、メッセージオブジェクト候補（例えば、メッセージオブジェクト９３０）を識別してもよい（１０１５）。各メッセージオブジェクトは、特に、メッセージテンプレート（例えば、メッセージテンプレート９４４）、制約（例えば、制約９４６）、及び選択基準（例えば、選択基準９４８）を含んでもよい。メッセージテンプレートは、対応するメッセージおよびメッセージ上のユーザーインタフェース要素の生成を指定してもよい。制約は、メッセージオブジェクトの選択を制限する条件を指定してもよい。選択基準は、メッセージオブジェクトに対応するメッセージを提示する際に達成すべき１つ以上のエンドポイントを定義してもよい。

【0191】

サーバは、信頼値（例えば、信頼値９５２）を決定してもよい（１０２０）。各メッセージオブジェクトの信頼値を決定するために、サーバは、ユーザー状態をメッセージオブジェクトの選択基準によって定義されたエンドポイントと比較してもよい。信頼値は、メッセージオブジェクトの選択基準によって特定されたエンドポイントの達成に向けた対応するメッセージのユーザーに対する予測効果を示してもよい。また、サーバは、信頼値を生成するためにメッセージオブジェクトとユーザー状態を評価モデル（例えば、評価モデル９２０）に適用してもよい。サーバは、経過時間によって信頼値をアップデートしてもよい（１０２５）。サーバは、ユーザーにメッセージを提示した前回からの経過時間に基づいて、信頼度の値を修正してもよい。サーバは、経過時間に基づいて、信頼度の値を増加又は減少させてもよい。

【0192】

サーバは、メッセージオブジェクトを選択してもよい（１０３０）。サーバは、信頼値に基づいて、メッセージオブジェクトの１つを選択してもよい。サーバは、メッセージオブジェクトの信頼値を、閾値（例えば、閾値９６２）と比較してもよい。信頼値が閾値を満たす場合、サーバはメッセージオブジェクトを選択してもよい。そうでない場合、信頼値が閾値を満たさないとき、サーバは、メッセージオブジェクトの選択を控えてもよい。サーバは、メッセージ（例えば、メッセージ９６６）を生成してもよい（１０３５）。選択されたメッセージオブジェクトのテンプレートを使用して、サーバはメッセージを生成してもよい。メッセージは、１つ以上のユーザーインタフェース要素（例えば、ユーザーインタフェース要素９６８）を含んでもよい。サーバは、メッセージを送信してもよい（１０４０）。メッセージは、リモートコンピューティングデバイス（例えば、リモートコンピューティングデバイス９０４）に送信されてもよい。受信すると、リモートコンピューティングデバイスは、メッセージを提示してもよい。

【0193】

Ｅ．ネットワーク環境全体で異なるタイプのメッセージを選択及び送信するシステム並びに方法

【0194】

しかしながら、メッセージの繰り返しの提示は、ユーザーの側にメッセージ疲れを引き起こし、ユーザーはメッセージの提示から何の行動も取らず、ユーザーに通知するメッセージの有効性の低下につながる可能性がある。これは、メッセージを提示する際のコンピューティングデバイスのヒューマン・コンピュータ・インタラクション（ＨＣＩ）の質の低下につながる可能性がある。また、メッセージがネットワーク上で送信され、コンピューティングデバイスによって処理される際に、有効性の低下は、計算リソースやネットワーク帯域の浪費につながる可能性がある。これは、ユーザーのための情報を含んでいても、ユーザーインタフェース要素を介して入力を受け取るように構成されていないメッセージ（本明細書では時々、修辞的メッセージと称する）の性能を評価する際に、特に問題となる可能性がある。ユーザーインタフェース要素を介して入力を受け取るように構成されたメッセージ（本明細書では時々、非修辞的メッセージと称する）では、そのようなメッセージのパフォーマンススコアは、記録されたレスポンスに基づいて決定してもよい。対照的に、入力を受け取るように構成されていないメッセージでは、メッセージに対するレスポンスの記録がなくてもよい。

【0195】

メッセージの有効性を評価する上でのこれら及びその他の技術的課題に対処するために、記録されたレスポンスを有するメッセージのパフォーマンススコアを使用して、メッセージを欠くユーザーインタフェース要素の予測されるパフォーマンススコアを推定してもよい。メッセージ選択システムは、対応するメッセージに対するレスポンスが記録されたメッセージオブジェクトのセットを特定することができる。各メッセージオブジェクトは、対応するメッセージを提示する際にユーザーの側で達成すべきエンドポイントを定義してもよい。メッセージ選択システムは、ユーザーからのレスポンスをメッセージオブジェクトのエンドポイントと比較してもよい。比較から、メッセージ選択システムは、ユーザーに提示されたメッセージに対応するメッセージオブジェクトのエンドポイントを満たしたユーザーの数を決定してもよい。

【0196】

ユーザーの数に基づいて、メッセージ選択システムは、各メッセージオブジェクトのパフォーマンススコアを決定してもよい。パフォーマンススコアは、ユーザーにメッセージを提示することの有効性の度合いを示してもよい。この決定により、メッセージ選択システムは、パフォーマンススコアによってメッセージオブジェクトをランク付けしてもよい。ランク付けを使用して、メッセージ選択システムは、送信用のメッセージを生成する際の使用を許可するメッセージオブジェクトのセットを選択してもよい。また、メッセージ選択システムは、メッセージを生成する際の使用を制限するメッセージオブジェクトの別のセットを選択してもよい。許可されたメッセージオブジェクトのセットから、メッセージ選択システムは、入力要素のない構成のためにレスポンスを記録する能力に欠ける他のメッセージオブジェクトを識別してもよい。他のメッセージオブジェクトの識別は、対応するエンドポイントに基づいてもよい。メッセージ選択システムは、識別されたメッセージオブジェクトを、許可されたメッセージオブジェクトのセットに追加してもよい。

【0197】

このようにして、メッセージ選択システムは、生成及びリモートコンピューティングデバイスへの提供が可能なメッセージのセットを拡張し、それによって、メッセージの機能を増強してもよい。メッセージの拡張は、ユーザーとリモートコンピューティングデバイスとの間のヒューマン・コンピュータ・インタラクション（ＨＣＩ）の品質を向上させることができる。また、メッセージは（記録されていなくても）ユーザーのアクションにつながる可能性が高いため、メッセージ選択システムは、メッセージの提供及び提示に消費される無駄なコンピューティングリソース並びにネットワーク帯域をより有効に活用し、削減することができる。

【0198】

次に図１１Ａを参照すると、信頼値を使用してネットワーク環境全体で異なるタイプのメッセージを選択及び送信するためのシステム１１００のブロック図が描かれている。概要として、システム１１００は、少なくとも１つのメッセージ選択システム１１０２と、１つ以上のリモートコンピューティングデバイス１１０４Ａ～Ｎ（以下、総括的にリモートコンピューティングデバイス１１０４と称する）とを含むことができる。メッセージ選択システム１１０２及びリモートコンピューティングデバイス１１０４は、少なくとも１つのネットワーク１１０６を介して互いに通信可能に結合されてもよい。メッセージ選択システム１１０２は、少なくとも１つのレスポンストラッカー１１０８、少なくとも１つのオブジェクトエバリュエータ１１１０、少なくとも１つのモデルトレーナー１１１２、少なくとも１つの配信コントローラ１１１４、及び少なくとも１つのメッセージ相関器１１１６、少なくとも１つの性能モデル１１１８、少なくとも１つのレスポンスデータベース１１２０、並びに少なくとも１つのメッセージデータベース１１２２などを含んでもよい。レスポンスデータベース１１２０は、レスポンスデータ１１２４Ａ～Ｎ（以下、総括的にレスポンスデータ１１２４と称する）を維持又は含んでもよい。メッセージデータベース１１２２は、１つのタイプのメッセージオブジェクト１１２６Ａ～Ｎのセット（以下、総括的にメッセージオブジェクト１１２６と称する）、及び別のタイプのメッセージオブジェクト１１２６’Ａ～Ｎのセット（以下、総括的にメッセージオブジェクト１１２６’と称する）とを維持又は含んでもよい。各リモートコンピューティングデバイス１１０４は、少なくとも１つのアプリケーション１１２８を含んでもよい。リモートコンピューティングデバイス１１０４上で動作するアプリケーション１１２８は、少なくとも１つのレポーティングエージェント１１３０を含んでもよい。リモートコンピューティングデバイス１１０４は、少なくとも１人のユーザー１１３２と関連していてもよい。

【0199】

システム１１００の各構成要素（例えば、メッセージ選択システム１１０２及びその構成要素、並びにリモートコンピューティングデバイス１１０４並びにその構成要素）は、セクションＡで本明細書に詳述されたシステム１００のようなハードウェア又はハードウェアの組み合わせを使用して実行、処理、又は実装されてもよい。また、システム１１００の構成要素は、本明細書のセクションＢ及びＣで詳述されている機能性を実行、処理、又は実装するために使用されてもよい。例えば、メッセージ選択システム１１０２は、メッセージ選択システム２０２に関連して説明された機能を含んでもよい。データベース１１２０に保持されたメッセージオブジェクト１１２６又は１１２６’は、メッセージオブジェクト２０６に関連して本明細書で詳述された機能を含んでもよい。オブジェクトエバリュエータ１１１０は、メッセージオブジェクトエバリュエータ２５２の機能などを含んでもよい。リモートコンピューティングデバイス１１０４は、リモートコンピューティングデバイス２７０と併せて、本明細書に記載された機能を含むか、又は実行してもよい。

【0200】

次に図１１Ｂを参照すると、メッセージ選択システム１１０２のうち、レスポンストラッカー１１０８、オブジェクトエバリュエータ１１１０、及びモデルトレーナー１１１２の動作を有するシステム１１００のシーケンス図が描かれている。メッセージ選択システム１１０２上で実行されるレスポンストラッカー１１０８は、レスポンスデータベース１１２０にアクセスして、レスポンスデータ１１１２を取得又は識別してもよい。レスポンスデータ１１１２は、リモートコンピューティングデバイス１１０４、アプリケーション１１２６、又はユーザー１１３０のうちの１つ以上にわたる１つ以上のエントリ１１４０Ａ～Ｎ（以下、総括的にエントリ１１４０と呼ぶ）を含んでもよい。いくつかの実施形態では、レスポンストラッカー１１０８は、時間窓内でレスポンスデータ１１２４からエントリ１１４０のサブセットを特定してもよい。時間窓は、現在時刻を基準に定義されてもよく、１時間から１ヶ月の間であってもよい。時間窓から収集されたレスポンスデータ１１２４は、ユーザー１１３０に以前に提示されたメッセージオブジェクト１１２６に対応するメッセージの性能を評価又は査定するために使用されてもよい。

【0201】

レスポンスデータ１１２０の各エントリ１１４０（本明細書では時々、レスポンスと称する）は、ユーザー１１３２に関連付けられたリモートコンピューティングデバイス１１０４を介して記録された、ユーザー１１３２による少なくとも１つのアクションを識別又は含んでもよい。ユーザー１１３２によるアクションは、リモートコンピューティングデバイス１１０４上のアプリケーション１１２８を介したメッセージの以前の提示に応じたものであってもよい。例えば、リモートコンピューティングデバイス１１０４上で実行されているアプリケーション１１２８は、アプリケーション１１２８上で提示された前回のメッセージのユーザーインタフェース要素の１つ以上を介して、ユーザー１１３２によって入力されたインタラクションを検出してもよい。前のメッセージは、第１のタイプのメッセージオブジェクト１１２６を用いて生成されたものであってもよい。ユーザーインタフェース要素との相互作用は、ユーザー１１３２によって実行されるアクションを示してもよい。検出されると、アプリケーション１１２８は、レスポンスデータベース１１２０上のレスポンスデータ１１２４に記録するために、メッセージ選択システム１１０２にインタラクションの指示を送信してもよい。表示には、インタラクションが入力された時刻を特定するタイムスタンプを含んでもよい。受信すると、リモートコンピューティングデバイス１１０４からの指示は、レスポンスデータ１１２４のエントリ１１４０の１つとしてレスポンスデータベース１１２０上に記憶及び保持されてもよい。

【0202】

いくつかの実施形態では、レスポンストラッカー１１０８は、ユーザー１１３２のレスポンスデータ１１１２のエントリ１１４０を使用して、各ユーザー１１３２のユーザー状態（本明細書では時々、「意図」又は「ユーザー意図」と称する）を識別又は決定してもよい。レスポンストラッカー１１０８によるユーザー状態の決定は、上述した状態トラッカー９０８によるユーザー状態９４２の決定と同様の方法で行われる。ユーザー状態は、レスポンスデータ１１２４のエントリ１１４０に記録されたアクションを推測して、ユーザー１１３２の側で期待される目的（例えば、行動上のエンドポイント）を分類又は特定してもよい。ユーザー状態は、エントリ１１４０に示された使用アクティビティの様々な側面に関連する可能性がある。エントリ１１４０は、例えば、アプリケーションナビゲーションイベント（例えば、アプリケーション１１２８を開くこと）、アプリケーション９３２を介して提供されるレジームに準拠した特定のマイルストーンに属するアプリケーション９３２の完了のような１つ以上の機能とのエンゲージメント・パターン又はインタラクション率、及びアンケートからのユーザー入力データ（例えば、ユーザーの健康に関連する）などである。いくつかの実施形態では、レスポンストラッカー１１０８は、メッセージの提示前のユーザー１１３２に対するユーザー状態を、提示前のエントリ１１４０のサブセットを用いて決定してもよい。レスポンスデータ１１２４からのエントリ１１４０のサブセットは、例えば、メッセージを選択する際に使用されたものや、メッセージの提示に先立って設定された数のエントリ１１４０を含んでもよい。レスポンストラッカー１１０８は、エントリ１１４０のタイムスタンプに基づいて、提示前のエントリ１１４０を識別してもよい。いくつかの実施形態では、レスポンストラッカー１１０８は、レスポンスデータ１１２４から識別されたアクションに基づいて、ユーザー状態のセットからユーザー状態を選択または決定してもよい。セット内の各ユーザー状態は、１つ以上のアクションに対応するものとして定義されてもよい。

【0203】

メッセージ選択システム１１０２上で実行されるオブジェクトエバリュエータ１１１０は、メッセージデータベース１１２２から第１のタイプ（本明細書では時々、非修辞的タイプと称する）の１つ以上のメッセージオブジェクト１１２６を識別してもよい。各メッセージオブジェクト１１２６は、ユーザー１１３２に提示するために対応するメッセージ１１４６を生成して送信するかどうかを評価するための実行可能な命令（例えば、スクリプト）のセットを含んでもよい。いくつかの実施形態では、メッセージオブジェクト１１２６は、セクションＢ及びＣで上述したメッセージオブジェクト２０６並びにそのコンポーネントに対応してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、第１のタイプのメッセージオブジェクト１１２６を識別してもよい。

【0204】

各メッセージオブジェクト１１２６は、少なくとも１つのメッセージテンプレート１１４２及び少なくとも１つの選択基準１１４４などを含んでもよい。メッセージテンプレート１１４２は、１つ以上のユーザーインタフェース要素を含むように、第１のタイプの少なくとも１つの対応するメッセージ１１４６を生成するための命令を含んでもよい。例えば、メッセージテンプレート１１４２は、リモートコンピューティングデバイス１１０４を介して提示されるメッセージのグラフィカル・ユーザーインタフェース要素にテキスト又はビジュアルコンテンツを挿入するためのプレースホルダーを識別してもよい。選択基準１１４４は、メッセージオブジェクト１１２６に対応するメッセージ１１４６を提示する際にユーザー１１３２が達成すべき１つ以上のエンドポイントを定義又は含んでもよい。また、選択基準１１４４は、エンドポイントが達成されるべき時間窓を特定又は定義してもよい。選択基準１１４４のエンドポイントは、例えば、選択基準９４８によって定義された行動目標に関して上述したような、ユーザー１１３２の一部で達成されることが期待される行動目標を含んでもよい。また、選択基準１１４４は、エンドポイントの１つ以上を満足させるために、ユーザー１１３２によってどの行動が実行されるべきかを示してもよい。

【0205】

第１のタイプの各メッセージオブジェクト１１２６のメッセージテンプレート１１４２は、少なくとも１つのメッセージ１１４６に対応していてもよいし、少なくとも１つのメッセージ１１４６を生成するために使用されてもよい。第１のタイプのメッセージオブジェクト１１２６について、各メッセージ１１４６は、１つ以上の非インタラクティブ要素１１４８Ａ～Ｎ（以下、総括的に非インタラクティブ要素１１４８と称する）及び１つ以上のインタラクティブ要素１１５０Ａ～Ｎ（以下、総括的にインタラクティブ要素１１５０と称する）を含んでもよい。各非インタラクティブ要素１１４８は、リモートコンピューティングデバイス１１０４を介して提示されたときに、ユーザー１１３２による検出されたインタラクションに応答する構成を欠いていてもよい。また、非インタラクティブ要素１１４８は、ユーザー１１３２によるインタラクションを記録する構成を欠いていてもよい。これに対して、各インタラクティブ要素１１５０は、リモートコンピューティングデバイス１１０４を介して提示されたときに、ユーザー１１３２による検出されたインタラクションに応答するための構成を有していてもよい。また、インタラクティブ要素１１５０は、ユーザー１１３２によるインタラクションを記録し、検出されたインタラクションをメッセージ選択システム１１０２と通信する構成を有していてもよい。

【0206】

各メッセージオブジェクト１１２６について、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６に対応するメッセージ１１４６が提示されたときにユーザー１１３０が行ったアクションを記録したレスポンスデータ１１２４を特定してもよい。レスポンスデータを特定する際に、オブジェクトエバリュエータ１１１０は、レスポンスデータベース１１２０にアクセスして、対応するメッセージ１１４６の提示に対するレスポンスに対応するレスポンスデータ１１２４のエントリ１１４０のうち１つ以上を特定してもよい。特定された各エントリ１１４０において、オブジェクトエバリュエータ１１１０は、メッセージ１１４６のインタラクティブ要素１１５２の１つ以上に対するユーザー１１３２による入力を特定してもよい。入力は、メッセージ１１４６のインタラクティブ要素１１５２の１つとのインタラクションを介して記録されてもよい。また、入力は、対応するメッセージ１１４６が提示されたときに、リモートコンピューティングデバイス１１０４を介して記録されたユーザー１１３２が実行したアクションを示してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、レスポンストラッカー１１０８と連携して、エントリ１１４０を解析して、ユーザー１１３２によって実行された記録したアクションを特定してもよい。

【0207】

メッセージオブジェクト１１２６の各エントリ１１４０からの入力に基づいて、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６の選択基準１１４４によって定義されたエンドポイントの少なくとも１つが満たされているかどうかを判定してもよい。判定するために、オブジェクトエバリュエータ１１１０は、エントリ１１４０に示されたアクションを、メッセージオブジェクト１１２６の選択基準１１４４によって定義されたエンドポイントと比較してもよい。上述したように、メッセージオブジェクト１１２６の選択基準１１４４は、定義されたエンドポイントを満たすためにユーザー１１３２が実行する１つ以上のアクションを指定してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、行動をエンドポイントと比較する際に、メッセージオブジェクト１１２６のエントリ１１４０をトラバースしてもよい。

【0208】

エントリ１１４０から特定された行動が、選択基準１１４４のエンドポイントによって指定された行動の１つと一致するとき、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６のエンドポイントの少なくとも１つが満たされると判定してもよい。その判断から、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６の選択基準１１４４で指定されたエンドポイントの少なくとも１つを満足した各メッセージオブジェクト１１２６のユーザー１１３０の数をカウント又は決定してもよい。逆に、エントリ１１４０から特定されたアクションが、選択基準１１４４のエンドポイントによって指定されたアクションのいずれとも一致しない場合、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６のエンドポイントのいずれも満足していないと判定してもよい。この決定から、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６の選択基準１１４４によって指定されたエンドポイントのいずれも満たされなかった各メッセージオブジェクト１１２６について、ユーザー１１３０の数をカウント又は決定してもよい。

【0209】

メッセージオブジェクト１１２６の選択基準１１４４によって規定されたエンドポイントの少なくとも１つを満足したユーザーの数１１３０を使用して、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６に対する少なくとも１つのパフォーマンススコア１１５４を計算、生成、又は決定してもよい。いくつかの実施形態では、パフォーマンススコア１１５４を決定する際に、メッセージオブジェクトの選択基準１１４４によって定義された任意のエンドポイントを満たさなかったユーザー１１３０の数を算出する。パフォーマンススコア１１５２は、選択基準１１４４によって定義されたエンドポイントを達成する際の対応するメッセージ１１４６の有効性を特定、表現、又は示してもよい。また、パフォーマンススコア１１５２は、メッセージオブジェクト１１２６の選択基準１１４４によって定義された１つ以上のエンドポイントを満足させたユーザー１１３０の割合を示してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、関数（例えば、加重平均）を使用してパフォーマンススコア１１５２を決定してもよい。関数は、エンドポイントの少なくとも１つを満足したユーザー１１３０の数と、エンドポイントのいずれも満足しなかったユーザー１１３０の数とを、他の要因の中で考慮してもよい。一般に、メッセージオブジェクト１１４２の選択基準１１４４によって定義されたエンドポイントの少なくとも１つを満足したと判断されたユーザーの数が多い場合、パフォーマンススコア１１５２は相対的に高くなってもよい。逆に、メッセージオブジェクト１１４２の選択基準１１４４によって定義されたエンドポイントの少なくとも１つを満足したと判断されるユーザーの数が少ない場合、パフォーマンススコア１１５２は相対的に低くてもよい。

【0210】

いくつかの実施形態では、パフォーマンススコア１１５２を決定する際に、オブジェクトエバリュエータ１１１０は、対応するメッセージ１１４６の提示の前にエントリ１１４０に関連付けられたユーザー１１３２のユーザー状態を、対応するメッセージオブジェクト１１２６について定義されたエンドポイントと比較してもよい。ユーザー状態が、メッセージオブジェクト１１２６のための選択基準１１４４で定義されたエンドポイントの少なくとも１つに一致又は対応するとき、オブジェクトエバリュエータ１１１０は、比較的高いパフォーマンススコア１１５２を決定してもよい。逆に、ユーザー状態が、メッセージオブジェクト１１２６のための選択基準１１４４で定義されたエンドポイントのいずれとも一致しない、又は対応しない場合、オブジェクトエバリュエータ１１１０は、相対的に低いパフォーマンススコア１１５２を決定してもよい。

【0211】

パフォーマンススコア１１５２の決定を容易にするために、メッセージ選択システム１１０２上で実行されるモデルトレーナー１１１２は、性能モデル１１１８を維持してもよい。性能モデル１１１８は、メッセージオブジェクト１１２６のパフォーマンススコア１１５２を決定するために使用されてもよい。性能モデル１１１８は、例えば、回帰モデル（例えば、線形回帰モデルまたはロジスティック回帰モデル）、サポートベクターマシン（ＳＶＭ）、人工ニューラルネットワーク（ＡＮＮ）、ナイーブベイズ分類器、及び分類モデル（例えば、ｋ近傍法）などを含んでもよい。一般に、性能モデル１１１８は、一連の重みを介して互いに関連する一連の入力及び一連の出力を含んでもよい。いくつかの実施形態では、性能モデル１１１８は、メッセージオブジェクト１１２６の１つ（例えば、モデル２１０）における一部又はその１つに対する専用であってもよい。いくつかの実施形態では、性能モデル１１１８は、個々のメッセージオブジェクト１１２６から分離していてもよく、メッセージオブジェクト１１２６（及びメッセージオブジェクト１１２６’）のセットに対して汎用的であってもよい。

【0212】

モデルトレーナー１１１２は、トレーニングデータセットを使用して性能モデル１１１８を開始又は確立してもよい。性能モデル１１１８のトレーニングは、性能モデル１１１８のアーキテクチャに応じて行われてもよい。例えば、性能モデル１１１８が分類モデルである場合には、収束するまで反復して学習を行ってもよい。性能モデル１１１８のためのトレーニングデータセットは、以前に提示されたメッセージに対するユーザー（例えば、ユーザー１１３２）からのレスポンスデータ履歴を含んでもよい。トレーニングデータセット内のメッセージは、メッセージオブジェクト１１３０の１つ以上に対応してもよい。トレーニングデータセットは、ユーザーに以前に提供されたメッセージに対応するメッセージオブジェクト１１３０のメッセージテンプレート１１４２及び選択基準１１４４を含んでもよい。レスポンスデータ履歴は、メッセージオブジェクト１１３０によって指定されたエンドポイントの達成における成功又は失敗を示してもよい。モデルのトレーニングにおいて、モデルトレーナー１１１２は、トレーニングデータセットを性能モデル１１１８に適用して、成功又は失敗を示す出力を生成してもよい。モデルトレーナー１１１２は、出力とレスポンスデータ履歴で示される結果との比較に基づいて、性能モデル１１１８の重みを調整又は修正し、収束するまで適用を繰り返してもよい。性能モデル１１１８の重みの修正は、性能モデル１１１８を実装するために使用されるアーキテクチャに対する学習に従ったものであってもよい。

【0213】

いくつかの実施形態では、モデルトレーナー１１１２は、レスポンスデータ１１２４の少なくとも一部を使用して、性能モデル１１１８を修正又はアップデートしてもよい。レスポンスデータ１１２４の適用は、パフォーマンススコア１１５２の決定に先立って、それと連動して、又はそれに続いて行われてもよい。レスポンスデータ１１２４を用いた性能モデル１１１８のトレーニング。いくつかの実施形態では、レスポンスデータ１１２４の少なくとも一部は、トレーニングデータセットの一部として含まれてもよい。いくつかの実施形態では、モデルトレーナー１１１２は、レスポンスデータ１１２４のエントリ１１４０を使用して、メッセージオブジェクト１１２６によって定義されるエンドポイントが満たされるかどうかの決定に基づいて、性能モデル１１１８をアップデートしてもよい。例えば、学習において、モデルトレーナー１１１２は、エントリ１１４０を性能モデル１１１８に適用して、成功又は失敗を示す出力を生成してもよい。モデルトレーナー１１１２は、出力と、エンドポイントが満たされているかどうかの判定との比較に基づいて、性能モデル１１１８の重みを調整又は修正し、収束するまで適用を繰り返してもよい。性能モデル１１１８の重みの修正は、性能モデル１１１８を実装するために使用されるアーキテクチャに対する学習に従ったものであってもよい。

【0214】

性能モデル１１１８の確立により、オブジェクトエバリュエータ１１１０は、パフォーマンススコア１１５２を決定するために、メッセージオブジェクト１１２６について特定されたレスポンスデータ１１２４を適用してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、パフォーマンススコア１１５２を決定する際に、メッセージテンプレート１１４２及びメッセージオブジェクト１１２６の選択基準１１４４も考慮してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６のエントリ１１４０から決定されるユーザー状態も考慮してもよい。適用するために、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６のために特定されたレスポンスデータ１１２４のエントリ１１４０およびメッセージオブジェクト１１２６自体を性能モデル１１１８の入力として供給してもよい。オブジェクトエバリュエータ１１１０は、性能モデル１１１８の重みの使用により入力を処理し、性能モデル１１１８の出力を生成してもよい。オブジェクトエバリュエータ１１１０は、性能モデル１１１８の出力を、メッセージオブジェクト１１２６のパフォーマンススコア１１５２として特定してもよい。一般に、メッセージオブジェクト１１４２の選択基準１１４４によって定義されたエンドポイントの少なくとも１つを満足したと判断されるユーザーの数が多い場合、パフォーマンススコア１１５２は相対的に高くなってもよい。逆に、メッセージオブジェクト１１４２の選択基準１１４４によって定義されたエンドポイントの少なくとも１つを満足したと判定されるユーザーの数が少ない場合、パフォーマンススコア１１５２は相対的に低くてもよい。

【0215】

いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６に対するレスポンスデータ１１２４に基づいて、メッセージオブジェクト１１２６のうちの少なくとも１つの選択基準１１４４に１つ以上の追加のエンドポイントを割り当て又は属性付けしてもよい。オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６に対応するメッセージ１１４６の提示の前に、エントリ１１４０からユーザー状態を識別してもよい。ユーザー状態の識別に基づいて、オブジェクトエバリュエータ１１１０は、ユーザー状態に対応するエンドポイントを識別してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、ユーザー状態を用いて定義されたエンドポイントのセットからエンドポイントを選択してもよい。セットは、選択基準１１４４に含めるために、ユーザー状態と１つ以上のエンドポイントとの間のマッピングを定義してもよい。マッピングは、メッセージオブジェクト１１２６又はメッセージデータベース１１２２で定義されてもよい。ユーザー状態と１つ以上のエンドポイントとの間の一致を見つけると、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６の選択基準１１４４の定義にエンドポイントを追加又は挿入してもよい。いくつかの実施形態では、オブジェクトエバリュエータ１１１０は、メッセージオブジェクト１１２６のパフォーマンススコア１１５２が閾値スコアを満たす（例えば、以上である）場合に、識別されたエンドポイントを追加してもよい。閾値スコアは、メッセージオブジェクト１１２６の選択基準１１４４にエンドポイントを追加する際のパフォーマンススコア１１５２の値を画定してもよい。

【0216】

次に図１１Ｃを参照すると、メッセージ選択システム１１０２の中でも配信コントローラ１１１４の動作を伴うシステム１１００のシーケンス図などが描かれている。メッセージ選択システム１１０２上で実行される配信コントローラ１１１４は、対応するパフォーマンススコア１１５２に基づいて、各メッセージオブジェクト１１２６を許可されたセット１１６０又は制限されたセット１１６２に割り当てるか若しくは含めるかを決定することができる。許可されたセット１１６０及び制限されたセット１１６２の両方は、メッセージ選択システム１１０２上で（例えば、メッセージデータベース１１２２で）維持されてもよい。許可されたセット１１６０に割り当てられたメッセージオブジェクト１１２６は、生成及びリモートコンピューティングデバイス１１０４への提供のために選択されることが許可されてもよい。いくつかの実施形態では、許可されたリスト１１６０に割り当てられたメッセージオブジェクト１１２６は、リモートコンピューティングデバイス１１０４を介したプレゼンテーションのための生成及び提供のために選択される可能性が高くされて（例えば、より高い重み付けがされている）もよい。一方で、制限付きセット１１６２に割り当てられたメッセージオブジェクト１１２６は、生成及びリモートコンピューティングデバイス１１０４への送信のための選択を制限又は防止されてもよい。いくつかの実施形態では、制限されたセット１１６２に割り当てられたメッセージオブジェクト１１２６は、リモートコンピューティングデバイス１１０４の提示のために生成及び提供される選択の可能性が低くされて（例えば、より低い重み付けがされている）もよい。

【0217】

割り当てを決定するために、配信コントローラ１１１４は、パフォーマンススコア１１５２に基づいて、メッセージオブジェクト１１２６をランク付けしてもよい。メッセージオブジェクト１１２６の順位付けは、特に、挿入ソート、マージソート、ヒープソート、クイックソート、バブルソート、基数ソート、又はバケットソートなどのソートアルゴリズムに従ったものであってもよい。ランク付けに基づいて、配信コントローラ１１１４は、メッセージオブジェクト１１２６を、許可されたセット１１６０又は制限されたセット１１６２に割り当ててもよい。いくつかの実施形態では、配信コントローラ１１１４は、最高のｎ個のパフォーマンススコア１１５２を有するメッセージオブジェクト１１２６のサブセットを選択して許可されたセット１１６０に割り当ててもよく、残りのメッセージオブジェクト１１２６を制限されたセット１１６２に割り当ててもよい。いくつかの実施形態では、逆に、配信コントローラ１１１４４は、最も低いｎ個のパフォーマンススコア１１５２を有するメッセージオブジェクト１１２６のサブセットを選択して制限されたセット１１６２に割り当ててもよく、残りのメッセージオブジェクト１１２６を許可されたセット１１６０に割り当ててもよい。

【0218】

いくつかの実施形態では、配信コントローラ１１１４は、パフォーマンススコア１１５２と閾値スコアとの間の比較に基づいて、メッセージオブジェクト１１２６の割り当てを決定してもよい。閾値スコアは、メッセージオブジェクト１１２６に対応するものを許可されたセット１１６０又は制限されたセット１１６２に割り当てる際のパフォーマンススコア１１５２の値を画定してもよい。メッセージオブジェクト１１２６のパフォーマンススコア１１５２が閾値スコアを満たす（例えば、以上である）と判定された場合、配信コントローラ１１１４は、メッセージオブジェクト１１２６を許可されたセット１１６０に割り当ててもよい。逆に、メッセージオブジェクト１１２６のパフォーマンススコア１１５２が閾値スコアを満たさない（例えば、未満である）と判定された場合、配信コントローラ１１１４は、メッセージオブジェクト１１２６を制限されたセット１１６２に割り当ててもよい。許可されたセット１１６０又は制限されたセット１１６２への割り当てに基づいて、メッセージ選択システム１１０２は、メッセージ１１４８を生成及び送信するかどうかを決定してもよい（例えば、セクションＤで記載された方法で）。

【0219】

ここで図１１Ｄを参照すると、メッセージ選択システム１１０２の中でもメッセージ相関器１１１６の動作を有するシステム１１００のシーケンス図が描かれている。メッセージ選択システム１１０２上で実行されるメッセージ相関器１１１６は、第２のタイプ（本明細書では時々、修辞的タイプと称する）の１つ以上のメッセージオブジェクト１１２６’を識別してもよい。各メッセージオブジェクト１１２６’は、ユーザー１１３２に提示するために対応するメッセージ１１４６’を生成して送信するかどうかを評価するための実行可能な命令（例えば、スクリプト）のセットを含んでもよい。いくつかの実施形態では、メッセージオブジェクト１１２６’は、セクションＢ及びＣで上述したメッセージオブジェクト２０６並びにそのコンポーネントに対応してもよい。

【0220】

各メッセージオブジェクト１１２６’は、少なくとも１つのメッセージテンプレート１１４２’および少なくとも１つの選択基準１１４４’などを含んでもよい。メッセージテンプレート１１４２’は、１つ以上のユーザーインタフェース要素を含むように、第１のタイプの少なくとも１つの対応するメッセージ１１４６’を生成するための命令を含んでもよい。例えば、メッセージテンプレート１１４２’は、リモートコンピューティングデバイス１１０４を介して提示されるメッセージのグラフィカル・ユーザーインタフェース要素にテキスト又はビジュアルコンテンツを挿入するためのプレースホルダーを識別してもよい。選択基準１１４４’は、メッセージオブジェクト１１２６’に対応するメッセージ１１４６’を提示する際に、ユーザー１１３２が達成すべき１つ以上のエンドポイントを定義又は含んでもよい。また、選択基準１１４４’は、エンドポイントが達成されるべき時間窓を特定又は定義してもよい。選択基準１１４４’のエンドポイントは、例えば、ユーザー１１３２に達成されることが期待される行動目標を含んでもよい。また、選択基準１１４４’は、エンドポイントの１つ以上を満たすために、ユーザー１１３２がどの行動を行うべきかを示してもよい。

【0221】

第２のタイプの各メッセージオブジェクト１１２６’のメッセージテンプレート１１４２’は、少なくとも１つのメッセージ１１４６’に対応してもよいし、少なくとも１つのメッセージ１１４６’を生成するために使用されてもよい。第２のタイプのメッセージオブジェクト１１２６’について、各メッセージ１１４６’は、１つ以上の非インタラクティブ要素１１４８’Ａ～Ｎ（以下、総括的に非インタラクティブ要素１１４８と称する）を有してもよい。第１のタイプのメッセージオブジェクト１１２６から生成されたメッセージ１１４６とは異なり、第２のタイプのメッセージオブジェクト１１２６’から生成されたメッセージ１１４６’は、１つ以上のインタラクティブ要素１１５０を欠いていてもよい。各非インタラクティブ要素１１４８’は、リモートコンピューティングデバイス１１０４を介して提示されたときに、ユーザー１１３２による検出されたインタラクションに応答する構成を欠いていてもよい。また、非インタラクティブ要素１１４８’は、ユーザー１１３２によるインタラクションを記録する構成を欠いていてもよい。このような構成のため、メッセージ１１４６’は、記録されたインタラクションをメッセージ選択システム１１０２に送り返す機能をさらに欠いていてもよい。例えば、メッセージ１１４６’がリモートコンピューティングデバイス１１０４に提供されると、アプリケーション１１２８は、メッセージ１１４６’をユーザー１１３２に提示してもよい。アプリケーション１１２８は、メッセージ１１４６’を解析して、非インタラクティブ要素１１４８を含むメッセージ１１４６’を提示（例えば、レンダリング又は再生）してもよい。メッセージ１１４６’が提示されている間、アプリケーション１１２８のレポーティングエージェント１１３０は、メッセージ１１４６’とのインタラクションを監視してもよい。メッセージ１１４６’は、メッセージ選択システム１１０２にレスポンスをレポートする構成を欠いているので、レポーティングエージェント１１３０は、レスポンスを返すことを防止してもよい。

【0222】

メッセージ相関器１１１６は、許可されたセット１１６０内の第１のタイプのメッセージオブジェクト１１２６の１つと、第２のタイプの少なくとも１つのメッセージオブジェクト１１２６’との間の少なくとも１つの対応関係１１７０を決定又は特定してもよい。対応関係１１７０は、メッセージオブジェクト１１２６及びメッセージオブジェクト１１２６’が、選択基準１１４４及び選択基準１１４４’でそれぞれ定義された類似又は一致するエンドポイントを有することを示してもよい。対応関係１１７０の特定は、第１のタイプのメッセージオブジェクト１１２６の選択基準１１４４と、第２のタイプのメッセージオブジェクト１１２６’の選択基準１１４４’とに基づいてもよい。いくつかの実施形態では、メッセージ相関器１１１６は、各メッセージオブジェクト１１２６の選択基準１１４４と、メッセージオブジェクト１１２６’の選択基準１１４４’とを比較してもよい。選択基準１１４４が一致しないと判定された場合、メッセージ相関器１１１６は、メッセージオブジェクト１１２６とメッセージオブジェクト１１２６’との間の対応関係１１７０の欠如を判定又は特定してもよい。さらに、メッセージ相関器１１１６は、比較するために許可されたセット１１６０から別のメッセージオブジェクト１１２６を特定してもよい。いくつかの実施形態では、メッセージ相関器１１１６は、メッセージオブジェクト１１２６’を制限されたリスト１１６２に含めてもよい。

【0223】

そうでなければ、選択基準１１４４が一致すると決定されたとき、メッセージ相関器１１１６は、メッセージオブジェクト１１２６とメッセージオブジェクト１１２６’との間の対応関係１１７０を決定又は特定してもよい。対応関係１１７０の特定により、メッセージ相関器１１１６は、許可されたセット１１６０に含めるメッセージオブジェクト１１２６’を選択してもよい。いくつかの実施形態では、メッセージ相関器１１１６は、許可されたセット１１６０内のメッセージオブジェクト１１２６の１つと対応関係１１７０を有すると判定されたメッセージオブジェクト１１２６’のサブセットを選択してもよい。選択により、メッセージ相関器１１１６は、第２のタイプのメッセージオブジェクト１１２６’のサブセットを、第１のタイプのメッセージオブジェクト１１２６と共に、許可されたリスト１１６０に含めてもよい。許可されたセット１１６０に含めることによって、メッセージオブジェクト１１２６’は、生成及びリモートコンピューティングデバイス１１０４への提供のために選択されることを許可されてもよい。いくつかの実施形態では、許可されたリスト１１６０に割り当てられたメッセージオブジェクト１１２６’は、リモートコンピューティングデバイス１１０４を介したプレゼンテーションのための生成及び提供のために選択される可能性がより高くされて（例えば、より高い重み付けがされている）もよい。

【0224】

次に図１２を参照すると、信頼値を使用してネットワーク環境全体で異なるタイプのメッセージを選択及び送信する方法１２００のフロー図が描かれている。方法１２００は、図１～９Ｄと併せて本明細書で詳述したようなコンポーネントのいずれかを使用して実装されてもよい。簡単に概要を説明すると、サーバは、第１のタイプのメッセージオブジェクトを識別してもよい（１２０５）。サーバは、エンドポイントを満足させるユーザーの数を決定してもよい（１２１０）。サーバは、パフォーマンススコアを決定してもよい（１２１５）。サーバは、パフォーマンススコアによってメッセージオブジェクトをランク付けしてもよい（１２２０）。サーバは、メッセージオブジェクトを許可又は制限してもよい（１２２５）。サーバは、第２のタイプの対応するメッセージオブジェクトを識別する（１２３０）。

【0225】

さらに詳細には、サーバ（例えば、メッセージ選択システム１１０２）は、第１のタイプのメッセージオブジェクト（例えば、メッセージオブジェクト１１２６）を識別してもよい（１２０５）。各メッセージオブジェクトは、メッセージテンプレート（例えば、メッセージテンプレート１１４２）及び選択基準（例えば、選択基準１１４４）などを含んでもよい。メッセージテンプレートは、対応するメッセージ及びメッセージ上のユーザーインタフェース要素の生成を指定してもよい。選択基準は、メッセージオブジェクトに対応するメッセージを提示する際に達成すべき１つ以上のエンドポイントを定義してもよい。

【0226】

サーバは、エンドポイント（１２１０）を満たすユーザー（例えば、ユーザー１１３２）の数を決定してもよい。決定するために、サーバは、各メッセージオブジェクトに対するエントリ（例えば、エントリ１１４０）を含むレスポンスデータ（例えば、レスポンスデータ１１２４）を識別してもよい。各エントリから、サーバは、ユーザーによって実行されたアクションを特定してもよい。特定情報を用いて、サーバは、アクションをメッセージオブジェクトによって指定されたエンドポイントと比較してもよい。アクションがエンドポイントと一致すると、サーバは、エンドポイントを満たすユーザーの数を増加させてもよい。

【0227】

サーバは、パフォーマンススコア（例えば、パフォーマンススコア１１５４）を決定してもよい（１２１５）。エンドポイントを満足させるユーザーの数に基づいて、サーバは、各メッセージオブジェクトのパフォーマンススコアを計算してもよい。いくつかの実施形態では、サーバは、性能モデル（例えば、性能モデル１１１６）を使用して、パフォーマンススコアを決定してもよい。サーバは、パフォーマンススコアによってメッセージオブジェクトをランク付けしてもよい（１２２０）。サーバは、メッセージオブジェクトのパフォーマンススコアを閾値と比較してもよい。

【0228】

サーバは、メッセージオブジェクトを許可又は制限してもよい（１２２５）。ランク付けに基づいて、サーバはメッセージオブジェクトを許可又は制限してもよい。例えば、サーバは、ランク付け上位のメッセージオブジェクトを許可されたものとして選択し、一方、残りのメッセージオブジェクトを制限してもよい。許可されていると識別されたメッセージオブジェクトは、対応するメッセージ（例えば、メッセージ１１４６）を生成及び送信するために使用されることが許可されるか、又はその可能性が高くされてもよい。制限されていると識別されたメッセージオブジェクトは、対応するメッセージを生成及び送信するために使用されることが阻止されるか、又はその可能性が低くされてもよい。

【0229】

サーバは、第２のタイプの対応するメッセージオブジェクト（例えば、メッセージオブジェクト１１２６’）を識別する（１２３０）。第２のタイプのメッセージオブジェクトは、インタラクティブ要素（例えば、インタラクティブ要素１１５０）の欠如を指定するメッセージテンプレート（例えば、メッセージテンプレート１１４４’）を有してもよい。サーバは、２つのメッセージオブジェクトのエンドポイントが一致する場合、第２のタイプのメッセージオブジェクトを、第１のタイプのメッセージオブジェクトに対応するものとして特定してもよい。

【0230】

本開示は、特定の実施形態に関して説明してきたが、当業者であれば、多数の変更が可能であることを認識するであろう。例えば、ルール（トリガー条件又は結果としてのアクションを含む）の特定の例及び提案されたルールを生成するためのプロセスが説明されているが、他のルール並びにプロセスを実施することができる。本開示の実施形態は、本明細書に記載された特定の例に限定されない、様々なコンピュータシステム及び通信技術を使用して実現することができる。

【0231】

本開示の実施形態は、専用コンポーネント又はプログラマブルプロセッサ又は他のプログラマブルデバイスの任意の組み合わせを使用して実現することができる。本明細書に記載されている様々なプロセスは、任意の組み合わせで、同じプロセッサ又は異なるプロセッサ上で実装することができる。コンポーネントが特定の動作を実行するように構成されていると記述されている場合、そのような構成は、例えば、動作を実行するように電子回路を設計することによって、動作を実行するように（マイクロプロセッサなどの）プログラマブル電子回路をプログラムすることによって、又はそれらの任意の組み合わせによって達成することができる。さらに、上述した実施形態では、特定のハードウェア及びソフトウェアコンポーネントを参照しているが、当業者であれば、ハードウェア又はソフトウェアコンポーネントの異なる組み合わせも使用することができ、ハードウェアで実装されると説明された特定の操作がソフトウェアでも実装される可能性があること、又はその逆であることを理解するであろう。

【0232】

本開示の様々な機能を組み込んだコンピュータプログラムは、様々なコンピュータ可読記憶媒体にエンコードして格納することができる。適切な媒体には、磁気ディスク又はテープ、コンパクトディスク（ＣＤ）若しくはＤＶＤ（デジタル多用途ディスク）などの光記憶媒体、フラッシュメモリ、及び他の非一時的な媒体が含まれる。プログラムコードをコード化したコンピュータ可読媒体は、互換性のある電子機器と一緒にパッケージされていてもよいし、プログラムコードは電子機器とは別に提供されていてもよい（例えば、インターネットでダウンロードする、又は別個にパッケージされたコンピュータ可読記憶媒体として提供される）。

【0233】

本明細書には多くの具体的な実施形態の詳細が含まれているが、これらは、いかなる発明の範囲又は請求される可能性のあるものに対する制限として解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有の機能の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に記載された特定の機能は、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態の文脈で説明された様々な機能は、複数の実施形態において別々に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、機能は、特定の組み合わせで作用するものとして上記で説明され、最初にそのように主張されることさえあるが、主張された組み合わせからの１つ以上の機能は、場合によっては組み合わせから抜粋することができ、主張された組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられることがある。

【0234】

同様に、図面には操作が特定の順序で描かれているが、望ましい結果を得るために、そのような操作を図示された特定の順序で実行すること、又は順次実行すること、若しくは図示された操作をすべて実行することを要求していると理解すべきではない。特定の状況下では、マルチタスクや並列処理が有利な場合があり得る。さらに、上述の実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、上述のプログラムコンポーネント及びシステムは、一般的に、単一のソフトウェア製品に統合されるか、又は複数のソフトウェア製品にパッケージ化されることができると理解されるべきである。

【0235】

「又は」への言及は、「又は」を使用して記述された用語が、単一の、複数の、及びすべての記述された用語のいずれかを示すことができるように、包括的に解釈されてもよい。

【0236】

このように、主題の特定の実施形態を説明してきた。他の実施形態は、以下の請求項の範囲内である。場合によっては、特許請求の範囲に記載された動作を異なる順序で実行しても、望ましい結果を得ることができる。さらに、添付の図に描かれているプロセスは、望ましい結果を達成するために、示されている特定の順序、又は連続した順序を必ずしも必要としない。特定の実施形態では、マルチタスク及び並列処理が有利な場合がある。

【0237】

方法及びシステムの特定の実施形態を説明してきたが、本発明の概念を組み込んだ他の実施形態を使用してもよいことが、当業者には明らかになるであろう。上述したシステムは、それらの構成要素のいずれか又はそれぞれの複数のものを提供してもよく、これらの構成要素は、スタンドアロンマシン又は、いくつかの実施形態では、分散システムの複数のマシンのいずれかに提供されてもよいことを理解すべきである。上述のシステム及び方法は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組み合わせを生成するために、プログラミング又はエンジニアリング技術を使用して、方法、装置、又は製造物品として実装することができる。さらに、上述のシステム及び方法は、１つ以上の製造物品上又は製造物品内に具現化された１つ以上のコンピュータ読み取り可能なプログラムとして提供されてもよい。本明細書で使用される「製造物品（article of manufacture）」という用語は、１つ以上のコンピュータ可読デバイス、ファームウェア、プログラマブルロジック、メモリデバイス（ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＳＲＡＭなど）、ハードウェア（例えば、集積回路チップ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アプリケーション固有の集積回路（ＡＳＩＣ）など）、電子デバイス、コンピュータ読み取り可能な不揮発性記憶装置（ＣＤ－ＲＯＭ、フロッピーディスク、ハードディスクドライブなど）に組み込まれ、それらからアクセス可能なコード又はロジックを包含することを意図したものである。製造物品は、ネットワーク伝送路、無線伝送媒体、空間を伝搬する信号、電波、赤外線信号などを介して、コンピュータ読み取り可能なプログラムへのアクセスを提供するファイルサーバからアクセス可能であってもよい。また、製造物品は、フラッシュメモリカードや磁気テープであってもよい。製造物品には、ハードウェアロジックのほか、プロセッサによって実行されるコンピュータ可読媒体に組み込まれたソフトウェア又はプログラム可能なコードが含まれます。一般的に、コンピュータ可読プログラムは、ＬＩＳＰ、ＰＥＲＬ、Ｃ、Ｃ＋＋、Ｃ＃、ＰＲＯＬＯＧなどの任意のプログラミング言語、またはＪＡＶＡなどの任意のバイトコード言語で実装されてもよい。ソフトウェアプログラムは、オブジェクトコードとして、１つ以上の製造物品上又は製造物品内に格納されてもよい。

【0238】

このように、本開示は特定の実施形態に関して説明してきたが、本開示は、以下の請求項の範囲内のすべての変更及び同等物をカバーすることを意図していることが理解されるであろう。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10】

【図11A】

【図11B】

【図11C】

【図11D】

【図12】

【国際調査報告】