知財求人 - 知財ポータルサイト「IP Force」
▶ インサイドセールスドットコム インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2015-534148(P2015-534148A)
(43)【公表日】2015年11月26日
(54)【発明の名称】階層ベース配列の機械学習モデル
(51)【国際特許分類】
G06N 99/00 20100101AFI20151030BHJP
H04M 3/51 20060101ALI20151030BHJP
【ＦＩ】
G06N99/00 150
H04M3/51
【審査請求】有
【予備審査請求】未請求
【全頁数】28
(21)【出願番号】特願2015-528604(P2015-528604)
(86)(22)【出願日】2013年8月20日
(85)【翻訳文提出日】2015年3月30日
(86)【国際出願番号】US2013055856
(87)【国際公開番号】WO2014031683
(87)【国際公開日】20140227
(31)【優先権主張番号】13/590,000
(32)【優先日】2012年8月20日
(33)【優先権主張国】US
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ
(71)【出願人】
【識別番号】515048674
【氏名又は名称】インサイドセールスドットコム インコーポレイテッド
【氏名又は名称原語表記】ＩＮＳＩＤＥＳＡＬＥＳ．ＣＯＭ，ＩＮＣ．
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】マルチネス、トニー ラモン
(72)【発明者】
【氏名】ゼン、シンチャン
(72)【発明者】
【氏名】モリス、リチャード グレン
【テーマコード（参考）】
5K201
【Ｆターム（参考）】
5K201BA11
5K201BA17
5K201BB06
5K201CA08
5K201CA09
5K201CA10
5K201CB13
5K201CB16
5K201CC01
5K201CC03
5K201CD03
5K201DC02
5K201DC04
5K201EA01
5K201EA05
5K201EA08
5K201EC03
5K201EC06
5K201ED02
5K201ED05
5K201ED07
5K201EE12
5K201FA03
5K201FB10
(57)【要約】
階層ベース配列の（ＨＢＳ）機械学習モデル。実施形態の一例では、ＨＢＳ機械学習モデルを使用してＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法が、ＭＯＤ出力判断の複数の相互依存出力構成要素に対する順序を決定することを含むことができる。この方法はさらに、入力と、予測された以前の構成要素（１つ又は複数）とに基づいて構成要素を予測するように、それぞれの構成要素に対する分類器を、選択された順序で逐次的に訓練することを含むことができる。
【特許請求の範囲】
【請求項1】
複合出力依存性（ＭＯＤ）出力判断における、明確に類型分けされた複数の相互依存出力構成要素を予測するために、機械学習モデルを使用するステップを備える方法において、
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記出力構成要素のうちの前記第１の出力構成要素を予測する際に使用した入力と同じ入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップとを含んでなる、方法。
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記出力構成要素のうちの前記第１の出力構成要素を予測する際に使用した入力と同じ入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップとを含んでなる、方法。
【請求項2】
複数の正しいＭＯＤ出力判断を与える、請求項１に記載の方法。
【請求項3】
前記複数の正しいＭＯＤ出力判断がそれぞれ実質的に同様の出力値を有する、請求項２に記載の方法。
【請求項4】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、残りの全ての分類器（１つ又は複数）を訓練する際に使用した入力と同じ入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備える、方法。
ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、残りの全ての分類器（１つ又は複数）を訓練する際に使用した入力と同じ入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備える、方法。
【請求項5】
それぞれの分類器は、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項４に記載の方法。
【請求項6】
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなる、請求項４に記載の方法。
【請求項7】
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項６に記載の方法。
【請求項8】
前記ＭＯＤ出力判断はリード応答管理（ＬＲＭ）ＭＯＤ出力判断であり、前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項７に記載
の方法。
の方法。
【請求項9】
複数の正しいＭＯＤ出力判断を与える、請求項４に記載の方法。
【請求項10】
それぞれの前記複数の正しいＭＯＤ出力判断は、所定のしきい値よりも大きな出力値を有する、請求項９に記載の方法。
【請求項11】
請求項４に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項12】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記第１の分類器を訓練する際に使用した入力と同じ入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備える、方法。
ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記第１の分類器を訓練する際に使用した入力と同じ入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備える、方法。
【請求項13】
選択された前記順序における１つ又は複数の追加の構成要素を、残りの全ての分類器を訓練する際に使用した入力と同じ入力と、以前に予測された前記出力構成要素とを使用して予測するように、１つ又は複数の追加の分類器を訓練することをさらに含んでなる、請求項１２に記載の方法。
【請求項14】
前記第１の分類器及び前記第２の分類器のそれぞれは、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項１２に記載の方法。
【請求項15】
前記ＭＯＤ出力判断はリード応答管理（ＬＲＭ）ＭＯＤ出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項１２に記載の方法。
【請求項16】
前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項１５に記載の方法。
【請求項17】
前記ＭＯＤ出力判断は、スポーツ、人質交渉、小売販売、オンライン・ショッピング・カート、ウェブ・コンテント管理システム、顧客サービス、契約交渉もしくは危機管理、
又はこれらのある組合せに関係する、請求項１２に記載の方法。
又はこれらのある組合せに関係する、請求項１２に記載の方法。
【請求項18】
複数の正しいＭＯＤ出力判断を与える、請求項１２に記載の方法。
【請求項19】
前記複数の正しいＭＯＤ出力判断のそれぞれは、実質的に同様の出力値又は所定のしきい値よりも大きな出力値を有する、請求項１８に記載の方法。
【請求項20】
請求項１２に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項21】
ＭＯＤ出力判断の前記複数の相互依存出力構成要素に対する前記順序を選択することは、前記ＭＯＤ出力判断の前記複数の相互依存出力構成要素に対する複数の異なる可能な順序のうちの１つの順序から前記順序を選択することを含んでなる、請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、階層ベースに配列した（ｈｉｅｒａｒｃｈｉｃａｌ ｂａｓｅｄ ｓｅｑｕｅｎｃｉｎｇ：ＨＢＳ）機械学習モデルに関する。
【背景技術】
【0002】
機械学習は、経験的なデータに基づいてコンピュータが振る舞いを進化させることを可能にするために使用される人工知能の一形態である。機械学習は、訓練例を利用して、それらの訓練例の根底にある未知の確率分布のうち関心のある特性を捕捉することができる。訓練データは、観察された変量間の関係を示す例と見ることができる。機械学習研究の主眼は、複雑なパターンの認識を自動的に学習すること、及びデータに基づく知的な判断を自動的に学習することにある。
【0003】
機械学習の１つの主な難点は、可能な全ての入力が与えられた場合の可能な全ての振る舞いの集合があまりに大きすぎて、一組の訓練データによってカバーすることができないことである。したがって、新たな事例において有用な出力を生み出すことができるように、機械学習モデルは訓練データから一般化されなければならない。
【0004】
機械学習の一例が、伝統的な構造化予測（ｓｔｒｕｃｔｕｒｅｄ ｐｒｅｄｉｃｔｉｏｎ：ＳＰ）である。伝統的な構造化予測は、従属する出力に対する単一モデル法である。構造化予測を使用した場合、入力特徴ベクトル（ｉｎｐｕｔ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ）ｘが指定されると、正しい単一の出力ベクトルｚを完全に指定することができる。したがって、出力ベクトルｚは完全に入力特徴ベクトルｘを条件とし、入力特徴ベクトルｘが与えられた場合、出力ベクトルｚの異なる出力構成要素（ｚ１，ｚ２，．．．）は条件つきで互いに独立している。したがって、ｘが与えられた場合のｚ１の確率は、ｘ及びｚ２が与えられた場合のｚ１の確率に等しい。すなわちｐ（ｚ１｜ｘ）＝ｐ（ｚ１｜ｘ，ｚ２）である。しかしながら、伝統的な構造化予測は、異なる出力構成要素間の相互依存関係を取り扱うことができない。加えて、伝統的な構造化予測は、与えられた入力に対して複数の正しい出力判断がある問題を取り扱うことができない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書において請求される主題は、上記の欠点などの何らかの欠点を解決する実施形態又は上記の環境などの環境でのみ機能する実施形態だけに限定されない。この背景は、本明細書に記載された、いくつかの実施形態を実施することができる技術分野の一例を示すためだけに記したものである。
【0006】
一般に、本明細書に記載された実施形態の例は、階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法に関する。本明細書に開示された方法の例を使用して、ＭＯＤ問題を解くことができる。
【課題を解決するための手段】
【0007】
実施形態の一例では、方法が、機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を予測することを含む。実施形態の別の例では、方法が、機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の明確に類型分けされた複数の相互依存出力構成要素を予測することを含む。この例では、使用することが、それらの出力構成要素のうちの第１の出力構成要素を入力
を使用して予測すること、及びそれらの出力構成要素のうちの第２の出力構成要素を、それらの出力構成要素のうちの第１の出力構成要素を予測する際に使用した入力と同じ入力と、それらの出力構成要素のうちの第１の出力構成要素とを使用して予測することを含む。この例では、この方法が、複数の正しいＭＯＤ出力判断を与えることができ、複数の正しいＭＯＤ出力判断がそれぞれ実質的に同様の出力値を有することができる。
【0008】
実施形態の別の例では、ＨＢＳ機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法が、ＭＯＤ出力判断の複数の相互依存出力構成要素に対する順序を決定することを含む。この方法は、入力と、任意の予測された以前の構成要素（１つ又は複数）とに基づいて構成要素を予測するように、それぞれの構成要素に対する分類器を、選択された順序で逐次的に訓練することをさらに含むことができる。
【0009】
実施形態の別の例では、ＨＢＳ機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法が、ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択すること、及び出力構成要素を、残りの全ての分類器（１つ又は複数）を訓練する際に使用した入力と同じ入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された順序で逐次的に訓練することを含む。この例では、それぞれの分類器が、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含むことができる。
【0010】
さらに、上記の例では、入力が、２つ以上の特徴を有する入力特徴ベクトルを含むことができる。入力特徴ベクトルは、リード（ｌｅａｄ）に関する不変の特徴と、エージェントとリードの間の対話に関係する対話特徴とを含むことができ、入力特徴ベクトルの特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードのヒストグラフィック（ｈｉｓｔｏｇｒａｐｈｉｃ）プロフィール、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含む。このＭＯＤ出力判断は、リード応答管理（ＬＲＭ）ＭＯＤ出力判断とすることができ、構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含む。
【0011】
実施形態の別の例では、ＨＢＳ機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法が、ＭＯＤ出力判断の複数の相互依存出力構成要素に対する順序を選択することを含むことができる。この方法は、選択された順序における１番目の構成要素を、入力に基づいて予測するように、第１の分類器を訓練することをさらに含むことができる。この方法は、選択された順序における２番目の構成要素を、入力と、予測された１番目の構成要素とに基づいて予測するように、第２の分類器を訓練することをさらに含むことができる。
【0012】
実施形態の別の例では、ＨＢＳ機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法が、ＭＯＤ出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択すること、選択された順序における１番目の構成要素を、入力を使用して予測するように、第１の分類器を訓練すること、及び選択された順序における２番目の構成要素を、第１の分類器を訓練する際に使用した入力と同じ入力と、予測された１番目の構成要素とを使用して予測するように、第２の分類器を訓練することを含むことができる。
【0013】
さらに、上記の例では、この方法が、選択された順序における１つ又は複数の追加の構成要素を、残りの全ての分類器を訓練する際に使用した入力と同じ入力と、以前に予測された出力構成要素とを使用して予測するように、１つ又は複数の追加の分類器を訓練することをさらに含むことができる。
【0014】
さらに、上記の例では、構成要素が、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含むことができる。さらに、このＭＯＤ出力判断は、スポーツ、人質交渉、小売販売、オンライン・ショッピング・カート、ウェブ・コンテント管理システム、顧客サービス、契約交渉もしくは危機管理、又はこれらのある組合せに関係することができる。
【0015】
以上の一般的な説明及び以下の詳細な説明はともに、例示的かつ説明的なものであり、請求の発明を限定するものではないことを理解すべきである。次に、添付図面の使用を通して、実施形態の例を、追加の特殊性及び詳細とともに記載し説明する。
【図面の簡単な説明】
【0016】
【図1】接触サーバの例を含むリード応答管理（ＬＲＭ）システムの例の概略を示すブロック図。
【図3A】階層ベース配列の（ＨＢＳ）機械学習モデルの例の概略を示す流れ図。
【図3B】入力特徴ベクトルの例を示すテキスト図。
【図3D】図３Ｂの入力特徴ベクトルの例及び図３Ｃの予測された第１の相互依存出力構成要素に基づいて第２の相互依存出力構成要素を予測する目的に使用される、ＭＬＰニューラル・ネットワークの第２の例の概略を示す流れ図。
【図4】ＨＢＳ機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測する方法の例の概略を示す流れ図。
【図5】複数の正しいＭＯＤ出力判断の概略を示す流れ図。
【図6】顧客関係管理（ＣＲＭ）システムの例のユーザ・インタフェースのコンピュータ・スクリーン画像の例を示す図。
【図7】ＬＲＭシステムの例のユーザ・インタフェースのコンピュータ・スクリーン画像の例を示す図。
【図8A】エージェントによってリードが選択される前のリード・アドバイザ表示部の例のコンピュータ・スクリーン画像の例を示す図。
【発明を実施するための形態】
【0017】
本明細書に記載のいくつかの実施形態は、階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測する方法を含む。本明細書に開示された方法の例を使用して、ＭＯＤ問題を解くことができる。
【0018】
本明細書で使用されるとき、用語「複合出力依存性」ないし「ＭＯＤ」は、それぞれの構成要素が入力に依存するだけでなく残りの構成要素にも依存する点で相互依存性である複数の出力構成要素を含む出力判断、又はそのような複数の出力構成要素を含む出力判断を有する問題について言う。ＭＯＤ問題のいくつかの例には、限定はされないが、１）その時点の株式市況が与えられた場合に、ミューチュアル・ファンドのバランスをとるために株式のどの組合せを購入すべきか、２）相手チームのその時点の陣容が与えられた場合に、スポーツ・チームの陣容に選手のどの組合せを交替として加えるべきか、ならびに３）その時点の天候が与えられた場合に、シャツ、パンツ、ベルト及び靴のどの組合せを着用すべきかなどが含まれる。それらのそれぞれの例では、出力判断のそれぞれの構成要素が、入力（その時点の株式市況、相手チームの陣容又はその時点の天候）と、他の構成要素（購入する他の株式、他の交替選手又は選択する他の衣服）の両方に依存する。ＭＯＤ問題の他の例は、人質交渉、小売販売、オンライン・ショッピング・カート、ウェブ・コンテント管理システム、顧客サービス、契約交渉もしくは危機管理、又は複数の相互依存出力構成要素を含む出力判断を必要とする他の状況に関係することがある。
【0019】
ＭＯＤ問題の別の例はリード応答管理（ＬＲＭ）である。ＬＲＭは、接触率又は資格取得率を最適化する形でリードに応答する過程である。リードは、限定はされないが、ウェブ書式、紹介及びリード販売業者から購入した名簿を含むさまざまな出所に由来することがある。リードが組織に属しているときは、そのリードにどのように応答するのかについての出力判断が、複数の相互依存構成要素を含むことがあり、そのような複数の相互依存構成要素には、限定はされないが、誰がそのリードに応答すべきか、そのリードに応答するのにどの方法を使用すべきか、応答メッセージにどんな内容を含めるべきか、いつ応答すべきかなどがある。出力判断のこれらの構成要素はそれぞれ、入力（リード情報）と残りの構成要素の両方に依存する。例えば、応答時機が、応答する選択された人物が対応可能であるか否かに依存することがある。また、メッセージの内容が応答方法に依存することもある（これは例えば、電子メール・メッセージの長さはテキスト・メッセージの長さのようには制限されないためである）。本明細書に開示された方法の例は一般にＬＲＭの文脈で説明されるが、本明細書に開示された方法の例を使用して任意のＭＯＤ問題を解くことができることが理解される。
【0020】
添付図面を参照して実施形態の例を説明する。図１は、ＬＲＭシステムの例１００を示す略ブロック図である。図示するように、ＬＲＭシステム例１００は、公衆交換電話網（ＰＳＴＮ）１１０、ユーザ通信及び／又はコンピューティング・デバイス１１２、ＰＳＴＮ１１０をインターネット１３０に接続するＴＤＭゲートウェイ１２０、リモート・エージェント・ステーション１２１、ワークステーション１２８、コール・センタ１４０、ローカル・エリア・ネットワーク１６０をインターネット１３０に接続するインターネット・ゲートウェイ１５０、ウェブ・サーバ１７０、接触サーバ２００、リード・データ・サーバ１９０、ローカル・エージェント・ワークステーション１９２、制御ワークステーション１９４などのさまざまな構成要素を含む。ＬＲＭシステム例１００のこれらのさまざまな構成要素は、リードに応答する過程を、接触率又は資格取得率を最適化する形で協同して改良するように動作可能に相互接続されている。
【0021】
図１に開示されているとおり、リモート・エージェント・ステーション１２１には、無線電話機１２２、有線電話機１２４、無線コンピューティング・デバイス１２６及びワークステーション１２８が含まれる。ある種の実施形態では、無線電話機１２２又は有線電話機１２４が、ボイス・オーバ・インターネット・プロトコル（ＶｏＩＰ）電話機であり得る。いくつかの実施形態では、無線コンピューティング・デバイス１２６又はワークステーション１２８がソフト・フォン（ｓｏｆｔ ｐｈｏｎｅ）を備えることができる。リモート・エージェント・ステーション１２１は、ローカル・エージェント・ワークステーション１９２のところに位置し、ローカル・エリア・ネットワーク１６０に直接に接続されたエージェントと同様に、遠隔位置からエージェントがリードに応答することを可能にする。
【0022】
実施形態の一例では、ローカル・エリア・ネットワーク１６０がコール・センタ１４０内にあり、コール・センタ１４０は、ＶｏＩＰサービス及び他のメッセージング・サービスを使用して、ＰＳＴＮ１１０及び／又はインターネット１３０に接続されたユーザと接触する。コール・センタ１４０内の上記のさまざまなサーバは協力して、リードを捕捉し、リード情報を記憶し、リード情報を分析してそれぞれのリードに応答する最良の方法を決定し、例えばローカル・エージェント・ワークステーション１９２、リモート・エージェント・ステーション１２１などのエージェント端末を介してリードをエージェントに割り当て、例えばＰＳＴＮ１１０又はインターネット１３０を介したエージェントとリードの間の通信を容易にし、試みられ成功したリードとのエージェント対話を追跡し、更新されたリード情報を記憶する機能を実行する。ウェブ・サーバ１７０は、ブラウザ表示が可能なウェブ・ページを介して１つ又は複数のウェブ書式１７２をユーザに提供することができる。それらのウェブ書式は、電話機、スマート・フォン、タブレット・コンピュータ、ラップトップ・コンピュータ、デスクトップ・コンピュータ、メディア・プレーヤなどを含む、ブラウザを備えるさまざまなユーザ通信及び／又はコンピューティング・デバイス１１２を介してユーザに表示することができる。ウェブ書式１７２は、名前、肩書、事業分野、会社情報、所在地、電話番号、ファックス番号、電子メール・アドレス、インスタント・メッセージング・アドレス、紹介情報、アベイラビリティ情報、関心情報などの接触データを入力するようにユーザに促すことができる。ウェブ・サーバ１７０は、ユーザがウェブ書式を提出したことに応答して、ユーザに関連するリード情報を受け取り、そのリード情報を、例えば接触サーバ２００及びリード・データ・サーバ１９０に提供することができる。
【0023】
接触サーバ２００及びリード・データ・サーバ１９０は、そのリード情報を受け取り、ウェブ・アナリティクスデータ、逆引きデータ、信用調査データ、ウェブ・サイト・データ、ウェブ・サイト・ランク情報、ドゥーナットコール・レジストリ（ｄｏ−ｎｏｔ−ｃａｌｌ ｒｅｇｉｓｔｒｙ）データ、顧客関係管理（ＣＲＭ）データベースからのデータ、背景調査情報などのその関連ユーザに関連する追加データを取り出すことができる。リード・データ・サーバ１９０は、集められたデータをリード・プロフィール（図示せず）に記憶し、そのユーザをＬＲＭプラン（図示せず）に関連づけることができる。
【0024】
接触サーバ２００は、関連するＬＲＭプランに従ってリードと接触し、リード情報をエージェントに送達して、接触率又は資格取得率を最適化する形でエージェントがリードに応答することを可能にすることができる。このような接触又は資格取得の具体的な目的には例えば、リードとの関係を確立すること、製品に興味を持ってもらえたことに対してリードにお礼を述べること、リードからの質問に答えること、製品又はサービスの提供に関する情報をリードに知らせること、製品又はサービスを販売すること、ニーズ及び好みについてリードに尋ねること、及びリードにサポートを提供することなどがある。接触サーバ２００は、電子メール・サービス、インスタント・メッセージング・サービス、ショート・メッセージ・サービス、エンハンスト・メッセージング・サービス、テキスト・メッセージング・サービス、電話ベースのテキスト読み上げサービス、マルチメディア送達サービスなどのさまざまな送達サービスを使用してエージェントに情報を送達することができる。リモート・エージェント・ステーション１２１又はローカル・エージェント・ステーション１９２は、リード情報をエージェントに提示することができ、リードと通信することによってエージェントがリードに応答することを可能にすることができる。
【0025】
図２は、図１の接触サーバの例２００の追加の詳細を示す略ブロック図である。図２に開示されているとおり、接触サーバ２００は、接触マネージャ２１０、ダイヤリング・モジュール２２０、メッセージング・モジュール２３０、ＰＢＸモジュール２４０及び端末ハードウェア（ｔｅｒｍｉｎａｔｉｏｎ ｈａｒｄｗａｒｅ）２５０を含む。示された実施形態では、接触マネージャが、ＨＢＳ機械学習モジュール２１２、ＬＲＭプラン選択モジュール２１４、エージェント選択モジュール２１６及びリード・データ・サーバ・アクセス・モジュール２１８を含む。接触サーバ２００内に示されてはいるが、示されたモジュールは、その一部又は全体が、例えばウェブ・サーバ１７０、リード・データ・サーバ１９０などの他のサーバ上にあってもよい。接触サーバ２００は、エージェントが、ＬＲＭプランに関連してリードと通信することを可能にする。
【0026】
接触マネージャ２１０は、ユーザ及びエージェントとの接触を確立し、必要に応じて接触セッションを管理する。接触マネージャ２１０は、ダイヤリング・モジュール２２０及び／又はメッセージング・モジュール２３０を介して接触を開始することができる。
【0027】
ＨＢＳ機械学習モジュール２１２は、ＨＢＳ機械学習モデルを使用して、ＭＯＤ出力判断の複数の相互依存出力構成要素を、本明細書に開示された方法例に従って予測する。実施形態の少なくともいくつかの例では、ＨＢＳ機械学習モジュール２１２が、リード・データ・サーバ・アクセス・モジュール２１８を利用して、図１のリード・データ・サーバ１９０上に記憶されたリード情報にアクセスし、そのリード情報を分析する。特定のリードに対する１つ又は複数の応答判断が予測されたら、その１つ又は複数の応答判断をＬＲＭプラン選択モジュール２１４へ送ることができる。
【0028】
ＬＲＭプラン選択モジュール２１４は、特定のリード及び／又は売り物に対する１つ又は複数のＬＲＭプランを提示しかつ／又は選択する。同様に、エージェント選択モジュール２１６は、それぞれのＬＲＭプランに示されたエージェント、エージェントの階級又はエージェント技能セットを選択する。
【0029】
リード・データ・サーバ・アクセス・モジュール２１８は、リードと接触するのに役立つリード情報に接触マネージャ２１０がアクセスすることを可能にする。一実施形態では、リード・データ・サーバ・アクセス・モジュール２１８が、リード・データ・サーバ１９０に接触マネージャ２１０がアクセスすることを可能にする。
【0030】
ダイヤリング・モジュール２２０は、ＶｏＩＰ呼及びＰＳＴＮ呼を含む呼を確立する。一実施形態では、ダイヤリング・モジュール２２０が一意の呼識別子を受け取り、呼を確立し、呼が確立されたことを接触マネージャ２１０に通知する。ダイヤリング・モジュール２２０のさまざまな実施形態は、データベースから電話番号を取り出す機能、電話番号を部外秘のコーリング・リストと比較する機能、呼を転送する機能、呼の会議機能、呼を監視する機能、記録されたメッセージを再生する機能、留守番電話機を検出する機能、音声メッセージを録音する機能、対話型音声応答（ＩＶＲ）能力を提供する機能などの補助機能を含む。いくつかの例では、ダイヤリング・モジュール２２０が、これらの補助機能を実行するようにＰＢＸモジュール２４０に指示する。
【0031】
メッセージング・モジュール２３０は、エージェント及びリードに対するメッセージを送受する。メッセージを送受するため、メッセージング・モジュール２３０は、電子メール・サービス、インスタント・メッセージング・サービス、ショート・メッセージ・サービス、テキスト・メッセージ・サービス、エンハンスト・メッセージング・サービスなどの１つ又は複数の送達サービス又はメッセージング・サービスを活用することができる。
【0032】
ＰＢＸモジュール２４０は、専用電話網をＰＳＴＮ１１０に接続する。接触マネージャ２１０又はダイヤリング・モジュール２２０は、専用電話網上の回線をＰＳＴＮ１１０又はインターネット１３０上の番号に接続するように、ＰＢＸモジュール２４０に指示することができる。いくつかの実施形態では、ＰＢＸモジュール２４０が、ダイヤリング・モジュール２２０によって呼び出される補助機能のうちのいくつかの補助機能を提供する。
【0033】
終端ハードウェア２５０は、ローカル・ネットワークからＰＳＴＮ１１０へ呼をルーティングする。一実施形態では、終端ハードウェア２５０が、従来の電話機端末とインタフェースする。いくつかの実施形態及び例では、終端ハードウェア２５０が、ダイヤリング・モジュール２２０によって呼び出される補助機能のうちのいくつかの補助機能を提供する。
【0034】
具体的な環境（ＬＲＭシステム）及び具体的な用途（ＬＲＭ）を図１及び２に関して説明したが、この具体的な環境及び用途は、実施形態の例を使用することができる無数の環境及び用途のうちの１つでしかないことが理解される。それらの実施形態の例の範囲が特定の環境又は用途だけに限定されることは意図されていない。
【0035】
図３Ａは、ＨＢＳ機械学習モデルの例３００を示す略流れ図である。モデル３００は、ＭＯＤ出力判断ｚの複数の相互依存出力構成要素、すなわちｚ１、ｚ２、ｚ３及びｚ４を予測するために逐次的に判断を下す際に使用されるように構成されている。出力判断ｚは４つの構成要素を含むが、２つ以上の相互依存構成要素を有する任意の出力判断とともにＨＢＳ機械学習モデルを使用することができることが理解される。記録された履歴データに基づいてモデル３００を訓練して、特に、同時に決定する必要がある多くの変量から判断がなるときに、モデル３００が最適な（又はほぼ最適な）判断を下すことができるようにすることができる。
【0036】
モデル３００は、ＭＯＤ出力判断を生み出す任意の用途で使用することができるが、図３Ａでは、モデル３００が、ＬＲＭ ＭＯＤ出力判断を生み出す目的に使用される。具体的には、モデル３００は、所与のリードに関して、リードの接触又は資格取得を最適化するシーケンスにおいて次にどの応答を実行すべきかを判断するために使用される。
【0037】
例えば、モデル３００を使用して、ＬＲＭ ＭＯＤ出力判断ｚ＝（ｚ１，ｚ２，ｚ３，ｚ４）を生み出すことができる。ここで、ｚ１、ｚ２、ｚ３及びｚ４は、入力ｘに基づく出力判断ｚの４つの構成要素である。この例では、ｚ１＝応答エージェントの肩書、ｚ２＝応答方法、ｚ３＝応答メッセージのタイプ、ｚ４＝応答時機である。入力ｘは、特定のリードに関する情報を含む入力特徴ベクトルとすることができる。
【0038】
応答エージェントの肩書、応答方法、応答メッセージのタイプ及び応答時機からなる構成要素は、ＬＲＭ ＭＯＤ出力判断の構成要素の例でしかないことが理解される。構成要素の他の例には、限定はされないが、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果（すなわちエージェント又はリードの人生におけるイベントのプロフィール。これには、エージェントとリードの間の過去の対話を含めることができる）、リード接触肩書（すなわちリード組織内の特定の接触人物の肩書）、エージェント又はリードの心理学的な分析結果（すなわちエージェント又はリードの心理学的特性のプロフィール）、エージェント又はリードのソーシャル・ネットワーク分析結果（すなわちＬｉｎｋｅｄＩｎ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などのオンライン・ソーシャル・ネットワーク内又はＥｎｔｒｅｐｒｅｎｅｕｒｓ Ｏｒｇａｎｉｚａｔｉｏｎ（登録商標）、市民クラブ、社交団体、宗教団体などのオフライン・ソーシャル・ネットワーク内におけるリードに対するエージェントの近接度）、エージェント又はリードの地理的な分析結果（すなわちエージェント又はリードのその時点の及び／又は過去の所在地を示す都市、州又は他の地理的呼称）、応答頻度（すなわちエージェントがどれくらい頻繁にリードと接触しているか）、及び応答持続性（すなわちエージェントがどのくらい長くリードと接触し続けているか）を含めることができる。
【0039】
図３Ｂは、入力特徴ベクトルｘの例を示すテキスト図である。図３Ｂの入力特徴ベクトルｘの例は、特定のリードに関する情報を含む。具体的には、この入力特徴ベクトルｘの例は、リードの肩書、リードの事業分野などのリードに関する不変の特徴と、以前のダイヤル回数、直前のアクションなどのエージェントとリードの間の対話に関係する対話特徴とを含む。図３Ａのモデル３００は、この入力特徴ベクトルｘの例によって提供されるリード情報を入力として使用して、リードの接触又は資格取得を最適化する実行すべき逐次的な次の応答が何であるかを決定することができる。
【0040】
リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション及び最後のアクションからの時間からなる入力特徴は、ＬＲＭ ＭＯＤ出力判断に対する入力特徴の例でしかないことが理解される。入力特徴の例にはこの他、限定はされないが、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性などを含めることができる。加えて、入力特徴には、政治、経済、自然現象、社会及び文化に関係するその時点のイベントなど、その時点のイベントに関するデータを含めることもできる。さらに、特定のＬＲＭ ＭＯＤ出力判断に対する入力として特定の入力特徴が使用される場合には、その特定のＬＲＭ ＭＯＤ出力判断の出力構成要素の中にその特定の入力特徴は含まれないことが理解される。
【0041】
図３Ａに開示されているとおり、構成要素ｚ１、ｚ２、ｚ３及びｚ４間には依存性がある。例えば、構成要素ｚ２（応答方法）に関する判断が、構成要素ｚ４（応答時機）に対する判断に影響することがある。例えば、ｚ２＝ダイヤルである場合、エージェントは、リードが電話に出られるのはいつかを考える必要があり得る（例えば、通常は、リードが職場にいる営業時間中）。ｚ２＝電子メールである場合、エージェントはいつでも電子メールを送ることができる。
【0042】
したがって、図３Ａの用途例では、他のＭＯＤ出力判断の場合と同様に、ｚの構成要素が、入力ｘとｚの残りの構成要素の両方に依存する。したがって、この例では、ｘが与えられた場合のｚ１の確率が、ｘ及びｚ２が与えられた場合のｚ１の確率と必ずしも等しくならない。すなわちｐ（ｚ１｜ｘ）≠ｐ（ｚ１｜ｘ，ｚ２）である。言い換えると、ｘ及びｚの残りの構成要素の値を考慮することなしに、ｚの特定の構成要素がとるべき値が何であるかを決定することはできない。
【0043】
図３Ａのモデル３００は、ベース分類器を使用する。具体的には、図３Ａに開示されているように、モデル３００は、ベース分類器として、多層パーセプトロン（「ＭＬＰ」）ニューラル・ネットワークＭＬＰ１、ＭＬＰ２、ＭＬＰ３及びＭＬＰ４を使用する。しかしながら、モデル３００は、限定はされないが、他の多層ニューラル・ネットワーク、決定木及びサポート・ベクター・マシンを含む他のタイプのベース分類器を代わりに使用することもできることが理解される。
【0044】
図３Ｃは、図３Ｂの入力特徴ベクトルｘに基づいて第１の相互依存出力構成要素ｚ１を予測するために使用されるＭＬＰニューラル・ネットワークＭＬＰ１を示す略流れ図である。図３Ｃでは、ＭＬＰニューラル・ネットワークＭＬＰ１の入力層によって入力特徴ベクトルｘが受け取られ、次いで隠れ層及び出力層によって処理されて、ｚ１∈｛ｚ１１，ｚ１２，ｚ１３｝が予測される。
【0045】
図３Ｄは、図３Ｂの入力特徴ベクトルｘ及び図３Ｃの予測された第１の相互依存出力構成要素ｚ１に基づいて第２の相互依存出力構成要素ｚ２を予測するために使用されるＭＬＰニューラル・ネットワークＭＬＰ２を示す略流れ図である。図３Ｄでは、ＭＬＰニューラル・ネットワークＭＬＰ２の入力層によって入力特徴ベクトルｘ及び入力ｚ１が受け取られ、次いで隠れ層及び出力層によって処理されて、ｚ２∈｛ｚ２１，ｚ２２，ｚ２３｝が予測される。
【0046】
図４は、ＨＢＳ機械学習モデルを使用してＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法の例４００の略流れ図である。少なくともいくつかの実施形態では、図２の接触サーバ２００の接触マネージャ２１０のＨＢＳ機械学習モジュール２１２によって方法４００を実施することができる。例えば、図３ＡのＨＢＳ機械学習モデル３００を使用して、ＭＯＤ出力判断ｚの複数の相互依存出力構成要素ｚ１、ｚ２、ｚ３及びｚ４を、方法４００のブロック４０２及び４０４のうちの１つ又は複数のブロックによって表されているようにして予測する演算を実行するコンピュータ命令を実行するように、ＨＢＳ機械学習モジュール２１２を構成することができる。別個のブロックとして示されているが、所望の実施態様に応じて、さまざまなブロックを追加のブロックに分割することができ、又はさまざまなブロックをより少数のブロックに結合することができ、又はさまざまなブロックを省くことができる。次に、図１〜４を参照して方法４００について論じる。
【0047】
方法４００は、ブロック４０２から始めることができ、ブロック４０２では、ＭＯＤ出力判断の複数の相互依存出力構成要素に対する順序を選択する。例えば、ＨＢＳ機械学習モジュール２１２は、ＭＯＤ出力判断ｚの複数の相互依存出力構成要素ｚ１、ｚ２、ｚ３及びｚ４に対する順序を選択することができる。ＭＯＤ出力判断ｚは、応答エージェントの肩書、応答方法、応答メッセージのタイプ及び応答時機を含む４つの構成要素を有する。選択することができる１つの可能な順序は、応答エージェントの肩書、応答方法、応答メッセージのタイプ及び応答時機である。別の可能な順序は、応答方法、応答エージェントの肩書、応答メッセージのタイプ及び応答時機であり得る。
【0048】
出力構成要素の順序は、さまざまな方法を使用して決定することができる。例えば、順序を決定する１つの方法は、試験データに対して全ての可能な順序を試し、次いで最良の全体性能を有する１つの順序を選択することを含むことができる。図３Ａに開示された実施形態の例では、この順序が、ｚ１＝応答エージェントの肩書、ｚ２＝応答方法、ｚ３＝応答メッセージのタイプ及びｚ４＝応答時機であるとして選択されている。
【0049】
ブロック４０４では、入力及び予測された以前の構成要素（１つ又は複数）に基づいてその構成要素を予測するように、選択された順序のそれぞれの構成要素に対する分類器を逐次的に訓練する。例えば、ＨＢＳ機械学習モジュール２１２は、図３Ｂの入力特徴ベクトルｘ及び予測された以前の構成要素（１つ又は複数）に基づいて、構成要素ｚ１、ｚ２、ｚ３及びｚ４を、選択された順序で予測するように、ＭＬＰニューラル・ネットワークＭＬＰ１、ＭＬＰ２、ＭＬＰ３及びＭＬＰ４を逐次的に訓練することができる。したがって、ＭＬＰ１は、ｘを入力として使用して応答エージェントの肩書ｚ１を予測するように、（ｘ；ｚ１）から訓練され、ＭＬＰ２は、ｘ及びｚ１を入力として使用して応答方法ｚ２を予測するように、（ｘ，ｚ１；ｚ２）から訓練され、ＭＬＰ３は、ｘ、ｚ１及びｚ２を入力として使用して応答メッセージのタイプｚ３を予測するように、（ｘ，ｚ１，ｚ２；ｚ３）から訓練され、ＭＬＰ４は、ｘ、ｚ１、ｚ２及びｚ３を入力として使用して応答時機ｚ４を予測するように、（ｘ，ｚ１，ｚ２，ｚ３；ｚ４）から訓練される。
【0050】
一例では、それぞれの構成要素が、以下のように３つ可能な値を有すると仮定する：ｚ１∈｛ｚ１１，ｚ１２，ｚ１３｝＝｛販売担当副社長，販売部長，販売部員｝、ｚ２∈｛ｚ２１，ｚ２２，ｚ２３｝＝｛電話，電子メール，ファックス｝、ｚ３∈｛ｚ３１，ｚ３２，ｚ３３｝＝｛ＭＴ１，ＭＴ２，ＭＴ３｝、ｚ４∈｛ｚ４１，ｚ４２，ｚ４３｝＝｛短，中，長｝。図３Ａ及び３Ｃに開示されているように、最初に、ＭＬＰニューラル・ネットワークＭＬＰ１が、ｘに基づいて、ｚ１を、ｚ１∈｛ｚ１１，ｚ１２，ｚ１３｝に対する３つの出力値｛ｐ（ｚ１１），ｐ（ｚ１２），ｐ（ｚ１３）｝を生成することによって予測するように訓練される。次に、図３Ａ及び３Ｄに開示されているように、ＭＬＰニューラル・ネットワークＭＬＰ２が、ｘとＭＬＰ１の結果の両方に基づいて、ｚ２を、以下の９つ（３・３＝９）の出力値を生成することによって予測するように訓練される：ｐ（ｚ１１，ｚ２１）＝ｐ（ｚ１１）・ｍｌｐ２（ｘ，ｚ１＝ｚ１１；ｚ２＝ｚ２１）、ｐ（ｚ１１，ｚ２２）＝ｐ（ｚ１１）・ｍｌｐ２（ｘ，ｚ１＝ｚ１１；ｚ２＝ｚ２２）、ｐ（ｚ１２，ｚ２１）＝ｐ（ｚ１２）・ｍｌｐ２（ｘ，ｚ１＝ｚ１２；ｚ２＝ｚ２１）など。図３Ａに開示されているように、次にＭＬＰニューラル・ネットワークＭＬＰ３が、ｘとＭＬＰ１及びＭＬＰ２の結果の両方に基づいて、ｚ３を、２７個（３・３・３＝２７）の出力値を生成することによって予測するように訓練され、ＭＬＰ４が、ｘとＭＬＰ１、ＭＬＰ２及びＭＬＰ３の結果の両方に基づいて、ｚ４を、８１個（３・３・３・３＝８１）の出力値を生成することによって予測するように訓練される。次いで、これらの８１個の可能な出力判断を出力値に基づいてソートし、最も高い出力値を有する出力判断を、予測された出力判断ｚとして選ぶことができる。
【0051】
実施形態の少なくともいくつかの例では、比較的に小さな出力値の乗算をより容易に取り扱うために、これらの８１個の出力値をスケーリングすることができる。例えば、８１個の可能な全ての出力判断に対する対数出力値を以下のようにして計算することができる：ｌｏｇ（ｐ（ｘ；ｚ１ｉ）・ｐ（ｘ，ｚ１ｉ；ｚ２ｊ）・ｐ（ｘ，ｚ１ｉ，ｚ２ｊ；ｚ３ｋ）・ｐ（ｘ，ｚ１ｉ，ｚ２ｊ，ｚ３ｋ；ｚ４ｌ））。ここで、ｉ∈｛１，２，３｝、ｊ∈｛１，２，３｝、ｋ∈｛１，２，３｝、ｌ∈｛１，２，３｝である。対数出力値を計算することは出力値をスケーリングする一例にすぎず、他のスケーリング技法を使用することもできることが理解される。実施形態の少なくともいくつかの例では、この８１個の出力値のスケーリングを省略することができることも理解される。
【0052】
この例は、入力及び予測された以前の構成要素（１つ又は複数）に基づいて構成要素を予測するように、それぞれの構成要素に対する分類器を選択された順序で逐次的に訓練する一例にすぎず、ブロック４０４は、この例の特定用途又はこの例で解かれるＬＲＭ ＭＯＤ問題だけに限定されないことが理解される。
【0053】
図５は、複数の正しいＭＯＤ出力判断の略流れ図５００である。図５００に開示されているとおり、ＨＢＳ機械学習モデル３００は、所与の入力特徴ベクトルｘに対して、複数の正しい出力判断５０２，５０４を生成することがある。判断を下す典型的な過程では通常、固定された入力が与えられる場合には正しい判断が１つだけあると仮定されるが、ＬＲＭ ＭＯＤ出力判断に関しては、都合のよい同様の結果を全ての判断が生み出す複数の正しい判断があることがある。使用可能な資源に基づいて、複数の正しい判断の中から１つの判断を選ぶことができる。例えば、特定の時刻に、応答エージェントの肩書ｚ１＝「販売部長」を有する特定の応答エージェントが対応できない場合には、応答エージェントの肩書ｚ１＝「販売部員」を含む別の正しい判断を下すことができる。
【0054】
同時に複数の出力判断が正しいとみなされる場合、用語「正しい」は、実質的に同様の出力値をそれぞれが有する複数の出力判断について言うことがある。例えば、図５の出力判断５０２，５０４はそれぞれ、全く同じ出力値又は実質的に同様の出力値を有することができ、このことは、どちらの出力判断を実行しても都合のよい同様の結果が得られるであろうことを示す。それに加えて、又はその代わりに、用語「正しい」は、所定のしきい値よりも大きい出力値をそれぞれが有する複数の出力判断について言うこともある。このしきい値は、用途に応じて、予め比較的に高く又は比較的に低く定めることができる。図５には、２つの正しい出力判断だけが開示されているが、ＨＢＳ機械学習モデル３００は、３つ以上の正しい出力判断を生成することができることが理解される。
【0055】
ＨＢＳ機械学習モデルを使用してＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法の例を図３Ａ〜５に関して説明したが、以下では、エージェントが、結果として生じる出力判断にアクセスし、それらの出力判断を実施することを可能にするシステム及びユーザ・インタフェースの例を、図６〜８Ｂに関して説明する。これらの具体的なシステム及びユーザ・インタフェースは、実施形態の例を使用することができる無数のシステム及びユーザ・インタフェースのうちの一部でしかないことが理解される。実施形態の例の範囲が、特定のシステム又はユーザ・インタフェースだけに限定されることは意図されていない。
【0056】
図６は、顧客関係管理（ＣＲＭ）システムの例のユーザ・インタフェース６００のコンピュータ・スクリーン画像の例を示す。ユーザ・インタフェース６００は、エージェントが顧客関係を管理すること、特にＣＲＭシステムによって提供されたリードを管理することを可能にするさまざまな制御手段を含む。ユーザ・インタフェース６００は、ウェブ・サーバ１７０によって、例えばワークステーション１２８上又は図１のローカル・エージェント・ワークステーション１９２上で、エージェントに対して提示することができる。エージェントは、ユーザ・インタフェース６００を使用して、図１のリード・データ・サーバ１９０上に以前に記憶されたリードに応答することができる。具体的には、図８Ａ，８Ｂに関連して後に論じるように、リード・アドバイザ表示部８００が、接触率又は資格取得率を最適化する形でエージェントがリードに応答することを可能にすることができる。
【0057】
図７は、図１のＬＲＭシステムなどのＬＲＭシステムの例のユーザ・インタフェース７００のコンピュータ・スクリーン画像の例を示す。図６のユーザ・インタフェース６００と同様に、ユーザ・インタフェース７００も、エージェントがリードに応答することを可能にするさまざまな制御手段を含む。ユーザ・インタフェース７００は、ユーザ・インタフェース６００と同様の方法でエージェントに提示することができる。このユーザ・インタフェースもリード・アドバイザ表示部８００を含む。
【0058】
図８Ａは、エージェントによってリードが選択される前のリード・アドバイザ表示部８００の例のコンピュータ・スクリーン画像の例を示し、図８Ｂは、エージェントによってリードが選択された後のリード・アドバイザ表示部８００の例のコンピュータ・スクリーン画像の例を示す。図８Ａに開示されているとおり、リード・アドバイザ表示部８００は５つのリードをリスト表示する。リードはそれぞれ、名前８０２、成功可能性メータ８０４、及び成功可能性カテゴリ・インジケータ８０６を含む。図８Ａに開示されているとおり、これらのリードは、最も高い成功可能性から最も低い成功可能性へリスト表示されている。例えばマウス・ポインタをリードの上に合わせることによってエージェントが問い合わせると、リード「マーク リトルフィールド（Ｍａｒｋ Ｌｉｔｔｌｅｆｉｅｌｄ）」に関して図８Ａに示されているように、そのリードを拡大することができる。拡大されると、そのリードは、確認ボタン８０８、削除ボタン８１０、「詳細」リンク８１２などの追加のオプションをエージェントに提示することができる。
【0059】
例えばマウス・ポインタによって詳細リンク８１２をクリックすることによってエージェントが「詳細」リンク８１２を選択すると、図８Ｂに開示されているようなポップアウト表示部８１４をエージェントに提示することができる。ポップアウト表示部８１４は、そのリードに関連するＬＲＭプランをエージェントに提示することができる。このＬＲＭプランは、本明細書に開示された方法の例によって生成されたものとすることができ、そのリードに対する最も高い出力値を有する出力判断又はそのリードに対する最も高い出力値の中の出力判断を反映することができる。図８Ｂに開示されているとおり、「マーク リトルフィールド」という名のリードに対するＬＲＭプランは、販売部長を活用して、メッセージ・タイプＭＴ１を有する電子メールを短い時間枠内で送ることを含むことができる。これは図５の出力判断５０２に対応する。エージェントは次いで、ポップアウト表示部８１４を単純にクリックして、リード・アドバイザ表示部８００に、メッセージ・タイプＭＴ１を有するリードへの電子メールを自動的に生成させることができ、この電子メールは、販売部長によって直ちに送信される。あるいは、エージェントが、応答プランを手動で変更すること、及び異なる応答を手動で実行することもできる。
【0060】
したがって、本明細書に開示された実施形態は、ＨＢＳ機械学習モデルを使用してＭＯＤ出力判断の複数の相互依存出力構成要素を予測する方法を含む。本明細書に開示された方法の例は、入力及び予測された以前の出力構成要素（１つ又は複数）に基づいてそれぞれの出力構成要素を予測することを可能にする。したがって、本明細書に開示された方法の例を使用して、ＬＲＭ問題などのＭＯＤ問題を解くことができる。
【0061】
本明細書に記載された実施形態は、後により詳細に論じるさまざまなコンピュータ・ハードウェア・モジュール又はコンピュータ・ソフトウェア・モジュールを含む専用コンピュータ又は汎用コンピュータの使用を含むことができる。
【0062】
本明細書に記載された実施形態は、その上に記憶されたコンピュータ実行可能命令又はデータ構造体を担持し又は有するコンピュータ可読媒体を使用して実施することができる。このようなコンピュータ可読媒体は、汎用コンピュータ又は専用コンピュータがアクセスすることができる使用可能な任意の媒体とすることができる。例として、このようなコンピュータ可読媒体は、限定はされないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、又はコンピュータ実行可能命令もしくはデータ構造体の形態の所望のプログラム・コードを担持しもしくは記憶する目的に使用することができ、汎用コンピュータ又は専用コンピュータがアクセスすることができる他の任意の記憶媒体を含む、非一時的コンピュータ可読記憶媒体を含むことができる。上記の記憶媒体の組合せもコンピュータ可読媒体の範囲に含めることができる。
【0063】
コンピュータ実行可能命令は例えば、汎用コンピュータ、専用コンピュータ又は専用処理デバイスに、ある関数又はある一群の関数を実行させる命令及びデータを含む。構造特徴及び／又は方法行為に特有の言葉で主題を説明したが、添付の特許請求項に定義された主題は、以上に記載した特定の特徴又は行為だけに限定されるわけではないことを理解すべきである。以上に記載した特定の特徴及び行為は、特許請求項を実現する形態の例として開示されている。
【0064】
本明細書で使用されるとき、用語「モジュール」は、コンピューティング・システム上で実行されるソフトウェア・オブジェクト又はソフトウェア・ルーチンを指すことがある。本明細書に記載されたさまざまなモジュールは、コンピューティング・システム上で実行されるオブジェクト又は処理として（例えば別個のスレッドとして）実装することができる。本明細書に記載されたシステム及び方法はソフトウェアとして実装されることが好ましいが、ハードウェア又はソフトウェアとハードウェアの組合せとして実装することも可能であり、そのような実装も企図される。
【0065】
本明細書に記載された全ての例及び条件つきの言葉は、教育的オブジェクトが、当技術を進化させるために本発明の発明者が与えた実施形態の例及び着想を本明細書を読む人が理解するのを助けることが意図されており、具体的に記載されたこのような例及び条件だけに限定されないと解釈される。
【手続補正書】
【提出日】2015年5月20日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複合出力依存性（ＭＯＤ）出力判断における、明確に類型分けされた複数の相互依存出力構成要素を予測するために、機械学習モデルを使用するステップを備える方法において、
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を、一定の入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記出力構成要素のうちの前記入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップと、
前記出力構成要素のうちの第３の出力構成要素を、前記入力と、前記第１の出力構成要素と、前記第２の出力構成要素とを使用して予測するステップと
を含んでなる、方法。
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を、一定の入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記出力構成要素のうちの前記入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップと、
前記出力構成要素のうちの第３の出力構成要素を、前記入力と、前記第１の出力構成要素と、前記第２の出力構成要素とを使用して予測するステップと
を含んでなる、方法。
【請求項2】
複数の正しい複合出力依存性出力判断を与える、請求項１に記載の方法。
【請求項3】
前記複数の正しい複合出力依存性出力判断がそれぞれ実質的に同様の出力値を有する、請求項２に記載の方法。
【請求項4】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の明確に類型分けされた３つの相互依存出力構成要素に対する順序を選択するステップと、
対応する出力構成要素を予測するために、前記３つの出力構成要素のそれぞれについての３つの分類器を選択された前記順序で逐次的に訓練するステップであって、前記第１の出力構成要素は一定の入力を用いて予測し、その後の出力構成要素は前記入力と同一の入力とそれ以前に予測された出力構成要素のすべてとを用いて予測する、訓練するステップとを備える、方法。
複合出力依存性出力判断の明確に類型分けされた３つの相互依存出力構成要素に対する順序を選択するステップと、
対応する出力構成要素を予測するために、前記３つの出力構成要素のそれぞれについての３つの分類器を選択された前記順序で逐次的に訓練するステップであって、前記第１の出力構成要素は一定の入力を用いて予測し、その後の出力構成要素は前記入力と同一の入力とそれ以前に予測された出力構成要素のすべてとを用いて予測する、訓練するステップとを備える、方法。
【請求項5】
それぞれの分類器は、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項４に記載の方法。
【請求項6】
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなる、請求項４に記載の方法。
【請求項7】
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項６に記載の方法。
【請求項8】
前記ＭＯＤ出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項７に記載の方法。
【請求項9】
複数の正しいＭＯＤ出力判断を与える、請求項４に記載の方法。
【請求項10】
それぞれの前記複数の正しい複合出力依存性出力判断は、所定のしきい値よりも大きな出力値を有する、請求項９に記載の方法。
【請求項11】
請求項４に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項12】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップと、
出力構成要素を予測するために、出力構成要素を選択した順序で第３の出力構成要素を訓練するステップであって、前記訓練は、前記入力と予測された前記第１の出力構成要素と、予測された前記第２の出力構成要素とを使用して行う、訓練するステップと
を備える、方法。
複合出力依存性出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップと、
出力構成要素を予測するために、出力構成要素を選択した順序で第３の出力構成要素を訓練するステップであって、前記訓練は、前記入力と予測された前記第１の出力構成要素と、予測された前記第２の出力構成要素とを使用して行う、訓練するステップと
を備える、方法。
【請求項13】
選択された前記順序における１つ又は複数の追加の構成要素を、前記入力と、以前に予測された前記出力構成要素とを使用して予測するように、１つ又は複数の追加の分類器を訓練することをさらに含んでなる、請求項１２に記載の方法。
【請求項14】
前記第１の分類器、前記第２の分類器及び前記第３の分類器のそれぞれは、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項１２に記載の方法。
【請求項15】
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項１２に記載の方法。
【請求項16】
前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項１５に記載の方法。
【請求項17】
前記複合出力依存性出力判断は、スポーツ、人質交渉、小売販売、オンライン・ショッピング・カート、ウェブ・コンテント管理システム、顧客サービス、契約交渉もしくは危機管理、又はこれらのある組合せに関係する、請求項１２に記載の方法。
【請求項18】
複数の正しい複合出力依存性出力判断を与える、請求項１２に記載の方法。
【請求項19】
前記複数の正しい複合出力依存性出力判断のそれぞれは、実質的に同様の出力値又は所定のしきい値よりも大きな出力値を有する、請求項１８に記載の方法。
【請求項20】
請求項１２に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項21】
複合出力依存性出力判断の前記３つの相互依存出力構成要素に対する前記順序を選択することは、前記複合出力依存性出力判断の前記３つの相互依存出力構成要素に対する複数の異なる可能な順序のうちの１つの順序から前記順序を選択することを含んでなる、請求項４に記載の方法。
【請求項22】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、一定の入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備え、
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなり、
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの
間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、一定の入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備え、
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなり、
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの
間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
【請求項23】
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ以上の構成要素を含んでなる、請求項２２に記載の方法。
【請求項24】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備え、
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備え、
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
【請求項25】
前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項２４に記載の方法。
【手続補正書】
【提出日】2015年9月25日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複合出力依存性（ＭＯＤ）出力判断における、明確に類型分けされた複数の相互依存出力構成要素を予測するために、機械学習モデルを使用するステップを備える方法において、
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を、一定の入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップと、
前記出力構成要素のうちの第３の出力構成要素を、前記入力と、前記第１の出力構成要素と、前記第２の出力構成要素とを使用して予測するステップと
を含んでなる、方法。
前記使用するステップが、
前記出力構成要素のうちの第１の出力構成要素を、一定の入力を使用して予測するステップと、
前記出力構成要素のうちの第２の出力構成要素を、前記入力と、前記出力構成要素のうちの前記第１の出力構成要素とを使用して予測するステップと、
前記出力構成要素のうちの第３の出力構成要素を、前記入力と、前記第１の出力構成要素と、前記第２の出力構成要素とを使用して予測するステップと
を含んでなる、方法。
【請求項2】
複数の正しい複合出力依存性出力判断を与える、請求項１に記載の方法。
【請求項3】
前記複数の正しい複合出力依存性出力判断がそれぞれ実質的に同様の出力値を有する、請求項２に記載の方法。
【請求項4】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の明確に類型分けされた３つの相互依存出力構成要素に対する順序を選択するステップと、
対応する出力構成要素を予測するために、前記３つの出力構成要素のそれぞれについての３つの分類器を選択された前記順序で逐次的に訓練するステップであって、前記３つの出力構成要素の第１の出力構成要素は一定の入力を用いて予測し、その後の出力構成要素は前記入力と同一の入力とそれ以前に予測された出力構成要素のすべてとを用いて予測する、訓練するステップとを備える、方法。
複合出力依存性出力判断の明確に類型分けされた３つの相互依存出力構成要素に対する順序を選択するステップと、
対応する出力構成要素を予測するために、前記３つの出力構成要素のそれぞれについての３つの分類器を選択された前記順序で逐次的に訓練するステップであって、前記３つの出力構成要素の第１の出力構成要素は一定の入力を用いて予測し、その後の出力構成要素は前記入力と同一の入力とそれ以前に予測された出力構成要素のすべてとを用いて予測する、訓練するステップとを備える、方法。
【請求項5】
それぞれの分類器は、多層パーセプトロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、
請求項４に記載の方法。
請求項４に記載の方法。
【請求項6】
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなる、請求項４に記載の方法。
【請求項7】
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項６に記載の方法。
【請求項8】
前記ＭＯＤ出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項７に記載の方法。
【請求項9】
複数の正しいＭＯＤ出力判断を与える、請求項４に記載の方法。
【請求項10】
それぞれの前記複数の正しい複合出力依存性出力判断は、所定のしきい値よりも大きな出力値を有する、請求項９に記載の方法。
【請求項11】
請求項４に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項12】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップと、
出力構成要素を予測するために、出力構成要素を選択した順序で３番目の構成要素を訓練するステップであって、前記訓練は、前記入力と前記１番目の構成要素と、前記２番目の構成要素とを使用して行う、訓練するステップと
を備える、方法。
複合出力依存性出力判断の明確に類型分けされた複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップと、
出力構成要素を予測するために、出力構成要素を選択した順序で３番目の構成要素を訓練するステップであって、前記訓練は、前記入力と前記１番目の構成要素と、前記２番目の構成要素とを使用して行う、訓練するステップと
を備える、方法。
【請求項13】
選択された前記順序における１つ又は複数の追加の構成要素を、前記入力と、以前に予測された前記出力構成要素とを使用して予測するように、１つ又は複数の追加の分類器を訓練することをさらに含んでなる、請求項１２に記載の方法。
【請求項14】
前記第１の分類器、前記第２の分類器及び第３の分類器のそれぞれは、多層パーセプト
ロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項１２に記載の方法。
ロン（ＭＬＰ）ニューラル・ネットワーク、別の多層ニューラル・ネットワーク、決定木又はサポート・ベクター・マシンを含んでなる、請求項１２に記載の方法。
【請求項15】
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、請求項１２に記載の方法。
【請求項16】
前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項１５に記載の方法。
【請求項17】
前記複合出力依存性出力判断は、スポーツ、人質交渉、小売販売、オンライン・ショッピング・カート、ウェブ・コンテント管理システム、顧客サービス、契約交渉もしくは危機管理、又はこれらのある組合せに関係する、請求項１２に記載の方法。
【請求項18】
複数の正しい複合出力依存性出力判断を与える、請求項１２に記載の方法。
【請求項19】
前記複数の正しい複合出力依存性出力判断のそれぞれは、実質的に同様の出力値又は所定のしきい値よりも大きな出力値を有する、請求項１８に記載の方法。
【請求項20】
請求項１２に記載の方法を処理装置に実行させるプログラムを記憶した非一時的コンピュータ可読媒体。
【請求項21】
複合出力依存性出力判断の前記３つの相互依存出力構成要素に対する前記順序を選択することは、前記複合出力依存性出力判断の前記３つの相互依存出力構成要素に対する複数の異なる可能な順序のうちの１つの順序から前記順序を選択することを含んでなる、請求項４に記載の方法。
【請求項22】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、一定の入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備え、
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなり、
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社
サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
前記出力構成要素を、一定の入力と、以前に予測された出力構成要素（１つ又は複数）とを使用して予測するように、前記出力構成要素のうちのそれぞれの出力構成要素に対する分類器を、選択された前記順序で逐次的に訓練するステップとを備え、
前記入力は、２つ以上の特徴を有する入力特徴ベクトルを含んでなり、
前記入力特徴ベクトルは、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含んでなり、前記入力特徴ベクトルの前記特徴が、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社
サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
【請求項23】
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ以上の構成要素を含んでなる、請求項２２に記載の方法。
【請求項24】
階層ベース配列の（ＨＢＳ）機械学習モデルを使用して、複合出力依存性（ＭＯＤ）出力判断の複数の相互依存出力構成要素を予測するための方法において、
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備え、
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
複合出力依存性出力判断の複数の相互依存出力構成要素に対する順序を選択するステップと、
選択された前記順序における１番目の構成要素を、一定の入力を使用して予測するように、第１の分類器を訓練するステップと、
選択された前記順序における２番目の構成要素を、前記入力と、予測された前記１番目の構成要素とを使用して予測するように、第２の分類器を訓練するステップとを備え、
前記複合出力依存性出力判断はリード応答管理（ＬＲＭ）複合出力依存性出力判断であり、前記入力は、リードに関する不変の特徴と、エージェントと前記リードの間の対話に関係する対話特徴とを含む入力特徴ベクトルを含んでなり、前記入力特徴ベクトルの前記特徴は、リードの出所、リードの肩書、リードの事業分野、リードの州、リード作成日、リードの会社サイズ、リードのステータス、以前のダイヤル回数、以前の電子メール回数、直前のアクション、最後のアクションからの時間、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度、応答持続性及びその時点のイベントに関するデータのうちの１つ又は複数の特徴を含んでなる、方法。
【請求項25】
前記構成要素は、応答エージェントの肩書、応答方法、応答メッセージのタイプ、応答時機、エージェント又はリードの人口統計学的な分析結果、エージェント又はリードの経歴の分析結果、リード接触肩書、エージェント又はリードの心理学的な分析結果、エージェント又はリードのソーシャル・ネットワーク分析結果、エージェント又はリードの地理的な分析結果、応答頻度及び応答持続性のうちの１つ又は複数の構成要素を含んでなる、請求項２４に記載の方法。
【国際調査報告】