知財求人 - 知財ポータルサイト「IP Force」
特表2024-522358マーケティングオートメーション及び顧客関係管理システムのための機械学習支援自動タクソノミー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-18
(54)【発明の名称】マーケティングオートメーション及び顧客関係管理システムのための機械学習支援自動タクソノミー
(51)【国際特許分類】
G06F 16/906 20190101AFI20240611BHJP
G06Q 30/02 20230101ALI20240611BHJP
【ＦＩ】
G06F16/906
G06Q30/02
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023574169
(86)(22)【出願日】2022-06-27
(85)【翻訳文提出日】2024-01-29
(86)【国際出願番号】 US2022035159
(87)【国際公開番号】W WO2022256751
(87)【国際公開日】2022-12-08
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
２．ＪＡＶＡ
３．ＶＩＳＵＡＬ ＢＡＳＩＣ
４．ＰＹＴＨＯＮ
５．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】520221017
【氏名又は名称】６センス インサイツ，インコーポレイテッド
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ケワラマニ，ロヒット
(72)【発明者】
【氏名】チェン，ジャスティン
【テーマコード（参考）】
5B175
5L030
【Ｆターム（参考）】
5B175FA03
5L030BB01
(57)【要約】
マーケティングオートメーション及び顧客関係管理のための機械学習支援自動タクソノミー。一実施形態では、複数の機械学習モデルは、注釈付き特徴の訓練データセットを使用して、アクティビティレコードをアクションクラス、チャネルクラス、及びタイプクラスに分類するように訓練される。動作中、関連する特徴を各アクティビティレコードから抽出することができ、各モデルを、それらの特徴のそれぞれのセットに適用して、アクティビティレコードをアクションクラス、チャネルクラス、及びタイプクラスに分類することができる。次いで、これらのクラスを、タクソノミー化されたアクティビティレコードとしてアクティビティレコードに関連付けて記憶することができる。
【選択図】図３
【選択図】図３
【特許請求の範囲】
【請求項1】
少なくとも１つのハードウェアプロセッサを使用して、訓練モード中に、複数の注釈付き特徴を含む訓練データセットに基づいて、複数のモデルの各々を、前記複数のモデルのうちの任意の他の１つとは異なる複数のタクソノミーのうちの１つにおける複数のクラスからクラスを予測するように訓練することであって、前記複数のモデルは、アクションのタクソノミーにおけるクラスを予測するアクションモデルと、チャネルのタクソノミーにおけるクラスを予測するチャネルモデルと、タイプのタクソノミーにおけるクラスを予測するタイプモデルと、を含む、訓練することと、
動作モード中に、
１つ以上のアクティビティレコードを含むデータを取得することと、
前記１つ以上のアクティビティレコードの各々について、
前記アクティビティレコードからアクション特徴、チャネル特徴、及びタイプ特徴を抽出することと、
前記アクションモデルを前記アクション特徴に適用して、前記アクションのタクソノミーからアクションクラスを予測することと、
前記チャネルモデルを前記チャネル特徴に適用して、前記チャネルのタクソノミーからチャネルクラスを予測することと、
前記タイプモデルを前記タイプ特徴に適用して、前記タイプのタクソノミーからタイプクラスを予測することと、
予測された前記アクションクラス、予測された前記チャネルクラス、及び予測された前記タイプクラスを、タクソノミー化されたアクティビティレコードとして、前記アクティビティレコードに関連付けて記憶することと、を含む、方法。
【請求項2】
前記アクション特徴を抽出すること、前記チャネル特徴を抽出すること、及び前記タイプ特徴を抽出することは、各々、前記アクティビティレコードから１つ以上のキーワードを導出することと、
ベクトル化関数に従って前記１つ以上のキーワードをベクトルに変えることと、を含む、請求項１に記載の方法。
【請求項3】
各ベクトルは、固定数の次元を有し、前記固定数の次元を有するベクトル空間内への前記１つ以上のキーワードの埋め込みを表す、請求項２に記載の方法。
【請求項4】
前記ベクトル化関数は、言語変換器である、請求項３に記載の方法。
【請求項5】
前記ベクトルは、前記固定数の次元の各々についての実数値を含む、請求項３に記載の方法。
【請求項6】
前記アクション特徴を抽出すること、前記チャネル特徴を抽出すること、及び前記タイプ特徴を抽出することは、各々、前記１つ以上のキーワードを前記ベクトルに変える前に前記１つ以上のキーワードを正規化することを更に含む、請求項２に記載の方法。
【請求項7】
前記複数のモデルの各々は、深層ニューラルネットワークを含む、請求項１に記載の方法。
【請求項8】
前記複数のモデルの各々を訓練することは、自然言語処理のために訓練された既存のニューラルネットワークに１つ以上の層を追加することを含み、一方、前記既存のニューラルネットワークの１つ以上の層中のニューロン重みは、凍結される、請求項７に記載の方法。
【請求項9】
前記複数のモデルの各々は、予測されたクラスと、前記予測されたクラスについての確率値との両方を出力し、前記方法は、前記少なくとも１つのハードウェアプロセッサを使用して、前記動作モード中に、前記１つ以上のアクティビティレコードの各々について、前記複数のモデルの全てによる前記予測されたクラスについての前記確率値がそれぞれの閾値を満たす場合、マッピングされたステータスを前記アクティビティレコードに割り当てることと、
前記複数のモデルのうちの少なくとも１つからの前記予測されたクラスについての前記確率値が前記それぞれの閾値を満たさない場合、マッピングされていないステータスを前記アクティビティレコードに割り当てることと、を更に含む、請求項７に記載の方法。
【請求項10】
前記方法は、前記少なくとも１つのハードウェアプロセッサを使用して、前記マッピングされていないステータスが割り当てられた前記アクティビティレコードの各々について、そのアクティビティレコードに関連付けられる前記複数のタクソノミーのうちの２つ以上における前記複数のクラスのうちの１つを指定するための１つ以上の入力を含むグラフィカルユーザインターフェースを生成することと、
前記マッピングされていないステータスが割り当てられた前記アクティビティレコードのうちの１つを保存するためのユーザ動作に応答して、任意の指定されたクラスを１つの前記アクティビティレコードに関連付けて記憶し、前記マッピングされたステータスを前記１つのアクティビティレコードに割り当てることと、を更に含む、請求項９に記載の方法。
【請求項11】
前記方法は、前記少なくとも１つのハードウェアプロセッサを使用して、記憶された前記アクションクラス及び記憶された前記チャネルクラスのうちの一方又は両方の各々を、前記タクソノミー化されたアクティビティレコードのうちの１つ以上におけるオーバーライドクラスに変更するための１つ以上の入力と、任意のオーバーライドクラスを含む１つ以上の前記タクソノミー化されたアクティビティレコードをデータウェアハウスに記憶するための少なくとも１つの入力とを含むグラフィカルユーザインターフェースを生成することを更に含む、請求項１に記載の方法。
【請求項12】
前記少なくとも１つのハードウェアプロセッサを使用して、前記データウェアハウスから少なくとも１つのルックアップテーブルを生成することを更に含み、前記少なくとも１つのルックアップテーブルは、前記データウェアハウス内の前記タクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードの前記アクション特徴による、前記アクションクラス、
前記データウェアハウス内の前記タクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードの前記チャネル特徴による、前記チャネルクラス、又は
前記データウェアハウス内の前記タクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードの前記タイプ特徴による、前記タイプクラスのうちの１つ以上をインデックス付けする、請求項１１に記載の方法。
【請求項13】
前記少なくとも１つのハードウェアプロセッサを使用して、１つ以上のアクティビティレコードの各々について、前記複数のモデルの各々について、そのモデルについて抽出された特徴を使用して、前記アクティビティレコードから、前記少なくとも１つのルックアップテーブルにおいてルックアップを実施することと、
前記ルックアップがクラスを返した場合、返された前記クラスを、前記モデルを適用することなく前記タクソノミー化されたアクティビティレコードとして前記アクティビティレコードに関連付けて記憶することと、
前記ルックアップがクラスを返さない場合、そのモデルについての前記特徴を抽出し、前記モデルを抽出された前記特徴に適用することと、を更に含む、請求項１２に記載の方法。
【請求項14】
前記複数のモデルは、ウェブアクティビティのタクソノミーにおけるクラスを予測するウェブモデルを更に含み、前記方法は、前記少なくとも１つのハードウェアプロセッサを使用して、前記動作モード中に、前記１つ以上のアクティビティレコードの各々について、前記アクティビティレコードがユニフォームリソースロケータ（ＵＲＬ）を含む場合、前記アクティビティレコードからウェブ特徴を抽出することと、
前記ウェブモデルを前記ウェブ特徴に適用して、前記ウェブアクティビティのタクソノミーからウェブアクティビティを予測することと、
予測された前記ウェブアクティビティを前記アクティビティレコードに関連付けて前記タクソノミー化されたアクティビティレコードに記憶することと、を更に含む、請求項１に記載の方法。
【請求項15】
前記動作モード中に、前記１つ以上のアクティビティレコードの各々について、前記アクティビティレコードがＵＲＬを含む場合、前記予測されたウェブアクティビティは、前記予測されたタイプクラスの代わりに、前記タクソノミー化されたアクティビティレコード中の前記アクティビティレコードに関連付けられる、請求項１４に記載の方法。
【請求項16】
前記複数のモデルは、複数のアクションモデルと、複数のチャネルモデルと、複数のタイプモデルと、を含み、前記方法は、前記少なくとも１つのハードウェアプロセッサを使用して、前記動作モード中に、前記データが取得されたデータソースのタイプに基づいて、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つを選択することを更に含む、請求項１に記載の方法。
【請求項17】
前記データソースのタイプがマーケティングオートメーションプラットフォームであるとき、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つの第１の組み合わせが選択され、前記データソースのタイプが顧客関係管理システムであるとき、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つの第２の組み合わせが選択され、前記第１の組み合わせは、前記第２の組み合わせとは異なる、請求項１６に記載の方法。
【請求項18】
前記データソースのタイプがマーケティングオートメーションプラットフォームであるとき、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つの第１の組み合わせが選択され、前記データソースのタイプが顧客関係管理システムのキャンペーンデータであるとき、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つの第２の組み合わせが選択され、前記データソースのタイプが顧客関係管理システムのイベントデータであるとき、前記複数のアクションモデルのうちの１つ、前記複数のチャネルモデルのうちの１つ、及び前記複数のタイプモデルのうちの１つの第３の組み合わせが選択され、前記第１の組み合わせ、前記第２の組み合わせ、及び前記第３の組み合わせは、互いに異なる、請求項１６に記載の方法。
【請求項19】
システムであって、少なくとも１つのハードウェアプロセッサと、
１つ以上のソフトウェアモジュールと、を備え、前記１つ以上のソフトウェアモジュールは、前記少なくとも１つのハードウェアプロセッサによって実行されると、
訓練モード中に、複数の注釈付き特徴を含む訓練データセットに基づいて、複数のモデルの各々を、前記複数のモデルのうちの任意の他の１つとは異なる複数のタクソノミーのうちの１つにおける複数のクラスからクラスを予測するように訓練することであって、前記複数のモデルは、アクションのタクソノミーにおけるクラスを予測するアクションモデルと、チャネルのタクソノミーにおけるクラスを予測するチャネルモデルと、タイプのタクソノミーにおけるクラスを予測するタイプモデルと、を含む、訓練することと、
動作モード中に、
１つ以上のアクティビティレコードを含むデータを取得することと、
前記１つ以上のアクティビティレコードの各々について、
前記アクティビティレコードからアクション特徴、チャネル特徴、及びタイプ特徴を抽出することと、
前記アクションモデルを前記アクション特徴に適用して、前記アクションのタクソノミーからアクションクラスを予測することと、
前記チャネルモデルを前記チャネル特徴に適用して、前記チャネルのタクソノミーからチャネルクラスを予測することと、
前記タイプモデルを前記タイプ特徴に適用して、前記タイプのタクソノミーからタイプクラスを予測することと、
予測された前記アクションクラス、予測された前記チャネルクラス、及び予測された前記タイプクラスを、タクソノミー化されたアクティビティレコードとして前記アクティビティレコードに関連付けて記憶することと、を行うように構成されている、システム。
【請求項20】
命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、訓練モード中に、複数の注釈付き特徴を含む訓練データセットに基づいて、複数のモデルの各々を、前記複数のモデルのうちの任意の他の１つとは異なる複数のタクソノミーのうちの１つにおける複数のクラスからクラスを予測するように訓練することであって、前記複数のモデルは、アクションのタクソノミーにおけるクラスを予測するアクションモデルと、チャネルのタクソノミーにおけるクラスを予測するチャネルモデルと、タイプのタクソノミーにおけるクラスを予測するタイプモデルと、を含む、訓練することと、
動作モード中に、
１つ以上のアクティビティレコードを含むデータを取得することと、
前記１つ以上のアクティビティレコードの各々について、
前記アクティビティレコードからアクション特徴、チャネル特徴、及びタイプ特徴を抽出することと、
前記アクションモデルを前記アクション特徴に適用して、前記アクションのタクソノミーからアクションクラスを予測することと、
前記チャネルモデルを前記チャネル特徴に適用して、前記チャネルのタクソノミーからチャネルクラスを予測することと、
前記タイプモデルを前記タイプ特徴に適用して、前記タイプのタクソノミーからタイプクラスを予測することと、
予測された前記アクションクラス、予測された前記チャネルクラス、及び予測された前記タイプクラスを、タクソノミー化されたアクティビティレコードとして前記アクティビティレコードに関連付けて記憶することと、を行わせる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年６月１日に出願された米国仮特許出願第６３／１９５，５６５号の優先権を主張するものであり、その全体が記載されているかのように参照により本明細書に組み込まれる。加えて、本出願は、２０１５年１２月１日に発行された米国特許第９，２０２，２２７号、２０１９年１１月１２日に発行された米国特許第１０，４７５，０５６号、２０２０年１月１４日に発行された米国特許第１０，５３６，４２７号、２０２０年１２月２２日に発行された米国特許第１０，８７３，５６０号、２０２１年６月２９日に出願された米国特許出願第１７／３６２，６０５号、２０２１年６月２９日に出願された米国特許出願第１７／３６２，６４６号、及び２０２１年６月２９日に出願された米国特許出願第１７／３６２，８４３号に関連し、これらは全て、その全体が記載されているかのように参照により本明細書に組み込まれる。
本出願は、２０２１年６月１日に出願された米国仮特許出願第６３／１９５，５６５号の優先権を主張するものであり、その全体が記載されているかのように参照により本明細書に組み込まれる。加えて、本出願は、２０１５年１２月１日に発行された米国特許第９，２０２，２２７号、２０１９年１１月１２日に発行された米国特許第１０，４７５，０５６号、２０２０年１月１４日に発行された米国特許第１０，５３６，４２７号、２０２０年１２月２２日に発行された米国特許第１０，８７３，５６０号、２０２１年６月２９日に出願された米国特許出願第１７／３６２，６０５号、２０２１年６月２９日に出願された米国特許出願第１７／３６２，６４６号、及び２０２１年６月２９日に出願された米国特許出願第１７／３６２，８４３号に関連し、これらは全て、その全体が記載されているかのように参照により本明細書に組み込まれる。
【背景技術】
【0002】
本明細書で説明される実施形態は、概して、人工知能（ＡＩ）を対象とし、より具体的には、マーケティングオートメーション及び顧客関係管理システムのための機械学習支援自動タクソノミーを対象とする。
【0003】
関連技術の説明
マーケティングオートメーションプラットフォーム（ＭＡＰ）、顧客関係管理（ＣＲＭ）システム、及びウェブサイトなどの異なるシステムは、レコードを異なるように編成している。したがって、データソースとしてこれらの異なるシステムからデータを受信するプラットフォームは、これらのデータソースからのレコードを集約するためにタクソノミーを利用しなければならない。タクソノミーは、異なるデータソースからのデータを共通の一貫したラベリングシステムにマッピングして、下流の機能との互換性を保証する。タクソノミーがなければ、下流の機能はデータを理解することができない。
マーケティングオートメーションプラットフォーム（ＭＡＰ）、顧客関係管理（ＣＲＭ）システム、及びウェブサイトなどの異なるシステムは、レコードを異なるように編成している。したがって、データソースとしてこれらの異なるシステムからデータを受信するプラットフォームは、これらのデータソースからのレコードを集約するためにタクソノミーを利用しなければならない。タクソノミーは、異なるデータソースからのデータを共通の一貫したラベリングシステムにマッピングして、下流の機能との互換性を保証する。タクソノミーがなければ、下流の機能はデータを理解することができない。
【0004】
従来、タクソノミーの作成は、データアグリゲータとデータソースの各々との間の労働集約的な協調プロセスを必要としている。データアグリゲータは、下流の機能とともに使用するための標準化されたフィールドにデータをマッピングするタクソノミーを構築するために、データの構造を理解しなければならない。スケーラビリティ及び再現性など、自動化に対する種々の障害のために、このプロセスは、従来、手動で実施されなければならない。かかるプロセスにより、膨大な時間及び労力がかかるだけでなく、相当量のヒューマンエラーが発生する可能性がある。
【0005】
したがって、必要とされるのは、特にＭＡＰ及びＣＲＭシステムのコンテキストにおいて、タクソノミーを管理するためのプロセスの自動化を妨げる障害に対する解決策である。
【発明の概要】
【0006】
したがって、ＭＡＰ及びＣＲＭシステムのための機械学習支援自動タクソノミーのためのシステム、方法、及び非一時的コンピュータ可読媒体が開示される。
【0007】
一実施形態では、方法は、少なくとも１つのハードウェアプロセッサを使用して、訓練モード中に、複数の注釈付き特徴を含む訓練データセットに基づいて、複数のモデルの各々を、複数のモデルのうちの任意の他の１つとは異なる複数のタクソノミーのうちの１つにおける複数のクラスからクラスを予測するように訓練することであって、複数のモデルは、アクションのタクソノミーにおけるクラスを予測するアクションモデルと、チャネルのタクソノミーにおけるクラスを予測するチャネルモデルと、タイプのタクソノミーにおけるクラスを予測するタイプモデルと、を含む、訓練することと、動作モード中に、１つ以上のアクティビティレコードを含むデータを取得することと、１つ以上のアクティビティレコードの各々について、アクティビティレコードからアクション特徴、チャネル特徴、及びタイプ特徴を抽出することと、アクションモデルをアクション特徴に適用して、アクションのタクソノミーからアクションクラスを予測することと、チャネルモデルをチャネル特徴に適用して、チャネルのタクソノミーからチャネルクラスを予測することと、タイプモデルをタイプ特徴に適用して、タイプのタクソノミーからタイプクラスを予測することと、予測されたアクションクラス、予測されたチャネルクラス、及び予測されたタイプクラスを、タクソノミー化されたアクティビティレコードとしてアクティビティレコードに関連付けて記憶することと、を含む。
【0008】
アクション特徴を抽出すること、チャネル特徴を抽出すること、及びタイプ特徴を抽出することは、各々、アクティビティレコードから１つ以上のキーワードを導出することと、ベクトル化関数に従って１つ以上のキーワードをベクトルに変えることと、を含み得る。各ベクトルは、固定数の次元を有することができ、固定数の次元を有するベクトル空間内への１つ以上のキーワードの埋め込みを表すことができる。ベクトル化関数は、言語変換器であり得る。ベクトルは、固定数の次元の各々についての実数値を含み得る。アクション特徴を抽出すること、チャネル特徴を抽出すること、及びタイプ特徴を抽出することは各々、１つ以上のキーワードをベクトルに変える前に、１つ以上のキーワードを正規化することを更に含み得る。
【0009】
複数のモデルの各々は、深層ニューラルネットワークを含み得る。複数のモデルの各々を訓練することは、自然言語処理のために訓練された既存のニューラルネットワークに１つ以上の層を追加することを含み得、一方、既存のニューラルネットワークの１つ以上の層中のニューロン重みは凍結される。複数のモデルの各々は、予測されたクラスと、予測されたクラスについての確率値との両方を出力することができ、方法は、少なくとも１つのハードウェアプロセッサを使用して、動作モード中に、１つ以上のアクティビティレコードの各々について、複数のモデルの全てによる予測されたクラスについての確率値がそれぞれの閾値を満たす場合、マッピングされたステータスをアクティビティレコードに割り当てることと、複数のモデルのうちの少なくとも１つからの予測されたクラスについての確率値がそれぞれの閾値を満たさない場合、マッピングされていないステータスをアクティビティレコードに割り当てることと、を更に含む。方法は、少なくとも１つのハードウェアプロセッサを使用して、マッピングされていないステータスが割り当てられたアクティビティレコードの各々について、そのアクティビティレコードに関連付けられる複数のタクソノミーのうちの２つ以上における複数のクラスのうちの１つを指定するための１つ以上の入力を含むグラフィカルユーザインターフェースを生成することと、マッピングされていないステータスが割り当てられたアクティビティレコードのうちの１つを保存するためのユーザ動作に応答して、任意の指定されたクラスを１つのアクティビティレコードに関連付けて記憶し、マッピングされたステータスを１つのアクティビティレコードに割り当てることと、を更に含み得る。方法は、少なくとも１つのハードウェアプロセッサを使用して、記憶されたアクションクラス及び記憶されたチャネルクラスの一方又は両方の各々を、タクソノミー化されたアクティビティレコードのうちの１つ以上におけるオーバーライドクラスに変更するための１つ以上の入力と、任意のオーバーライドクラスを含む１つ以上のタクソノミー化されたアクティビティレコードをデータウェアハウスに記憶するための少なくとも１つの入力と、を含むグラフィカルユーザインターフェースを生成することを更に含み得る。
【0010】
方法は、少なくとも１つのハードウェアプロセッサを使用して、データウェアハウスから少なくとも１つのルックアップテーブルを生成することを更に含み得、少なくとも１つのルックアップテーブルは、データウェアハウス内のタクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードのアクション特徴による、アクションクラス、データウェアハウス内のタクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードのチャネル特徴による、チャネルクラス、又はデータウェアハウス内のタクソノミー化されたアクティビティレコードのうちの１つ以上の各々における、そのタクソノミー化されたアクティビティレコードのタイプ特徴による、タイプクラスのうちの１つ以上をインデックス付けする。方法は、少なくとも１つのハードウェアプロセッサを使用して、１つ以上のアクティビティレコードの各々について、複数のモデルの各々について、アクティビティレコードからそのモデルについて抽出された特徴を使用して、少なくとも１つのルックアップテーブルにおいてルックアップを実施することと、ルックアップがクラスを返した場合、返されたクラスを、モデルを適用することなくタクソノミー化されたアクティビティレコードとしてアクティビティレコードに関連付けて記憶することと、ルックアップがクラスを返さない場合、そのモデルのための特徴を抽出し、抽出された特徴にモデルを適用することと、を更に含み得る。
【0011】
複数のモデルは、ウェブアクティビティのタクソノミーにおけるクラスを予測するウェブモデルを更に含み得、方法は、少なくとも１つのハードウェアプロセッサを使用して、動作モード中に、１つ以上のアクティビティレコードの各々について、アクティビティレコードがユニフォームリソースロケータ（ＵＲＬ）を含む場合、アクティビティレコードからウェブ特徴を抽出することと、ウェブモデルをウェブ特徴に適用して、ウェブアクティビティのタクソノミーからウェブアクティビティを予測することと、予測されたウェブアクティビティをアクティビティレコードに関連付けてタクソノミー化されたアクティビティレコードに記憶することと、を更に含む。動作モード中に、１つ以上のアクティビティレコードの各々について、アクティビティレコードがＵＲＬを含む場合、予測されたウェブアクティビティは、予測されたタイプクラスの代わりに、タクソノミー化されたアクティビティレコード中のアクティビティレコードに関連付けられ得る。
【0012】
複数のモデルは、複数のアクションモデルと、複数のチャネルモデルと、複数のタイプモデルと、を含み得、方法は、少なくとも１つのハードウェアプロセッサを使用して、動作モード中に、データが取得されたデータソースのタイプに基づいて、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つを選択することを更に含む。データソースのタイプがマーケティングオートメーションプラットフォームであるとき、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つの第１の組み合わせが選択され得、データソースのタイプが顧客関係管理システムであるとき、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つの第２の組み合わせが選択され得、第１の組み合わせは、第２の組み合わせとは異なる。データソースのタイプがマーケティングオートメーションプラットフォームであるとき、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つの第１の組み合わせが選択され得、データソースのタイプが顧客関係管理システムのキャンペーンデータであるとき、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つの第２の組み合わせが選択され得、データソースのタイプが顧客関係管理システムのイベントデータであるとき、複数のアクションモデルのうちの１つ、複数のチャネルモデルのうちの１つ、及び複数のタイプモデルのうちの１つの第３の組み合わせが選択され得、第１の組み合わせ、第２の組み合わせ、及び第３の組み合わせは、互いに異なる。
【0013】
上記の方法のいずれも、サーバなどのプロセッサベースのシステムの実行可能ソフトウェアモジュールにおいて、及び／又は非一時的コンピュータ可読媒体に記憶された実行可能命令において、個々に又は任意の組み合わせで具現化され得る。
【0014】
その構造及び動作の両方に関する本発明の詳細は、同様の部分に同様の参照番号が付された添付の図面を考察することで部分的に得られるであろう。
【図面の簡単な説明】
【0015】
【図1】一実施形態による、本明細書で説明されるプロセスのうちの１つ以上が実装され得る例示的インフラストラクチャを示す。
【図2】一実施形態による、本明細書で説明されるプロセスのうちの１つ以上が実行され得る例示的な処理システムを示す。
【図3】一実施形態による、予測モデルを使用してタクソノミーを自動化するためのプロセスを示す。
【図4A】実施形態による、グラフィカルユーザインターフェースの例示的な画面を示す。
【図4B】実施形態による、グラフィカルユーザインターフェースの例示的な画面を示す。
【図4C】実施形態による、グラフィカルユーザインターフェースの例示的な画面を示す。
【図4D】実施形態による、グラフィカルユーザインターフェースの例示的な画面を示す。
【図5】一実施形態による、予測モデルとして使用される深層ニューラルネットワークの一例を示す。
【発明を実施するための形態】
【0016】
一実施形態では、ＭＡＰ及びＣＲＭシステムのための機械学習支援自動タクソノミーのためのシステム、方法、及び非一時的コンピュータ可読媒体が開示される。本明細書を読んだ後、当業者には、種々の代替的な実施形態及び代替の用途において本発明をどのように実装するかが明らかになるであろう。しかしながら、本発明の種々の実施形態が本明細書で説明されるが、これらの実施形態は、限定ではなく、例及び例示のみとして提示されることが理解される。したがって、種々の実施形態のこの詳細な説明は、添付の特許請求の範囲に記載される本発明の範囲又は広さを限定するものと解釈されるべきではない。
【0017】
１．システムの概要
１．１．インフラストラクチャ
図１は、一実施形態による、開示されるプロセスのうちの１つ以上が実装され得る、例示的なインフラストラクチャを示している。インフラストラクチャは、本明細書で説明される種々の機能、プロセス、方法、及び／又はソフトウェアモジュールのうちの１つ以上をホスト及び／又は実行するプラットフォーム１１０（例えば、１つ以上のサーバ）を含み得る。プラットフォーム１１０は、専用ハードウェアサーバを備えてもよく、又は代わりに、１つ以上のハードウェアサーバの共有リソースを利用する、クラウドサーバを備えてもよい。いずれの場合も、これらのサーバは、コロケートされ、及び／又は地理的に分散され得る。プラットフォーム１１０はまた、サーバアプリケーション１１２及び／又は１つ以上のデータベース１１４を含んでもよく、又はそれらに通信可能に接続されてもよい。更に、プラットフォーム１１０は、１つ以上のネットワーク１２０を介して１つ以上のユーザシステム１３０に通信可能に接続され得る。プラットフォーム１１０はまた、１つ以上のネットワーク１２０を介して、１つ以上の外部システム１４０（例えば、他のプラットフォーム、ウェブサイトなど）に通信可能に接続され得る。
１．１．インフラストラクチャ
図１は、一実施形態による、開示されるプロセスのうちの１つ以上が実装され得る、例示的なインフラストラクチャを示している。インフラストラクチャは、本明細書で説明される種々の機能、プロセス、方法、及び／又はソフトウェアモジュールのうちの１つ以上をホスト及び／又は実行するプラットフォーム１１０（例えば、１つ以上のサーバ）を含み得る。プラットフォーム１１０は、専用ハードウェアサーバを備えてもよく、又は代わりに、１つ以上のハードウェアサーバの共有リソースを利用する、クラウドサーバを備えてもよい。いずれの場合も、これらのサーバは、コロケートされ、及び／又は地理的に分散され得る。プラットフォーム１１０はまた、サーバアプリケーション１１２及び／又は１つ以上のデータベース１１４を含んでもよく、又はそれらに通信可能に接続されてもよい。更に、プラットフォーム１１０は、１つ以上のネットワーク１２０を介して１つ以上のユーザシステム１３０に通信可能に接続され得る。プラットフォーム１１０はまた、１つ以上のネットワーク１２０を介して、１つ以上の外部システム１４０（例えば、他のプラットフォーム、ウェブサイトなど）に通信可能に接続され得る。
【0018】
ネットワーク（複数可）１２０は、インターネットを含むことができ、プラットフォーム１１０は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ＨＴＴＰセキュア（ＨＴＴＰＳ）、ファイル転送プロトコル（ＦＴＰ）、ＦＴＰセキュア（ＦＴＰＳ）、セキュアシェルＦＴＰ（ＳＦＴＰ）などの標準伝送プロトコル、並びに専用プロトコルを使用して、インターネットを介してユーザシステム（複数可）１３０と通信することができる。プラットフォーム１１０は、ネットワーク（複数可）１２０の単一のセットを介して種々のシステムに接続されるものとして示されているが、プラットフォーム１１０は、１つ以上のネットワークの異なるセットを介して種々のシステムに接続され得ることを理解されたい。例えば、プラットフォーム１１０は、インターネットを介してユーザシステム１３０及び／又は外部システム１４０のサブセットに接続されてもよいが、イントラネットを介して１つ以上の他のユーザシステム１３０及び／又は外部システム１４０に接続されてもよい。更に、少数のユーザシステム１３０及び外部システム１４０、１つのサーバアプリケーション１１２、並びにデータベース（複数可）１１４の１セットのみが示されているが、インフラストラクチャは、任意の数のユーザシステム、外部システム、サーバアプリケーション、及びデータベースを含むことができることを理解されたい。
【0019】
ユーザシステム（複数可）１３０は、限定ではないが、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン又は他の携帯電話、サーバ、ゲームコンソール、テレビ、セットトップボックス、電子キオスク、店頭端末などを含む、有線及び／又は無線通信が可能な任意のタイプ又は複数のタイプのコンピューティングデバイスを含み得る。ユーザシステム（複数可）１３０は、ユーザが雇用主の通常の職務の遂行中に典型的に利用するデスクトップコンピュータ、ワークステーション、及び／又はモバイルデバイスを含むことが一般に企図される。各ユーザは、自身のユーザシステム１３０を利用して、ユーザがセキュアセッション中に適切な役割又は適切な許可を有するプラットフォーム１１０の機能（例えば、サーバアプリケーション１１２に実装されるような）のいずれかを認証し、それにアクセスすることを可能にするプラットフォーム１１０のユーザアカウントを作成し、かつ／又はそれにアクセスすることができる。
【0020】
プラットフォーム１１０は、１つ以上のウェブサイト及び／又はウェブサービスをホストするウェブサーバを含み得る。ウェブサイトが提供される実施形態では、ウェブサイトは、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ）又は他の言語で生成された１つ以上の画面（例えば、ウェブページ）を含む、グラフィカルユーザインターフェースを含んでもよい。プラットフォーム１１０は、ユーザシステム（複数可）１３０からの要求に応答して、グラフィカルユーザインターフェースの１つ以上の画面を送信又は提供する。一部の実施形態では、これらの画面は、ウィザードの形態で提供されてもよく、その場合、２つ以上の画面が、連続する方法で提供されてもよく、連続画面のうちの１つ以上は、１つ以上の先行画面とのユーザ又はユーザシステム１３０の対話に依存してもよい。グラフィカルユーザインターフェースの画面を含む、プラットフォーム１１０への要求及びプラットフォーム１１０からの応答は、両方とも、標準通信プロトコル（例えば、ＨＴＴＰ、ＨＴＴＰＳなど）を使用して、インターネットを含み得る、ネットワーク（複数可）１２０を通して通信されてもよい。これらの画面（例えば、ウェブページ）は、テキスト、画像、ビデオ、アニメーション、参照（例えば、ハイパーリンク）、フレーム、入力（例えば、テキストボックス、テキスト領域、チェックボックス、ラジオボタン、ドロップダウンメニュー、ボタン、フォームなど）、スクリプト（例えば、ＪａｖａＳｃｒｉｐｔ）などのコンテンツ及び要素の組み合わせを含むことができ、プラットフォーム１１０にローカルに、かつ／又はリモートにアクセス可能な１つ以上のデータベース（例えば、データベース（複数可）１１４）に記憶されたデータを含む又はそれから導出される要素を含む。プラットフォーム１１０はまた、ユーザシステム（複数可）１３０からの他の要求に応答してもよい。
【0021】
プラットフォーム１１０は更に、１つ以上のデータベース１１４を含み、それと通信可能に結合され、又は別様にそれへのアクセスを有してもよい。例えば、プラットフォーム１１０は、１つ以上のデータベース１１４を管理する１つ以上のデータベースサーバを含んでもよい。プラットフォーム１１０上で実行されるユーザシステム１３０又はサーバアプリケーション１１２は、データベース（複数可）１１４に記憶されるデータ（例えば、ユーザデータ、フォームデータなど）を提出し、かつ／又はデータベース（複数可）１１４に記憶されたデータへのアクセスを要求し得る。クラウドベースのデータベース及び専用データベースを含む、ＭｙＳＱＬ（商標）、Ｏｒａｃｌｅ（商標）、ＩＢＭ（商標）、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ（商標）、Ａｃｃｅｓｓ（商標）、ＰｏｓｔｇｒｅＳＱＬ（商標）などを含むがこれらに限定されない任意の好適なデータベースを利用することができる。データは、例えば、ＨＴＴＰによってサポートされる周知のＰＯＳＴ要求を使用して、ＦＴＰなどを介して、プラットフォーム１１０に送信されてもよい。このデータ及び他の要求は、例えば、プラットフォーム１１０によって実行されるサーブレット又は他のソフトウェアモジュール（例えば、サーバアプリケーション１１２に含まれる）などのサーバ側ウェブ技術によって処理されてもよい。
【0022】
ウェブサービスが提供される実施形態では、プラットフォーム１１０は、外部システム（複数可）１４０から要求を受信し、拡張マークアップ言語（ＸＭＬ）、ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、及び／又は任意の他の好適な若しくは所望のフォーマットで応答を提供し得る。かかる実施形態では、プラットフォーム１１０は、ユーザシステム（複数可）１３０及び／又は外部システム（複数可）１４０がウェブサービスと対話し得る方法を定義する、アプリケーションプログラミングインターフェース（ＡＰＩ）を提供してもよい。したがって、ユーザシステム（複数可）１３０及び／又は外部システム（複数可）１４０（それら自体がサーバであり得る）は、それら自体のユーザインターフェースを定義し、ウェブサービスに依拠して、本明細書で説明されるバックエンドプロセス、方法、機能、記憶装置などを実装するか、又は別様に提供することができる。例えば、かかる一実施形態では、１つ以上のユーザシステム（複数可）１３０上で実行され、潜在的にローカルデータベース１３４を使用するクライアントアプリケーション１３２は、プラットフォーム１１０上で実行されるサーバアプリケーション１１２と対話して、本明細書に記載される種々の機能、プロセス、方法、及び／又はソフトウェアモジュールのうちの１つ以上、又は１つ以上の部分を実行することができる。一実施形態では、クライアントアプリケーション１３２は、ユーザシステム１３０上にローカルにデータを記憶するためのローカルデータベース１３４を利用することができる。クライアントアプリケーション１３２は「シン（ｔｈｉｎ）」であってもよく、その場合、処理は主にプラットフォーム１１０上のサーバアプリケーション１１２によってサーバ側で実行される。シンクライアントアプリケーション１３２の基本的な例は、ユーザシステム（複数可）１３０においてウェブページを単に要求し、受信し、レンダリングするブラウザアプリケーションであり、プラットフォーム１１０上のサーバアプリケーション１１２は、ウェブページを生成し、データベース機能を管理することを担う。代替的に、クライアントアプリケーションは「シック（ｔｈｉｃｋ）」であってもよく、その場合、処理は主にユーザシステム（複数可）１３０によってクライアント側で実行される。クライアントアプリケーション１３２は、特定の実装形態の設計目標に応じて、「シン」と「シック」との間のこの範囲に沿った任意の点において、プラットフォーム１１０上のサーバアプリケーション１１２に対してある量の処理を実行し得ることを理解されたい。いずれの場合も、プラットフォーム１１０（例えば、サーバアプリケーション１１２が全ての処理を実施する場合）又はユーザシステム（複数可）１３０（例えば、クライアントアプリケーション１３２が全ての処理を実施する場合）のうちのいずれかに完全に存在し得るか、又はプラットフォーム１１０とユーザシステム（複数可）１３０との間に分散され得る（例えば、サーバアプリケーション１１２及びクライアントアプリケーション１３２の両方が処理を実施する場合）、本明細書に説明されるソフトウェアは、本明細書に記載のプロセス、方法、又は機能のうちの１つ以上を実装する命令を含む、１つ以上の実行可能ソフトウェアモジュールを含み得る。
【0023】
１．２．例示的な処理デバイス
図２は、本明細書で説明される種々の実施形態に関連して使用され得る例示的な有線又は無線システム２００を示すブロック図である。例えば、システム２００は、本明細書で説明される（例えば、ソフトウェアを記憶及び／又は実行するための）機能、プロセス、又は方法のうちの１つ以上として、又はそれと併せて使用されてもよく、プラットフォーム１１０、ユーザシステム（複数可）１３０、外部システム（複数可）１４０、及び／又は本明細書で説明される他の処理デバイスの構成要素を表してもよい。システム２００は、サーバ若しくは任意の従来のパーソナルコンピュータ、又は有線若しくは無線データ通信が可能な任意の他のプロセッサ対応デバイスとすることができる。他のコンピュータシステム及び／又はアーキテクチャもまた、当業者に明らかなように、使用されてもよい。
図２は、本明細書で説明される種々の実施形態に関連して使用され得る例示的な有線又は無線システム２００を示すブロック図である。例えば、システム２００は、本明細書で説明される（例えば、ソフトウェアを記憶及び／又は実行するための）機能、プロセス、又は方法のうちの１つ以上として、又はそれと併せて使用されてもよく、プラットフォーム１１０、ユーザシステム（複数可）１３０、外部システム（複数可）１４０、及び／又は本明細書で説明される他の処理デバイスの構成要素を表してもよい。システム２００は、サーバ若しくは任意の従来のパーソナルコンピュータ、又は有線若しくは無線データ通信が可能な任意の他のプロセッサ対応デバイスとすることができる。他のコンピュータシステム及び／又はアーキテクチャもまた、当業者に明らかなように、使用されてもよい。
【0024】
システム２００は、好ましくは、１つ以上のプロセッサ２１０を含む。プロセッサ（複数可）２１０は、中央処理装置（ＣＰＵ）を備えることができる。グラフィックス処理装置（ＧＰＵ）、入力／出力を管理するための補助プロセッサ、浮動小数点数学演算を実施するための補助プロセッサ、信号処理アルゴリズムの高速実行に好適なアーキテクチャを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ）、主処理システムに従属する二次プロセッサ（例えば、バックエンドプロセッサ）、デュアル若しくはマルチプロセッサシステム用の追加のマイクロプロセッサ若しくはコントローラ、及び／又はコプロセッサなど、追加のプロセッサが提供されてもよい。かかる補助プロセッサは、個別のプロセッサであってもよく、又はプロセッサ２１０と統合されてもよい。システム２００とともに使用され得るプロセッサの例は、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なプロセッサ（例えば、Ｐｅｎｔｉｕｍ（商標）、Ｃｏｒｅ ｉ７（商標）、Ｘｅｏｎ（商標）など）のいずれか、カリフォルニア州サンタクララのＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ，Ｉｎｃｏｒｐｏｒａｔｅｄ（ＡＭＤ）から入手可能なプロセッサのいずれか、クパチーノのＡｐｐｌｅ Ｉｎｃ．から入手可能なプロセッサ（例えば、Ａシリーズ、Ｍシリーズなど）のいずれか、韓国ソウルのＳａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．から入手可能なプロセッサ（例えば、Ｅｘｙｎｏｓ（商標））のいずれかなどを含むが、これらに限定されない。
【0025】
プロセッサ２１０は、通信バス２０５に接続することが好ましい。通信バス２０５は、記憶装置とシステム２００の他の周辺構成要素との間の情報転送を容易にするためのデータチャネルを含み得る。更に、通信バス２０５は、データバス、アドレスバス、及び／又は制御バス（図示せず）を含む、プロセッサ２１０との通信に使用される信号のセットを提供することができる。通信バス２０５は、例えば、インダストリスタンダードアーキテクチャ（ＩＳＡ）、拡張インダストリスタンダードアーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）ローカルバス、ＩＥＥＥ４８８汎用インターフェースバス（ＧＰＩＢ）を含む米国電気電子学会（ＩＥＥＥ）によって公表された規格、ＩＥＥＥ６９６／Ｓ－１００などに準拠するバスアーキテクチャなどの任意の標準又は非標準バスアーキテクチャを備えてもよい。
【0026】
システム２００は、好ましくはメインメモリ２１５を含み、二次メモリ２２０も含み得る。メインメモリ２１５は、本明細書で論じる機能及び／又はモジュールのうちの１つ以上など、プロセッサ２１０上で実行されるプログラムのための命令及びデータの記憶を提供する。メモリ内に記憶され、プロセッサ２１０によって実行されるプログラムは、限定ではないが、Ｃ／Ｃ＋＋、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ、Ｐｅｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、．ＮＥＴなどを含む、任意の好適な言語に従って記述され、かつ／又はコンパイルされ得ることを理解されたい。メインメモリ２１５は、典型的には、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）及び／又はスタティックランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリタイプには、例えば、シンクロナスダイミックランダムアクセスメモリ（ＳＤＲＡＭ）、ランバスダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ（登録商標））などを含み、そして、読み出し専用メモリ（ＲＯＭ）を含む。
【0027】
二次メモリ２２０は、任意選択で、内部媒体２２５及び／又は取り外し可能媒体２３０を含み得る。取り外し可能媒体２３０は、任意の周知の方法で読み出され、かつ／又は書き込まれる。取り外し可能な記憶媒体２３０は、例えば、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブなどであってもよい。二次メモリ２２０は、コンピュータ実行可能コード（例えば、開示されるソフトウェアモジュール）及び／又は他のデータが記憶された非一時的コンピュータ可読媒体である。二次メモリ２２０に記憶されたコンピュータソフトウェア又はデータは、プロセッサ２１０による実行のためにメインメモリ２１５に読み込まれる。代替的な実施形態では、二次メモリ２２０は、コンピュータプログラム又は他のデータ若しくは命令がシステム２００にロードされることを可能にするための他の同様の手段を含み得る。かかる手段は、例えば、ソフトウェア及びデータが外部記憶媒体２４５からシステム２００に転送されることを可能にする、通信インターフェース２４０を含んでもよい。外部記憶媒体２４５の例として、外部ハードディスクドライブ、外部光学ドライブ、外部磁気光学ドライブなどが挙げられる。二次メモリ２２０の他の例として、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能読み出し専用メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリ（ＥＥＰＲＯＭに類似したブロック指向メモリ）などの半導体ベースのメモリが挙げられる。
【0028】
上述のように、システム２００は、通信インターフェース２４０を含み得る。通信インターフェース２４０は、ソフトウェア及びデータが、システム２００と外部デバイス（例えば、プリンタ）、ネットワーク、又は他の情報源との間で転送されることを可能にする。例えば、コンピュータソフトウェア又は実行可能コードは、通信インターフェース２４０を介してネットワークサーバ（例えば、プラットフォーム１１０）からシステム２００に転送されてもよい。通信インターフェース２４０の例には、内蔵ネットワークアダプタ、ネットワークインターフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカード国際協会（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、無線データカード、通信ポート、赤外線インターフェース、ＩＥＥＥ１３９４ファイヤワイヤ、及びシステム２００をネットワーク（例えば、ネットワーク（複数可）１２０）又は別のコンピューティングデバイスとインターフェースすることができる任意の他のデバイスが含まれる。通信インターフェース２４０は、例えば、イーサネットＩＥＥＥ ８０２標準、ファイバーチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、統合デジタルサービス・ネットワーク（ＩＳＤＮ）、個人情報提供サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルライン・インターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）、及びその他のような、工業的に広められたプロトコル標準を実装することが好ましいが、これと同様に、カスタマイズされるか又は非標準のインターフェース・プロトコルを実装してもよい。
【0029】
通信インターフェース２４０を介して転送されるソフトウェア及びデータは、概して、電気通信信号２５５の形態である。これらの信号２５５は、通信チャネル２５０を介して通信インターフェース２４０に提供され得る。一実施形態では、通信チャネル２５０は、有線若しくは無線ネットワーク（例えば、ネットワーク（複数可）１２０）、又は任意の種々の他の通信リンクであってもよい。通信チャネル２５０は、信号２５５を搬送し、一部例を挙げると、ワイヤ又はケーブル、光ファイバー、従来の電話回線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、又は赤外線リンクを含む、種々の有線又は無線通信手段を使用して実装することができる。
【0030】
コンピュータプログラム（例えば、開示されたソフトウェアを実装するコンピュータ実行可能コード）は、メインメモリ２１５及び／又は二次メモリ２２０に記憶される。コンピュータプログラムはまた、通信インターフェース２４０を介して受信され、メインメモリ２１５及び／又は二次メモリ２２０に記憶され得る。かかるコンピュータプログラムは、実行されると、システム２００が、本明細書の他の場所で説明されるような開示される実施形態の種々の機能を行うことを可能にする。
【0031】
本明細書で使用される場合、「コンピュータ可読媒体」という用語は、コンピュータ実行可能コード及び／又は他のデータをシステム２００に、又はシステム２００内に提供するために使用される任意の非一時的コンピュータ可読記憶媒体を指すために使用される。かかる媒体の例として、メインメモリ２１５、二次メモリ２２０（内部メモリ２２５、取り外し可能媒体２３０、及び外部記憶媒体２４５を含む）、及び通信インターフェース２４０と通信可能に結合された任意の周辺デバイス（ネットワーク情報サーバ又は他のネットワークデバイスを含む）が挙げられる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、ソフトウェア、及び／又は他のデータをシステム２００に提供するための手段である。
【0032】
ソフトウェアを使用して実装される一実施形態では、ソフトウェアは、コンピュータ可読媒体上に記憶され、取り外し可能媒体２３０、Ｉ／Ｏインターフェース２３５、又は通信インターフェース２４０を経由して、システム２００にロードされてもよい。かかる一実施形態では、ソフトウェアは、電気通信信号２５５の形態でシステム２００にロードされる。ソフトウェアは、プロセッサ２１０によって実行されると、好ましくは、プロセッサ２１０に、本明細書の他の場所で説明されるプロセス及び機能のうちの１つ以上を行わせる。
【0033】
一実施形態では、Ｉ／Ｏインターフェース２３５は、システム２００の１つ以上の構成要素と１つ以上の入力及び／又は出力デバイスとの間のインターフェースを提供する。例示的な入力デバイスは、限定ではなく、センサ、キーボード、タッチ画面又は他のタッチセンシティブデバイス、カメラ、バイオメトリックセンシングデバイス、コンピュータマウス、トラックボール、ペンベースのポインティングデバイスなどを含む。出力デバイスの例としては、他の処理デバイス、プリンタ、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）などが挙げられるが、これらに限定されない。ある場合には、タッチパネルディスプレイ（例えば、スマートフォン、タブレット、又は他のモバイルデバイス内）の場合など、入力及び出力デバイスが組み合わせられてもよい。
【0034】
システム２００はまた、音声ネットワーク及び／又はデータネットワーク（例えば、ユーザシステム１３０の場合）を経由した無線通信を促進する、任意選択の無線通信構成要素を含み得る。無線通信構成要素は、アンテナシステム２７０、無線システム２６５、及びベースバンドシステム２６０を含む。システム２００において、無線周波数（ＲＦ）信号は、無線システム２６５の管理の下でアンテナシステム２７０によって無線で送受信される。
【0035】
一実施形態では、アンテナシステム２７０は、１つ以上のアンテナと、アンテナシステム２７０に送信信号経路及び受信信号経路を提供するためにスイッチング機能を実行する１つ以上のマルチプレクサ（図示せず）とを含み得る。受信経路では、受信されたＲＦ信号は、マルチプレクサから低雑音増幅器（図示せず）に結合され得、低雑音増幅器は、受信されたＲＦ信号を増幅し、増幅された信号を無線システム２６５に送信する。
【0036】
代替的な実施形態では、無線システム２６５は、種々の周波数を介して通信するように構成された１つ以上の無線機を含み得る。一実施形態では、無線システム２６５は、デモジュレータ（図示せず）とモジュレータ（図示せず）とを１つの集積回路（ＩＣ）に組み合わせることができる。デモジュレータ及びモジュレータは、別々の構成要素でもあり得る。入力経路では、デモジュレータはＲＦ搬送波信号を除去してベースバンド受信音声信号を残し、これが無線システム２６５からベースバンドシステム２６０に送信される。
【0037】
受信された信号が（例えば、スマートフォンを備えるユーザシステムのための）オーディオ情報を含む場合、ベースバンドシステム２６０は信号をデコードし、それをアナログ信号に変える。次に、信号は増幅され、スピーカに送信される。ベースバンドシステム２６０はまた、マイクロフォンからアナログオーディオ信号を受信する。これらのアナログオーディオ信号は、デジタル信号に変えられて、ベースバンドシステム２６０によって符号化される。ベースバンドシステム２６０はまた、送信のためにデジタル信号を符号化し、無線システム２６５のモジュレータ部分にルーティングされるベースバンド送信オーディオ信号を生成する。モジュレータは、ベースバンド送信オーディオ信号をＲＦキャリア信号と混合し、アンテナシステム２７０にルーティングされ、電力増幅器（図示せず）を通過し得るＲＦ送信信号を生成する。電力増幅器は、ＲＦ送信信号を増幅し、それをアンテナシステム２７０にルーティングし、信号は、送信のためにアンテナポートにスイッチされる。
【0038】
ベースバンドシステム２６０はまた、プロセッサ（複数可）２１０と通信可能に結合される。プロセッサ（複数可）２１０は、データ記憶領域２１５及び２２０にアクセスすることができる。プロセッサ（複数可）２１０は、好ましくは、メインメモリ２１５又は二次メモリ２２０に記憶され得る命令（すなわち、開示されたソフトウェアなどのコンピュータプログラム）を実行するように構成される。コンピュータプログラムはまた、ベースバンドプロセッサ２６０から受信され、メインメモリ２１０又は二次メモリ２２０に記憶されるか、又は受信時に実行され得る。かかるコンピュータプログラムは、実行されると、システム２００が、開示された実施形態の種々の機能を実施することを可能にし得る。
【0039】
２．プロセスの概要
次に、ＭＡＰ及びＣＲＭシステムのための機械学習支援自動タクソノミーのためのプロセスの実施形態を詳細に説明する。説明されるプロセスは、１つ以上のハードウェアプロセッサ（例えば、プロセッサ２１０）によって実行される１つ以上のソフトウェアモジュールにおいて、例えば、ソフトウェアアプリケーション（例えば、サーバアプリケーション１１２、クライアントアプリケーション１３２、及び／又はサーバアプリケーション１１２とクライアントアプリケーション１３２との両方を含む分散アプリケーション）として具現化することができ、ソフトウェアアプリケーションの一部又はモジュールがプラットフォーム１１０によって実行され、ソフトウェアアプリケーションの他の部分又はモジュールがユーザシステム（複数可）１３０によって実行されるように、プラットフォーム１１０のプロセッサ（複数可）によって完全に、ユーザシステム（複数可）１３０のプロセッサ（複数可）によって完全に実行することができ、又はプラットフォーム１１０及びユーザシステム（複数可）１３０にわたって分散させることができることを理解されたい。説明するプロセスは、ソースコード、オブジェクトコード、及び／又はマシンコードで表される命令として実装され得る。これらの命令は、ハードウェアプロセッサ（複数可）２１０によって直接実行されてもよく、又は代替的に、オブジェクトコードとハードウェアプロセッサ２１０との間で動作する仮想マシンによって実行されてもよい。加えて、開示されるソフトウェアは、１つ以上の既存のシステム上に構築されるか、又はそれとインターフェース接続されてもよい。
次に、ＭＡＰ及びＣＲＭシステムのための機械学習支援自動タクソノミーのためのプロセスの実施形態を詳細に説明する。説明されるプロセスは、１つ以上のハードウェアプロセッサ（例えば、プロセッサ２１０）によって実行される１つ以上のソフトウェアモジュールにおいて、例えば、ソフトウェアアプリケーション（例えば、サーバアプリケーション１１２、クライアントアプリケーション１３２、及び／又はサーバアプリケーション１１２とクライアントアプリケーション１３２との両方を含む分散アプリケーション）として具現化することができ、ソフトウェアアプリケーションの一部又はモジュールがプラットフォーム１１０によって実行され、ソフトウェアアプリケーションの他の部分又はモジュールがユーザシステム（複数可）１３０によって実行されるように、プラットフォーム１１０のプロセッサ（複数可）によって完全に、ユーザシステム（複数可）１３０のプロセッサ（複数可）によって完全に実行することができ、又はプラットフォーム１１０及びユーザシステム（複数可）１３０にわたって分散させることができることを理解されたい。説明するプロセスは、ソースコード、オブジェクトコード、及び／又はマシンコードで表される命令として実装され得る。これらの命令は、ハードウェアプロセッサ（複数可）２１０によって直接実行されてもよく、又は代替的に、オブジェクトコードとハードウェアプロセッサ２１０との間で動作する仮想マシンによって実行されてもよい。加えて、開示されるソフトウェアは、１つ以上の既存のシステム上に構築されるか、又はそれとインターフェース接続されてもよい。
【0040】
代替的に、説明するプロセスは、ハードウェア構成要素（例えば、汎用プロセッサ、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブル論理デバイス、個別ゲート若しくはトランジスタ論理など）、ハードウェア構成要素の組み合わせ、又はハードウェア構成要素とソフトウェア構成要素との組み合わせとして実装され得る。ハードウェアとソフトウェアとの互換性を明確に示すために、種々の例示的な構成要素、ブロック、モジュール、回路、及びステップが、本明細書では概してそれらの機能に関して説明される。この種の機能性がハードウェアとして実施されるか又はソフトウェアとして実施されるかは、特定の用途及びシステム全体が負う設計上の制約に依存する。当業者は、各特定用途のための様々な方法において、記載された機能性を実施することができるが、この種の実装形態の決定は、本発明の範囲からの逸脱を生じさせると解釈されてはならない。加えて、構成要素、ブロック、モジュール、回路、又はステップ内の機能のグループ化は、説明を容易にするためのものである。特定の機能又はステップは、本発明から逸脱することなく、１つの構成要素、ブロック、モジュール、回路、又はステップから別の構成要素、ブロック、モジュール、回路、又はステップに移動され得る。
【0041】
更に、本明細書で説明されるプロセスは、サブプロセスの特定の配置及び順序で示されているが、各プロセスは、より少ない、より多い、又は異なるサブプロセス、並びにサブプロセスの異なる配置及び／又は順序で実装されてもよい。加えて、別のサブプロセスの完了に依存しない任意のサブプロセスは、サブプロセスが特定の順序で説明又は図示されている場合であっても、その他の独立したサブプロセスの前後、又はそれと並行して実行されてもよいことを理解されたい。
【0042】
２．１．操作
図３は、一実施形態による、タクソノミー分類器として機能する予測モデルを使用して、タクソノミーを自動化するプロセス３００を示している。一実施形態では、プロセス３００は、プラットフォーム１１０上のサーバアプリケーション１１２によって実装される。しかしながら、代替的な実施形態では、プロセス３００は、ユーザシステム１３０上のクライアントアプリケーション１３２によって、又はサーバアプリケーション１１２によって実装されるいくつかのサブプロセス及びクライアントアプリケーション１３２によって実装される他のサブプロセスを伴う分散ソフトウェアアプリケーションとして実装され得る。いずれの場合も、プロセス３００は、データが受信されるときにリアルタイムで、特定の量のデータが受信された後に、ユーザ動作などに応答して、反復的に又は周期的に（例えば、毎日）実施され得る。プロセス３００は、プラットフォーム１１０との組織アカウントを有する各組織（例えば、商品又はサービスなどの１つ以上の製品を販売する企業）に関連付けられたデータに対して独立して実施することができる。１人以上のユーザ（例えば、組織の従業員又は他の代理人）は、ユーザアカウントに独立してログインし、自身が責任を負う組織のデータを管理するための個々の認証証明書とともに、この組織アカウントの下にユーザアカウントを有することができる。代替的に、組織アカウントは、認証証明書の単一のセットを有する単一のユーザアカウントであってもよい。いずれの場合も、ユーザは、認証証明書を利用して、サーバアプリケーションにログインし、組織と関連付けられたデータ及び設定にアクセスし、管理してもよい。
図３は、一実施形態による、タクソノミー分類器として機能する予測モデルを使用して、タクソノミーを自動化するプロセス３００を示している。一実施形態では、プロセス３００は、プラットフォーム１１０上のサーバアプリケーション１１２によって実装される。しかしながら、代替的な実施形態では、プロセス３００は、ユーザシステム１３０上のクライアントアプリケーション１３２によって、又はサーバアプリケーション１１２によって実装されるいくつかのサブプロセス及びクライアントアプリケーション１３２によって実装される他のサブプロセスを伴う分散ソフトウェアアプリケーションとして実装され得る。いずれの場合も、プロセス３００は、データが受信されるときにリアルタイムで、特定の量のデータが受信された後に、ユーザ動作などに応答して、反復的に又は周期的に（例えば、毎日）実施され得る。プロセス３００は、プラットフォーム１１０との組織アカウントを有する各組織（例えば、商品又はサービスなどの１つ以上の製品を販売する企業）に関連付けられたデータに対して独立して実施することができる。１人以上のユーザ（例えば、組織の従業員又は他の代理人）は、ユーザアカウントに独立してログインし、自身が責任を負う組織のデータを管理するための個々の認証証明書とともに、この組織アカウントの下にユーザアカウントを有することができる。代替的に、組織アカウントは、認証証明書の単一のセットを有する単一のユーザアカウントであってもよい。いずれの場合も、ユーザは、認証証明書を利用して、サーバアプリケーションにログインし、組織と関連付けられたデータ及び設定にアクセスし、管理してもよい。
【0043】
サブプロセス３１０において、１つ又は複数のアクティビティレコードを含むデータが受信されるか、又は他の方法で取得される。データは、ユーザの組織によって管理及び利用され、（例えば、ユーザ指定の設定を使用して）組織アカウントの下でプラットフォーム１１０とインターフェースするように構成される、ＭＡＰ及び／又はＣＲＭシステムなどの１つ以上の外部システム１４０から取得されてもよい。ＭＡＰは、組織が複数のチャネル（例えば、電子メール、ソーシャルメディア、ウェブサイトなど）上でより効果的にマーケティングすることを可能にする反復タスクを自動化するソフトウェアプラットフォームである。ＭＡＰは、概して、マーケティング人員がオンライン及びオフラインのマーケティングキャンペーンを計画し、調整し、管理し、測定し、マーケティングキャンペーンによって生成されたリード（すなわち、潜在的な顧客）を管理することを可能にするダッシュボードを提供し、これらのリードを実際の顧客（すなわち、組織によって提供される製品の購入者）に変えることを目標とする。ＭＡＰの例には、カリフォルニア州サンマテオのＭａｒｋｅｔｏ，Ｉｎｃ．によって提供されるＭａｒｋｅｔｏ（商標）製品、テキサス州オースティンのＯｒａｃｌｅ Ｃｏｒｐ．によって提供されるＥｌｏｑｕａ（商標）製品、カリフォルニア州サンフランシスコのＳａｌｅｓｆｏｒｃｅ．ｃｏｍ，Ｉｎｃ．によって提供されるＰａｒｄｏｔ（商標）製品、マサチューセッツ州ケンブリッジのＨｕｂｓｐｏｔ，Ｉｎｃ．によって提供される製品などが含まれる。ＣＲＭシステムは、組織の種々の通信チャネル（例えば、ウェブサイト、電話、電子メール、リアルタイムチャット、ソーシャルメディアなど）からの過去、現在、及び潜在的な顧客についてのデータをコンパイルし、それらの顧客を管理するための種々のツールを提供することができる。ＣＲＭシステムの一例は、カリフォルニア州サンフランシスコのＳａｌｅｓｆｏｒｃｅ．ｃｏｍ，Ｉｎｃ．によって提供されるＣＲＭソフトウェアである。ＭＡＰ及びＣＲＭシステムは、顧客のアクティビティレコードを収集するための最もよく知られているタイプのシステムであるが、顧客（例えば、過去の、現在の、及び／又は潜在的な顧客）のアクティビティレコードを収集することができる任意のシステムが、サブプロセス３１０において取得されるデータのソースであり得ることを理解されたい。例えば、一実施形態では、外部システム１４０のウェブサイトにビーコンをインストールして、ウェブサイトへの訪問者のアクティビティ及びＩＰアドレスを追跡し、追跡されたデータをアクティビティレコードとして記憶することができる。
【0044】
システムのタイプにかかわらず、外部システム１４０は、ネットワーク（複数可）１２０を介してこれらのアクティビティレコードをプラットフォーム１１０に通信することができる。例えば、外部システム１４０は、プラットフォーム１１０のＡＰＩを介してプラットフォーム１１０にアクティビティレコードを「プッシュ」してもよい。代替的に、プラットフォーム１１０は、外部システム１４０のＡＰＩを介して外部システム１４０からアクティビティレコードを「プル」することができる。別の代替として、アクティビティレコードは、プラットフォーム１１０に登録されたユーザアカウントを介してユーザによってプラットフォーム１１０に手動でアップロードされてもよい。いずれの場合も、アクティビティレコードは、ウェブサイトのウェブページ（例えば、組織のホームページ又は製品サイト）への訪問、（例えば、マーケティングキャンペーンの電子メールメッセージ内の）ハイパーリンクのクリック、ウェブサイト上でのオンラインフォームの提出（例えば、検索クエリ、連絡先フォーム、製品の価格見積の要求、ジョブ提出、会議又はトレードショー登録、製品試験など）、ウェブサイトからの電子文書のダウンロード（例えば、ホワイトペーパーなど）、ウェブサイト上でのメディアの再生（例えば、ビデオ、ウェビナー、デモンストレーションなど）、ニュース又は他のメディアフィードからの購読又は購読解除、会議又はトレードショーのアテンド、顧客サービス代表者への電話、ボット又は人間の顧客サービス代表者とのリアルタイムチャット、店内訪問、組織からのソーシャルメディア投稿への関与（例えば、再投稿、「いいね」、コメントなど）、オンラインディスカッションフォーラムへの関与などの任意のオンライン又はオフラインアクティビティを表すことができる。
【0045】
サブプロセス３２０では、データが前処理される。特に、データは、（例えば、外部システム１４０において表されるような）そのネイティブスキーマから、プラットフォーム１１０によって使用される共通スキーマに正規化又は標準化され得る。換言すれば、異なるソースからの異なるフォーマットのデータの全てが、共通のフォーマットに変えられる。更に、データ内のテキストは、前処理ステップの固定されたシーケンスに従って正規化又は標準化することができる。例えば、テキストは、キャメルケースの各単語を別個の単語に分離すること、記号をスペースに置き換えること、サポートされていない言語のテキスト（例えば、非英語テキスト）をスペースに置き換えること、数字をスペースに置き換えること、複数の連続するスペースを単一のスペースに変えること、頭字語を拡張すること、短縮形を拡張すること、全てのテキストを小文字に変えることなどによって正規化され得る。
【0046】
一実施形態では、共通スキーマは、共通の中間表現を定義することができる。例えば、データを提供する各外部システム１４０（例えば、ＭＡＰ、ＣＲＭシステムなど）は、フィールド及びデータタイプの独自の選択を使用して定義されたテーブルのそれ自体のセットを使用して、そのデータを記憶及び管理してもよい。サブプロセス３２０は、これらの異なるデータソースの各々の表から全ての関連する使用可能な情報を抽出して、そのデータソースの専有テーブルに表された各アクティビティの共通の中間表現にすることができる。共通の中間表現は、各アクティビティレコードの関連データをアセンブルする、標準的な固定構造を有する１つ以上の表を含み得る。有利には、共通の中間表現の表（複数可）は、共通のスキーマに従って固定された構造を有し、その結果、サブプロセス３００の各反復中に同じ列から特徴を抽出することができる。これにより、タクソノミーの自動化が可能になる。特に、データソースは、共通の中間表現内の表（複数可）の固定された構造内の全ての列に対応するデータを有するとは限らないため、共通の中間表現内の表（複数可）内の全ての列が、必ずしも所与のデータソースからのアクティビティレコードのデータでポピュレートされるとは限らない。
【0047】
前処理の後、データは、共通の中間表現で表される１つ以上のアクティビティレコードを含む。これらのアクティビティレコードの各々から、１つ以上の特徴のセットが、適用されるモデルの各々について抽出され得る。一実施形態では、アクティビティレコードによって表されるアクティビティの異なる属性に対する異なるタクソノミーに各々関連付けられた複数の異なるモデルが、アクティビティレコードに適用される。例えば、一実施形態では、アクション特徴３３０がアクションモデル３３６について抽出され、チャネル特徴３４０がチャネルモデル３４６について抽出され、タイプ特徴３５０がタイプモデル３５６について抽出される。更に、アクティビティレコードがオンラインリソースのユニフォームリソースロケータ（ＵＲＬ）を含む場合、ウェブモデル３６６についてウェブ特徴３６０を抽出することができる。概して、ＭＡＰから取得されたアクティビティレコードは、典型的には、ウェブ特徴３６０がウェブモデル３６６について抽出され得るように、ＵＲＬを含む。一方、ＣＲＭシステムから取得されたアクティビティレコードは、通常、ＵＲＬを含まないため、ウェブ特徴を抽出する必要がなく、その場合、ブロック３６０～３６８を省略することができる。
【0048】
ＭＡＰから取得されたアクティビティレコードごとに正規化され、共通の中間表現に記憶され得る関連データの例は、限定はしないが、ユーザ識別子、ユーザアクティビティ、ユーザアクティビティのタイプ、ユーザアクティビティの詳細、ユーザのインターネットプロトコル（ＩＰ）アドレス、ユーザアクティビティに関連付けられたマーケティングキャンペーンの識別子、マーケティングキャンペーンの名前、マーケティングキャンペーンの説明、ウェブ訪問に関連付けられたＵＲＬ、参照元（例えば、ユーザをＵＲＬに参照したウェブページのアドレス）、（例えば、マーケティングキャンペーンの一部として送信された）電子メールメッセージ内のクリックイベント、電子メールメッセージの件名、電子メールメッセージの本文、（例えば、電子メールメッセージが送信された）電子メールアドレス、使用されたプログラムの説明、アセット、提出されたフォームの名前、ユーザアクティビティの日付、アクティビティレコードの日付などを含み得る。一実施形態では、アクティビティレコードのデータソースがＭＡＰである場合、ユーザアクティビティのタイプ、マーケティングキャンペーンの名称、及びマーケティングキャンペーンの説明が、アクション特徴３３０、チャネル特徴３４０、及びタイプ特徴３５０の各々として各アクティビティレコードから抽出される。ＣＲＭシステムからキャンペーン（複数可）のために取得される各アクティビティレコードのための共通の中間表現において正規化され、記憶され得る関連データの例は、キャンペーンの識別子、キャンペーンの名前、キャンペーンのタイプ、キャンペーンの説明、キャンペーンメンバー識別子、キャンペーンメンバーステータス、キャンペーンメンバー説明、連絡先電子メール、リード電子メール、アクティビティレコードの日付などを含み得るが、これらに限定されない。ＣＲＭシステムからのスケジューリング情報（例えば、カレンダー、ミーティングスケジュールなどから同期される）においてイベント（複数可）について取得される各アクティビティレコードについての共通の中間表現において正規化され記憶され得る関連データの例は、ソースのタイプ、イベント識別子、アテンド者識別子（複数可）、イベントの件名、イベントの位置、イベントの期間、イベントの説明、イベントのタイプ、イベントが繰り返されているか否か、イベントの日付、レコードの日付などを含み得るが、これらに限定されない。所与のアクティビティレコードから抽出された特徴がタイプ（例えば、ソースのタイプ、イベントのタイプなど）を含み得るとしても、このタイプは、タイプモデル３５６によって出力される予測されたタイプ３５８とは異なり得ることを理解されたい。特に、予測されたタイプ３５８の値は、プラットフォーム１１０によって使用されるタイプのタクソノミーにおけるクラスであるが、特徴内のタイプは、通常、プラットフォーム１１０によって使用されるタクソノミーにおけるクラスに直接対応しない、データソース（例えば、外部システム１４０）によって定義される任意の値を有する。
【0049】
アクション特徴３３０、チャネル特徴３４０、及びタイプ特徴３５０は、所与のアクティビティレコードに対して異なってもよく、又は同じであってもよい。一実施形態では、特徴３３０、３４０、及び３５０は各々、所与のアクティビティレコードに対する共通の中間表現の表（複数可）内の列の１つ又は複数（潜在的に全てを含む）からのテキストを単一の文字ストリングに連結することによって生成される。特徴３３０、３４０、及び／又は３５０が互いに異なるとき、それらは、互いとは異なる、重複又は非重複の列のセットから導出され得ることを理解されたい。例えば、ＣＲＭシステムからのキャンペーンデータに関して、アクション特徴３３０及びチャネル特徴３４０は、キャンペーンのタイプ及びキャンペーンメンバーステータスを含む、又はそれらからなってもよい一方で、タイプ特徴３５０は、キャンペーンのタイプ、キャンペーンメンバーステータス、キャンペーンの名称、及びキャンペーンの説明を含む、又はそれらからなってもよい。キャンペーンの名前及び説明をタイプ特徴３５０に追加することは、表現されたアクティビティがその一部であるキャンペーンの種類の決定を容易にする。別の例として、ＣＲＭシステムからのイベントデータに関して、アクション特徴３３０は、イベントの件名及びソースのタイプを含むか、又はそれらからなってもよく、チャネル特徴３４０は、イベントの件名、ソースのタイプ、及びイベントの場所を含むか、又はそれらからなってもよく、タイプ特徴３５０は、イベントの件名、ソースのタイプ、及びイベントの説明を含むか、又はそれらからなってもよい。アクティビティレコードがＵＲＬを含む場合、そのアクティビティレコードのウェブ特徴３６０は、ＵＲＬの１つ以上の構成要素（例えば、プロトコル、サブドメイン、ドメイン、パス、クエリ、パラメータ、フラグメントなど）と、ＵＲＬに位置するオンラインリソースに関するメタデータ（例えば、タイトル、説明、キーワード、及びＨＴＭＬソースコードに埋め込まれたメタタグ、ＨＴＭＬイベントなど）との連結を含み得る。各アクティビティレコードに対して、そのアクティビティレコードに対する共通の中間表現の表（複数可）内の列（複数可）からのテキストの連結は、モデル３３６、３４６、３５６、及び３６６の各々に対して、１つの単語又はスペースによって分離された複数の単語を含む特徴ストリングをもたらし得る。
【0050】
最終的な特徴３３０、３４０、３５０、及び／又は３６０の各々は、次いで、ベクトル化関数を使用してそれぞれの特徴ストリングから特徴ベクトルとして生成され得る。ベクトル化は、コンピュータ及びモデルが低レベルでテキストをより容易に処理できるようにするために実施される。サブプロセス３２０におけるベクトル化の一実施形態では、各特徴ストリングは、テキスト埋め込みを生成するためのベクトル空間モデルに従って固定次元ベクトルに変えられる。特に、特徴ストリングＸは、Ｎ次元ベクトルＶを出力するベクトル化関数ＦＶに入力される（すなわち、ＦＶ（Ｘ）＝Ｖ）。例えば、
ＦＶ（“Ｔｏｄａｙ ｉｓ ａ ｇｏｏｄ ｄａｙ！”）＝［ｖ１，ｖ２，ｖ３，…，ｖＮ］＝［０．４３５，－１．９２３，－０．５５３，…，０．１２３］
したがって、一実施形態において、サブプロセス３２０の出力は、サブプロセス３１０において取得されたデータ内のアクティビティレコードの各々についての、モデル３３６、３４６、３５６、及び３６６（該当する場合）の各々についての特徴ストリングの各々についてのＮ次元ベクトルＶである。換言すれば、アクション特徴３３０、チャネル特徴３４０、タイプ特徴３５０、及びウェブ特徴３６０（該当する場合）の各々は、Ｎ次元ベクトルＶを含むことができ、各アクティビティレコードは、アクション特徴３３０、チャネル特徴３４０、タイプ特徴３５０、及びウェブ特徴３６０（該当する場合）のセットを生成する。Ｎは、ベクトル化関数ＦＶに使用される特定のベクトル空間内の次元数であることを理解されたい。
ＦＶ（“Ｔｏｄａｙ ｉｓ ａ ｇｏｏｄ ｄａｙ！”）＝［ｖ１，ｖ２，ｖ３，…，ｖＮ］＝［０．４３５，－１．９２３，－０．５５３，…，０．１２３］
したがって、一実施形態において、サブプロセス３２０の出力は、サブプロセス３１０において取得されたデータ内のアクティビティレコードの各々についての、モデル３３６、３４６、３５６、及び３６６（該当する場合）の各々についての特徴ストリングの各々についてのＮ次元ベクトルＶである。換言すれば、アクション特徴３３０、チャネル特徴３４０、タイプ特徴３５０、及びウェブ特徴３６０（該当する場合）の各々は、Ｎ次元ベクトルＶを含むことができ、各アクティビティレコードは、アクション特徴３３０、チャネル特徴３４０、タイプ特徴３５０、及びウェブ特徴３６０（該当する場合）のセットを生成する。Ｎは、ベクトル化関数ＦＶに使用される特定のベクトル空間内の次元数であることを理解されたい。
【0051】
ベクトル化関数ＦＶの選択は、問題の性質及び複雑さに依存する。一実施形態では、Ｇｏｏｇｌｅ ＬＬＣ（カリフォルニア州マウンテンビュー）によるＵｎｉｖｅｒｓａｌ Ｓｅｎｔｅｎｃｅ Ｅｎｃｏｄｅｒなどの言語変換器が、ベクトル化関数ＦＶとして使用される。言語変換器は、自然言語文を入力として受け入れ、Ｎ次元ベクトル空間における文の位置を表すＮ次元実数値ベクトルを出力する深層学習モデルである。特に、各出力ベクトルは、Ｎ次元ベクトル空間内でベクトルが互いに近い文が、Ｎ次元ベクトル空間内でベクトルが互いに遠い文よりも意味が類似するように、入力文の意味を符号化する。Ｕｎｉｖｅｒｓａｌ Ｓｅｎｔｅｎｃｅ Ｅｎｃｏｄｅｒの場合、Ｎ＝５１２であり、各出力ベクトルは５１２個の実数値からなる。これは１つの非限定的な例にすぎず、ベクトル化関数ＦＶのために他のモデルが使用され得ることを理解されたい。しかしながら、ベクトル化関数ＦＶがコンテキストアウェアであることは有益であり、これは、多くの特徴ストリングは、フレーズ（例えば、「送信済み電子メール」、「記入済みフォーム」など）、文、及び短い段落さえも含むためである。加えて、異なるデータソースは、異なる言い回しを使用することになり、コンテキストアウェア手法を使用することは、類似のタイプのデータを有する新しいタイプのデータソースを含む、異なる言い回しが使用されるときでも、モデルが複数のデータソースにわたって機能することを可能にする。換言すれば、コンテキストアウェアベクトル化関数ＦＶは、人工知能が全てのタイプのデータソースの特定の言語を理解することを可能にする。
【0052】
サブプロセス３３２では、アクティビティレコードに対応するアクション特徴３３０の各セットについて、アクション特徴３３０のそのセットをルックアップテーブル３３３へのインデックスとして使用してルックアップが実施される。ルックアップテーブル３３３は、以前に抽出されたアクション特徴３３０のセットを以前に決定されたアクションに関連付ける。ルックアップテーブル３３３内の以前に決定されたアクションは、アクションモデル３３６によって以前に予測されたアクション３３８、及び／又は、例えば、以前に予測されたアクション３３８をオーバーライドするためにユーザによって指定されたアクションであってもよい（例えば、以下に説明するように、サブプロセス３８０において）。サブプロセス３３２において実施されたルックアップによって結果（すなわち、以前に決定されたアクション）が返された場合（すなわち、サブプロセス３３４における「イエス」）、その返された結果は、アクションモデル３３６を適用することなくアクション３３８として出力される。換言すれば、サブプロセス３３２におけるルックアップが成功した場合、アクションモデル３３６は、不必要な計算を回避するためにバイパスされる。これは、アクティビティレコードが以前に見られたアクティビティレコードと異なるたびに発生し得る。例えば、同じマーケティングキャンペーンから同じ電子メールを開く２つの異なるリードは、各リードに対して同じアクティビティレコードをもたらす場合があり、したがって、同じアクション３３８として分類されるべきである。有利には、以前に見られたアクション特徴３３０についてアクションモデル３３６をバイパスすることは、実行時間及び複雑さを低減する。
【0053】
サブプロセス３３２において実施されたルックアップによって結果が返されないか、又はヌル結果が返された場合（すなわち、サブプロセス３３４における「ノー」）、アクションモデル３３６が、検討中の現在のアクティビティレコードに対するアクション特徴３３０に適用されて、アクションのタクソノミーからそのアクティビティレコードに対するアクション３３８が予測される。換言すれば、アクションモデル３３６は、各アクティビティレコードを、そのアクティビティレコードから抽出されたアクション特徴３３０によって表されるように、アクションのタクソノミーにおけるアクションを表す複数のクラスのうちの１つに分類する。一実施形態では、アクションの異なるタクソノミーが、データの異なるソースに対して提供され得る。この場合、サブプロセス３１０において取得されたデータのソースに基づいて、プロセス３００のために異なるルックアップテーブル３３３及び／又は異なるアクションモデル３３６を選択することができる。例えば、データがＭＡＰから取得される場合、アクションのタクソノミーにおける複数のクラスは、「注意」、「クリック済み」、「変えられている」、「削除済み」、「エラー」、「記入済み」、「マージ」、「送信済み」、「サブスクライブ」、「アンサブスクライブ」、「閲覧」、及び／又は「その他」を含むか、又はそれらからなってもよい。データがＣＲＭシステムからのキャンペーンデータから取得される場合、アクションのタクソノミーにおける複数のクラスは、「アテンド済み」、「クリック済み」、「ダウンロード済み」、「エラー」、「エンゲージ済み」、「記入済み」、「招待済み」、「否定的」、「欠席」、「肯定的」、「応答済み」、「送信済み」、「アンスクライブ」、「閲覧」、及び／又は「その他」を含み得るか、又はそれらからなってもよい。データがＣＲＭシステムからのイベントデータから取得される場合、アクションのタクソノミーにおける複数のクラスは、「アテンド済み」、「ブロック済み」、「予約済み」、「招待済み」、「レコード済み」、及び／又は「送信済み」を含むか、又はそれらからなってもよい。本明細書で開示される特定のタクソノミーの全ては、本開示の理解を助けるための、単に例示的な、非限定的な例であることを理解されたい。任意のタクソノミーが開示される実施形態とともに使用されてもよいが、各モデルは、典型的には、タクソノミーにおける学習されたクラスが明確に分離可能であるときに最良に機能し、その結果、モデルは、明確な予測を行い、テキスト要素と学習されたクラスとの間の関連付けを駆動することができる。
【0054】
サブプロセス３４２において、アクティビティレコードに対応するチャネル特徴３４０の各セットについて、ルックアップテーブル３４３へのインデックスとしてチャネル特徴３４０のそのセットを使用してルックアップが実施される。ルックアップテーブル３４３は、以前に抽出されたチャネル特徴３４０のセットを以前に決定されたチャネルと関連付ける。ルックアップテーブル３４３内の以前に決定されたチャネルは、チャネルモデル３４６によって以前に予測されたチャネル３４８、及び／又は、例えば、以前に予測されたチャネル３４８をオーバーライドするためにユーザによって指定されたチャネルであってもよい（例えば、以下に説明するように、サブプロセス３８０において）。サブプロセス３４２において実施されたルックアップによって結果（すなわち、以前に決定されたチャネル）が返された場合（すなわち、サブプロセス３４４における「イエス」）、その返された結果は、チャネルモデル３４６を適用することなく、チャネル３４８として出力される。換言すれば、サブプロセス３４２におけるルックアップが成功した場合、チャネルモデル３４６は、不必要な計算を回避するためにバイパスされる。
【0055】
サブプロセス３４２において実施されるルックアップによって結果が返されないか、又はヌル結果が返された場合（すなわち、サブプロセス３４４における「ノー」）、チャネルのタクソノミーからそのアクティビティレコードのチャネル３４８を予測するために、チャネルモデル３４６が、検討中の現在のアクティビティレコードのチャネル特徴３４０に適用される。換言すれば、チャネルモデル３４６は、そのアクティビティレコードから抽出されたチャネル特徴３４０によって表されるような各アクティビティレコードを、チャネルのタクソノミーにおけるチャネルを表す複数のクラスのうちの１つに分類する。一実施形態では、チャネルの異なるタクソノミーが、データの異なるソースに対して提供され得る。この場合、サブプロセス３１０で取得されたデータのソースに基づいて、プロセス３００のために異なるルックアップテーブル３４３及び／又は異なるチャネルモデル３４６を選択することができる。例えば、データがＭＡＰから取得される場合、チャネルのタクソノミーにおける複数のクラスは、「広告」、「アラート」、「電子メール」、「フォーム」、「リード」、「マーケティング業者」、「ｓａｌｅｓｆｏｒｃｅ．ｃｏｍ」、「ソーシャル」、「ビデオ」、「ウェブページ」、及び／又は「その他」を含むか、又はそれらからなってもよい。データがＣＲＭシステムからのキャンペーンデータから取得される場合、チャネルのタクソノミーにおける複数のクラスは、「広告」、「連絡先」、「ダイレクト」、「電子メール」、「フォーム」、「リンク」、「リスト」、「ライブ」、「オンデマンド」、「オンライン」、「検索」、「ソーシャルメディア」、「テレマーケティング」、「ビデオ」、及び／又は「ウェブページ」を含むか、又はそれらからなってもよい。データがＣＲＭシステムからのイベントデータから取得される場合、チャネルのタクソノミーにおける複数のクラスは、「コール」、「ミーティング」、「仮想」、及び／又は「その他」を含むか、又はそれらからなってもよい。
【0056】
サブプロセス３５２では、アクティビティレコードに対応するタイプ特徴３５０の各セットについて、ルックアップテーブル３５３へのインデックスとしてタイプ特徴３５０のそのセットを使用してルックアップが実施される。ルックアップテーブル３５３は、以前に抽出されたタイプ特徴３５０のセットを以前に決定されたタイプと関連付ける。ルックアップテーブル３５３内の以前に決定されたタイプは、タイプモデル３５６によって以前に予測されたタイプ３５８、及び／又は、例えば、以前に予測されたタイプ３５８をオーバーライドするためにユーザによって指定されたタイプであってもよい（例えば、以下に説明するように、サブプロセス３８０において）。サブプロセス３５２において実施されたルックアップによって結果（すなわち、以前に決定されたタイプ）が返された場合（すなわち、サブプロセス３５４における「イエス」）、その返された結果は、タイプモデル３５６を適用することなく、タイプ３５８として出力される。換言すれば、サブプロセス３５２におけるルックアップが成功した場合、タイプモデル３５６は、不必要な計算を回避するためにバイパスされる。
【0057】
サブプロセス３５２において実施されたルックアップによって結果が返されないか、又はヌル結果が返された場合（すなわち、サブプロセス３５４における「ノー」）、タイプのタクソノミーからそのアクティビティレコードのタイプ３５８を予測するために、タイプモデル３５６が、検討中の現在のアクティビティレコードのタイプ特徴３５０に適用される。換言すれば、タイプモデル３５６は、そのアクティビティレコードから抽出されたタイプ特徴３５０によって表されるような各アクティビティレコードを、タイプのタクソノミーにおけるタイプを表す複数のクラスのうちの１つに分類する。一実施形態では、タイプの異なるタクソノミーが、データの異なるソースに対して提供され得る。この場合、サブプロセス３１０で取得されたデータのソースに基づいて、プロセス３００のために異なるルックアップテーブル３５３及び／又は異なるタイプモデル３５６を選択することができる。例えば、データがＭＡＰから取得される場合、タイプのタクソノミーにおける複数のクラスは、「ウェビナー」、「イベント」、「コンテンツ」、「会議／トレードショー」、「デマンド生成」、「ナーチャリング」、「デモ」、「オーガニック」、「メール」、「オペレーショナル」、及び／又は「その他」を含むか、又はそれらからなってもよい。データが、ＣＲＭシステムからのキャンペーンデータから取得される場合、タイプのタクソノミーにおける複数のクラスは、「コンテンツ」、「デマンド生成」、「デモ」、「メール」、「イベント」、「リード生成」、「ナーチャリング」、「トライアル」、「キャンペーン」、「会議／トレードショー」、「ウェビナー」、「ワークショップ」、及び／又は「その他」を含むか、又はそれらからなってもよい。データが、ＣＲＭシステムからのイベントデータから取得される場合、タイプのタクソノミーにおける複数のクラスは、「デモ」、「発見」、「一般」、「昼食」、「反復」、「販売」、及び／又は「訓練」を含むか、又はそれらからなってもよい。
【0058】
サブプロセス３６２では、アクティビティレコード内のＵＲＬに対応するウェブ特徴３６０の各セットについて、ウェブ特徴３６０のそのセットをルックアップテーブル３６３へのインデックスとして使用してルックアップが実施される。ルックアップテーブル３６３は、以前に抽出されたウェブ特徴３６０のセットを以前に決定されたウェブアクティビティに関連付ける。ルックアップテーブル３６３内の以前に決定されたウェブアクティビティは、ウェブモデル３６６によって以前に予測されたウェブアクティビティ３６８、及び／又は、例えば、以前に予測されたウェブアクティビティ３６８をオーバーライドするためにユーザによって指定されたウェブアクティビティであってもよい（例えば、以下に説明するように、サブプロセス３８０において）。サブプロセス３６２において実施されたルックアップによって結果（すなわち、以前に決定されたウェブアクティビティ）が返された場合（すなわち、サブプロセス３６４における「イエス」）、その返された結果は、ウェブモデル３６６を適用することなく、ウェブアクティビティ３６８として出力される。換言すれば、サブプロセス３６２におけるルックアップが成功した場合、ウェブモデル３６６は、不必要な計算を回避するためにバイパスされる。
【0059】
サブプロセス３６２において実施されたルックアップによって結果が返されないか、又はヌル結果が返された場合（すなわち、サブプロセス３６４における「ノー」）、ウェブアクティビティのタクソノミーからそのＵＲＬに対するウェブアクティビティ３６８を予測するために、ウェブモデル３６６が、検討中の現在のアクティビティレコード内のＵＲＬに対するウェブ特徴３６０に適用される。換言すれば、ウェブモデル３６６は、ＵＲＬを含む任意のアクティビティレコード内のＵＲＬを、そのアクティビティレコードから抽出されたウェブ特徴３６０によって表されるように、ウェブアクティビティのタクソノミーにおける複数のクラスのうちの１つに分類する。例えば、ウェブアクティビティのタクソノミーにおける複数のクラスは、「製品リサーチ」、「ブログ」、「企業リサーチ」、「キャンペーン」、「検索」、「ケーススタディ」、「ソリューション」、「ホワイトペーパー」、「連絡先」、「デモ」、「訓練」、「製品試験」、「ビデオ」、「ウェビナー」、「サポート」、「ホームページ」、「キャリア」、「会議／トレードショー」、「価格設定」、「コミュニティ」、「アンサブスクライブ」、「製品リサーチ」、「製品ランディングページ」、及び／又は「その他」を含むか、又はそれらからなってもよい。
【0060】
一実施形態では、モデル３３６、３４６、３５６、及び／又は３６６の各々は確率的である。したがって、入力される特徴（例えば、特徴ベクトル）の各セットについて、モデル３３６、３４５、３５６、及び／又は３６６は、関連するタクソノミーからの予測されたクラスと、特徴のセットについての予測されたクラスの確率値との両方を出力することができる。確率値は、予測されたクラスが正しいという信頼度を表す。一実施形態では、各モデル３３６、３４６、３５６、及び／又は３６６は、関連するタクソノミーにおける複数のクラスの各々についての確率値を含む確率ベクトルを出力する。この場合、確率ベクトルのサイズは、タクソノミーにおけるクラスの数と同じであり、所与の確率ベクトル内の確率値は、合計して１．０になり得る。代替的な実施形態では、各モデル３３６、３４６、３５６、及び／又は３６６は、単に、予測されたクラスとして最も高い確率値を有するクラスを、その最も高い確率値とともに出力することができる。
【0061】
各アクティビティレコードに対するアクション３３８、チャネル３４８、タイプ３５８、及び／又はウェブアクティビティ３６８としての各モデル３３６、３４６、３５６、及び／又は３６６による各出力は、後処理することができる。特に、各予測は、その予測が受け入れられるべきか否か、及び／又はその予測がどのように特徴付けられるべきかを決定するために分析され得る。各予測は、信頼できるか、又は信頼できないものいずれかとして、バイナリ用語で特徴付けられ得る。この後処理は、最も高い確率値を有する予測されたクラスの確率値が所定の閾値を満たす（例えば、超える）か否かを判定することを含み得る。予測が所定の閾値を満たす場合、予測は、信頼できるものとして特徴付けられ得る。そうではなく、予測が所定の閾値を満たさない場合、予測は信頼できないものとして特徴付けられ得る。各モデル３３６、３４６、３５６、及び／又は３６６に対する所定の閾値の値は、試験及び評価中の予測されたクラス及びそれらの対応する確率値の変動に基づいて、それぞれのモデルの訓練中に決定され得る。各モデル３３６、３４６、３５６、及び／又は３６６は、必ずしもそうではないが、他のモデルとは異なる所定の閾値を有し得ることを理解されたい。一実施形態では、予測が、非常に近い確率値を有する２つのクラス（例えば、０．５１の確率値を有する第１のクラス及び０．４９の確率値を有する第２のクラスなど、１～３パーセントポイント以内）を含む場合、予測は、所定の閾値を満たす場合であっても、信頼できないものとして特徴付けられ得る。かかる場合、最も高い確率値を有する予測されたクラスを単に選択することは、しばしば、信頼できない分類をもたらし得る。予測が信頼できないものとして特徴付けられるいずれの場合においても、予測されたクラスは、ヌル又はヌルクラスに自動的にオーバーライドされ、それによって、それぞれのモデルの予測を無効にしてもよい。
【0062】
サブプロセス３７０では、データ内の各アクティビティレコードに対して、そのアクティビティレコードに対して決定されたアクション３３８、チャネル３４８、タイプ３５８、及びウェブアクティビティ３６８（該当する場合）が、そのアクティビティレコードに対する複合タクソノミー分類に組み合わされる。具体的には、図示された実施形態では、サブプロセス３１０で受信されたデータ内の各アクティビティレコードは、アクション３３８、チャネル３４８、及びタイプ３５８に関連付けられてもよく、これらの出力の各々が信頼できるものとして特徴付けられていると仮定する。更に、アクティビティレコードがＵＲＬを含む場合、この出力が信頼できるものとして特徴付けられていると仮定して、アクティビティレコードはウェブアクティビティ３６８にも関連付けられる。代替的に、アクティビティレコードがＵＲＬを含む場合、アクティビティレコードのタイプは、決定されたウェブアクティビティと置き換えられてもよい（例えば、決定されたウェブアクティビティが信頼できると特徴付けられた場合）。各アクション３３８は、リードが行ったこと（例えば、リンクをクリックしたこと、フォームに記入したこと、ウェブページを訪れたこと、電子メールを送信したことなど）を表す。各チャネル３４８は、リードが関連するアクション３３８（例えば、電子メール、ウェブページ、フォームなど）を実施したメディアを表す。各タイプ３５８は、関連付けられたアクション３３８が関連付けられるコンテンツのタイプ（例えば、ホームページ、デモ、ナーチャリング、ギフトなど）を表す。各ウェブアクティビティ３６８は、関連するアクティビティレコード内のＵＲＬにおけるオンラインリソースのタイプを表し、したがって、ＵＲＬを含むアクティビティレコードのタイプ３５８の代わりに、又はそれに加えて使用することができる。
【0063】
一実施形態では、アクション３３８、チャネル３４８、並びにタイプ３５８及び／又はウェブアクティビティ３６８（該当する場合）が全て、所与のアクティビティレコードに対して信頼できる（例えば、所定の閾値を満たす）と特徴付けられる場合、そのアクティビティレコードは、「マッピングされた」というステータスに関連付けられる。そうではなく、アクション３３８、チャネル３４８、及びタイプ３５８のうちの少なくとも１つ、及び／又はウェブアクティビティ３６８が、信頼できないと特徴付けられる場合、そのアクティビティレコードは、「マッピングされていない」というステータスに関連付けられ得る。しかしながら、代替的な実施形態は、「マッピングされた」及び「マッピングされていない」のステータスを異なる方法で定義することができる。例えば、アクティビティレコードは、アクション３３８、チャネル３４８、及びタイプ３５８、並びに／又はウェブアクティビティ３６８のうちの少なくとも１つが信頼できると特徴付けられる場合、又はアクション３３８、チャネル３４８、及びタイプ３５８、並びに／又はウェブアクティビティ３６８の特定のサブセットが信頼できると特徴付けられる場合、「マッピングされた」と定義されてもよく、そうでない場合、「マッピングされていない」と定義されてもよい。
【0064】
オプションのサブプロセス３８０では、アクション３３８、チャネル３４８、タイプ３５８、及び／又はウェブアクティビティ３６８（該当する場合）の値のうちの１つ以上が、所与のアクティビティレコードについて確認され、オーバーライドされ、かつ／又は手動で指定され得る。例えば、サーバアプリケーション１１２は、ユーザがそれぞれのユーザアカウントにログインしたときに、ユーザが各アクティビティレコードの複合タクソノミーを管理することを可能にするグラフィカルユーザインターフェースを提供してもよい。一実施形態では、「マッピングされていない」のステータスが割り当てられた全てのアクティビティレコードの分類は、グラフィカルユーザインターフェースの１つ以上の入力を介した手動分類のために、グラフィカルユーザインターフェースを介して（例えば、ユーザのユーザアカウントのダッシュボード画面において）ユーザに提供されてもよい。グラフィカルユーザインターフェースはまた、「マッピングされた」のステータスが割り当てられたアクティビティレコードの分類を手動で確認及び／又はオーバーライドするための１つ以上の入力を含み得る。例えば、グラフィカルユーザインターフェースは、「マッピングされた」ステータス及び「マッピングされていない」ステータスの各々について、ユーザがアクセスを有するか又はユーザが責任を有する全てのアクティビティレコードのリストを提供してもよい。ユーザは、リスト内の個々のエントリを選択することができ、リスト内のエントリの選択に応答して、グラフィカルユーザインターフェースは、エントリに関する詳細と、エントリが属するクラス（複数可）を変更又は指定し、任意選択で、例えば、「マッピングされた」（例えば、現在分類されている場合）又は「マッピングされていない」（例えば、現在分類されていない場合）と「マッピングしない」との間でエントリのステータスを変更するための１つ以上の入力（例えば、ドロップダウンメニュー）とを提供することができる。「マッピングされた」というステータスを有するアクティビティレコードに対応するエントリの場合、クラスを変更するための入力は、そのエントリのための予測されたクラスで事前にポピュレートされ得る。同様に、エントリのステータスを変更するための入力は、そのエントリの現在のステータスで事前にポピュレートされてもよい。したがって、グラフィカルユーザインターフェースは、ユーザが任意の分類の誤りを識別し、修正することを容易にする。
【0065】
ユーザは、グラフィカルユーザインターフェースを利用して、限定はしないが、各アクティビティレコードに対して以下のアクションのうちの１つ以上を実施することができる。
・アクション３３８、チャネル３４８、並びにタイプ３５８及び／又はウェブアクティビティ３６８（適用可能な場合）のうちの１つ以上についての予測されたクラスを、ステータス（例えば、「マッピングされている」又は「マッピングされていない」）にかかわらず、関連するタクソノミーにおける複数のクラスのうちの任意の他の１つでオーバーライドする。
・ステータスを「マッピングされた」又は「マッピングされていない」から「マッピングしない」に、又はその逆に変更する。「マッピングしない」ステータスは、ユーザがアクティビティレコードを廃棄又は無視する意図があることを示す。例えば、「マッピングしない」ステータスを有するアクティビティレコードは、サブプロセス３９０に伝搬されない。
・ステータスを「マッピングされていない」から「マッピングされた」に、又はその逆に変更する。
・一実施形態において、ステータスは、「マッピングされたが確認を必要とする」ステータスを含む。このステータスは、ユーザによる明示的な注意が要求されていることを示す。「マッピングされたが確認を必要とする」ステータスは、アクション３３８、チャネル３４８、及びタイプ３５８、及び／又はウェブアクティビティ３６８（適用可能な場合）のうちの１つ以上の最も高い確率値が２番目に高い確率値に非常に近い（例えば、１～３パーセントポイント以内）アクティビティレコードに割り当てられ得、したがって、予測されたクラスは信頼できない場合がある。ユーザは、「マッピングされたが確認ステータスを必要とする」各アクティビティレコードをレビューし、そのアクティビティレコードに関連付けられたアクション３３８、チャネル３４８、並びにタイプ３５８及び／又はウェブアクティビティ３６８（該当する場合）のうちの１つ以上のクラスを確認又は変更することができる。ユーザがクラス（複数可）を確認又は変更すると、アクティビティレコードのステータスは「マッピングされた」に自動的に更新され得る。
・アクション３３８、チャネル３４８、並びにタイプ３５８及び／又はウェブアクティビティ３６８（適用可能な場合）のうちの１つ以上についての予測されたクラスを、ステータス（例えば、「マッピングされている」又は「マッピングされていない」）にかかわらず、関連するタクソノミーにおける複数のクラスのうちの任意の他の１つでオーバーライドする。
・ステータスを「マッピングされた」又は「マッピングされていない」から「マッピングしない」に、又はその逆に変更する。「マッピングしない」ステータスは、ユーザがアクティビティレコードを廃棄又は無視する意図があることを示す。例えば、「マッピングしない」ステータスを有するアクティビティレコードは、サブプロセス３９０に伝搬されない。
・ステータスを「マッピングされていない」から「マッピングされた」に、又はその逆に変更する。
・一実施形態において、ステータスは、「マッピングされたが確認を必要とする」ステータスを含む。このステータスは、ユーザによる明示的な注意が要求されていることを示す。「マッピングされたが確認を必要とする」ステータスは、アクション３３８、チャネル３４８、及びタイプ３５８、及び／又はウェブアクティビティ３６８（適用可能な場合）のうちの１つ以上の最も高い確率値が２番目に高い確率値に非常に近い（例えば、１～３パーセントポイント以内）アクティビティレコードに割り当てられ得、したがって、予測されたクラスは信頼できない場合がある。ユーザは、「マッピングされたが確認ステータスを必要とする」各アクティビティレコードをレビューし、そのアクティビティレコードに関連付けられたアクション３３８、チャネル３４８、並びにタイプ３５８及び／又はウェブアクティビティ３６８（該当する場合）のうちの１つ以上のクラスを確認又は変更することができる。ユーザがクラス（複数可）を確認又は変更すると、アクティビティレコードのステータスは「マッピングされた」に自動的に更新され得る。
【0066】
図４Ａ～図４Ｄは、実施形態による、アクティビティレコードのタクソノミークラスを閲覧、確認、指定、及び／又はオーバーライドすることができるグラフィカルユーザインターフェースの例示的な画面を示している。具体的には、図４Ａは概要画面４１０を示し、図４ＢはＭＡＰ特有のアクティビティ画面４２０を示し、図４ＣはＣＲＭキャンペーン特有のアクティビティ画面４３０を示し、図４ＤはＣＲＭイベント特有のアクティビティ画面４４０を示す。
【0067】
概要画面４１０は、ユーザアカウントに関連付けられたタクソノミー分類の概要を提供する。概要画面４１０は、保留中であるか、対処する必要があるアクション項目があるか否かをユーザに通知する情報領域４１２を含み得る。概要画面４１０はまた、データ概要４１４及びアクティビティ概要４１６を含み得る。データ概要４１４は、直近の期間（例えば、過去１ヶ月）内に取得され処理された、各データソースに関連付けられたデータポイント（すなわち、アクティビティレコード）の数を示すことができる。例えば、これらのデータソースは、少なくとも１つのＭＡＰ及び少なくとも１つのＣＲＭシステムを含んでもよい。ＭＡＰは、ユーザの組織によって管理及び利用され、関連付けられた組織アカウントの下で構成されるＭＡＰであってもよく、ＣＲＭシステムは、ユーザの組織によって管理及び利用され、関連付けられた組織アカウントの下で構成されるＣＲＭシステムであってもよいことを理解されたい。アクティビティ概要４１６は、各データソース（例えば、ＭＡＰ、ＣＲＭシステムなど）からの各ステータス（例えば、「マッピングされていない」、「マッピングされた」、及び「マッピングしない」）を有するデータポイントの数を、表、グリッド、チャート、又は他のグラフィカル表現で示すことができる。
【0068】
ＭＡＰ特有のアクティビティ画面４２０、ＣＲＭキャンペーン特有のアクティビティ画面４３０、及びＣＲＭイベント特有のアクティビティ画面４４０の各々は、それぞれ、ＭＡＰから取得されたアクティビティレコード、ＣＲＭシステムからのキャンペーンデータ、及びＣＲＭシステムからのイベントデータのリスト４２２を含み得る。リスト４２２は、（例えば、ユーザが全てのエントリ、過去の月からのエントリなどを閲覧し得るように）フィルタリング可能であってもよく、及び／又は（例えば、リスト４２２の列のうちの１つ以上によって）ソート可能であり得る。リスト４２２内のエントリの数及び／又はユーザ選好設定に応じて、リスト４２２は、ページ当たりのエントリの最大数に従ってページ付けすることができることを理解されたい。リスト４２２内の各エントリは、（例えば、エントリを選択するための）チェックボックス、ステータス（例えば、「マッピングされた」、「マッピングされたが確認を必要とする」、「マッピングされていない」、又は「マッピングしない」のうちの１つを示すアイコン）、エントリによって表されるアクティビティレコードについて決定されたアクション３３８、エントリによって表されるアクティビティレコードについて決定されたチャネル３４８、並びにエンティティによって表されるアクティビティレコードについてのタイプ３５８及び／又はウェブアクティビティ３６８を含み得る。ＣＲＭキャンペーン特有のアクティビティ画面４３０では、リスト４２２内の各エントリはまた、エントリによって表されるアクティビティレコードからのキャンペーンメンバーステータスを含み得る。ＣＲＭイベント特有のアクティビティ画面４４０では、リスト４２２内の各エントリはまた、エントリによって表されるアクティビティレコード内のイベントの対象、そのイベントの場所、及びアクティビティレコードの日付を含み得る。
【0069】
リスト４２２内の各エントリは選択可能であり得る。ユーザがエントリを選択すると、グラフィカルユーザインターフェースは、選択されたエントリによって表されるアクティビティレコードに関する詳細をフレーム４２４にポピュレートすることができる。これらの詳細は、アクティビティレコードのステータス（例えば、「マッピングされた」、「マッピングされていない」、「マッピングされているが確認を必要とする」、又は「マッピングしない」）、関連するアクションのタクソノミーにおける全ての利用可能なアクションのクラスからアクティビティレコードに関連付けられるアクションを選択するための入力、関連するチャネルのタクソノミーにおける全ての利用可能なチャネルのクラスからアクティビティレコードに関連付けられるチャネルを選択するための入力、アクティビティレコードに関連付けられるタイプ、及び／又はアクティビティレコードに関する他の詳細を含み得る。フレーム４２４内のアクティビティレコードに関する他の詳細は、アクティビティレコードのソースに依存し得る。例えば、ＭＡＰからのアクティビティレコードに関する他の詳細は、アクティビティレコードが取得された日付などを含んでもよい。ＣＲＭシステムのキャンペーンデータからのアクティビティレコードに関する他の詳細は、キャンペーンメンバーステータス、アクティビティレコードが取得された日付などを含み得る。ＣＲＭシステムのイベントデータからのアクティビティレコードについての他の詳細は、イベントの対象、イベントの場所、アクティビティレコードが取得された日付、アクティビティレコードに対する最後の更新の日付（例えば、アクティビティレコードを更新した個体の識別子を含む）、更新の監査証跡を閲覧するためのリンクなどを含み得る。フレーム４２４はまた、アクティビティレコードのマッピングに対する任意の変更を保存し、かつ／又は任意のかかる変更を取り消すための１つ以上の入力を含み得る。
【0070】
サブプロセス３９０において、サブプロセス３８０において受信された任意のオーバーライドを含む、各アクティビティレコードに対する組み合わされたタクソノミー分類は、それぞれのアクティビティレコードに関連付けて、データウェアハウスに保存される。一実施形態では、アクティビティレコードの組み合わされたタクソノミー分類は、ユーザが（例えば、グラフィカルユーザインターフェース内の入力を選択することによって）それを公開するまで、データウェアハウスの外部に記憶され得る。したがって、ユーザは、アクション３３８、チャネル３４８、タイプ３５８、及びウェブアクティビティ３６８（該当する場合）を、それらがそれぞれのアクティビティレコードに関連付けてデータウェアハウスに保存される前に、レビュー、確認、及び／又はオーバーライドすることができる。タクソノミー化されたアクティビティレコードのうちの一部は、データウェアハウスに保存されることなく破棄され得ることを理解されたい（例えば、「マッピングしない」ステータスに関連付けられたもの）。
【0071】
一実施形態では、データウェアハウスに保存された、最終的に決定されたタクソノミークラスのうちの１つ以上（潜在的に全てを含む）を、それらのそれぞれのルックアップテーブル３３３、３４３、３５３、及び３６３に組み込むことができる。例えば、各アクティビティレコードに対して、そのアクティビティから抽出されたアクション特徴３３０は、ルックアップテーブル３３３において、そのアクティビティレコードに対してサブプロセス３９０において保存された最終的な決定されたアクションへのインデックスとして保存されてもよい。同様に、そのアクティビティレコードから抽出されたチャネル特徴３４０は、そのアクティビティレコードについてサブプロセス３９０において保存された最終決定チャネルに対するインデックスとしてルックアップテーブル３４３に保存されてもよい。同様に、そのアクティビティレコードから抽出されたタイプ特徴３５０は、そのアクティビティレコードについてサブプロセス３９０において保存された最終的に決定されたタイプに対するインデックスとしてルックアップテーブル３５３に保存されてもよい。加えて、適用可能な場合、そのアクティビティレコード内のＵＲＬに対して抽出されたウェブ特徴３６０は、ルックアップテーブル３６３内に、そのアクティビティレコードに対してサブプロセス３９０内に保存された最終決定ウェブアクティビティへのインデックスとして保存されてもよい。換言すれば、種々のルックアップテーブル３３３、３４３、３５３、及び３６３は、概してレビューされ、承認された特徴とタクソノミークラスとの間の関連付けを用いて更新される。したがって、ルックアップテーブル３３３、３４３、３５３、及び３６３は、同じアクティビティレコードが２回目に見られるときはいつでも、モデル３３６、３４６、３５６、及び３６６がそれぞれバイパスされることを可能にするように、絶えず更新され得る。有利には、これは、特定のアクティビティレコードが以前に処理されたときにモデルを適用することに関連付けられた計算費用を回避し、それによって、プロセス３００の速度及び効率を改善する。しかしながら、代替的な実施形態では、ルックアップテーブル３３３、３４３、３５３、及び３６３は、それらが以前に処理されたかどうかにかかわらず、モデルが全てのアクティビティレコードに適用されるように、省略されてもよいことを理解されたい。プロセス３００は、概して、かかる一実施形態ではあまり効率的ではないであろうが、例えば、モデル３３６、３４６、３５６、及び３６６が頻繁に更新される場合、より柔軟かつ動的であり得る。
【0072】
関連特許出願においてより詳細に説明されるように、タクソノミー化されたアクティビティレコードは、データウェアハウスに保存されると、アクティビティレコードによって表されるリードについての購入者の意図及び購入段階を予測することなどの１つ以上のダウンストリーム機能のために使用され得る。タクソノミーは、リード関連アクティビティを表し、種々のソースから取得されたデータを一貫したラベル付けシステムに分類して、これらの下流機能（複数可）との互換性を確実にする。
【0073】
一実施形態では、タクソノミー化されたアクティビティレコードは、１つ以上の下流予測モデルへの入力として特徴を抽出するために使用される。例えば、アクティビティレコードに割り当てられると、タクソノミーにおける種々のクラスを使用して、販売予測アルゴリズム及び／又は意図モデルのために、アクティビティレコードによって表されるアクティビティを重み付けすることができる。この場合、将来の購入又は特定の購入段階をよりよく示す、タクソノミーにおけるアクティビティのいくつかのクラスは、将来の購入又は特定の購入段階をあまり示さない、タクソノミーにおけるアクティビティの他のクラスよりも高く重み付けされ得る。これらの重みは、自身の最近のアクティビティに基づいて、意図スコアの形態で、リードが組織の製品を購入する可能性がどれほど高いかを判定するために使用され得る。関連特許出願に記載されているように、この意図スコアを他のモデルの出力と組み合わせて、次善のアクション（例えば、推奨される連絡先）を決定することもできる。
【0074】
したがって、有利には、開示されるモデルは、アクティビティを解釈するための人工知能をコンピュータに与え、コンピュータが、それらのアクティビティがどのように購入決定に影響を及ぼし、その理解に基づいて行動し得るかを理解することを可能にする。これらのモデルは、アクティビティレコードのタクソノマイゼーションを自動化することに対する障害を克服し、その結果、新しい組織アカウントのシステム（例えば、ＭＡＰ、ＣＲＭシステムなど）のための手動の時間集約的なオンボーディングプロセスは、必要に応じて、１日に何百万、何十億ものアクティビティレコードを処理することができる、スケーラブルで、反復可能で、自動化されたタクソノマイゼーションプロセスと置換することができる。自動化された分類は、リードのアクティビティが重要であったか、どのメディアがリードを使用したか、どのような種類のアクション又はコンテンツがアクティビティに関連付けられたかなど、並びにかかる質問の組み合わせなどの重要な質問に回答することが可能である、より詳細な下流モデル化及び分析を可能にする。
【0075】
２．２．モデル
モデル３３６、３４６、３５６、及び３６６の各々は、同一又は類似のアーキテクチャを有し得る。特に、これらのモデルの各々は、機械学習アルゴリズムを含み得る。それらのユーザアカウントによって使用される特定のデータソース（例えば、ＭＡＰ、ＣＲＭシステムなど）にかかわらず、同じモデルが、全てのユーザアカウントにわたって使用されてもよい。代替的に、モデル３３６、３４６、３５６、及び／又は３６６の異なる組み合わせが、例えば、それらのユーザアカウントによって使用される特定のデータソースに応じて、異なるユーザアカウントに使用されてもよい。
モデル３３６、３４６、３５６、及び３６６の各々は、同一又は類似のアーキテクチャを有し得る。特に、これらのモデルの各々は、機械学習アルゴリズムを含み得る。それらのユーザアカウントによって使用される特定のデータソース（例えば、ＭＡＰ、ＣＲＭシステムなど）にかかわらず、同じモデルが、全てのユーザアカウントにわたって使用されてもよい。代替的に、モデル３３６、３４６、３５６、及び／又は３６６の異なる組み合わせが、例えば、それらのユーザアカウントによって使用される特定のデータソースに応じて、異なるユーザアカウントに使用されてもよい。
【0076】
一実施形態では、データソースのタイプごとに異なるモデルが使用され得る。例えば、第１のアクションモデル３３６は、ＭＡＰから取得されたアクティビティレコードに使用されてもよく、第２の異なるアクションモデル３３６は、ＣＲＭシステムのキャンペーンデータから取得されたアクティビティレコードに使用されてもよく、第３の異なるアクションモデル３３６は、ＣＲＭシステムのイベントデータから取得されたアクティビティレコードに使用されてもよい。同様に、第１のチャネルモデル３４６は、ＭＡＰから取得されたアクティビティレコードに使用されてもよく、第２の異なるチャネルモデル３４６は、ＣＲＭシステムのキャンペーンデータから取得されたアクティビティレコードに使用されてもよく、第３の異なるチャネルモデル３４６は、ＣＲＭシステムのイベントデータから取得されたアクティビティレコードに使用されてもよい。同様に、第１のタイプのモデル３５６は、ＭＡＰから取得されたアクティビティレコードに使用されてもよく、第２の異なるタイプのモデル３５６は、ＣＲＭシステムのキャンペーンデータから取得されたアクティビティレコードに使用されてもよく、第３の異なるタイプのモデル３５６は、ＣＲＭシステムのイベントデータから取得されたアクティビティレコードに使用されてもよい。典型的には、ＭＡＰから取得されたアクティビティレコードのみがＵＲＬを有し、利用可能なＵＲＬデータは、データソースにかかわらず同じである。したがって、単一のウェブモデル３６６を、全てのデータソース及び全てのタイプのデータソースにわたる全てのＵＲＬから使用することができる。データソース又はデータソースのタイプに応じて異なるモデルが使用される任意の場合において、異なる特徴（例えば、３３０、３４０、３５０、及び３６０）が、それらの異なるモデルへの入力として使用されてもよく、それらの異なるモデルは、それらの特徴を異なるタクソノミー（例えば、異なるクラス及び／又は異なる数のクラスを含む）に分類してもよいことを理解されたい。
【0077】
一実施形態では、各モデルは、それぞれの特徴（例えば、３３０、３４０、３５０、又は３６０）を受け入れる入力層と、入力を変換する１つ以上の隠れ層と、複数のクラスのうちの予測された１つ又は関連するタクソノミーにおける複数のクラスの各々についての確率値を出力する出力層と、を有するニューラルネットワークを含む。ニューラルネットワークは、複数の隠れ層を含む深層ニューラルネットワークであってもよい。特定の実装形態では、ニューラルネットワークは、長短期記憶（ＬＳＴＭ）をもつリカレントニューラルネットワーク（ＲＮＮ）であり得る。ＬＳＴＭは、フィードバック接続を使用して、文などのデータのシーケンスを処理する。ニューラルネットワークは、隠れ層の潜在的に全てを含む１つ以上のための活性化関数として正規化線形活性化ユニット（ＲｅＬＵ）を利用し得、最終分類のための最後の活性化関数としてソフトマックス関数を利用し得る。訓練中、２０％のドロップアウトを各層に使用して、過剰適合を低減し、一般化誤差を改善することができる。
【0078】
図５は、一実施形態による、モデル３３６、３４６、３５６、及び／又は３６６の潜在的に全てを含む１つ以上のために使用され得る深層ニューラルネットワーク５００の例示的なアーキテクチャを示している。図示の実施形態では、ｄｅｐニューラルネットワーク５００への入力は、ベクトル化関数ＦＶによって出力され、Ｎ次元ベクトル空間における特徴ストリングのテキスト埋め込みを表すＮ次元特徴ベクトルである。この特徴ベクトルは、Ｎ個のニューロンを含む密入力層に入力される。入力層の活性化関数としては、ＲｅＬＵを用いることができる。第１の隠れ層は、より高い抽象化レベルを表す、入力層の半分のサイズ（すなわち、Ｎ／２）である密な層であり得る。この場合も、第１の隠れ層の活性化関数としてＲｅＬＵを使用することができる。第２の隠れ層は、第１の隠れ層のサイズの半分であり、入力層のサイズの４分の１（すなわち、Ｎ／４）である高密度層であってもよく、更に高いレベルの抽象化を表す。第２の隠れ層は、入力特徴ベクトルの最終分類を表す出力層を生成するソフトマックス活性化関数を供給することができる。出力層は、関連するタクソノミーにおけるクラスの数に等しいサイズＭを有する。最終的な分類は、関連するタクソノミーにおける複数のクラスの各々についての確率値を含む、サイズＭの確率ベクトルとして出力され得る。以下の表は、Ｎ＝５１２及びＭ＝１１である深層ニューラルネットワーク５００の特定の実装形態のレイヤを示す。この特定の実装形態は、Ｐｙｔｈｏｎの深層学習ライブラリを使用して層ごとに構築された。このモデルは、訓練の１エポック後に非常に良好に機能した。これは、使用事例の明確に定義された入力及び出力に起因する可能性が高く、使用された注釈付き訓練データセットの精度を強化する。
【表1】
【0079】
各ニューラルネットワークの重みは、損失関数を最小化するために訓練データセットを使用して訓練され得る。訓練データセットは、関連するタクソノミーからのグラウンドトゥルースクラスで注釈付けされた特徴ベクトルを含み得る。モデルが複数の異なる組織アカウント及び／又は複数の異なるシステムからのデータに対して使用される場合、訓練データセットは、複数の組織からの特徴ベクトル及び／又は複数の異なるシステムから取得された特徴ベクトルを含むはずである。例えば、特定の実装形態では、特徴ベクトルは、訓練及び試験データセットを構築するために５８の異なる組織アカウントのデータから抽出され、検証データセットを構築するために２７の異なる組織アカウントのデータから抽出された。組織的アカウントは、利用可能なデータの量、完了、及び幅に基づいて、コホートにおける異なるＭＡＰ（例えば、Ｍａｒｋｅｔｏ（商標）、Ｅｌｏｑｕａ（商標）、Ｈｕｂｓｐｏｔ（商標）、及びＰａｒｄｏｔ（商標））のほぼ等しい広がりを表すように選択され、その結果、得られるモデルは、ＭＡＰにとらわれない。各データセット内の特徴ベクトルは、関連するタクソノミーからのグラウンドトゥルースクラスで、手動で注釈付けされてもよい。異なるタクソノミーについて複数のモデルを訓練するために特徴ベクトルの同じセットが使用され得るが、それぞれのデータセットは異なるアノテーションを有することを理解されたい。各モデルを表す各ニューラルネットワークは、それぞれの特徴を関連するタクソノミーの複数のクラスのうちの１つに分類するように訓練される。したがって、各訓練された深層ニューラルネットワークは、ディープ学習ベースの分類器を表す。各モデルが予測するクラスは複数あるため、マルチクラス構成で各モデルのパラメータを初期化してもよい。マルチクラス構成とは、インスタンスを３つ以上のクラスのうちの１つに分類する問題を指す。
【0080】
一実施形態では、各モデルの訓練を容易にするために転移学習が使用される。転移学習では、既存のモデルが、新しいモデルを訓練するための開始点又はソースとして使用される。既存のモデルは、異なる又は同様の問題を解決するように以前に訓練されていてもよい。この場合、既存のモデルは、自然言語処理のために事前に訓練されていてもよい。特に、自然言語処理のために訓練されたニューラルネットワークのニューロン重みは、各深層学習ベースの分類器を訓練するための開始点として使用され得る。
【0081】
転移学習を利用する一実施形態では、言語変換器が転移学習のソースとして使用される。特に、変換器からの双方向エンコーダ表現（ＢＥＲＴ）など、既存の言語変換器のための訓練されたニューラルネットワークのベースアーキテクチャのためのニューロン重みは凍結され得る。ＢＥＲＴは、Ｖａｓｗａｎｉらによる「Ａｔｔｅｎｔｉｏｎ Ｉｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ」，３１ｓｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ（ＮＩＰＳ ２０１７），ａｒＸｉｖ：１７０６．０３７６２ｖ５に記載されており、これは、その全体が記載されているかのように参照により本明細書に組み込まれる。次いで、１つ以上の、通常は一部の後続の層がこの基本アーキテクチャに追加されて、言語を関連するタクソノミーの複数の特定のクラスに分類することができる深層ニューラルネットワークが構築される。このプロセスは、「微調整」と称される。モデルを構築するために言語変換器を微調整することの１つの利点は、言語変換器の層が、文を句、単語、又は文字に分解するプロセスを抽象化する、自然言語理解及び文解釈に関する情報を保持することである。したがって、この基本アーキテクチャは、入力を解釈することができる。加えて、言語理解は、既存のモデルの基本アーキテクチャによってすでに対処されているため、転移学習は、モデルがより少ない数のデータ点（すなわち、アクティビティレコード）で訓練されることを可能にする。理解された言語を特定の用途のために開発された特定のクラスに分類するために、ニューラルネットワークの最終層を訓練するのに十分な数のデータ点があればよい。
【0082】
訓練の目標は、グラウンドトゥルースクラス（例えば、注釈）と予測されたクラス（すなわち、モデルによって出力される）との間の誤差を最小化することである。予測されたクラスがグラウンドトゥルースクラスに一致する場合、その予測について誤差が最小化される。モデルの総誤差は、損失関数に従って決定され得、その結果、訓練の目標は、損失関数を最小化することである。損失関数は、損失関数によって計算された誤差メトリックが、モデルの必要な又は所望の精度を表す所定の閾値を下回るとき、あるいは前のエポックからの誤差メトリックの差又は減少率が、損失関数がそれ以上最小化され得ないことを表す所定の閾値を下回るとき、最小化され得る。一実施形態では、アダムオプティマイザとともに、クロスエントロピー損失関数が損失関数として使用され得る。訓練は、例えば、Ｐｙｔｏｒｃｈ又はＴｅｎｓｏｒＦｌｏｗを使用して実施されてもよい。
【0083】
訓練の各反復又は「エポック」に続いて、訓練されたモデルが検証データセット上で検証される。換言すれば、訓練されたモデルは、検証データセット内の特徴ベクトルに入力として適用されて、特徴ベクトルの各々についての予測されたクラスを出力として生成する。次いで、検証データセット内の特徴ベクトルの予測されたクラスと、検証データセット内の特徴ベクトルの注釈によって表されるそれらの対応するグラウンドトゥルースクラスとの間の誤差を表す損失関数が計算され得る。損失関数が最小化されない場合、訓練の別のエポックを実施することができる。換言すれば、モデルは、損失関数が最小化されるまで、訓練データセットに対して（例えば、ニューラルネットワークのニューロン重みを更新することによって）再訓練される。
【0084】
各モデルが訓練され検証されると、モデルを評価することができる。特に、モデルは、グラウンドトゥルースが既知である特徴ベクトルを含む試験データセットに対して評価されてもよい。評価の目標は、モデルが動作に好適であるかどうかを判定することである。評価は、モデルの精度のメトリックを利用して、モデルが評価に合格するか否かを判定することができる。例えば、メトリックが所定の閾値を満たす（例えば、超える）場合、モデルは、評価に合格すると判定され得る。そうではなく、メトリックが所定の閾値を満たさない場合、モデルは評価に合格しないと判定され得る。モデルが評価に合格しない場合、新しい訓練データセットが（例えば、同じアクティビティレコード及び／又は新しいアクティビティレコードから）構築されてもよく、モデルは再訓練されてもよい。
【0085】
特定の実装形態では、マルチクラスＦ１スコアが、モデルの精度のメトリックとして使用された。Ｆ１スコアは、精度（正の予測値としても知られる）及び再現率（感度としても知られる）の関数である。精度は、真陽性の結果の数を、関連するタクソノミーにおける特定のクラスについての全ての陽性結果の数で割ったものであり、再現率は、真陽性の結果の数を、関連するタクソノミーにおける特定のクラスについて陽性として識別されるべきであった全てのデータ点の数で割ったものである。マルチクラスＦ１スコアは、組み合わせ戦略（例えば、マイクロ平均、マクロ平均、加重平均など）に従って、関連するタクソノミーにおけるクラスの各々についてのＦ１スコアを組み合わせることによって計算される。
【0086】
モデルが評価に合格した場合、モデル（例えば、モデル３３６、３４６、３５６、又は３６６）及びそれの関連するパラメータ（例えば、ニューロン重み）は、プロセス３００への展開のために、クラウドサーバを含み得るプラットフォーム１１０上に保存され得る。各モデルは、プロセス３００中に利用するために、メモリ内の共有パス（例えば、データベース１１４）に保存することができる。保存される前に、各モデルは性能のために合理化又は最適化されてもよい。例えば、特定の実装形態では、各モデルはオープンニューラルネットワーク交換（ＯＮＮＸ）ランタイムを介して渡され、これにより、ネイティブモデルが別の形式に変えられ、予測速度が向上する（例えば、予測時間が最大１０倍、平均で３．１倍減少する）。有利には、これは、動作段階中にＧＰＵが不要であり、モデルがよりポータブルであるように、動作段階中にモデルが標準ＣＰＵ上で動作されることを可能にした。特に、この変換プロセスは、モデルがどのように表されるかに影響を及ぼすだけである。それは、モデルの精度に影響を及ぼさず、他の実装形態では省略され得る。
【0087】
開示される実施形態の上記の説明は、当業者が本発明を作成又は使用することを可能にするために提供される。これらの実施形態に対する種々の修正は、当業者には容易に明らかになり、本明細書で説明される一般的な原理は、本発明の趣旨又は範囲から逸脱することなく、他の実施形態に適用され得る。したがって、本明細書に提示される説明及び図面は、本発明の現在好ましい実施形態を表し、したがって、本発明によって広く企図される主題を表すことを理解されたい。本発明の範囲は、当業者に明らかになり得る他の実施形態を完全に包含し、したがって、本発明の範囲は限定されないことが更に理解される。
【0088】
「Ａ、Ｂ、又はＣのうちの少なくとも１つ」、「Ａ、Ｂ、又はＣのうちの１つ以上」、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ以上」、並びに「Ａ、Ｂ、Ｃ、又はそれらの任意の組み合わせ」などの本明細書に説明される組み合わせは、Ａ、Ｂ、及び／又はＣの任意の組み合わせを含み、Ａの倍数、Ｂの倍数、又はＣの倍数を含み得る。具体的には、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」、「Ａ、Ｂ、又はＣのうちの１つ以上」、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ以上」、並びに「Ａ、Ｂ、Ｃ、又はそれらの任意の組み合わせ」などの組み合わせは、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、又はＡ及びＢ及びＣであってもよく、任意のそのような組み合わせは、その構成要素Ａ、Ｂ、及び／又はＣのうちの１つ以上の成員を含有してもよい。例えば、Ａ及びＢの組み合わせは、１つのＡ及び複数のＢ、複数のＡ及び１つのＢ、又は複数のＡ及びＢを含み得る。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【国際調査報告】