(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-30
(45)【発行日】2024-08-07
(54)【発明の名称】シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワーク
(51)【国際特許分類】
G06F 16/9035 20190101AFI20240731BHJP
G06Q 30/0251 20230101ALI20240731BHJP
【FI】
G06F16/9035
G06Q30/0251
(21)【出願番号】P 2023513552
(86)(22)【出願日】2021-12-30
(86)【国際出願番号】 CN2021142966
(87)【国際公開番号】W WO2023035506
(87)【国際公開日】2023-03-16
【審査請求日】2023-02-22
(31)【優先権主張番号】202111046834.2
(32)【優先日】2021-09-07
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】523065052
【氏名又は名称】天翼電子商務有限公司
(74)【代理人】
【識別番号】100145470
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】陳心童
(72)【発明者】
【氏名】傅剣文
(72)【発明者】
【氏名】韓弘煬
(72)【発明者】
【氏名】章建森
(72)【発明者】
【氏名】周文彬
【審査官】早川 学
(56)【参考文献】
【文献】特開2021-118000(JP,A)
【文献】中国特許出願公開第112905876(CN,A)
【文献】中国特許出願公開第111768223(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
以下のステップを含むことを特徴とする
コンピューターシステムにユーザーUのクライアント上へシーケンス情報を融合した特徴組み合わせ推薦
を行わせるアルゴリズムフレームワーク。
ユーザUが
前記クライアント上に表示したアイテムE、クリックしたアイテムC(ここで、C∈E)及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報(年齢、性別、地域など)、アイテム特徴情報(カテゴリ、ブランド、店舗など)を保存するS1と、
収集されたログ情報を以下2つのセクションを含む構造化データに整理するS2と、
1)各ユーザーが
前記クライアント上に表示しクリックなし/クリックありのアイテムをクリック時間順にソートし、k個のクリックアイテムを単位として切り取ってサンプルデータを生成する
ためのユーザークリックアイテムのシーケンスデータと、
2)<ユーザー番号、アイテム番号>をサンプル主キーとし、ここで、
前記クライアント上に表示しクリックなしのサンプルは0としてマークされ、
前記クライアント上に表示しクリックありのサンプルは1としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
上記2つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、2つのセクションのデータはそれぞれフレームワークにおける以下2つのサブネットワークに対応するS3と、
1)上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムID及び特徴情報を入力し、embedding層を経て稠密ベクトルにマッピングされ、sum pooling層を経てユーザ
ーの過去の興味好みを示すとともに、ユーザー特徴情報と候補アイテムは
embedding層を経て稠密ベクトルにマッピングされ、前記ユーザ
ーの過去の興味好みと結合して圧縮され、ユーザ情報、ユーザ
ーの過去の興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とsigmoid関数を通じて、ネットワークパラメータをトレーニングし、Loss functionは以下の式で表されるユーザ興味のサブネットワークと、
【数7】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
2)上記クリック分類サンプルデータを使用して、
前記クライアント上に表示した<ユーザ、アイテム>サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有embedding層を経て稠密ベクトルにマッピングされ、伝統的なDNNネットワークを経て特徴組み合わせの交差を実現し、最終的にsigmoid関数を経て分類学習を行い、Loss functionは以下の式で表される特徴組み合わせのサブネットワーク、
【数8】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
上記2つのサブネットワークを本フレームワークにおいて共有embedding層を通じてマッピングし、且つ連合学習を行い、
各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの
過去の興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
学習効果を高めるために、本フレームワークは2つのサブネットワークに対して連合学習を行い、まず、2つのサブネットワークはembeddingマッピング層を共有し、embedding層に興味シーケンス情報とシングルポイント推定情報を融合させ、embedding表徴の正確性を向上させると同時に、最終的なloss層で2つのサブネットワークのlossを以下の式で加重合計するS4と、
【数9】
ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
クリック率の推定とオンラインサービスを行い、
モデルトレーニング時にフレームワークにおける2つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化に
合うとともに、オンライン軽量化配置を実現するS5と、
推定されたユーザが
アイテムに対するクリック確率値を降順にソートし、確率値が最も高いK個
のアイテムをソート結果としてhbaseに格納するS6と、
ユーザーがログインすると、フロントエンドはインタフェースを介してhbaseに格納されているソート結果を取得し、順番に表示するS7。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はインターネット推薦システムの分野に関し、特にシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークに関する。
【背景技術】
【0002】
インターネット推薦システムは、アルゴリズムによってユーザーが興味を持つと思われるアイテムを見つけてユーザーに提示するシステムを指す。それはすでに電子商取引、広告、音声ビデオなどのインターネット製品に不可欠な一部となっている。
【0003】
推薦システムにおけるクリック率の推定は、ユーザの属性、過去の行動、材料の属性などの情報に基づいてユーザが商品をクリックする可能性を判断することを指す。インターネット製品は、クリック率の高いアイテムをユーザーに提示し、ユーザーの転化を促進し、満足度を高め、インターネット製品の新しい活性化を実現する。
【0004】
本願はこのシーンに対して、シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案し、エンドツーエンドのモデルフレームワークを通じて、ユーザーの好みとアイテム特徴をより正確に描写し、推薦システムのクリック率推定の正確性を向上させた。
【発明の概要】
【課題を解決するための手段】
【0005】
本発明が解決しようとする技術的な課題は従来技術の欠陥を克服し、シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案する。
【0006】
上記技術的な課題を解決するために、本発明は以下の技術的手段を提供し、
本発明は、以下のステップを含むシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案し、
ユーザUが露出したアイテムE、クリックしたアイテムC(ここで、C∈E)及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報(年齢、性別、地域など)、アイテム特徴情報(カテゴリ、ブランド、店舗など)を保存するS1と、
収集されたログ情報を以下2つのセクションを含む構造化データに整理するS2と、
1)
図2に示すように、各ユーザーが露出しクリックなし/クリックありのアイテムをクリック時間順にソートし、k個のクリックアイテムを単位として切り取ってサンプルデータを生成するユーザークリックアイテムのシーケンスデータと、
2)<ユーザー番号、アイテム番号>をサンプル主キーとし、ここで、露出しクリックなしのサンプルは0としてマークされ、露出しクリックありのサンプルは1としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
上記2つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、2つのセクションのデータはそれぞれフレームワークにおける以下2つのサブネットワークに対応するS3と、
1)上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムID及び特徴情報を入力し、embedding層を経て稠密ベクトルにマッピングされ、sum pooling層を経てユーザ歴史的な興味好みを示すとともに、ユーザー特徴情報と候補アイテムはe、mbedding層を経て稠密ベクトルにマッピングされ、前記ユーザ歴史的な興味好みと結合して圧縮され、ユーザ情報、ユーザ歴史的な興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とsigmoid関数を通じて、ネットワークパラメータをトレーニングし、
図3に示すように、Loss functionは以下の式で表されるユーザ興味のサブネットワークと、
【0007】
【0008】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
2)上記クリック分類サンプルデータを使用して、露出した<ユーザ、アイテム>サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有embedding層を経て稠密ベクトルにマッピングされ、伝統的なDNNネットワークを経て特徴組み合わせの交差を実現し、最終的にsigmoid関数を経て分類学習を行い、
図4に示すように、Loss functionは以下の式で表される特徴組み合わせのサブネットワーク、
【0009】
【0010】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
図5に示すように、上記2つのサブネットワークを本フレームワークにおいて共有embedding層を通じてマッピングし、且つ連合学習を行い、
各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの歴史的な興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
学習効果を高めるために、本フレームワークは2つのサブネットワークに対して連合学習を行い、まず、2つのサブネットワークはembeddingマッピング層を共有し、embedding層に興味シーケンス情報とシングルポイント推定情報を融合させ、embedding表徴の正確性を向上させると同時に、最終的なloss層で2つのサブネットワークのlossを以下の式で加重合計するS4と、
【0011】
【0012】
ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
クリック率の推定とオンラインサービスを行い、
モデルトレーニング時にフレームワークにおける2つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化によりよく寄り添うとともに、オンライン軽量化配置を実現するS5と、
推定されたユーザが部品に対するクリック確率値を降順にソートし、確率値が最も高いK個アイテムをソート結果としてhbaseに格納するS6と、
ユーザーがログインすると、フロントエンドはインタフェースを介してhbaseに格納されているソート結果を取得し、順番に表示するS7
【発明の効果】
【0013】
従来技術と比較して、本発明の有益な効果は以下の通りであり、
第一に、ユーザー過去のクリックシーケンスにクリック率推定モデルが統合され、ユーザーの興味好みをよりよく捉え、ユーザーの描写精度を効果的に向上させたることと、
第二に、アルゴリズムのフレームワークで、特徴組み合わせのモデル能力を保持すると同時に、ユーザーの興味と結合して、多種類のモデルを通じて表徴マッピング層を共有し、より正確にアイテムの表徴を学習し、さらに推薦モデルの正確性を高めることと、
第三に、モデルトレーニング時に2つのサブネットワークが融合した後に連合学習し、オフラインサービスはフレームワーク全体を使用して推定し、オンラインサービスはユーザー興味のサブネットワークのみを使用して推定し、推薦の正確性を保証しながら軽量化配置を実現する。
【図面の簡単な説明】
【0014】
図面は、本発明のさらなる理解を提供するためのものであり、本発明の実施形態とともに本発明を説明するための明細書の一部を構成するためのものであり、本発明の制限を構成するものではない。図面について、
【
図2】本発明のユーザ-アイテムのインタラクティブシーケンスデータ概略図である。
【
図3】本発明のユーザー興味のサブネットワーク概略図である。
【
図4】本発明の特徴組み合わせのサブネットワーク概略図である。
【発明を実施するための最良の形態】
【0015】
以下、添付図面を使用して本発明の好適な実施形態を説明するが、ここで説明する好適な実施形態は本発明の説明及び説明にのみ用いられ、本発明を限定するために用いられるものではないことを理解すべきである。
【0016】
(実施形態1)
図1-5に示すように、本発明は、以下のステップを含むシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提供し、
ユーザUが露出したアイテムE、クリックしたアイテムC(ここで、C∈E)及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報(年齢、性別、地域など)、アイテム特徴情報(カテゴリ、ブランド、店舗など)を保存するS1と、
収集されたログ情報を以下2つのセクションを含む構造化データに整理するS2と、
3)
図2に示すように、各ユーザーが露出しクリックなし/クリックありのアイテムをクリック時間順にソートし、k個のクリックアイテムを単位として切り取ってサンプルデータを生成するユーザークリックアイテムのシーケンスデータと、
4)<ユーザー番号、アイテム番号>をサンプル主キーとし、ここで、露出しクリックなしのサンプルは0としてマークされ、露出しクリックありのサンプルは1としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
上記2つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、2つのセクションのデータはそれぞれフレームワークにおける以下2つのサブネットワークに対応するS3と、
3)上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムID及び特徴情報を入力し、embedding層を経て稠密ベクトルにマッピングされ、sum pooling層を経てユーザ歴史的な興味好みを示すとともに、ユーザー特徴情報と候補アイテムはe、mbedding層を経て稠密ベクトルにマッピングされ、前記ユーザ歴史的な興味好みと結合して圧縮され、ユーザ情報、ユーザ歴史的な興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とsigmoid関数を通じて、ネットワークパラメータをトレーニングし、
図3に示すように、Loss functionは以下の式で表されるユーザ興味のサブネットワークと、
【0017】
【0018】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
4)上記クリック分類サンプルデータを使用して、露出した<ユーザ、アイテム>サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有embedding層を経て稠密ベクトルにマッピングされ、伝統的なDNNネットワークを経て特徴組み合わせの交差を実現し、最終的にsigmoid関数を経て分類学習を行い、
図4に示すように、Loss functionは以下の式で表される特徴組み合わせのサブネットワーク、
【0019】
【0020】
ここで、nはサンプルの総量であり、yはクリックするかどうかのラベルであり、pは出力層の確率値であり、
図5に示すように、上記2つのサブネットワークを本フレームワークにおいて共有embedding層を通じてマッピングし、且つ連合学習を行い、
各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの歴史的な興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
学習効果を高めるために、本フレームワークは2つのサブネットワークに対して連合学習を行い、まず、2つのサブネットワークはembeddingマッピング層を共有し、embedding層に興味シーケンス情報とシングルポイント推定情報を融合させ、embedding表徴の正確性を向上させると同時に、最終的なloss層で2つのサブネットワークのlossを以下の式で加重合計するS4と、
【0021】
【0022】
ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
クリック率の推定とオンラインサービスを行い、
モデルトレーニング時にフレームワークにおける2つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化によりよく寄り添うとともに、オンライン軽量化配置を実現するS5と、
推定されたユーザが部品に対するクリック確率値を降順にソートし、確率値が最も高いK個アイテムをソート結果としてhbaseに格納するS6と、
ユーザーがログインすると、フロントエンドはインタフェースを介してhbaseに格納されているソート結果を取得し、順番に表示するS7。
【0023】
具体的には、例示的なプロセスは以下のようになり、
1、露出レコードとクリックレコード、及びユーザー特徴とアイテム特徴を含むユーザとアイテムのインタラクティブ情報を収集する。
【0024】
2、インタラクティブレコードから2つの構造化サブデータを生成し、ユーザークリックアイテムのシーケンスデータと、対応するユーザー特徴とアイテム特徴と、露出し未クリックなし/クリックありラベル、およびユーザー特徴、アイテム特徴、ユーザーとアイテムのインタラクティブ特徴と、を含む。
【0025】
3、2つの構造化サブデータを本フレームワークの2つのサブネットワークに入力し、本フレームワークの連合学習方式に基づいてモデル学習を行い、αを0.2に設定する。
【0026】
4、3でトレーニングして得られたembedding表徴と各サブネットワークにおけるパラメータを保存する。
【0027】
5、オフラインサービスの場合、予測されたユーザー及びアイテム特徴を本フレームワークに入力し、ユーザーの物品に対するクリック率の推定値を出力し、オンラインサービスの場合、予測されたユーザ及びアイテム特徴をユーザ興味のネットワークに入力し、更新されたクリック率の推定値を出力する。
【0028】
6、最もクリック率の高いTOP 100アイテムを降順にソートし、最終的なソート結果としてユーザーに提示する。
【0029】
最後に、上述は本発明の好適な実施形態にすぎず、本発明を限定するためには使用されないが、上述の実施形態を参照して本発明を詳細に説明したが、当業者にとっては、上述の各実施形態に記載された技術的態様を修正したり、技術的特徴の一部を同等に置き換えたりすることができる。本発明の精神と原則の中で、行ったいかなる修正、等価置換、改良などは、本発明の保護範囲に含まれるべきである。