特許 7565468 情報処理システム、情報処理方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-02

(45)【発行日】2024-10-10

(54)【発明の名称】情報処理システム、情報処理方法、及びコンピュータプログラム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20241003BHJP

   G06Q 30/0202 20230101ALI20241003BHJP

【ＦＩ】

G06Q30/0601 330

G06Q30/0202

【請求項の数】 5

(21)【出願番号】P 2024050389

(22)【出願日】2024-03-26

【審査請求日】2024-03-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】507009009

【氏名又は名称】株式会社博報堂ＤＹホールディングス

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】藤原 晴雄

【審査官】山田 倍司

(56)【参考文献】

【文献】中国特許出願公開第１１１４２９２３４（ＣＮ，Ａ）

【文献】中国特許出願公開第１１６３６２８３３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４４９３７５５（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１５０６８１４（ＣＮ，Ａ）

【文献】特開２０２４－０１６５２６（ＪＰ，Ａ）

【文献】特表２０２３－５３７８７９（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１１２７１６５（ＣＮ，Ａ）

【文献】中国特許出願公開第１１５５１１５４６（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２２／０２３７６８２（ＵＳ，Ａ１）

【文献】Siamak Zamani et al.，Towards Deeper Understanding of Variational Auto-encoders for Binary Collaborative Filtering，ACM International Conference on Theory of Information Retrieval，2022年，pp.254-263，https://doi.org/10.1145/3539813.3545145

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得するように構成される取得部と、
事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルであって、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルに、前記時系列データを入力することにより、前記消費者が消費又は購入する商品を予測するように構成される予測部と、
を備え、
前記予測モデルは、前記商品集合が多項分布に従うとの仮定に基づくＭｕｌｔ－ＶＡＥ（変分オートエンコーダ）ベース又はＭｕｌｔ－ＤＡＥ（デノイジングオートエンコーダ）ベースの予測モデルである情報処理システム。

【請求項2】

請求項１記載の情報処理システムであって、
前記予測部は、
複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、前記消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、前記対応する時点ｔで第ｖ商品を前記消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、前記埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換し、
前記複数の時点ｔ＝１，…，Ｔの前記埋め込み表現ｈ^０ _ｕ，ｔを、前記トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、前記デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、前記マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得し、
それにより、前記消費者が前記予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測する情報処理システム。

【請求項3】

コンピュータにより実行される情報処理方法であって、
消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得することと、
事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルであって、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルに、前記時系列データを入力することにより、前記消費者が消費又は購入する商品を予測することと、
を含み、
前記予測モデルは、前記商品集合が多項分布に従うとの仮定に基づくＭｕｌｔ－ＶＡＥ（変分オートエンコーダ）ベース又はＭｕｌｔ－ＤＡＥ（デノイジングオートエンコーダ）ベースの予測モデルである情報処理方法。

【請求項4】

請求項３記載の情報処理方法であって、
前記予測することは、
複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、前記消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、前記対応する時点ｔで第ｖ商品を前記消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、前記埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換することと、
前記複数の時点ｔ＝１，…，Ｔの前記埋め込み表現ｈ^０ _ｕ，ｔを、前記トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、前記デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、前記マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得し、それにより、前記消費者が前記予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測することと、
を含む情報処理方法。

【請求項5】

コンピュータに、請求項３又は請求項４記載の情報処理方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

従来、消費者の購買履歴に基づいて、消費者に推薦する商品を選択する技術が知られている（例えば特許文献１参照）。消費者の購買履歴に基づく機械学習により、商品の購入確率を算出する技術も知られている。

【0003】

買い物かご単位、換言すれば１会計当たりの購買商品の集合単位で消費者の購買行動を予測する技術も知られている。この技術によれば、過去に同時購入された商品を分析することにより、購入される確率の高い商品を推薦することが可能である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－４７１５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、買い物かご単位の購買履歴に基づく購買予測であっても、依然として、その予測精度に改善の余地がある。

【0006】

そこで、本開示の一側面によれば、消費者が過去の複数の時点のそれぞれで消費又は購入した商品集合に基づき、消費者が消費又は購入する商品を高精度に予測可能な技術を提供できることが望ましい。

【課題を解決するための手段】

【0007】

本開示の一側面によれば、情報処理システムが提供される。情報処理システムは、取得部と、予測部とを備える。取得部は、消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得するように構成される。予測部は、時系列データに基づいて、消費者が消費又は購入する商品を予測するように構成される。

【0008】

本開示の一側面によれば、予測部は、事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルに、時系列データを入力することにより、消費者が消費又は購入する商品を予測するように構成される。

【0009】

本開示の一側面によれば、予測モデルは、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルである。この情報処理システムによれば、商品集合の時系列データに基づき、商品間の関係、及び、消費又は購買の順序を加味して、消費者が消費又は購入する商品を高精度に予測可能である。

【0010】

本開示の一側面によれば、予測モデルは、変分オートエンコーダ（ＶＡＥ）ベースの予測モデルであり得る。予測部は、上記予測モデルを用いて、消費者が消費又は購入する商品を確率的に予測するように構成され得る。

【0011】

変分オートエンコーダ（ＶＡＥ）ベースの予測モデルによれば、消費者の気分や商品の発見等による偶発的な意思決定による不確実な消費又は購買行動を、確率的な行動として適切に表現することができ、消費者が消費又は購入する商品を高精度に予測可能である。

【0012】

本開示の一側面によれば、予測部は、複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換するように構成され得る。

【0013】

特徴ベクトルｘ_ｕ，ｔは、ｖ＝１からｖ＝Ｖまでの要素ｘ_ｕ，ｔ ^（ｖ）を含む特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、対応する時点ｔで、第ｖ商品を、消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であり得る。

【0014】

予測部はさらに、複数の時点ｔ＝１，…，Ｔの埋め込み表現ｈ^０ _ｕ，ｔを、トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得するように構成され得る。予測部は、それにより、消費者が予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測するように構成され得る。こうした予測手法によれば、消費者が消費又は購入する商品を高精度に予測可能である。

【0015】

本開示の別側面によれば、情報処理方法が提供されてもよい。情報処理方法は、コンピュータによって実行され得る。情報処理方法は、消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得することを含み得る。情報処理方法は、時系列データに基づいて、消費者が消費又は購入する商品を予測することを含み得る。

【0016】

本開示の別側面によれば、予測することは、事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルであって、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルに、時系列データを入力することにより、消費者が消費又は購入する商品を予測することを含み得る。この情報処理方法によっても、情報処理システムと同様に、消費者が消費又は購入する商品を高精度に予測可能である。

【0017】

本開示の別側面によれば、予測モデルは、変分オートエンコーダ（ＶＡＥ）ベースの予測モデルであってもよい。予測することは、消費者が消費又は購入する商品を確率的に予測することを含んでいてもよい。

【0018】

本開示の別側面によれば、予測することは、複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換することを含み得る。

【0019】

特徴ベクトルｘ_ｕ，ｔは、ｖ＝１からｖ＝Ｖまでの要素ｘ_ｕ，ｔ ^（ｖ）を含む特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、対応する時点ｔで第ｖ商品を消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であり得る。

【0020】

本開示の別側面によれば、予測することは、複数の時点ｔ＝１，…，Ｔの埋め込み表現ｈ^０ _ｕ，ｔを、トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得し、それにより、消費者が予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測することを含み得る。

【0021】

本開示のさらに別側面によれば、コンピュータに上述した情報処理方法を少なくとも部分的に実行させるためのコンピュータプログラムが提供され得る。コンピュータプログラムは、コンピュータ読取可能な記録媒体に記録され得る。

【図面の簡単な説明】

【0022】

【図1】情報処理システムの構成を表すブロック図である。

【図2】購買履歴データの構成を表す図である。

【図3】バスケットデータの構成を表す図である。

【図4】予測モデルを用いた予測方法を説明する図である。

【図5】予測モデルの構成を概念的に表す図である。

【図6】トランスフォーマ層の内部構造を概念的に表す図である。

【図7】プロセッサが実行するモデル構築処理を表すフローチャートである。

【図8】プロセッサが実行する予測処理を表すフローチャートである。

【発明を実施するための形態】

【0023】

以下に本開示の例示的実施形態を、図面を参照しながら説明する。
図１に示す本実施形態の情報処理システム１は、消費者の購買履歴から、消費者が購入する商品を予測するためのシステムである。ここでは、一度の会計で購入される商品集合、すなわち会計単位での購買商品の集合のことを、バスケット単位の商品集合という。

【0024】

バスケットは、買い物かごを意味する。バスケット単位は、会計単位と理解されてもよい。購買の例には、コンビニエンスストアやスーパーマーケットなどの実店舗での購買の他、オンラインストアでの購買が含まれる。

【0025】

情報処理システム１は、過去に購入されたバスケット単位の商品集合の時系列を加味して、消費者によって次回購入される可能性の高い商品を予測する。情報処理システム１は、上記予測した商品の購入を、対応する消費者に推薦するように構成される。

【0026】

商品の推薦は、例えばオンラインストアの場合、消費者によるオンラインストアの訪問時に、消費者の情報端末を通じて、お薦め商品を表示することによって行われ得る。別例によれば、商品の推薦は、消費者の情報端末に対して、お薦め商品を紹介するメッセージ（例えば電子メール等）を送信することによって行われ得る。

【0027】

情報処理システム１は、コンピュータシステムに、専用のコンピュータプログラムがインストールされることによって構成される。情報処理システム１は、プロセッサ１１と、メモリ１３と、ストレージ１５と、通信インタフェース１９とを備える。情報処理システム１は、例えば広域ネットワークに接続されたサーバとして構成される。

【0028】

プロセッサ１１は、コンピュータプログラムに従う処理を実行する。メモリ１３は、ＲＡＭを備え、プロセッサ１１による処理実行時に作業領域として使用される。ストレージ１５は、ハードディスクドライブ及び／又はソリッドステートドライブを備え、コンピュータプログラム及び各種データを記憶する。

【0029】

通信インタフェース１９は、外部デバイスと通信可能に構成される。外部デバイスの例は、管理者端末、店舗端末、及び消費者端末が含まれる。管理者端末は、情報処理システム１を管理する管理者の情報端末を含む。

【0030】

店舗端末は、情報処理システム１との通信により得られたお薦め商品の情報を消費者に表示する機能を有する店舗端末であり得る。消費者端末は、消費者がオンラインストアにアクセスして商品購入可能な情報端末であり得る。

【0031】

情報処理システム１は、消費者によって購入される可能性の高い商品を予測するために、複数の消費者に関して、消費者毎の購買履歴データをストレージ１５に記憶する。購買履歴データは、例えば通信インタフェース１９を通じて外部デバイスから提供され、ストレージ１５に格納される。

【0032】

消費者毎の購買履歴データは、図２に示すように、対応する消費者の識別情報である消費者ＩＤに関連付けて、対応する消費者によって購入された商品の集合をバスケット単位かつ時系列で説明するバスケット時系列データを有する。

【0033】

バスケット時系列データは、消費者が複数の時点のそれぞれで購入した商品集合を時系列で説明する時系列データである。バスケット時系列データは、複数のバスケットデータを有する。

【0034】

一つのバスケットデータは、一度の会計での消費者による商品の購買を説明する。バスケットデータのそれぞれは、対応する会計で、対応する消費者が購入した商品集合を説明する。

【0035】

バスケット時系列データは、予測に使用されるバスケットデータとして、最新のバスケットデータを末尾とする所定数のバスケットデータを有する。バスケット時系列データにおいて、これらのバスケットデータは、会計順に配列される。

【0036】

ここでは、予測に使用されるバスケットデータの個数が（Ｔ－１）であることを前提に、（Ｔ－１）個のバスケットデータのうち、最も古いバスケットデータを、時点ｔ＝１のバスケットデータと表現し、最も新しいバスケットデータを、時点ｔ＝Ｔ－１のバスケットデータと表現する。

【0037】

複数のバスケットデータを、最も古いバスケットデータを先頭に時系列で配列したときに、ｔ番目に位置づけられるバスケットデータのことを、以下では、時点ｔのバスケットデータと表現する。

【0038】

情報処理システム１では、時点ｔ＝１から時点ｔ＝Ｔ－１までの（Ｔ－１）個のバスケットデータに基づき、次の購買時点ｔ＝Ｔにおいて、消費者が購入する可能性の高い商品が予測される。

【0039】

バスケットデータのそれぞれは、図３に示すように、複数の商品に関し、商品毎に、商品ＩＤの情報に関連付けて、対応する商品の購買量を説明する情報を有する。バスケットデータのそれぞれは、第１商品から第Ｖ商品までの商品数Ｖの商品に関して、商品毎に、対応する消費者による対応する商品の購買量を説明する。購買量は、購買がないことを値ゼロで示すことによって、購買の有無を表す。本実施形態によれば、購買量は、対応する商品を、対応する消費者が購入したか否かを表す０，１のバイナリ値で表される。

【0040】

以下では、時点ｔにおける第ｖ商品の購買量を表す変数として、ｘ_ｕ，ｔ ^（ｖ）を用いる。インデックスｕは、消費者のインデックスである。以下で表現する購買ｘ_ｕ，ｔ ^（ｖ）は、対応する消費者ｕについての時点ｔのバスケットデータが示す第ｖ商品の購買量を意味する。すなわち、購買ｘ_ｕ，ｔ ^（ｖ）は、時点ｔで第ｖ商品を、対応する消費者ｕが購入したか否かを表す。

【0041】

さらに以下で表現するバスケットｘ_ｕ，ｔは、時点ｔでの消費者の購買に関する特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），ｘ_ｕ，ｔ ^（２），…，ｘ_ｕ，ｔ ^（ｖ），…，ｘ_ｕ，ｔ ^（V）］であり、第１商品から第Ｖ商品までの購買ｘ_ｕ，ｔ ^（ｖ）を要素に有するＶ次元のベクトルである。すなわち、バスケットｘ_ｕ，ｔは、時点ｔの会計において消費者ｕが購入した商品の集合を表す特徴ベクトルである。

【0042】

プロセッサ１１は、消費者の購買商品を予測することが要求された場合、対応する消費者の購入履歴データにおけるバスケット時系列データに基づき、予測モデル２０に対する入力Ｓ_ｕとして、対応する消費者の購買をバスケット単位かつ時系列で表すバスケット列Ｓ_ｕ＝｛ｘ_ｕ，１，ｘ_ｕ，２，…，ｘ_ｕ，ｔ，…，ｘ_{ｕ，Ｔ－１}，ｘ_ｕ，Ｔ｝を生成する。

【0043】

バスケット列Ｓ_ｕは、過去における複数の時点ｔ＝１，…，Ｔ－１での消費者のバスケットｘ_ｕ，１，ｘ_ｕ，２，…，ｘ_{ｕ，ｔ＝Ｔ－１}を要素に有する。バスケット列Ｓ_ｕは、さらに、マスクされたバスケットｘ_{ｕ，ｔ＝Ｔ}を要素に有する。

【0044】

マスクされたバスケットｘ_{ｕ，ｔ＝Ｔ}は、バスケットｘ_ｕ，１，ｘ_ｕ，２，…，ｘ_{ｕ，ｔ＝Ｔ－１}とは異なり、観測された具体的数値がセットされていない、予測対象のバスケットに対応する。マスクされたバスケットｘ_{ｕ，ｔ＝Ｔ}は、マスクトークンに対応する。

【0045】

プロセッサ１１は、図４に示すように、生成したバスケット列Ｓ_ｕを、予測モデル２０に入力することにより、予測対象の時点である次回購買時点ｔ＝Ｔにおける消費者のバスケットｘ_ｕ，Ｔの予測値ｘ^＊ _ｕ，Ｔ＝［ｘ^＊ _ｕ，Ｔ ^（１），ｘ^＊ _ｕ，Ｔ ^（２），…，ｘ^＊ _ｕ，Ｔ ^（ｖ），…，ｘ^＊ _ｕ，Ｔ ^（V）］を算出する。

【0046】

予測値ｘ^＊ _ｕ，Ｔ ^（ｖ）は、第ｖ商品を、時点ｔ＝Ｔにおいて消費者ｕが購入する確率を表す。予測値ｘ^＊ _ｕ，Ｔ ^（ｖ）は、第ｖ商品の購入確率を、値０から値１までの範囲で表す値であると理解されてもよい。

【0047】

予測モデル２０は、変分オートエンコーダ（ＶＡＥ）ベースの予測モデル２０であって、トランスフォーマ構造を備える予測モデル２０である。図５には、予測モデル２０の構造を概念的に示す。予測モデル２０は、特には、Ｍｕｌｔ－ＶＡＥベースの予測モデル２０として構築される。

【0048】

図５に示す予測モデル２０は、ＶＡＥに対応する構造として、埋め込み層２１と、デコーディング層２５とを備える。予測モデル２０は、埋め込み層２１と、デコーディング層２５との間に、複数のトランスフォーマ層２３、換言すれば多段のトランスフォーマ層２３を有する。

【0049】

多段のトランスフォーマ層２３は、第１段のトランスフォーマ層２３から第Ｍ段のトランスフォーマ層２３までを備える。トランスフォーマ（Ｔｒａｎｓｆｏｒｍｅｒ）は、自然言語処理において使用される深層学習モデルの一つとして知られている。

【0050】

予測モデル２０に入力されるバスケット列Ｓ_ｕ＝｛ｘ_ｕ，１，ｘ_ｕ，２，…，ｘ_ｕ，ｔ，…，ｘ_{ｕ，Ｔ－１}，ｘ_ｕ，Ｔ｝の各要素としてのバスケットｘ_ｕ，ｔ（ｔ＝１，…，Ｔ）は、ＢＯＷ（Ｂａｇ－ｏｆ―Ｗｏｒｄｓ）ベクトルに対応する。バスケットｘ_ｕ，ｔは、埋め込み層２１に入力されることにより、埋め込み表現に置換される。

【0051】

本実施形態では、予測モデル２０におけるＭｕｌｔ－ＶＡＥの定式化に際して、消費者のバスケットｘ_ｕ，ｔ∈Ｓ_ｕが、以下の多項分布に従うとの前提を置いている。

【0052】

【数1】

【0053】

ここで、ｚ_ｕ，ｔは、バスケットｘ_ｕ，ｔの潜在ベクトルである。Ｎ（）は、正規分布を表し、Ｍｕｌｔ（）は、多項分布を表す。Ｎ（０，Ｉ）は、標準正規分布を意味している。ｓｏｆｔｍａｘ（）は、ソフトマックス関数である。

【0054】

ｆ_θは、パラメータθによって表現されるＭＬＰ（多層パーセプトロン）の関数表現である。ｆ_θ（ｚ_ｕ，ｔ）は、ＭＬＰによりデコードされた潜在ベクトルｚ_ｕ，ｔに対応する。Ｎ_ｕ，ｔは、対応するバスケットｘ_ｕ，ｔでの購入商品数に対応する。このような定式化によれば、消費者の対数尤度は、次式で表される。

【0055】

【数2】

【0056】

真の事後分布ｐ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）を直接求めることは困難である。本実施形態では、変分下限（ＥＬＢＯ，ｅｖｉｄｅｎｃｅ ｌｏｗｅｒ ｂｏｕｎｄ）を用いて、θが推定される。

【0057】

事後分布ｐ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）に対する近似分布ｑ（ｚ_ｕ，ｔ）が正規分布Ｎ（μ_ｕ，ｔ，σ_ｕ，ｔ）であると仮定すれば、ＥＬＢＯ目的関数は以下の式として定義される。このＥＬＢＯ目的関数を用いて、学習パラメータφを最適化することによれば、分布ｑ_φ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）は、真の事後分布ｐ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）によく近似する。

【0058】

【数3】

【0059】

上式において、Ｅ［］は、期待値を意味し、ＫＬ（）は、カルバックライブラー情報量を意味する。本実施形態によれば、ＫＬ項に正規化項βが導入されている。

【0060】

上述の通り、消費者のバスケットｘ_ｕ，ｔ（ｔ＝１，…，Ｔ）は、事前学習されたＭｕｌｔ－ＶＡＥのエンコーダｇ_φ１によって、初期隠れベクトルに変換される。すなわち、バスケット列Ｓ_ｕ＝｛ｘ_ｕ，１，ｘ_ｕ，２，…，ｘ_ｕ，ｔ，…，ｘ_{ｕ，Ｔ－１}，ｘ_ｕ，Ｔ｝は、埋め込み層２１に入力され、埋め込み層２１において初期隠れベクトル｛ｇ_φ１（ｘ_ｕ，１），ｇ_φ１（ｘ_ｕ，２），…，ｇ_φ１（ｘ_ｕ，ｔ），…，ｇ_φ１（ｘ_{ｕ，Ｔ－１}），ｇ_φ１（ｘ_ｕ，Ｔ）｝に変換される。

【0061】

その後、連結器２７によって、初期隠れベクトル｛ｇ_φ１（ｘ_ｕ，１），ｇ_φ１（ｘ_ｕ，２），…，ｇ_φ１（ｘ_ｕ，ｔ），…，ｇ_φ１（ｘ_{ｕ，Ｔ－１}），ｇ_φ１（ｘ_ｕ，Ｔ）｝には、位置エンコーディングｐ_ｔが連結される。それにより、埋め込み表現としての隠れベクトルｈ^０ _ｕ，ｔ（ｔ＝１，…，Ｔ）が生成される。

【0062】

【数4】

【0063】

位置エンコーディングは、バスケット列の始点ｔ＝１を基準とした絶対的な位置情報を埋め込むこと、又は、その埋め込み位置情報（ｐ_ｔ）に対応する。複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを隠れベクトルｈ^０ _ｕ，ｔ（ｔ＝１，…，Ｔ）に変換することは、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ（ｔ＝１，…，Ｔ）に変換することに対応する。

【0064】

隠れベクトルｈ^０ _ｕ，ｔ（ｔ＝１，…，Ｔ）は、これを含む行列Ｈ^０ _ｕ＝｛ｈ^０ _ｕ，１，ｈ^０ _ｕ，２，…，ｈ^０ _ｕ，ｔ，…，ｈ^０ _ｕ，Ｔ｝にまとめられて、多段構成のトランスフォーマ層２３に入力される。

【0065】

各段のトランスフォーマ層２３は、マルチヘッドトランスフォーマ層であり、図６に示す通り、マルチヘッドセルフアテンション機構２３１、フィードフォワードネットワーク２３３、及び、ＧＥＬＥ活性化関数２３５を含む。

【0066】

ｍ＝１，２，…，Ｍについて、第ｍ－１段のトランスフォーマ層２３の出力Ｈ^ｍ－１ _ｕが、第ｍ段のトランスフォーマ層２３に入力される。第ｍ段のトランスフォーマ層２３の出力Ｈ^ｍ _ｕ＝Ｔｒａｎｓｆｏｒｍｅｒ_φ２（Ｈ^ｍ－１ _ｕ）が、第ｍ＋１段のトランスフォーマ層２３に入力される（ｍ＝Ｍを除く）。φ_２は、トランスフォーマ層２３の学習パラメータに対応する。

【0067】

【数5】

【0068】

Ｈ^０ _ｕを多段のトランスフォーマ層２３に通して得られる最終段である第Ｍ段のトランスフォーマ層２３からの出力Ｈ^Ｍ _ｕ＝｛ｈ^Ｍ _ｕ，１，ｈ^Ｍ _ｕ，２，…，ｈ^Ｍ _ｕ，ｔ，…，ｈ^Ｍ _ｕ，Ｔ｝からは、各時点ｔ（ｔ＝１，…Ｔ）での購買に関する分布を説明する平均及び標準偏差に対応するパラメータμ_φ（ｘ_ｕ，ｔ），σ_φ（ｘ_ｕ，ｔ）が得られ、分布ｑ_φ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）が得られる。

【0069】

分布ｑ_φ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）は、事後分布の近似に対応する。ここで、φ＝φ_１∪φ_２は、埋め込み層２１のパラメータφ_１及びトランスフォーマ層２３のパラメータφ_２の集合を表す。

【0070】

【数6】

【0071】

ｄｉａｇ（）は、主対角上に括弧内のベクトルの要素を有する正方対角行列に対応する。デコーディング層２５は、第Ｍ段のトランスフォーマ層２３からの出力Ｈ^Ｍ _ｕをデコードすることにより、詳細には出力Ｈ^Ｍ _ｕに基づく潜在ベクトルｚ_ｕ，Ｔをデコードすることにより時点ｔ＝Ｔにおけるバスケットｘ_ｕ，Ｔの予測値ｘ^＊ _ｕ，Ｔ＝ｆ_θ（ｚ_ｕ，Ｔ）を算出して出力する。上述した通り、予測値ｘ^＊ _ｕ，Ｔ＝［ｘ^＊ _ｕ，Ｔ ^（１），ｘ^＊ _ｕ，Ｔ ^（２），…，ｘ^＊ _ｕ，Ｔ ^（ｖ），…，ｘ^＊ _ｕ，Ｔ ^（V）］は、時点ｔ＝Ｔにおける各商品の購入確率を表す。

【0072】

本実施形態の予測モデル２０は、ｔ＝Ｔでのバスケットｘ_ｕ，Ｔが観測された学習用のバスケット列Ｓ_ｕを用いて、さらには、ＥＬＢＯ目的関数を用いて、予測モデル２０のパラメータθ，φを最適化することにより、構築される。

【0073】

プロセッサ１１は、予測モデル２０の構築のために、図７に示すモデル構築処理を実行することができる。モデル構築処理において、プロセッサ１１は、学習用データとして、ストレージ１５に記憶された複数の消費者の購買履歴データを取得し、取得した学習用データに基づいて、学習用のバスケット列Ｓ_ｕを生成する（Ｓ１１０）。

【0074】

その後、プロセッサ１１は、学習用のバスケット列Ｓ_ｕを用いて、予測モデル２０のパラメータθ，φを最適化するように学習する（Ｓ１２０）。これにより、予測モデル２０を構築する。

【0075】

予測モデル２０のパラメータθ，φの最適化は、ＥＬＢＯ目的関数を最大化するように行われ得る。プロセッサ１１は、［数３］に示す式を、目的関数として用いて、ｑ_φ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）が真の事後分布ｐ（ｚ_ｕ，ｔ｜ｘ_ｕ，ｔ）の良い近似モデルとなるようパラメータθ，φの学習を行うことができる。

【0076】

Ｓ１２０での処理後、プロセッサ１１は、上記パラメータθ，φの学習値を保存することにより、予測モデル２０を保存する（Ｓ１３０）。プロセッサ１１は、このようにモデル構築処理を実行する。

【0077】

プロセッサ１１はさらに、予測指示が入力されると、図８に示す予測処理を実行する。予測指示は、例えば、消費者がオンラインストアにアクセスしたときに、オンラインストアを管理するサーバから入力され得る。

【0078】

あるいは、予測指示は、消費者が情報端末又は店舗端末を通じて所定のアプリケーションプログラムを操作したときに、情報端末又は店舗端末から入力され得る。あるいは、予測指示は、情報処理システム１内のタイマーから定期的に入力され得る。入力は、通信インタフェース１９を通じた通信により実現され得る。

【0079】

プロセッサ１１は、予測処理を開始すると、予測対象の消費者を判別する（Ｓ２１０）。予測指示には予測対象の消費者を指定する情報が例えば消費者ＩＤの形態で含まれ得る。その後、プロセッサ１１は、判別した消費者の購買履歴データを参照して、バスケット列Ｓ_ｕを生成する（Ｓ２２０）。

【0080】

その後、プロセッサ１１は、パラメータθ，φの学習値をセットした予測モデル２０に、バスケット列Ｓ_ｕを入力することにより、次回購買時点ｔ＝Ｔにおけるバスケットｘ_ｕ，Ｔの予測値ｘ^＊ _ｕ，Ｔを取得する。すなわち、プロセッサ１１は、バスケット列Ｓ_ｕと、予測モデル２０とに基づいて、次回購買時点ｔ＝Ｔにおけるバスケットｘ_ｕ，Ｔの予測値ｘ^＊ _ｕ，Ｔを算出する（Ｓ２３０）。

【0081】

上述した通り、予測値ｘ^＊ _ｕ，Ｔ＝［ｘ^＊ _ｕ，Ｔ ^（１），ｘ^＊ _ｕ，Ｔ ^（２），…，ｘ^＊ _ｕ，Ｔ ^（ｖ），…，ｘ^＊ _ｕ，Ｔ ^（V）］は、ｖ＝１からｖ＝Ｖまでの各商品の購入確率を表す。消費者が購入する商品を予測することは、この予測値ｘ^＊ _ｕ，Ｔを算出すること、換言すれば、各商品の購入確率を算出することに対応する。

【0082】

続くＳ２４０において、プロセッサ１１は、得られた予測値ｘ^＊ _ｕ，Ｔに基づいて、ｖ＝１からｖ＝Ｖまでの商品を、購入確率の高い順にソートする。プロセッサ１１は、購入確率を基準に、複数の商品（ｖ＝１，…，Ｖ）の中から、Ｓ２１０で判別した消費者に対して推薦する商品を、お薦め商品として選択する。これにより、プロセッサ１１は、お薦め商品を決定する。

【0083】

一例によれば、プロセッサ１１は、購入確率の高い順に、所定個の商品を消費者が次回購入する可能性の高い商品と予測し、上記消費者に対するお薦め商品に決定することができる。

【0084】

別例によれば、プロセッサ１１は、購入確率が基準以上の商品群の中から、ランダムで一つ以上の所定個の商品を上記消費者に対するお薦め商品に決定することができる。さらなる別例によれば、プロセッサ１１は、対応する消費者が同時に購入する商品数を統計的に予測して、予測される商品数の商品を、購入確率の高い順に選択することにより、次回購入されるバスケット単位の商品集合を予測し、予測されたバスケット単位の商品集合を、お薦めの商品に決定することができる。

【0085】

続くＳ２５０において、プロセッサ１１は、Ｓ２４０で決定されたお薦め商品を、対応する消費者に推薦するためのリコメンド処理を実行する。リコメンド処理は、例えば、予測指示元に、お薦め商品の情報として、お薦め商品のリストを出力する処理であり得る。予測指示元は、得られたリストに基づいて、消費者の情報端末、又は、消費者が操作する店舗顛末を通じて、消費者に対してお薦め商品の購入を提案することができる。

【0086】

プロセッサ１１は、対応する消費者に対して商品の購入を提案するメッセージを生成して、当該メッセージを、予め登録された消費者の情報端末に送信するための処理を、上記リコメンド処理として実行してもよい。

【0087】

プロセッサ１１は、このようなリコメンド処理を実行することにより、消費者が次回購入する可能性の高い商品の購入を促すように、お薦め商品の購入を消費者に対して提案する。

【0088】

以上に説明した本実施形態の情報処理システム１によれば、ＶＡＥベースの予測モデル２０を用いているため、消費者の不確実な購買行動を確率的に適切に評価して、高精度に、購入可能性の高い商品を予測することができる。

【0089】

本実施形態では特に、位置エンコーティングｐ_ｔを用いることにより、バスケットｘ_ｕ，ｔの時系列、すなわち、商品購買の時系列を考慮して、次回購入される可能性の高い商品を予測することができる。

【0090】

このような購買の時系列を考慮した予測によれば、時系列を考慮せずに、単に消費者が過去に購入した商品の一群に基づき次回購入する商品を予測する技術と比較して、購買の予測精度を高めることが可能である。

【0091】

さらに言えば、本実施形態では、予測モデル２０にトランスフォーマ構造を導入している。トランスフォーマ構造の導入によれば、セルフアテンション機構によって、消費者の長期な購買商品間の相互作用を学習することができて、時間的ダイナミクスを踏まえた購買予測及び推薦を実現することができる。

【0092】

［その他の実施形態］
本開示は、上記実施形態に限定されるものではなく、種々の態様を採ることができる。例えば、上記実施形態では、Ｍｕｌｔ－ＶＡＥベースの予測モデル２０によって、購買予測を行ったが、この予測モデル２０に代えて、デノイジングオートエンコーダ（ＤＡＥ）ベースの予測モデルが用いられてもよい。

【0093】

具体的には、Ｍｕｌｔ－ＤＡＥベースの予測モデルが用いられてもよい。Ｍｕｌｔ－ＤＡＥベースの予測モデルは、バスケット列Ｓ_ｕの潜在表現として、確率モデルが用いられない点を除けば、上述したＭｕｌｔ－ＶＡＥベースの予測モデル２０と同様に構成され得る。十分な学習用データが得られるとき、Ｍｕｌｔ－ＤＡＥベースの予測モデルは、Ｍｕｌｔ－ＶＡＥベースの予測モデル２０に代えて用いられ得る。

【0094】

また、上記実施形態では、予測結果を消費者に対するお薦め商品の紹介に用いる例を説明したが、本開示は、予測結果の用途を限定しない。予測結果は、消費者の未来の購買行動を知ることが有意義な種々のサービスに活用され得る。

【0095】

本開示の技術は、消費行動の予測に用いられてもよい。例えば、情報処理システム１は、購買履歴データに代えて、消費者の消費行動に関する履歴データを備えることができる。履歴データは、消費者が複数の時点のそれぞれで消費した商品集合を時系列で説明する時系列データを備えることができる。プロセッサ１１は、この時系列データに基づいて、上述した購買行動と同じ方式で、消費者が消費する商品を予測することができる。

【0096】

上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【0097】

［本明細書が開示する技術思想］
本明細書には、次の技術思想が開示されていると理解することができる。
［項目１］
消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得するように構成される取得部と、
前記時系列データに基づいて、前記消費者が消費又は購入する商品を予測するように構成される予測部と、
を備え、
前記予測部は、事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルであって、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルに、前記時系列データを入力することにより、前記消費者が消費又は購入する商品を予測する情報処理システム。
［項目２］
項目１記載の情報処理システムであって、
前記予測モデルは、変分オートエンコーダ（ＶＡＥ）ベースの予測モデルであり、
前記予測部は、前記予測モデルを用いて、前記消費者が消費又は購入する商品を確率的に予測する情報処理システム。
［項目３］
項目１又は項目２記載の情報処理システムであって、
前記予測部は、
複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、前記消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、前記対応する時点ｔで第ｖ商品を前記消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、前記埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換し、
前記複数の時点ｔ＝１，…，Ｔの前記埋め込み表現ｈ^０ _ｕ，ｔを、前記トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、前記デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、前記マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得し、
それにより、前記消費者が前記予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測する情報処理システム。
［項目４］
コンピュータにより実行される情報処理方法であって、
消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データを取得することと、
前記時系列データに基づいて、前記消費者が消費又は購入する商品を予測することと、
を含み、
前記予測することは、事前学習されたオートエンコーダ（ＡＥ）ベースの予測モデルであって、埋め込み層とデコーディング層との間に、トランスフォーマ層を有する予測モデルに、前記時系列データを入力することにより、前記消費者が消費又は購入する商品を予測することを含む情報処理方法。
［項目５］
項目４記載の情報処理方法であって、
前記予測モデルは、変分オートエンコーダ（ＶＡＥ）ベースの予測モデルであり、
前記予測することは、前記消費者が消費又は購入する商品を確率的に予測することを含む情報処理方法。
［項目６］
項目４又は項目５記載の情報処理方法であって、
前記予測することは、
複数の時点ｔ＝１，…，Ｔ－１のそれぞれに関する、前記消費者が対応する時点ｔで消費又は購入した商品の集合を示す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］であって、ｖ＝１からｖ＝Ｖまでの各要素ｘ_ｕ，ｔ ^（ｖ）が、前記対応する時点ｔで第ｖ商品を前記消費者が消費又は購入したか否かを表す特徴ベクトルｘ_ｕ，ｔ＝［ｘ_ｕ，ｔ ^（１），…，ｘ_ｕ，ｔ ^（Ｖ）］、さらには、予測対象の時点ｔ＝Ｔに関するマスクされた特徴ベクトルｘ_ｕ，ｔを、前記埋め込み層に入力することによって、複数の時点ｔ＝１，…，Ｔの特徴ベクトルｘ_ｕ，ｔを、事前学習されたエンコーダｇ_φ１及び位置エンコーティングｐ_ｔに基づく埋め込み表現ｈ^０ _ｕ，ｔ＝ｇ_φ１（ｘ_ｕ，ｔ）＋ｐ_ｔに変換することと、
前記複数の時点ｔ＝１，…，Ｔの前記埋め込み表現ｈ^０ _ｕ，ｔを、前記トランスフォーマ層としての多段のトランスフォーマ層に通して得られる、最終段のトランスフォーマ層からの出力を、前記デコーディング層において、事前学習されたデコーダを用いてデコードすることにより、前記マスクされた特徴ベクトルｘ_ｕ，ｔの予測値ｘ^＊ _ｕ，Tを取得し、それにより、前記消費者が前記予測対象の時点ｔ＝Ｔで消費又は購入する商品を予測することと、
を含む情報処理方法。
［項目７］
コンピュータに、項目４又は項目５記載の情報処理方法を実行させるためのコンピュータプログラム。
［項目８］
コンピュータに、項目６記載の情報処理方法を実行させるためのコンピュータプログラム。

【符号の説明】

【0098】

１…情報処理システム、１１…プロセッサ、１３…メモリ、１５…ストレージ、１９…通信インタフェース、２０…予測モデル、２１…埋め込み層、２３…トランスフォーマ層、２５…デコーディング層、２７…連結器。

【要約】

【課題】消費者が消費又は購入する商品を高精度に予測可能な技術を提供する。
【解決手段】消費者が複数の時点のそれぞれで消費又は購入した商品集合を時系列で説明する時系列データが取得される。時系列データに基づいて、消費者が消費又は購入する商品が予測される。事前学習されたオートエンコーダベースの予測モデル２０であって、埋め込み層２１とデコーディング層２５との間に、トランスフォーマ層２３を有する予測モデル２０に、時系列データを入力することにより、消費者が消費又は購入する商品が予測される。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】