特許 7215324 予測プログラム、予測方法及び予測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-23

(45)【発行日】2023-01-31

(54)【発明の名称】予測プログラム、予測方法及び予測装置

(51)【国際特許分類】

   G06Q 30/0241 20230101AFI20230124BHJP

   G06Q 10/04 20230101ALI20230124BHJP

【ＦＩ】

G06Q30/02 396

G06Q10/04

【請求項の数】 6

(21)【出願番号】P 2019093717

(22)【出願日】2019-05-17

(65)【公開番号】P2020187697

(43)【公開日】2020-11-19

【審査請求日】2022-02-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】後藤 啓介

(72)【発明者】

【氏名】浅井 達哉

(72)【発明者】

【氏名】大堀 耕太郎

(72)【発明者】

【氏名】塩田 好伸

【審査官】永野 一郎

(56)【参考文献】

【文献】特開２０１５－１１１３８２（ＪＰ，Ａ）

【文献】特開２０１９－４５８９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０３２７０２９（ＵＳ，Ａ１）

【文献】特開２０１９－５７１８９（ＪＰ，Ａ）

【文献】特開２０１６－１７７５３６（ＪＰ，Ａ）

【文献】特開２０１７－１７３９１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
ユーザの特徴情報とユーザによる商品の購入行動又は前記購入行動につながる所定の行動の有無を示す情報とを対応付けたデータを学習データとして、前記ユーザの特徴情報に応じたユーザの前記購入行動又は前記所定の行動の有無を予測するモデルを生成し、
前記特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付け、
前記入力欄に対応するグループのユーザの特徴情報、前記入力欄に入力された前記予算金額、前記商品の広告ページに対する予測クリック数、前記モデルを用いて算出される前記購入行動又は前記所定の行動の発生率である予測発生率、に基づいて算出される、前記購入行動又は前記所定の行動の発生数である予測発生数を、前記予算金額と対応付けて前記表示部に表示する、
処理を実行させることを特徴とする予測プログラム。

【請求項2】

前記モデルに、前記グループのユーザの特徴情報を入力して得られたユーザの前記購入行動又は前記所定の行動の有無を基に前記予測発生率を計算し、
前記表示する処理は、前記計算する処理によって計算された予測発生率に基づいて算出される予測発生数を表示する、
ことを特徴とする請求項１に記載の予測プログラム。

【請求項3】

前記表示する処理は、
前記広告ページに対するクリック数の実績値に基づく予測クリック数に基づいて算出される予測発生数を表示する、
ことを特徴とする請求項１又は２に記載の予測プログラム。

【請求項4】

前記生成する処理は、前記ユーザの、広告ページへの初回アクセス時から経過時間を含む特徴情報に応じたユーザの前記購入行動又は前記所定の行動の有無を予測するモデルを生成することを特徴とする請求項１から３のいずれか１項に記載の予測プログラム。

【請求項5】

コンピュータが、
ユーザの特徴情報とユーザによる商品の購入行動又は前記購入行動につながる所定の行動の有無を示す情報とを対応付けたデータを学習データとして、前記ユーザの特徴情報に応じたユーザの前記購入行動又は前記所定の行動の有無を予測するモデルを生成し、
前記特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付け、
前記入力欄に対応するグループのユーザの特徴情報、前記入力欄に入力された前記予算金額、前記商品の広告ページに対する予測クリック数、前記モデルを用いて算出される前記購入行動又は前記所定の行動の発生率である予測発生率、に基づいて算出される、前記購入行動又は前記所定の行動の発生数である予測発生数を、前記予算金額と対応付けて前記表示部に表示する、
処理を実行することを特徴とする予測方法。

【請求項6】

ユーザの特徴情報とユーザによる商品の購入行動又は前記購入行動につながる所定の行動の有無を示す情報とを対応付けたデータを学習データとして、前記ユーザの特徴情報に応じたユーザの前記購入行動又は前記所定の行動の有無を予測するモデルを生成する生成部と、
前記特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付ける入力部と、
前記入力欄に対応するグループのユーザの特徴情報、前記入力欄に入力された前記予算金額、前記商品の広告ページに対する予測クリック数、前記モデルを用いて算出される前記購入行動又は前記所定の行動の発生率である予測発生率、に基づいて算出される、前記購入行動又は前記所定の行動の発生数である予測発生数を、前記予算金額と対応付けて前記表示部に表示する表示制御部と、
を有することを特徴とする予測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予測プログラム、予測方法及び予測装置に関する。

【背景技術】

【0002】

従来、広告出稿の最適化を図る技術が知られている。特にデジタルマーケティングにおいては、ログデータの分析結果に基づき、予算配分の最適化が行われる場合がある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－０２８７３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、予算配分の最適化を効率化することが困難な場合があるという問題がある。例えば、従来の手法では、予算配分を行った際に、各広告のＣＶ（conversion：コンバージョン）数の見積もりを得ることが難しく、当該予算配分が最適であるか否かを評価することができない場合がある。

【0005】

１つの側面では、予算配分の最適化を効率化することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様において、予測プログラムは、ユーザの特徴情報とユーザによる商品の購入行動又は購入行動につながる所定の行動の有無を示す情報とを対応付けたデータを学習データとしてモデルを生成する処理をコンピュータに実行させる。モデルは、ユーザの特徴情報に応じたユーザの購入行動又は所定の行動の有無を予測する。予測プログラムは、特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付ける処理をコンピュータに実行させる。予測プログラムは、入力欄に対応するグループのユーザの特徴情報、入力欄に入力された予算金額、商品の広告ページに対する予測クリック数、予測発生率に基づいて算出される予測発生数を予算金額と対応付けて表示部に表示する処理をコンピュータに実行させる。

【発明の効果】

【0007】

１つの側面では、予算配分の最適化を効率化することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１に係る予測装置の機能構成の一例を示す図である。

【図2】図２は、ログデータの一例を示す図である。

【図3】図３は、仮説情報の一例を示す図である。

【図4】図４は、変数情報の一例を示す図である。

【図5】図５は、グループ情報の一例を示す図である。

【図6】図６は、予算配分の周期について説明する説明図である。

【図7】図７は、データの分類について説明する説明図である。

【図8】図８は、学習手法を説明する説明図である。

【図9】図９は、学習手法を説明する説明図である。

【図10】図１０は、変数とデータの関係を説明する説明図である。

【図11】図１１は、仮説の生成を説明する説明図である。

【図12】図１２は、仮説の生成を説明する説明図である。

【図13】図１３は、仮説の生成を説明する説明図である。

【図14】図１４は、生成された仮説の一例を示す説明図である。

【図15】図１５は、ロジスティック回帰による重要度の計算を説明する説明図である。

【図16】図１６は、予測について説明する説明図である。

【図17】図１７は、予測について説明する説明図である。

【図18】図１８は、予測結果表示画面の一例を示す図である。

【図19】図１９は、実施例１に係る予測処理の流れを示すフローチャートである。

【図20】図２０は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本発明に係る予測プログラム、予測方法及び予測装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例1】

【0010】

［機能構成］
図１を用いて、実施例１に係る予測装置の機能構成について説明する。図１は、実施例１に係る予測装置の機能構成の一例を示す図である。図１に示すように、予測装置１０は、通信部１１、入力部１２、出力部１３、記憶部１４及び制御部１５を有する。記憶部１４は、ログデータ１４１、仮説情報１４２、変数情報１４３及びグループ情報１４４を記憶する。

【0011】

ログデータ１４１は、ＣＶ率を導出するためのモデルを訓練するための訓練データとして利用される。このため、例えば、ログデータ１４１は、ユーザの特徴情報とユーザによる商品の購入行動又は購入行動につながる所定の行動の有無を示す情報である。ユーザによる商品の購入行動又は購入行動につながる所定の行動の有無を示す情報は、ユーザが商品に対してＣＶしたか否かを示す情報と言い換えられてもよい。また、ログデータ１４１は、配信された広告ごとのＣＶの実績を表すデータということができる。

【0012】

ここで、ＣＶ（conversion：コンバージョン）とは、マーケティングにおける成果が得られたことを意味する用語である。マーケティングにおける成果とは、例えば、出稿した広告の内容に対応した、商品の購入や購入予約、会員登録、商品に関する問合せ、等の、成果指標となり得る事象である。あるいは、ＣＶ（conversion：コンバージョン）とは商品の購入につながる行動や購入に対する肯定的な動作（の発生）ということもできる。

【0013】

図２は、ログデータの一例を示す図である。図２に示すように、ログデータ１４１は、説明変数として「ユーザＩＤ」、「性別」、「年代」、「アクセス回数」、「広告配信時間帯」、「居住地」を有する。また、ログデータ１４１は、目的変数として「ＣＶ」を有する。目的変数「ＣＶ」は、当該広告のＣＶが発生したか否かを表すものである。例えば、当該広告に対応する製品が購入された場合、又は当該広告に対応する製品の購入ページに遷移した場合にＣＶが発生したとみなされる。

【0014】

例えば、図２の１行目には、ユーザＩＤが「Ｕ００１」であるユーザの性別が「女性」、年代が「若者」、居住地が「首都圏」であり、広告配信時間帯が「午前」であり、アクセス回数が１０回であり、かつＣＶが発生しなかったことが示されている。また、例えば、図２の２行目には、ユーザＩＤが「Ｕ００２」であるユーザの性別が「男性」、年代が「中年」、居住地が「北海道」であり、広告配信時間帯が「午後」であり、アクセス回数が２０回であり、かつＣＶが発生したことが示されている。

【0015】

仮説情報１４２は、目的変数と目的変数に対応する１つ以上の説明変数に関する条件との組み合わせと、重要度とを対応付けた情報である。以降の説明では、仮説情報１４２における組み合わせを、仮説と呼ぶ場合がある。また、重要度の計算方法については後に説明する。

【0016】

図３は、仮説情報の一例を示す図である。仮説はログデータを基に生成される。例えば、図３の１行目には、「性別＝男性∧アクセス回数≧２０回∧居住地＝北海道」の場合にＣＶが発生するという仮説の重要度が２０であることが示されている。なお、仮説に対する重要度は、ＣＶが発生する可能性が高いほど大きくなる。

【0017】

変数情報１４３は、変数ごとの重要度である。図４は、変数情報の一例を示す図である。例えば、図４の１行目には、変数「残予算」の重要度が0.91であることが示されている。変数ごとの重要度は、仮説の重要度と同じ方法で計算されたものであってもよいし、仮説の重要度とは異なる方法で計算されたものであってもよい。例えば、変数ごとの重要度は、ロジスティック回帰等の既知の手法により計算されたものであってもよい。

【0018】

グループ情報１４４は、仮説をグループに分類するための分類条件である。図５は、グループ情報の一例を示す図である。図５に示すように、グループ情報１４４には、「グループＩＤ」及び「分類条件」が含まれる。

【0019】

制御部１５は、生成部１５１、計算部１５２及び表示制御部１５３を有する。生成部１５１は、学習処理を行う。具体的には、生成部１５１は、データに含まれる複数の項目値に関する条件の組み合わせ、すなわち仮説を生成する。生成部１５１は、ログデータ１４１のような、説明変数と目的変数を持つデータから仮説を生成することができる。この場合、生成部１５１は、目的変数と目的変数に対応する１つ以上の説明変数に関する条件との組み合わせを仮説として生成する。

【0020】

ここで、予測装置１０の生成部１５１による学習手法の一例を説明する。予測装置１０は、学習により、仮説と重要度とを組み合わせたモデルを生成する。図８と図９は、学習手法を説明する説明図である。一般的に、深層学習（Deep Learning）は、人間の脳の神経回路の構造を模倣したニューラルネットワークを何層にも重ね、１つのモデルを洗練化することで精度向上を実現するので、人間が理解できない複雑なモデルである。一方、図８に示すように、予測装置１０は、データ項目を組み合わせて大量の仮説を抽出し、仮説（ナレッジチャンク（以下では、単に「チャンク」と記載する場合がある））の重要度を調整し高精度な分類モデルを構築する機械学習（例えば、Wide Learning）を実行する。ナレッジチャンクとは、人間が理解できる単純なモデルであり、入出力の関係として成立する可能性のある仮説を論理的な表現で記載したモデルである。

【0021】

具体的には、予測装置１０は、入力データの全てのデータ項目の組み合わせパターンを仮説（チャンク）とし、各仮説に対する分類ラベルのヒット率で、その仮説の重要度を判断する。そして、予測装置１０は、抽出した複数のナレッジチャンクとラベル（目的変数）に基づきモデルを構築する。この際に、予測装置１０は、ナレッジチャンクを構成する項目が他のナレッジチャンクを構成する項目と重複が多い場合に、重要度が小さくなるように制御する。

【0022】

図９を用いて具体例を説明する。ここでは、ある商品やサービスを購入する顧客を判断したい時の例を考える。顧客データには、「性別」、「免許の有無」、「婚姻」、「年齢」、「年収」等様々な項目がある。これらの項目の全ての組み合わせを仮説とし、各仮説の重要度を考える。例えば、「「男」、「所有」、「既婚」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に１０人いる。この１０人のうち、９人が商品等を購入していれば、「「男」、「所有」、「既婚」の人は購入」というヒット率の高い仮説とし、これをナレッジチャンクとして抽出する。なお、ここでは、例として、商品を購入したか否かを二値で表したものをラベル、すなわち目的変数としている。

【0023】

一方、「「男」、「所有」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に１００人いる。この１００人のうち６０人しか商品等を購入してない場合、購入するヒット率が６０％となり、閾値（例えば８０）未満であることから、「「男」、「所有」の人は購入」というヒット率の低い仮説とし、ナレッジチャンクとして抽出しない。

【0024】

また、「「男」、「未所有」、「未婚」」という項目を組み合わせた仮説に当てはまる顧客がデータの中に２０人いる。この２０人のうち１８人が商品等を未購入の場合、未購入であるヒット率が９０％となり、閾値（例えば８０）以上であることから、「「男」、「未所有」、「未婚」の人は未購入」というヒット率の高い仮説とし、ナレッジチャンクとして抽出する。

【0025】

このようにして、予測装置１０は、購入を支持するナレッジチャンクや未購入を支持するナレッジチャンクを数千万や数億個取り出し、モデルの学習を実行する。このように学習されたモデルは、特徴の組み合わせを仮説（チャンク）として列挙し、各仮説には確からしさを示す尤度の一例である重要度が付加され、入力データに出現する仮説の重要度の総和がスコアとなり、スコアが閾値以上であれば正例と出力する。

【0026】

すなわち、スコアとは、その状態の確からしさを示す指標であり、各モデル生成されるチャンク（仮説）のうち、属する特徴をすべて満たすチャンクの重要度の合算値である。例えば、チャンクＡに「重要度：２０，特徴（Ａ１、Ａ２）」、チャンクＢに「重要度：５，特徴（Ｂ１）」、チャンクＣに「重要度：１０，特徴（Ｃ１、Ｃ２）」が対応付けられている状態で、ユーザログに行動（Ａ１、Ａ２、Ｂ１、Ｃ１）が存在したとする。このとき、チャンクＡとチャンクＢの特徴がすべて出現していることになるので、スコアは「２０＋５＝２５」となる。また、ここでの特徴とは、ユーザの行動等が該当する。

【0027】

図１０から図１４を用いて、生成部１５１による具体的なモデルの生成方法を説明する。図１０は、変数とデータの関係を説明する説明図である。ここで、図１０に示すように、ログデータ１４１の各説明変数に関する条件には、Ａ、Ｂ、Ｃ及びＤの４つがあるものとする。また、Ａの否定を^－Ａ（Ａの直上に－）のように表す。例えば、Ａが「残り予算が存在」という条件を表している場合、^－Ａは、「残り予算が存在しない」という条件を表す。また、例えば、Ｂが「クリック数≧100」という条件を表している場合、^－Ｂは、「クリック数＜100」という条件を表す。

【0028】

また、Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｎ_１、Ｎ_２、Ｎ_３は、ログデータ１４１に含まれるデータであって、目的変数と説明変数の条件とを対応付けたデータを表す。ここでは、Ｐ_ｉは目的変数の値が「上げ」であるデータを表し、Ｐ_ｊは目的変数の値が「下げ」であるデータを表すものとする（ただし、ｉ及びｊは任意の整数）。なお、図２に示すように、ログデータ１４１において、目的変数の値には「上げ」、「下げ」の他に「価格維持」が存在するが、ここでは、目的変数の値が「上げ」又は「下げ」の２種類であるものとして説明する。また、以降説明では、「上げ」を＋、「下げ」を－と表現する場合がある。

【0029】

まず、図１１に示すように、生成部１５１は、Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｎ_１、Ｎ_２、Ｎ_３に含まれる説明変数のそれぞれについて、取り得る値の組み合わせを網羅的に列挙する。図１１は、仮説の生成を説明する説明図である。ここで、取り得る値は、＊（使用しない）、１（使用する）、０（条件の否定を使用する）である。

【0030】

なお、生成部１５１は、組み合わせる説明変数の数が所定の数以下となるように制限してもよい。例えば、生成部１５１は、Ａ～Ｄの４つの説明変数の場合、組み合わせる説明変数の数を２以下とするように制限してもよい。この場合、生成部１５１は、４つの説明変数のうち＊（使用しない）とするものを少なくとも２つ組み合わせる。説明変数の数が増加すると（例えば1000個）、組み合わせの数は爆発的に増加する。このため、制限により、列挙する組み合わせの数の増加を事前に抑止できる。

【0031】

そして、生成部１５１は、列挙した組み合わせがＰ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｎ_１、Ｎ_２、Ｎ_３のいずれであるかを分類し、また、特定の条件を満たす有効な組み合わせであるか否かを判定する。例えば、特定の条件は、説明変数の条件が、ログデータ１４１のデータに合致する回数が所定値以上であることである。この場合、生成部１５１は、条件のうち、データと合致する回数が所定値以上である条件の組み合わせを生成することができる。

【0032】

図１１の例では、生成部１５１は、Ａ～Ｄの４つの説明変数の全てが＊である組み合わせＣ０１、^－Ｃである組み合わせＣ０４、ＣＤ（Ｃ及びＤが１、かつＡ及びＢが＊）である組み合わせＣ０９等を列挙する。

【0033】

図１１に示すように、生成部１５１は、Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｎ_１、Ｎ_２、Ｎ_３の説明変数を基に、組み合わせＣ０１～Ｃ０９のそれぞれに該当するデータを列挙する。例えば、生成部１５１は、組み合わせＣ０２に該当するデータとして、Ｐ_２、Ｎ_１、Ｎ_２を列挙する。この場合、組み合わせＣ０２について列挙されたデータには、目的変数が＋であるデータ（Ｐ_２）と目的変数が－であるデータ（Ｎ_１、Ｎ_２）とが混在している。このため、組み合わせＣ０２は、目的変数が＋であるか－であるかを正しく説明する仮説としての可能性が低い。その結果、生成部１５１は、組み合わせＣ０２を有効な仮説として採用しない。

【0034】

一方、生成部１５１は、組み合わせＣ０８に該当するデータとして、Ｎ_１、Ｎ_２を列挙する。この場合、組み合わせＣ０８について列挙されたデータには、目的変数が－であるデータ（Ｎ_１、Ｎ_２）のみが存在する。このため、生成部１５１は、組み合わせＣ０８を有効な仮説として採用する。

【0035】

また、生成部１５１は、異なる目的変数が混在している場合であっても、混在の割り合いに応じて組み合わせを有効な仮説として採用してもよい。例えば、ある組み合わせに対応するデータの例えば８０％以上の目的変数が＋であれば、生成部１５１は当該組み合わせを有効な仮説として採用するようにしてもよい。

【0036】

また、生成部１５１は、ある組み合わせの特殊ケースに該当する組み合わせを仮説から除外する。例えば、図１１の組み合わせＣ０５及びＣ０６は、組み合わせＣ０４の特殊ケースである。これは、組み合わせＣ０５及びＣ０６が、組み合わせＣ０４にリテラルを付加したものに過ぎないからである。

【0037】

そして、生成部１５１は、図１２に示す組み合わせを仮説として採用する。図１２は、仮説の生成を説明する説明図である。すなわち、生成部１５１は、組み合わせＣ０１、Ｃ０２、Ｃ０３、Ｃ０４ａ、Ｃ０７、Ｃ０８、Ｃ０９を仮説として採用する。なお、組み合わせＣ０４ａは、^－Ｃを満たす組み合わせのうち、Ｃ０４の特殊ケースを省略したものである。

【0038】

図１３は、仮説の生成を説明する説明図である。図１３は、図１１及び図１２の内容をカルノー図で表したものである。図１３に示すように、生成部１５１は、Ａ（Ｂ、Ｃ、Ｄは＊（使用しない））の組み合わせ（Ｓ３１）、^－Ａ（Ｂ、Ｃ、Ｄは＊（使用しない））の組み合わせ（Ｓ３２）…の順に組み合わせを変更して有効な組み合わせを検討する（Ｓ３１～Ｓ３５…）。

【0039】

ここで、Ｓ３３の^－Ｃの組み合わせには、目的変数が＋であるデータ（Ｐ_１、Ｐ_３、Ｐ_４）が該当する。すなわち、Ｓ３３では、＋のクラスに分類されるデータ（Ｐ_１、Ｐ_３、Ｐ_４）の数又は割合が所定の値以上である。よって、生成部１５１は、Ｓ３３の^－Ｃの組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。なお、以下の処理では、^－Ｃにリテラルを加える組み合わせは除外する。

【0040】

次に、生成部１５１は、３つの説明変数を＊（使用しない）とする全ての組み合わせの検討後に、２つの説明変数を＊（使用しない）とする組み合わせの検討を開始する（Ｓ３４）。ここで、Ｓ３５のＡ^－Ｂの組み合わせでは、目的変数が＋である訓練データ（Ｐ_１、Ｐ_２）が該当する。すなわち、Ｓ３５では、＋のクラスに分類される訓練データ（Ｐ_１、Ｐ_２）の数又は割合が所定の値以上である。よって、生成部１５１は、Ｓ３５のＡ^－Ｂの組み合わせを＋のクラスに分類する有効な組み合わせ（仮説）と判定する。

【0041】

図１４は、生成された仮説の一例を示す説明図である。図１４に示すように、生成部１５１は、Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４、Ｎ_１、Ｎ_２、Ｎ_３から、分類結果が＋又は－となる仮説Ｈ１～Ｈ１１を生成し、生成した仮説を仮説情報１４２として記憶部１４に格納する。

【0042】

仮説Ｈ１～Ｈ１１のそれぞれは、各データの分類結果が＋又は－となることについて正しく説明していることを要件とする独立した仮説である。よって、仮説Ｈ２と、仮説Ｈ６のように、相互には矛盾した仮説が存在する場合がある。

【0043】

計算部１５２は、学習済みのモデルを用いて、組み合わせごとの、データにおける共起性の度合いである重要度を計算する。例えば、計算部１５２は、各仮説の重要度をロジスティック回帰により計算する。図１５は、ロジスティック回帰による重要度の計算を説明する説明図である。計算部１５２は、図１５に示すモデル式にログデータ１４１を適用し、最適な係数β_１～β_１１を計算する。計算部１５２は、仮説情報１４２の重要度を計算した係数で更新する。

【0044】

このとき、各仮説の重要度は、ログデータ１４１における共起性が大きいほど大きくなる。また、重要度は、各説明変数の条件が満たされるときの目的変数の尤もらしさということができる。このため、計算部１５２は、組み合わせごとに、条件が満たされることに対する目的変数の尤度を、重要度として計算する。

【0045】

本実施例において、モデルは、グループごとに、テストデータの説明変数から得られるスコアを基に、ＣＶの有無を予測することができる。ここで、ＣＶの有無は、ユーザによる商品の購入行動又は購入行動につながる所定の行動の有無ということができる。例えば、モデルは、スコアがプラスである場合にＣＶが発生する（ＣＶ）と予測し、スコアがマイナスの場合にＣＶが発生しない（ｎｏｔ ＣＶ）と予測する。

【0046】

つまり、生成部１５１は、ユーザの特徴情報とユーザが商品に対してＣＶしたか否かを示す情報とを対応付けたデータを学習データとして、ユーザの特徴情報に応じたユーザのＣＶの有無を予測するモデルを生成する。

【0047】

計算部１５２は、学習済みのモデルを使って、ＣＶの有無及びデータ数から購入行動又は所定の行動の発生率である予測発生率（以降、予測ＣＶ率）、購入行動又は所定の行動の発生数である予測発生数（以降、予測ＣＶ数）を計算する。図１６は、予測について説明する説明図である。図１６に示すように、計算部１５２は、グループ単位のスコアの平均から予測ＣＶ率及び予測ＣＶ数を計算する。さらに、図１７に示すように、計算部１５２は、グループ１と同様に、他のグループについても予測ＣＶ率を計算する。図１７は、予測について説明する説明図である。

【0048】

表示制御部１５３は、入力欄に対応するグループのユーザの特徴情報、入力欄に入力された予算金額、商品の広告ページに対する予測クリック数、モデルを用いて算出される予測ＣＶ率に基づいて算出される予測ＣＶ数を、予算金額と対応付けて表示部に表示する。出力部１３は、表示部の一例である。

【0049】

図１８に示すように、表示制御部１５３は、入力欄、予測クリック数、予測ＣＶ数を予測結果表示画面として表示する。図１８は、予測結果表示画面の一例を示す図である。

【0050】

図１８の予測ＣＶ率は、計算部１５２が学習済みのモデルを用いて計算した値である。計算部１５２は、モデルに、グループのユーザの特徴情報を入力して得られたＣＶの有無を基に予測ＣＶ率を計算する。表示制御部１５３は、計算部１５２によって計算された予測ＣＶ率に基づいて算出される予測ＣＶ数を表示する。例えば、予測ＣＶ数は、例えば、予測クリック数×予測ＣＶ率により計算される。

【0051】

なお、予測クリック数は、実績クリック率及び予算配分から計算される。入力部１２は、特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付ける。そして、表示制御部１５３は、各行に、入力された予算金額に応じた予測クリック数及び予測ＣＶ数を表示する。表示制御部１５３は、予算金額が変更されるたびに、予測クリック数及び予測ＣＶ数を更新して表示する。

【0052】

例えば、図１８の例では、グループ１の実績クリック率は１円あたり「３」である。このため、予算配分が「１０００円」であれば、表示制御部１５３は、「３×１０００」により、予測クリック数を「３０００」と計算する。

【0053】

さらに、表示制御部１５３は、広告ページに対するクリック数の実績値に基づく予測クリック数に基づいて算出される予測ＣＶ数を表示する。例えば、表示制御部１５３は、予測クリック数×予測ＣＶ率を予測ＣＶ数として計算し、表示する。

【0054】

予測結果表示画面は、Ｗｅｂページであってもよいし、表計算ソフトのテーブルであってもよいし、専用のアプリケーションであってもよい。例えば、図１８において予算配分の列の各セルは、ユーザが数値を入力可能なテキストボックスである。また、予算配分以外の列の各セルは、表示のみを行う。

【0055】

例えば、グループ１の予算配分のセルに「１０００」が入力されたタイミング、又は当該セルからカーソルが離れたタイミングで、表示制御部１５３は、予測クリック数に「３０００」を表示し、予測ＣＶ数に「１０００」を表示する。また、グループ４の予算配分のセルは空欄であるため、表示制御部１５３は、グループ４の予測クリック数及び予測ＣＶ数のセルを空欄にしておく。また、予算配分のセルに入力した値が削除された場合、表示制御部１５３は、当該削除されたセルに対応する予測クリック数及び予測ＣＶ数のセルを空欄にする。

【0056】

［処理の流れ］
図１９を用いて、予測装置１０による処理の流れを説明する。図１９は、実施例１に係る抽出処理の流れを示すフローチャートである。図１９に示すように、まず、予測装置１０は、学習データを用いてＣＶ予測モデルを生成する（ステップＳ１０１）。そして、予測装置１０は、モデルを使ってグループごとの予測ＣＶ率を計算する（ステップＳ１０２）。

【0057】

さらに、予測装置１０は、予算配分の入力を受け付ける（ステップＳ１０３）。そして、予測装置１０は、予測クリック数と予測ＣＶ率から求めた予測ＣＶ数を表示する（ステップＳ１０４）。

【0058】

［効果］
これまで説明してきたように、予測装置１０は、ユーザの特徴情報とユーザによる商品の購入行動又は購入行動につながる所定の行動の有無を示す情報とを対応付けたデータを学習データとしてモデルを生成する。モデルは、ユーザの特徴情報に応じたユーザの購入行動又は所定の行動の有無を予測する。予測装置１０は、特徴情報に共通部分を有するユーザのグループと対応付けて表示部に表示された入力欄への予算金額の入力を受け付ける。予測装置１０は、入力欄に対応するグループのユーザの特徴情報、入力欄に入力された予算金額、商品の広告ページに対する予測クリック数、予測発生率に基づいて算出される、予測発生数を、予算金額と対応付けて表示部に表示する。このため、実施例によれば、予算配分に指定に応じてグループごとの予測ＣＶ数を計算し表示するので、予算配分の最適化を効率化することができる。

【0059】

また、予測装置１０は、モデルに、グループのユーザの特徴情報を入力して得られたＣＶの有無を基に予測ＣＶ率を計算する。予測装置１０は、計算した予測ＣＶ率に基づいて算出される予測ＣＶ数を表示する。このように、予測装置１０は、予測ＣＶ数だけでなく、予測ＣＶ率を表示することができる。

【0060】

予測装置１０は、広告ページに対するクリック数の実績値に基づく予測クリック数に基づいて算出される予測ＣＶ数を表示する。これにより、より精度良く予測ＣＶ数を得ることが可能になる。

【0061】

また、説明変数は、図４等に示すものに限られない。例えば、生成部１５１は、ユーザの、広告ページへの初回アクセス時から経過時間を含む特徴情報に応じたユーザのＣＶの有無を予測するモデルを生成する。つまり、説明変数には、広告ページへの初回アクセス日時、広告ページへの２回目以降のアクセス日時、広告ページへのアクセス周期等が含まれていてもよい。これは、例えば、広告ページへの初回アクセスからある程度時間を置いて、再度当該広告ページへアクセスしＣＶに至るユーザが存在するためである。

【0062】

また、表示制御部１５３が表示する項目は、図１８に示すものに限られない。例えば、表示制御部１５３は、図１８の項目のうち、実績ＣＶ率、実績クリック率及び予測ＣＶ率を非表示にしてもよい。また、表示制御部１５３は、図１８の項目に加え、予算１円当たりの予測ＣＶ数の変動率を表示してもよい。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。

【0063】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0064】

［ハードウェア］
図２０は、ハードウェア構成例を説明する図である。図２０に示すように、予測装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２０に示した各部は、バス等で相互に接続される。

【0065】

通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。

【0066】

プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、予測装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、生成部１５１、計算部１５２及び表示制御部１５３と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、生成部１５１、計算部１５２及び表示制御部１５３等と同様の処理を実行するプロセスを実行する。プロセッサ１０ｄは、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等のハードウェア回路である。

【0067】

このように予測装置１０は、プログラムを読み出して実行することで分類方法を実行する情報処理装置として動作する。また、予測装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、予測装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0068】

このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【符号の説明】

【0069】

１０ 予測装置
１１ 通信部
１２ 入力部
１３ 出力部
１４ 記憶部
１５ 制御部
１４１ ログデータ
１４２ 仮説情報
１４３ 変数情報
１４４ グループ情報
１５１ 生成部
１５２ 計算部
１５３ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】