特許 7453191 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-11

(45)【発行日】2024-03-19

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06Q 10/04 20230101AFI20240312BHJP

   G06Q 30/0242 20230101ALI20240312BHJP

【ＦＩ】

G06Q10/04

G06Q30/0242

【請求項の数】 4

(21)【出願番号】P 2021152551

(22)【出願日】2021-09-17

(65)【公開番号】P2023044498

(43)【公開日】2023-03-30

【審査請求日】2022-09-16

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山口 修司

(72)【発明者】

【氏名】坪内 孝太

【審査官】阿部 潤

(56)【参考文献】

【文献】特開２０１６－０３８８２２（ＪＰ，Ａ）

【文献】特開２０１５－０１１６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

ユーザと所定の事象との関連性を推定する推定モデルを用いて、前記所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する選定部と、
前記対象ユーザに対する前記所定の事象に関する情報提示に対して、前記対象ユーザにより実行された行動ごとの成果を特定する特定部と、
前記特定部により特定された行動ごとの成果の内容に基づいて、前記推定モデルの信頼性を評価する評価部と
を備え、
前記特定部は、
前記所定の事象に関連する情報に対する複数のコンバージョン率を特定し、
前記評価部は、
前記複数のコンバージョン率の内容に基づいて、前記推定モデルの信頼性を評価する
ことを特徴とする情報処理装置。

【請求項2】

前記評価部は、
第１の種別のコンバージョン率と、前記第１の種別のコンバージョン率に対応する行動よりも後に行われる行動に対応する第２の種別のコンバージョン率との比較から、前記推定モデルの信頼性を評価する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

コンピュータが実行する情報処理方法であって、
ユーザと所定の事象との関連性を推定する推定モデルを用いて、前記所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する選定工程と、
前記対象ユーザに対する前記所定の事象に関する情報提示に対して、前記対象ユーザにより実行された行動ごとの成果を特定する特定工程と、
前記特定工程により特定された行動ごとの成果の内容に基づいて、前記推定モデルの信頼性を評価する評価工程と
を含み、
前記特定工程は、
前記所定の事象に関連する情報に対する複数のコンバージョン率を特定し、
前記評価工程は、
前記複数のコンバージョン率の内容に基づいて、前記推定モデルの信頼性を評価する
ことを特徴とする情報処理方法。

【請求項4】

コンピュータに、
ユーザと所定の事象との関連性を推定する推定モデルを用いて、前記所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する選定手順と、
前記対象ユーザに対する前記所定の事象に関する情報提示に対して、前記対象ユーザにより実行された行動ごとの成果を特定する特定手順と、
前記特定手順により特定された行動ごとの成果の内容に基づいて、前記推定モデルの信頼性を評価する評価手順と
を実行させ、
前記特定手順は、
前記所定の事象に関連する情報に対する複数のコンバージョン率を特定し、
前記評価手順は、
前記複数のコンバージョン率の内容に基づいて、前記推定モデルの信頼性を評価する
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献１には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７７３７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にＡＢテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。

【0005】

本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確認することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、選定部と、特定部と、評価部とを備える。選定部は、ユーザと所定の事象との関連性を推定する推定モデルを用いて、所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する。特定部は、対象ユーザに対する所定の事象に関する情報提示に対して、対象ユーザにより実行された行動ごとの成果を特定する。評価部は、特定部により特定された行動ごとの成果の内容に基づいて、推定モデルの信頼性を評価する。

【発明の効果】

【0007】

実施形態の態様の１つによれば、生成した情報の信頼性を確認することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理システムの一例を説明する図である。

【図2】図２は、実施形態に係る情報処理の概要を示す図である。

【図3】図３は、実施形態に係る情報処理装置の構成例を示す図である。

【図4】図４は、実施形態に係るユーザ情報の概要を示す図である。

【図5】図５は、実施形態に係る広告履歴の概要を示す図である。

【図6】図６は、実施形態に係る推定モデル情報の概要を示す図である。

【図7】図７は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。

【図8】図８は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

また、以下の説明において、端末装置１０をユーザＵと表記して説明する場合がある。すなわち、ユーザＵを端末装置１０と読み替えることができる。

【0011】

［１．情報処理システム］
図１は、実施形態に係る情報処理システムの一例を説明する図である。図１に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０、及び情報処理装置１００を有する。なお、情報処理システムＳＹＳは、図１に示す例に限られず、複数の端末装置１０や複数の情報処理装置１００を有していてもよい。

【0012】

端末装置１０、及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮ（たとえば、図３参照）に接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網、固定電話網等）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、相互に通信できる。

【0013】

図１に示す端末装置１０は、情報処理装置１００などから提供される各種サービスを利用するユーザＵが使用する情報処理装置である。たとえば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、ＰＤＡ（Personal Digital Assistant）などにより実現される。

【0014】

また、端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続できる。

【0015】

また、端末装置１０は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００などから受け取った場合には、制御情報に従って表示処理を実現する。

【0016】

また、端末装置１０のユーザＵは、各種サービスの利用を通じて、情報処理装置１００に対し、ユーザ情報を提供する。ユーザ情報は、各ユーザＵが入力した検索クエリなどを含む検索履歴や、各ユーザＵの購買履歴や、電子商店街で閲覧した取引対象の履歴や、購入した取引対象の履歴である購買履歴や、閲覧したニュース等のコンテンツの履歴である閲覧履歴や、ＳＮＳ（Social Networking Service）に投稿したテキストや画像等の履歴である投稿履歴や、位置履歴などを含む。また、ユーザ情報は、たとえば、各ユーザＵが保有するスマートフォンを用いて店舗に設置されたＱＲコード（登録商標）を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザＵが保有するスマートフォンにＱＲコードを表示させ、かかるＱＲコードを店舗端末が読み込むことで行われる決済サービスの利用履歴（たとえば、購入日時や購入商品、購入額など）を含んでもよい。また、ユーザ情報は、各ユーザＵが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを含んでもよい。

【0017】

また、ユーザ情報は、収集した情報に基づいて推定された情報を含んでもよい。たとえば、ユーザ情報は、購買履歴から、毎月の食料品の平均的な購入総額が１０万円以上である場合、たとえば、世帯月収若しくは個人月収が３０万円以上であるといった収入や、３人家族であるといった家族構成、もしくは同居人構成などを推定した情報を含んでもよい。また、ユーザ情報は、たとえば、位置履歴や購入履歴から、各ユーザＵが所有する物品や、各ユーザＵの居住地や職場などを推定し、推定した情報を含んでもよい。

【0018】

また、ユーザ情報は、たとえば、情報処理装置１００以外の各種サービスを提供するサーバ装置から、サービスの利用履歴を取得した情報を含んでもよい。また、ユーザ情報は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を含んでもよい。また、ユーザ情報は、各ユーザＵが登録、又は各ユーザＵについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を含んでもよい。

【0019】

また、ユーザ情報は、端末装置１０に搭載される各種センサにより取得されるセンサ情報を含んでもよい。たとえば、センサ情報は、位置センサにより取得される位置情報や、加速度センサにより検出される加速度情報や、ジャイロセンサにより検出される角速度情報や、タッチパネルにより取得される操作情報や、照度センサにより取得される照度情報や、気圧センサにより取得される気圧情報や、マイクにより取得される音情報などを含み得る。

【0020】

図１に示す情報処理装置１００は、サービス利用者である各ユーザＵに対して各種サービスを提供する情報処理装置である。情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。

【0021】

また、情報処理装置１００は、各種サービスの提供を通じて収集したユーザ情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。

【0022】

情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置１００は、各ユーザＵが使用する端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。

【0023】

また、情報処理装置１００は、各種サービスの提供を通じて、各ユーザＵに対して広告を配信する配信装置として機能してもよい。この場合、情報処理装置１００は、各ユーザＵに対して配信した広告に関する広告履歴をユーザＵごとに管理する。なお、情報処理装置１００は、広告の配信を行う他の配信装置と連携してもよい。この場合、情報処理装置１００は、ネットワークを通じて通信可能に接続される他の配信装置から各ユーザＵの広告履歴を取得し、取得した広告履歴をユーザＵごとに管理する。

【0024】

［２．情報処理］
以下、情報処理システムＳＹＳにおける情報処理の一例を説明する。図１に示す例において、情報処理装置１００は、各ユーザＵから収集したユーザ情報を保存する。そして、情報処理装置１００は、ユーザ情報を用いて、複数の推定モデルを生成し、生成した推定モデルを管理する。情報処理装置１００が生成する推定モデルは、各ユーザＵと、ユーザＵの行動や興味嗜好などの所定の事象との関連性を推定するためのモデルである。

【0025】

たとえば、情報処理装置１００は、各ユーザＵの中から、「〇〇を買った」、あるいは「〇〇に興味がある」という条件（タイトル）を満たすシードユーザを収集し、シードユーザが入力した検索クエリの共通性に基づいたスコアを付与したスコアリストを生成する。情報処理装置１００は、このスコアリストを推定モデルとする。具体的には、「眼鏡をかけている」というシードユーザを収集し、検索クエリ：「眼鏡」に「７０点」、検索クエリ：「眼鏡ふき」に「５０点」、検索クエリ：「リンゴ」にスコア「－５０点」といったようなスコアを付与し、検索クエリとスコアとの組であるスコアリストを作成する。

【0026】

上述したシードユーザの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置１００は、購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザを推定することにより、シードユーザを特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者を推定することによりシードユーザを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者を推定することによりシードユーザを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、実際に所定の店舗（たとえば、配信済みの広告と対応する店舗）を利用した利用者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者を推定することによりシードユーザを特定してもよい。

【0027】

また、情報処理装置１００は、上述のスコアリストにおける検索クエリのスコアを、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置１００は、シードユーザが入力した検索クエリを正例とし、ランダムに選択したシードユーザ以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。

【0028】

また、情報処理装置１００は、シードユーザが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザＵの数が多い程、より小さい値（負の値）を出力するようにモデルを学習してもよい。そして、情報処理装置１００は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストをスコアリストとして生成する。すなわち、情報処理装置１００は、所定の行動を行ったシードユーザが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア（検索クエリと所定の行動との間の関係性を示すスコア）との組をスコアリストとして生成する。情報処理装置１００は、生成したスコアリストを、スコアリストにより推定する所定の事象に対応付けて管理する。情報処理装置１００は、シードユーザ収集時の条件（たとえば、「眼鏡をかけている」）をそのまま所定の事象として採用してもよいし、この条件に基づく情報（たとえば、「眼鏡使用」や「眼鏡所有」など）を、スコアリストに対応付ける所定の事象として新規にラベリングしてもよい。

【0029】

なお、情報処理装置１００は、上述したスコアリスト（推定モデル）を用いることにより、所定の事象との関連性を明らかにできる。たとえば、情報処理装置１００は、任意に選定したユーザＵが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。そして、情報処理装置１００は、算出したスコアの合計値が予め規定される閾値を超える場合、スコアリストに対応する事象との関連性が高いと判断する。

【0030】

上述のようにして、複数の推定モデル（スコアリスト）を生成して管理する情報処理装置１００は、生成した推定モデルを用いて、実施形態に係る情報処理を実行する。

【0031】

たとえば、図１に示すように、情報処理装置１００は、上述の推定モデルを用いて、所定の事象との関連性を示す値（スコア）が所定の閾値を超える対象ユーザを選定する（ステップＳ１）。つまり、情報処理装置１００は、各ユーザＵの中から、所定の事象との関連性が高いユーザを特定する。

【0032】

次に、情報処理装置１００は、対象ユーザに対する所定の事象に関する情報提示に対して、対象ユーザにより実行された行動ごとの成果を特定する（ステップＳ２）。たとえば、情報処理装置１００は、所定の事象に関連する広告に対する複数のコンバージョン率を特定する。なお、コンバージョン率は、所定の事象に関連する任意の情報を起点として設定してもよい。たとえば、情報処理装置１００は、広告・検索結果となるウェブページのうち所定のウェブページを見たというコンバージョンの比率や、ＳＮＳの投稿情報のうち所定の投稿情報を再投稿した率など、任意の情報に対する複数のコンバージョンを設定してもよい。

【0033】

コンバージョンは、メール開封や、広告クリックや、ランディングページ滞在や、資料請求や、アンケート回答や、見積依頼や、売却依頼や、商品購入（契約成立）など、広告の内容に対して想定されるユーザＵの複数の行動を含み得る。また、コンバージョン率は、全ての対象ユーザのうち、前述の各種コンバージョンに至ったユーザの割合により与えられる。

【0034】

そして、情報処理装置１００は、特定された行動ごとの成果の内容に基づいて、推定モデルの信頼性を評価する（ステップＳ３）。たとえば、情報処理装置１００は、複数のコンバージョン率の内容に基づいて、推定モデルの信頼性を評価する。

【0035】

以下、実施形態に係る情報処理について具体的に説明する。図２は、実施形態に係る情報処理の概要を示す図である。図２では、所定の事象が「サプリメント利用」である場合の情報処理の概要を示している。また、図２では、複数のコンバージョン率の一例として、メール開封率、資料請求率、及び商品購入率が示されている。

【0036】

図２に示すように、情報処理装置１００は、「サプリメント利用」との関連性を推定する推定モデルとして、サプリメントＡの利用ユーザを推定する推定モデルＡと、サプリメントＢの利用ユーザを推定する推定モデルＢを複数の推定モデルの中から取得する。そして、情報処理装置１００は、推定モデルＡおよび推定モデルＢを用いて、所定の事象：「サプリメント利用」と関連性が高い対象ユーザを特定する（ステップＳ１１）。

【0037】

たとえば、情報処理装置１００は、サプリメントＡを利用しているユーザを推定する推定モデルＡを用いてユーザリストＬＴ＿Ａを生成し、生成したユーザリストＬＴ＿Ａを用いて、「サプリメントＡの利用」と関連性が高い対象ユーザを特定する。具体的には、情報処理装置１００は、任意の各ユーザＵが入力した検索クエリと、推定モデルＡ（スコアリスト）とに基づいて、「サプリメントＡの利用」と各ユーザＵとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザＵを順位付けしたユーザリストＬＴ＿Ａを生成する。そして、情報処理装置１００は、ユーザリストＬＴ＿Ａの上位に位置付けられる各ユーザＵ（たとえば、上位１００位までのユーザ）を、対象ユーザとして選定する。

【0038】

同様に、情報処理装置１００は、任意の各ユーザＵが入力した検索クエリと、推定モデルＢ（スコアリスト）とに基づいて、「サプリメントＢの利用」と各ユーザＵとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザＵを順位付けしたユーザリストＬＴ＿Ｂを生成する。そして、情報処理装置１００は、ユーザリストＬＴ＿Ｂの上位に位置付けられる各ユーザＵ（たとえば、上位１００位までのユーザ）を、対象ユーザとして選定する。

【0039】

続いて、情報処理装置１００は、ステップＳ１１で特定した対象ユーザのユーザ情報を参照して、対象ユーザのコンバージョン情報を取得する（ステップＳ１２）。

【0040】

たとえば、情報処理装置１００は、ユーザリストＬＴ＿Ａから特定した対象ユーザごとに、広告対象が「サプリメントＡ」である広告の広告履歴や、広告履歴に紐づく購買履歴を取得する。そして、情報処理装置１００は、対象ユーザごとに取得した広告履歴や購買履歴を元に、全ての対象ユーザの数を母数とするメール開封率や、資料請求率や、商品購入率をそれぞれ算出し、全ての対象ユーザに関するコンバージョン情報ＣＶ＿Ａを取得する。

【0041】

たとえば、情報処理装置１００は、ユーザリストＬＴ＿Ｂから特定した対象ユーザごとに、広告対象が「サプリメントＢ」である広告の広告履歴や、広告履歴に紐づく購買履歴を取得する。そして、情報処理装置１００は、対象ユーザごとに取得した広告履歴や購買履歴を元に、全ての対象ユーザの数を母数とするメール開封率や、資料請求率や、商品購入率をそれぞれ算出し、全ての対象ユーザに関するコンバージョン情報ＣＶ＿Ｂを取得する。

【0042】

そして、情報処理装置１００は、コンバージョン情報ＣＶ＿Ａに含まれる複数のコンバージョン率の内容と、コンバージョン情報ＣＶ＿Ｂに含まれる複数のコンバージョン率の内容とに基づいて、推定モデルＡおよび推定モデルＢのうち、どちらのモデルの信頼性が高いかを評価する（ステップＳ１３）。

【0043】

たとえば、情報処理装置１００は、第１の種別のコンバージョン率と、第１の種別のコンバージョン率に対応する行動よりも後に行われる行動に対応する第２の種別のコンバージョン率との比較から、推定モデルの信頼性を評価する。第１の種別のコンバージョン率および第２の種別のコンバージョン率には、広告種別に応じた情報が用いられる。図２に示す例を用いて具体的に説明すると、情報処理装置１００は、第１の種別のコンバージョン率として採用するメール開封率と、第２の種別のコンバージョン率として採用する資料請求率および商品購入率との比較から、推定モデルの信頼性を評価する。なお、第１の種別のコンバージョン率と比較する第２の種別のコンバージョン率は、複数である必要はなく、単数であってもよい。

【0044】

図２に示す例において、仮に、推定モデルＡを元にしたコンバージョン情報ＣＶ＿Ａでは、メール開封率が資料請求率および商品購入率よりも大きく、推定モデルＢを元にしたコンバージョン情報ＣＶ＿Ｂでは、メール開封率が資料請求率および商品購入率よりも小さい場合、情報処理装置１００は、推定モデルＢが推定モデルＡよりも信頼性が高いと評価する。つまり、情報処理装置１００は、メール開封よりも後に行われるユーザＵの行動の実行率が高い方が、より所定の事象と関連性が高いユーザＵを捉えていると判断する。

【0045】

上述してきたように、情報処理装置１００は、推定モデルを元に、所定の事象と関連性が高いと判断した対象ユーザの広告に対する行動を追跡することにより、推定モデルにより特定された対象ユーザによる最終的な行動を分析でき、結果として、推定モデルの信頼性を評価できる。このようにして、情報処理装置１００は、生成した情報である推定モデルの信頼性を確認することができる。

【0046】

なお、図２では、情報処理装置１００が、推定モデルＡおよび推定モデルＢの信頼性として、相対的な評価を実行する例を説明したが、推定モデルＡおよび推定モデルＢのそれぞれについて個別の評価を行ってもよい。たとえば、情報処理装置１００は、第１の種別のコンバージョン率よりも、第２の種別のコンバージョン率の方が大きい場合、推定モデルの信頼性は高いと評価する。

【0047】

また、情報処理装置１００は、所定の事象との関連性を推定する推定モデルが３つ以上ある場合、複数の推定モデルについて相対的な評価を行ってもよいし、個別の評価を行ってもよい。

【0048】

また、情報処理装置１００は、所定の事象について、対象ユーザに配信された複数の種別の広告が存在する場合、広告種別ごとにコンバージョン情報（複数のコンバージョン率）を取得し、広告種別ごとに推定モデルの信頼性を評価してもよい。

【0049】

また、情報処理装置１００は、上述した情報処理の一例において、第１の種別のコンバージョン率と、第２の種別のコンバージョン率とが、それぞれ予め規定された所定の基準を満たしているかを判定してもよい。

【0050】

また、情報処理装置１００は、対象ユーザにより実行された行動ごとの成果としてコンバージョン情報を取得する際、全ての対象ユーザの数を母数とするコンバージョン率の代わりに、対象ユーザごとのコンバージョン率を取得してもよい。そして、情報処理装置１００は、対象ユーザごとのコンバージョン率のうち、所定の基準を満たすコンバージョン率を有する対象ユーザの数を、対象ユーザにより実行された行動ごとの成果を示す情報として用いてもよい。

【0051】

また、図２では、広告種別がメール広告である場合、第１の種別のコンバージョン率がメール開封率であり、第２の種別のコンバージョン率が資料請求率および商品購入率であるものとして説明したが、この例には限られず、第１の種別のコンバージョン率および第２の種別のコンバージョン率として広告種別に応じた情報を採用できる。たとえば、広告種別がバナー広告（純広告）やネイティブ広告である場合、第１の種別のコンバージョン率として広告クリック率を採用し、第２の種別のコンバージョン率としてランディングページ滞在率を採用してもよい。

【0052】

また、情報処理装置１００は、所定の事象との関連性を推定する推定モデルが単数である場合、該当の推定モデルについて、第１の種別のコンバージョン率と、第１の種別のコンバージョン率に対応する行動よりも後に行われる行動に対応する第２の種別のコンバージョン率との比較から、推定モデルの信頼性を評価できる。

【0053】

また、情報処理装置１００は、インターネット広告の１つでメール広告の配信を通じて取得される複数のコンバージョン率の内容の比較から、推定モデルの信頼性を評価する例には限られない。たとえば、情報処理装置１００は、ネットワークＮを利用しないマス広告などの情報提示を通じて対象ユーザの情報を取得してもよい。具体的には、情報処理装置１００は、店舗Ｘの商品を紹介するフリーペーパに掲載されたアンケートはがきの対象ユーザの返信率と、対象ユーザの店舗Ｘへの実際の訪問率とに基づいて、店舗Ｘを利用する頻度が高いユーザを推定する推定モデルを評価してもよい。

【0054】

［３．情報処理装置の構成］
図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。

【0055】

図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図３は、情報処理装置１００の構成例を示すものであり、図３に示す形態には限られず、図３に示す以外の他の機能部を備える形態であってもよい。

【0056】

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０などの他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

【0057】

通信部１１０は、端末装置１０から、撮影画像などの情報を受信する。また、通信部１１０は、提案情報を端末装置１０に送信する。

【0058】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部１２０は、制御部１３０の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。

【0059】

図３に示すように、記憶部１２０は、ユーザ情報記憶部１２１と、推定モデル記憶部１２２とを有する。

【0060】

（ユーザ情報記憶部１２１）
ユーザ情報記憶部１２１には、各ユーザから提供されるユーザ情報が任意の形式で記憶されている。図４は、実施形態に係るユーザ情報の概要を示す図である。

【0061】

図４に示すように、ユーザ情報は、「ユーザＩＤ」の項目や、「広告履歴」の項目や、「検索履歴」の項目や、「購買履歴」や、「アクセス履歴」の項目などを有する。ユーザ情報が有するこれらの項目は相互に対応付けられている。

【0062】

「ユーザＩＤ」の項目には、各種サービスの提供に際して、各種サービスを利用するユーザを識別するために、情報処理装置１００によりユーザごとに個別に付与される識別情報が記憶される。「広告履歴」の項目には、各ユーザに対して配信された広告の履歴である広告履歴が記憶される。「検索履歴」の項目には、各ユーザが入力して検索クエリなどの履歴である検索履歴が記憶される。また、「購買履歴」の項目には、各ユーザからユーザ情報として提供される購買の履歴である購買履歴が記憶される。「アクセス履歴」の項目には、各ユーザがアクセスしたコンテンツの履歴であるアクセス履歴が記憶される。

【0063】

たとえば、情報処理装置１００は、各ユーザに対する各種サービスの提供を通じて、上述した各情報を各ユーザから取得し、取得した各情報を各ユーザに付与されている識別情報に対応付けて記憶部１２０に格納することにより、ユーザ情報として保存管理する。なお、情報処理装置１００は、広告を配信する他の装置と連携する場合、各ユーザの広告履歴を取得し、取得した広告履歴を各ユーザに付与されている識別情報に対応付けて記憶部１２０に格納する。

【0064】

以下、図５を用いて、ユーザ情報に含まれる広告履歴の概要を説明する。図５は、実施形態に係る広告履歴の概要を示す図である。図５に示すように、ユーザ情報に含まれる広告履歴は、「広告ＩＤ」や、「広告種別」や、「広告対象」や、「配信日時」などの項目を有する。広告履歴が有するこれらの項目は相互に対応付けられている。

【0065】

「広告ＩＤ」の項目には、広告を識別するための識別情報が記憶される。「広告種別」の項目には、広告の種別を識別するための識別情報が記憶される。実施形態に係る広告は、典型的には、インターネット広告であり、純広告（バナー広告）や、リスティング広告や、メール広告や、ＳＮＳ広告や、アフィリエイト広告や、動画広告や、ネイティブ広告（記事広告）などを含み得る。なお、実施形態に係る広告として、２次元コードやＵＲＬ（Uniformed Resource Locator）などを介してインターネット広告に連動したテレビ広告やラジオ広告、新聞広告などのマス広告や、インターネット広告に連動したチラシやフリーペーパ、イベントプロモーションや店内プロモーションなどのセールスプロモーション広告などが利用されてもよい。

【0066】

「広告対象」の項目には、商品やサービスなどの広告の対象に関する情報が記憶される。「配信日時」の項目には、広告が配信された日時を示す情報が記憶される。

【0067】

たとえば、情報処理装置１００は、オペレータにより設定された所定の事象に関連した商品またはサービスが「広告対象」の項目に記憶されているユーザを特定し、特定した各ユーザの中から対象ユーザを選定できる。

【0068】

（推定モデル記憶部１２２）
推定モデル記憶部１２２には、推定モデルに関する推定モデル情報が任意の形式で記憶されている。図６は、実施形態に係る推定モデル情報の概要を示す図である。

【0069】

図６に示すように、推定モデル情報は、「モデルＩＤ」の項目と、「事象」の項目と、「データ」の項目とを有する。推定モデル情報が有するこれらの項目は相互に対応付けられている。

【0070】

「モデルＩＤ」の項目には、推定モデルを特定するために推定モデルごとに個別に付与されている識別情報が記憶されている。

【0071】

「事象」には、対応付けられている推定モデルにより推定されるユーザの行動や興味嗜好などの内容を示す情報が記憶されている。

【0072】

「データ」の項目には、対応付けられている推定モデルのデータが記憶されている。なお、図６では、「データ」の項目に、「データＡ」や「データＢ」などのような概念的な情報が格納される例を示したが、実際には、推定モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、対応する推定モデルを構成する種々の情報が含まれる。たとえば、推定モデルを構成する個々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれ得る。

【0073】

（制御部１３０）
図３に示す制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。

【0074】

図３に示すように、制御部１３０は、選定部１３１と、特定部１３２と、評価部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

【0075】

（選定部１３１）
選定部１３１は、ユーザと所定の事象との関連性を推定する推定モデルを用いて、所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する。

【0076】

（特定部１３２）
特定部１３２は、対象ユーザに対する所定の事象に関する情報提示に対して、対象ユーザにより実行された行動ごとの成果を特定する。たとえば、特定部１３２は、所定の事象に関連する広告に対する複数のコンバージョン率を特定する。特定部１３２は、特定した複数のコンバージョン率を評価部１３３に受け渡す。

【0077】

（評価部１３３）
評価部１３３は、特定部１３２により特定された行動ごとの成果の内容に基づいて、推定モデルの信頼性を評価する。たとえば、評価部１３３は、複数のコンバージョン率の内容に基づいて、推定モデルの信頼性を評価する。具体的には、評価部１３３は、第１の種別のコンバージョン率と、第１の種別のコンバージョン率に対応する行動よりも後に行われる行動に対応する第２の種別のコンバージョン率との比較から、推定モデルの信頼性を評価する。

【0078】

［４．処理手順］
以下、図７を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図７は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図７に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図７に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

【0079】

図７に示すように、選定部１３１は、ユーザと所定の事象との関連性を推定する推定モデルを用いて、所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する（ステップＳ１０１）。

【0080】

また、特定部１３２は、対象ユーザに対する所定の事象に関する情報提示に対して、対象ユーザにより実行された行動ごとの成果を特定する（ステップＳ１０２）。

【0081】

また、評価部１３３は、特定された行動ごとの成果の内容に基づいて、推定モデルの信頼性を評価する（ステップＳ１０３）。

【0082】

［５．変形例］
上述した情報処理装置１００は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

【0083】

（５－１．評価結果の提示）
上述した実施形態において、情報処理装置１００は、推定モデルの評価結果に関する情報をオペレータに提示してもよい。たとえば、情報処理装置１００は、対象ユーザの選定に用いられた推定モデルの情報や、推定モデルの評価に関する情報をオペレータに提示できる。推定モデルの評価に関する情報は、推定モデルの個別の情報であってもよいし、推定モデル間の相対的な情報であってもよい。

【0084】

（５－２．コンバージョン率に基づく推定モデルの利用）
上述の実施形態において、情報処理装置１００は、所定の事象に関連する広告に対する複数のコンバージョン率を利用して、広告の配信を行ってもよい。たとえば、情報処理装置１００は、配信する広告のメール開封率を上げたい場合、所望のメール開封率を満たしているユーザリストを用いて、広告の配信を行ってもよい。

【0085】

［６．ハードウェア構成］
実施形態に係る情報処理装置１００は、たとえば、図８に示すような構成のコンピュータ１０００によって実現される。図８は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【0086】

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0087】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0088】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

【0089】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0090】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0091】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0092】

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、実施形態に係る情報処理装置１００による処理を実現する。

【0093】

［７．その他］
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0094】

上述の実施形態において、情報処理装置１００による情報処理方法（たとえば、図７参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（選定部１３１、特定部１３２、及び評価部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。

【0095】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部１３０の選定部１３１と特定部１３２とは機能的に統合されていてもよい。

【0096】

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0097】

［８．効果］
上述の実施形態に係る情報処理装置１００は、選定部１３１と、特定部１３２と、評価部１３３とを備える。選定部１３１は、ユーザと所定の事象との関連性を推定する推定モデルを用いて、所定の事象との関連性を示す値が所定の閾値を超える対象ユーザを選定する。特定部１３２は、対象ユーザに対する前記所定の事象に関する情報提示に対して、対象ユーザにより実行された行動ごとの成果を特定する。評価部１３３は、特定部１３２により特定された行動ごとの成果の内容に基づいて、推定モデルの信頼性を評価する。

【0098】

このようなことから、実施形態に係る情報処理装置１００は、推定モデルを元に、所定の事象と関連性が高いと判断した対象ユーザの広告に対する行動を追跡することにより、推定モデルにより特定された対象ユーザによる最終的な行動を分析でき、結果として、推定モデルの信頼性を評価できる。このようにして、情報処理装置１００は、生成した情報である推定モデルの信頼性を確認することができる。

【0099】

また、実施形態に係る情報処理装置１００において、特定部１３２は、所定の事象に関連する広告に対する複数のコンバージョン率を特定し、評価部１３３は、複数のコンバージョン率の内容に基づいて、推定モデルの信頼性を評価する。

【0100】

また、実施形態に係る情報処理装置１００において、評価部１３３は、第１の種別のコンバージョン率と、第１の種別のコンバージョン率に対応する行動よりも後に行われる行動に対応する第２の種別のコンバージョン率との比較から、推定モデルの信頼性を評価する。

【0101】

これらにより、実施形態に係る情報処理装置１００は、対象ユーザに対する広告効果から、推定モデルの信頼性を客観的に評価できる。

【0102】

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0103】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【符号の説明】

【0104】

１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ 推定モデル記憶部
１３０ 制御部
１３１ 選定部
１３２ 特定部
１３３ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】