特許 7418379 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240112BHJP

   G06Q 10/04 20230101ALI20240112BHJP

【ＦＩ】

G06Q50/10

G06Q10/04

【請求項の数】 7

(21)【出願番号】P 2021150644

(22)【出願日】2021-09-15

(65)【公開番号】P2023043103

(43)【公開日】2023-03-28

【審査請求日】2022-09-16

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山口 修司

(72)【発明者】

【氏名】坪内 孝太

【審査官】松田 岳士

(56)【参考文献】

【文献】特開２０１６－１４６０３９（ＪＰ，Ａ）

【文献】特表２０１２－５１９３３６（ＪＰ，Ａ）

【文献】特開２００３－１２２５７２（ＪＰ，Ａ）

【文献】特開２０１７－１９４７３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストである推定モデルの中から選定した判定対象モデルと、前記推定モデルのうち前記判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する選定部と、
前記判定対象モデルから得られる各ユーザと前記第１の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第１リスト情報と、前記基準モデルから得られる各ユーザと前記第２の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第２リスト情報とを生成する生成部と、
前記第１リスト情報と前記第２リスト情報とを比較し、前記第１リスト情報および前記第２リスト情報の内容が前記第１の事象と前記第２の事象の関係性に応じた内容になっているかどうかに基づいて、前記判定対象モデルの信頼性を評価する評価部と
を備えることを特徴とする情報処理装置。

【請求項2】

前記評価部は、
前記第１の事象と前記第２の事象が正の相関関係を有すると推定される場合、前記第１リスト情報および前記第２リスト情報の内容が類似しているかどうかに基づいて、前記判定対象モデルの信頼性を評価する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記評価部は、
前記第１リスト情報および前記第２リスト情報の時系列の変動内容が類似しているかどうかに基づいて、前記判定対象モデルの信頼性を評価する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記評価部は、
前記第１の事象と前記第２の事象が負の相関関係を有する場合、前記第１リスト情報および前記第２リスト情報の内容が非類似であるかどうかに基づいて、前記判定対象モデルの信頼性を評価する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記評価部は、
前記第１リスト情報および前記第２リスト情報の時系列の変動内容が非類似であるかどうかに基づいて、前記判定対象モデルの信頼性を評価する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

コンピュータが実行する情報処理方法であって、
所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストである推定モデルの中から選定した判定対象モデルと、前記推定モデルのうち前記判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する選定工程と、
前記判定対象モデルから得られる各ユーザと前記第１の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第１リスト情報と、前記基準モデルから得られる各ユーザと前記第２の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第２リスト情報とを生成する生成工程と、
前記第１リスト情報と前記第２リスト情報とを比較し、前記第１リスト情報および前記第２リスト情報の内容が前記第１の事象と前記第２の事象の関係性に応じた内容になっているかどうかに基づいて、前記判定対象モデルの信頼性を評価する評価工程と
を含むことを特徴とする情報処理方法。

【請求項7】

コンピュータに、
所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストである推定モデルの中から選定した判定対象モデルと、前記推定モデルのうち前記判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する選定手順と、
前記判定対象モデルから得られる各ユーザと前記第１の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第１リスト情報と、前記基準モデルから得られる各ユーザと前記第２の事象との関係性を示す値に基づいて前記各ユーザを順位付けして列挙した第２リスト情報とを生成する生成手順と、
前記第１リスト情報と前記第２リスト情報とを比較し、前記第１リスト情報および前記第２リスト情報の内容が前記第１の事象と前記第２の事象の関係性に応じた内容になっているかどうかに基づいて、前記判定対象モデルの信頼性を評価する評価手順と
を実行させることを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献１には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１７７３７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にＡＢテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。

【0005】

本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確かめることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る情報処理装置は、選定部と、生成部と、評価部とを備える。選定部は、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する。生成部は、判定対象モデルから得られる各ユーザと第１の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第１リスト情報と、基準モデルから得られる各ユーザと第２の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第２リスト情報とを生成する。評価部は、第１リスト情報と第２リスト情報とを比較し、第１リスト情報および第２リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかに基づいて、判定対象モデルの信頼性を評価する。

【発明の効果】

【0007】

実施形態の態様の１つによれば、生成した情報の信頼性を確かめることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る情報処理システムの一例を説明する図である。

【図2】図２は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その１）を示す図である。

【図3】図３は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その２）を示す図である。

【図4】図４は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その３）を示す図である。

【図5】図５は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その４）を示す図である。

【図6】図６は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その５）を示す図である。

【図7】図７は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その６）を示す図である。

【図8】図８は、実施形態に係る情報処理装置の構成例を示す図である。

【図9】図９は、実施形態に係るユーザ情報の概要を示す図である。

【図10】図１０は、実施形態に係る推定モデル情報の概要を示す図である。

【図11】図１１は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。

【図12】図１２は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

また、以下の説明において、端末装置１０をユーザＵと表記して説明する場合がある。すなわち、ユーザＵを端末装置１０と読み替えることができる。

【0011】

［１．情報処理システム］
図１は、実施形態に係る情報処理システムの一例を説明する図である。図１に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０、及び情報処理装置１００を有する。なお、情報処理システムＳＹＳは、図１に示す例に限られず、複数の端末装置１０や複数の情報処理装置１００を有していてもよい。

【0012】

端末装置１０、及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮ（たとえば、図８参照）に接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網、固定電話網等）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、相互に通信できる。

【0013】

図１に示す端末装置１０は、情報処理装置１００などから提供される各種サービスを利用するユーザＵが使用する情報処理装置である。たとえば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、ＰＤＡ（Personal Digital Assistant）などにより実現される。

【0014】

また、端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続できる。

【0015】

また、端末装置１０は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００などから受け取った場合には、制御情報に従って表示処理を実現する。

【0016】

また、端末装置１０のユーザＵは、各種サービスの利用を通じて、情報処理装置１００に対し、ユーザ情報を提供する。ユーザ情報は、各ユーザＵが入力した検索クエリなどを含む検索履歴や、各ユーザＵの購買履歴や、電子商店街で閲覧した取引対象の履歴や、購入した取引対象の履歴である購買履歴や、閲覧したニュース等のコンテンツの履歴である閲覧履歴や、ＳＮＳ（Social Networking Service）に投稿したテキストや画像等の履歴である投稿履歴や、位置履歴などを含む。また、ユーザ情報は、たとえば、各ユーザＵが保有するスマートフォンを用いて店舗に設置されたＱＲコード（登録商標）を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザＵが保有するスマートフォンにＱＲコードを表示させ、かかるＱＲコードを店舗端末が読み込むことで行われる決済サービスの利用履歴（たとえば、購入日時や購入商品、購入額など）を含んでもよい。また、ユーザ情報は、各ユーザＵが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを含んでもよい。

【0017】

また、ユーザ情報は、収集した情報に基づいて推定された情報を含んでもよい。たとえば、ユーザ情報は、購買履歴から、毎月の食料品の平均的な購入総額が１０万円以上である場合、たとえば、世帯月収若しくは個人月収が３０万円以上であるといった収入や、３人家族であるといった家族構成、もしくは同居人構成などを推定した情報を含んでもよい。また、ユーザ情報は、たとえば、位置履歴や購入履歴から、各ユーザＵが所有する物品や、各ユーザＵの居住地や職場などを推定し、推定した情報を含んでもよい。

【0018】

また、ユーザ情報は、たとえば、情報処理装置１００以外の各種サービスを提供するサーバ装置から、サービスの利用履歴を取得した情報を含んでもよい。また、ユーザ情報は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を含んでもよい。また、ユーザ情報は、各ユーザＵが登録、又は各ユーザＵについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を含んでもよい。

【0019】

また、ユーザ情報は、端末装置１０に搭載される各種センサにより取得されるセンサ情報を含んでもよい。たとえば、センサ情報は、位置センサにより取得される位置情報や、加速度センサにより検出される加速度情報や、ジャイロセンサにより検出される角速度情報や、タッチパネルにより取得される操作情報や、照度センサにより取得される照度情報や、気圧センサにより取得される気圧情報や、マイクにより取得される音情報などを含み得る。

【0020】

図１に示す情報処理装置１００は、サービス利用者である各ユーザＵに対して各種サービスを提供する情報処理装置である。情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。

【0021】

また、情報処理装置１００は、各種サービスの提供を通じて収集したユーザ情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。

【0022】

情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置１００は、各ユーザＵが使用する端末装置１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。

【0023】

［２．情報処理］
以下、情報処理システムＳＹＳにおける情報処理の一例を説明する。図１に示す例において、情報処理装置１００は、各ユーザＵから収集したユーザ情報を保存する。そして、情報処理装置１００は、ユーザ情報を用いて、複数の推定モデルを生成し、生成した推定モデルを管理する。情報処理装置１００が生成する推定モデルは、各ユーザＵのユーザ情報に基づいて、ユーザＵの行動や興味嗜好などの事象との関連性を推定するためのモデルである。

【0024】

たとえば、情報処理装置１００は、「〇〇を買った」、あるいは「〇〇に興味がある」という条件（タイトル）を満たす各ユーザＵをシードユーザとして収集し、シードユーザが入力した検索クエリの共通性に基づいたスコアを付与したスコアリストを生成する。情報処理装置１００は、このスコアリストを推定モデルとする。具体的には、「眼鏡をかけている」というシードユーザを収集し、検索クエリ：「眼鏡」に「７０点」、検索クエリ：「眼鏡ふき」に「５０点」、検索クエリ：「リンゴ」にスコア「－５０点」といったようなスコアを付与し、検索クエリとスコアとの組であるスコアリストを作成する。

【0025】

上述したシードユーザの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置１００は、購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザを推定し、シードユーザとして特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者を推定することによりシードユーザを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者を推定することによりシードユーザを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、実際に所定の店舗（たとえば、配信済みの広告と対応する店舗）を利用した利用者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者を推定することによりシードユーザを特定してもよい。

【0026】

また、情報処理装置１００は、上述のスコアリストにおける検索クエリのスコアを、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置１００は、シードユーザが入力した検索クエリを正例とし、ランダムに選択したシードユーザ以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。

【0027】

また、情報処理装置１００は、シードユーザが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザＵの数が多い程、より小さい値（負の値）を出力するようにモデルを学習してもよい。そして、情報処理装置１００は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストをスコアリストとして生成する。すなわち、情報処理装置１００は、所定の行動を行ったシードユーザが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア（検索クエリと所定の行動との間の関係性を示すスコア）との組をスコアリストとして生成する。情報処理装置１００は、生成したスコアリストを、スコアリストにより推定する事象に対応付けて管理する。情報処理装置１００は、シードユーザ収集時の条件（たとえば、「眼鏡をかけている」）をそのまま事象として採用してもよいし、この条件に基づく情報（たとえば、「眼鏡使用」や「眼鏡所有」など）を、スコアリストに対応付ける事象として新規にラベリングしてもよい。

【0028】

なお、情報処理装置１００は、上述したスコアリストを用いることにより、所定の事象との関連度を求めることができる。たとえば、情報処理装置１００は、任意に選定したユーザＵが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。そして、情報処理装置１００は、算出したスコアの合計値が予め規定される閾値を超える場合、スコアリストに対応する事象との関連度が高いと判断する。

【0029】

上述のようにして、複数の推定モデル（スコアリスト）を生成して管理する情報処理装置１００は、複数の推定モデルの中から、基準モデルを選定する（ステップＳ１）。基準モデルは、情報処理装置１００が管理する複数の推定モデルのうち、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たすモデルである。

【0030】

たとえば、情報処理装置１００は、複数の推定モデルの中から選定した判定対象モデルが推定する第１の事象を特定し、特定した第１の事象と関連性を有する第２の事象を特定する。具体的には、情報処理装置１００は、Ｗｏｒｄ２Ｖｅｃなどの自然言語処理手法を用いて、各推定モデルが推定する事象を示す文字列（ラベル）の特徴量をそれぞれ導出する。そして、情報処理装置１００は、導出した特徴量を元に、判定対象モデルが推定する第１の事象と特徴量が類似する第２の事象を特定する。あるいは、情報処理装置１００は、導出した特徴量を元に、判定対象モデルが推定する第１の事象と特徴量が類似しない第２の事象を特定する。このように、情報処理装置１００は、第１の事象と何らかの関連性を有する第２の事象を特定できる。すなわち、情報処理装置１００は、判定対象モデルが推定する第１の事象の特徴量と、基準モデルが推定する第２の事象の特徴量とが類似する場合、第１の事象と第２の事象との間に正の相関関係があるものと推定する。あるいは、情報処理装置１００は、判定対象モデルが推定する第１の事象の特徴量と、基準モデルが推定する第２の事象の特徴量とが類似しない場合、第１の事象と第２の事象との間に負の相関関係があるものと推定する。

【0031】

第２の事象を特定後、情報処理装置１００は、特定した第２の事象を推定する推定モデル（スコアリスト）の中から、推定の精度が所定の基準を満たすモデルを取得する。たとえば、情報処理装置１００は、特定した第２の事象を推定する推定モデルを元に、後述するユーザリストを生成する。続いて、情報処理装置１００は、生成したユーザリストを用いて、ユーザリストに対応する第２の事象に関する広告の配信を行い、広告配信の効果を測定する。そして、情報処理装置１００は、測定結果が所定の基準を満たすユーザリストの元となった推定モデル（スコアリスト）を基準モデルとして選定する。なお、判定対象モデルは、情報処理装置１００のオペレータが任意に選定できる。

【0032】

次に、情報処理装置１００は、判定対象モデルから得られる各ユーザと第１の事象との関係性を示す値に基づいて、各ユーザＵを順位付けして列挙した第１リスト情報（ユーザリスト）を生成する（ステップＳ２）。

【0033】

たとえば、情報処理装置１００は、第１の事象に関連する各ユーザＵが入力した検索クエリと、スコアリストとに基づいて、第１の事象と各ユーザＵとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザＵを順位付けした第１リスト情報（ユーザリスト）を生成できる。

【0034】

具体的には、情報処理装置１００は、第１の事象に関連する各ユーザを選定し、選定した各ユーザＵが入力した検索クエリと対応付けられたスコアをスコアリストから特定する。なお、情報処理装置１００は、各ユーザＵを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、情報処理装置１００は、特定したスコアの合計から、第１の事象と、各ユーザＵとの間の関係性を示すユーザリストを導出する。たとえば、ユーザリストにおいて、第１の事象と関係性が高いユーザＵはスコアが高く、所定の行動と関係性が低いユーザＵはスコアが低くなる。

【0035】

以下、情報処理装置１００による第１リスト情報（ユーザリスト）の生成方法の一例を説明する。情報処理装置１００は、シードユーザを含む各ユーザＵが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザＵが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。

【0036】

次に、情報処理装置１００は、各ユーザＵについてスコアの合計値を計算した後、スコアの高い順に各ユーザＵを順位付けするとともに、順位順に各ユーザＵが入力した検索クエリを対応付けることにより、ユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザＵが、第１の事象との関連性が強いかを示すリストとして機能する。このユーザリストは、第１の事象と検索クエリとの関連性の分析や、ユーザＵの分析などに用いられる。

【0037】

また、情報処理装置１００は、基準モデルから得られる各ユーザＵと第２の事象との関係性を示す値に基づいて、各ユーザＵを順位付けして列挙した第２リスト情報（ユーザリスト）を生成する（ステップＳ３）。

【0038】

たとえば、情報処理装置１００は、第２の事象に関連する各ユーザＵが入力した検索クエリと、スコアリストとに基づいて、第２の事象と各ユーザＵとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザＵを順位付けした第２リスト情報（ユーザリスト）を生成できる。なお、第２リスト情報の生成方法については、上述した第１リスト情報の生成方法と同様である。

【0039】

そして、情報処理装置１００は、第１リスト情報および第２リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかに基づいて、判定対象モデルの信頼性を評価する（ステップＳ４）。以下、図２～図７を用いて、判定対象モデルの信頼性の評価方法について説明する。

【0040】

図２は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その１）を示す図である。なお、以下に示す図２～図４では、第１の事象である「しゃぶしゃぶ派」と第２の事象である「焼肉派」が正の相関関係を有すると推定される場合の評価方法の一例を示している。なお、「しゃぶしゃぶ派」とは、肉料理の中でしゃぶしゃぶを好む傾向にあるユーザＵを示しており、「焼肉派」とは、肉料理の中で焼肉を好む傾向にあるユーザＵを示している。

【0041】

情報処理装置１００は、判定対象モデルとして選定した「しゃぶしゃぶ派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１－ａａを生成する。また、情報処理装置１００は、基準モデルとして選定した「焼肉派」の推定モデル（スコアリスト）を元に、第２リスト情報であるユーザリストＬ２－ａを生成する。

【0042】

そして、図２に示すように、情報処理装置１００は、ユーザリストＬ１－ａａとユーザリストＬ２－ａとを比較し、ユーザリストＬ１－ａａおよびユーザリストＬ２－ａの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。たとえば、図２に示す例では、第１の事象である「しゃぶしゃぶ派」と、第２の事象である「焼肉派」は正の相関関係を有していると推定されている。このような場合、情報処理装置１００は、第１リスト情報および第２リスト情報の内容が類似しているかどうかに基づいて、判定対象モデルの信頼性を評価できる。

【0043】

具体的には、情報処理装置１００は、ユーザリストＬ１－ａａとユーザリストＬ２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつユーザリストＬ１－ａａとユーザリストＬ２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２以上であるという条件を満たすか否かを判定する。そして、情報処理装置１００は、ユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつ検索クエリの一致率が閾値ＴＨ－２以上であると判定した場合、判定対象モデルとして選定した「しゃぶしゃぶ派」の推定モデル（スコアリスト）の信頼性が高いと評価する。

【0044】

なお、情報処理装置１００は、ユーザＩＤの一致率および検索クエリの一致率を判定する際、上位１００位以内などのように上位に位置付けられたユーザＩＤおよび検索クエリについて一致率を判定してもよい。

【0045】

図３は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その２）を示す図である。図３は、図２に示す例と同様に、第１の事象である「しゃぶしゃぶ派」と第２の事象である「焼肉派」が正の相関関係を有すると推定される場合の評価方法の一例を示しているが、第１リスト情報であるユーザリストＬ１－ａｂの内容が図２に示す例とは相違する。

【0046】

たとえば、情報処理装置１００は、ユーザリストＬ１－ａｂとユーザリストＬ２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつユーザリストＬ１－ａｂとユーザリストＬ２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２以上であるという条件を満たすか否かを判定する。そして、情報処理装置１００は、前述の条件を満たしていないと判定した場合、つまり、図３に示すように、ユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつ検索クエリの一致率が閾値ＴＨ－２未満であると判定した場合、判定対象モデルとして選定した「しゃぶしゃぶ派」の推定モデル（スコアリスト）の信頼性が低いと評価する。

【0047】

また、情報処理装置１００は、第１の事象と第２の事象が正の相関関係を有すると推定される場合、第１リスト情報および第２リスト情報の時系列の変動内容が類似しているかどうかに基づいて、判定対象モデルの信頼性を評価してもよい。図４は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その３）を示す図である。

【0048】

まず、情報処理装置１００は、判定対象モデルとして選定した「しゃぶしゃぶ派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１－ａａを生成する。さらに、情報処理装置１００は、時間Ｔが経過した後の「しゃぶしゃぶ派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１－ｂを生成する。

【0049】

また、情報処理装置１００は、基準モデルとして選定した「焼肉派」の推定モデル（スコアリスト）を元に、第２リスト情報であるユーザリストＬ２－ａを生成する。さらに、情報処理装置１００は、時間Ｔが経過した後の「焼肉派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ２－ｂを生成する。

【0050】

そして、図４に示すように、情報処理装置１００は、ユーザリストＬ１－ａａとユーザリストＬ２－ａとを比較し、ユーザリストＬ１－ａａおよびユーザリストＬ２－ａの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。さらに、情報処理装置１００は、ユーザリストＬ１－ｂとユーザリストＬ２－ｂとを比較し、ユーザリストＬ１－ｂおよびユーザリストＬ２－ｂの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。

【0051】

たとえば、図４に示す例では、第１の事象である「しゃぶしゃぶ派」と、第２の事象である「焼肉派」は、正の相関関係を有すると推定されている。そこで、情報処理装置１００は、ユーザリストＬ１－ａａとユーザリストＬ２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつユーザリストＬ１－ａａとユーザリストＬ２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２以上であるという条件を満たすか否かを判定する。さらに、情報処理装置１００は、ユーザリストＬ１－ｂとユーザリストＬ２－ｂに含まれるユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつユーザリストＬ１－ｂとユーザリストＬ２－ｂに含まれる検索クエリの一致率が閾値ＴＨ－２以上であるという条件を満たすか否かを判定する。

【0052】

そして、情報処理装置１００は、時間Ｔが経過する前後において、ユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつ検索クエリの一致率が閾値ＴＨ－２以上であるという条件を満たしていると判定した場合、判定対象モデルとして選定した「しゃぶしゃぶ派」の推定モデル（スコアリスト）の信頼性が高いと評価する。

【0053】

図５は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その４）を示す図である。なお、以下に示す図５～図７では、第１の事象である「外食派」と第２の事象である「自炊派」が負の相関関係を有すると推定される場合の評価方法の一例を示している。なお、「外食派」とは、食事を外食で済ませる傾向にあるユーザＵを示しており、「自炊派」とは、食事の自炊を好む傾向にあるユーザＵを示している。

【0054】

情報処理装置１００は、判定対象モデルとして選定した「外食派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１１－ａａを生成する。また、情報処理装置１００は、基準モデルとして選定した「自炊派」の推定モデル（スコアリスト）を元に、第２リスト情報であるユーザリストＬ２２－ａを生成する。

【0055】

そして、図５に示すように、情報処理装置１００は、ユーザリストＬ１１－ａａとユーザリストＬ２２－ａとを比較し、ユーザリストＬ１１－ａａおよびユーザリストＬ２２－ａの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。たとえば、図５に示す例では、第１の事象である「外食派」と、第２の事象である「自炊派」は負の相関を有していると推定されている。このような場合、情報処理装置１００は、第１リスト情報および第２リスト情報の内容が非類似であるかどうか（類似していないかどうか）に基づいて、判定対象モデルの信頼性を評価できる。

【0056】

具体的には、情報処理装置１００は、ユーザリストＬ１１－ａａとユーザリストＬ２２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつユーザリストＬ１１－ａａとユーザリストＬ２２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２未満であるという条件を満たすか否かを判定する。そして、情報処理装置１００は、ユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつ検索クエリの一致率が閾値ＴＨ－２未満であると判定した場合、判定対象モデルとして選定した「外食派」の推定モデル（スコアリスト）の信頼性が高いと評価する。

【0057】

図６は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その５）を示す図である。図６は、図５に示す例と同様に、第１の事象である「外食派」と第２の事象である「自炊派」が負の相関関係を有すると推定される場合の評価方法の一例を示しているが、第１リスト情報であるユーザリストＬ１１－ａｂの内容が図５に示す例とは相違する。

【0058】

たとえば、情報処理装置１００は、ユーザリストＬ１１－ａｂとユーザリストＬ２２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつユーザリストＬ１１－ａｂとユーザリストＬ２２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２未満であるという条件を満たすか否かを判定する。そして、情報処理装置１００は、前述の条件を満たしていないと判定した場合、つまり、図６に示すように、ユーザＩＤの一致率が閾値ＴＨ－１以上であり、かつ検索クエリの一致率が閾値ＴＨ－２以上であると判定した場合、判定対象モデルとして選定した「外食派」の推定モデル（スコアリスト）の信頼性が低いと評価する。

【0059】

また、情報処理装置１００は、第１の事象と第２の事象が負の相関関係を有すると推定される場合、第１リスト情報および第２リスト情報の時系列の変動内容が非類似であるかどうかに基づいて、判定対象モデルの信頼性を評価してもよい。図７は、実施形態に係る判定対象モデルの信頼性の評価方法の概要（その６）を示す図である。

【0060】

まず、情報処理装置１００は、判定対象モデルとして選定した「外食派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１１－ａａを生成する。さらに、情報処理装置１００は、時間Ｔが経過した後の「外食派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ１１－ｂを生成する。

【0061】

また、情報処理装置１００は、基準モデルとして選定した「自炊派」の推定モデル（スコアリスト）を元に、第２リスト情報であるユーザリストＬ２２－ａを生成する。さらに、情報処理装置１００は、時間Ｔが経過した後の「自炊派」の推定モデル（スコアリスト）を元に、第１リスト情報であるユーザリストＬ２２－ｂを生成する。

【0062】

そして、図７に示すように、情報処理装置１００は、ユーザリストＬ１１－ａａとユーザリストＬ２２－ａとを比較し、ユーザリストＬ１１－ａａおよびユーザリストＬ２２－ａの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。さらに、情報処理装置１００は、ユーザリストＬ１１－ｂとユーザリストＬ２２－ｂとを比較し、ユーザリストＬ１１－ｂおよびユーザリストＬ２２－ｂの内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかを判定する。

【0063】

たとえば、図７に示す例では、第１の事象である「外食派」と、第２の事象である「自炊派」は、負の相関関係を有すると推定されている。そこで、情報処理装置１００は、ユーザリストＬ１１－ａａとユーザリストＬ２２－ａに含まれるユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつユーザリストＬ１１－ａａとユーザリストＬ２２－ａに含まれる検索クエリの一致率が閾値ＴＨ－２未満であるという条件を満たすか否かを判定する。さらに、情報処理装置１００は、ユーザリストＬ１１－ｂとユーザリストＬ２２－ｂに含まれるユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつユーザリストＬ１１－ｂとユーザリストＬ２２－ｂに含まれる検索クエリの一致率が閾値ＴＨ－２未満であるという条件を満たすか否かを判定する。

【0064】

そして、情報処理装置１００は、時間Ｔが経過する前後において、ユーザＩＤの一致率が閾値ＴＨ－１未満であり、かつ検索クエリの一致率が閾値ＴＨ－２未満であるという条件を満たしていると判定した場合、判定対象モデルとして選定した「外食派」の推定モデル（スコアリスト）の信頼性が高いと評価する。

【0065】

このように、実施形態に係る情報処理装置１００は、所定の信頼性を有する第２リスト情報を用いることにより、第１リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容であるかを合理的に確かめることができ、第１リスト情報の元となる判定対象モデルの信頼性を間接的に評価できる。このようなことから、実施形態に係る情報処理装置１００は、生成した情報である判定対象モデル（スコアリスト）の信頼性を確かめることが可能となる。

【0066】

［３．情報処理装置の構成］
図８を用いて、実施形態に係る情報処理装置１００の構成について説明する。図８は、実施形態に係る情報処理装置の構成例を示す図である。

【0067】

図８に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図８は、情報処理装置１００の構成例を示すものであり、図８に示す形態には限られず、図８に示す以外の他の機能部を備える形態であってもよい。

【0068】

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０などの他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

【0069】

通信部１１０は、端末装置１０から、撮影画像などの情報を受信する。また、通信部１１０は、提案情報を端末装置１０に送信する。

【0070】

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部１２０は、制御部１３０の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。

【0071】

図８に示すように、記憶部１２０は、ユーザ情報記憶部１２１と、推定モデル記憶部１２２とを有する。

【0072】

（ユーザ情報記憶部１２１）
ユーザ情報記憶部１２１には、各ユーザから提供されるユーザ情報が任意の形式で記憶されている。図９は、実施形態に係るユーザ情報の概要を示す図である。

【0073】

図９に示すように、ユーザ情報は、「ユーザＩＤ」の項目や、「検索履歴」の項目や、「購買履歴」の項目などを有する。推定モデル情報が有するこれらの項目は相互に対応付けられている。

【0074】

「ユーザＩＤ」の項目には、各種サービスの提供に際して、各種サービスを利用するユーザを識別するために、情報処理装置１００によりユーザごとに個別に付与される識別情報が記憶される。

【0075】

「検索履歴」の項目には、各ユーザからユーザ情報として提供される検索履歴に関する情報が記憶される。また、「購買履歴」の項目には、各ユーザからユーザ情報として提供される購買履歴に関する情報が記憶される。

【0076】

（推定モデル記憶部１２２）
推定モデル記憶部１２２には、推定モデルに関する推定モデル情報が任意の形式で記憶されている。図１０は、実施形態に係る推定モデル情報の概要を示す図である。

【0077】

図５に示すように、推定モデル情報は、「モデルＩＤ」の項目と、「事象」の項目と、「データ」の項目とを有する。推定モデル情報が有するこれらの項目は相互に対応付けられている。

【0078】

「モデルＩＤ」の項目には、推定モデルを特定するために推定モデルごとに個別に付与されている識別情報が記憶されている。

【0079】

「事象」には、対応付けられている推定モデルにより推定されるユーザの行動や興味嗜好などの内容を示す情報が記憶されている。

【0080】

「データ」の項目には、対応付けられている推定モデルのデータが記憶されている。なお、図１０では、「データ」の項目に、「データＡ」や「データＢ」などのような概念的な情報が格納される例を示したが、実際には、推定モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、対応する推定モデルを構成する種々の情報が含まれる。たとえば、推定モデルを構成する個々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれ得る。

【0081】

（制御部１３０）
図８に示す制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。

【0082】

図８に示すように、制御部１３０は、選定部１３１と、生成部１３２と、評価部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各部の接続関係は、図８に示した接続関係に限られず、他の接続関係であってもよい。

【0083】

（選定部１３１）
選定部１３１は、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを特定する。基準モデルは、情報処理装置１００が管理する複数の推定モデルのうち、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たすモデルである。

【0084】

たとえば、選定部１３１は、複数の推定モデルの中から選定した判定対象モデルが推定する第１の事象を特定し、特定した第１の事象と関連性を有する第２の事象を特定する。具体的には、選定部１３１は、Ｗｏｒｄ２Ｖｅｃなどの自然言語処理手法を用いて、各推定モデルが推定する事象を示す文字列（ラベル）の特徴量をそれぞれ導出する。そして、情報処理装置１００は、導出した特徴量を元に、判定対象モデルが推定する第１の事象と特徴量が類似する第２の事象を特定する。あるいは、情報処理装置１００は、導出した特徴量を元に、判定対象モデルが推定する第１の事象と特徴量が類似しない第２の事象を特定する。このように、選定部１３１は、第１の事象と何らかの関連性を有する第２の事象を特定できる。すなわち、情報処理装置１００は、判定対象モデルが推定する第１の事象の特徴量と、基準モデルが推定する第２の事象の特徴量とが類似する場合、第１の事象と第２の事象との間に正の相関関係があるものと推定する。あるいは、選定部１３１は、判定対象モデルが推定する第１の事象の特徴量と、基準モデルが推定する第２の事象の特徴量とが類似しない場合、第１の事象と第２の事象と負の相関関係があるものと推定する。

【0085】

第２の事象を特定後、選定部１３１は、特定した第２の事象を推定する推定モデル（スコアリスト）の中から、推定の精度が所定の基準を満たすモデルを取得する。たとえば、選定部１３１は、特定した特定した第２の事象を推定する推定モデルを元に、後述するユーザリストを生成する。続いて、選定部１３１は、生成したユーザリストを用いて、ユーザリストに対応する第２の事象に関する広告の配信を行い、広告配信の効果を測定する。そして、情報処理装置１００は、測定結果が所定の基準を満たすユーザリストの元となった推定モデル（スコアリスト）を基準モデルとして選定する。なお、判定対象モデルは、情報処理装置１００のオペレータが任意に選定できる。

【0086】

（生成部１３２）
生成部１３２は、判定対象モデルから得られる各ユーザと第１の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第１リスト情報と、基準モデルから得られる各ユーザと第２の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第２リスト情報とを生成する。

【0087】

たとえば、生成部１３２は、第１の事象に関連する各ユーザＵが入力した検索クエリと、スコアリストとに基づいて、第１の事象と各ユーザＵとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザＵを順位付けした第１リスト情報（ユーザリスト）を生成できる。

【0088】

具体的には、生成部１３２は、第１の事象に関連する各ユーザを選定し、選定した各ユーザＵが入力した検索クエリと対応付けられたスコアをスコアリストから特定する。なお、情報処理装置１００は、各ユーザＵを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、生成部１３２は、シードユーザを含む各ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。

【0089】

次に、生成部１３２は、各ユーザＵについてスコアの合計値を計算した後、スコアの高い順に各ユーザＵを順位付けするとともに、順位順に各ユーザＵが入力した検索クエリを対応付けることにより、第１リスト情報であるユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザＵが、第１の事象との関連性が強いかを示すリストとして機能する。このユーザリストは、第１の事象と検索クエリとの関連性の分析や、ユーザの分析などに用いられる。なお、生成部１３２は、上述した第１リスト情報の生成方法と同様の方法で、第２リスト情報であるユーザリストを生成できる。

【0090】

（評価部１３３）
評価部１３３は、第１リスト情報と第２リスト情報とを比較し、第１リスト情報および第２リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかに基づいて、判定対象モデルの信頼性を評価する。

【0091】

たとえば、評価部１３３は、第１の事象と第２の事象とが正の相関関係を有していると推定される場合、第１リスト情報および第２リスト情報の内容が類似しているかどうかに基づいて、判定対象モデルの信頼性を評価できる（たとえば、図２および図３参照）。また、たとえば、評価部１３３は、第１の事象と第２の事象が正の相関関係を有すると推定される場合、第１リスト情報および第２リスト情報の時系列の変動内容が類似しているかどうかに基づいて、判定対象モデルの信頼性を評価してもよい（たとえば、図４参照）。

【0092】

また、評価部１３３は、第１の事象と第２の事象とが負の相関関係を有していると推定される場合、第１リスト情報および第２リスト情報の内容が非類似であるかどうかに基づいて、判定対象モデルの信頼性を評価できる（たとえば、図５および図６参照）。また、評価部１３３は、第１の事象と第２の事象が負の相関関係を有すると推定される場合、第１リスト情報および第２リスト情報の時系列の変動内容が非類似であるかどうかに基づいて、判定対象モデルの信頼性を評価してもよい（たとえば、図７参照）。

【0093】

［４．処理手順］
以下、図１１を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図１１は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図１１に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図１１に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

【0094】

図１１に示すように、選定部１３１は、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する（ステップＳ１０１）。

【0095】

また、生成部１３２は、判定対象モデルから得られる各ユーザと第１の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第１リスト情報を生成する（ステップS１０２）。

【0096】

また、生成部１３２は、基準モデルから得られる各ユーザと第２の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第２リスト情報とを生成する（ステップＳ１０３）。

【0097】

そして、評価部１３３は、第１リスト情報と第２リスト情報とを比較し、第１リスト情報および第２リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかに基づいて、判定対象モデルの信頼性を評価し（ステップＳ１０４）、図１１に示す処理手順を終了する。

【0098】

［５．変形例］
上述した情報処理装置１００は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

【0099】

（５－１．判定対象モデルの修正について）
上述した実施形態において、情報処理装置１００は、判定対象モデルの信頼性が低いと評価した場合、基準モデルに基づいて、判定対象モデルを修正してもよい。たとえば、情報処理装置１００は、判定対象モデルに含まれる検索クエリのうち、基準モデルと共通する検索クエリのスコアが大きくなうように調整することにより、判定対象モデルを修正する。

【0100】

（５－２．判定対象モデルの評価に関する情報の提供について）
上述の実施形態において、情報処理装置１００は、判定対象モデルの評価に関する情報を、情報処理装置１００のオペレータに提供してもよい。たとえば、情報処理装置１００は、判定対象モデルの評価に用いた基準モデルの情報や、ユーザＩＤの一致率や、検索クエリの一致率などを提供できる。

【0101】

［６．ハードウェア構成］
実施形態に係る情報処理装置１００は、たとえば、図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【0102】

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0103】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0104】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

【0105】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0106】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0107】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0108】

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、実施形態に係る情報処理装置１００による処理を実現する。

【0109】

［７．その他］
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0110】

上述の実施形態において、情報処理装置１００による情報処理方法（たとえば、図１１参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（選定部１３１、生成部１３２、及び評価部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。

【0111】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部１３０の選定部１３１と生成部１３２とは機能的に統合されていてもよい。

【0112】

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0113】

［８．効果］
上述の実施形態に係る情報処理装置１００は、選定部１３１と、生成部１３２と、評価部１３３とを備える。選定部１３１は、判定対象モデルが推定する第１の事象と関連性を有する第２の事象を推定するモデルであって、推定の精度が所定の基準を満たす基準モデルを選定する。生成部１３２は、判定対象モデルから得られる各ユーザと第１の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第１リスト情報と、基準モデルから得られる各ユーザと第２の事象との関係性を示す値に基づいて各ユーザを順位付けして列挙した第２リスト情報とを生成する。評価部１３３は、第１リスト情報と第２リスト情報とを比較し、第１リスト情報および第２リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容になっているかどうかに基づいて、判定対象モデルの信頼性を評価する。

【0114】

このようなことから、実施形態に係る情報処理装置１００は、所定の信頼性を有する第２リスト情報を用いることにより、第１リスト情報の元となる判定対象モデルの信頼性を間接的に評価できる。また、実施形態に係る情報処理装置１００は、判定対象モデルの評価の際、第１リスト情報の内容が第１の事象と第２の事象の関係性に応じた内容であるかを確かめることにより、判定対象モデルの信頼性を適切に評価できる。このようなことから、実施形態に係る情報処理装置１００は、生成した情報である判定対象モデルの信頼性を確かめることが可能となる。

【0115】

また、実施形態に係る情報処理装置１００において、評価部１３３は、第１の事象と第２の事象が正の相関関係を有すると推定される場合、第１リスト情報および第２リスト情報の内容が類似しているかどうかに基づいて、判定対象モデルの信頼性を評価する。

【0116】

また、実施形態に係る情報処理装置１００において、評価部１３３は、第１リスト情報および第２リスト情報の時系列の変動内容が類似しているかどうかに基づいて、判定象モデルの信頼性を評価する。

【0117】

これらにより、実施形態に係る情報処理装置１００は、第１リスト情報および第２リスト情報の内容を単純比較により、第２の事象と正の相関関係を有する第１の事象を推定する判定対象モデルの評価を容易に実現できる。

【0118】

また、実施形態に係る情報処理装置１００において、評価部１３３は、第１の事象と第２の事象が負の相関関係を有する場合、第１リスト情報および第２リスト情報の内容が非類似であるかどうかに基づいて、判定対象モデルの信頼性を評価する。

【0119】

また、実施形態に係る情報処理装置１００において、評価部１３３は、第１リスト情報および第２リスト情報の時系列の変動内容が非類似であるかどうかに基づいて、判定対象モデルの信頼性を評価する。

【0120】

これらにより、実施形態に係る情報処理装置１００は、第１リスト情報および第２リスト情報の内容を単純比較により、第２の事象と負の相関関係を有する第１の事象を推定する判定対象モデルの評価を容易に実現できる。

【0121】

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0122】

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【符号の説明】

【0123】

１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ 推定モデル記憶部
１３０ 制御部
１３１ 選定部
１３２ 生成部
１３３ 評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】