6203339 判定装置、判定方法および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6203339

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】判定装置、判定方法および判定プログラム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20170914BHJP

【ＦＩ】

   G06F13/00 540R

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2016-143639(P2016-143639)

(22)【出願日】2016年7月21日

【審査請求日】2017年6月9日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】中山 僚太

(72)【発明者】

【氏名】西村 純

【審査官】 寺谷 大亮

(56)【参考文献】

【文献】 特開２０１５−６９３９２（ＪＰ，Ａ）

【文献】 特開２０１３−２１０９４０（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１５９４２４（ＷＯ，Ａ１）

【文献】 山田 雄二, 牧本 直樹，計算で学ぶファイナンス −MATLABによる実装−，株式会社朝倉書店 朝倉 邦造，２００８年 １月２５日，第6巻, 第1版，pp.131-140

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ １７／３０

Ｇ０６Ｑ ３０／０２

(57)【特許請求の範囲】

【請求項1】

第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出部と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定部と
を有することを特徴とする判定装置。

【請求項2】

前記算出部は、前記第１の指標値として、前記第１のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、前記推定指標値を算出する
ことを特徴とする請求項１に記載の判定装置。

【請求項3】

前記算出部は、前記第２の指標値として、前記第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、前記推定指標値を算出する
ことを特徴とする請求項１または２に記載の判定装置。

【請求項4】

前記算出部は、前記第２の指標値として、前記第１のコンテンツとは異なるウェブサイトに関するコンテンツである前記第２のコンテンツにおいて前記利用者が行った行動を示す第２の指標値を用いて、前記推定指標値を算出する
ことを特徴とする請求項１〜３のうちいずれか１つに記載の判定装置。

【請求項5】

前記算出部は、前記第１の指標値の平均値から、所定の係数と前記第２の指標値の平均値との積を減算し、前記所定の係数と前記第２の指標値の期待値との積を加算した値を前記推定指標値とする
ことを特徴とする請求項１〜４のうちいずれか１つに記載の判定装置。

【請求項6】

前記算出部は、前記第１のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、前記第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、前記第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、前記推定指標値を算出する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。

【請求項7】

前記判定部による判定結果を出力する出力部
を有することを特徴とする請求項１〜６のうちいずれか１つに記載の判定装置。

【請求項8】

前記算出部は、前記第２の指標値として、前記第２のコンテンツに関する前記利用者の行動と、当該利用者の属性を示す属性情報とを示す第２の指標値を用いて、前記推定指標値を算出する
ことを特徴とする請求項１〜７のうちいずれか１つに記載の判定装置。

【請求項9】

判定装置が実行する判定方法であって、
第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出工程と、
算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定工程と
を含むことを特徴とする判定方法。

【請求項10】

第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出手順と、
算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定手順と
をコンピュータに実行させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法および判定プログラムに関する。

【背景技術】

【0002】

従来、利用者による評価結果の有意性を判定する技術が知られている。このような技術の一例として、あるウェブコンテンツを利用者に評価させた際の評価結果と、同一のウェブコンテンツについて過去に行われた評価結果とを用いることで、評価値の平均値が有するばらつきを減少させ、有意性の判定精度を向上させるＣＵＰＥＤ（Controlled-experiment Using Pre-Experiment Data）といった技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−０５２６０１号公報

【特許文献2】特開２０１１―０４３９１１号公報

【非特許文献】

【0004】

【非特許文献1】“Improving the Sensitivity of Online Controlled Experimentsby Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、新たに評価を行った利用者と過去に評価を行った利用者が重複しない場合には、平均値のばらつきが増大し、有意性の検出精度が悪化する場合がある。

【0006】

本願は、上記に鑑みてなされたものであって、評価結果が有する有意性の検出精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本願に係る判定装置は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出部と、算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定部とを有することを特徴とする。

【発明の効果】

【0008】

実施形態の一態様によれば、評価結果が有する有意性の検出精度を向上させることを目的とする。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。

【図2】図２は、実施形態に係る判定装置の構成例を示す図である。

【図3】図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。

【図4】図４は、実施形態に係る属性データベースに登録される情報の一例を説明する図である。

【図5】図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。

【図6】図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

［実施形態］
〔１−１．判定装置の一例〕
まず、図１を用いて、判定装置が実行する判定処理の一例について説明する。図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。図１では、判定装置１０は、インターネット等の所定のネットワークＮを介して、所定のコンテンツを配信するコンテンツサーバ５１、５２や、管理者端末２００と通信可能である。なお、判定装置１０は、ネットワークＮを介して、利用者Ｕ０１が使用する端末装置１０１、利用者Ｕ０２が使用する端末装置１０２と通信可能であってもよい。

【0012】

端末装置１０１、１０２は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して、コンテンツサーバ５１、５２といった任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１０１、１０２は、スマートデバイスのみならず、デスクトップＰＣやノートＰＣ等の情報処理装置であってもよい。なお、以下の説明では、各利用者Ｕ０１、Ｕ０２が使用する端末装置１０１、１０２を端末装置１００と総称する場合がある。また、以下の説明では、利用者Ｕ０１、利用者Ｕ０２以外にも、任意の数の利用者が使用する任意の数の端末装置１００がコンテンツサーバ５１、５２等と通信可能であるものとする。

【0013】

コンテンツサーバ５１、５２は、端末装置１００に対してウェブページ、ウィジェット、静止画像、動画像、ゲーム等といった各種のウェブコンテンツ（以下、「コンテンツ」と記載する。）を配信するサーバ装置である。例えば、コンテンツサーバ５１は、所定のドメインに含まれる第１コンテンツを端末装置１００に送信する。また、コンテンツサーバ５２は、所定のドメインに含まれるコンテンツであって、第１コンテンツとは異なるコンテンツ、すなわち、クロスドメインに含まれる第２コンテンツを端末装置１００に送信する。なお、コンテンツサーバ５１、５２は、同一のサーバ装置により実現されてもよい。また、以下の説明では、コンテンツサーバ５１、５２をコンテンツサーバ５０と総称する場合がある。

【0014】

管理者端末２００は、判定装置１０の管理を行う管理者が使用する端末装置であり、例えば、ＰＣやサーバ装置等により実現される。なお、管理者端末２００は、判定装置１０の管理者のみならず、判定装置１０による判定処理の結果を所望する利用者が使用する端末装置であれば、任意の利用者が使用する端末装置であってよい。

【0015】

判定装置１０は、同一の事象に含まれる標本の有意差を判定する判定装置であり、例えば、サーバ装置やクラウドシステム等により実現される。より具体的な例を説明すると、判定装置１０は、コンテンツサーバ５１が配信した第１コンテンツにおける利用者の行動を示す情報から複数の情報をランダムに選択することで複数の標本を抽出し、抽出した標本同士に統計学的に有意な差が存在するか否かを判定する。より具体的には、判定装置１０は、第１コンテンツにおける利用者の行動を示す標本について、ｔ検定やＺ検定等といった任意の検定手法により標本の有意差を判定する判定装置である。以下の説明では、Ｚ検定を用いた検定を行う例について説明するが、判定装置１０は、以下に説明する判定方法を、任意の検定手法に適用してよい。

【0016】

〔１−２．コントロールバリエーションについて〕
ここで、一般的な検定手法においては、有意差の判定対象となる標本ごとに平均値を算出し、算出した平均値を用いて有意差が存在するか否かを判定する。例えば、Ｚ検定といわれる手法においては、情報の母集団から１つ以上の情報をランダムに抽出した標本Ｙ^（ｔ）および標本Ｙ^（ｃ）を生成し、以下の式（１）の値が所定の閾値よりも多い場合には、標本Ｙ^（ｔ）および標本Ｙ^（ｃ）に有意差があると判定する。なお、式（１）においてオーバーラインを付したＹ^（ｔ）は、標本Ｙ^（ｔ）として抽出された値の平均値を示し、オーバーラインを付したＹ^（ｃ）は、標本Ｙ^（ｃ）として抽出された値の平均値を示す。なお、以下の説明では、オーバーラインを付した記号は、その記号が示す値の平均値を示すものとする。

【0017】

【数1】

【0018】

ここで、標本Ｙにｎ個の値ｙ_ｉが含まれる場合、標本Ｙの平均値は、以下の式（２）で示すことができる。

【0019】

【数2】

【0020】

ここで、式（２）を用いた場合、標本の選択や事象の内容、すなわち、第１コンテンツにおける利用者の行動の情報によっては、平均値の分散が必ずしも小さいとは言えない場合がある。しかしながら、標本の平均値の分散が増大した場合には、有意差の検出精度が悪化する場合がある。

【0021】

そこで、コントロールバリエーション（Control Variates）と呼ばれる式を用いて所定の推定量（以下、「推定指標値」と記載する。）を算出し、式（１）に示した平均値に代えて、各標本の推定指標値を用いて、有意差を評価するＣＵＰＥＤと呼ばれる手法が知られている。例えば、ＣＵＰＩＤにおいては、以下の式（３）で示される推定指標値を標本ごとに算出する。ここで、式（３）では、推定指標値をＹ_ｃｖで示した。また、式（３）に示すＸは、標本Ｙとは独立して選択される値であり、θは、Ｘの値に応じて最適値が定まる係数である。また、式（３）に示すＥＸは、Ｘの値の期待値を示す。

【0022】

【数3】

【0023】

ここで、サンプルサイズを無限大に近づけた場合、式（３）は、式（２）と同じ式になる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定しても、適切に有意差を判定できると考えられる。さらに、式（３）で示される推定指標値の分散を算出すると、以下の式（４）を得ることができる。

【0024】

【数4】

【0025】

ここで、式（４）の右辺は、標本Ｙの平均値の分散と（１−ρ^２）との積で示すことができるが、（１−ρ^２）は１よりも小さい値を取る。つまり、ある標本Ｙについての推定指標値の値は、平均値の値よりも分散が小さくなる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定した場合は、有意差を精度良く算出することができる。

【0026】

〔１−３．判定処理について〕
ここで、推定指標値を算出する際のＸの値は、任意の値を採用することができる。一方で、有意差の検出力は、採用される情報のカバレッジを増加させた場合や、採用される情報間の相関性を強化した場合に増大する。

【0027】

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、第１コンテンツに関する利用者の行動を示す第１の指標値と、第２コンテンツに関する利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定し、判定結果を出力する。

【0028】

例えば、判定装置１０は、第１コンテンツの閲覧中に利用者がクリックしたリンクや、利用者が入力したクエリの値、クリックやクエリの入力を行ったか否か等、第１コンテンツの閲覧時において利用者が実行可能な行動を示す値を第１の指標値として選択する。例えば、判定装置１０は、クエリの入力を行った利用者に対して、第１の指標値「１」を選択する。続いて、判定装置１０は、第１コンテンツの閲覧中に利用者が行った行動を示す値の中から、所定の数の値をランダムに抽出した第１の標本と第２の標本とを抽出する。そして、判定装置１０は、各標本ごとに以下の処理を実行することで、推定指標値を算出する。

【0029】

まず、判定装置１０は、第１の指標値として、第１コンテンツの閲覧中に利用者が行った行動を示す値を、式（２）や式（３）に示すＹの値とする。より具体的には、判定装置１０は、第１の標本として抽出した値をＹ^（ｔ）とし、第２の標本として抽出した体をＹ^（ｃ）とする。そして、判定装置１０は、Ｙ^（ｔ）、Ｙ^（ｃ）の平均値をそれぞれ算出する。

【0030】

同様に、判定装置１０は、第２の指標値として、第２コンテンツの閲覧中に利用者が行った行動を示す値を式（３）におけるＸの値とする。より具体的には、判定装置１０は、第１コンテンツとは異なるウェブサイトに関するコンテンツである第２コンテンツ、例えば、第１コンテンツのクロスドメインに含まれる第２コンテンツの閲覧に際し、利用者が行った行動を示す第２の指標値をＸの値とする。

【0031】

例えば、判定装置１０は、第１の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に利用者が行った行動を示す値を収集する。そして、判定装置１０は、収集した値をＸ^（ｔ）とする。同様に、判定装置１０は、第２の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に利用者が行った行動を示す値を収集する。そして、判定装置１０は、収集した値をＸ^（ｃ）とする。

【0032】

そして、判定装置１０は、Ｙ^（ｔ）の値の平均値から、所定の係数θとＸ^（ｔ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｔ）の値の期待値との積を加算した値を、第１の標本の推定指標値Ｙ^（ｔ）_ｃｖとする。また、判定装置１０は、Ｙ^（ｃ）の値の平均値から、所定の係数θとＸ^（ｃ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｃ）の値の期待値との積を加算した値を、第２の標本の推定指標値Ｙ^（ｃ）_ｃｖの値とする。すなわち、判定装置１０は、第１コンテンツに関して推定される利用者の行動を示す推定指標値を標本ごとに算出する。

【0033】

そして、判定装置１０は、Ｙ^（ｔ）_ｃｖをＹ^（ｔ）の平均値とし、Ｙ^（ｃ）_ｃｖをＹ^（ｃ）の平均値として、上述した式（１）の値を算出し、算出した値が所定の閾値を超えるか否かに基づいて、第１の標本および第２の標本の有意差を判定する。

【0034】

このように、判定装置１０は、第１コンテンツに関する利用者の行動の標本間の有意差を判定する際に、第１コンテンツに関する利用者の行動を示す指標値のみならず、その利用者が第２コンテンツの閲覧中に行った行動を示す第２の指標値をも用いて、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定する。この結果、判定装置１０は、標本のカバレッジを向上させることができるので、有意差の判定精度を向上させることができる。また、判定装置１０は、同じ利用者が第２コンテンツの閲覧中に行った行動を示す値を用いるので、ＸとＹとの相関性を向上させる結果、有意差の判定精度を向上させることができる。

【0035】

ここで、カバレッジを向上させるため、第２の指標値として、第１コンテンツに関する利用者の行動であって、第１の指標値の元となる行動よりも過去に取得された行動に基づく指標値を用いる手法が考えられる。しかしながら、このような手法では、第１コンテンツが新規なコンテンツである場合や、第１コンテンツの配信先に新規な利用者が存在する場合には、過去に出力された情報が存在しないため、推定指標値の分散が上昇する恐れがある。

【0036】

しかしながら、判定装置１０は、第２の指標値として、第１コンテンツではなく第２コンテンツに関する利用者の行動を示す指標値を用いて、推定指標値の値を算出する。このため、判定装置１０は、第１コンテンツを初めて所定の利用者に配信した場合であっても、その利用者が他のコンテンツを閲覧中に行った行動を示す値を第２の指標値とすることで、推定指標値の分散を減少させることができる。この結果、判定装置１０は、有意差の判定精度を向上させることができる。

【0037】

〔１−４．第２コンテンツについて〕
ここで、判定装置１０は、第１コンテンツと異なるコンテンツであれば、任意のコンテンツを第２コンテンツとしてよい。例えば、判定装置１０は、第１コンテンツがウェブ検索を受付けるポータルサイト等である場合、ポータルサイトとクロスドメインのサイトやポータルサイトからリンクが設定されているサイト等における利用者の行動を示す値を第２の指標値とする。このようなサイトには、例えば、オークション、経路検索、電子商店街、ゲーム、宿泊予約、ファイナンス、天気予報、レストランの情報サイト、不動産サイト、自動車関連のサイト、各種の掲示板やブログ、レシピ等の提供を行うウェブサイトが含まれる。また、判定装置１０は、ウェブサイトのみならず、第１コンテンツと関連するアプリケーションやウィジェットにおける利用者の行動を示す値を第２の指標値としてもよい。

【0038】

〔１−５．利用者の共通性について〕
また、判定装置１０は、第１の指標値が示す行動を行った利用者と、第２の指標値が示す行動を行った利用者とを完全に同一にせずともよく、第１の指標値が示す行動を行った利用者と、第２の指標値が示す行動を行った利用者との一部が共通するように、第２の指標値を取得してもよい。すなわち、判定装置１０は、第１コンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出すればよい。

【0039】

〔１−６．指標値が示す行動について〕
ここで、判定装置１０は、例えば、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す指標値として、第１コンテンツおよび第２コンテンツを閲覧中に利用者が行ったクリックの有無やクリックしたリンク又はコンテンツ等を示す値を指標値とする。しかしながら、実施形態は、これに限定するものではない。例えば、判定装置１０は、クリック以外にも、例えば、ウェブ検索を行う際に入力したクエリの内容やクエリを入力した回数を指標値としてもよい。すなわち、判定装置１０は、任意の行動を示す値を指標値としてよい。

【0040】

また、判定装置１０は、第１の指標値が示す行動と、第２の指標値が示す行動とを異なる行動にしてもよい。例えば、判定装置１０は、ポータルサイトにおけるクリックの内容を示す値を第１の指標値とする場合、オークションサイトにおいて入札を行ったか否か、出品を行ったか否か、入札履歴や出品履歴、電子商店街における購入履歴等、クリックの内容以外の行動を示す値を第２の指標値としてよい。すなわち、判定装置１０は、ある程度同じ利用者による行動を示す指標値であって、それぞれ異なるコンテンツに関する指標値であるならば、それぞれ異なる種別や内容のコンテンツに関する値を第１の指標値および第２の指標値としてもよく、それぞれ異なる種別の行動を示す値を第１の指標値および第２の指標値としてもよい。

【0041】

例えば、判定装置１０は、第１コンテンツに対して行った利用者の評価や、利用者が入力した第１コンテンツに対する興味の具合を示す値を第１の指標値とし、第１コンテンツとはクロスドメインの関係にある第２コンテンツにおける利用者の行動（例えば、クリックの履歴や電子商店街における購買履歴等）を示す値を第２の指標値としてもよい。すなわち、判定装置１０は、第１の指標値と第２の指標値とが共通する利用者に関連するＫＰＩ（Key Performance Indicator）であるならば、任意の指標値を第１の指標値および第２の指標値として採用してよい。

【0042】

〔２．判定処理の一例について〕
次に、図１を用いて、判定装置１０が実行する処理の一例について説明する。なお、以下の説明では、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す情報として、第１コンテンツおよび第２コンテンツを閲覧中に利用者が行ったクリックの履歴を示す情報を用いる処理の一例について説明する。

【0043】

まず、コンテンツサーバ５１は、端末装置１００からの要求に従って、第１コンテンツを端末装置１００に送信する（ステップＳ１）。そして、コンテンツサーバ５１は、第１コンテンツの閲覧中に利用者が行ったクリックの内容を示すクリック履歴を収集する（ステップＳ２）。また、コンテンツサーバ５２は、端末装置１００からの要求に従って、第２コンテンツを端末装置１００に送信する（ステップＳ３）。そして、コンテンツサーバ５２は、第２コンテンツの閲覧中に利用者が行ったクリックの内容を示すクリック履歴を収集する（ステップＳ４）。

【0044】

続いて、判定装置１０は、第１コンテンツに関するクリック履歴をコンテンツサーバ５１から収集するとともに（ステップＳ５）、第２コンテンツに関するクリック履歴をコンテンツサーバ５２から収集する（ステップＳ６）。そして、判定装置１０は、各クリック履歴が示すクリックの内容を行動内容とし、クリックを行った利用者の利用者ＩＤと対応付けて行動履歴データベース３１に登録する。

【0045】

また、判定装置１０は、第１コンテンツに関する標本の有意差を判定する場合、第１コンテンツのクリック履歴から第１の指標値を標本ごとに算出する（ステップＳ７）。例えば、判定装置１０は、第１コンテンツのクリック履歴から、所定の数のクリック履歴を第１の標本としてランダムに選択し、第１の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｔ）とする。同様に、判定装置１０は、第１コンテンツのクリック履歴から、所定の数のクリック履歴を第２の標本としてランダムに選択し、第２の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｃ）とする。

【0046】

また、判定装置１０は、第２コンテンツのクリック履歴から第２の指標値を標本ごとに算出する（ステップＳ８）。例えば、判定装置１０は、第１の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に行ったクリックを示すクリック履歴を抽出する。そして、判定装置１０は、抽出したクリック履歴の内容を示す値の集合を第２の指標値Ｘ^（ｔ）とする。同様に、判定装置１０は、第２の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が第２コンテンツの閲覧中に行ったクリックを示すクリック履歴を抽出し、抽出したクリック履歴の内容を示す値の集合を第２の指標値Ｘ^（ｃ）とする。

【0047】

そして、判定装置１０は、第１コンテンツについて推定される平均的な利用者の行動を示す値、すなわち、推定指標値を標本ごとに算出する（ステップＳ９）。例えば、判定装置１０は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、Ｙ^（ｔ）_ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、Ｙ^（ｃ）_ｃｖの値を式（３）から算出する。そして、判定装置１０は、算出した推定指標値を用いて、標本感の有意差を判定する（ステップＳ１０）。例えば、判定装置１０は、Ｙ^（ｔ）_ｃｖの値をＹ^（ｔ）の平均値とし、Ｙ^（ｃ）_ｃｖの値をＹ^（ｃ）の平均値として、Ｚ検定を行い、有意差が存在するか否かを判定する。そして、判定装置１０は、検定結果を管理者端末２００へと提供する（ステップＳ１１）。

【0048】

〔３．判定装置の構成〕
以下、上記した判定処理を実現する判定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る判定装置の構成例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0049】

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や信用情報提供サーバ３００との間で情報の送受信を行う。

【0050】

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、行動履歴データベース３１、およびユーザデータベース３２（以下、「各データベース３１、３２」と総称する場合がある。）を記憶する。

【0051】

行動履歴データベース３１には、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す情報、すなわち、行動履歴が格納される。例えば、図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。図３に示すように、行動履歴データベース３１には、「コンテンツＩＤ」、「利用者ＩＤ」、「行動内容」等といった項目を有する情報が登録されている。なお、行動履歴データベース３１には、図３に示す情報以外にも、任意の情報が登録されていてもよい。

【0052】

ここで、「コンテンツＩＤ」とは、コンテンツの識別子である。また、「利用者ＩＤ」とは、対応付けられた行動履歴が示す行動を行った利用者の識別子である。また、「行動内容」とは、利用者の行動を示す情報であり、例えば、クリックの内容を示す情報である。例えば、図３に示す例では、コンテンツＩＤ「コンテンツ＃１」、利用者ＩＤ「Ｕｓｅｒ＃１」、および行動内容「Ｃｌｉｃｋ＃１」とが対応付けて登録されている。このような情報は、コンテンツＩＤ「コンテンツ＃１」が示すコンテンツを閲覧中に、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者が、行動内容「Ｃｌｉｃｋ＃１」が示すクリックを行った旨を示す情報である。なお、行動内容は、どのようなクリックが行われたかのみならず、クリックの有無を示す情報であってもよい。

【0053】

図２に戻り説明を続ける。ユーザデータベース３２には、利用者の識別子であるユーザＩＤと利用者の属性情報とが、属性情報の項目ごとに対応付けて登録されている。例えば、図４は、実施形態に係る属性データベースに登録される情報の一例を説明する図である。例えば、図４に示す例では、ユーザデータベース３２には、「利用者ＩＤ」、「属性項目」、および「属性情報」といった項目を有する情報が、「利用者ＩＤ」ごとに複数登録されている。「属性項目」とは、属性情報の項目を示す情報であり、例えば、「性別」、「年齢」、「住所」等といった情報が登録される。また、「属性情報」とは、対応付けられたユーザＩＤが示す利用者の属性情報であって、対応付けられた属性項目が示す内容の属性情報である。

【0054】

例えば、図４に示す例では、利用者ＩＤ「Ｕｓｅｒ＃１」に対し、属性項目「性別」および属性情報「男性」が対応付けて登録され、属性項目「年齢」（「年代」でもよい。）および属性情報「３０代」が対応付けて登録され、属性項目「住所」および属性情報「Ａ市」が対応付けて登録されている。このような情報は、例えば、ユーザＩＤ「ＩＤ＃０１」が示す利用者の性別が男性であり、年齢が３０代に含まれる年齢であり、住所がＡ市である旨を示している。なお、ユーザデータベース３２には、図４に示す属性項目や属性情報以外にも、任意の属性項目や属性情報が登録されていてよい。また、ユーザデータベース３２には、必ずしも全ての属性項目について属性情報が登録されている必要はなく、利用者が登録した、または、利用者の行動履歴から推定された属性情報のみが登録されていてもよい。

【0055】

図２に戻り、説明を続ける。制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0056】

図２に示すように、制御部４０は、収集部４１、選択部４２、算出部４３、判定部４４、および出力部４５を有する。収集部４１は、第１コンテンツおよび第２コンテンツに関する利用者の行動を示す行動履歴をコンテンツサーバ５０から収集する。より具体的には、収集部４１は、行動を行った利用者の利用者ＩＤと、利用者が行った行動の内容を示す行動内容と、利用者が閲覧していたコンテンツを示すコンテンツＩＤとを対応付けた情報を行動履歴としてコンテンツサーバ５０から収集する。そして、収集部４１は、収集した行動履歴を行動履歴データベース３１に登録する。すなわち、収集部４１は、行動履歴を収集し、利用者が閲覧していたコンテンツ毎に行動履歴をまとめて行動履歴データベース３１に登録する。

【0057】

選択部４２は、行動履歴データベース３１に登録された情報から、第１の標本および第２の標本を選択する。例えば、選択部４２は、管理者端末２００から第１コンテンツに関する標本の有意差を判定する旨の要求を受付けた場合、第１コンテンツを示すコンテンツＩＤ（例えば、コンテンツＩＤ「コンテンツ＃１」）を含む行動履歴を行動履歴データベース３１から特定する。また、選択部４２は、第１の標本および第２の標本として、特定した行動履歴からランダムに所定の数の行動履歴をそれぞれ選択する。

【0058】

算出部４３は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。具体的には、算出部４３は、第１のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出する。

【0059】

また、算出部４３は、第１の指標値として、第１のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第１のコンテンツとは異なるウェブサイトに関するコンテンツである第２のコンテンツにおいて利用者が行った行動を示す第２の指標値を用いて、推定指標値を算出する。より具体的には、算出部４３は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。

【0060】

例えば、算出部４３は、選択部４２が選択した第１の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｔ）とする。また、算出部４３は、第２の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｃ）とする。続いて、算出部４３は、第１の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた行動履歴の中から、所定の数の行動履歴をランダムに選択し、選択した行動履歴をそれぞれ数値化して第２の指標値Ｘ^（ｔ）とする。

【0061】

同様に、算出部４３は、第２の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた行動履歴の中から、所定の数の行動履歴をランダムに選択し、選択した行動履歴をそれぞれ数値化して第２の指標値Ｘ^（ｃ）とする。なお、算出部４３は、第１の標本に含まれるユーザＩＤと対応づけられた行動履歴であって、第１のコンテンツとは異なるコンテンツを示すコンテンツＩＤと対応付けられた全ての行動履歴を数値化して第２の指標値としてもよい。そして、算出部４３は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、第１の標本に係る推定指標値Ｙ^（ｔ）_ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、第２の標本に係る推定指標値Ｙ^（ｃ）_ｃｖの値を式（３）から算出する。

【0062】

判定部４４は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。具体的には、判定部４４は、算出部４３が算出した推定指標値Ｙ^（ｔ）_ｃｖおよびＹ^（ｃ）_ｃｖを用いて、式（１）から標本間の有意差を示す値を算出し、算出した値が所定の閾値よりも多いか否かを判定する。そして、判定部４４は、算出した値が所定の閾値よりも多い場合には、有意差が存在すると判定し、算出した値が所定の閾値よりも少ない場合には、有意差が存在しないと判定する。

【0063】

出力部４５は、判定部４４による判定結果を管理者端末２００に出力する。例えば、出力部４５は、判定部４４が実行する判定結果に基づいて、判定結果を示す結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に配信する。

【0064】

例えば、図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。例えば、判定装置１０は、第１コンテンツに関する利用者の行動履歴からランダムに選択した第１の標本と第２の標本との組を複数組抽出し、抽出した組ごとに上述した判定処理を実行することで、有意差を示す値を算出する。そして、判定装置１０は、図５に示すような結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に表示させる。

【0065】

例えば、判定装置１０は、図５に示すように、標本の組ごとに有意差を示す値を算出し、算出結果を用いて、横軸方向に標本の組、縦軸方向に有意差を示す値を設定したグラフを生成する。そして、判定装置１０は、グラフのうち、有意差の値が所定の閾値を超える範囲を太線で示し、有意差の値が所定の閾値以下となる範囲を点線で示す。また、判定装置１０は、図５に示すグラフ中の黒丸印で示すように、管理者端末２００の管理者がグラフ上の位置を選択した場合には、選択された位置に対応する標本の組に含まれる行動履歴をそれぞれ表示する結果画面Ｃ１０を生成する。

【0066】

〔４．判定処理の流れの一例〕
続いて、図６を用いて、判定装置１０が実行する処理の流れについて説明する。図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。例えば、判定装置１０は、各利用者の行動履歴を収集する（ステップＳ１０１）。そして、判定装置１０は、収集した行動履歴をコンテンツごとにまとめる（ステップＳ１０２）。続いて、判定装置１０は、第１コンテンツに関する第１の指標値を標本ごとに算出し（ステップＳ１０３）、各標本と関連する利用者と同じ利用者についての第２のコンテンツに関する第２の指標値を、標本ごとに算出する（ステップＳ１０４）。

【0067】

そして、判定装置１０は、式（３）、すなわち、コントロールバリエーションと呼ばれる式に基づいて、推定指標値を標本ごとに算出し（ステップＳ１０５）、推定指標値を用いて、標本間の有意差を判定する（ステップＳ１０６）。その後、判定装置１０は、判定結果を出力し（ステップＳ１０７）、処理を終了する。

【0068】

〔５．変形例〕
上記では、判定装置１０による判定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、判定装置１０が実行する判定処理のバリエーションについて説明する。

【0069】

〔５−１．コントロールバリエーションについて〕
ここで、判定装置１０は、第１コンテンツに関する第１の指標値のみならず、第２コンテンツに関する第２の指標値を用いて、第１コンテンツに関する指標値の有意差を判定するのであれば、式（３）として示した式以外の式を用いてもよい。また、判定装置１０は、第１の指標値および第２の指標値から、θの値やＥＸの値を任意の手法により求めてもよい。

【0070】

〔５−２．第２の指標値について〕
ここで、式（３）として示したコントロールバリエーションの式においては、Ｘに任意の情報を適用可能である。そこで、判定装置１０は、第１の指標値に関する利用者のクラスタリングに関する情報を、第２の指標値としてもよい。例えば、判定装置１０は、第１の標本に行動履歴が含まれる利用者を特定し、特定した利用者の属性情報をユーザデータベース３２から抽出する。そして、判定装置１０は、抽出した属性情報に基づいて、利用者のクラスタリングを行い、クラスタリングの結果を示す値を第２の指標値（すなわち、式（３）におけるＸの値）としてもよい。

【0071】

例えば、判定装置１０は、利用者が男性である場合には、第２の指標値の値を「１」とし、利用者が女性である場合には、第２の指標値の値を「０」としてもよい。より具体的には、判定装置１０は、利用者が男性である場合には、第２の指標値に含まれる値のうち、その利用者と対応する値を「０」としてもよい。

【0072】

また、例えば、判定装置１０は、属性情報に基づいて、それぞれ異なる番号が付与されたグループに複数の利用者をクラスタリングする。そして、判定装置１０は、ある利用者がクラスタリングされたグループの番号を、第２の指標値に含まれる値のうち、その利用者と対応する値としてもよい。

【0073】

なお、判定装置１０は、任意の手法を用いて、利用者のクラスタリングを行ってよい。例えば、判定装置１０は、ディープラーニングやサポートベクターマシン等といった任意のモデルを用いて、利用者のクラスタリングを行い、クラスタリングの結果を示す値を第２の指標値としてもよい。また、判定装置１０は、クラスタリングの結果を第２の指標値とした際に、推定指標値の分散の値が小さくなるように、利用者のクラスタリングを行うモデルの学習を行ってもよい。

【0074】

また、判定装置１０は、第２の指標値として、第２のコンテンツに関する利用者の行動に加えて、利用者の属性を示す属性情報を示す第２の指標値を用いて、推定指標値を算出してもよい。例えば、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象として、予めクラスタリングを行っておく。また、判定装置１０は、第１コンテンツに関する行動履歴から第１の標本と第２の標本とを選択する。また、判定装置１０は、各標本について、第１コンテンツの閲覧中に利用者が行った行動を示す第１の指標値と、その利用者が第２コンテンツを閲覧中に行った行動およびその利用者がクラスタリングされたグループの組み合わせを示す第２の指標値とを取得する。そして、判定装置１０は、第１の指標値と第２の指標値とから、推定指標値を各標本ごとに算出し、推定指標値に基づいて、各標本の有意差を判定すればよい。なお、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象とする必要はなく、例えば、第１の標本にユーザＩＤが含まれる利用者のみをクラスタリングの対象としてもよい。

【0075】

〔５−３．判定対象や判定内容について〕
ここで、判定装置１０は、第１コンテンツに関する利用者の行動を示す第１の指標値を用いて、推定指標値を算出し、推定指標値を用いて、標本の有意差を判定した。すなわち、判定装置１０は、第１コンテンツに関する利用者の行動を示す情報の有意差を判定した。ここで、判定装置１０は、第１コンテンツに関する利用者の行動を示すのであれば、任意の行動を示す情報を第１の指標値とし、その情報の有意差を判定してもよい。例えば、判定装置１０は、ＡＢテストの結果、商品や任意の投稿に対する評価、音楽や映画等の各種コンテンツに対する評価等、第１コンテンツに対して利用者が行った評価の内容を第１の指標値としてもよく、有意差の判定対象としてもよい。

【0076】

また、判定装置１０は、上述した推定指標値を用いて、Ｚ検定以外にも、ｔ検定等、任意の統計学的な検定手法を用いて、各標本が有する有意差の判定を行ってよい。

【0077】

〔５−４．装置構成〕
判定装置１０は、端末装置１００や管理者端末２００と情報のやり取りを行うフロントエンドサーバと、コンテンツサーバ５０と情報をやり取りし、上述した判定処理を実行するバックエンドサーバとにより実現されてもよい。このような場合、フロントエンドサーバには、図２に示す出力部４５が配置され、バックエンドサーバには、収集部４１、選択部４２、算出部４３、判定部４４、行動履歴データベース３１、およびユーザデータベース３２が配置されることとなる。また、記憶部３０に格納された各データベース３１、３２は、判定装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。

【0078】

〔５−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0079】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0080】

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0081】

〔６．プログラム〕
また、上述してきた実施形態に係る判定装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0082】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

【0083】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0084】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0085】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0086】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0087】

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

【0088】

〔７．効果〕
上述したように、判定装置１０は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、第１のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。

【0089】

また、判定装置１０は、第１の指標値として、第１のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、判定装置１０は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。このため、判定装置１０は、推定指標値を適切に算出することができる。

【0090】

また、判定装置１０は、第２の指標値として、第１のコンテンツとは異なるウェブサイトに関するコンテンツである第２のコンテンツにおいて利用者が行った行動を示す第２の指標値を用いて、推定指標値を算出する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、有意差の検出精度を向上させることができる。

【0091】

また、判定装置１０は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。このため、判定装置１０は、推定指標値の分散を通常の平均値よりも低下させることができるので、有意差の検出精度を向上させることができる。

【0092】

また、判定装置１０は、第１のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第２のコンテンツについて複数の利用者が行った行動を示す指標値であって、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者が行った行動を示す第２の指標値とを用いて、推定指標値を算出する。このため、判定装置１０は、適切に有意差を判定することができる。

【0093】

また、判定装置１０は、判定部による判定結果を出力する。このため、判定装置１０は、管理者等に対して判定結果を提供することができる。

【0094】

また、判定装置１０は、第２の指標値として、第２のコンテンツに関する利用者の行動と、利用者の属性を示す属性情報とを示す第２の指標値を用いて、推定指標値を算出する。このため、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させずに、カバレッジを向上させることができるので、有意差の検出精度を向上させることができる。

【0095】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0096】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、配信部は、配信手段や配信回路に読み替えることができる。

【符号の説明】

【0097】

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 行動履歴データベース
３２ ユーザデータベース
４０ 制御部
４１ 収集部
４２ 選択部
４３ 算出部
４４ 判定部
４５ 出力部
５０〜５２ コンテンツサーバ
１００〜１０２ 端末装置
２００ 管理者端末

【要約】

【課題】評価結果が有する有意性の検出精度を向上させる。
【解決手段】本願に係る判定装置は、第１のコンテンツに関する利用者の行動を示す第１の指標値と、第２のコンテンツに関する当該利用者の行動を示す第２の指標値とに基づいて、前記第１のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記第１のコンテンツに関する標本ごとに算出する算出部と、算出された前記推定指標値に基づいて、前記第１の指標値が有する有意差を判定する判定部とを有することを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】