特許 6701026 判定装置、判定方法および判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6701026

(24)【登録日】2020年5月8日

(45)【発行日】2020年5月27日

(54)【発明の名称】判定装置、判定方法および判定プログラム

(51)【国際特許分類】

   G06F 16/906 20190101AFI20200518BHJP

   G06Q 50/10 20120101ALI20200518BHJP

【ＦＩ】

   G06F16/906

   G06Q50/10

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2016-156745(P2016-156745)

(22)【出願日】2016年8月9日

(65)【公開番号】特開2018-25934(P2018-25934A)

(43)【公開日】2018年2月15日

【審査請求日】2018年9月14日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】中山 僚太

(72)【発明者】

【氏名】西村 純

【審査官】 西村 直史

(56)【参考文献】

【文献】 特開２０１６−０９５６６４（ＪＰ，Ａ）

【文献】 特開２０１５−０３２９２１（ＪＰ，Ａ）

【文献】 特開２０１０−１２４８０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

第１の標本および第２の標本に属する利用者をそれぞれランダムに選択し、標本ごとに、当該標本に属する利用者の行動であって、所定のコンテンツに関する各利用者の行動を示す値の集合に基づく第１の指標値と、各利用者の属性を示す値の集合に基づく第２の指標値とに基づいて、前記所定のコンテンツについて推定される平均的な利用者の行動を示す値である推定指標値を算出する算出部と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定部と
を有することを特徴とする判定装置。

【請求項2】

前記算出部は、前記利用者の属性に応じた分類を行うモデルを用いて、前記利用者を分類し、当該分類結果に応じた値の集合を前記第２の指標値とする
ことを特徴とする請求項１に記載の判定装置。

【請求項3】

前記算出部は、前記所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値を前記第１の指標値とする
ことを特徴とする請求項１または２に記載の判定装置。

【請求項4】

前記算出部は、前記所定のコンテンツに関する各利用者の行動を示す値の平均である第１の指標値と、各利用者の属性を示す値の平均である第２の指標値とを算出し、当該第１の指標値から、所定の係数と前記第２の指標値との積を減算し、当該所定の係数と前記第２の指標値の期待値との積を加算した値を、前記推定指標値とする
ことを特徴とする請求項１〜３のうちいずれか１つに記載の判定装置。

【請求項5】

前記算出部は、前記所定のコンテンツについて複数の利用者が行った行動を示す値に基づく第１の指標値と、当該第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性を示す値に基づく第２の指標値とを用いて、前記推定指標値を算出する
ことを特徴とする請求項１〜４のうちいずれか１つに記載の判定装置。

【請求項6】

前記判定部による判定結果を出力する出力部
を有することを特徴とする請求項１〜５のうちいずれか１つに記載の判定装置。

【請求項7】

判定装置が実行する判定方法であって、
第１の標本および第２の標本に属する利用者をそれぞれランダムに選択し、標本ごとに、当該標本に属する利用者の行動であって、所定のコンテンツに関する各利用者の行動を示す値の集合に基づく第１の指標値と、各利用者の属性を示す値の集合に基づく第２の指標値とに基づいて、前記所定のコンテンツについて推定される平均的な利用者の行動を示す値である推定指標値を算出する算出工程と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定工程と
を含むことを特徴とする判定方法。

【請求項8】

第１の標本および第２の標本に属する利用者をそれぞれランダムに選択し、標本ごとに、当該標本に属する利用者の行動であって、所定のコンテンツに関する各利用者の行動を示す値の集合に基づく第１の指標値と、各利用者の属性を示す値の集合に基づく第２の指標値とに基づいて、前記所定のコンテンツについて推定される平均的な利用者の行動を示す値である推定指標値を算出する算出手順と、
前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定手順と
をコンピュータに実行させるための判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判定装置、判定方法および判定プログラムに関する。

【背景技術】

【0002】

従来、利用者による評価結果の有意性を判定する技術が知られている。このような技術の一例として、あるウェブコンテンツを利用者に評価させた際の評価結果と、同一のウェブコンテンツについて過去に行われた評価結果とを用いることで、評価値の平均値が有するばらつきを減少させ、有意性の判定精度を向上させるＣＵＰＥＤ（Controlled-experiment Using Pre-Experiment Data）といった技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−０５２６０１号公報

【特許文献2】特開２０１１―０４３９１１号公報

【非特許文献】

【0004】

【非特許文献1】“Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data”, Alex Deng, Ya Xu, Ron Kohavi, Toby Walker, WSDM’13, February 4-8, 2013, Rome, Italy.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、新たに評価を行った利用者と過去に評価を行った利用者が重複しない場合には、平均値のばらつきが増大し、有意性の検出精度が悪化する場合がある。

【0006】

本願は、上記に鑑みてなされたものであって、評価結果が有する有意性の検出精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本願に係る判定装置は、所定のコンテンツに関する利用者の行動を示す第１の指標値と、当該利用者の属性に基づく第２の指標値とに基づいて、前記所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、前記所定のコンテンツに関する標本ごとに算出する算出部と、前記標本ごとに算出された前記推定指標値に基づいて、各標本間の有意差を判定する判定部とを有することを特徴とする。

【発明の効果】

【0008】

実施形態の一態様によれば、評価結果が有する有意性の検出精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。

【図2】図２は、実施形態に係る判定装置の構成例を示す図である。

【図3】図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。

【図4】図４は、実施形態に係るユーザデータベースに登録される情報の一例を説明する図である。

【図5】図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。

【図6】図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。

【図7】図７は、ハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る判定装置、判定方法および判定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

［実施形態］
〔１−１．判定装置の一例〕
まず、図１を用いて、判定装置が実行する判定処理の一例について説明する。図１は、実施形態に係る判定装置が実行する判定処理の一例を示す図である。図１では、判定装置１０は、インターネット等の所定のネットワークＮを介して、所定のコンテンツを配信するコンテンツサーバ５０や、管理者端末２００と通信可能である。なお、判定装置１０は、ネットワークＮを介して、利用者Ｕ０１が使用する端末装置１０１、利用者Ｕ０２が使用する端末装置１０２と通信可能であってもよい。

【0012】

端末装置１０１、１０２は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（3rd Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して、コンテンツサーバ５０といった任意のサーバ装置と通信を行うことができる携帯端末装置である。なお、端末装置１０１、１０２は、スマートデバイスのみならず、デスクトップＰＣやノートＰＣ等の情報処理装置であってもよい。なお、以下の説明では、各利用者Ｕ０１、Ｕ０２が使用する端末装置１０１、１０２を端末装置１００と総称する場合がある。また、以下の説明では、利用者Ｕ０１、利用者Ｕ０２以外にも、任意の数の利用者が使用する任意の数の端末装置１００がコンテンツサーバ５０等と通信可能であるものとする。

【0013】

コンテンツサーバ５０は、端末装置１００に対してウェブページ、ウィジェット、静止画像、動画像、ゲーム等といった各種のウェブコンテンツ（以下、「コンテンツ」と記載する。）を配信するサーバ装置である。例えば、コンテンツサーバ５０は、所定のドメインに含まれる所定のコンテンツを端末装置１００に送信する。

【0014】

管理者端末２００は、判定装置１０の管理を行う管理者が使用する端末装置であり、例えば、ＰＣやサーバ装置等により実現される。なお、管理者端末２００は、判定装置１０の管理者のみならず、判定装置１０による判定処理の結果を所望する利用者が使用する端末装置であれば、任意の利用者が使用する端末装置であってよい。

【0015】

判定装置１０は、同一の事象に含まれる標本の有意差を判定する判定装置であり、例えば、サーバ装置やクラウドシステム等により実現される。より具体的な例を説明すると、判定装置１０は、コンテンツサーバ５０が配信した所定のコンテンツにおける利用者の行動を示す情報から複数の情報をランダムに選択することで複数の標本を抽出し、抽出した標本同士に統計学的に有意な差が存在するか否かを判定する。より具体的には、判定装置１０は、所定のコンテンツにおける利用者の行動を示す標本について、ｔ検定やＺ検定等といった任意の検定手法により標本の有意差を判定する判定装置である。以下の説明では、Ｚ検定を用いた検定を行う例について説明するが、判定装置１０は、以下に説明する判定方法を、任意の検定手法に適用してよい。

【0016】

〔１−２．コントロールバリエーションについて〕
ここで、一般的な検定手法においては、有意差の判定対象となる標本ごとに平均値を算出し、算出した平均値を用いて有意差が存在するか否かを判定する。例えば、Ｚ検定といわれる手法においては、情報の母集団から１つ以上の情報をランダムに抽出した標本Ｙ^（ｔ）および標本Ｙ^（ｃ）を生成し、以下の式（１）の値が所定の閾値よりも多い場合には、標本Ｙ^（ｔ）および標本Ｙ^（ｃ）に有意差があると判定する。なお、式（１）においてオーバーラインを付したＹ^（ｔ）は、標本Ｙ^（ｔ）として抽出された値の平均値を示し、オーバーラインを付したＹ^（ｃ）は、標本Ｙ^（ｃ）として抽出された値の平均値を示す。なお、以下の説明では、オーバーラインを付した記号は、その記号が示す値の平均値を示すものとする。

【0017】

【数1】

【0018】

ここで、標本Ｙにｎ個の値Ｘｉが含まれる場合、標本Ｙの平均値は、以下の式（２）で示すことができる。

【0019】

【数2】

【0020】

ここで、式（２）を用いた場合、標本の選択や事象の内容、すなわち、所定のコンテンツにおける利用者の行動の情報によっては、平均値の分散が必ずしも小さいとは言えない場合がある。しかしながら、標本の平均値の分散が増大した場合には、有意差の検出精度が悪化する場合がある。

【0021】

そこで、コントロールバリエーション（Control Variates）と呼ばれる式を用いて所定の推定量（以下、「推定指標値」と記載する。）を算出し、式（１）に示した平均値に代えて、各標本の推定指標値を用いて、有意差を評価するＣＵＰＥＤと呼ばれる手法が知られている。例えば、ＣＵＰＥＤにおいては、以下の式（３）で示される推定指標値を標本ごとに算出する。ここで、式（３）では、推定指標値をＹ_ｃｖで示した。また、式（３）に示すＸは、標本Ｙとは独立して選択される値であり、θは、Ｘの値に応じて最適値が定まる係数である。また、式（３）に示すＥＸは、Ｘの値の期待値を示す。

【0022】

【数3】

【0023】

ここで、サンプルサイズを無限大に近づけた場合、式（３）は、式（２）と同じ式になる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定しても、適切に有意差を判定できると考えられる。さらに、式（３）で示される推定指標値の分散を算出すると、以下の式（４）を得ることができる。

【0024】

【数4】

【0025】

ここで、式（４）の右辺は、標本Ｙの平均値の分散と（１−ρ^２）との積で示すことができるが、（１−ρ^２）は１よりも小さい値を取る。つまり、ある標本Ｙについての推定指標値の値は、平均値の値よりも分散が小さくなる。このため、判定装置１０は、式（３）に示される推定指標値を用いて、式（１）から有意差を判定した場合は、有意差を精度良く算出することができる。

【0026】

〔１−３．判定処理について〕
ここで、推定指標値を算出する際のＸの値は、任意の値を採用することができる。一方で、有意差の検出力は、採用される情報のカバレッジを増加させた場合や、採用される情報間の相関性を強化した場合に増大する。

【0027】

そこで、判定装置１０は、以下の判定処理を実行する。まず、判定装置１０は、所定のコンテンツに関する利用者の行動を示す第１の指標値と、利用者の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。また、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定し、判定結果を出力する。

【0028】

例えば、判定装置１０は、所定のコンテンツの閲覧中に利用者がクリックしたリンクや、利用者が入力したクエリの値、クリックやクエリの入力を行ったか否か等、所定のコンテンツの閲覧時において利用者が実行可能な行動を示す値を第１の指標値として選択する。例えば、判定装置１０は、クエリの入力を行った利用者に対して、第１の指標値「１」を割り当て、入力しなかった利用者に対して第１の指標値「０」を割り当てる。

【0029】

続いて、判定装置１０は、所定のコンテンツの閲覧中に利用者が行った行動を示す値の中から、所定の数の値をランダムに抽出した第１の標本と第２の標本とを抽出する。そして、判定装置１０は、各標本ごとに以下の処理を実行することで、推定指標値を算出する。まず、判定装置１０は、第１の指標値として、所定のコンテンツの閲覧中に利用者が行った行動を示す値を、式（２）や式（３）に示すＹの値とする。より具体的には、判定装置１０は、第１の標本として抽出した値をＹ^（ｔ）とし、第２の標本として抽出した値をＹ^（ｃ）とする。そして、判定装置１０は、Ｙ^（ｔ）、Ｙ^（ｃ）の平均値をそれぞれ算出する。

【0030】

続いて、判定装置１０は、所定のコンテンツを閲覧した各利用者を、属性情報に基づいて複数のグループに組み分けし、組み分けの結果に基づいた値を第２の指標値として算出する。例えば、判定装置１０は、利用者の性別が男性であるか女性であるかを判定し、利用者の性別が男性である場合には値「０」を第２の指標値とし、利用者の性別が女性である場合には値「１」を第２の指標値とする。そして、端末装置１０は、第２の指標値を式（３）におけるＸの値とする。

【0031】

例えば、判定装置１０は、第１の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者の属性に基づく第２の指標値を収集する。そして、判定装置１０は、収集した値をＸ^（ｔ）とする。同様に、判定装置１０は、第２の標本に含まれる値が示す行動を行った利用者を特定し、特定した利用者の属性に基づく第２の指標値を収集する。そして、判定装置１０は、収集した値をＸ^（ｃ）とする。

【0032】

そして、判定装置１０は、Ｙ^（ｔ）の値の平均値から、所定の係数θとＸ^（ｔ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｔ）の値の期待値との積を加算した値を、第１の標本の推定指標値Ｙ^（ｔ）_ｃｖとする。また、判定装置１０は、Ｙ^（ｃ）の値の平均値から、所定の係数θとＸ^（ｃ）の値の平均値との積を減算し、さらに、所定の係数θとＸ^（ｃ）の値の期待値との積を加算した値を、第２の標本の推定指標値Ｙ^（ｃ）_ｃｖの値とする。すなわち、判定装置１０は、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を標本ごとに算出する。

【0033】

そして、判定装置１０は、Ｙ^（ｔ）_ｃｖをＹ^（ｔ）の平均値とし、Ｙ^（ｃ）_ｃｖをＹ^（ｃ）の平均値として、上述した式（１）の値を算出し、算出した値が所定の閾値を超えるか否かに基づいて、第１の標本および第２の標本の有意差を判定する。

【0034】

このように、判定装置１０は、所定のコンテンツに関する利用者の行動の標本間の有意差を判定する際に、所定のコンテンツに関する利用者の行動を示す指標値のみならず、その利用者の属性情報に応じた第２の指標値を用いて、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定する。すなわち、判定装置１０は、第１の指標値に関する利用者のクラスタリングに関する情報を、第２の指標値とする。この結果、判定装置１０は、標本のカバレッジを向上させることができるので、有意差の判定精度を向上させることができる。また、判定装置１０は、第１の標本および第２の標本に第１の指標値が含まれる利用者を特定し、特定した利用者の属性に基づく第２の指標値を用いるので、ＸとＹとの相関性を向上させる結果、有意差の判定精度を向上させることができる。

【0035】

ここで、カバレッジを向上させるため、第２の指標値として、所定のコンテンツに関する利用者の行動であって、第１の指標値の元となる行動よりも過去に取得された行動に基づく指標値を用いる手法が考えられる。しかしながら、このような手法では、所定のコンテンツが新規なコンテンツである場合や、所定のコンテンツの配信先に新規な利用者が存在する場合には、過去に出力された情報が存在しないため、推定指標値の分散が上昇する恐れがある。

【0036】

しかしながら、判定装置１０は、第２の指標値として、過去に取得された行動に基づく指標値ではなく、利用者の属性に基づく指標値を用いて、推定指標値の値を算出する。このため、判定装置１０は、所定のコンテンツを初めて所定の利用者に配信した場合であっても、その利用者の属性情報に基づく値を第２の指標値とすることで、推定指標値の分散を減少させることができる。この結果、判定装置１０は、有意差の判定精度を向上させることができる。

【0037】

〔１−４．属性情報について〕
ここで、判定装置１０は、利用者の属性に基づく値であれば、任意の属性に基づく値を第２の指標値としてもよく、利用者の属性から任意のルールに基づいて生成された値を第２の指標値としてよい。

【0038】

例えば、判定装置１０は、利用者の属性として、性別、年齢、年代、住所、趣味等といった情報を利用してもよい。また、判定装置１０は、利用者の属性として、利用者が使用している端末装置１００の種別や利用者がコンテンツを閲覧した際の位置を示す情報を用いてもよい。また、判定装置１０は、利用者の属性として、利用者が電子商店街で過去に購入した商品や役務の履歴、オークションサイト等における出品履歴や落札履歴、利用者が閲覧したウェブページの履歴等、各種の履歴を利用者の属性としてもよい。

【0039】

そして、判定装置１０は、利用者の属性に応じて、利用者を複数のグループに分類し、分類結果に応じた値を第２の指標値とする。例えば、判定装置１０は、予め所定の番号が付された複数のグループを設定し、利用者をいずれかのグループに分類する。そして、判定装置１０は、利用者が分類されたグループに設定されていた番号を第２の指標値としてもよい。

【0040】

また、例えば、判定装置１０は、利用者の属性ごとに、その属性に応じた値を決定し、決定した値に基づいて第２の指標値を算出してもよい。すなわち、判定装置１０は、利用者の属性を示す値であれば、任意の値を第２の指標値として算出してよい。

【0041】

〔１−５．グループ分けについて〕
ここで、判定装置１０は、利用者の属性に応じて利用者の分類を行うモデルを用いて、利用者の分類を行い、分類結果に応じた値を第２の指標値として採用してもよい。例えば、判定装置１０は、ＳＶＭ（Support Vector Machine）やニューラルネットワーク、ディープラーニング等といった任意の学習手法により、利用者の属性を学習したモデルを用いて、利用者の分類を行ってよい。

【0042】

また、判定装置１０は、利用者の分類結果に応じた第２の指標値を用いた際に、有意差の判定精度が向上するように学習を行ったモデルを用いてもよい。すなわち、判定装置１０は、有意差の判定精度が向上するように、利用者を分類するよう学習を行ったモデルを用いてもよい。例えば、判定装置１０は、予め有意差が算出された第１の標本および第２の標本を正解データとして取得する。また、判定装置１０は、正解データから利用者の分類を行い、分類結果に基づいた第２の指標値を算出する。そして、判定装置１０は、算出した第２の指標値を用いた際に算出される有意差が、予め算出された有意差と近づくように、モデルの修正を行ってもよい。

【0043】

なお、上述したモデルは、判定装置１０が学習を行ってもよく、判定装置１０とは異なる学習装置により予め学習が行われたものであってもよい。

【0044】

〔１−６．コンテンツについて〕
ここで、判定装置１０は、所定のコンテンツとして任意のコンテンツを採用してよい。例えば、判定装置１０は、所定のコンテンツがウェブ検索を受付けるポータルサイト、オークション、経路検索、電子商店街、ゲーム、宿泊予約、ファイナンス、天気予報、レストランの情報サイト、不動産サイト、自動車関連のサイト、各種の掲示板やブログ、レシピ等の提供を行うウェブサイト等を所定のコンテンツとして良い。また、判定装置１０は、ウェブサイトのみならず、所定のコンテンツと関連するアプリケーションやウィジェットを所定のコンテンツとし、かかるコンテンツにおける利用者の行動を示す値を第１の指標値としてもよい。

【0045】

〔１−７．利用者の共通性について〕
また、判定装置１０は、第１の指標値が示す行動を行った利用者の属性に基づく値のみならず、他の利用者の属性に基づく値を第２の指標値に加えてもよい。すなわち、判定装置１０は、第１の指標値に関する利用者と、第２の指標値に関する利用者とを完全に同一とする必要はなく、第１の指標値が示す行動を行った利用者と、第２の指標値が属性を示す利用者との一部が共通するように、第２の指標値を取得してもよい。すなわち、判定装置１０は、所定のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、かかる複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性に基づく第２の指標値とを用いて、推定指標値を算出すればよい。

【0046】

〔１−８．指標値が示す行動について〕
ここで、判定装置１０は、例えば、所定のコンテンツに関する利用者の行動を示す指標値として、所定のコンテンツを閲覧中に利用者が行ったクリックの有無やクリックしたリンク又はコンテンツ等を示す値を指標値とする。しかしながら、実施形態は、これに限定するものではない。例えば、判定装置１０は、クリック以外にも、例えば、ウェブ検索を行う際に入力したクエリの内容やクエリを入力した回数を指標値としてもよい。すなわち、判定装置１０は、任意の行動を示す値を指標値としてよい。

【0047】

例えば、判定装置１０は、所定のコンテンツに対して行った利用者の評価や、利用者が入力した所定のコンテンツに対する興味の度合いを示す値を第１の指標値としてもよい。すなわち、判定装置１０は、第１の指標値と第２の指標値とがある程度共通する利用者に関連するＫＰＩ（Key Performance Indicator）であるならば、任意の指標値を第１の指標値として採用してよい。

【0048】

〔１−９．判定処理の一例について〕
次に、図１を用いて、判定装置１０が実行する処理の一例について説明する。なお、以下の説明では、所定のコンテンツに関する利用者の行動を示す情報を第１の指標値とし、その利用者の属性を示す情報を第２の指標値として用いる処理の一例について説明する。また、図１に示す例では、利用者Ｕ０１の属性情報が「属性＃１」であり、利用者Ｕ０２の属性情報が「属性＃２」である例について説明する。

【0049】

まず、コンテンツサーバ５０は、端末装置１００からの要求に従って、所定のコンテンツを端末装置１００に配信する（ステップＳ１）。そして、コンテンツサーバ５０は、所定のコンテンツの閲覧中に利用者Ｕ０１、Ｕ０２が行ったクリックの内容を示すクリック履歴とともに、その利用者Ｕ０１、Ｕ０２の属性を示す属性情報「属性＃１」、「属性＃２」を収集する（ステップＳ２）。なお、コンテンツサーバ５０は、例えば、利用者Ｕ０１、Ｕ０２の属性情報を管理する管理サーバ（図示は省略）等の外部サーバから、利用者Ｕ０１、Ｕ０２の属性情報を収集してもよい。

【0050】

続いて、判定装置１０は、所定のコンテンツに関するクリック履歴と属性情報とをコンテンツサーバ５０から収集する（ステップＳ３）。そして、判定装置１０は、各クリック履歴が示すクリックの内容を行動内容とし、行動内容と、クリックを行った利用者の利用者ＩＤとを対応付けて行動履歴データベース３１に登録する。

【0051】

また、判定装置１０は、収集した属性情報に基づいて、利用者Ｕ０１、Ｕ０２をグルーピングする（ステップＳ４）。より具体的には、判定装置１０は、属性情報を入力すると、属性の種別ごとに、属性の内容を示す値を出力するモデルを用いて、利用者の属性情報を示す値を算出する。

【0052】

例えば、図１に示すモデルは、性別が「男性」である場合には性別に対応する値「１」を出力し、性別が「女性」である場合には性別に対応する値「０」を出力するものとする。また、例えば、図１に示すモデルは、年代が「２０代」である場合には、年代に対応する値「２」を出力し、年代が「３０代」である場合には、年代に対応する値「３」を出力するものとする。また、例えば、図１に示すモデルは、住所が「神奈川在住」である場合には、住所に対応する値「４」を出力し、住所が「東京在住」である場合には、住所に対応する値「５」を出力するものとする。

【0053】

例えば、図１に示す例では、利用者Ｕ０１の属性情報「属性＃１」の内容が、性別「男性」、年代「３０代」、住所「東京在住」であるものとする。このような属性を入力した場合、図１に示すモデルは、利用者Ｕ０１の属性情報を示す値「１」、「３」、「５」を出力する。そして、判定装置１０は、モデルが出力した値を並べた３桁の値「１３５」を、利用者Ｕ０１の分類先となるグループを示す値、すなわち、第２の指標値とする。その後、判定装置１０は、利用者ＩＤと利用者の属性情報と第２の指標値とを対応付けてユーザデータベース３２に登録する。

【0054】

なお、例えば、利用者Ｕ０２の属性情報「属性＃２」の内容が、性別「女性」、年代「２０代」、住所「神奈川在住」である場合、図１に示すモデルは、利用者Ｕ０２の属性情報を示す値として「０」、「２」、「４」を出力する。このため、判定装置１０は、モデルが出力する値を並べた３桁の値「０２４」を、利用者Ｕ０２の分類先となるグループを示す値、すなわち、第２の指標値とする。

【0055】

また、判定装置１０は、所定のコンテンツに関する標本の有意差を判定する場合、所定のコンテンツのクリック履歴から第１の指標値を標本ごとに算出する（ステップＳ５）。例えば、判定装置１０は、所定のコンテンツのクリック履歴から、所定の数のクリック履歴を第１の標本としてランダムに選択し、第１の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｔ）とする。同様に、判定装置１０は、所定のコンテンツのクリック履歴から、所定の数のクリック履歴を第２の標本としてランダムに選択し、第２の標本として選択したクリック履歴の内容を示す値の集合を第１の指標値Ｙ^（ｃ）とする。

【0056】

また、判定装置１０は、利用者のグルーピング結果に応じた第２の指標値を標本ごとに算出する（ステップＳ６）。例えば、判定装置１０は、第１の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が分類されたグループを示す値をユーザデータベース３２から抽出する。そして、判定装置１０は、抽出した値の集合を第２の指標値Ｘ^（ｔ）とする。同様に、判定装置１０は、第２の標本として選択されたクリック履歴が示すクリックを行った利用者を特定し、特定した利用者が分類されたグループを示す値をユーザデータベース３２から抽出し、抽出した値の集合を第２の指標値Ｘ^（ｃ）とする。

【0057】

そして、判定装置１０は、所定のコンテンツについて推定される平均的な利用者の行動を示す値、すなわち、推定指標値を標本ごとに算出する（ステップＳ７）。例えば、判定装置１０は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、Ｙ^（ｔ）_ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、Ｙ^（ｃ）_ｃｖの値を式（３）から算出する。そして、判定装置１０は、算出した推定指標値を用いて、標本間の有意差を判定する（ステップＳ８）。例えば、判定装置１０は、Ｙ^（ｔ）_ｃｖの値をＹ^（ｔ）の平均値とし、Ｙ^（ｃ）_ｃｖの値をＹ^（ｃ）の平均値として、Ｚ検定を行い、有意差が存在するか否かを判定する。そして、判定装置１０は、検定結果を管理者端末２００へと提供する（ステップＳ９）。

【0058】

〔２．判定装置の構成〕
以下、上記した判定処理を実現する判定装置１０が有する機能構成の一例について説明する。図２は、実施形態に係る判定装置の構成例を示す図である。図２に示すように、判定装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0059】

通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００や管理者端末２００、コンテンツサーバ５０との間で情報の送受信を行う。

【0060】

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、行動履歴データベース３１、ユーザデータベース３２、および分類モデルデータ３３を記憶する。

【0061】

行動履歴データベース３１には、所定のコンテンツに関する利用者の行動を示す情報、すなわち、行動履歴が格納される。例えば、図３は、実施形態に係る行動履歴データベースに登録される情報の一例を示す図である。図３に示すように、行動履歴データベース３１には、「コンテンツＩＤ」、「利用者ＩＤ」、「行動内容」等といった項目を有する情報が登録されている。なお、行動履歴データベース３１には、図３に示す情報以外にも、任意の情報が登録されていてもよい。

【0062】

ここで、「コンテンツＩＤ」とは、コンテンツの識別子である。また、「利用者ＩＤ」とは、対応付けられた行動履歴が示す行動を行った利用者の識別子である。また、「行動内容」とは、利用者の行動を示す情報であり、例えば、クリックの内容を示す情報である。例えば、図３に示す例では、コンテンツＩＤ「コンテンツ＃１」、利用者ＩＤ「Ｕｓｅｒ＃１」、および行動内容「Ｃｌｉｃｋ＃１」とが対応付けて登録されている。このような情報は、コンテンツＩＤ「コンテンツ＃１」が示すコンテンツを閲覧中に、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者が、行動内容「Ｃｌｉｃｋ＃１」が示すクリックを行った旨を示す情報である。なお、行動内容は、どのようなクリックが行われたかのみならず、クリックの有無を示す情報であってもよい。

【0063】

図２に戻り説明を続ける。ユーザデータベース３２には、利用者の識別子であるユーザＩＤと利用者の属性情報とが、属性情報の項目ごとに対応付けて登録されている。例えば、図４は、実施形態に係るユーザデータベースに登録される情報の一例を説明する図である。例えば、図４に示す例では、ユーザデータベース３２には、「利用者ＩＤ」、「属性項目」、「属性情報」、および「グループ」といった項目を有する情報が、「利用者ＩＤ」ごとに複数登録されている。「属性項目」とは、属性情報の項目を示す情報であり、例えば、「性別」、「年齢」、「住所」等といった情報が登録される。また、「属性情報」とは、対応付けられたユーザＩＤが示す利用者の属性情報であって、対応付けられた属性項目が示す内容の属性情報である。また、「グループ」とは、対応付けられた利用者ＩＤが示す利用者が分類されたグループを示す値、すなわち、利用者の属性情報を示す値である。

【0064】

例えば、図４に示す例では、利用者ＩＤ「Ｕｓｅｒ＃１」に対し、属性項目「性別」および属性情報「男性」が対応付けて登録され、属性項目「年齢」（「年代」でもよい。）および属性情報「３０代」が対応付けて登録され、属性項目「住所」および属性情報「Ａ市」が対応付けて登録され、グループ「１３５」が対応付けて登録されている。このような情報は、例えば、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の性別が男性であり、年齢が３０代に含まれる年齢であり、住所がＡ市である旨を示している。またこのような情報は、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の分類先となるグループが「１３５」である旨を示している。すなわち、このような情報は、利用者ＩＤ「Ｕｓｅｒ＃１」が示す利用者の属性情報を示す値が「１３５」である旨を示す。

【0065】

なお、ユーザデータベース３２には、図４に示す属性項目や属性情報以外にも、任意の属性項目や属性情報が登録されていてよい。また、ユーザデータベース３２には、必ずしも全ての属性項目について属性情報が登録されている必要はなく、利用者が登録した、または、利用者の行動履歴から推定された属性情報のみが登録されていてもよい。

【0066】

図２に戻り、説明を続ける。分類モデルデータ３３は、利用者の属性情報に基づいて、利用者の分類を行うモデルである。例えば、分類モデルデータ３３は、利用者の属性情報が入力されると、属性情報の種別ごとに、利用者の属性を示す値を算出するモデルである。

【0067】

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、判定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0068】

図２に示すように、制御部４０は、収集部４１、選択部４２、算出部４３、判定部４４、出力部４５、および学習部４６を有する。収集部４１は、所定のコンテンツに関する利用者の行動を示す行動履歴をコンテンツサーバ５０から収集する。より具体的には、収集部４１は、行動を行った利用者の利用者ＩＤと、利用者が行った行動の内容を示す行動内容と、利用者が閲覧していたコンテンツを示すコンテンツＩＤとを対応付けた情報を行動履歴としてコンテンツサーバ５０から収集する。そして、収集部４１は、収集した行動履歴を行動履歴データベース３１に登録する。すなわち、収集部４１は、行動履歴を収集し、利用者が閲覧していたコンテンツ毎に行動履歴をまとめて行動履歴データベース３１に登録する。

【0069】

また、収集部４１は、利用者の属性情報をコンテンツサーバ５０から収集する。また、収集部４１は、収集した属性情報を分類モデルデータ３３に入力し、分類モデルデータ３３が出力した値、すなわち、第２の指標値となる値を、利用者の属性情報と、利用者ＩＤと対応付けてユーザデータベース３２に登録する。

【0070】

選択部４２は、行動履歴データベース３１およびユーザデータベース３２に登録された情報から、第１の標本および第２の標本を選択する。例えば、選択部４２は、管理者端末２００から所定のコンテンツに関する標本の有意差を判定する旨の要求を受付けた場合、所定のコンテンツを示すコンテンツＩＤ（例えば、コンテンツＩＤ「コンテンツ＃１」）を含む行動履歴を行動履歴データベース３１から特定する。

【0071】

具体的には、選択部４２は、第１の標本に含まれる第１の指標値として、特定した行動履歴からランダムに所定の数の利用者ＩＤと行動履歴との組を選択する。続いて、選択部４２は、第１の指標値として選択した組に含まれる利用者ＩＤと同じ利用者ＩＤに対応付けられた「グループ」の値を第２の指標値としてユーザデータベース３２から選択する。なお、選択部４２は、第１の指標値として選択した組に含まれる利用者ＩＤのうち、所定の数の利用者ＩＤを選択し、選択した利用者ＩＤと対応付けられたグループの値に加えてランダムに選択したグループの値を第２の指標値としてもよい。同様に、選択部４２は、第２の標本に含まれる第１の指標値として、特定した行動履歴からランダムに所定の数の利用者ＩＤと行動履歴との組を選択し、選択した利用者ＩＤと対応する利用者ＩＤと対応付けられた「グループ」の値を第２の標本に含まれる第２の指標値とする。

【0072】

算出部４３は、所定のコンテンツに関する利用者Ｕ０１、Ｕ０２の行動を示す第１の指標値と、利用者Ｕ０１、Ｕ０２の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者Ｕ０１、Ｕ０２の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。

【0073】

具体的には、算出部４３は、第１の指標値として、所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。また、算出部４３は、第２の指標値として、第２のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出してもよい。また、算出部４３は、利用者の属性に応じて利用者の分類を行うモデルを用いて、利用者の分類を行い、分類結果に応じた値を第２の指標値とする。そして、算出部４３は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。

【0074】

例えば、算出部４３は、選択部４２が選択した第１の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｔ）とする。また、算出部４３は、第２の標本に含まれる複数の行動履歴をそれぞれ数値化し、第１の指標値Ｙ^（ｃ）とする。続いて、算出部４３は、選択部４２が選択した第１の標本に含まれる「グループ」の値を第２の指標値Ｘ^（ｔ）とする。また、算出部４３は、選択部４２が選択した第２の標本に含まれる「グループ」の値を第２の指標値Ｘ^（ｃ）とする。

【0075】

そして、算出部４３は、第１の指標値Ｙ^（ｔ）と第２の指標値Ｘ^（ｔ）とを用いて、第１の標本に係る推定指標値Ｙ^（ｔ）_ｃｖの値を式（３）から算出し、第１の指標値Ｙ^（ｃ）と第２の指標値Ｘ^（ｃ）とを用いて、第２の標本に係る推定指標値Ｙ^（ｃ）_ｃｖの値を式（３）から算出する。

【0076】

判定部４４は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。具体的には、判定部４４は、算出部４３が算出した推定指標値Ｙ^（ｔ）_ｃｖおよびＹ^（ｃ）_ｃｖを用いて、式（１）から標本間の有意差を示す値を算出し、算出した値が所定の閾値よりも多いか否かを判定する。そして、判定部４４は、算出した値が所定の閾値よりも多い場合には、有意差が存在すると判定し、算出した値が所定の閾値以下である場合には、有意差が存在しないと判定する。

【0077】

出力部４５は、判定部４４による判定結果を管理者端末２００に出力する。例えば、出力部４５は、判定部４４が実行する判定結果に基づいて、判定結果を示す結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に配信する。

【0078】

例えば、図５は、実施形態に係る判定装置が生成する結果画面の一例を示す図である。例えば、判定装置１０は、所定のコンテンツに関する利用者の行動履歴からランダムに選択した第１の標本と第２の標本との組を複数組抽出し、抽出した組ごとに上述した判定処理を実行することで、有意差を示す値を算出する。そして、判定装置１０は、図５に示すような結果画面Ｃ１０を生成し、生成した結果画面Ｃ１０を管理者端末２００に表示させる。

【0079】

例えば、判定装置１０は、図５に示すように、標本の組ごとに有意差を示す値を算出し、算出結果を用いて、横軸方向に標本の組、縦軸方向に有意差を示す値を設定したグラフを生成する。そして、判定装置１０は、グラフのうち、有意差の値が所定の閾値を超える範囲を太線で示し、有意差の値が所定の閾値以下となる範囲を点線で示す。また、判定装置１０は、図５に示すグラフ中の黒丸印で示すように、管理者端末２００の管理者がグラフ上の位置を選択した場合には、選択された位置に対応する標本の組に含まれる行動履歴をそれぞれ表示する結果画面Ｃ１０を生成する。

【0080】

図２に戻り、説明を続ける。学習部４６は、分類モデルデータ３３の学習を行う。例えば、学習部４６は、予め有意差が算出された第１の標本および第２の標本を正解データとし、正解データから利用者の分類を行い、分類結果に基づいた第２の指標値を算出する。そして、学習部４６は、算出した第２の指標値を用いた際に算出される有意差が、予め算出された有意差と近づくように、分類モデルデータ３３の修正を行う。なお、学習部４６は、上述した学習処理以外にも、任意の学習手法を用いて、利用者Ｕ０１、Ｕ０２の属性から利用者Ｕ０１、Ｕ０２をグルーピングするモデルを学習を行ってよい。

【0081】

〔３．判定処理の流れの一例〕
続いて、図６を用いて、判定装置１０が実行する処理の流れについて説明する。図６は、実施形態にかかる判定装置が実行する判定処理の流れの一例を示すフローチャートである。例えば、判定装置１０は、各利用者の行動履歴と属性情報とを収集する（ステップＳ１０１）。そして、判定装置１０は、収集した属性情報に基づいて、利用者のグルーピングを行う（ステップＳ１０２）。続いて、判定装置１０は、所定のコンテンツに関する第１の指標値を標本ごとに算出し（ステップＳ１０３）、各標本と関連する利用者と同じ利用者のグルーピング結果に基づく第２の指標値を、標本ごとに算出する（ステップＳ１０４）。

【0082】

そして、判定装置１０は、式（３）、すなわち、コントロールバリエーションと呼ばれる式に基づいて、推定指標値を標本ごとに算出し（ステップＳ１０５）、推定指標値を用いて、標本間の有意差を判定する（ステップＳ１０６）。その後、判定装置１０は、判定結果を出力し（ステップＳ１０７）、処理を終了する。

【0083】

〔４．変形例〕
上記では、判定装置１０による判定処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、判定装置１０が実行する判定処理のバリエーションについて説明する。

【0084】

〔４−１．コントロールバリエーションについて〕
ここで、判定装置１０は、所定のコンテンツに関する第１の指標値のみならず、利用者の属性に基づく第２の指標値を用いて、所定のコンテンツに関する指標値の有意差を判定するのであれば、式（３）として示した式以外の式を用いてもよい。また、判定装置１０は、第１の指標値および第２の指標値から、θの値やＥＸの値を任意の手法により求めてもよい。

【0085】

〔４−２．第２の指標値について〕
ここで、式（３）として示したコントロールバリエーションの式においては、Ｘに任意の情報を適用可能である。そこで、判定装置１０は、第１の指標値が示す行動に関連するウェブページとはクロスドメインの関係を有するウェブページ等、所定のウェブページとは異なるウェブページに関する利用者の行動を示す値を第２の指標値としてもよい。

【0086】

例えば、判定装置１０は、所定のコンテンツに関する利用者の行動の標本間の有意差を判定する際に、所定のコンテンツに関する利用者の行動を示す値を第１の指標値とする。また、判定装置１０は、所定のコンテンツとクロスドメインの関係を有する第２コンテンツの閲覧中に利用者が行った行動を示す値を第２の指標値とする。そして、判定装置１０は、標本ごとに推定指標値を算出し、算出した推定指標値に基づき、標本間の有意差を判定してもよい。

【0087】

なお、判定装置１０は、第２コンテンツの閲覧中に利用者が行った行動と、その利用者の属性とに応じた値を第２の指標値としてもよい。例えば、判定装置１０は、第２コンテンツの閲覧中に利用者が行った行動を示す値と、利用者の属性情報を示す値とを並べた値を第２の指標値としてもよい。

【0088】

また、他の例では、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象として、予めクラスタリングを行っておく。また、判定装置１０は、所定のコンテンツに関する行動履歴から第１の標本と第２の標本とを選択する。また、判定装置１０は、各標本について、所定のコンテンツの閲覧中に利用者が行った行動を示す第１の指標値と、その利用者が第２コンテンツを閲覧中に行った行動およびその利用者がクラスタリングされたグループの組み合わせを示す第２の指標値とを取得する。そして、判定装置１０は、第１の指標値と第２の指標値とから、推定指標値を各標本ごとに算出し、推定指標値に基づいて、各標本の有意差を判定すればよい。なお、判定装置１０は、行動履歴を収集した全ての利用者をクラスタリングの対象とする必要はなく、例えば、第１の標本にユーザＩＤが含まれる利用者のみをクラスタリングの対象としてもよい。

【0089】

〔４−３．判定対象や判定内容について〕
ここで、判定装置１０は、所定のコンテンツに関する利用者の行動を示す第１の指標値を用いて、推定指標値を算出し、推定指標値を用いて、標本の有意差を判定した。すなわち、判定装置１０は、所定のコンテンツに関する利用者の行動を示す情報の有意差を判定した。ここで、判定装置１０は、所定のコンテンツに関する利用者の行動を示すのであれば、任意の行動を示す情報を第１の指標値とし、その情報の有意差を判定してもよい。例えば、判定装置１０は、ＡＢテストの結果、商品や任意の投稿に対する評価、音楽や映画等の各種コンテンツに対する評価等、所定のコンテンツに対して利用者が行った評価の内容を第１の指標値としてもよく、有意差の判定対象としてもよい。

【0090】

また、判定装置１０は、上述した推定指標値を用いて、Ｚ検定以外にも、ｔ検定等、任意の統計学的な検定手法を用いて、各標本が有する有意差の判定を行ってよい。

【0091】

〔４−４．装置構成〕
判定装置１０は、端末装置１００や管理者端末２００と情報のやり取りを行うフロントエンドサーバと、コンテンツサーバ５０と情報をやり取りし、上述した判定処理を実行するバックエンドサーバとにより実現されてもよい。このような場合、フロントエンドサーバには、図２に示す出力部４５が配置され、バックエンドサーバには、収集部４１、選択部４２、算出部４３、判定部４４、行動履歴データベース３１、およびユーザデータベース３２が配置されることとなる。また、記憶部３０に格納された各データベース３１、３２や分類モデルデータ３３は、判定装置１０の内部ではなく、例えば、外部のストレージサーバ等に格納されていてもよい。

【0092】

〔４−５．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0093】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0094】

また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0095】

〔５．プログラム〕
また、上述してきた実施形態に係る判定装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

【0096】

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ、フラッシュメモリ等により実現される。

【0097】

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

【0098】

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

【0099】

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

【0100】

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

【0101】

例えば、コンピュータ１０００が判定装置１０として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。

【0102】

〔６．効果〕
上述したように、判定装置１０は、所定のコンテンツに関する利用者Ｕ０１、Ｕ０２の行動を示す第１の指標値と、利用者Ｕ０１、Ｕ０２の属性に基づく第２の指標値とに基づいて、所定のコンテンツに関して推定される利用者の行動を示す推定指標値を、所定のコンテンツに関する標本ごとに算出する。そして、判定装置１０は、標本ごとに算出された推定指標値に基づいて、各標本間の有意差を判定する。この結果、判定装置１０は、有意差の判定に用いる情報の相関性を悪化させることなく、カバレッジを向上させることができるので、推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。

【0103】

また、判定装置１０は、利用者Ｕ０１、Ｕ０２の属性に応じた分類を行うモデルを用いて、利用者Ｕ０１、Ｕ０２を分類し、分類結果に応じた値を第２の指標値とする。このため、判定装置１０は、容易な処理で推定指標値の分散を低下させ、有意差の検出精度を向上させることができる。

【0104】

また、判定装置１０は、第１の指標値として、所定のコンテンツの閲覧中に行った選択操作の内容を示す値の平均値から、推定指標値を算出する。このため、判定装置１０は、推定指標値を適切に算出することができる。

【0105】

また、判定装置１０は、第１の指標値の平均値に対し、所定の係数と第２の指標値の平均値との積を減算し、所定の係数と第２の指標値の期待値との積を加算した値を推定指標値とする。このため、判定装置１０は、推定指標値の分散を通常の平均値よりも低下させることができるので、有意差の検出精度を向上させることができる。

【0106】

また、判定装置１０は、所定のコンテンツについて複数の利用者が行った行動を示す第１の指標値と、第１の指標値が示す行動を行った複数の利用者のうち、所定の数の利用者を含む複数の利用者の属性に基づく第２の指標値とを用いて、推定指標値を算出する。このため、判定装置１０は、適切に有意差を判定することができる。

【0107】

また、判定装置１０は、判定結果を出力する。このため、判定装置１０は、管理者等に対して判定結果を提供することができる。

【0108】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0109】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、算出部は、算出手段や算出回路に読み替えることができる。

【符号の説明】

【0110】

１０ 判定装置
２０ 通信部
３０ 記憶部
３１ 行動履歴データベース
３２ ユーザデータベース
３３ 分類モデルデータ３３
４０ 制御部
４１ 収集部
４２ 選択部
４３ 算出部
４４ 判定部
４５ 出力部
４６ 学習部
５０ コンテンツサーバ
１００〜１０２ 端末装置
２００ 管理者端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】