特許 6570501 情報提供装置、情報提供方法、および情報提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6570501

(24)【登録日】2019年8月16日

(45)【発行日】2019年9月4日

(54)【発明の名称】情報提供装置、情報提供方法、および情報提供プログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20190826BHJP

   G09F 19/00 20060101ALI20190826BHJP

   G06F 17/18 20060101ALI20190826BHJP

【ＦＩ】

   G06Q30/02 382

   G09F19/00 Z

   G06F17/18 D

【請求項の数】10

【全頁数】14

(21)【出願番号】特願2016-216155(P2016-216155)

(22)【出願日】2016年11月4日

(65)【公開番号】特開2018-73341(P2018-73341A)

(43)【公開日】2018年5月10日

【審査請求日】2018年8月23日

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100174986

【弁理士】

【氏名又は名称】林 康旨

(72)【発明者】

【氏名】中山 僚太

【審査官】 塩田 徳彦

(56)【参考文献】

【文献】 特開２０１６−９１３０６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２４１９３８（ＵＳ，Ａ１）

【文献】 特開２００１−５１９７４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｆ １７／１８

(57)【特許請求の範囲】

【請求項1】

負の二項分布に基づいて、複数の観測データを含む実母集団の平均および分散を推定する推定部と、
前記推定部により推定された平均および分散に基づいて、第１の疑似母集団を生成する第１の生成部と、
前記第１の生成部により生成された第１の疑似母集団の平均を増加または減少させたリフト平均と、前記第１の疑似母集団の分散とに基づいて、第２の疑似母集団を生成する第２の生成部と、
前記第１の生成部により生成された第１の疑似母集団から、複数のサンプルを含む第１のサンプル集合を抽出すると共に、前記第２の生成部により生成された第２の疑似母集団から、複数のサンプルを含む第２のサンプル集合を抽出する抽出部と、
前記抽出部により抽出された第１のサンプル集合および第２のサンプル集合に基づいて検定を行う検定部と、
前記検定部により行われた検定の結果を評価する評価部と、
前記評価部による評価結果を出力する出力部と、
を備える情報提供装置。

【請求項2】

前記第１の疑似母集団を示す分布および前記第２の疑似母集団を示す分布は、非対称な分布である、
請求項１に記載の情報提供装置。

【請求項3】

前記実母集団は、各利用者のコンバージョン数を観測データとして含む統計的なデータの集合である、
請求項１または２に記載の情報提供装置。

【請求項4】

前記検定部は、ｔ検定またはカイ二乗検定の少なくとも一方を行う、
請求項１から３のうちいずれか１項に記載の情報提供装置。

【請求項5】

前記抽出部は、前記実母集団に含まれる観測データの数に基づいて、前記第１の疑似母集団から、サンプル数が互いに異なる複数種類の前記第１のサンプル集合を抽出すると共に、前記第２の疑似母集団から、サンプル数が互いに異なる複数種類の前記第２のサンプル集合を抽出する、
請求項１から４のうちいずれか１項に記載の情報提供装置。

【請求項6】

前記評価部は、前記検定の結果として得られる、第一種過誤が生じる確率と、前記第１のサンプル集合または前記第２のサンプル集合に含まれるサンプル数との関係について評価する、
請求項１から５のうちいずれか１項に記載の情報提供装置。

【請求項7】

前記評価部は、前記リフト平均として、前記第１の疑似母集団の平均を増加または減少させたときの増加度合または減少度合と、前記検定の結果として得られる、第二種過誤が生じる確率に基づく値との関係について評価する、
請求項１から６のうちいずれか１項に記載の情報提供装置。

【請求項8】

前記評価部は、前記検定の結果として得られる、第二種過誤が生じる確率に基づく値と、前記第１のサンプル集合または前記第２のサンプル集合に含まれるサンプル数との関係について評価する、
請求項１から７のうちいずれか１項に記載の情報提供装置。

【請求項9】

コンピュータが、
負の二項分布に基づいて、複数の観測データを含む実母集団の平均および分散を推定し、
前記推定した平均および分散に基づいて、第１の疑似母集団を生成し、
前記生成した第１の疑似母集団の平均を増加または減少させたリフト平均と、前記第１の疑似母集団の分散とに基づいて、第２の疑似母集団を生成し、
前記生成した第１の疑似母集団から、複数のサンプルを含む第１のサンプル集合を抽出すると共に、前記生成した第２の疑似母集団から、複数のサンプルを含む第２のサンプル集合を抽出し、
前記抽出した第１のサンプル集合および第２のサンプル集合に基づいて検定を行い、
前記行った検定の結果を評価し、
前記評価した結果を出力する、
情報提供方法。

【請求項10】

コンピュータに、
負の二項分布に基づいて、複数の観測データを含む実母集団の平均および分散を推定させ、
前記推定させた平均および分散に基づいて、第１の疑似母集団を生成させ、
前記生成させた第１の疑似母集団の平均を増加または減少させたリフト平均と、前記第１の疑似母集団の分散とに基づいて、第２の疑似母集団を生成させ、
前記生成させた第１の疑似母集団から、複数のサンプルを含む第１のサンプル集合を抽出させると共に、前記生成させた第２の疑似母集団から、複数のサンプルを含む第２のサンプル集合を抽出させ、
前記抽出させた第１のサンプル集合および第２のサンプル集合に基づいて検定を行わせ、
前記行わせた検定の結果を評価させ、
前記評価させた結果を出力させる、
情報提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供装置、情報提供方法、および情報提供プログラムに関する。

【背景技術】

【0002】

広告を閲覧した利用者が広告依頼者の期待する所定の行動をとったことを、コンバージョンとして検出する技術が知られている（例えば特許文献１参照）。一方で、ある母集団分布の母数に関する仮説を、その母集団から抽出したサンプルを用いて検証する仮説検定手法が知られている。近年、このような検定手法を用いて、コンバージョンなどの電子商取引に関連した評価指標を分析することが研究されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１５７１５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、検定の対象とする母集団の分布が歪んでいる場合、検定の精度が低下する場合があり、種々の解析に好ましくない影響を与えるおそれがあった。

【0005】

本発明は、このような事情を考慮してなされたものであり、検定時の精度を一定以上に保つために必要な条件に関する情報を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、負の二項分布に基づいて、複数の観測データを含む実母集団の平均および分散を推定する推定部と、前記推定部により推定された平均および分散に基づいて、第１の疑似母集団を生成する第１の生成部と、前記第１の生成部により生成された第１の疑似母集団の平均を増加または減少させたリフト平均と、前記第１の疑似母集団の分散とに基づいて、第２の疑似母集団を生成する第２の生成部と、前記第１の生成部により生成された第１の疑似母集団から、複数のサンプルを含む第１のサンプル集合を抽出すると共に、前記第２の生成部により生成された第２の疑似母集団から、複数のサンプルを含む第２のサンプル集合を抽出する抽出部と、前記抽出部により抽出された第１のサンプル集合および第２のサンプル集合に基づいて検定を行う検定部と、前記検定部により行われた検定の結果を評価する評価部と、前記評価部による評価結果を出力する出力部と、を備える情報提供装置である。

【発明の効果】

【0007】

本発明の一態様によれば、検定時の精度を一定以上に保つために必要な条件に関する情報を提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態における情報提供装置１００を含む情報提供システム１の一例を示す図である。

【図2】実施形態における情報提供装置１００の構成の一例を示す図である。

【図3】実母集団情報１３２の一例を示す図である。

【図4】制御部１１０による一連の処理の一例を示すフローチャートである。

【図5】第１疑似母集団および第２疑似母集団の一例を示す図である。

【図6】コントロールバケットおよびテストバケットの一例を示す図である。

【図7】検定結果の一例を示す図である。

【図8】Type 1 errorと、コントロールバケットおよびテストバケットに含まれるサンプル数との関係の一例を示す図である。

【図9】検出力と増減率ｎとの関係の一例を示す図である。

【図10】検出力と、コントロールバケットおよびテストバケットに含まれるサンプル数との関係の一例を示す図である。

【図11】情報出力部１０４により出力される画面の一例を示す図である。

【図12】実施形態の情報提供装置１００のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報提供装置、情報提供方法、および情報提供プログラムの実施形態について説明する。

【0010】

［概要］
実施形態の情報提供装置は、一以上のプロセッサによって実現される。情報提供装置は、負の二項分布に基づいて、複数の観測データを含む実母集団の平均および分散を推定し、推定した平均および分散に基づいて二つの疑似母集団を生成する。実母集団は、例えば、ユーザごとのコンバージョンの成立数を観測データとして有する統計的なデータの集合である。コンバージョンについては後述する。

【0011】

そして、情報提供装置は、それぞれの疑似母集団から幾つかのサンプルを含むサンプル集合を抽出し、抽出した二つのサンプル集合に基づいて仮説検定を行うと共に、その仮説検定の手法を評価し、その評価結果を出力する。これによって、検定時の精度を一定以上に保つために必要な条件に関する情報を提供することができる。検定時の精度を一定以上に保つために必要な条件とは、例えば、疑似母集団から抽出するサンプル集合において最低限必要なサンプル数であったり、二つの疑似母集団の重複度合（後述する増減率）であったり、その他種々の条件のことをいう。

【0012】

［全体構成］
図１は、実施形態における情報提供装置１００を含む情報提供システム１の一例を示す図である。実施形態における情報提供システム１は、複数の情報収集装置１０−１から１０−ｎ（ｎは任意の自然数）と、情報提供装置１００とを備える。これらの装置は、ネットワークＮＷを介して互いに接続される。ネットワークＮＷは、例えば、無線基地局、Ｗｉ−Ｆｉアクセスポイント、通信回線、プロバイダ、インターネットなどを含む。なお、図１に示す各装置の全ての組み合わせが相互に通信可能である必要はなく、ネットワークＮＷは、一部にローカルなネットワークを含んでもよい。

【0013】

複数の情報収集装置１０−１から１０−ｎのそれぞれは、例えば、ショッピングサイトやオークションサイト、フリーマーケットサイトなどのウェブサイト（以下、これらを総括して販売サイトと称する）において、ユーザごとにコンバージョンが成立したか否かを判定する。そして、複数の情報収集装置１０−１から１０−ｎのそれぞれは、ユーザごとにコンバージョンの成立数（以下、コンバージョン数と称する）をカウントする。

【0014】

本実施形態におけるコンバージョンとは、販売サイトにおいて販売される商品またはサービス（以下、アイテムと称する）の広告を閲覧したユーザが、広告依頼者（例えば販売サイトの管理者など）の期待する所定の行動をとったこと、と定義される。所定の行動とは、例えば、広告を閲覧したユーザが、販売サイトにおいて販売されるアイテムを購入したり、販売サイトにおいて販売されるアイテムを掲載するウェブページにアクセスしたりすることである。また、広告とは、所謂インターネット広告やオンライン広告、ウェブ広告と呼ばれるものであり、ウェブページ上にバナーやテキスト、動画として表示されたり、メール内に表示されたりする。以下、複数の情報収集装置１０−１から１０−ｎのそれぞれを区別しない場合、単に情報収集装置１０と称して説明する。また、販売サイトは、情報収集装置１０によって提供されるものとして説明するが、他のウェブサーバ装置によって提供されてもよい。

【0015】

また、情報収集装置１０は、ウェブブラウザを介して販売サイトを提供するウェブサーバ装置の代わりに、アプリケーションサーバ装置であってもよい。アプリケーションサーバ装置は、例えば、販売サイトに相当するアプリケーション（例えばショッピングアプリなど）が起動された端末装置（不図示）と通信を行って、各種情報の受け渡しを行う。これによって、端末装置には、販売サイトと同様のサービスが提供される。この場合、広告は、アプリケーションのプログラムによって端末装置の画面に表示されてよい。以下、説明を簡略化するために、情報収集装置１０は、販売サイトを提供するウェブサーバ装置であるものとして説明する。

【0016】

例えば、情報収集装置１０は、広告の選択に伴って生成される管理情報の有無に基づいて、ユーザごとにコンバージョンが成立したか否かを判定する。例えば、販売サイト内で広告がクリック操作やタップ操作などで選択されると、情報収集装置１０は、広告を選択した端末装置に管理情報を送信する。管理情報とは、例えば、ウェブブラウザごとに管理されるクッキー（HTTP cookie）またはWeb Storage機能に関する情報である。一方、販売サイト内でアイテムが購入された場合、情報収集装置１０は、アイテムの購入時に利用された端末装置から管理情報を取得する。情報収集装置１０は、取得した管理情報が、広告選択時に生成された管理情報であるのか否かを判定し、これら管理情報が一致する場合に、コンバージョンが成立したと判定する。

【0017】

情報収集装置１０は、例えば、所定期間（例えば２週間程度）ごとに、各ユーザの成立したコンバージョン数をカウントする。そして、情報収集装置１０は、カウントしたユーザごとのコンバージョン数の解析依頼として、ユーザごとのコンバージョン数に関する情報を、情報提供装置１００に送信する。

【0018】

情報提供装置１００は、情報収集装置１０から解析依頼として受信したユーザごとのコンバージョン数に関する情報に基づいて、種々の解析を行う。本実施形態において、情報提供装置１００は、情報収集装置１０によってカウントされた、ユーザごとのコンバージョン数を基に、仮説検定を行う。

【0019】

［情報提供装置の構成］
図２は、実施形態における情報提供装置１００の構成の一例を示す図である。図示のように、情報提供装置１００は、例えば、通信部１０２と、情報出力部１０４と、制御部１１０と、記憶部１３０とを備える。

【0020】

通信部１０２は、例えば、ＮＩＣ等の通信インターフェースを含む。通信部１０２は、ネットワークＮＷを介して他装置と通信する。例えば、通信部１０２は、情報収集装置１０からユーザごとのコンバージョン数に関する情報を受信する。ユーザごとのコンバージョン数に関する情報は、後述する実母集団情報１３２として記憶部１３０に記憶される。

【0021】

情報出力部１０４は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を含み、制御部１１０により出力される情報に基づいて画像を表示する。また、情報出力部１０４は、音声を出力するスピーカなどを含んでいてもよい。

【0022】

制御部１１０は、例えば、母数推定部１１２と、第１生成部１１４と、第２生成部１１６と、抽出部１１８と、検定部１２０と、評価部１２２と、出力制御部１２４とを備える。これらの構成要素の一部または全部は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0023】

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０には、ファームウェアやアプリケーションプログラムなどの各種プログラムの他、実母集団情報１３２、第１疑似母集団情報１３４、第２疑似母集団情報１３６、コントロールバケット１３８、テストバケット１４０などの情報が記憶される。

【0024】

図３は、実母集団情報１３２の一例を示す図である。図示の例のように、実母集団情報１３２は、個々のユーザを特定可能なユーザ識別情報に対して、コンバージョン数が対応付けられた情報である。ユーザ識別情報は、例えば、コンバージョンの成立可否の判定において参照されたクッキーなどの管理情報である。例えば、実母集団情報１３２には、十数万人から数十万人分のユーザのコンバージョン数が蓄積されている。このような実母集団は、ユーザごとのコンバージョン数を変数とした確率密度分布によって表すことができる。一般的に、購入回数が少ないユーザほどその存在確率は高く、購入回数が多いユーザほど、その存在確率は低くなる傾向がある。従って、ユーザごとのコンバージョン数を変数とした確率密度分布、すなわち実母集団の分布は、非対称性を有する分布となる。

【0025】

以下、フローチャートに即して、制御部１１０による一連の処理について説明する。図４は、制御部１１０による一連の処理の一例を示すフローチャートである。本フローチャートの処理は、例えば、通信部１０２によって情報収集装置１０から解析依頼としてコンバージョン数に関する情報が受信されると行われる。

【0026】

まず、母数推定部１１２は、実母集団情報１３２を参照し、実母集団情報１３２が示すユーザごとのコンバージョン数の集合をある母集団として扱い、この母集団の母数（母集団を示す確率密度分布を特徴づけるパラメータ）を推定する（Ｓ１００）。

【0027】

例えば、母数推定部１１２は、母数の推定対象である母集団が負の二項分布に従うモデルに近似するものと仮定し、この負の二項分布に基づいて、平均μおよび分散σ^２を母数として推定する。このとき、ユーザごとのコンバージョン数は、独立に同一の確率密度分布、すなわち負の二項分布に従うものとする（独立性が担保されている）。

【0028】

より具体的には、母数推定部１１２は、統計解析のプログラミング言語であるＲ言語において、負の二項分布に従う乱数を生成するrnegbin関数の引数のうち、平均μおよび分散σ^２に相当する引数を、同じＲ言語におけるglm.nb関数を用いて推定する。

【0029】

次に、第１生成部１１４は、母数推定部１１２により推定された平均μおよび分散σ^２に基づいて、仮想的な疑似母集団を生成する（Ｓ１０２）。以下、第１生成部１１４により生成される疑似母集団を、第１疑似母集団と称して説明する。

【0030】

例えば、第１生成部１１４は、上述したrnegbin関数において、推定された平均μおよび分散σ^２を引数として代入し、第１疑似母集団を生成する。第１疑似母集団を示す情報は、第１疑似母集団情報１３４として記憶部１３０に記憶される。

【0031】

第２生成部１１６は、母数推定部１１２により推定された平均μ、すなわち第１疑似母集団の平均μを増加または減少させたリフト平均μ＃と、母数推定部１１２により推定された分散σ^２、すなわち第１疑似母集団の分散σ^２とに基づいて、仮想的な疑似母集団を生成する（Ｓ１０４）。以下、第２生成部１１６により生成される疑似母集団を、第２疑似母集団と称して説明する。リフト平均μ＃とは、第１疑似母集団の平均μに、増減率ｎを乗算した平均μを加算した指標である。

【0032】

例えば、第１疑似母集団の平均μが１．０であり、且つ増減率ｎがプラス１０％である場合、第２疑似母集団の平均μ＃は、１．１μとなる。また、第１疑似母集団の平均μが１．０であり、且つ増減率ｎがマイナス１０％である場合、第２疑似母集団の平均μ＃は、０．９μとなる。例えば、第２生成部１１６は、上述したrnegbin関数において、リフト平均μ＃および分散σ^２を引数として代入し、第２疑似母集団を生成する。このとき、第２生成部１１６は、１％、３％、５％、１０％、１５％、…といったように増減率ｎを逐次変更しながら、複数の第２疑似母集団を生成する。第２疑似母集団を示す情報は、第２疑似母集団情報１３６として記憶部１３０に記憶される。

【0033】

図５は、第１疑似母集団および第２疑似母集団の一例を示す図である。図示のように、第１疑似母集団および第２疑似母集団のそれぞれの分布は、負の二項分布に近似させた母集団の母数を用いて生成されているため、非対称な分布となる。図示の例では、増減率ｎごとの第２疑似母集団のうち、代表的な一つの第２疑似母集団を示す分布のみ表されている。これらの第１疑似母集団および第２疑似母集団は、負の二項分布から求めた平均μおよび分散σ^２を基に理論的に生成された母集団であるため、極限を考えた場合、各母集団に含まれるサンプルの数は無限、或いはこれに近い値となってよい（すなわちサンプルサイズを無限大としてよい）。

【0034】

抽出部１１８は、第１生成部１１４により生成された第１疑似母集団から、サンプル数が互いに異なる複数種類のコントロールバケットを抽出する（Ｓ１０６）。コントロールバケットは、仮説検定に用いる二つのサンプル集合のうち、一方のサンプル集合に相当する。コントロールバケットは、「第１のサンプル集合」の一例である。

【0035】

例えば、抽出部１１８は、１０万サンプル数のコントロールバケットや、５０万サンプル数のコントロールバケット、１００万サンプル数のコントロールバケット、５００万サンプル数のコントロールバケットを抽出する。これらのサンプル数はあくまでも一例であり、例えば、販売サイトを利用するユーザの最大数を基準に任意に変更してよい。例えば、抽出部１１８は、販売サイトを利用するユーザの最大数が１００万人程度である場合、１００万程度のサンプル数から対数的に２倍、３倍とサンプル数を増加させながらコントロールバケットを抽出してよい。より具体的には、抽出部１１８は、コントロールバケットのサンプル数を、ｌｎ（販売サイトの利用者数×ｎ）（ｎは任意の倍率）にするように抽出する。なお、コントロールバケットに含まれるサンプルは、第１疑似母集団から偏りなく抽出されているものとする（不偏性が担保されている）。

【0036】

また、抽出部１１８は、第２生成部１１６により生成された第２疑似母集団から、サンプル数が互いに異なる複数種類のテストバケットを抽出する（Ｓ１０８）。テストバケットは、仮説検定に用いる二つのサンプル集合のうち、他方のサンプル集合に相当する。テストバケットは、「第２のサンプル集合」の一例である。

【0037】

例えば、抽出部１１８は、抽出したコントロールバケットに含まれるサンプル数と同数のサンプルを含むように、複数種類のテストバケットを抽出する。例えば、抽出部１１８は、１０万サンプル数のテストバケットや、５０万サンプル数のテストバケット、１００万サンプル数のテストバケット、５００万サンプル数のテストバケットを抽出する。なお、テストバケットに含まれるサンプルは、コントロールバケットに含まれるサンプルと同様に、第２疑似母集団から偏りなく抽出されているものとする。

【0038】

図６は、コントロールバケットおよびテストバケットの一例を示す図である。図中（ａ）に示すコントロールバケットと（ｂ）に示すテストバケットは、抽出元の疑似母集団と同様に、それぞれ非対称な分布となる。

【0039】

次に、抽出部１１８は、テストバケットの抽出回数が所定回数Ｘ（例えば３００回）に達したか否かを判定し（Ｓ１１０）、テストバケットの抽出回数が所定回数Ｘに達していない場合、繰り返しテストバケットを抽出する。これによって、抽出部１１８は、例えば、増減率ｎが１％、３％、５％、１０％、１５％のそれぞれで生成された第２疑似母集団から、Ｘ個のテストバケットを抽出する。Ｘ個のテストバケット同士は、互いにサンプルの一部が重複していてもよい。

【0040】

検定部１２０は、抽出部１１８による抽出回数が所定回数Ｘに達した場合、抽出部１１８により抽出されたコントロールバケットおよびテストバケットに基づいて、仮説検定を行う（Ｓ１１２）。例えば、検定部１２０は、仮説検定として、ｔ検定およびカイ二乗検定の一方または双方を行う。本実施形態では、ｔ検定およびカイ二乗検定の双方を行うものとして説明する。

【0041】

そして、検定部１２０は、検定結果として、第一種過誤が生じる確率α（以下、Type 1 errorと称する）と、第二種過誤が生じる確率βに基づく値（以下、検出力と称する）とを出力する。Type 1 errorは、コントロールバケットとテストバケットとの間に本来有意差がない場合でも有意差があると判定する確率である。検出力は、１から第二種過誤が生じる確率βを減算した値（１−β）のことであり、コントロールバケットとテストバケットとの間に有意差がある場合に、有意差があると判定する確率である。Type 1 errorが小さく、且つ検出力が大きいほど、精度良く検定が行われていると評価することができる。

【0042】

図７は、検定結果の一例を示す図である。図示のように、Type 1 errorおよび検出力は、１０万、５０万、１００万、５００万といったように、各バケットに含まれるサンプルの数ごとに導出される。また、Type 1 errorおよび検出力は、第２疑似母集団の生成時に変更される増減率ｎごとに導出される。これらのType 1 errorおよび検出力は、所定数Ｘ個のテストバケットのType 1 errorおよび検出力の平均である。例えば、各サンプル数の各増減率ｎにおいて、３００個のテストバケットが抽出された場合、３００通りのType 1 errorおよび検出力のそれぞれの総和を３００で除算することで、そのサンプル数および増減率ｎでのType 1 errorおよび検出力が導出される。また、これらのType 1 errorおよび検出力は、ｔ検定およびカイ二乗検定のそれぞれで導出されてよい。

【0043】

次に、評価部１２２は、検定部１２０により行われた仮説検定の結果を評価する（Ｓ１１４）。例えば、評価部１２２は、Type 1 errorと、コントロールバケットおよびテストバケットに含まれるサンプル数との関係について評価する。

【0044】

図８は、Type 1 errorと、コントロールバケットおよびテストバケットに含まれるサンプル数との関係の一例を示す図である。横軸は、例えば、１０万、５０万、１００万といった各バケットのサンプルサイズ（サンプル数）を表している。また、縦軸は、所定回数Ｘで除算したType 1 errorの平均を表している。言い換えれば、縦軸のType 1 errorは、所定回数Ｘに亘って行われた検定において、コントロールバケットとテストバケットとの間に有意差がない状態で有意差があると判定された回数を、所定回数Ｘで除算した値を表している。有意差がない状態とは、増減率ｎが０で生成された第２疑似母集団、すなわち、第１疑似母集団の期待値と同じ第２疑似母集団からテストバケットが抽出された状態のことである。

【0045】

図示の結果に示すように、ｔ検定およびカイ二乗検定の双方において、各バケットのサンプルサイズが増加するのに応じて、Type 1 errorがより減少している。例えば、ｔ検定において、Type 1 errorが５％程度以下の分析精度が必要な場合、各バケットのサンプルサイズは、１００万以上必要であることがわかる。また、ｔ検定とカイ二乗検定とを比較した場合、ｔ検定の方が、より小さいサンプルサイズでType 1 errorを低下させることができる。

【0046】

また、評価部１２２は、検出力と増減率ｎとの関係について評価してもよい。

【0047】

図９は、検出力と増減率ｎとの関係の一例を示す図である。横軸は、増減率ｎを表している。また、縦軸は、所定回数Ｘで除算した検出力の平均を表している。例えば、負の二項分布に近似させる実母集団のサンプルサイズが１９万程度であった場合、一般的に「好ましい」とされる検出力（例えば８０％程度以上）を得るためには、ｔ検定およびカイ二乗検定のそれぞれにおいて、第１疑似母集団の平均μを８〜９％程度以上増加させて第２疑似母集団を生成する必要がある。このように、最終的に得たい検出力との関係から、増減率ｎをいくつにすべきなのかを決定することができる。

【0048】

また、評価部１２２は、検出力と、コントロールバケットおよびテストバケットに含まれるサンプル数との関係について評価してもよい。

【0049】

図１０は、検出力と、コントロールバケットおよびテストバケットに含まれるサンプル数との関係の一例を示す図である。横軸は、例えば、各バケットのサンプルサイズ（サンプル数）を表している。また、縦軸は、所定回数Ｘで除算した検出力の平均を表している。図示のように、サンプルサイズに対して検出力は、概ね線形な関係にある。一般的に、ショッピングサイトなどにおいて得られたユーザごとのコンバージョン数の検定では、コントロールバケットの抽出元の母集団の平均に対する、テストバケットの抽出元の母集団の平均の増減率は、専ら３％程度であるということが知られている。従って、このような従来から頻繁に使われてきた「３％」という値を増減率ｎに適用してテストバケットを疑似的に抽出する場合、好ましいとされる８０％程度以上の検出力を得るためには、１００万以上のサンプルサイズが必要であることがわかる。

【0050】

このように、評価部１２２による種々の評価結果によれば、検出力は、サンプルサイズを大きくしたり、コントロールバケットに対するテストバケットの平均の差、すなわち増減率ｎを大きくしたりすることで向上させることができる。

【0051】

本実施形態では、実母集団を負の二項分布に近似させ、仮想的に大きく歪んだ確率密度分布を想定することで各種検定を行った。このような歪んだ確率密度分布について、以下の参考文献では、ｔ検定を精度良く機能させるためには、分布の歪みの度合が大きくなるほど、より大きなサンプルサイズが必要であるとの研究結果を示している。従って、本実施形態における情報提供装置１００は、参考文献に例示された、サンプルサイズと各検定結果との関係の評価結果を、別の観点（アプローチ）から評価していることになる。
［参考文献］Ron Kohav, Alex Deng,Roger Longbotham and Ya Xu Seven Rules of Thumb for Web Site Experimenters.

【0052】

次に、出力制御部１２４は、評価部１２２による評価結果を、例えば、情報出力部１０４に出力させる（Ｓ１１６）。また、出力制御部１２４は、通信部１０２を介して、情報出力部１０４に出力させる情報（例えば画像情報など）を、外部の表示装置などに出力することで、その出力先の表示装置などに評価部１２２による評価結果を出力させてもよい。情報出力部１０４および出力制御部１２４は、「出力部」の一例である。

【0053】

図１１は、情報出力部１０４により出力される画面の一例を示す図である。図示のように、例えば、情報出力部１０４の画面には、解析依頼時に取得した実母集団のサンプルサイズの値が表示されてもよいし、評価結果である各検定のType 1 errorおよび検出力の値が表示されてもよい。また、情報出力部１０４の画面には、各検定のType 1 errorおよび検出力の値が閾値未満の場合に、その閾値を超えるために必要なサンプル数などが表示されてよい。閾値は、例えば、Type 1 errorなら５％程度、検出力なら８０％程度に設定される。また、情報出力部１０４の画面には、仮説検定に用いるバケットの増減率ｎをいくつにする必要があるのかを表示してもよい。これによって、解析依頼者（例えば、情報収集装置１０の管理者等）は、更に何人のユーザのコンバージョン数を得ればよいのか、あるいは提示された増減率ｎがいくつであるから、検定に用いる二つのバケットの重複度合を考慮すると、バケットの抽出元である母集団のサンプルサイズは最低限どの程度のサンプルサイズであればよいのか、といったことを把握することができる。

【0054】

以上説明した実施形態によれば、負の二項分布に基づいて、複数の観測データを含む実母集団の平均μおよび分散σ^２を推定する母数推定部１１２と、母数推定部１１２により推定された平均μおよび分散σ^２に基づいて、第１疑似母集団を生成する第１生成部１１４と、第１疑似母集団の平均μを増加または減少させたリフト平均μ＃と、第１疑似母集団の分散σ^２とに基づいて、第２疑似母集団を生成する第２生成部１１６と、第１疑似母集団からコントロールバケットを抽出すると共に、第２疑似母集団からテストバケットを抽出する抽出部１１８と、抽出部１１８により抽出されたコントロールバケットおよびテストバケットに基づいて検定を行う検定部１２０と、検定部１２０により行われた検定の結果を評価する評価部１２２と、評価部１２２による評価結果を情報出力部１０４などに出力させる出力制御部１２４とを備えることにより、検定時の精度を一定以上に保つために必要な条件に関する情報を提供することができる。

【0055】

＜その他の実施形態＞
以下、その他の実施形態として、上述した実施形態の変形例について説明する。上述した実施形態における母数推定部１１２は、実母集団が歪んでいることを考慮して、サンプル整形処理を行ってよい。サンプル整形処理とは、例えば、実母集団において、コンバージョン数が、その最大値から１％程度の範囲に含まれるユーザのサンプルを除外する処理である。これによって、実母集団を負の二項分布に近似する際に、その分布の歪みの度合を低下させることができる。

【0056】

＜ハードウェア構成＞
上述した実施形態の情報提供システム１に含まれる複数の装置のうち、少なくとも情報提供装置１００は、例えば、図１２に示すようなハードウェア構成により実現される。図１２は、実施形態の情報提供装置１００のハードウェア構成の一例を示す図である。

【0057】

情報提供装置１００は、ＮＩＣ１００−１、ＣＰＵ１００−２、ＲＡＭ１００−３、ＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの二次記憶装置１００−５、およびドライブ装置１００−６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００−６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００−５、またはドライブ装置１００−６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００−３に展開され、ＣＰＵ１００−２によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。

【0058】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0059】

１…情報提供システム、１０…情報収集装置、１００…情報提供装置、１０２…通信部、１０４…情報出力部、１１０…制御部、１１２…母数推定部、１１４…第１生成部、１１６…第２生成部、１１８…抽出部、１２０…検定部、１２２…評価部、１２４…出力制御部、１３０…記憶部、１３２…実母集団情報、１３４…第１疑似母集団情報、１３６…第２疑似母集団情報、１３８…コントロールバケット、１４０…テストバケット、ＮＷ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】