特許 7046131 サーバ、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-24

(45)【発行日】2022-04-01

(54)【発明の名称】サーバ、情報処理方法およびプログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20220325BHJP

   G06F 13/00 20060101ALI20220325BHJP

【ＦＩ】

G06Q30/02 312

G06F13/00

【請求項の数】 8

(21)【出願番号】P 2020142840

(22)【出願日】2020-08-26

(65)【公開番号】P2022038372

(43)【公開日】2022-03-10

【審査請求日】2020-08-26

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天グループ株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】萬代 和明

【審査官】竹下 翔平

(56)【参考文献】

【文献】中国特許出願公開第１１１１７７５６１（ＣＮ，Ａ）

【文献】特開２０２０－０２４７３６（ＪＰ，Ａ）

【文献】特表２０１６－５２２４７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０１８９１５６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段と、
前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段と、
前記各グループの準備情報に基づいて前記複数グループの中から第１及び第２グループを選択する選択手段と、
所定のテスト期間において、前記第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段と、
前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段と、
を含み、
前記第１及び第２グループは、前記第１及び第２グループの準備情報の統計値が、所定の関係を満たすように選択される、
サーバ。

【請求項2】

前記第１及び第２グループのテスト情報に基づいて前記第１及び第２グループの評価値を比較する評価手段をさらに含む、
請求項１に記載のサーバ。

【請求項3】

前記統計値は、ユニークユーザ数、ＣＶＲ、平均利用額のうち少なくとも一つである、
請求項１又は２に記載のサーバ。

【請求項4】

前記共通コンテンツは、前記第１コンテンツである、
請求項１～３のいずれか一項に記載のサーバ。

【請求項5】

前記コンテンツ提供手段は、前記第１グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、前記第２グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供する、
請求項１～４のいずれか一項に記載のサーバ。

【請求項6】

所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段と、
前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段と、
所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段と、
前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段と、
を含み、
前記第１及び第２グループは、前記第１及び第２グループの準備情報の統計値が、所定の関係を満たすように選択され、
前記コンテンツ提供手段は、前記第１グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、前記第２グループ、及び前記複数グループの中からそれらグループのアクセス情報に基づいて選択される第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供する、
サーバ。

【請求項7】

サーバが実行する情報処理方法であって、
共通コンテンツ提供手段が、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供ステップと、
準備情報取得手段が、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得ステップと、
選択手段が、前記各グループの準備情報に基づいて前記複数グループの中から第１及び第２グループを選択する選択ステップと、
コンテンツ提供手段が、所定のテスト期間において、前記第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供ステップと、
テスト情報取得手段が、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得ステップと、
を含み、
前記第１及び第２グループは、前記第１及び第２グループの準備情報の統計値が、所定の関係を満たすように選択される、
情報処理方法。

【請求項8】

所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段、
前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段、
前記各グループの準備情報に基づいて前記複数グループの中から第１及び第２グループを選択する選択手段、
所定のテスト期間において、前記第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段、
前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段、
としてサーバのコンピュータを機能させるためのプログラムであって、
前記第１及び第２グループは、前記第１及び第２グループの準備情報の統計値が、所定の関係を満たすように選択される、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、サーバ、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、ウェブサイトにおいて、コンテンツの変更を行う場合、Ａ／Ｂテストを行い、コンテンツの変更の可否を判断している。Ａ／Ｂテストは、現行コンテンツと新コンテンツをユーザに公開し、現行コンテンツに対するユーザの反応と新コンテンツに対するユーザの反応を比較し、現行コンテンツと新コンテンツの優劣を評価するものである。このとき、従来はＡ／Ｂテストにおいて、現行コンテンツと新コンテンツはランダムにユーザに配分されていた。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１６－５２２４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記先行技術では、現行コンテンツと新コンテンツをランダムにユーザに配分するため、必ずしもＡ／Ｂテストを適切に行うことができない。例えば、現行コンテンツが提供されるユーザと、新コンテンツが提供されるユーザとに、有意な行動差が存在する場合には、現行コンテンツに対するユーザの反応と、新コンテンツに対するユーザの反応を比較しても、現行コンテンツと新コンテンツの優劣を適切に判断することはできない。なお、現行コンテンツと新コンテンツの優劣を評価する場合のみならず、例えば２つの新コンテンツの優劣を評価する場合など、広く第１コンテンツと第２コンテンツの優劣を評価する場合に同様の問題を有する。

【0005】

本発明では、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るサーバは、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段と、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段と、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段と、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段と、を含む。

【0007】

本発明の一態様に係る情報処理方法は、サーバが実行する情報処理方法であって、共通コンテンツ提供手段が、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供ステップと、準備情報取得手段が、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得ステップと、コンテンツ提供手段が、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供ステップと、テスト情報取得手段が、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得ステップと、を含む。

【0008】

本発明の一態様に係るプログラムは、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する共通コンテンツ提供手段、前記所定の準備期間において、前記複数グループの各グループのユーザのアクセス情報を準備情報として取得し、該準備情報を記憶手段に記憶する準備情報取得手段、所定のテスト期間において、前記各グループの準備情報に基づいて前記複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、前記各グループの準備情報に基づいて前記複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供するコンテンツ提供手段、前記所定のテスト期間において、前記第１及び第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶するテスト情報取得手段、としてサーバのコンピュータを機能させる。

【発明の効果】

【0009】

本発明によれば、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。

【図面の簡単な説明】

【0010】

【図1】情報処理システムの全体構成を示す図である。

【図2】準備段階の概念図である。

【図3】テスト段階の概念図である。

【図4】サーバの構成を示す図である。

【図5】準備期間の記憶部のデータ構造の一例を示す図である。

【図6】準備期間の統計を示す図である。

【図7】表示部の表示画面の一例を示す図である。

【図8】テスト期間の統計を示す図である。

【図9】準備期間の各ユーザ端末に対するサーバの情報処理の一例を示すフロー図である。

【図10】準備期間終了後のサーバの情報処理の一例を示すフロー図である。

【図11】テスト期間の各ユーザ端末に対するサーバの情報処理の一例を示すフロー図である。

【図12】テスト期間終了後のサーバの情報処理の一例を示すフロー図である。

【図13】変形例における準備期間の記憶部のデータ構造の一例を示す図である。

【図14】変形例における準備期間の統計を示す図である。

【図15】変形例におけるテスト期間の統計を示す図である。

【図16】変形例における準備期間の統計を示す図である。

【図17】変形例におけるテスト期間の統計を示す図である。

【図18】変形例におけるテスト期間終了後のサーバの情報処理の一例を示すフロー図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態を説明する。本実施形態では、Ａ／Ｂテストの例として、施設予約を行うサーバにおいて、施設予約のウェブサイトのコンテンツを現行バージョンにするか、それとも、新バージョンにするかを決定する情報処理システムを説明する。

【0012】

［情報処理システム１の概要］
以下、本実施形態の情報処理システム１の概要を説明する。図１は、情報処理システム１の全体構成を示す図である。情報処理システム１は、サーバ１００と複数のユーザ端末２００を備える。各装置は、ネットワークＮを介して、有線又は無線により通信可能に接続される。本実施形態の情報処理は、準備段階とテスト段階からなる。

【0013】

（準備段階）
図２は、準備段階の概念図である。図２では、準備段階において、施設予約を行うサーバ１００が、複数のユーザ端末２００に対して、現行バージョンの施設予約のウェブサイトのコンテンツを提供し、ユーザ端末２００から施設予約を受け付ける例を示す。

【0014】

以下、準備段階における、準備期間の情報処理を説明する。ユーザが施設予約を行う場合、ユーザ端末２００のウェブブラウザは、サーバ１００にアクセスし、サーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行う。サーバ１００は、ユーザ端末２００に対して、ユーザ識別子とグループ識別子を割り当て、ユーザ識別子とグループ識別子を含むクッキー（Ｃｏｏｋｉｅ）をユーザ端末２００に送信し、記憶させる。サーバ１００は、ユーザに割り当てたユーザ識別子とグループ識別子を対応付けて、記憶部１６０に格納する。ユーザ識別子は、ユーザ端末２００を特定する情報である。グループ識別子は、ユーザ端末２００が属するグループを特定する情報である。

【0015】

サーバ１００は、ユーザ端末２００に対して、データベース１１０に格納された現行バージョンのコンテンツを提供する。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から送信される施設予約に関する情報に基づき、施設の予約処理を行う。サーバ１００は、ユーザ識別子に対応付けて、準備情報として施設の予約日時と準備期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する。

【0016】

以下、準備段階における、準備期間終了後の情報処理を説明する。サーバ１００は、準備期間において、サーバ１００にアクセスしたユーザ端末２００が属する、複数グループを作成する。サーバ１００は、同一のグループ識別子を付与されたユーザ端末２００が同一のグループとなるように、複数グループを作成する。図２において、同一のグループ識別子を付与されたユーザ端末２００－１～ユーザ端末２００－１００は、グループ「Ｇ００１」に属する。同様に、ユーザ端末２００－１０１～ユーザ端末２００－２００は、グループ「Ｇ００２」に属し、ユーザ端末２００－２０１～ユーザ端末２００－３００は、グループ「Ｇ００３」に属する。

【0017】

サーバ１００は、各グループの準備期間のＣＶＲ（ＣｏｎＶｅｒｓｉｏｎ Ｒａｔｅ）を算出する。ＣＶＲは、（施設の予約回数／ユニークユーザ数）で示される。図２において、グループ「Ｇ００１」は、ユニークユーザ数「１００」（ユーザ端末２００－１～ユーザ端末２００－１００）であり、施設の予約回数「２」であるため、ＣＶＲ「２」である。同様に、グループ「Ｇ００２」は、ＣＶＲ「２」であり、グループ「Ｇ００３」は、ＣＶＲ「１」である。

【0018】

サーバ１００は、複数グループから、準備期間のＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する。コントロールグループは、現行バージョンのコンテンツを提供するグループであり、テストグループは、新バージョンのコンテンツを提供するグループである。図２において、サーバ１００は、準備期間のＣＶＲが近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択し、グループ「Ｇ００１」をコントロールグループ、グループ「Ｇ００２」をテストグループとして特定する。

【0019】

（テスト段階）
図３は、テスト段階の概念図である。図３では、テスト段階において、施設予約を行うサーバ１００が、複数のユーザ端末２００に対して、現行バージョン又は新バージョンの施設予約のウェブサイトのコンテンツを提供し、ユーザ端末２００から施設予約を受け付ける例を示す。

【0020】

以下、テスト段階における、テスト期間の情報処理を説明する。ユーザが施設予約を行う場合、ユーザ端末２００のウェブブラウザは、サーバ１００にアクセスし、サーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行う。サーバ１００は、ユーザ端末２００のウェブブラウザから、クッキーを取得し、ユーザ識別子とユーザグループ識別子を特定する。サーバ１００は、記憶部１６０を参照し、ユーザ端末２００がテストグループに属するか否かを判断する。すなわち、クッキーから特定されるユーザグループ識別子が、記憶部１６０に記憶されたテストグループに対応するユーザグループ識別子と一致するか否かにより、ユーザ端末２００がテストグループに属するか否かを判断する。サーバ１００は、ユーザ端末２００がテストグループに属しないと判断した場合には、データベース１１０に格納された現行バージョンのコンテンツを提供する。サーバ１００は、ユーザ端末２００がテストグループに属すると判定した場合には、データベース１１０に格納された新バージョンのコンテンツを提供する。図３において、サーバ１００は、コントロールグループ（グループ「Ｇ００１」）に現行バージョンのコンテンツを提供し、テストグループ（グループ「Ｇ００２」）に新バージョンのコンテンツを提供する。

【0021】

なお、クッキーにユーザグループ識別子を含めず、ユーザ識別子のみを含める場合、サーバ１００は、記憶部１６０を参照して、クッキーに含まれるユーザ識別子に関連づけられたユーザグループがテストグループであるか否か判断してよい。

【0022】

ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から送信される施設予約に関する情報に基づき、施設の予約処理を行う。サーバ１００は、ユーザ識別子に対応付けて、テスト情報として施設の予約日時とテスト期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する。

【0023】

以下、テスト段階における、テスト期間終了後の情報処理を説明する。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する。図３において、コントロールグループは、ユニークユーザ数「１００」（ユーザ端末２００－１～ユーザ端末２００－１００）であり、施設の予約回数「２」であるため、ＣＶＲ「２」である。同様に、テストグループは、ＣＶＲ「４」である。

【0024】

サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する。図３において、サーバ１００は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。

【0025】

［サーバ１００の構成］
以下、本実施形態のサーバ１００の構成を説明する。図４は、サーバ１００の構成を示す図である。サーバ１００は、所定のウェブサイトにおいて、ユーザ端末２００にコンテンツを配信する情報処理装置（コンピュータ）である。ウェブサイトは、例えば、施設予約サイト、ショッピングサイト、配信サイト、検索エンジン等である。なお、サーバ１００は、１台のサーバ装置から構成されてもよいし、複数台のサーバ装置から構成されてもよい。

【0026】

サーバ１００は、データベース１１０、通信部１２０、入力部１３０、表示部１４０、制御部１５０と記憶部１６０を備える。データベース１１０、通信部１２０、入力部１３０、表示部１４０、制御部１５０と記憶部１６０は、バスを介して接続される。

【0027】

データベース１１０は、共通コンテンツ、第１コンテンツと第２コンテンツを格納する。共通コンテンツは、後述する所定の準備期間において、複数グループの各ユーザに共通に提供されるコンテンツであればよく、第１コンテンツでもよい。第１コンテンツと第２コンテンツは、比較する２つのコンテンツであり、例えば、現行コンテンツと新コンテンツ、２つの新コンテンツ等である。コンテンツは、例えば、機能、デザイン、画像、動画、楽曲、音声、テキスト、アプリケーション等の電子的に提供される情報である。本実施形態では、共通コンテンツと第１コンテンツが現行コンテンツであり、第２コンテンツが新コンテンツである例を中心に説明する。

【0028】

通信部１２０は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等を備える。通信部１２０は、制御部１５０の制御にしたがって、有線又は無線により、サーバ１００とユーザ端末２００の間で情報を送受信する。入力部１３０は、例えば、キーボード、マウス等を備える。入力部１３０は、サーバ１００の管理者による操作内容を制御部１５０に伝達する。表示部１４０は、例えば、ディスプレイ等を備える。表示部１４０は、サーバ１００の管理者が操作するための画像を表示する。なお、サーバ１００は、入力部１３０と表示部１４０を備えなくてもよい。

【0029】

制御部１５０は、例えば、ＣＰＵ等によって、サーバ１００に記憶されているプログラムを実行することにより、制御部１５０の機能構成を実現する。プログラムは、例えば、記憶部１６０、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ可読情報記憶媒体に格納されるものでもよいし、ネットワークＮを介してサーバ１００に供給されるものでもよい。制御部１５０は、機能構成として、識別子付与部１５１、共通コンテンツ提供部１５２、準備情報取得部１５３、選択部１５４、コンテンツ提供部１５５、テスト情報取得部１５６と評価部１５７を備える。これらの機能構成は、本実施形態に係るプログラムを制御部１５０が実行することにより、サーバ１００において実現されるものである。なお、制御部１５０の内部構成は、このような構成に限られず、本実施形態の情報処理を行なう構成であれば、他の構成であってもよい。

【0030】

識別子付与部１５１は、所定の準備期間において、ユーザにユーザ識別子とグループ識別子を付与する。所定の準備期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。ユーザ識別子とグループ識別子は、ユーザ端末２００のウェブブラウザにクッキーとして付与される。識別子付与部１５１は、ユーザ端末２００に対して、複数のグループ識別子のうち、無作為に選択した一のグループ識別子を割り当ててもよいし、順番に選択した一のグループ識別子を割り当ててもよい。以下、ユーザ端末２００をユーザと呼ぶ場合がある。

【0031】

共通コンテンツ提供部１５２は、所定の準備期間において、複数グループの各ユーザに共通コンテンツを提供する。グループは、同一のグループ識別子を付与された複数のユーザ端末２００からなるグループである。

【0032】

準備情報取得部１５３は、所定の準備期間において、複数グループの各グループのユーザのアクセス情報を準備情報として取得し、準備情報を記憶手段に記憶する。準備情報は、コンバージョンに関する情報であり、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等に関する情報のうち少なくとも一つである。本実施形態では、準備情報が、施設の予約日時と予約回数である例を中心に説明する。

【0033】

選択部１５４は、各グループの準備情報に基づいて複数グループの中から第１グループと第２グループを選択する。第１グループと第２グループは、第１グループと第２グループの準備情報の統計値が、所定の関係を満たすように選択される。所定の関係とは、統計値が近似する関係であり、例えば、統計値が最も近い関係、統計値の差が一定範囲内（例えば、プラスマイナス１％以内、プラスマイナス１０％以内等）の関係等である。統計値は、ユニークユーザ数、ＣＶＲ、平均利用額のうち少なくとも一つである。ＣＶＲは、（コンバージョン回数／ユニークユーザ数）で示される。コンバージョン回数は、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等の回数である。平均利用額は、コンバージョンに関する平均額であり、例えば、商品の注文額又は購入額、サービス又は施設の利用額等の平均額である。本実施形態では、準備情報の統計値が、ユニークユーザ数とＣＶＲである例を中心に説明する。以下、第１グループをコントロールグループと呼び、第２グループをテストグループと呼ぶ場合がある。

【0034】

コンテンツ提供部１５５は、所定のテスト期間において、各グループの準備情報に基づいて複数グループの中から選択される第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、各グループの準備情報に基づいて複数グループの中から選択される第２グループのユーザからアクセスがある場合に第２コンテンツを提供する。所定のテスト期間は、準備期間より後の期間である。準備期間とテスト期間は連続していてもよいし、連続していなくてもよい。所定のテスト期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。

【0035】

テスト情報取得部１５６は、所定のテスト期間において、第１グループと第２グループのユーザのアクセス情報をテスト情報として取得し、それらテスト情報を記憶手段に記憶する。テスト情報は、コンバージョンに関する情報であり、例えば、商品の注文又は購入、サービス又は施設の予約、サービス又は施設の利用、コンテンツ再生、会員登録、資料の申込み、アンケートへの回答等に関する情報のうち少なくとも一つである。本実施形態では、テスト情報が、施設の予約日時と予約回数である例を中心に説明する。

【0036】

評価部１５７は、第１グループと第２グループのテスト情報に基づいて第１グループと第２グループの評価値を比較する。評価値は、ＣＶＲ、平均利用額のうち少なくとも一つである。本実施形態では、評価値が、ＣＶＲである例を中心に説明する。

【0037】

記憶部１６０は、例えば、ＲＡＭ、フラッシュメモリ、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１６０は、制御部１５０のワークメモリとして動作する。記憶部１６０は、準備情報とテスト情報を記憶する。

【0038】

［サーバ１００の情報処理］
以下、本実施形態のサーバ１００の情報処理を説明する。

【0039】

（準備段階）
図５は、準備期間の記憶部１６０のデータ構造の一例を示す図である。図５（Ａ）に示すように、識別子付与部１５１は、ユーザ端末２００に付与したユーザ識別子とグループ識別子を記憶部１６０に記憶する。準備情報取得部１５３は、準備期間においてユーザ端末２００がサーバ１００に最初にアクセスした日時であるアクセス日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００１」、グループ識別子「Ｇ００１」とアクセス日時「２０２０／７／３／０９：５３：３６」を対応付けて記憶する。なお、記憶部１６０は、アクセス日時を記憶しなくてもよい。図５（Ｂ）に示すように、準備情報取得部１５３は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の予約処理を行った予約日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００２」、グループ識別子「Ｇ００２」と予約日時「２０２０／７／３／１２：２５：３４」を対応付けて記憶する。図５（Ｃ）に示すように、準備情報取得部１５３は、準備期間の各ユーザ端末２００による施設の予約回数を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、ユーザ識別子「Ｕ０００１」、グループ識別子「Ｇ００１」と予約回数「０」を対応付けて記憶する。

【0040】

図６は、準備期間の統計を示す図である。準備情報取得部１５３は、各グループに属するユーザ識別子を集計し、各グループのユニークユーザ数を算出する。準備情報取得部１５３は、各グループに属するユーザ端末２００による施設の予約回数を集計し、各グループの予約回数をユニークユーザ数で割ることで、各グループの準備期間のＣＶＲを算出する。例えば、準備情報取得部１５３は、グループ「Ｇ００１」について、ユニークユーザ数「５００」、予約回数「１０」と準備期間のＣＶＲ「２」を算出する。なお、準備期間の統計は、管理者が算出してもよい。

【0041】

選択部１５４は、準備期間の統計に基づいて、ＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する。例えば、選択部１５４は、ＣＶＲが近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択し、グループ「Ｇ００１」をコントロールグループ、グループ「Ｇ００２」をテストグループとして特定する。なお、選択部１５４は、グループ「Ｇ００１」をテストグループ、グループ「Ｇ００２」をコントロールグループとして特定してもよい。

【0042】

図７は、表示部１４０の表示画面１４１の一例を示す図である。選択部１５４は、表示画面１４１の選択ボタン１４２により、管理者がコントロールグループとテストグループを選択するものでもよい。管理者は、選択ボタン１４１を操作することにより、各グループについて、コントロールグループ、テストグループとテスト対象外のいずれとするかを選択する。

【0043】

（テスト段階）
記憶部１６０は、コントロールグループとテストグループに属するユーザ端末２００について、テスト期間のデータを記憶する。テスト情報取得部１５６は、テスト期間においてユーザ端末２００がサーバ１００に最初にアクセスした日時であるアクセス日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ａ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子とアクセス日時を対応付けて記憶する。なお、記憶部１６０は、アクセス日時を記憶しなくてもよい。テスト情報取得部１５６は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の予約処理を行った予約日時を取得し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ｂ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子と予約日時を対応付けて記憶する。テスト情報取得部１５６は、テスト期間の各ユーザ端末２００による施設の予約回数を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、図５（Ｃ）に示すデータ構造と同様に、ユーザ識別子、グループ識別子と予約回数を対応付けて記憶する。

【0044】

図８は、テスト期間の統計を示す図である。テスト情報取得部１５６は、準備期間のコントロールグループとテストグループのユニークユーザ数を、テスト期間のコントロールグループとテストグループのユニークユーザ数として取得する。テスト情報取得部１５６は、コントロールグループとテストグループに属するユーザ端末２００による施設の予約回数を集計し、コントロールグループとテストグループの予約回数をユニークユーザ数で割ることで、コントロールグループとテストグループのテスト期間のＣＶＲを算出する。例えば、テスト情報取得部１５６は、コントロールグループ「Ｇ００１」について、ユニークユーザ数「５００」、予約回数「１０」とテスト期間のＣＶＲ「２」を算出する。なお、テスト情報取得部１５６は、テスト期間においてサーバ１００にアクセスしたユーザ端末２００のユーザ識別子を集計し、コントロールグループとテストグループのユニークユーザ数を算出してもよい。テスト期間の統計は、管理者が算出してもよい。

【0045】

評価部１５７は、テスト期間の統計に基づいて、コントロールグループとテストグループのＣＶＲを比較する。評価部１５７は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する。例えば、評価部１５７は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。なお、コントロールグループとテストグループのＣＶＲの比較と、現行バージョンのコンテンツと新バージョンのコンテンツの評価は、管理者が行ってもよい。

【0046】

［サーバ１００の動作］
以下、本実施形態のサーバ１００の動作を説明する。

【0047】

（準備段階）
図９は、準備期間の各ユーザ端末２００に対するサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、サーバ１００により準備期間が開始され、ユーザ端末２００のウェブブラウザがサーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行うことを契機として開始する。

【0048】

サーバ１００は、ユーザ端末２００からクッキーを取得し、既にユーザ識別子とグループ識別子が付与されているか否かを判断することで、ユーザ端末２００が、準備期間において既にアクセスしたユーザ端末であるか否かを判断する（ステップＳ１１）。ユーザ端末２００が、準備期間において既にアクセスしたユーザ端末でない場合、サーバ１００は、ユーザ端末２００に対して、ユーザ識別子とグループ識別子を割り当て、ユーザ識別子とグループ識別子を含むクッキーをユーザ端末２００に送信し、記憶させる（ステップＳ１２）。サーバ１００は、ユーザに割り当てたユーザ識別子とグループ識別子を対応付けて、記憶部１６０に格納する（ステップＳ１３）。サーバ１００は、ユーザ端末２００に対して、データベース１１０に格納された現行バージョンのコンテンツを提供する（ステップＳ１４）。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から施設予約に関する情報が送信されたか否かを判断する（ステップＳ１５）。ユーザ端末２００から施設予約に関する情報が送信された場合、サーバ１００は、施設の予約処理を行う（ステップＳ１６）。サーバ１００は、ユーザ識別子に対応付けて、準備情報である施設の予約日時と準備期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する（ステップＳ１７）。

【0049】

図１０は、準備期間終了後のサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、準備期間の終了を契機として開始する。

【0050】

サーバ１００は、準備期間において、サーバ１００にアクセスしたユーザ端末２００について、同一のグループ識別子を付与されたユーザ端末２００が同一のグループとなるように、複数グループを作成する（ステップＳ２１）。サーバ１００は、各グループの準備期間のＣＶＲを算出する（ステップＳ２２）。サーバ１００は、複数グループから、準備期間のＣＶＲが近似する２つのグループを選択し、一方をコントロールグループ、他方をテストグループとして特定する（ステップＳ２３）。

【0051】

（テスト段階）
図１１は、テスト期間の各ユーザ端末２００に対するサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、サーバ１００によりテスト期間が開始され、ユーザ端末２００のウェブブラウザがサーバ１００に対して施設予約のウェブサイトのコンテンツの提供要求を行うことを契機として開始する。

【0052】

サーバ１００は、ユーザ端末２００のウェブブラウザから、クッキーを取得し、ユーザ識別子とユーザグループ識別子を特定する。サーバ１００は、記憶部１６０を参照し、ユーザ端末２００がテストグループに属するか否かを判断する（ステップＳ３１）。サーバ１００は、ユーザ端末２００がテストグループに属さないと判断した場合には、データベース１１０に格納された現行バージョンのコンテンツを提供する（ステップＳ３２）。すなわち、サーバ１００は、コントロールグループに属するユーザ端末２００と、コントロールグループとテストグループのいずれにも属さないユーザ端末２００に、現行バージョンのコンテンツを提供する。なお、コントロールグループとテストグループのいずれにも属さないユーザ端末２００には、現行バージョンのコンテンツとは異なるコンテンツを提供してもよい。サーバ１００は、ユーザ端末２００がテストグループに属すると判断した場合には、データベース１１０に格納された新バージョンのコンテンツを提供する（ステップＳ３３）。ユーザが施設予約を行う場合、ユーザ端末２００は、サーバ１００に対して、ユーザ識別子を含むクッキーと施設予約に関する情報を送信する。サーバ１００は、ユーザ端末２００から施設予約に関する情報が送信されたか否かを判断する（ステップＳ３４）。ユーザ端末２００から施設予約に関する情報が送信された場合、サーバ１００は、施設の予約処理を行う（ステップＳ３５）。サーバ１００は、ユーザ識別子に対応付けて、テスト情報である施設の予約日時とテスト期間の各ユーザ端末２００による施設の予約回数を記憶部１６０に格納する（ステップＳ３６）。

【0053】

図１２は、テスト期間終了後のサーバ１００の情報処理の一例を示すフロー図である。本情報処理のフローは、テスト期間の終了を契機として開始する。

【0054】

サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する（ステップＳ４１）。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する（ステップＳ４２）。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する（ステップＳ４３）。

【0055】

［サーバ１００の効果］
以下、本実施形態のサーバ１００の効果を説明する。

【0056】

本実施形態では、準備情報に基づいて複数グループの中から選択される、第１グループのユーザからアクセスがある場合に第１コンテンツを提供し、第２グループのユーザからアクセスがある場合に第２コンテンツを提供する。そのため、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。

【0057】

本実施形態では、準備情報の統計値が近似する第１グループと第２グループを特定する。そのため、第１コンテンツと第２コンテンツを、特性が近似するグループによって比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。

【0058】

本実施形態では、複数グループの中から第１グループと第２グループを選択する。そのため、複数グループの中から２つのグループを選択するという簡易な手順により、Ａ／Ｂテストを行うことができる。

【0059】

本実施形態では、テスト情報に基づいて第１グループと第２グループの評価値を比較する。そのため、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。

【0060】

［サーバ１００の変形例］
本発明は上記実施形態に限定されず、種々の変形が可能である。以下、サーバ１００の変形例について、上記実施形態と異なる点を中心に説明する。

【0061】

（変形例１）
上記実施形態では、準備情報取得部１５３が、準備期間の予約回数をユニークユーザ数で割ることで、準備期間のＣＶＲを算出する例を示した。変形例として、準備情報取得部１５３は、準備期間における所定期間（例えば、１日）毎の予約回数をユニークユーザ数で割ることで、所定期間毎のＣＶＲを算出してもよい。準備情報取得部１５３は、所定期間毎のＣＶＲの平均値を算出することで、準備期間のＣＶＲを算出する。

【0062】

本変形例によれば、所定期間毎のＣＶＲを算出するため、準備期間の開始後に、準備期間を短縮又は延長することができる。

【0063】

（変形例２）
上記実施形態では、テスト情報取得部１５６が、テスト期間の予約回数をユニークユーザ数で割ることで、テスト期間のＣＶＲを算出する例を示した。変形例として、テスト情報取得部１５６は、テスト期間における所定期間（例えば、１日）毎の予約回数をユニークユーザ数で割ることで、所定期間毎のＣＶＲを算出してもよい。テスト情報取得部１５６は、所定期間毎のＣＶＲの平均値を算出することで、テスト期間のＣＶＲを算出する。

【0064】

本変形例によれば、所定期間毎のＣＶＲを算出するため、テスト期間の開始後に、テスト期間を短縮又は延長することができる。

【0065】

（変形例３）
上記実施形態では、準備情報が、施設の予約日時と予約回数である例を示した。変形例として、準備情報は、施設の利用額でもよい。

【0066】

図１３は、変形例における準備期間の記憶部のデータ構造の一例を示す図である。準備情報取得部１５３は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の利用額を取得し、記憶部１６０に記憶する。準備情報取得部１５３は、準備期間の各ユーザ端末２００による施設の総利用額を算出し、記憶部１６０に記憶する。

【0067】

図１４は、変形例における準備期間の統計を示す図である。準備情報取得部１５３は、各グループに属するユーザ端末２００による総利用額を集計し、各グループの総利用額をユニークユーザ数で割ることで、各グループの準備期間の施設の平均利用額を算出する。選択部１５４は、準備期間の統計に基づいて、平均利用額が近似するコントロールグループとテストグループを特定する。

【0068】

本変形例によれば、準備情報を利用額とするため、第１コンテンツと第２コンテンツを、平均利用額が近似するグループによって比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。

【0069】

（変形例４）
上記実施形態では、テスト情報が、施設の予約日時と予約回数である例を示した。変形例として、テスト情報は、施設の利用額でもよい。

【0070】

テスト情報取得部１５６は、ユーザ端末２００から送信されるユーザ識別子、グループ識別子と施設の利用額を取得し、記憶部１６０に記憶する。テスト情報取得部１５６は、テスト期間の各ユーザ端末２００による施設の総利用額を算出し、記憶部１６０に記憶する。例えば、記憶部１６０は、図１３に示すデータ構造と同様のデータ構造を記憶する。

【0071】

図１５は、変形例におけるテスト期間の統計を示す図である。テスト情報取得部１５６は、コントロールグループとテストグループに属するユーザ端末２００による総利用額を集計し、コントロールグループとテストグループの総利用額をユニークユーザ数で割ることで、コントロールグループとテストグループのテスト期間の施設の平均利用額を算出する。評価部１５７は、コントロールグループとテストグループの平均利用額を比較する。評価部１５７は、コントロールグループの平均利用額が、テストグループの平均利用額より高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループの平均利用額が、コントロールグループの平均利用額より高い場合、新バージョンのコンテンツが優れていると評価する。

【0072】

本変形例によれば、テスト情報を利用額とするため、第１グループと第２グループの平均利用額を比較することで、第１コンテンツと第２コンテンツの優劣を適切に評価することができる。

【0073】

（変形例５）
上記実施形態では、テスト期間を設ける例を示した。変形例として、テスト期間に加えて、第２テスト期間を設けてもよい。

【0074】

コンテンツ提供部１５５は、第１グループ、及び複数グループの中からそれらグループのアクセス情報に基づいて選択される第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、第２グループ、及び複数グループの中からそれらグループのアクセス情報に基づいて選択される第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供する。アクセス情報は、準備情報でもよいし、テスト情報でもよい。所定の第２テスト期間は、テスト期間より後の期間である。テスト期間と第２テスト期間は連続していてもよいし、連続していなくてもよい。所定の第２テスト期間は、予め設定された期間（例えば、１月）でもよいし、管理者の指示により開始してから終了するまでの期間でもよい。

【0075】

選択部１５４は、第１グループと第２グループを選択する場合と同様に、アクセス情報の統計値が所定の関係を満たすように、第３グループと第４グループを選択する。

【0076】

図１６は、変形例における準備期間の統計を示す図である。選択部１５４は、準備期間の統計に基づいて、ユニークユーザ数と予約回数が近似するグループ「Ｇ００１」とグループ「Ｇ００２」を選択するとともに、グループ「Ｇ００３」とグループ「Ｇ００４」を選択する。選択部１５４は、グループ「Ｇ００１」と「Ｇ００３」をコントロールグループ、グループ「Ｇ００２」と「Ｇ００４」をテストグループとして特定する。

【0077】

図１７は、変形例におけるテスト期間の統計を示す図である。評価部１５７は、コントロールグループとテストグループのＣＶＲを比較する。評価部１５７は、テストグループのＣＶＲ「４」が、コントロールグループのＣＶＲ「２」より高いため、新バージョンのコンテンツが優れていると評価する。

【0078】

図１８は、変形例におけるテスト期間終了後のサーバ１００の情報処理の一例を示すフロー図である。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを算出する（ステップＳ１４１）。サーバ１００は、コントロールグループとテストグループのテスト期間のＣＶＲを比較する（ステップＳ１４２）。サーバ１００は、コントロールグループのＣＶＲが、テストグループのＣＶＲより高い場合、現行バージョンのコンテンツが優れていると評価し、テストグループのＣＶＲが、コントロールグループのＣＶＲより高い場合、新バージョンのコンテンツが優れていると評価する（ステップＳ１４３）。サーバ１００は、複数グループから、準備期間のＣＶＲが近似する新たな２つのグループを選択し、一方をコントロールグループ、他方をテストグループに加える（ステップＳ１４４）。サーバ１００は、第２テスト期間の処理として、ステップＳ３１の処理へ移行し、ステップＳ３１～Ｓ３６の処理と同様の処理を行う。なお、ステップＳ１４１～Ｓ１４３の各処理は行わなくてもよい。

【0079】

本変形例によれば、第１グループ及び第３グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第１コンテンツを提供し、第２グループ及び第４グループのユーザから、所定の第２テスト期間においてアクセスがある場合に第２コンテンツを提供するため、第１コンテンツと第２コンテンツを配分するユーザを徐々に増加させることができる。

【0080】

（変形例６）
上記実施形態では、第１グループと第２グループが、それぞれ、１のグループからなる例を示した。変形例として、第１グループと第２グループは、それぞれ、複数のグループからなるものであってもよい。

【0081】

選択部１５４は、複数のグループからなる第１グループと、複数のグループからなる第２グループを選択する。例えば、選択部１５４は、１００のグループの中から、１０のグループからなる第１グループと、１０のグループからなる第２グループを選択する。第１グループと第２グループは、上記実施形態と同様に、第１グループと第２グループの準備情報の統計値が、所定の関係を満たすように選択される。

【0082】

本変形例によれば、複数のグループからなる第１グループと、複数のグループからなる第２グループを選択するため、第１コンテンツと第２コンテンツを適切にユーザに配分し、Ａ／Ｂテストを行うことができる。

【符号の説明】

【0083】

１ 情報処理システム
１００ サーバ
１１０ データベース
１２０ 通信部
１３０ 入力部
１４０ 表示部
１４１ 表示画面
１４２ 選択ボタン
１５０ 制御部
１５１ 識別子付与部
１５２ 共通コンテンツ提供部
１５３ 準備情報取得部
１５４ 選択部
１５５ コンテンツ提供部
１５６ テスト情報取得部
１５７ 評価部
１６０ 記憶部
２００ ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】