特許 7231468 情報処理システム、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-20

(45)【発行日】2023-03-01

(54)【発明の名称】情報処理システム、および情報処理方法

(51)【国際特許分類】

   G06F 16/9538 20190101AFI20230221BHJP

【ＦＩ】

G06F16/9538

【請求項の数】 6

(21)【出願番号】P 2019080257

(22)【出願日】2019-04-19

(65)【公開番号】P2020177515

(43)【公開日】2020-10-29

【審査請求日】2021-09-16

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】真鍋 知博

【審査官】早川 学

(56)【参考文献】

【文献】特開２００９－２５９０３９（ＪＰ，Ａ）

【文献】特開２００４－２８７５３２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／００２６６４０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

第１ランキング対象群に対してランキング処理を行って上位のランキング対象を選択し、第１ランキング結果として出力する第１ランキング処理部と、
前記第１ランキング対象群とは少なくとも部分的に異なる第２ランキング対象群に対して、前記第１ランキング処理部とは異なるランキング手法でランキング処理を行って上位のランキング対象を選択し、第２ランキング結果として出力する第２ランキング処理部と、
を含む複数のランキング処理部と、
前記複数のランキング処理部によるランキング結果を混合して統合ランキング結果として出力する混合処理部と、
前記複数のランキング処理部によるランキング結果を、利用者の行動に基づいて評価する評価部と、を備え、
前記ランキング対象は、入力されたクエリに応じたランキング処理によって選択され、利用者にレコメンドされるものであり、
前記複数のランキング処理部のそれぞれは、前記クエリに応じてランキング処理の手法を決定してランキング処理を行う、
情報処理システム。

【請求項2】

前記第１ランキング処理部と前記第２ランキング処理部は、所定のタイミングで、互いに重複しないようにランキング手法を変更する、
請求項１記載の情報処理システム。

【請求項3】

前記第１ランキング処理部を実装する装置と、前記第２ランキング処理部を実装する装置と、前記混合処理部を実装する装置とは、互いに別体の装置である、
請求項１または２記載の情報処理システム。

【請求項4】

前記第１ランキング処理部を実装する装置と、前記第２ランキング処理部を実装する装置とは、互いに別体の装置であり、前記第１ランキング処理部を実装する装置または前記第２ランキング処理部を実装する装置が更に、前記混合処理部を実装する、
請求項１または２記載の情報処理システム。

【請求項5】

クエリに基づいて前記第１ランキング処理部と前記第２ランキング処理部とは、互いに重複しないようにランキング手法を決定する、
請求項１から４のうちいずれか１項に記載の情報処理システム。

【請求項6】

コンピュータが、
第１ランキング対象群に対してランキング処理を行って上位のランキング対象を選択し、第１ランキング結果として出力する第１ランキング処理と、
前記第１ランキング対象群とは少なくとも部分的に異なる第２ランキング対象群に対して、前記ランキング処理のランキング手法とは異なるランキング手法でランキング処理を行って上位のランキング対象を選択し、第２ランキング結果として出力する第２ランキング処理と、
前記第１ランキング結果および前記第２ランキング結果を混合して統合ランキング結果として出力する統合ランキング処理と、
前記第１ランキング処理および第２ランキング処理によるランキング結果を、利用者の行動に基づいて評価する評価処理と、を実行し
前記ランキング対象は、入力されたクエリに応じたランキング処理によって選択され、利用者にレコメンドされるものであり、
前記第１ランキング処理と前記第２ランキング処理とのそれぞれにおいて、前記クエリに応じてランキング処理の手法を決定してランキング処理を行う、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、および情報処理方法に関する。

【背景技術】

【0002】

従来、分散処理を行う電子店舗取引システムの発明が開示されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－１９６３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子商取引などの現場において、利用者の入力したクエリなどに応じて、情報提供する対象（ランキング対象）についてランキング処理を行い、上位となったランキング対象を利用者に提示するといったことが行われている。従来の技術では、このランキング処理において分散処理を行うことについて十分に検討されておらず、ランキング手法の評価のための処理を好適に行うことができない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、ランキング手法の評価のための処理を好適に行うことができる情報処理システム、および情報処理方法を提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、第１ランキング対象群に対してランキング処理を行って上位のランキング対象を選択し、第１ランキング結果として出力する第１ランキング処理部と、前記第１ランキング対象群とは少なくとも部分的に異なる第２ランキング対象群に対して、前記第１ランキング処理部とは異なる手法でランキング処理を行って上位のランキング対象を選択し、第２ランキング結果として出力する第２ランキング処理部と、を含む複数のランキング処理部を備え、前記複数のランキング処理部によるランキング結果を混合して統合ランキング結果として出力する混合処理部を更に備える、情報処理システムである。

【発明の効果】

【0007】

本発明の一態様によれば、ランキング手法の評価のための処理を好適に行うことができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システム１００の構成と使用環境の一例を示す図である。

【図2】ユーザデータ７０の内容の一例を示す図である。

【図3】検索入力画面ＩＭ１の一例を示す図である。

【図4】検索結果表示画面ＩＭ２の一例を示す図である。

【図5】商品販売画面ＩＭ３の一例を示す図である。

【図6】商品データ７２の内容の一例を示す図である。

【図7】ログデータ７４の内容の一例を示す図である。

【図8】第１商品データ１２４および第２商品データ１３４の内容の一例を示す図である。

【図9】クエリに応じたランキング手法を用いてランキング処理の一例を示す図である。

【図10】情報処理システム１００により実行される処理の流れの一例を示すフローチャートである。

【図11】ユーザに提供される商品販売画面ＩＭ４の一例を示す図である。

【図12】フロントサーバ１１０およびショッピングサーバ５０により実行される処理の流れの一例を示すフローチャートである。

【図13】ランキング手法の評価について説明するための図である。

【図14】本実施形態の情報処理システム１００と比較例１、２の情報処理システムとを比較する図である。

【図15】第１実施形態における選択した商品を混合する処理と、第１実施形態の変形例における選択した商品を混合する処理とを比較するための図である。

【図16】第２実施形態の情報処理システム１００Ａの構成と使用環境の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照し、本発明の情報処理システム、および情報処理方法の実施形態について説明する。情報処理システムは、二以上のプロセッサにより実現される。情報処理システムは、電子商取引やコンテンツ配信などのサービスにおいて実行されるランキング処理を行いながら、ランキング処理の手法（以下、ランキング手法）を評価するための処理を実行する。

【0010】

＜第１実施形態＞
図１は、情報処理システム１００の構成と使用環境の一例を示す図である。情報処理システム１００のフロントサーバ１１０は、ネットワークＮＷを介してショッピングサーバ５０と通信する。ショッピングサーバ５０は、ネットワークＮＷを介して、端末装置１０と通信する。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、無線基地局、プロバイダ端末、専用回線などを含む。

【0011】

端末装置１０は、例えば、パーソナルコンピュータやスマートフォンなどの携帯電話、タブレット端末などである。これらにおいて、ブラウザやアプリケーションプログラムなどのＵＡ（User Agent）２０が起動する。ＵＡ２０は、ショッピングサーバ５０から提供された販売画面を表示すると共に、端末装置１０のユーザによってなされた入力操作に応じたリクエストをショッピングサーバ５０に送信する。

【0012】

［ショッピングサーバ］
ショッピングサーバ５０は、例えば、サイト提供部５２と、ランキング依頼部５４と、ログ収集部５６と、を備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などの一以上のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0013】

また、ショッピングサーバ５０は、ＨＤＤやフラッシュメモリ、ＲＡＭ（Random Access Memory）などの記憶装置に、ユーザデータ７０、商品データ７２、ログデータ７４などのデータを格納している。この記憶装置は、ショッピングサーバ５０に付随するものであってもよいし、ショッピングサーバ５０がネットワークＮＷを介してアクセス可能なＮＡＳ（Network Attached Storage）であってもよい。

【0014】

サイト提供部５２は、ユーザデータ７０を参照しつつ、以下に説明する各種処理を行う。図２は、ユーザデータ７０の内容の一例を示す図である。ユーザデータ７０は、例えば、氏名、性別、年齢、職業などの情報が、ユーザＩＤに対応付けられたデータである。これらのデータは、ユーザにより入力され、ユーザの行動履歴から特定され、或いはユーザの行動履歴から推定されたものである。

【0015】

サイト提供部５２は、ショッピングサイトとしての各種画面を端末装置１０に提供する。図３は、検索入力画面ＩＭ１の一例を示す図である。検索入力画面ＩＭ１には、商品を検索するためのクエリを入力するためのクエリ入力欄Ａ１、および、入力されたクエリで検索を実行させるための検索ボタンＢ１が設けられている。クエリ入力欄Ａ１にクエリが入力され、検索ボタンＢ１が操作されると、検索結果表示画面ＩＭ２に遷移する。このとき、サイト提供部５２は、クエリをランキング依頼部５４に出力する。ランキング依頼部５４は、クエリをフロントサーバ１１０に送信してランキング処理を依頼する。以下、この依頼をランキング依頼と称する。なお、クエリではなくカテゴリが選択された場合も、同様に検索結果表示画面ＩＭ２に遷移する。

【0016】

図４は、検索結果表示画面ＩＭ２の一例を示す図である。検索結果表示画面ＩＭ２には、検索結果表示欄Ａ２が含まれる。検索結果表示欄Ａ２には、情報処理システム１００によって決定されたランキング順に、スクロールすることで視認可能な数の商品の画像や説明が、ポジション順に並べて表示される。検索結果表示画面ＩＭ２において一つの商品の画像や説明が操作（選択）されると、商品販売画面ＩＭ３に遷移する。

【0017】

図５は、商品販売画面ＩＭ３の一例を示す図である。商品販売画面ＩＭ３には、商品画像表示欄Ａ３－１、タイトル欄Ａ３－２、詳細説明欄Ａ３－３などが含まれる。タイトル欄Ａ３－２や詳細説明欄Ａ３－３には、選択された商品（選択商品）の製造元、商品の素材、使用、その他の内容がテキストとして掲載される。商品販売画面ＩＭ３に対する操作によって、購入者により商品が購入される。

【0018】

各種画面に埋め込まれる情報は、商品データ７２から取得される。図６は、商品データ７２の内容の一例を示す図である。商品データ７２は、例えば、商品の識別情報である商品ＩＤに対して、カテゴリの識別情報であるカテゴリＩＤ、商品画像、タイトル、詳細説明、価格、その他のデータが対応付けられたものである。以下、上記の所定の商品ＩＤと、所定の商品ＩＤに対応付けられた情報を「レコ－ド」と称する場合がある。これらのうち、商品ＩＤは、不図示の出品受付部により付番された情報であり、その他の情報は、販売者により入力されたものである。カテゴリは、例えば階層的に設定されており、図示の例では、例えば「３」が「飲食品」、「３５」が「お酒」、「３５６」が「赤ワイン」を示している。タイトルは、タイトル欄Ａ３－２に表示され、詳細説明は、詳細説明欄Ａ３－３に表示される。

【0019】

ログ収集部５６は、ユーザごとのショッピングサイトの利用履歴を収集し、ログデータ７４に登録する。図７は、ログデータ７４の内容の一例を示す図である。ログデータ７４は、例えば、閲覧ページの識別情報（例えばＵＲＬ：Uniform Resource Locator）に対して、閲覧時刻、検索結果表示画面であれば紹介商品の商品ＩＤ、商品販売画面であれば購入情報、実行されたランキング手法の情報などが対応付けられたデータである、購入情報には、購入された商品の商品ＩＤなどが含まれる。また、ランキング手法の情報は、商品ＩＤに対してランキング手法が対応付けられた情報である。ランキング手法は、情報処理システム１００により商品がランキングされた際に用いられた手法である。詳細は後述する。

【0020】

［情報処理システム］
情報処理システム１００は、フロントサーバ１１０と、少なくとも第１ランキングサーバ１２０および第２ランキングサーバ１３０を含む複数のランキングサーバとを備える。図示する例では、フロントサーバ１１０と、第１ランキングサーバ１２０と、第２ランキングサーバ１３０とは、異なる装置であるものとしているが、一つの装置であってもよい。

【0021】

［フロントサーバ］
フロントサーバ１１０は、例えば、ランキング手法指定部１１２と、混合処理部１１４と、評価部１１６とを備える。ランキング手法指定部１１２は、第１ランキングサーバ１２０および第２ランキングサーバ１３０がランキング処理を行うのに適用する手法を決定する。ランキング手法指定部１１２は、決定したランキング処理を行うのに適用する手法でランキング処理を行うように第１ランキングサーバ１２０および第２ランキングサーバ１３０に指示する。詳しくは、後述する。

【0022】

混合処理部１１４は、複数のランキング処理部（例えば、後述する第１ランキング処理部１２２および第２ランキング処理部１３２）によるランキング結果を混合して統合ランキング結果として出力する。例えば、混合処理部１１４は、統合ランキング結果をショッピングサーバ５０に出力する。例えば、混合処理部１１４は、複数のランキング処理部により出力されたランキング結果のそれぞれからスコアが高い順に所定数の商品を選択して、選択した商品を混合する。

【0023】

評価部１１６は、混合処理部１１４によるランキング結果、およびユーザの行動に基づいて、ランキング手法を評価する。ユーザの行動とは、例えば、ランキング結果を含むウエブページに対するユーザの行動である。ユーザの行動とは、例えば、ランキング結果に含まれるコンテンツ（商品）に対するＣＶＲ（Conversion Rate）や、ＣＴＲ（Click Through Rate）などである。

【0024】

第１ランキングサーバ１２０は、例えば、第１ランキング処理部１２２と、第１商品データ１２４とを含む。第１ランキング処理部１２２は、第１商品データ１２４（第１ランキング対象群）に対してランキング処理を行って上位のランキング対象を選択し、第１ランキング結果として出力する。第１商品データ１２４は、商品データ７２に含まれる複数のレコードを含む。

【0025】

第２ランキングサーバ１３０は、例えば、第２ランキング処理部１３２と、第２商品データ１３４とを含む。第２ランキング処理部１３２は、第２商品データ１３４（第２ランキング対象群）に対して、第１ランキングサーバ１２０とは異なるランキング手法でランキング処理を行って上位のランキング対象を選択し、第２ランキング結果として出力する。第２商品データ１３４は、第１商品データ１２４とは少なくとも部分的に異なる商品データである。

【0026】

図８は、第１商品データ１２４および第２商品データ１３４の内容の一例を示す図である。図８では、第２商品データ１３４は、第１商品データ１２４と異なる商品データである。例えば、商品「テレビ」の商品ＩＤ００１～１００のレコードは、第１商品データ１２４に含まれ、商品「テレビ」の商品ＩＤ１０１～２００のレコードは、第２商品データ１３４に含まれる。また、例えば、商品「冷蔵庫」の商品ＩＤ２０１～３００のレコードは、第１商品データ１２４に含まれ、商品「テレビ」の商品ＩＤ３０１～４００のレコードは、第２商品データ１３４に含まれる。このように、同じ商品であっても、第１商品データ１２４に含まれ商品データと、第２商品データ１３４に含まれる商品データとは異なる。以下、第１商品データ１２４と第２商品データ１３４とを区別しない場合は、「商品データ」と称する場合がある。

【0027】

第１商品データ１２４に含まれる商品データと、第２商品データ１３４に含まれる商品データとは、ランキング処理の結果をユーザに提示した場合に、ユーザの行動に偏りが出ないように分類されている。例えば、所定のクエリに対応する商品のうち、売れ筋の商品や、人気の商品、評価の高い商品が、第１商品データ１２４と第２商品データ１３４とに均等に含まれるように、第１商品データ１２４と第２商品データ１３４とが生成されている。図８において商品ＩＤがある値を境に分割されているのは、内容的な分割を意味するものでは無い。

【0028】

［ランキング処理］
ここで、第１ランキング処理部１２２または第２ランキング処理部１３２（以下、ランキング処理部）が実行する処理の一例について説明する。ランキング処理部は、例えば、所定のランキング手法に基づいて、ランキング処理を行う。所定のランキング手法とは、例えば、商品の価格を重視したランキングや、商品に対するレビューを重視したランキング、クエリと商品とのマッチング度を重視したランキング、これらのランキングを統合したランキングなどである。

【0029】

例えば、ランキング処理部が、クエリと商品とのマッチング度を重視したランキング処理を行う場合、まずクエリを用いて商品データを検索し、タイトルまたは商品詳細の中にクエリが含まれる商品を抽出する。そして、ランキング処理部は、抽出した商品の特徴量（ＰＶ（Page View）数、クエリとのマッチ度合い、価格など）をランキング用モデルに入力することで商品ごとのスコアを導出し、スコアが高い商品から順に商品を選択することでランキング結果を生成する。

【0030】

例えば、ランキング処理部が、商品の価格を重視したランキング処理を行う場合、例えば、上記のように、まずクエリを用いて商品データを検索し、タイトルまたは商品詳細の中にクエリが含まれる商品を抽出し、抽出した商品のうち価格が安い順や高い順に商品を選択することでランキング結果を生成する。

【0031】

［フロントサーバ（再）］
ランキング手法指定部１１２の処理について、より詳細に説明する。例えば、ランキング手法指定部１１２は、ランキング依頼を取得する度に、第１ランキング処理部１２２と第２ランキング処理部１３２とが実行するランキング手法を決定する。これに代えて、ランキング手法指定部１１２は、一定期間は指定したランキング手法を固定するようにしてもよい。

【0032】

この際、ランキング手法指定部１１２は、第１ランキング処理部１２２に実行させるランキング手法と、第２ランキング処理部１３２に実行させるランキング手法とが異なるように、ランキング手法を指定する。これにより、第１ランキング処理部１２２と第２ランキング処理部１３２は、所定のタイミングで、互いに重複しないようにランキング手法を変更する。

【0033】

ランキング手法は、例えば、以下のように決定される。
（１）ランキング手法指定部１１２は、まず、クエリを予め設定された手順に従ってハッシュ化し、ハッシュ値に基づくシード値を導出する。このとき、ハッシュ化されるクエリは、元のクエリを前処理したものであってもよい。前処理とは、検索ワードに含まれる「てにをは」などのワードを削除したり、同義語を統合したりする処理である。
（２）ランキング手法指定部１１２は、導出したシード値に基づき乱数を発生させて、発生させた乱数に基づいて、ランキング手法を決定する。乱数は、クエリが同じであれば同じ値となる。

【0034】

例えば、シード値「Ｘ１」により発生した乱数「Ｘ２」が導出された場合、「Ｘ２」に対応する第１ランキング処理部１２２のランキング手法１と、第２ランキング処理部１３２のランキング手法２とが導出される。この結果、あるクエリ（前処理されたもの）に対して、各ランキング処理部に指示するランキング手法は固定的に決定される。例えば、クエリが「テレビ」の場合、「テレビ」に対応するランキング手法が各ランキング処理部に指示される。また、クエリが「冷蔵庫」の場合、「冷蔵庫」に対応するランキング手法が各ランキング処理部に指示される。

【0035】

上記のように処理が行われることにより、図９に示すように、情報処理システム１００は、クエリに応じたランキング手法を用いてランキング処理を行う。これにより網羅的にランキング手法が第１ランキング処理部１２２、または第２ランキング処理部１３２で適用される。上記のようにランキング手法が選択されることで、様々なクエリが順次入力されると、各ランキング処理部は予め用意されたランキング手法を均等に採用してランキング処理を行うことになる。

【0036】

そして、評価部１１６は、複数のランキング手法のそれぞれと、第１商品データとの組み合わせのランキング結果に対するユーザの行動、および複数のランキング手法のそれぞれと、第２商品データとの組み合わせのランキング結果に対するユーザの行動に基づいて、ランキング手法を評価する。この結果、本実施形態の情報処理システム１００は、後述するよう処理負荷を加味せずに、ランキング手法を評価する場合と同様に、ランキング手法を評価することができる（後述の図１４参照）。

【0037】

［フローチャート（その１）］
図１０は、情報処理システム１００により実行される処理の流れの一例を示すフローチャートである。本処理は、例えば、３日や１週間など設定された期間行われる。まず、フロントサーバ１１０が、ショッピングサーバ５０からクエリと共にランキング依頼を取得したか否かを判定する（Ｓ１０）。

【0038】

ランキング依頼を取得すると、ランキング手法指定部１１２が、ランキング手法を決定し（Ｓ１２）、クエリおよびＳ１２で決定した第１ランキングサーバ１２０向けのランキング手法と、第２ランキングサーバ１３０向けのランキング手法とを、第１ランキングサーバ１２０と第２ランキングサーバ１３０のそれぞれに送信する（Ｓ１４）。

【0039】

次に、第１ランキングサーバ１２０の第１ランキング処理部１２２が、Ｓ１４で送信されたクエリおよび決定されたランキング手法に基づいてランキング処理を行い（Ｓ３０）、ランキング処理の結果をフロントサーバ１１０に送信する（Ｓ３２）。

【0040】

並行して（時間的に前後してもよいが）第２ランキングサーバ１３０の第２ランキング処理部１３２が、Ｓ１４で送信されたクエリおよび決定されたランキング手法に基づいてランキング処理を行い（Ｓ６０）、ランキング処理の結果をフロントサーバ１１０に送信する（Ｓ６２）。

【0041】

次に、フロントサーバ１１０の混合処理部１１４が、Ｓ３２およびＳ６２で送信されたランキング処理の結果を混合して（Ｓ１６）、混合したランキング結果をショッピングサーバ５０に送信する（Ｓ１８）。これにより、本フローチャートの１ルーチンの処理が終了する。

【0042】

ショッピングサーバ５０は、フロントサーバ１１０から取得したランキング結果をユーザに提供する。図１１は、ユーザに提供される商品販売画面ＩＭ４の一例を示す図である。商品販売画面ＩＭ３との相違点を中心に説明する。例えば、検索結果表示欄Ａ２には、第１ランキング処理部１２２によりランキング処理されたランキング結果（図中、Ｒ１）と、第２ランキング処理部１３２によりランキング処理されたランキング結果（図中、Ｒ２）とが含まれる。そして、ユーザが検索結果表示欄Ａ２に含まれる商品を選択したり、購入したりすると、その行動がログデータ７４としてショッピングサーバ５０の記憶装置に記憶される。

【0043】

上記処理により、情報処理システム１００は、種々のランキング手法に基づいたコンテンツをユーザに提供し、コンテンツが提供されたユーザの行動を収集することができる。そして、以下の処理で、ランキング手法が評価される。

【0044】

［フローチャート（その２）］
図１２は、フロントサーバ１１０およびショッピングサーバ５０により実行される処理の流れの一例を示すフローチャートである。

【0045】

まず、評価部１１６が、評価タイミングが到来したか否かを判定する（Ｓ１００）。評価タイミングが到来した場合、評価部１１６は、ショッピングサーバ５０にログデータ７４の送信を依頼する（Ｓ１０２）。ショッピングサーバ５０は、Ｓ１０２の依頼に応じて、ログデータ７４をフロントサーバ１１に送信する（Ｓ１２０）。

【0046】

次に、評価部１１６は、ログデータ７４に基づいて、ランキング手法を評価する（Ｓ１０４）。次に、評価部１１６は、Ｓ１０４の評価結果に基づいて、評価が高いランキング手法を決定する（Ｓ１０６）。これにより、本フローチャートの処理が終了する。

【0047】

図１３は、ランキング手法の評価について説明するための図である。評価部１１６は、ログデータ７４を参照して、ランキング処理の結果に含まれる商品に対するＫＰＩ（key performance indicator）を、クエリおよびランキング手法ごとに統合する（例えば、平均を求めたり、合計を求めたりする）。ＫＰＩは、例えば、ＣＴＲ（Click Through Rate）やＣＶＲ（Conversion Rate）、或いはそれらの混合、または他の種類の指標値である。そして、評価部１１６は、例えば、クエリおよびランキング手法ごとのＫＰＩが高いランキング手法に対して高い評価を与える。

【0048】

例えば、クエリ０１に関して、ランキング手法１および第１商品データ１２４を用いてＣＴＲが導出され、ランキング手法２および第２商品データ１３４を用いてＣＴＲが導出されている。このため、クエリ０１の結果だけでは、ランキング手法の有用性を示すものとは言えない。しかしながら、他の複数のクエリについても、クエリ０１と同様にランキング処理が試行され、その結果に基づいてＫＰＩが導出される。そして、種々のクエリを含めることで、ランキング手法と商品データとが固定されていても、ランキング手法の特性を客観的に示すＫＰＩが導出される。

【0049】

例えば、以降のランキング処理に関して、フロントサーバ１１０は、評価が高いランキング手法を用いた処理を行い、処理結果をショッピングサーバ５０に送信する。そして、ショッピングサーバ５０は、評価が高いランキング手法に基づくランキング処理の結果をユーザに提供することができる。

【0050】

図１４は、本実施形態の情報処理システム１００と比較例１、２の情報処理システムとを比較する図である。

【0051】

［比較例１］
比較例１の情報処理装置Ｄについて説明する。図１４の上図に示すように、比較例１の情報処理装置Ｄは、第１ランキング処理部と、第２ランキング処理部と、商品データとを備える。商品データは、ショッピングサーバ５０が備えるものと同一の商品データである。第１ランキング処理部は、商品データを参照して、例えば、ランキング手法１でランキング処理を行う。すなわち、第１ランキング処理部は、商品データに含まれる商品に対してランキング処理を行う。第２ランキング処理部は、商品データを参照して、例えば、ランキング手法２でランキング処理を行う。第２ランキング処理部は、商品データに含まれる商品に対してランキング処理を行う。情報処理装置Ｄは、複数のランキング手法を時分割で切り替えてランキング処理を行うため、全体としての処理負荷が実施形態の情報処理システム１００よりも高く、処理時間も長くなる。

【0052】

［比較例２］
比較例２の情報処理システムＳについて説明する。図１４の中図に示すように、比較例２の情報処理装置Ｓは、第１ランキング処理部と、商品データとを含む第１装置と、第２ランキング処理部と、商品データとを含む第２装置とを備える。商品データは、ショッピングサーバ５０が備えるものと同一の商品データである。第１装置の第１ランキング処理部は、比較例１と同様に、商品データを参照して、例えば、ランキング手法１でランキング処理を行う。第２装置の第２ランキング処理部は、比較例１と同様に、商品データを参照して、例えば、ランキング手法２でランキング処理を行う。情報処理システムＳは、第１装置と、第２装置とで処理が分散されるが、それぞれの装置が参照する商品データはショッピングサーバ５０が保有するものと同じであるため、全体としての処理負荷が実施形態の情報処理システム１００よりも高く、処理時間も長くなる。

【0053】

［本実施形態］
本実施形態の情報処理システム１００について説明する。図１４の下図に示すように、本実施形態の情報処理システム１００では、第１ランキング処理部１２２が、第１商品データ１２４を参照して、例えば、ランキング手法１でランキング処理を行い、第２ランキング処理部１３２は、第２商品データ１３４を参照して、例えば、ランキング手法２でランキング処理を行う。各ランキング処理部が、参照するデータは各比較例に比して小さいため、処理負荷が軽減され、処理時間も短縮される。

【0054】

電子商取引のサービス現場において、クエリを入力してから検索結果表示画面が提示されるまでの時間は、利用者のサービス満足度に大きく影響する。このため、少しでも処理時間を短縮することのニーズは非常に高い。しかしながら、ランキング手法の評価といった客観性を要求される処理に関して、従来は各比較例に示すような構成および処理しか想定されていなかった。この点、実施形態の情報処理システム１００では、商品データを分割することで処理負荷を軽減し、データの偏りが生じることをランキング手法の逐次切り換えによって抑制している。この結果、実施形態の情報処理システム１００は、ランキング手法の評価のための処理を好適に（高速かつ適切に）行うことができる

【0055】

以上説明した第１実施形態によれば、情報処理システム１００は、第１ランキング対象群に対してランキング処理を行って上位のランキング対象を選択し、第１ランキング結果として出力する第１ランキング処理部１２２と、第１ランキング対象群とは少なくとも部分的に異なる第２ランキング対象群に対して、第１ランキング処理部１２２とは異なるランキング手法でランキング処理を行って上位のランキング対象を選択し、第２ランキング結果として出力する第２ランキング処理部１３２とを含み、複数のランキング処理部によるランキング結果を混合して統合ランキング結果として出力することにより、ランキング手法の評価のための処理を好適に行うことができる。

【0056】

＜第１実施形態の変形例＞
第１実施形態では、情報処理システム１００は、複数のランキング処理部によるランキング結果のそれぞれからスコアが高い順に所定数の商品を選択して、選択した商品を混合するものとした。第１実施形態の変形例では、複数のランキング処理部によるランキング結果の集合の中から、スコアが高い順に所定数商品が選択される。

【0057】

図１５は、第１実施形態における選択した商品を混合する処理と、第１実施形態の変形例における選択した商品を混合する処理とを比較するための図である。図１５の上図は、第１実施形態の混合処理部１１４により行われる処理である。図１５の下図は、第１実施形態の変形例の混合処理部１１４により行われる処理である。

【0058】

第１実施形態の変形例の混合処理部１１４は、例えば、ランキング手法１およびランキング手法２のランキング処理の結果からスコアが高い順に所定数（例えば４つ）の商品を選択する。図１５の下図に示すように、ランキング手法１の商品が３つ選択され、ランキング手法２の商品が１つ選択された場合、評価部１１６は、ランキング手法１とランキング手法２とを評価する際に、ＫＰＩに対する偏りを排除する処理を行う。

【0059】

例えば、ランキング手法１により選択された３つの商品がユーザに提供され、ランキング手法２により選択された１つの商品がユーザに提供される場合、ランキング手法１の商品が選択されることの期待値は、商品の特性を考慮しなければ、ランキング手法２の商品が選択されることの期待値の３倍となる。このような選択される期待の偏りを抑制するために、例えば、評価部１１６は、クエリごとに、ランキング手法１により選択された商品の数と、ランキング手法２により選択された商品の数とを合計し、全体のＫＰＩに反映させる度合いを調整してもよい（例えば当該クエリに関してランキング手法１に対応するＫＰＩを１／３倍するなどしてもよい）。これによって、評価部１１６は、ランキング手法ごとの処理結果を共通化することにより生じる偏りを抑制することができる。

【0060】

以上説明した第１実施形態の変形例によれば、情報処理システム１００は、共通化された処理結果でレコメンドするので、評価期間であっても魅力的な商品を利用者に提示することができる。この結果、情報処理システム１００は、ランキング手法の評価に関して生じる偏りも抑制することができる。

【0061】

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、フロントサーバ１１０と第１ランキングサーバ１２０または第２ランキングサーバ１３０とが統合される。以下の説明では、フロントサーバ１１０と第１ランキングサーバ１２０とが統合される例について説明する。

【0062】

図１６は、第２実施形態の情報処理システム１００Ａの構成と使用環境の一例を示す図である。第２実施形態の情報処理システム１００Ａは、例えば、情報処理システム１００に代えて、情報処理システム１００Ａを備える。情報処理システム１００Ａは、例えば、第１ランキングサーバ１２０Ａと、第２ランキングサーバ１３０とを備える。

【0063】

第１ランキングサーバ１２０Ａは、例えば、ランキング手法指定部１１２と、混合処理部１１４と、評価部１１６と、第１ランキング処理部１２２と、第１商品データ１２４とを備える。これらの機能部の機能は、第１実施形態における同様の名称の機能と同様である。

【0064】

以上説明した第２実施形態によれば、第１実施形態が奏する効果と同等の効果を奏する。

【0065】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0066】

１０‥端末装置、１１‥フロントサーバ、５０‥ショッピングサーバ、５２‥サイト提供部、５４‥ランキング依頼部、５６‥ログ収集部、７２‥商品データ、１００、１００Ａ‥情報処理システム、１１０‥フロントサーバ、１１２‥ランキング手法指定部、１１４‥混合処理部、１１６‥評価部、１２０、１２０Ａ‥第１ランキングサーバ、１２２‥第１ランキング処理部、１２４‥第１商品データ、１３０‥第２ランキングサーバ、１３２‥第２ランキング処理部、１３４‥第２商品データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】