特許 5767413 情報処理システム、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5767413

(24)【登録日】2015年6月26日

(45)【発行日】2015年8月19日

(54)【発明の名称】情報処理システム、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20150730BHJP

【ＦＩ】

   G06F17/30 220B

   G06F17/30 170B

   G06F17/30 230Z

【請求項の数】11

【全頁数】22

(21)【出願番号】特願2014-555033(P2014-555033)

(86)(22)【出願日】2014年3月18日

(86)【国際出願番号】JP2014057323

【審査請求日】2014年11月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】399037405

【氏名又は名称】楽天株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100144440

【弁理士】

【氏名又は名称】保坂 一之

(72)【発明者】

【氏名】新里 圭司

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２０１１−１５４６３８（ＪＰ，Ａ）

【文献】 特開２００８−０２７１５４（ＪＰ，Ａ）

【文献】 特開２０１２−０６８６９５（ＪＰ，Ａ）

【文献】 柳井 啓司，一般画像自動分類の実現へ向けたWorld Wide Webからの画像知識の獲得，人工知能学会論文誌，日本，２００４年，vol.19, No.5,，p.429-439

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

ユーザ端末から送信されたリクエストに含まれる、オンライン・ショッピング・サイトでユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された商品画像とを抽出する抽出部と、
前記商品画像に対応しかつ画像記憶部から得られた商品画像データと、前記語句に基づく一般名称とを関連付けることで、該商品画像データが該一般名称によりラベル付けされた、一般物体認識のための機械学習で用いられる組合せデータを生成する生成部とを備える情報処理システム。

【請求項2】

前記抽出部が、前記ユーザ端末上に表示された後に前記ユーザにより選択された前記商品画像を抽出する、
請求項１に記載の情報処理システム。

【請求項3】

前記抽出部が、前記ユーザ端末上に表示された後に前記ユーザにより他の画像との比較のために選択された前記商品画像を抽出する、
請求項２に記載の情報処理システム。

【請求項4】

前記抽出部が、前記ユーザ端末上に表示された後に前記ユーザにより複数回選択された前記商品画像を抽出する、
請求項２に記載の情報処理システム。

【請求項5】

前記抽出部が、前記ユーザ端末上に所定の時間以上表示された前記商品画像を抽出する、
請求項１に記載の情報処理システム。

【請求項6】

前記ユーザにより指定された語句が、検索キーワードと、商品画像データの対象物の属性とであり、
前記生成部が、前記検索キーワードが一般名称である場合には前記商品画像データと前記検索キーワードに基づく前記一般名称とを関連付け、前記検索キーワードが固有名称である場合には前記商品画像データと前記属性に基づく前記一般名称とを関連付ける、
請求項１〜５のいずれか一項に記載の情報処理システム。

【請求項7】

ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、
前記画像に対応しかつ画像記憶部から得られた画像データと、前記語句に基づく名称とを関連付けることで組合せデータを生成する生成部とを備え、
前記ユーザにより指定された語句が、検索キーワードと、画像データの対象物の属性とであり、
前記生成部が、前記検索キーワードが一般名称である場合には前記画像データと前記検索キーワードに基づく前記名称とを関連付け、前記検索キーワードが固有名称である場合には前記画像データと前記属性に基づく前記名称とを関連付ける、
情報処理システム。

【請求項8】

プロセッサを備える情報処理システムにより実行される情報処理方法であって、
ユーザ端末から送信されたリクエストに含まれる、オンライン・ショッピング・サイトでユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された商品画像とを抽出する抽出ステップと、
前記商品画像に対応しかつ画像記憶部から得られた商品画像データと、前記語句に基づく一般名称とを関連付けることで、該商品画像データが該一般名称によりラベル付けされた、一般物体認識のための機械学習で用いられる組合せデータを生成する生成ステップと
を含む情報処理方法。

【請求項9】

プロセッサを備える情報処理システムにより実行される情報処理方法であって、
ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出ステップと、
前記画像に対応しかつ画像記憶部から得られた画像データと、前記語句に基づく名称とを関連付けることで組合せデータを生成する生成ステップとを含み、
前記ユーザにより指定された語句が、検索キーワードと、画像データの対象物の属性とであり、
前記生成ステップでは、前記検索キーワードが一般名称である場合には前記画像データと前記検索キーワードに基づく前記名称とを関連付け、前記検索キーワードが固有名称である場合には前記画像データと前記属性に基づく前記名称とを関連付ける、
情報処理方法。

【請求項10】

ユーザ端末から送信されたリクエストに含まれる、オンライン・ショッピング・サイトでユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された商品画像とを抽出する抽出部と、
前記商品画像に対応しかつ画像記憶部から得られた商品画像データと、前記語句に基づく一般名称とを関連付けることで、該商品画像データが該一般名称によりラベル付けされた、一般物体認識のための機械学習で用いられる組合せデータを生成する生成部と
してコンピュータを機能させるための情報処理プログラム。

【請求項11】

ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、
前記画像に対応しかつ画像記憶部から得られた画像データと、前記語句に基づく名称とを関連付けることで組合せデータを生成する生成部としてコンピュータを機能させ、
前記ユーザにより指定された語句が、検索キーワードと、画像データの対象物の属性とであり、
前記生成部が、前記検索キーワードが一般名称である場合には前記画像データと前記検索キーワードに基づく前記名称とを関連付け、前記検索キーワードが固有名称である場合には前記画像データと前記属性に基づく前記名称とを関連付ける、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、画像を処理する情報処理システム、情報処理方法、および情報処理プログラムに関する。

【背景技術】

【0002】

画像に写った対象物の名称を特定する一般物体認識という技術がある。この一般物体認識の例として、下記特許文献１に記載の画像特徴量抽出装置が挙げられる。この装置は、フレーム画像データから検出した特徴点の周辺領域、すなわち局所領域における局所特徴量の共起に基づいて、画像の内容を特徴付ける特徴量を生成する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−０３７５３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような一般物体認識においては、対象物毎の局所特徴量の分布をコンピュータに機械学習させるために、画像と名称との組合せを示すデータを予め多く準備しておく必要がある。しかしながら、そのようなデータを人手で大量に準備するのは容易ではなく手間が掛かる。そこで、画像と名称との組合せを自動的に収集することが望まれている。

【課題を解決するための手段】

【0005】

本発明の一側面に係る情報処理システムは、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成部とを備える。

【0006】

本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理システムにより実行される情報処理方法であって、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出ステップと、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成ステップとを含む。

【0007】

本発明の一側面に係る情報処理プログラムは、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成部としてコンピュータを機能させる。

【0008】

このような側面においては、ユーザにより指定された語句と画像データとの対応が得られ、その語句に基づく名称および画像データが互いに関連付けられる。したがって、人手を介さずに画像と名称との組合せを自動的に収集することができる。

【発明の効果】

【0009】

本発明の一側面によれば、画像と名称との組合せを自動的に収集することできる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理システムでの処理の概念図である。

【図2】実施形態に係る情報処理システムを構成するコンピュータのハードウェア構成を示す図である。

【図3】実施形態に係る情報処理システムの機能構成を示すブロック図である。

【図4】ページ処理の一例を示す図である。

【図5】ページ処理の別の例を示す図である。

【図6】組合せデータの例を示す図である。

【図7】画像データの例を示す図である。

【図8】特徴点が抽出された画像データの例を示す図である。

【図9】実施形態に係る情報処理システムの動作を示すフローチャートである。

【図10】実施形態に係る情報処理プログラムの構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

【0012】

まず、図１〜８を用いて、実施形態に係る情報処理システム１０の機能および構成を説明する。情報処理システム１０は、画像データと名称とを関連付けることで組合せデータを生成するコンピュータシステムである。言い換えると、情報処理システム１０は、画像データにラベル付けを行うコンピュータシステムである。

【0013】

本明細書における「画像」とは、人の視覚で捉えることができるように対象物を媒体に定着させた像である。また、「画像データ」とは、コンピュータでの処理が可能な、画像を示すデータである。したがって、本明細書における画像は、メモリなどの記憶装置に記録され、プロセッサの処理によりモニタやプリンタなどの出力装置に出力されることで、視認可能となる。画像は静止画でもよいし動画でもよい。静止画の例としては写真や絵画などがあり、動画の例としてはビデオ映像やアニメーションなどがあるが、画像の種類はこれらに限定されない。画像はカメラやスキャナなどの電子機器により得られたものでもよいし、コンピュータ・グラフィックスにより作成されたものでもよい。

【0014】

本明細書において、「対象物」は被写体と言い換えることもできる。対象物の種類は何ら限定されず、現実に存在する事物でもよいし、描画により可視化された仮想の事物であってもよい。例えば、対象物は商品であり得る。本明細書における「商品」とは、有償または無償で取引され得る任意の有体物または無体物である。有体物は何ら限定されるものではなく、動産でも不動産でもよい。また、無体物も何ら限定されるものではなく、例えば任意のサービスの提供が考えられる。

【0015】

本明細書における「名称」とは、画像を識別または区分するための文字列である。なお、名称は個々の画像を一意に識別するものである必要はなく、したがって、一つの名称に対して複数の画像データが対応する場合がある。名称は名詞でもよいし、名詞以外の品詞でもよい。名称は一般名称でもよいし固有名称でもよい。ここで、一般名称とは、同じ種類に属する事物を広く指す名称であり、例えば普通名詞が挙げられる。一方、固有名称とは、ある事物を同じ種類に属する他の事物と区別するために用いられる名称であり、例えば、人名、地名、またはブランド名などの固有名詞が挙げられる。

【0016】

ある対象物の画像データに関連付けられる名称は、その対象物そのものの名称かもしれないし、その対象物の一部（例えば、対象物を構成する部品）の名称かもしれない。例えば、自転車の画像データに対して「自転車」という名称が関連付けられるかもしれないし、「タイヤ」という名称が関連付けられるかもしれない。

【0017】

情報処理システム１０は、ページ処理に関するログを参照することで画像データと語句との対応を抽出し、対応し合うと判定した画像データとその語句に基づく名称とを互いに関連付けることで組合せデータを生成する。

【0018】

図１に、本実施形態に係る情報処理システム１０での処理の概念を簡潔に示す。ユーザＵは自身の端末（ユーザ端末）Ｔを用いてオンライン・ショッピング・サイトにアクセスして、商品を検索したり、複数の商品を比較したり、商品の購入手続を行ったりすることができる。

【0019】

ここで、本明細書における「ユーザ」とは、任意のコンピュータシステムから提供される、画像データを含む情報を利用する人である。図１の例では、理解の容易さを考慮して、ユーザがオンライン・ショッピング・サイトを利用する場合を示すが、ユーザが利用するオンラインサービスはこれに限定されるものではない。ユーザは自身の端末を用いてそのコンピュータシステムにアクセスすることができる。端末の種類は何ら限定されず、例えば、据置型又は携帯型のパーソナルコンピュータ（ＰＣ）でもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。なお、図１ではユーザＵおよび端末Ｔを一つのみ示しているが、一般に、ユーザＵおよび端末Ｔは複数（例えば多数）存在し得る。

【0020】

端末Ｔはユーザ操作に応じてオンライン・ショッピング・サイトのサーバＥにアクセスしてページを要求し、そのサーバＥからページを受信して画面上にそのページを表示する。この一連の処理により、例えば、画像を含むページがユーザの端末Ｔ上に表示される。ここで、本明細書における「ページ」とは、インターネット上で提供される電子的な文書である。ページの例としてウェブページが挙げられるが、ページを提供する仕組みはウェブページに限定されない。端末Ｔ上においてページはウェブブラウザ上に表示されてもよいし、ウェブブラウザ以外のアプリケーション・プログラムにより実現される画面上に表示されてもよい。本明細書における「ページ処理」とは、そのページに関する任意の処理を示す。ページ処理の例として、端末ＴからサーバＥへのリクエストの送信、そのリクエストに基づくページの生成、およびサーバＥから端末Ｔへの生成されたページの送信（リクエストに対する応答）が挙げられる。ここで、本明細書における「リクエスト」とは、ユーザ端末がサーバからページを取得するためにそのサーバに送信する信号である。

【0021】

端末ＴとサーバＥとの間でページ処理が実行される度に、そのページ処理に関するログが所定の記憶装置に書き込まれる。本明細書における「ログ」とは、実行された処理を所定のレベルで詳細に記述した記録である。一般に、ログは時系列で記述されるが、ログの記述方法はこれに限定されるものではない。

【0022】

例えば、処理された入力データ、処理の種類、処理中に取得されたデータ、最終的に出力されたデータなどがログとして所定の記憶装置に書き込まれる。例えば、入力データの例として、次のページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、ユーザにより指定されたパラメータ、および端末Ｔで自動的に指定されたパラメータが挙げられる。処理の種類を示す情報の例としては、呼び出されて実行されたファンクション（ｆｕｎｃｔｉｏｎ）またはプロシージャ（ｐｒｏｃｅｄｕｒｅ）の名前が挙げられる。処理中に取得されたデータの例としては、処理により生成されたデータ、および処理中に記憶装置（例えばメモリやデータベースなど）から読み出されたデータが挙げられる。出力データの例として、端末Ｔに送信されたページのＵＲＬ、およびそのページに含まれるデータ（例えばテキストデータや画像データなど）が挙げられる。図１に示すログの例からは、検索キーワードとして「自転車」が指定されたことと、そのキーワードに対して商品Ａ，Ｂが検索結果として抽出されたこととがわかる。

【0023】

情報処理システム１０はそのログから、ユーザにより指定された語句と、その語句に対応して表示された画像とを抽出し、その画像に対応する画像データとその語句に基づく名称とを互いに関連付けることで組合せデータを生成する。

【0024】

ユーザが語句を指定する態様は限定されない。例えば、ユーザが端末Ｔ上で入力するかまたは選択した文字列は、ユーザにより指定された語句の例である。具体的には、ユーザがページ上のテキストボックス内に入力したキーワードや、ユーザがリスト（例えば商品カテゴリ選択欄や商品タグ選択欄など）内の選択肢から選んだキーワードなどが、ユーザにより指定された語句として処理され得る。

【0025】

情報処理システム１０は画像データそのものをログから取得することはできないので、情報処理システム１０はログの記述に合致する画像データを画像データベース（画像記憶部）から読み出す。画像データベースは、画像データと、その画像データに関連する１以上の属性値とを含むレコードを記憶する装置である。属性値は、画像データそのものの性質または特徴を示す値であってもよいし、画像データで表される対象物の性質または特徴を示す値であってもよい。画像データそのものについての属性値の例として、画像の解像度、作成日時、データサイズなどが挙げられる。一方、対象物についての属性値の例として、対象物の名称やカテゴリなどが挙げられる。例えば対象物が商品であれば、商品名、商品カテゴリ、販売者、価格などが属性値の例として挙げられる。

【0026】

図１の例では、情報処理システム１０はまず、検索キーワード「自転車」と二つの商品Ａ，Ｂとが対応すると判定する。続いて、情報処理システム１０は商品Ａ，Ｂにそれぞれ対応する画像データＧａ，Ｇｂを画像データベースから読み出す。そして、情報処理システム１０はキーワード「自転車」および画像データＧａが関連付けられたデータＤａと、キーワード「自転車」および画像データＧｂが関連付けられたデータＤｂとを生成する。なお、この例では情報処理システム１０は検索キーワード（語句）そのものを名称として用いている。これらのデータＤａ，Ｄｂが組合せデータである。本明細書では、画像データＸおよび名称Ｙの関連を示す組合せデータを“｛画像データＸ，名称Ｙ｝”とも表現する。

【0027】

上述したように、ユーザが利用するオンラインサービスはこれに限定されるものではないから、ログの内容も限定されない。ユーザにより指定された語句と、その語句に対応して画面に表示された画像データとを特定できるのであれば、ログはどのようなオンラインサービスから生成されてもよい。

【0028】

情報処理システム１０は１台以上のコンピュータを備え、複数台のコンピュータを備える場合には、後述する情報処理システム１０の各機能要素は分散処理により実現される。個々のコンピュータの種類は限定されない。例えば、据置型または携帯型のパーソナルコンピュータ（ＰＣ）を用いてもよいし、ワークステーションを用いてもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末を用いてもよい。あるいは、様々な種類のコンピュータを組み合わせて情報処理システム１０を構築してもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

【0029】

情報処理システム１０内の個々のコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびモニタを備えることが多いが、スマートフォンはタッチパネルが入力装置および出力装置として機能することが多い。

【0030】

後述する情報処理システム１０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0031】

図３に示すように、情報処理システム１０は機能的構成要素として抽出部１１、生成部１２、および選択部１３を備える。以下では、理解の容易さを考慮して、情報処理システム１０がオンライン・ショッピング・サイト内での処理を記録したログを参照して、ユーザにより指定された語句に基づく名称と商品の画像データとを関連付ける例を説明する。しかし、上述したように、ログを生成するオンラインサービスや、画像データが示す対象物などは何ら限定されない。

【0032】

抽出部１１は、ログ記憶部２１に蓄積されたログを読み出して、ユーザにより指定された語句と、その語句に対応して表示された画像データとを抽出する機能要素である。ここで、「表示される」とは、ユーザが視認可能なように画像データがユーザ端末上に表示されることである。また、「語句に対応して表示される」とは、語句を用いた何らかの処理により得られた画像データが表示されることである。その処理の例として検索、収集、生成などが挙げられるが、これらに限定されるものではない。例えばその処理が検索であれば、ユーザ端末がユーザにより指定された語句を含むリクエストを送信すると、そのリクエストに応答して、画像が該ユーザ端末上に検索結果および／または選択肢として表示される。ユーザにより指定される語句の個数は一つとは限らず、一回の処理で複数の語句が指定される場合もあり得る。本明細書における「選択肢として表示される」とは、ユーザが直接的に画像データを選択できるように表示される態様と、ユーザが画像データに関連する情報（例えば文字列で示されるリンク）を選択することで間接的にその画像データを選択できるように表示される態様とを含む概念である。

【0033】

まず、抽出部１１は情報処理システム１０の管理者から入力された指示または予め設定されたスケジュールに応じて、ログ記憶部２１からログを読み出す。抽出部１１が読み出すログの範囲は限定されず、例えば抽出部１１はログ記憶部２１内のすべてのログを読み出してもよいし、過去の所定期間（例えば最近の１ヵ月間）に書き込まれたログのみを読み出してもよいし、特定の処理に関するログのみを読み出してもよい。

【0034】

続いて、抽出部１１はユーザにより指定された語句と、その語句に対応して表示された画像データとを抽出する。言い換えると、抽出部１１は、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、そのリクエストに応答して該ユーザ端末上に検索結果および／または選択肢として表示された画像データとを抽出する。語句と画像データとが対応する態様は様々であり、したがって、語句と画像データとの対応関係を抽出する手法についても様々な態様が考えられる。いずれにしても、抽出部１１は、ログにどのような記述がある場合にその記述から語句または画像データを取得するかという規則を示す規則情報を予め内部に保持しており、その規則にしたがって、語句および画像データの対応を抽出する。以下に、抽出手法の様々な例を説明する。

【0035】

［第１の手法（表示のみを考慮する手法）］
抽出部１１は単純に、ユーザにより指定された語句と、その語句に対応して表示された画像データとの組合せを抽出してもよい。例えば、抽出部１１はユーザにより指定されたキーワードと、そのキーワードにより検索された１以上の画像データとをログから抽出する。

【0036】

例えば、ログから下記の３行が得られたとする。この例の１行目はユーザ端末からのリクエストを示し、３行目はそのリクエストに応答してユーザ端末に検索結果および／または選択肢として表示された画像を示す。
Ｓｅａｒｃｈ（ｃａｔｅｇｏｒｙ＝ｎｕｌｌ，Ｋｅｙｗｏｒｄ＝“カメラ”）
Ｇｅｔ（商品Ａ，商品Ｂ，商品Ｃ）
ＣｒｅａｔｅＰａｇｅ（Ｐｒｏｄｕｃｔ＝”商品Ａ，商品Ｂ，商品Ｃ”）

【0037】

この場合に、抽出部１１はキーワード「カメラ」をユーザにより指定された語句として取得する。また、抽出部１１はそのキーワードに対して三つの商品Ａ〜Ｃが検索されてページ内に埋め込まれ、そのページ（すなわち、商品Ａ〜Ｃの画像データ）が表示されたことを特定する。この特定は、語句と画像との組を一つ以上抽出する処理に相当する。続いて、抽出部１１は商品Ａ〜Ｃに対応する三つの画像データを商品データベース（画像記憶部）２２から取得する。ここで、商品データベース２２は画像データベースの一種であり、商品が写された画像データと、その画像データに関連する１以上の商品の属性値（商品名および商品カテゴリなど）とを少なくとも含むレコードを記憶する。なお、同じ構図の画像データでも、画面表示用のサムネイル画像のファイルとオリジナルの商品画像のファイルとを分けて管理する場合がある。したがって、実際にユーザ端末上に表示された画像ファイル（画像データ）と商品データベース２２から読み出される画像ファイル（画像データ）とが異なる場合があり得る。いずれにしても、抽出部１１はユーザ端末上に表示された画像に対応する画像データを商品データベース２２から取得する。

【0038】

［第２の手法（表示後の操作を考慮する手法）］
抽出部１１は、ユーザにより指定された語句と、その語句に対応して表示され、かつそのユーザに選択された画像データとを抽出してもよい。ここで、本明細書における「ユーザに選択された画像データ」とは、ユーザが直接的に画像データを選択する態様と、ユーザが画像データに関連する情報（例えば文字列で示されるリンク）を選択したことで間接的にその画像データが選択される態様との双方を含む概念である。間接的な選択の例として、ある商品の商品ページへのリンクがクリックされることで、その商品の画像データが選択されるという場面が挙げられる。

【0039】

抽出部１１は、ユーザにより指定されたキーワードと、そのキーワードにより検索され、かつその後にユーザにより選択された１以上の画像データとをログから抽出してもよい。例えば、ログから下記の４行が得られたとする。この例の１行目はユーザ端末からのリクエストを示し、３行目はそのリクエストに応答してユーザ端末に検索結果および／または選択肢として表示された画像を示す。
Ｓｅａｒｃｈ（ｃａｔｅｇｏｒｙ＝ｎｕｌｌ，Ｋｅｙｗｏｒｄ＝“カメラ”）
Ｇｅｔ（商品Ａ，商品Ｂ，商品Ｃ）
ＣｒｅａｔｅＰａｇｅ（Ｐｒｏｄｕｃｔ＝”商品Ａ，商品Ｂ，商品Ｃ”）
Ｓｅｌｅｃｔ（商品Ｂ，商品Ｃ）

【0040】

この場合に、抽出部１１はキーワード「カメラ」をユーザにより指定された語句として取得する。また、抽出部１１はそのキーワードに対して三つの商品Ａ〜Ｃが検索されてページ内に埋め込まれ、そのページが表示され、その後そのページにおいて商品Ｂ，Ｃ（すなわち、商品Ｂ，Ｃの画像データ）がユーザにより選択されたことを特定する。この特定は、語句と画像との組を一つ以上抽出する処理に相当する。続いて、抽出部１１は商品Ｂ，Ｃに対応する二つの画像データのみを商品データベース２２から取得する。

【0041】

この手法において、ユーザ端末上に表示された１以上の画像からユーザが特定の画像を選択する態様は何ら限定されない。

【0042】

例えば、抽出部１１は、ユーザがある商品の詳細情報を示す商品ページにアクセスするためにその商品ページへのリンクをクリックした場合に、ユーザがその商品の画像データを選択したと判定してもよい。図４の例では、まず、ユーザがページＰａで二つのキーワード「自転車」「ライト（ｌｉｇｈｔ）」を指定して商品検索を行うことで、「自転車用ライトＰ」や「自転車用ライトＱ」などの複数の商品を掲載した検索結果ページＰｂが表示される。その後、ユーザがそのページＰｂ内の「自転車用ライトＱ」へのリンクをクリックすることで、「自転車用ライトＱ」の商品ページＰｃが表示される。この場合には、抽出部１１はそれら一連の処理のログから、二つのキーワード「自転車」「ライト」をユーザにより指定された語句として取得する。また、抽出部１１は選択された商品「自転車用ライトＱ」の画像データのみを商品データベース２２から取得する。

【0043】

あるいは、抽出部１１は、ユーザがある特定の商品を買物かごに入れたか、またはその商品の購入手続を完了した場合に、ユーザがその商品の画像データを選択したと判定してもよい。この場合には、抽出部１１はそのような処理のログから、ユーザにより指定された語句を取得する。また、抽出部１１は買物かごに入れられた商品または購入手続が行われた商品をログから特定し、その商品の画像データを商品データベース２２から取得する。

【0044】

一般に、オンライン・ショッピング・サイトにおいて商品を買物かごに入れるか、またはその商品の購入手続を完了させるためには、ユーザはその商品に関するリンクまたはボタンを複数回クリックする必要がある。これは、そのような手続を行うためにはユーザがその商品を複数回選択する必要があることを意味する。

【0045】

具体的にいうと、商品を買物かごに入れるためには、ユーザはキーワードを指定して得られた検索結果からその商品を選択する必要があり（図４参照）、続いて、その商品のページ上にある「買物かごに入れる」ボタン（同図参照）をクリックする必要がある。その「買物かごに入れる」ボタンをクリックする操作もユーザが商品を選択したことの一態様であるから、この場合には、ユーザは商品（およびその画像データ）を２回選択したといえる。

【0046】

また、商品を購入するためには、ユーザはキーワードを指定して得られた検索結果からその商品を選択し（図４参照）、その商品のページ上にある「買物かごに入れる」ボタン（同図参照）をクリックし、最後にその商品を購入対象として確定する必要がある。「購入」ボタンをクリックして購入を確定する操作もユーザがその商品を選択したことの一態様であるから、この場合には、ユーザはその商品（およびその画像データ）を３回選択したといえる。

【0047】

したがって、買物かごに入れる態様や購入手続の態様などを含む概念を定義することができる。すなわち、抽出部１１は、ユーザにより指定された語句と、その語句に対応して表示され、かつそのユーザに複数回選択された画像データとを抽出してもよい。なお、ユーザが画像データを複数回選択する処理は、買物かごに関する操作および購入手続に限定されるものではなく、任意の処理であり得る。

【0048】

あるいは、抽出部１１は、ユーザが商品同士を比較するために複数の商品を比較対象として指定した場合に、ユーザが当該複数の商品の画像データを選択したと判定してもよい。図５の例では、まず、ユーザがページＰｄで二つのキーワード「自転車」「ライト」を指定して商品検索を行うことで、「自転車用ライトＰ」や「自転車用ライトＱ」などの複数の商品を掲載した検索結果ページＰｅが表示される。その後、ユーザがそのページＰｅ内で「自転車用ライトＰ」「自転車用ライトＱ」「自転車用ライトＴ」をチェックして比較処理を指示させることで、それら３商品の画像データを含む比較表のページＰｆが表示される。この場合には、抽出部１１はそれら一連の処理のログから、二つのキーワード「自転車」「ライト」をユーザにより指定された語句として取得する。また、抽出部１１は「自転車用ライトＰ」「自転車用ライトＱ」「自転車用ライトＴ」に対応する三つの画像データのみを商品データベース２２から取得する。この場合には、ユーザにより指定された二つの語句「自転車」「ライト」と、選択された「自転車用ライトＰ」「自転車用ライトＱ」「自転車用ライトＴ」に対応する三つの画像データとが対応し合うことになる。

【0049】

［第３の手法（表示時間を考慮する手法）］
抽出部１１は、ユーザにより指定された語句と、その語句に対応して所定の時間以上表示された画像データとの組合せを抽出してもよい。例えば、抽出部１１はユーザにより指定されたキーワードと、そのキーワードにより検索され、かつユーザ端末上にある程度長い間表示された１以上の画像データとをログから抽出する。

【0050】

例えば、ログから下記の８行が得られたとする。ここで、各行の括弧［］で括られた部分は時刻を示す。この例の１行目はユーザ端末からのリクエストを示し、３行目はそのリクエストに応答してユーザ端末に検索結果および／または選択肢として表示された画像を示す。８行目もユーザ端末からのリクエストを示す。
［１１：５０：００］Ｓｅａｒｃｈ（ｃａｔｅｇｏｒｙ＝”カメラ”，Ｋｅｙｗｏｒｄ＝“一眼レフカメラ”）
［１１：５０：０２］Ｇｅｔ（商品Ｗ，商品Ｘ，商品Ｙ，商品Ｚ）
［１１：５０：０２］ＣｒｅａｔｅＰａｇｅ（Ｐｒｏｄｕｃｔ＝”商品Ｗ，商品Ｘ，商品Ｙ，商品Ｚ”）
［１１：５０：０３］ＳｅｎｄＰａｇｅ
［１１：５０：１５］ＲｅｑｕｅｓｔＰａｇｅ（Ｐｒｏｄｕｃｔ＝“商品Ｘ”）
［１１：５２：３０］ＲｅｑｕｅｓｔＰａｇｅ（Ｐｒｏｄｕｃｔ＝“商品Ｙ”）
［１１：５２：３５］ＲｅｑｕｅｓｔＰａｇｅ（Ｐｒｏｄｕｃｔ＝“商品Ｚ”）
［１１：５３：１０］Ｓｅａｒｃｈ（ｃａｔｅｇｏｒｙ＝ｎｕｌｌ，Ｋｅｙｗｏｒｄ＝“カメラ”）

【0051】

この場合に、抽出部１１はキーワード「カメラ」「一眼レフカメラ」をユーザにより指定された語句として取得する。また、抽出部１１はそのキーワードに対して四つの商品Ｗ〜Ｚが検索されてページ内に埋め込まれ、そのページが表示されたことを特定する。さらに、抽出部１１は、商品Ｘのページ（すなわち、商品Ｘの画像データ）が要求されて２分１５秒間表示され、続いて商品Ｙのページ（すなわち、商品Ｙの画像データ）が要求されて５秒間表示され、続いて商品Ｚのページ（すなわち、商品Ｚの画像データ）が要求されて３５秒間表示されたことを特定する。この特定は、語句と画像との組を一つ以上抽出する処理に相当する。

【0052】

そして、抽出部１１は所定の閾値以上の間表示された画像データを取得する。ここで、閾値は絶対値であってもよいし相対値であってもよい。例えば、抽出部１１は「６０秒」という絶対値を閾値して予め保持しており、その時間以上表示された商品Ｘの画像データのみを取得してもよい。あるいは、抽出部１１は表示時間が長い上位ｎ個の画像データを取得してもよく、この場合には、その値ｎが閾値であるといえる。上記のログの例においてｎ＝２であれば、抽出部１１は商品Ｘ，Ｚに対応する二つの画像データを取得する。あるいは、抽出部１１は表示時間の絶対値とランキングの上位ｎ個（相対値）という二つの閾値を併用する条件を用いてもよい。例えば、抽出部１１は、６０秒以上表示された画像データのうち、表示時間が長い上位３個の画像データを取得してもよい。あるいは、抽出部１１はオンライン・ショッピング・サイト内でユーザが商品を購入したことを示す１以上のログを参照して、購入手続が行われた商品のページの最短表示時間を閾値に設定し、その閾値以上の時間だけ表示された画像データを取得してもよい。

【0053】

このように、語句および画像データを抽出する方法は限定されない。いずれにしても、抽出部１１はログ内の個々の部分（語句を抽出すべき１以上の箇所）から該語句を抽出し、それぞれの部分から抽出した語句について、対応する画像データを抽出する。抽出部１１は、語句と画像データとの対応関係がわかる形式で、抽出した語句および画像データを生成部１２に出力する。

【0054】

生成部１２は、画像データと語句に基づく名称とを関連付けることで組合せデータを生成する機能要素である。組合せデータは、画像データと名称との対応関係を表すデータである。画像データと名称とを関連付ける手法は一つに限定されるものではない。

【0055】

［第１の手法（名称の候補が一つのみの場合）］
画像データに関連付ける名称の候補が一つのみの場合には、生成部１２は単純にその名称を画像データに関連付けてもよい。例えば、語句「カメラ」に対して画像データＧａ，Ｇｂ，Ｇｃが抽出された場合には、生成部１２は三つの組合せデータ｛画像データＧａ，“カメラ”｝，｛画像データＧｂ，“カメラ”｝，｛画像データＧｃ，“カメラ”｝を生成する。この例では、生成部１２は語句をそのまま名称として用いている。

【0056】

あるいは、生成部１２は、抽出された語句が一般名称である場合のみ、その語句に基づく名称を画像データに関連付けてもよい。例えば、生成部１２は一般名称と判定された語句そのものを名称として画像データに関連付けてもよい。この場合には、生成部１２は一般名称および固有名称の少なくとも一方の辞書を予め内部に保持し、その辞書を参照しながら、何が一般名称であるかを判定する。

【0057】

抽出された語句が固有名称しかない場合（例えば、カテゴリが指定されず（すなわち、指定されたカテゴリの値がｎｕｌｌ）、固有名称のみが検索キーワードとして指定された場合）には、生成部１２はその固有名称に対応する一つの一般名称を選択し、その一般名称を含む組合せデータを生成してもよい。この場合には、生成部１２は固有名称と一般名称との対応関係を示す辞書を予め内部に保持し、その辞書を用いて固有名称から一般名称を取得すればよい。例えば、検索キーワード「ビアンキ」のみが語句として抽出され、その語句に対応して画像データＧｓ，Ｇｔが抽出されたとする。この場合には、辞書を参照して固有名称「ビアンキ」に対応する一般名称「自転車」を選択し、二つの組合せデータ｛画像データＧｓ，“自転車”｝，｛画像データＧｔ，“自転車”｝を生成する。

【0058】

［第２の手法（名称の候補が複数の場合）］
画像データに関連付ける名称の候補が複数ある場合には、生成部１２はそれらの中から選択した一つの名称を画像データに関連付ける。一つの名称を選択する方法は様々である。

【0059】

例えば、生成部１２は一般名称を選択してそれを画像データに関連付けてもよい。例えば、「ビアンキ」（Ｂｉａｎｃｈｉ；商標または登録商標；以下同じ）という固有名称と「自転車」という一般名称が抽出され、これら二つの語句に対応して画像データＧｄが抽出されたとする。この場合には、生成部１２は「自転車」という一般名称を選択し、一つの組合せデータ｛画像データＧｄ，“自転車”｝を生成する。この場合には、生成部１２は一般名称および固有名称の少なくとも一方の辞書を用いて、何が一般名称であるかを判定すればよい。なお、この例では、生成部１２は選択された語句をそのまま名称として用いている。

【0060】

あるいは、生成部１２は、語句が対象物のカテゴリとして指定されたものか、あるいは検索キーワードとして指定されたものかを判定し、検索キーワードとして指定された語句の方を選択してもよい。この場合には、抽出部１１が、どの語句がユーザによりどのように指定されたかをログから推定し、その推定結果を個々の語句に付加することで、生成部１２はそのような判定および選択を実行することができる。例えば、検索キーワードとして指定された語句「ライト（ｌｉｇｈｔ）」と、カテゴリとして指定された語句「自転車」とが抽出され、これら二つの語句に対応して画像データＧｐ，Ｇｑ，Ｇｒが抽出されたとする。この場合には、生成部１２は「ライト」を選択し、三つの組合せデータ｛画像データＧｐ，“ライト”｝，｛画像データＧｑ，“ライト”｝，｛画像データＧｒ，“ライト”｝を生成する。なお、この例では、生成部１２は選択された語句をそのまま名称として用いている。

【0061】

生成部１２は、一般名称／固有名称を考慮する手法と、検索キーワード／カテゴリを考慮する手法との双方を用いてもよい。例えば、検索キーワードとして指定された二つの語句「ビアンキ」および「ライト」と、カテゴリとして指定された語句「自転車」とが抽出され、これら三つの語句に対応して画像データＧｓ，Ｇｔが抽出されたとする。この場合には、生成部１２は辞書を参照して「ビアンキ」を排除すると共に、カテゴリとして指定された「自転車」を排除することで、「ライト」を名称として選択する。そして、生成部１２は二つの組合せデータ｛画像データＧｓ，“ライト”｝，｛画像データＧｔ，“ライト”｝を生成する。これは、画像データと一般名称とを関連付ける処理に相当する。なお、この例では、生成部１２は選択された語句をそのまま名称として用いている。

【0062】

生成部１２は、ユーザにより指定された複数の語句を組み合わせることで、画像データと関連付ける名称を生成してもよい。例えば、生成部１２は、上記の「自転車」および「ライト」から「自転車用ライト」という名称を生成し、二つの組合せデータ｛画像データＧｓ，“自転車用ライト”｝，｛画像データＧｔ，“自転車用ライト”｝を生成してもよい。さらに別の例として、生成部１２は画像データＧｓ，Ｇｔのそれぞれに、“ライト”および“自転車用ライト”という二つの名称を関連付けることで、二つの組合せデータを生成してもよい。

【0063】

複数の語句を組み合わせる場合には、生成部１２は語句の組合せに関するルールの情報を予め内部に記憶しており、その情報に基づいて語句同士を組み合わせる。このルールは任意の方針で設定してよい。例えば、ルールは語句同士の包含関係や一般的な概念などを考慮して定められる。一例として、「自転車用ライト」という名称は適切だが、「ライト用自転車」という名称は一般的に有り得ないので、二つの語句「自転車」「ライト」から「自転車用ライト」という名称を生成する、というルールが予め設定される。あるいは、生成部１２は複数の語句から生成したキーワードを用いてウェブ検索を実行し（例えば、オンライン・ショッピング・サイト内の検索や、インターネット上のすべてのウェブサイトの検索）、ヒット件数の最も多いキーワードを名称として選択してもよい。例えば、生成部１２は、上記の「自転車」および「ライト」から「自転車用ライト」および「ライト用自転車」というキーワードとを生成する。そして、生成部１２は各キーワードを用いてオンライン・ショッピング・サイト内を検索する。もし、「自転車用ライト」のヒット件数が５０で「ライト用自転車」のヒット件数が２５であれば、生成部１２は「自転車用ライト」という名称を選択し、この名称を用いて組合せデータを生成する。

【0064】

検索キーワードとして固有名称しか指定されておらず、かつカテゴリが指定された場合には、生成部１２はカテゴリとして指定された語句を選択してもよい。例えば、検索キーワードとして指定された語句「ビアンキ」とカテゴリとして指定された「自転車」とが抽出され、これら二つの語句に対応して画像データＧｓ，Ｇｔが抽出されたとする。この場合には、生成部１２はカテゴリとして指定された「自転車」を選択し、二つの組合せデータ｛画像データＧｓ，“自転車”｝，｛画像データＧｔ，“自転車”を生成する。これは、画像データと属性とを関連付ける処理に相当する。

【0065】

このように、組合せデータを生成する手順は限定されない。いずれにしても、生成部１２はログ内の個々の部分から得られた結果（名称と画像との１以上の組）に基づいて、１以上の組合せデータを生成する。この結果、各画像データが名称によりラベル付けされる。上記の通り、生成部１２が組合せデータを生成するために最終的に用いる名称は一つだけでもよいし複数でもよい。生成部１２はその組合せデータを選択部１３に出力する。

【0066】

図６に組合せデータの五つの例を示す。この例では個々の組合せデータを一意に識別するデータＩＤも示されているが、このデータＩＤは必須の項目ではない。一方、組合せデータは他の任意の項目を含んでもよい。

【0067】

選択部１３は、入力された１以上の組合せデータの中から、対象物以外の要素の出現度が所定の閾値より低い画像データを有する組合せデータを選択する機能要素である。ここで、「対象物以外の要素の出現度」とは、画像データで示される画像（以下では単に「画像」ともいう）内において対象物以外の要素が占める領域の面積ということもできる。あるいは、その出現度は、画像中で対象物以外の要素が目立つ程度であるともいうことができる。

【0068】

選択部１３の処理の目的は、対象物以外の要素が画像中になるべく現れていない画像データを取得する点にある。このような画像データは対象物そのものを明確に表すので、様々な場面に活用することができる。例えば、対象物毎の局所特徴量の分布をコンピュータに機械学習させるためには、サンプルとなる画像データをトレーニングデータとして予め用意しておく必要があるが、その画像データは、対象物のみが写されているものが望ましい。

【0069】

図７は、オンライン・ショッピング・サイトで見受けられる典型的な画像の例である。画像Ｈａ，Ｈｂ，Ｈｃはいずれも椅子の商品の写真であり、したがって、これら３画像の対象物は椅子である。画像Ｈａには対象物のみが写っているので、機械学習などに適した画像であるといえる。一方、画像Ｈｂには対象物の椅子以外にテーブル、商品の価格、「送料無料」という宣伝文句、同種のテーブルセットなどの要素が現れており、椅子（対象物）そのものが目立たない。また、画像Ｈｃには、文字列はないものの、机、モニタ、椅子に座る人、あるいは、重畳表示された同種の椅子などの要素が現れており、やはり、椅子（対象物）そのものが目立たない。このように、画像Ｈｂ，Ｈｃでは椅子以外のものが写っているので、これらの画像Ｈｂ，Ｈｃに基づいて椅子の画像に関する機械学習を行うと、誤ったモデルが構築される可能性がある。したがって、画像Ｈｂ，Ｈｃは、機械学習などに適した画像であるとはいえない。選択部１３は、画像Ｈｂ，Ｈｃのような画像を含む組合せデータを廃棄して、画像Ｈａのような画像を含む組合せデータを選択することを目指す。

【0070】

選択部１３は、個々の組合せデータに対して以下の処理を実行する。

【0071】

まず、選択部１３は画像データを解析して画像内の特徴点を抽出する。この特徴点抽出は周知技術であり、任意の手法を用いることができる。画像Ｈａ，Ｈｂ，Ｈｃのそれぞれから多数の特徴点Ｃが抽出された状態を図８に示す。

【0072】

続いて、選択部１３はその特徴点の分布に基づいて、どの組合せデータを選択するかを決める。この方法も様々考えられるが、以下にいくつかの例を示す。

【0073】

［第１の手法（画像周縁部の特徴点の密度で判定）］
選択部１３は、画像の周縁部の特徴点の密度を算出する。そして、選択部１３はその密度が所定の閾値Ｔａ未満であるか否かを判定する。この判定のために、選択部１３はその閾値Ｔａを予め保持する。算出された密度が閾値Ｔａ未満であれば、選択部１３は、その画像において対象物以外の要素の出現度が所定の閾値より低いと判定し、その画像を有する組合せデータを廃棄することなく選択する。一方、その密度が閾値Ｔａ以上であれば、選択部１３はその画像において対象物以外の要素の出現度が所定の閾値以上であると判定し、その画像を有する組合せデータを廃棄する。

【0074】

対象物に関する補足情報を埋め込む場合には、その情報を画像の周縁部に載せることが多い。例えば、図８の画像Ｈｂの周縁部（破線Ｌよりも外側の領域）には、価格や宣伝文句、同種のテーブルセットなどが表示されている。このような画像では特徴点Ｃがその周縁部に多く発生する傾向がある。したがって、周縁部の特徴点の密度を考慮することで、対象物以外の要素の出現度が相対的に高い画像を排除することができる。

【0075】

［第２の手法（画像全体での特徴点の密度で判定）］
選択部１３は、画像全体での特徴点の密度を算出する。そして、選択部１３はその密度が所定の閾値Ｔｂ未満であるか否かを判定する。この判定のために、選択部１３はその閾値Ｔｂを予め保持する。算出された密度が閾値Ｔｂ未満であれば、選択部１３は、その画像において対象物以外の要素の出現度が所定の閾値より低いと判定し、その画像を有する組合せデータを廃棄することなく選択する。一方、その密度が閾値Ｔｂ以上であれば、選択部１３はその画像において対象物以外の要素の出現度が所定の閾値以上であると判定し、その画像を有する組合せデータを廃棄する。

【0076】

対象物の使用場面を分かりやすく示すために、その使用場面を写した画像が用いられることがあるが、この場合には画像内に様々な物が存在することが多い。例えば、図８の画像Ｈｃはオフィス内を写した写真であるともいえ、人、机、モニタなどの様々な物が映り込んでいる。このような画像では対象物以外の要素についての特徴点Ｃも抽出されるので、画像の全体にわたって多くの特徴点Ｃが分布する傾向がある。したがって、画像全体での特徴点の密度を考慮することで、対象物以外の要素の出現度が相対的に高い画像を排除することができる。

【0077】

［第３の手法（画像の周縁部および全体の双方の密度で判定）］
選択部１３は、上記第１および第２の手法を用いて、どちらの判定でも対象物以外の要素の出現度が所定の閾値より低いとの結果が出た組合せデータのみを選択してもよい。この場合には、画像ＨｂまたはＨｃを含むような組合せデータを排除して、画像Ｈａを含むような組合せデータを選択することができる。

【0078】

このように、選択部１３は様々な手法を用いて特定の組合せデータを選択することができる。なお、選択部１３は特徴点の密度と所定の閾値とを比較して組合せデータを廃棄するか選択するかを決めるので、特徴点の抽出結果や閾値の高低などの事情により、対象物以外の要素が現れた画像を含む組合せデータが選択されることがあり得る。しかし、選択部１３の処理により、機械学習などに適した組合せデータを多くかつ効率的に得ることができる。

【0079】

選択部１３は、選択した組合せデータを処理結果２３として出力する。処理結果２３の出力先は何ら限定されない。例えば、選択部１３は処理結果２３をモニタ上に表示したりプリンタに印刷したりしてもよいし、処理結果２３をテキストファイルに書き出してもよいし、処理結果２３をメモリやデータベースなどの記憶装置に格納してもよい。あるいは、選択部１３は処理結果２３を通信ネットワーク経由で他のコンピュータシステム（例えば機械学習用のシステム）に出力してもよい。

【0080】

次に、図９を用いて、情報処理システム１０の動作を説明するとともに本実施形態に係る情報処理方法について説明する。

【0081】

まず、抽出部１１がログ記憶部２１からログを取得し（ステップＳ１１）、そのログに基づいて、ユーザにより指定された語句と、その語句に対応して表示された画像データとを抽出する（ステップＳ１２、抽出ステップ）。この抽出方法は上記の通り様々である。例えば、抽出部１１は画像データの表示のみを考慮してもよいし、画像データが表示された後のユーザの操作を考慮してもよいし、画像データの表示時間を考慮してもよい。

【0082】

続いて、生成部１２が画像データと語句に基づく名称とを関連付けることで組合せデータを生成する（ステップＳ１３、生成ステップ）。この生成方法についても上記の通り様々である。例えば、名称の候補が一つの場合には、生成部１２は単純にその名称を対応する各画像データと関連付ける。名称の候補が複数の場合には、生成部１２は一般名称／固有名称を考慮する手法を用いるか、検索キーワード／カテゴリを考慮する手法を用いるか、あるいはその二つの手法の双方を用いてもよい。また、生成部１２はユーザに指定された語句そのものを名称として設定してもよいし、該語句に基づいて生成した新たな文字列を名称として設定してもよい。

【0083】

続いて、選択部１３が画像内での対象物以外の要素の出現度を考慮して組合せデータを選択する（ステップＳ１４）。この選択方法についても上記の通り様々である。例えば、選択部１３は画像周縁部での特徴点の密度が低い画像データを有する組合せデータを選択してもよいし、画像全体での特徴点の密度が低い画像データを有する組合せデータを選択してもよい。あるいは、選択部１３はそれら二種類の密度の双方を考慮して組合せデータを選択してもよい。最後に、選択部１３が選択した組合せデータを処理結果として出力する（ステップＳ１５）。その処理結果は、機械学習による一般物体認識に用いられてもよいし、他の目的で用いられてもよい。

【0084】

次に、図１０を用いて、情報処理システム１０を実現するための情報処理プログラムＰ１を説明する。

【0085】

情報処理プログラムＰ１は、メインモジュールＰ１０、抽出モジュールＰ１１、生成モジュールＰ１２、および選択モジュールＰ１３を備える。

【0086】

メインモジュールＰ１０は、組合せデータの生成に関する処理を統括的に制御する部分である。抽出モジュールＰ１１、生成モジュールＰ１２、および選択モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の抽出部１１、生成部１２、および選択部１３の機能と同様である。

【0087】

情報処理プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、情報処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

【0088】

以上説明したように、本発明の一側面に係る情報処理システムは、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成部とを備える。

【0089】

本発明の一側面に係る情報処理方法は、プロセッサを備える情報処理システムにより実行される情報処理方法であって、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出ステップと、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成ステップとを含む。

【0090】

本発明の一側面に係る情報処理プログラムは、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する抽出部と、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する生成部としてコンピュータを機能させる。

【0091】

このような側面においては、ユーザにより指定された語句と画像データとの対応が得られ、その語句に基づく名称および画像データが互いに関連付けられる。したがって、人手を介さずに画像と名称との組合せを自動的に収集することができる。

【0092】

画像データの対象物に対して予め設定されている属性（すなわち、画像データの提供者が設定した属性）をそのまま画像データに関連付けることで組合せデータを生成することも考えられる。例えば、オンライン・ショッピング・サイトでは一般に、各商品について商品カテゴリが設定されるので、商品の画像データとその商品カテゴリ名とを関連付けることで組合せデータを生成することが考えられる。しかし、画像データの提供者が適切でない属性を設定することがあるので（例えば、オンライン・ショッピング・サイトにおいて商品カテゴリの設定が適切でない場合がある）、予め設定された属性を頼りにしてしまうと、機械学習などへの利用に適さない組合せデータが多くできてしまう。

【0093】

これに対して、本実施形態では、画像データのラベル付けに用いられる名称は、ページを閲覧するユーザにより指定されたものである。このように、ページ処理に関するログから抽出されたユーザ操作に基づいて画像データをラベル付けすることで、従来よりも精度の高い組合せデータを生成することができる。画像と名称とを関連付けて組合せデータを生成する処理を繰り返すことで、多くの組合せデータを得ることができる。例えば機械学習に適した多くのトレーニングデータを自動的に収集することができる。

【0094】

他の側面に係る情報処理システムでは、抽出部が、ユーザ端末上に表示された後にユーザにより選択された画像を抽出してもよい。表示された画像がユーザに選択されたということは、ユーザが、自ら指定した名称にその画像が対応すると判断した蓋然性が高いと推定される。このような一般人の判断をログで示される事実から推定して、ユーザに選択された画像だけを抽出することで、精度の高い組合せデータを自動的に生成することができる。

【0095】

他の側面に係る情報処理システムでは、抽出部が、ユーザ端末上に表示された後にユーザにより他の画像との比較のために選択された画像を抽出してもよい。表示された画像が比較のためにユーザに選択されたということは、ユーザが自ら指定した名称にその画像が対応すると判断した蓋然性が高いと推定される。このような一般人の判断をログで示される事実から推定して、ユーザに選択された画像だけを抽出することで、精度の高い組合せデータを自動的に生成することができる。

【0096】

他の側面に係る情報処理システムでは、抽出部が、ユーザ端末上に表示された後にユーザにより複数回選択された画像を抽出してもよい。表示された画像がユーザに複数回選択されたということは、ユーザが、自ら指定した名称にその画像が対応すると判断した蓋然性が高いと推定される。したがって、上記と同様の理由により、精度の高い組合せデータを自動的に生成することができる。

【0097】

他の側面に係る情報処理システムでは、抽出部が、ユーザ端末上に所定の時間以上表示された画像を抽出してもよい。画像がある程度長く表示されたということは、ユーザが、自ら指定した名称にその画像が対応すると判断した蓋然性が高いと推定される。このような一般人の判断をログで示される事実から推定して、ユーザに選択された画像だけを抽出することで、精度の高い組合せデータを自動的に生成することができる。

【0098】

他の側面に係る情報処理システムでは、生成部が、語句が一般名称である場合に限って、画像データと名称とを関連付けてもよい。このように一般名称を用いて画像データをラベル付けすることで、汎用的な組合せデータを生成することができる。

【0099】

他の側面に係る情報処理システムでは、ユーザにより指定された語句が、検索キーワードと、画像データの対象物の属性とであり、生成部が、検索キーワードが一般名称である場合には画像データと検索キーワードに基づく名称とを関連付け、検索キーワードが固有名称である場合には画像データと属性に基づく名称とを関連付けてもよい。この場合には、検索条件の態様に応じて組合せデータを生成することができる。一般に、検索キーワードの方が属性（例えば商品カテゴリ）よりも具体的な記述であることが多い。したがって、検索キーワードが一般名称であれば該キーワードに基づく名称を画像データと関連付けることで、精度の高い組合せデータを自動的に生成することができる。一方で、その検索キーワードが固有名称である場合には属性に基づく名称を用いて画像データをラベル付けすることで、汎用的な組合せデータを生成することができる。

【0100】

他の側面に係る情報処理システムは、対象物の画像データと名称とが関連付けられた組合せデータを解析して画像内の特徴点を抽出し、該特徴点の分布に基づいて、該対象物以外の要素の出現度が所定の閾値より低い場合に該組合せデータを選択する選択部を備える。

【0101】

他の側面に係る情報処理方法は、プロセッサを備える情報処理システムにより実行される情報処理方法であって、対象物の画像データと名称とが関連付けられた組合せデータを解析して画像内の特徴点を抽出し、該特徴点の分布に基づいて、該対象物以外の要素の出現度が所定の閾値より低い場合に該組合せデータを選択する選択ステップを含む。

【0102】

他の側面に係る情報処理プログラムは、対象物の画像データと名称とが関連付けられた組合せデータを解析して画像内の特徴点を抽出し、該特徴点の分布に基づいて、該対象物以外の要素の出現度が所定の閾値より低い場合に該組合せデータを選択する選択部としてコンピュータを機能させる。

【0103】

このような側面においては、画像内の特徴点の分布に基づいて対象物以外の要素の出現度が低い組合せデータだけが選択されるので、対象物以外の要素が画像中になるべく現れていない画像データを取得することができる。このような画像データは様々な目的に利用可能である。

【0104】

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0105】

情報処理システム１０において選択部１３は必須ではない。情報処理システム１０ではなく他のコンピュータシステムが選択部１３を備えてもよい。例えば、抽出部１１および生成部１２を備える情報処理システムと、選択部１３を備える別の情報処理システムとが存在し、組合せデータなどの必要なデータが通信ネットワークを介してこれらのシステム間で伝送されてもよい。あるいは、どのシステムも選択部１３を備えなくてもよい。

【0106】

組合せデータの利用目的は何ら限定されず、一般物体認識のための機械学習以外のために組合せデータを用いてもよい。したがって、情報処理システム１０はその機械学習のための専用システムではなく、汎用システムである。

【0107】

上記実施形態では情報処理システム１０がログを参照することで画像データと語句との対応を抽出したが、情報処理システムはログを用いることなく画像データと語句との対応を抽出してもよい。具体的には、抽出部はユーザ端末からサーバに送信されたリクエストと、そのリクエストに応答してサーバからユーザ端末に送信されたページとを該サーバから取得する。そして、抽出部はユーザにより指定された語句をそのリクエストから抽出するとともに、検索結果および／または選択肢として表示された画像をそのページから抽出する。この場合には、抽出部は、ユーザにより選択された画像、またはユーザ端末上に所定の時間以上表示された画像も、ユーザからサーバに送信されたデータを該サーバから取得することで抽出する。

【0108】

上記実施形態では抽出部１１が商品データベース２２から画像データを取得したが、生成部が画像記憶部から画像データを取得してもよい。

【符号の説明】

【0109】

１０…情報処理システム、１１…抽出部、１２…生成部、１３…選択部、２１…ログ記憶部、２２…商品データベース、Ｐ１…情報処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…抽出モジュール、Ｐ１２…生成モジュール、Ｐ１３…選択モジュール。

【要約】

一実施形態に係る情報処理システムは抽出部および生成部を備える。抽出部は、ユーザ端末から送信されたリクエストに含まれる、ユーザにより指定された語句と、該リクエストに応答して該ユーザ端末上に選択肢として表示された画像とを抽出する。生成部は、画像に対応しかつ画像記憶部から得られた画像データと、語句に基づく名称とを関連付けることで組合せデータを生成する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】