特許 6982035 検索装置、検索方法及び検索プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982035

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月17日

(54)【発明の名称】検索装置、検索方法及び検索プログラム

(51)【国際特許分類】

   G06F 16/53 20190101AFI20211206BHJP

【ＦＩ】

   G06F16/53

【請求項の数】11

【全頁数】19

(21)【出願番号】特願2019-169864(P2019-169864)

(22)【出願日】2019年9月18日

(65)【公開番号】特開2021-47651(P2021-47651A)

(43)【公開日】2021年3月25日

【審査請求日】2021年9月16日

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和１年７月３０日グランキューブ大阪において開催された第２２回画像の認識・理解シンポジウム（ＭＩＲＵ２０１９）で発表

【早期審査対象出願】

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】岩崎 雅二郎

(72)【発明者】

【氏名】西村 修平

(72)【発明者】

【氏名】田口 拓明

【審査官】 後藤 彰

(56)【参考文献】

【文献】 特開２００７−２９９１４４（ＪＰ，Ａ）

【文献】 特開２０１５−１７９４３１（ＪＰ，Ａ）

【文献】 特開２０１９−０９１１３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

(57)【特許請求の範囲】

【請求項1】

クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定部と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索部と
を有することを特徴とする検索装置。

【請求項2】

類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、前記検索対象画像から特徴量を算出する算出部
を有し、
前記検索部は、
前記モデルを用いて前記クエリ対象領域から特徴量を算出し、前記検索対象画像のうち、前記算出部が前記検索対象領域から算出した特徴量が前記クエリ対象領域から算出した特徴量と類似する画像を検索する
ことを特徴とする請求項１に記載の検索装置。

【請求項3】

前記算出部は、
類似する撮影対象が撮影された複数の画像について、前記撮影対象が含まれる領域の縦横比を所定の縦横比に変換した画像と、当該撮影対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を出力するように学習が行われたモデルを用いる
ことを特徴とする請求項２に記載の検索装置。

【請求項4】

前記算出部は、
前記検索対象領域の縦横比を前記所定の縦横比に変換した画像と、当該検索対象領域の縦横比を示す情報とを前記モデルに入力して、当該検索対象領域の特徴量を算出し、
前記検索部は、
前記クエリ対象領域の縦横比を前記所定の縦横比に変換した画像と、当該クエリ対象領域の縦横比を示す情報とを前記モデルに入力して、当該クエリ対象領域の特徴量を算出する
ことを特徴とする請求項３に記載の検索装置。

【請求項5】

類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて前記検索対象領域から算出された特徴量と、当該検索対象領域の縦横比を示すベクトルとに応じた検索情報を算出する算出部
を有し、
前記検索部は、
前記検索対象画像のうち、前記モデルを用いて前記クエリ対象領域から算出された特徴量と当該クエリ対象領域の縦横比を示すベクトルとに応じたクエリ情報と前記検索情報が類似する画像を検索する
ことを特徴とする請求項１に記載の検索装置。

【請求項6】

前記特定部は、
前記撮影対象の種別をさらに特定し、
前記検索部は、
前記種別が予め定められた所定の種別である場合は、検索対象画像のうち、撮影対象が含まれる検索対象領域の特徴量が前記クエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比が前記クエリ対象領域の縦横比と類似する画像を検索する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の検索装置。

【請求項7】

前記検索部は、
前記種別が予め定められた所定の種別ではない場合は、検索対象画像のうち撮影対象が含まれる検索対象領域の縦横比が所定の値を有するものとして、当該検索対象領域の特徴量が前記クエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比が前記クエリ対象領域の縦横比と類似する画像を検索する
ことを特徴とする請求項６に記載の検索装置。

【請求項8】

前記特定部は、
前記撮影対象の種別をさらに特定し、
前記検索部は、
前記検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似度に基づく第１スコアと、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似度に、前記種別に応じた重みを適用した第２スコアとに基づいて、前記クエリ画像と類似する検索対象画像を検索する
ことを特徴とする請求項１〜５のうちいずれか１つに記載の検索装置。

【請求項9】

前記特定部は、
前記撮影対象として電子商取引の対象となる取引対象が含まれる範囲をクエリ対象領域として特定し、
前記検索部は、
前記クエリ対象領域に含まれる取引対象と類似する取引対象が含まれる検索対象領域を含む検索対象画像を、前記クエリ画像と類似する検索対象画像として検索する
ことを特徴とする請求項１〜８のうちいずれか１つに記載の検索装置。

【請求項10】

検索装置が実行する検索方法であって、
クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定工程と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索工程と
を含むことを特徴とする検索方法。

【請求項11】

クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定手順と、
検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索手順と
をコンピュータに実行させるための検索プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検索装置、検索方法及び検索プログラムに関する。

【背景技術】

【0002】

従来、クエリ画像と類似する画像を検索する技術が知られている。このような技術の一例として、端末装置が撮影した画像をクエリ画像として受信すると、クエリ画像に類似する画像を検索し、検索結果の画像が示す取引対象の情報を提供する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−００９４５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、検索精度を向上させる余地がある。

【0005】

例えば、クエリ画像に類似する画像を検索する場合、クエリ画像が有する特徴量と、検索対象となる画像が有する特徴量とを比較し、特徴量が類似する画像を検索する手法が考えられる。しかしながら、単純に画像が有する特徴量同士を検索した場合、クエリ画像に撮影された取引対象とは、色彩や形状の特徴が類似するものの、縦横比が異なる取引対象が撮影された画像を類似する画像として検索してしまう恐れがある。

【0006】

本願は、上記に鑑みてなされたものであって、画像を用いた検索の検索精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本願に係る検索装置は、クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する特定部と、検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量と前記クエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比と前記クエリ対象領域の縦横比との類似性に基づいて、前記クエリ画像と類似する検索対象画像を検索する検索部とを有することを特徴とする。

【発明の効果】

【0008】

実施形態の一態様によれば、画像を用いた検索の検索精度を向上させることができるといった効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、画像の特徴量を算出する処理の一例を示す図である。

【図2】図２は、実施形態に係る検索処理の一例を示す図である。

【図3】図３は、実施形態に係る情報提供装置が提供する画面の一例を示す図である。

【図4】図４は、実施形態に係る情報提供システムの構成例を示す図である。

【図5】図５は、実施形態に係る情報提供装置の構成例を示す図である。

【図6】図６は、実施形態に係る画像データベースの一例を示す図である。

【図7】図７は、実施形態に係る検索対象データベースの一例を示す図である。

【図8】図８は、実施形態に係る検索処理の手順の一例を示すフローチャートである。

【図9】図９は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る検索装置、検索方法及び検索プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ説明する。なお、この実施形態により本願に係る検索装置、検索方法及び検索プログラムが限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

〔１．実施形態〕
本実施形態に係る検索処理の前提として、モデルを用いて画像の特徴量を算出する処理について、図１を用いて説明する。図１は、画像の特徴量を算出する処理の一例を示す図である。

【0012】

なお、図１に示す処理に用いるモデル＃１は、類似する撮影対象が撮影された画像が入力された場合に類似する特徴量を出力し、類似しない撮影対象が撮影された画像が入力された場合に類似しない特徴量を出力するように学習が行われているものとする。このように学習されたモデル＃１の入力側には、同じサイズの画像しか入力することができない。このため、学習データである画像や、特徴量の算出対象となる画像は、モデル＃１の入力側と対応するサイズに正規化され、正規化された画像を用いた学習や特徴量の算出が行われる。この結果、モデル＃１は、画像の縦横比（アスペクト比）、ひいては、撮影対象の縦横比の情報が欠損した状態で撮影対象の特徴を学習してしまい、縦横比が異なる撮影対象から類似する特徴量を出力する恐れがある。

【0013】

例えば、図１の例において、モデル＃１が、ロングパンツを撮影対象とする画像Ｐ１−１の特徴量と、ショートパンツを撮影対象とする画像Ｐ２−１の特徴量とを算出するものとする。この場合、モデル＃１は、モデル＃１の入力側と対応するサイズに正規化された画像Ｐ１−２に基づいて、画像Ｐ１−１に対応する特徴量＃１を算出する。また、モデル＃１は、モデル＃１の入力側と対応するサイズに正規化された画像Ｐ２−２に基づいて、画像Ｐ２−１に対応する特徴量＃２を算出する。ここで、画像Ｐ１−１（ロングパンツ）の縦横比を示す縦横比情報＃１と、画像Ｐ２−１（ショートパンツ）の縦横比を示す縦横比情報＃２とが非類似であっても、例えば、画像Ｐ１−１と画像Ｐ２−１との色彩や形状が類似する場合、モデル＃１が算出する特徴量＃１及び＃２は類似する可能性がある。

【0014】

以上のようなモデル＃１が算出する特徴量の類似性を用いて、検索対象となる画像（以下、「検索対象画像」と記載する場合がある）から、検索クエリとして入力された画像（以下、「クエリ画像」と記載する場合がある）と類似する画像を検索する場合、色彩や形状の特徴が類似するものの、縦横比が異なる取引対象が撮影された画像を類似する画像として検索してしまうという問題点ある。したがって、画像を用いた検索の検索精度を向上させる技術が求められる。

【0015】

以上の前提及び問題点を踏まえ、以下、図２を用いて、本願に係る検索装置等により実現される検索処理について説明する。図２は、実施形態に係る検索処理の一例を示す図である。なお、図２では、本願に係る検索装置の一例である情報提供装置１０によって、実施形態に係る出力処理などが実現されるものとする。

【0016】

図２の説明に先立って、図４を用いて、実施形態に係る情報提供システム１について説明する。図４は、実施形態に係る情報提供システムの構成例を示す図である。図４に示すように、実施形態に係る情報提供システム１は、情報提供装置１０と、端末装置１００とを含む。情報提供装置１０及び端末装置１００は、ネットワークＮを介して有線または無線により相互に通信可能に接続される。ネットワークＮは、例えば、インターネットなどのＷＡＮ（Wide Area Network）である。なお、図４に示した情報提供システム１には、複数台の情報提供装置１０及び複数台の端末装置１００が含まれていてもよい。

【0017】

情報提供装置１０は、端末装置１００を利用する利用者に電子商店街に関するサービスを提供するサーバ装置である。なお、情報提供装置１０は、電子商店街に関するアプリケーションのデータそのものを配信するサーバであってもよい。また、情報提供装置１０は、端末装置１００に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語やＣＳＳ（Cascading Style Sheets）等のスタイルシート言語により記述される。なお、情報提供装置１０から配信される電子商店街に関するアプリケーションそのものを制御情報とみなしてもよい。

【0018】

また、情報提供装置１０は、電子商店街に登録される画像であって、電子商店街における利用者の検索対象（取引対象）を撮影対象に含む画像である検索対象画像を管理する。また、情報提供装置１０は、類似する取引対象が撮影された複数の検索対象画像について、取引対象が含まれる領域の縦横比を所定の縦横比に変換（正規化）した画像と、当該取引対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を出力（算出）するように学習が行われたモデル（以下、「算出モデル」と記載する場合がある）を管理する。

【0019】

なお、算出モデルには、ＤＮＮ（Deep Neural Network）等のモデルを用いてもよい。ここで、ＤＮＮは、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）であってもよく、ＣＮＮや、ＲＮＮ、ＬＳＴＭの機能を組み合わせたものであってもよい。

【0020】

端末装置１００は、利用者によって利用される情報処理装置である。端末装置１００は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。なお、図２に示す例において、端末装置１００は、利用者によって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。また、端末装置１００は、液晶ディスプレイ等の出力部（以下、「画面」と記載する場合がある）を有し、タッチパネルが採用されているものとする。すなわち、利用者は、指や専用ペンで出力部の表示面をタッチすることにより端末装置１００の各種操作を行う。また、端末装置１００は、情報提供装置１０によって提供される情報の表示処理を実現する制御情報を情報提供装置１０から受け取った場合には、制御情報に従って表示処理を実現する。

【0021】

以下、図１を用いて、情報提供装置１０が行う検索処理について説明する。なお、以下の説明では、端末装置１００が利用者Ｕにより利用される例を示す。また、以下の説明では、端末装置１００を利用者Ｕと同一視する場合がある。すなわち、以下では、利用者Ｕを端末装置１００と読み替えることもできる。

【0022】

まず、情報提供装置１０は、電子商店街に登録された画像である検索対象画像のうち、取引対象が含まれる範囲を検索対象領域として特定する（ステップＳ１）。例えば、図２の例において、情報提供装置１０は、各種の画像認識技術を用いて、検索対象画像から検索対象領域を特定する。具体的な例を挙げると、情報提供装置１０は、GIST（http://ilab.usc.edu/siagian/Research/Gist/Gist.html）、カラーヒストグラム、色分布などの広域特徴量やＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speed-Up Robust Features）、局所画像特徴量等、画像が有する特徴量を取得する任意の技術に基づき、検索対象領域を特定する。なお、情報提供装置１０は、ニューラルネットワークで生成される特徴量も利用可能である。

【0023】

続いて、情報提供装置１０は、検索対象領域を特定した検索対象画像のうち、いずれかの検索対象画像を端末装置１００に提供する（ステップＳ２）。例えば、図２の例において、情報提供装置１０は、端末装置１００に表示された電子商店街に関するサービスにおいて、利用者Ｕが入力した検索クエリに対応する検索対象画像を、端末装置１００に提供する。具体的な例を挙げると、情報提供装置１０は、利用者Ｕが入力した検索クエリに対応する検索対象画像であって、検索対象領域が強調して表示される検索対象画像を端末装置１００に提供する。

【0024】

続いて、利用者Ｕは、いずれかの検索対象領域を選択する（ステップＳ３）。例えば、図２の例において、端末装置１００は、ステップＳ２において情報提供装置１０から提供された検索対象画像を表示する。そして、端末装置１００は、検索対象画像に含まれる検索対象領域のうちいずれかを選択する操作を利用者Ｕから受け付ける。

【0025】

続いて、端末装置１００は、利用者Ｕが選択した検索対象領域をクエリ対象領域として情報提供装置１０に通知する（ステップＳ４）。例えば、図２の例において、情報提供装置１０は、利用者Ｕが選択した検索対象領域をクエリ対象領域として特定する。

【0026】

続いて、情報提供装置１０は、各検索対象画像に含まれる検索対象領域のうち、特徴量がクエリ対象領域の特徴量と縦横比とが類似する検索対象領域を検索する（ステップＳ５）。例えば、図２の例において、情報提供装置１０は、検索対象領域を正規化した画像と、当該検索対象領域の縦横比を示す情報とを算出モデルに入力することにより、各検索対象領域の特徴量を算出する。また、情報提供装置１０は、クエリ対象領域を正規化した画像と、当該クエリ対象領域の縦横比を示す情報とを算出モデルに入力することにより、クエリ対象領域の特徴量を算出する。そして、情報提供装置１０は、検索対象領域のうち、算出モデルを用いて算出した特徴量が、クエリ対象領域のものと類似する検索対象領域を検索する。具体的な例を挙げると、情報提供装置１０は、算出モデルを用いて算出した特徴量をベクトルに変換し、検索対象領域のうち、クエリ対象領域に対応するベクトルとのベクトル空間上におけるユークリッド距離が所定の閾値以下であるベクトルに対応する検索対象領域を検索する。

【0027】

続いて、情報提供装置１０は、検索した検索対象領域を強調した強調画像を生成する（ステップＳ６）。例えば、図２の例において、情報提供装置１０は、検索した検索対象領域を含む検索対象画像であって、当該検索対象領域を強調した検索対象画像を強調画像として生成する。続いて、情報提供装置１０は、生成した強調画像を端末装置１００に提供する（ステップＳ７）。ここで、本実施形態において情報提供装置１０が端末装置１００に提供する画面の具体例について、図３を用いて説明する。図３は、実施形態に係る情報提供装置が提供する画面の一例を示す図である。なお、以下の説明では、端末装置１００の画面の状態遷移を、順に第１状態、第２状態と表記する。

【0028】

図３の第１状態は、図２のステップＳ２において情報提供装置１０から提供される検索対象画像を端末装置１００が表示した状態を示す。第１状態において、端末装置１００は、検索対象画像Ｐ１０を表示すると共に、検索対象画像Ｐ１０に含まれる検索対象領域を示す領域ＡＲ１−１〜ＡＲ１−５を強調表示する。ここで、第１状態において、利用者Ｕが領域ＡＲ１−４を選択したものとする。この場合、端末装置１００は、領域ＡＲ１−４をクエリ対象領域として情報提供装置１０に通知する。そして、情報提供装置１０は、領域ＡＲ１−４の特徴量と縦横比とが類似する検索対象領域を検索し、当該検索対象領域を強調した強調画像を生成して端末装置１００に提供する。

【0029】

図３の第２状態は、図２のステップＳ７において情報提供装置１０から提供される強調画像を端末装置１００が表示した画面の状態を示す。ここで、図３の例において、情報提供装置１０は、領域ＡＲ１−４の特徴量と縦横比とが類似する検索対象領域として、検索対象領域ＡＲ２−１〜ＡＲ２−３を検索したものとする。この場合、情報提供装置１０は、検索対象領域ＡＲ２−１〜ＡＲ２−３をそれぞれ含む検索対象画像であって、検索対象領域ＡＲ２−１〜ＡＲ２−３を強調した検索対象画像である強調画像Ｐ２−１〜Ｐ２−３を生成し、検索対象画像Ｐ１０の表示態様の変更（領域ＡＲ１−４の強調表示）を指示する制御情報と共に端末装置１００に提供する。そして、端末装置１００は、検索対象画像Ｐ１０の表示態様を変更すると共に、利用者Ｕが選択した領域ＡＲ１−４（検索クエリ）に対応する検索結果として、強調画像Ｐ２−１〜Ｐ２−３を画面に表示する。

【0030】

なお、図２の例において、実施形態に係る情報提供装置１０が、算出モデルを用いて検索処理を実行する例を示したが、検索処理に用いるモデルは上述したものに限定されない。例えば、情報提供装置１０は、類似する取引対象が撮影された複数の画像について、取引対象が含まれる領域の縦横比を所定の縦横比に変換（正規化）した画像を入力した際に類似する特徴量を算出するよう学習した第１モデル、並びに、類似する取引対象が撮影された複数の画像について、当該取引対象が含まれる領域の縦横比を示す情報を入力した際に、類似する特徴量を算出するように学習が行われた第２モデルを用いて、検索処理を実行してもよい。

【0031】

具体例を挙げると、情報提供装置１０は、第１モデルを用いて算出した、クエリ対象領域を正規化した画像の特徴量と、第２モデルを用いて算出した、クエリ対象領域の縦横比を示す特徴量とを結合したベクトル（若しくは、各特徴量を結合した特徴量）を出力する。また、情報提供装置１０は、同様に、検索対象領域についても、第１モデル及び第２モデルを用いて算出した各特徴量を結合したベクトル（若しくは、各特徴量を結合した特徴量）を出力する。そして、情報提供装置１０は、検索対象領域のうち、出力したベクトルがクエリ対象領域のものと類似する検索対象領域を検索する。

【0032】

また、情報提供装置１０は、第１モデルと、画像の縦横比を示す情報とを用いて検索処理を実行してもよい。具体例を挙げると、情報提供装置１０は、第１モデルを用いて算出した、クエリ対象領域を正規化した画像の特徴量と、クエリ対象領域の縦横比を示す特徴量（例えば、領域の横幅と縦幅とを合算した値で領域の横幅を除算した値や、領域の横幅と縦幅とを合算した値で領域の縦幅を除算した値など）とを結合したベクトルを出力する。また、情報提供装置１０は、同様に、検索対象領域についても、第１モデルを用いて算出した特徴量と、クエリ対象領域の縦横比を示す特徴量とを結合したベクトルを出力する。そして、情報提供装置１０は、検索対象領域のうち、出力したベクトルがクエリ対象領域のものと類似する検索対象領域を検索する。すなわち、情報提供装置１０は、画像の特徴量と縦横比とに基づいたベクトルの類似性に基づいて、画像の類似性を判断してもよく、画像の特徴量に基づいたベクトルの類似性と、画像の縦横比との類似性とに基づいて、画像の類似性を判断してもよい。また、例えば、情報提供装置１０は、画像の特徴量に基づいたベクトルと、画像の縦横比とをそれぞれ個別の情報として用いてもよく、画像の特徴量に基づいたベクトルに、画像の縦横比を示す情報（例えば、ベクトル等）を結合したベクトル同士の類似性に基づいて、画像の類似性を判断してもよい。

【0033】

以上のように、実施形態に係る情報提供装置１０は、検索対象領域のうち、クエリ対象領域の特徴量と縦横比とが類似する検索対象領域を検索する。これにより、実施形態に係る情報提供装置１０は、撮影対象の縦横比の情報を欠損させずに、検索対象画像からクエリ画像に類似する画像の検索を可能とするため、画像を用いた検索の検索精度を向上させることができる。

【0034】

〔２．情報提供装置の構成〕
次に、図５を用いて、情報提供装置１０の構成について説明する。図５は、実施形態に係る情報提供装置の構成例を示す図である。図５に示すように、情報提供装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。

【0035】

（通信部２０について）
通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、端末装置１００等との間で情報の送受信を行う。

【0036】

（記憶部３０について）
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図５に示すように、記憶部３０は、学習データベース３１と、検索対象データベース３２とを有する。

【0037】

（学習データベース３１について）
学習データベース３１は、画像の特徴量を算出するモデル（算出モデルや、第１モデル、第２モデル等）の学習に用いられる画像に関する情報を記憶する。ここで、図６を用いて、学習データベース３１が記憶する情報の一例を説明する。図６は、実施形態に係る画像データベースの一例を示す図である。図６の例では、学習データベース３１は、「画像ＩＤ」、「画像情報」、「正規化画像情報」、「縦横比情報」、「類似情報」といった項目を有する。

【0038】

「画像ＩＤ」は、画像を識別するための識別情報を示す。「画像情報」は、モデルの学習に用いられる画像を示す。なお、図６に示す例では、「画像情報」に「画像情報＃１１」といった概念的な情報が格納される例を示したが、実際には、画像（静止画像）や、画像の所在を示すＵＲＬ（Uniform Resource Locator）、格納場所を示すファイルパス名などが格納される。

【0039】

「正規化画像情報」は、モデルの学習に用いられる画像を、モデルの入力側と対応するサイズに正規化した画像を示す。なお、図６に示す例では、「正規化画像情報」に「正規化画像情報＃１１」といった概念的な情報が格納される例を示したが、実際には、正規化した画像（静止画像）や、正規化した画像の所在を示すＵＲＬ（Uniform Resource Locator）、格納場所を示すファイルパス名などが格納される。

【0040】

「縦横比情報」は、モデルの学習に用いられる画像の縦横比を示す。「類似情報」は、モデルの学習に用いられる画像と類似する画像を示し、例えば、画像ＩＤが格納される。

【0041】

すなわち、図６では、画像ＩＤ「ＩＤ＃１」によって識別され、画像情報「画像情報＃１」である画像を正規化した画像が正規化画像情報「正規化画像＃１１」、縦横比情報が「縦横比情報＃１１」、類似情報が「類似情報＃１１」である例を示す。

【0042】

なお、学習データベース３１は、例えば、情報提供装置１０が画像の特徴量と縦横比とに基づいたベクトルの類似性に基づいて、画像の類似性を判断する場合は、正規化画像情報と縦横比情報とから出力したベクトルを記憶してもよい。また、学習データベース３１は、例えば、画像の特徴量に基づいたベクトルの類似性と、画像の縦横比との類似性とに基づいて、画像の類似性を判断する場合は、画像の特徴量に基づいたベクトルと、画像の縦横比とをそれぞれ個別の情報として記憶してもよい。

【0043】

（検索対象データベース３２について）
検索対象データベース３２は、利用者の検索対象（例えば、電子商店街における取引対象）を撮影対象に含む画像である検索対象画像に関する情報を記憶する。ここで、図７を用いて、検索対象データベース３２が記憶する情報の一例を説明する。図７は、実施形態に係る検索対象データベースの一例を示す図である。図７の例では、検索対象データベース３２は、「検索対象ＩＤ」、「検索対象画像情報」、「検索対象領域」、「縦横比情報」、「インデックス情報」といった項目を有する。

【0044】

「検索対象ＩＤ」は、検索対象画像を識別するための識別情報を示す。「検索対象画像情報」は、モデルの学習に用いられる画像を示す。なお、図６に示す例では、「画像情報」に「画像情報＃１１」といった概念的な情報が格納される例を示したが、実際には、画像（静止画像）や、画像の所在を示すＵＲＬ（Uniform Resource Locator）、格納場所を示すファイルパス名などが格納される。

【0045】

「検索対象領域」は、検索対象画像のうち、検索対象が含まれる範囲を示す。「縦横比情報」は、検索対象領域の縦横比を示す。「インデックス情報」は、検索対象領域の特徴量のインデックスを示し、例えば、検索対象領域の特徴量を示すベクトルに関する情報が格納される。

【0046】

すなわち、図７では、検索対象ＩＤ「ＳＩＤ＃１」によって識別され、検索対象画像情報「検索対象画像情報＃２１」である画像に検索対象領域「領域ＡＲ２１−１」が含まれ、当該検索対象領域の縦横比情報が「縦横比情報＃２１−１」、インデックス情報が「インデックス情報＃２１−１」である例を示す。

【0047】

（制御部４０について）
制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報提供装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。実施形態に係る制御部４０は、図５に示すように、特定部４１と、算出部４２と、検索部４３と、提供部４４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0048】

（特定部４１について）
特定部４１は、クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する。例えば、図２の例において、特定部４１は、各種の画像認識技術を用いて、検索対象画像のうち、取引対象が含まれる範囲を検索対象領域として特定する。そして、検索対象領域のうち、利用者Ｕが選択した検索対象領域をクエリ対象領域として特定する。

【0049】

また、特定部４１は、撮影対象の種別をさらに特定してもよい。例えば、特定部４１は、クエリ対象領域に含まれる撮影対象の種別を特定する。具体的な例を挙げると、特定部４１は、撮影対象の寸法（例えば、衣服の着丈や、肩幅、袖丈、裾丈など）に基づいて分類される撮影対象の種別（例えば、ショートパンツやロングパンツなど）を特定する。なお、特定部４１が特定する撮影対象（取引対象）の種別は、電子商店街の管理者、若しくは、電子商店街に出店するストアの管理者により任意に設定されてもよい。

【0050】

また、特定部４１は、撮影対象として電子商取引の対象となる取引対象が含まれる範囲をクエリ対象領域として特定してもよい。例えば、図２の例において、特定部４１は、電子商店街に登録された画像である検索対象画像のうち、取引対象が含まれる範囲を検索対象領域（クエリ対象領域）として特定する。

【0051】

（算出部４２について）
算出部４２は、類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、検索対象画像から特徴量を算出する。例えば、図２の例において、算出部４２は、類似する取引対象が撮影された複数の画像について、当該取引対象が含まれる領域の縦横比を示す情報を入力した際に、類似する特徴量を算出するように学習が行われた第２モデルを用いて、検索対象領域から特徴量を算出する。

【0052】

また、算出部４２は、類似する撮影対象が撮影された複数の画像について、撮影対象が含まれる領域の縦横比を所定の縦横比に変換した画像と、当該撮影対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を出力するように学習が行われたモデルを用いてもよい。例えば、図２の例において、算出部４２は、類似する取引対象が撮影された複数の検索対象画像について、取引対象が含まれる領域の縦横比を所定の縦横比に変換（正規化）した画像と、当該取引対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を算出するように学習が行われた算出モデルを用いて、検索対象領域から特徴量を算出する。

【0053】

また、算出部４２は、検索対象領域の縦横比を所定の縦横比に変換した画像と、当該検索対象領域の縦横比を示す情報とをモデルに入力して、当該検索対象領域の特徴量を算出してもよい。例えば、図２の例において、算出部４２は、検索対象領域を正規化した画像と、当該検索対象領域の縦横比を示す情報とを算出モデルに入力することにより、各検索対象領域の特徴量を算出する。

【0054】

また、算出部４２は、類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて検索対象領域から算出された特徴量と、当該検索対象領域の縦横比を示すベクトルとに応じた検索情報を算出してもよい。例えば、図２の例において、算出部４２は、類似する取引対象が撮影された複数の画像について、取引対象が含まれる領域の縦横比を所定の縦横比に変換（正規化）した画像を入力した際に類似する特徴量を算出するよう学習した第１モデルを用いて算出した検索対象領域の特徴量と、当該検索対象領域の縦横比を示すベクトルとに応じた検索情報を、検索対象領域ごとに算出する。具体的な例を挙げると、算出部４２は、第１モデルを用いて算出した検索対象領域の特徴量を示すベクトルと、当該検索対象領域の縦横比を示すベクトルとを結合したベクトルを検索情報として算出する。なお、算出部４２は、第１モデルを用いて算出した、検索対象領域を正規化した画像の特徴量と、第２モデルを用いて算出した、検索対象領域の縦横比を示す特徴量とを結合したベクトルを検索情報として算出してもよい。

【0055】

（検索部４３について）
検索部４３は、検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。例えば、検索部４３は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性を、各種の画像認識技術を用いて算出し、算出した類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。

【0056】

また、検索部４３は、モデルを用いてクエリ対象領域から特徴量を算出し、検索対象画像のうち、算出部４２が検索対象領域から算出した特徴量がクエリ対象領域から算出した特徴量と類似する画像を検索してもよい。例えば、検索部４３は、第２モデルを用いてクエリ対象領域から特徴量を算出し、算出部４２が第２モデルを用いて検索対象領域から算出した特徴量が、クエリ対象領域から算出した特徴量と類似する画像を検索する。具体的な例を挙げると、検索部４３は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性（例えば、各種の画像認識技術に基づく類似性）、並びに、検索対象領域の縦横比を示す特徴量とクエリ対象領域の縦横比を示す特徴量との類似性（第２モデルを用いて算出する特徴量に基づく類似性）に基づいて、クエリ対象領域と類似する検索対象領域を検索する。

【0057】

また、検索部４３は、クエリ対象領域の縦横比を所定の縦横比に変換した画像と、当該クエリ対象領域の縦横比を示す情報とをモデルに入力して、当該クエリ対象領域の特徴量を算出してもよい。例えば、図２の例において、検索部４３は、クエリ対象領域を正規化した画像と、当該クエリ対象領域の縦横比を示す情報とを算出モデルに入力することにより、クエリ対象領域の特徴量を算出する。

【0058】

また、検索部４３は、検索対象画像のうち、モデルを用いてクエリ対象領域から算出された特徴量と当該クエリ対象領域の縦横比を示すベクトルとに応じたクエリ情報と検索情報が類似する画像を検索してもよい。例えば、検索部４３は、第１モデルを用いて算出したクエリ対象領域の特徴量を示すベクトルと、クエリ対象領域の縦横比を示すベクトルとを結合したベクトルを示すクエリ情報を算出し、検索対象領域のうち、算出部４２が算出した検索情報がクエリ情報と類似する検索対象領域を検索する。なお、検索部４３は、第１モデルを用いて算出した、クエリ対象領域を正規化した画像の特徴量と、第２モデルを用いて算出した、クエリ対象領域の縦横比を示す特徴量とを結合したベクトルをクエリ情報として算出してもよい。

【0059】

また、検索部４３は、種別が予め定められた所定の種別である場合は、検索対象画像のうち、撮影対象が含まれる検索対象領域の特徴量がクエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比がクエリ対象領域の縦横比と類似する画像を検索してもよい。例えば、クエリ対象領域に含まれる撮影対象の種別が予め設定された種別（例えば、縦横比が撮影対象の特徴を表す種別）と特定部４１により特定された場合、検索部４３は、検索対象画像のうち、検索対象領域の特徴量がクエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比がクエリ対象領域の縦横比と類似する画像を検索する。

【0060】

また、検索部４３は、種別が予め定められた所定の種別ではない場合は、検索対象画像のうち撮影対象が含まれる検索対象領域の縦横比が所定の値を有するものとして、当該検索対象領域の特徴量がクエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比がクエリ対象領域の縦横比と類似する画像を検索してもよい。例えば、クエリ対象領域に含まれる撮影対象の種別として、予め設定された種別とは異なる種別（例えば、縦横比が撮影対象の特徴を表わさない種別）が特定部４１により特定された場合、検索部４３は、検索対象領域が、クエリ対象領域の縦横比と類似する縦横比を有するものとして、検索対象画像のうち、検索対象領域の特徴量がクエリ対象領域の特徴量と類似する画像を検索する。なお、上記所定の値は、電子商店街の管理者、若しくは、電子商店街に出店するストアの管理者により任意に設定されてもよい。

【0061】

また、検索部４３は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似度に基づく第１スコアと、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似度に、種別に応じた重みを適用した第２スコアとに基づいて、クエリ画像と類似する検索対象画像を検索してもよい。例えば、検索部４３は、機械学習に関する種々の従来技術（例えば、ＳＶＭ（Support Vector Machine）等の教師あり学習の機械学習に関する技術）を用いて、他の種別に属する撮影対象と区別する場合における、撮影対象が含まれる領域の縦横比の重要度を、撮影対象の種別ごとに算出する。そして、検索部４３は、第１スコアと、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似度に、特定された種別に対応する重要度に応じた重みを適用した第２スコアとに基づいて、クエリ画像と類似する検索対象画像を検索する。なお、検索部４３は、ルールベースで撮影対象の種別に応じた重みを適用してもよい。

【0062】

また、検索部４３は、クエリ対象領域に含まれる取引対象と類似する取引対象が含まれる検索対象領域を含む検索対象画像を、クエリ画像と類似する検索対象画像として検索してもよい。例えば、図２の例において、検索部４３は、利用者Ｕが選択した範囲に含まれる取引対象と類似する取引対象が含まれる検索対象領域を含む検索対象画像を、電子商店街に登録された画像から検索する。

【0063】

（提供部４４について）
提供部４４は、検索部４３が検索した検索対象画像を提供する。例えば、図２の例において、提供部４４は、検索部４３が検索した検索対象領域を含む検索対象画像であって、当該検索対象領域を強調した検索対象画像を強調画像として生成し、端末装置１００に提供する。

【0064】

〔３．検索処理のフロー〕
ここで、図８を用いて、実施形態に係る情報提供装置１０の検索処理の手順について説明する。図８は、実施形態に係る検索処理の手順の一例を示すフローチャートである。

【0065】

図８に示すように、情報提供装置１０は、端末装置１００からクエリ画像を受け付けたか否かを判定する（ステップＳ１０１）。ここで、クエリ画像を受け付けていない場合（ステップＳ１０１；Ｎｏ）、情報提供装置１０は、クエリ画像を受け付けるまで待機する。一方、クエリ画像を受け付けた場合（ステップＳ１０１；Ｙｅｓ）、情報提供装置１０は、撮影対象が含まれるクエリ対象領域を特定する（ステップＳ１０２）。

【0066】

続いて、情報提供装置１０は、モデルを用いて検索対象画像から特徴量を算出する（ステップＳ１０３）。例えば、情報提供装置１０は、検索対象領域を正規化した画像と、当該検索対象領域の縦横比を示す情報とを算出モデルに入力することにより、検索対象画像に含まれる各検索対象領域の特徴量を算出する。

【0067】

続いて、情報提供装置１０は、特徴量がクエリ対象領域から算出した特徴量と類似する検索対象画像を検索する（ステップＳ１０４）。例えば、情報提供装置１０は、クエリ対象領域を正規化した画像と、クエリ対象領域の縦横比を示す情報とを算出モデルに入力することにより、クエリ対象領域の特徴量を算出し、クエリ対象領域と特徴量が類似する検索対象領域を含む検索対象画像を検索する。続いて、情報提供装置１０は、検索結果に応じた画像を端末装置１００に配信（提供）し（ステップＳ１０５）、処理を終了する。

【0068】

〔４．変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。

【0069】

〔４−１．撮影対象について〕
上述の実施形態において、情報提供装置１０による検索処理の対象となる画像が、鞄や衣服を撮影対象として含む例を示したが、撮影対象はこのような例に限定されず、情報提供装置１０は縦横比によって他の物体と区別可能な物体であれば、任意の対象に対し検索処理を行ってもよい。例えば、情報提供装置１０は、人の姿勢を対象として検索処理を行ってもよい。また、例えば、情報提供装置１０の機能は、自動運転車両における周辺の人や物体の認識において用いられてもよい。

【0070】

〔４−２．利用者の設定に応じた検索処理について〕
上述の実施形態において、検索部４３が、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する例を示したが、検索部４３の機能はこのような例に限定されない。例えば、検索部４３は、電子商店街に関するサービスにおける利用者の設定に応じて、クエリ画像と類似する検索対象画像を検索してよい。具体例を挙げると、縦横比の類似性に基づく画像の検索を希望しない旨の設定を利用者が行った場合、検索部４３は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似性のみに基づいて、クエリ画像と類似する検索対象画像を検索する。また、縦横比の類似性を重視する旨の設定を利用者が行った場合、検索部４３は、検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に所定の重みを適用して、クエリ画像と類似する検索対象画像を検索する。

【0071】

〔５．効果〕
上述してきたように、実施形態に係る情報提供装置１０は、特定部４１と、算出部４２と、検索部４３と、提供部４４とを有する。特定部４１は、クエリ画像のうち撮影対象が含まれるクエリ対象領域を特定する。算出部４２は、類似する撮影対象が撮影された複数の画像であって当該撮影対象が含まれる領域の縦横比が類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて、検索対象画像から特徴量を算出する。検索部４３は、検索対象となる画像である検索対象画像のうち撮影対象が含まれる検索対象領域の特徴量とクエリ対象領域の特徴量との類似性、並びに、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似性に基づいて、クエリ画像と類似する検索対象画像を検索する。また、検索部４３は、モデルを用いてクエリ対象領域から特徴量を算出し、検索対象画像のうち、算出部が検索対象領域から算出した特徴量がクエリ対象領域から算出した特徴量と類似する画像を検索する。提供部４４は、検索部４３が検索した検索対象画像を提供する。

【0072】

これにより、実施形態に係る情報提供装置１０は、撮影対象の縦横比の情報を欠損させずに、検索対象画像からクエリ画像に類似する画像の検索を可能とするため、画像を用いた検索の検索精度を向上させることができる。

【0073】

また、実施形態に係る情報提供装置１０において、例えば、算出部４２は、類似する撮影対象が撮影された複数の画像について、撮影対象が含まれる領域の縦横比を所定の縦横比に変換した画像と、当該撮影対象が含まれる領域の縦横比を示す情報とを入力した際に、類似する特徴量を出力するように学習が行われたモデルを用いる。また、算出部４２は、検索対象領域の縦横比を所定の縦横比に変換した画像と、当該検索対象領域の縦横比を示す情報とをモデルに入力して、当該検索対象領域の特徴量を算出する。そして、検索部４３は、クエリ対象領域の縦横比を所定の縦横比に変換した画像と、当該クエリ対象領域の縦横比を示す情報とをモデルに入力して、当該クエリ対象領域の特徴量を算出する。

【0074】

これにより、実施形態に係る情報提供装置１０は、撮影対象の縦横比の情報を欠損させずに、検索対象画像からクエリ画像に類似する画像の検索を可能とするため、画像を用いた検索の検索精度を向上させることができる。

【0075】

また、実施形態に係る情報提供装置１０において、例えば、算出部４２は、類似する画像が入力された場合に類似する特徴量を出力するように学習が行われたモデルを用いて検索対象領域から算出された特徴量と、当該検索対象領域の縦横比を示すベクトルとに応じた検索情報を算出する。そして、検索部４３は、検索対象画像のうち、モデルを用いてクエリ対象領域から算出された特徴量と当該クエリ対象領域の縦横比を示すベクトルとに応じたクエリ情報と検索情報が類似する画像を検索する。

【0076】

これにより、実施形態に係る情報提供装置１０は、撮影対象の縦横比の情報を欠損させずに、検索対象画像からクエリ画像に類似する画像の検索を可能とするため、画像を用いた検索の検索精度を向上させることができる。

【0077】

また、実施形態に係る情報提供装置１０において、例えば、特定部４１は、撮影対象の種別をさらに特定する。そして、検索部４３は、種別が予め定められた所定の種別である場合は、検索対象画像のうち、撮影対象が含まれる検索対象領域の特徴量がクエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比がクエリ対象領域の縦横比と類似する画像を検索する。また、検索部４３は、種別が予め定められた所定の種別ではない場合は、検索対象画像のうち撮影対象が含まれる検索対象領域の縦横比が所定の値を有するものとして、当該検索対象領域の特徴量がクエリ対象領域の特徴量と類似し、且つ、当該検索対象領域の縦横比がクエリ対象領域の縦横比と類似する画像を検索する。また、特定部４１は、撮影対象の種別をさらに特定する。そして、検索部４３は、検索対象領域の特徴量とクエリ対象領域の特徴量との類似度に基づく第１スコアと、当該検索対象領域の縦横比とクエリ対象領域の縦横比との類似度に、種別に応じた重みを適用した第２スコアとに基づいて、クエリ画像と類似する検索対象画像を検索する。また、特定部４１は、撮影対象として電子商取引の対象となる取引対象が含まれる範囲をクエリ対象領域として特定する。そして、検索部４３は、クエリ対象領域に含まれる取引対象と類似する取引対象が含まれる検索対象領域を含む検索対象画像を、クエリ画像と類似する検索対象画像として検索する。

【0078】

これにより、実施形態に係る情報提供装置１０は、撮影対象の縦横比の情報を欠損させずに、検索対象画像からクエリ画像に類似する画像の検索を可能とするため、画像を用いた検索の検索精度を向上させることができる。

【0079】

〔６．ハードウェア構成〕
また、上述してきた各実施形態に係る情報提供装置１０は、例えば、図９に示すような構成のコンピュータ１０００によって実現される。以下、情報提供装置１０を例に挙げて説明する。図９は、情報提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＯＭ１２００、ＲＡＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0080】

ＣＰＵ１１００は、ＲＯＭ１２００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１２００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0081】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

【0082】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

【0083】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１３００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１３００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0084】

例えば、コンピュータ１０００が情報提供装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１３００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、情報提供装置１０の記憶装置内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

【0085】

〔７．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0086】

また、上述した情報提供装置１０は、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

【0087】

また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。

【符号の説明】

【0088】

１０ 情報提供装置
２０ 通信部
３０ 記憶部
３１ 学習データベース
３２ 検索対象データベース
４０ 制御部
４１ 特定部
４２ 算出部
４３ 検索部
４４ 提供部
１００ 端末装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】