特許 6409294 情報処理装置、システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6409294

(24)【登録日】2018年10月5日

(45)【発行日】2018年10月24日

(54)【発明の名称】情報処理装置、システム、方法及びプログラム

(51)【国際特許分類】

   G06F 17/30 20060101AFI20181015BHJP

   G06T 1/00 20060101ALI20181015BHJP

【ＦＩ】

   G06F17/30 220C

   G06F17/30 170B

   G06T1/00 200E

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2014-53241(P2014-53241)

(22)【出願日】2014年3月17日

(65)【公開番号】特開2015-176422(P2015-176422A)

(43)【公開日】2015年10月5日

【審査請求日】2017年2月15日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100124154

【弁理士】

【氏名又は名称】下坂 直樹

(72)【発明者】

【氏名】杉崎 愛

(72)【発明者】

【氏名】宮川 博

(72)【発明者】

【氏名】米澤 八栄子

(72)【発明者】

【氏名】小松 豊

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２０１１−１６６２１４（ＪＰ，Ａ）

【文献】 特開２０１１−２１００００（ＪＰ，Ａ）

【文献】 特開２００２−００７４６９（ＪＰ，Ａ）

【文献】 特開２００４−１０２５０３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

取得した画像から属性を抽出する属性抽出手段と、
抽出された属性に対応づけられた画像を記憶手段から抽出する画像抽出手段と、
抽出された画像を表示する表示手段と、
表示された画像の選択を受け付ける入力手段と、
選択された複数の画像のそれぞれに対応づけられた前記属性のうち、重複した数が所定数以上となる前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索手段と、
検索結果を出力する出力手段と、
を備える情報処理装置。

【請求項2】

前記表示手段は抽出された前記画像と前記属性とを対応付けて表示させる請求項１に記載の情報処理装置。

【請求項3】

前記属性は、他の属性と対応付けられて前記記憶手段に記憶され、
前記属性抽出手段は、取得した画像に対応する前記属性及び当該属性に対応づけられた前記他の属性を前記記憶手段から抽出する請求項１または２に記載の情報処理装置。

【請求項4】

画像を送信する送信手段と、
画像を表示する表示手段と、
表示された画像の選択を受け付けて第２の情報処理装置に送信する入力手段と、
受信した検索結果を出力する出力手段と、
を備える第１の情報処理装置と、
受信した画像から属性を抽出する属性抽出手段と、
抽出された属性に対応づけられた画像を記憶手段から抽出して前記第１の情報処理装置に送信する画像抽出手段と、
前記第１の情報処理装置で選択された複数の画像のそれぞれに対応づけられた前記属性のうち、重複した数が所定数以上となる前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索手段と、
を備える第２の情報処理装置と、を含む情報処理システム。

【請求項5】

取得した画像から属性を抽出する属性抽出ステップと、
抽出された属性に対応づけられた画像を記憶手段から抽出する画像抽出ステップと、
抽出された画像を表示する表示ステップと、
表示された画像の選択を受け付ける入力ステップと、
選択された複数の画像のそれぞれに対応づけられた前記属性のうち、重複した数が所定数以上となる前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索ステップと、
検索結果を出力する出力ステップと、
をコンピュータに実行させる情報処理プログラム。

【請求項6】

前記表示ステップにおいて、抽出された前記画像と前記属性とを対応付けて表示させる
請求項５に記載の情報処理プログラム。

【請求項7】

前記属性は、他の属性と対応付けられて前記記憶手段に記憶され、
前記属性抽出ステップにおいて、取得した画像に対応する前記属性及び当該属性に対応づけられた前記他の属性を前記記憶手段から抽出する請求項５または６に記載の情報処理プログラム。

【請求項8】

コンピュータが、
取得した画像から属性を抽出し、
抽出された属性に対応づけられた画像を抽出し、
抽出された画像を表示し、
表示された画像の選択を受け付け、
選択された複数の画像のそれぞれに対応づけられた前記属性のうち、重複した数が所定数以上となる前記属性に基づいて、画像の再抽出を行い、
検索結果を出力する情報処理方法。

【請求項9】

抽出された前記画像と前記属性とを対応付けて表示させる請求項８に記載の情報処理方法。

【請求項10】

前記属性を、他の属性と対応付けて記憶し、
取得した画像に対応する前記属性及び当該属性に対応づけられた前記他の属性を抽出する請求項８または９に記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、システム、方法及びプログラムに関する。

【背景技術】

【0002】

インターネットの発展によりウェブ上で様々な検索が行われている。検索には、文字をクエリとしてデータベースからデータを抽出する方法の他、画像をクエリとして情報検索を行う方法も知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１９３１８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、例えば海外旅行の際に旅行者は渡航先の言語が分からないことがある。そのため、旅行者が渡航先の店舗で販売されている商品等の情報検索を行おうとしても、適切な言葉でクエリを作成することが困難である場合がある。そのような場合に商品の画像を用いて情報検索を行うことができれば便利である。

【0005】

ところが、画像をクエリとした場合、検索者が何を検索対象としたのかが特定できないことがある。例えば、ある炭酸飲料商品の画像がクエリとなった場合、検索者は、その炭酸飲料商品そのものを検索したかったのではなく、他の炭酸商品、あるいは単に飲料商品を検索したかったということも有り得る。

【0006】

上述の技術では、撮影画像と類似する画像の検索の一例を示すものではあるが、このような課題については考慮されておらず、所望の情報検索を行うことができないおそれがある。

【0007】

そこで、本発明は、所望の情報検索を行うことのできる情報処理装置、システム、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

かかる目的を達成するため、本発明の一形態は、情報処理装置であって、取得した画像から属性を抽出する属性抽出手段と、抽出された属性に対応づけられた画像を記憶手段から抽出する画像抽出手段と、抽出された画像を表示する表示手段と、表示された画像の選択を受け付ける入力手段と、選択された画像に対応づけられた前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索手段と、検索結果を出力する出力手段と、を備える。

【0009】

また、本発明は、画像を送信する送信手段と、画像を表示する表示手段と、表示された画像の選択を受け付けて第２の情報処理装置に送信する入力手段と、受信した検索結果を出力する出力手段と、を備える第１の情報処理装置と、受信した画像から属性を抽出する属性抽出手段と、抽出された属性に対応づけられた画像を記憶手段から抽出して前記第１の情報処理装置に送信する画像抽出手段と、前記第１の情報処理装置で選択された画像に対応づけられた前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索手段と、を備える第２の情報処理装置と、を含む情報処理システムを提供する。

【0010】

また、本発明は、取得した画像に対応する属性を抽出し、抽出された属性に対応づけられた画像を抽出し、抽出された画像を表示し、表示された画像の選択を受け付け、選択された画像に対応づけられた前記属性に基づいて、画像の再抽出を行い、検索結果を出力する情報処理方法を提供する。

【0011】

また、本発明は、コンピュータに、取得した画像から属性を抽出する属性抽出ステップと、抽出された属性に対応づけられた画像を記憶手段から抽出する画像抽出ステップと、抽出された画像を表示する表示ステップと、表示された画像の選択を受け付ける入力ステップと、選択された画像に対応づけられた前記属性に基づいて、前記記憶手段から画像の再抽出を行う検索ステップと、検索結果を出力する出力ステップと、を実行させる情報処理プログラムを提供する。

【発明の効果】

【0012】

本発明は、所望の情報検索を行うことのできる情報処理装置、システム、方法及びプログラムを提供する。

【図面の簡単な説明】

【0013】

【図1】情報処理装置１の構成例を示す図である。

【図2】記憶部１１の例を示す図である。

【図3】画像抽出部１３の動作イメージを示す図である。

【図4】表示部１４の表示例を示す図である。

【図5】表示部１４の表示例を示す図である。

【図6】検索部１６の動作イメージを示す図である。

【図7】実施形態１の動作例を示す図である。

【図8】記憶部１１の例を示す図である。

【図9】実施例１の動作イメージを示す図である。

【図10】表示部１４の表示例を示す図である。

【図11】表示部１４の表示例を示す図である。

【図12】実施例１の動作イメージを示す図である。

【図13】表示部１４の表示例を示す図である。

【図14】属性の階層例を示す図である。

【図15】属性の階層例を示す図である。

【図16】記憶部１１の例を示す図である。

【図17】表示部１４の表示例を示す図である。

【図18】実施形態２の動作例を示す図である。

【図19】実施形態３の構成例を示す図である。

【図20】情報処理装置の変形例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0015】

なお、以下の説明における装置等を構成する各部は、論理回路等のハードウェアで構成される。また、各部は、コンピュータの制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現されてもよい。そして特に断りのない限り、その実現方法、装置は限定されない。

【0016】

また、実施形態における各部を制御する制御部はＣＰＵ（Central Processing Unit）などからなる。そして、制御部はＯＳ（Operating system）を動作させて装置等の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これに従って各種の処理を実行する。記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータが読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。

【0017】

＜実施形態１＞
まず、本発明の第１の実施形態について図面を用いて説明する。図１には、本実施の形態にかかる情報管理装置１の一例が示されている。

【0018】

情報処理装置１は、記憶部１１と、属性抽出部１２と、画像抽出部１３と、表示部１４と、入力部１５と、検索部１６と、出力部１７と、特徴量抽出部１８と、照合部１９とを備える。情報処理装置１は、例えばカメラ機能を備えるスマートフォンなどの携帯端末であるがそれに限定されない。以下では、情報処理装置１が不図示のカメラ機能を備える例を説明する。

【0019】

記憶部１１は、画像と属性とを対応付けて記憶する。画像は、画像自体のみならず画像の特徴量であっても良い。属性とは、画像に紐づけられた情報であり、一般的には画像ないしその被写体の特徴を示す情報である。例えば、画像がコーヒー飲料の画像である場合、その属性は、商品：“飲料”、色：“黒い”、味：“苦い”、販売会社名：“〜株式会社”、などである。

【0020】

図２は記憶部１１が記憶する画像と属性との対応づけの一例を示している。ここで、属性１〜６は各々異なる属性を示している。図２は、例えば、画像Ａと属性１〜３とが対応づけられていることを示している。

【0021】

属性抽出部１２は、取得した画像に対応する属性を記憶部１１から抽出する。ここで、“取得した画像”とは、例えば、情報処理装置１が備えるカメラが撮像した画像である。すなわち、画像は、情報処理装置１の所持者（以下、単にユーザという）がカメラ等で撮像した商品等の画像である。あるいは、情報処理装置１が通信機能を備える場合には、“取得した画像”は、外部装置から取得した画像であっても良い。“取得した画像“は、カメラ等で撮像された画像に類似する画像として記憶部１１等から抽出された画像でも良い。この場合、特徴量抽出部１８、照合部１９によって、カメラ等で撮像された画像の特徴量が記憶部１１に格納された画像の特徴量と照合され、類似する画像が検索される。このように検索された画像が”取得した画像”であっても良い。なお、特徴量抽出部１８は、画像から特徴量抽出を行う機能を有するが特徴量抽出の方法は様々な方法が知られているため詳述しない。また、照合部１９は、記憶部１１を検索して、画像の特徴量同士のマッチング処理を行い、特徴量が所定以上一致する類似画像が存在するか否かを判定する機能を有する。このような照合処理についても様々な方法が知られているため詳述しない。

【0022】

属性抽出部１２は、画像を取得すると、記憶部１１を参照し、取得した画像に対応する属性を抽出する。例えば、取得した画像が画像Ａであれば、属性抽出部１２は、属性１〜３を抽出する。

【0023】

画像抽出部１３は、属性抽出部１２により抽出された属性に対応づけられた画像を記憶部１１から抽出する。例えば、属性抽出部１２が抽出した属性が１〜３であれば、画像抽出部１３は、属性１〜３に対応付けられた画像を抽出する。

【0024】

図３には、属性１〜３に対応付けられた画像を抽出する画像抽出部１３の動作イメージが示されている。図２を参照すると、属性１に対応する画像は画像Ａ、画像Ｃである。属性２に対応する画像は画像Ａ、画像Ｂ、画像Ｃである。属性３に対応する画像は画像Ａ、画像Ｅである。そのため、画像抽出部１３はこれらの画像を抽出する。画像抽出部１３はこれらの画像を属性ごとに抽出しても良い。その場合、同一の画像が重複して抽出される場合もある。例えば、図３では、画像Ａ、Ｃが重複して抽出されている。

【0025】

表示部１４は、抽出された画像を表示する。例えば、表示部１４は、属性ごとに抽出された画像を属性と対応付けて表示させても良い。図４には、表示部１４上に、属性ごとに画像が列に並んで表示される例を示している。図４では、属性１に対応する画像Ａ、Ｃが左列に並んでおり、属性２に対応する画像Ａ、Ｂ、Ｃが中央列に並んでおり、属性３に対応する画像Ａ、Ｅが右列に並んでいる。なお、図４には属性名が表示部１４に表示されているが、属性名は必ずしも表示される必要はない。また、属性ごとに抽出された画像を属性と対応付けて表示させる例は図４の態様に限られない。他の例については後述する。

【0026】

入力部１５は表示された画像の選択を受け付ける機能を有する。例えば、図５に示すように、入力部１５は表示部１４と一体的に設けられたタッチパネルでも良い。入力部１５は画像を選択できるキーボタン等でも良いが、ここでは入力部１５が図５に示すタッチパネルである場合を例に説明する。ユーザは、表示部１４に表示された画像を選択するために、画像上をタッチする。タッチされた画像は他の画像と区別可能に表示される。例えば、図５では選択された画像に丸印がついている。ユーザは入力部１５を介して、自分が検索対象としたかった画像に類似する画像を選択することができる。図５では、ユーザが画像ＢとＥとを選択したことを示している。

【0027】

検索部１６は、選択された画像に対応づけられた属性に基づいて、記憶部１１から画像の再抽出を行う。例えば、ユーザが画像ＢとＥとを選択した場合、検索部１６は、画像ＢとＥにそれぞれ対応する属性に基づいて画像の抽出を行う。

【0028】

図６には、検索部１６の動作イメージが示されている。記憶部１１を参照すると、画像Ｂに対応する属性は２と４である。また、画像Ｅに対応する属性は３、４、６である。ここで、検索部１６は、属性の個数が所定数以上の属性を算出する。例えば、本例では、属性２、３、６は１つ、属性４は２つである。そのため、所定数が２であれば、属性４が算出される。本実施形態では所定数を２として説明する。

【0029】

次に、検索部１６は算出された属性に対応する画像を記憶部１１から抽出する。本例では、所定数を２としているため属性４が算出される。そのため、検索部１６は、属性４に対応する画像を記憶部１１から抽出する。図２を参照すると、属性４に対応する画像はＢ、Ｃ、Ｄ、Ｅである。そのため、検索部１６はこれらの画像を抽出する。

【0030】

出力部１７は、検索結果を出力する。出力とは、表示部１４への表示や不図示のマイクによる音声での報知などである。検索結果の出力とは、抽出された画像を表示することが含まれる。また、検索結果の出力とは、抽出された画像に対応する情報検索結果を表示することが含まれる。例えば、記憶部１１に各画像に対応付けてＵＲＬ（Uniform Resource Locator）が記憶されていれば、出力部１７は、抽出された画像を表示せずに、直接ＵＲＬ先の情報をユーザに提示しても良い。

【0031】

次に、本実施の形態における情報処理装置１の動作について図７を用いて説明する。まず、情報処理装置１の不図示のカメラは、商品等の物体を撮像する（ステップＳ１）。特徴量抽出部１８は、画像から特徴量抽出を行う（ステップＳ２）。照合部１９は、記憶部１１を検索して、類似画像が存在するか否かを判定する（ステップＳ３）。

【0032】

類似画像が存在する場合、属性抽出部１２は当該画像と関連づけられた属性を記憶部１１から抽出する（ステップＳ４）。次に、画像抽出部１３は、抽出された属性と関連付けられた画像を記憶部１１から抽出する（ステップＳ５）。次に、表示部１４は画像を表示する（ステップＳ６）。次に、入力部１５を介して、ユーザは表示された画像から任意の画像の選択を行う（ステップＳ７）。検索部１６は、選択画像と関連づけられた属性を抽出する（ステップＳ８）。次に検索部１６は、属性の個数が所定数以上の属性を算出する（ステップＳ９）。なお、検索部１６は、属性の個数が所定数以上の属性を算出する代わりに、属性の個数が最も多い属性を選択しても良い。次に検索部１６は、算出された属性に関連付けられた画像を記憶部１１から抽出する（ステップＳ１０）。最後に、出力部１７は検索された画像を出力する（ステップＳ１１）。

【0033】

このような動作により、ユーザは所望の情報検索ができる。その理由は以下の通りである。まずユーザは、情報を欲する対象となる物体を撮影する。この際、画像の特徴量を基に類似画像が検索されるが、類似画像が必ずしもユーザの欲する画像ではない場合がある。そこで本発明では、類似画像に関連付けられた属性を参照し、属性に関連付けられている他の画像を表示する。ユーザは、表示された画像から自己の意図に沿う画像を選択することができる。この際、属性ごとに画像がまとめて表示されれば、ユーザは画像を選択しやすいという効果がある。ユーザに選択された画像はユーザの意図を反映している。そこで、この選択画像の属性を基に再度画像検索を行うことにより、ユーザが欲していた画像ないし画像に関する情報を検索することができる。

【0034】

例えば、上述の例では、ユーザが撮影した画像に最も類似する画像はＡであったため画像Ａが上述の“取得した画像”である。しかし、画像Ａの属性をもとに抽出された画像は、画像Ａのほかに、Ｂ、Ｃ、Ｅが存在するため、それらの画像が表示される（ステップＳ６）。表示画像をユーザが閲覧し選択することにより、ユーザが欲する画像ないし画像の情報は、画像Ａではなく画像ＢやＥに関するものであると推測される（図５、ステップＳ７）。したがって、再検索された後に表示される画像は画像Ａではなく、属性が類似である画像Ｂ、Ｃ、Ｄ、Ｅである（図６、ステップＳ１１）。

【0035】

ユーザが欲していた画像ないし画像の情報は、画像被写体の外観から得られる特徴量に関する情報のみではなく、被写体となった物体のもつ情報（属性）を反映させる必要がある場合がある。本発明は画像の被写体の属性をも考慮して画像を検索することができるため、ユーザが所望の情報検索を行うことができる。

【0036】

＜実施形態１の具体例＞
本発明の第１の実施の形態の具体例について図面を用いて補足説明する。図８は、記憶部１１の記憶する画像と属性との対応づけの例を示している。ここで“飲料〜”（〜は数字）は飲料の画像を示している。“飲料１”には属性としてＡ社、炭酸、飲料、黒色が対応づけられている。このことは、例えば、“飲料１“の画像の被写体となる商品等が、Ａ社製の炭酸飲料であり、色が黒色であることを示している、と理解することができる。

【0037】

本例では、例えば“飲料１”に関する画像が取得されたと仮定する。このことは、ユーザが記憶部１１に記憶された“飲料１”の画像を何らかの方法で選択した場合を含む。また、上述のように、“飲料１”に関する画像が取得された、とは、被写体をカメラで撮影することにより得られた画像と記憶部１１に記憶された画像とが照合されて“飲料１”の画像が画像照合部等によって取得された場合を含む（ステップＳ１〜Ｓ３）。

【0038】

属性抽出部１２は、取得された画像“飲料１”に対応付けられた属性を抽出する（ステップＳ４）。これにより、図９に示すように、Ａ社、炭酸、飲料、黒色の属性が抽出される。次に画像抽出部１３は、抽出された属性に対応づけられた画像を抽出する（ステップＳ５）。これにより、図９に示すように、属性 “Ａ社”に対しては“飲料１”“飲料２”“飲料３”が抽出される。属性“炭酸”に対しては“飲料１”“飲料２”“飲料６”が抽出される。属性“飲料”に対しては“飲料１”“飲料２”“飲料３”“飲料４”“飲料５”“飲料６”が抽出される。属性“黒色”に対しては“飲料１”“飲料５”“飲料６”が抽出される。

【0039】

画像表示部１４は抽出された画像を表示する（ステップＳ６）。図１０は属性ごとにこれらの画像が並べて表示された例を示している。画像の大きさや隙間は適宜変更されて良い。図１０では全画像が一画面に表示されているが、全画像の表示に画面スクロールを要しても良い。また属性ごとに縦方向に画像が並べられているが、横方向に画像が並べられても良いし、他の形状に並べられても良い。例えば、図１３に示すように、属性ごとにまとまりを持ったクラスターとして画像が表示されても良い。図１１、１３には属性の名称が表示されているが、属性の名称が表示される必要はない。また、属性の名称が表示される場合には属性の名称の近傍に当該属性に対応する画像が表示されるようにしても良い。

【0040】

ユーザは表示部１４に表示された画像に対し、入力部１５により画像の選択を行う（ステップＳ７）。図１１では、属性“炭酸”に対応する画像“飲料２”“飲料６”及び属性“黒色”に対応する“飲料５”が選択された例を示している。図１１では同じ飲料の画像が重複して表示されているが、属性ごとに並んで表示されているため、ユーザは画像の並びを見ることにより、並んだ画像に共通する属性を直感的に把握することができる。従って、たとえ属性の名称が表示部１４に表示されていなくとも、ユーザは所望の画像を選択することができる。

【0041】

次に、検索部１６は、選択画像と関連づけられた属性を抽出する（ステップＳ８）。図１２に示されるように、選択された画像“飲料２””飲料６”“飲料５”に関連づけられた属性は、Ａ社、炭酸、飲料、透明、Ｂ社、炭酸、飲料、黒色、コーヒー、飲料、黒色である。

【0042】

検索部１６は、属性の個数が所定数以上の属性を算出する（ステップＳ９）。ここでは、所定数は２とする。図１２に示されるように、抽出された属性のうち２つ以上のものは炭酸、飲料、黒色である。

【0043】

検索部１６は、算出された属性に対応する画像を検索する（ステップＳ１０）。炭酸、飲料、黒色の全ての属性と対応する画像は“飲料１”、“飲料６”であるから、検索部１６はこれらの画像を記憶部１１から抽出する。

【0044】

このような一連の動作により、ユーザは所望の画像を得ることができる。その理由は以下の通りである。まず、ユーザは黒色の炭酸飲料に関する情報を取得したいと仮定する。そのため、ユーザは黒色の炭酸飲料商品を見つけた際、当該商品の画像をカメラ等によって取得する。この際、通常の画像照合によれば、当該商品と外観が類似する“飲料１”の画像を得ることができる。一方、ユーザは、黒色の炭酸飲料の商品の情報が欲しいため、“飲料１”以外にも黒色の炭酸飲料の画像を欲する場合がある。その場合、本発明によれば上述の処理により、黒色の炭酸飲料である“飲料６”の画像を得ることができる。そのため、ユーザは商品の外観に関係なく黒色の炭酸飲料に関する情報も得ることができる。

【0045】

このように、本発明は画像（の被写体）の属性をも考慮して画像を検索することができるため、ユーザが所望の情報検索を行うことができる。

【0046】

＜実施形態２＞
次に、本発明の第２の実施の形態について説明する。本実施の形態では、実施形態１で説明した属性が階層構造を有している点で上述の例と異なる。以下では実施形態１と異なる点を中心に説明する。

【0047】

図１４には、属性の階層化を示す一例が示されている。図１４は、例えば、属性１の直下位階層に属性１１、１２、１３が存在することを示している。また、図１４は、例えば、属性１１１１の上位階層は属性１１１、属性１１、属性１であることを示している。本実施の形態における属性はこのような階層構造を有しており、自属性には上位または下位の属性が存在する。なお、このような属性の階層化を示す情報は記憶部１１乃至外部記憶部等に記憶されている。

【0048】

本実施の形態では、属性抽出部１２は、上位階層の属性も抽出する。具体例を用いて説明する。図１５には、食べ物のジャンル属性に関する階層例が示されている。ここでは、和食の下位階層には寿司、うなぎ、天ぷらが位置づけられ、寿司の下位階層にはまぐろ、えび、いくらが位置づけられている。これらの対応関係は記憶部１１や他の記憶部に記憶されている。図１６には、記憶部１１の記憶する画像と属性との対応関係が示されている。ここで、まぐろ寿司の写真１が情報処理装置１に取得されたと仮定する。この場合、上述の実施形態においては、属性“まぐろ”に対応する“まぐろ寿司の写真１”と“まぐろ寿司の写真２”とが属性抽出部１２によって抽出される。一方、本実施の形態における属性抽出部１２は、属性“まぐろ”に加え、上位階層の属性も抽出する。本例では、属性“寿司”と属性“和食”が属性“まぐろ”の上位階層である。そのため、属性抽出部１２は属性について、まぐろ、寿司、和食を抽出する。

【0049】

次に画像抽出部１３は、抽出された属性に対応する画像を抽出する。本例では、まぐろ、寿司、和食の各属性に対応する画像が抽出される。

【0050】

次に、表示部１４は、抽出された画像を属性ごとにまとめて表示する。図１７は表示例を示した図である。図１７に示されるように、まぐろ、寿司、和食の各々の属性ごとに対応する画像が表示される。ユーザは、入力部１５を介して画像を選択する。以降の検索部１６、出力部１７の動作は実施形態１と同様である。

【0051】

図１８は本実施の形態の動作例を示している。ステップＳ１〜３までは実施形態１と同様である。次にステップＳ２１において、属性抽出部１２は、画像と関連付けられた属性および当該属性の上位階層に位置する属性を抽出する。その後の動作は実施形態１のステップＳ５以降と同様である。

【0052】

本実施の形態の利用例を説明する。例えば、ユーザは、まぐろ寿司を情報処理装置１のカメラで撮影する。その結果、情報処理装置１は、まぐろ寿司と類似度の高い“まぐろ寿司の写真１“を上述のように取得する。その後、上述の動作によって図１７のように表示部１４に様々な画像が表示される。当該画像のうち、ユーザが選択した画像が“複数のにぎり寿司が写っている写真”や“巻き寿司の写真”であれば、ユーザはまぐろ寿司だけではなく、寿司の画像に関する情報が欲しいことが分かる。従って、その後の情報検索においては、まぐろ寿司ではなく、寿司一般に関しての情報検索を行うことができる。例えば、記憶部１１に各画像に対応付けてＵＲＬ（Uniform Resource Locator）が記憶されていれば、出力部１７は、ステップＳ１１で直接ＵＲＬ先の情報をユーザに提示しても良い。

【0053】

本実施の形態によれば、属性を階層化しておくことにより、ユーザに適切な階層レベルで情報を提示することができる。従って、画像そのものの特徴のみならず、画像の被写体の属性をも考慮してユーザの所望する情報検索を行うことができる。

【0054】

＜実施形態３＞
次に、本発明の第３の実施の形態について説明する。本実施の形態における情報処理装置１は、記憶部１１と、属性抽出部１２と、画像抽出部１３と、表示部１４と、入力部１５と、検索部１６と、出力部１７と、を備える。

【0055】

記憶部１１は画像と属性とを対応付けて記憶する。属性抽出部１２は、取得した画像に対応する属性を記憶部１１から抽出する。なお、属性抽出部１２は、画像を分析することによって属性を抽出しても良い。すなわち、取得した画像に対して属性抽出部１２は所定の観点から属性を分析する。所定の観点とは、例えば、被写体の色、ロゴ、形などの特徴量である。この場合、属性抽出部１２は、取得した画像に対応する属性を記憶部１１から抽出せずに、所定の観点から分析した属性を抽出しても良い。このように、属性抽出部１２が画像から属性を抽出する方法には、少なくとも、記憶部１１を介する場合と介さない場合があり、これらをまとめて「画像から属性を抽出する」と称する。画像抽出部１３は、抽出された属性に対応づけられた画像を記憶部１１から抽出する。表示部１４は、抽出された画像を表示する。入力部１５は、表示された画像の選択を受け付ける。検索部１６は、選択された画像に対応づけられた属性に基づいて、記憶部１１から画像の再抽出を行う。

【0056】

このような構成によれば、画像（の被写体）の属性をも考慮して画像を検索することができるため、ユーザが所望の情報検索を行うことができる。

【0057】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成は、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。例えば、１つの構成体で構成されているように記載されているものを複数の構成体で構成させることもできる。例えば、図２０に示すように、情報処理装置を二つに分け、情報処理装置２には画像取得機能と画像の通信機能（通信部）、画像表示選択機能等（表示部１４、入力部１５、出力部１７）だけを持たせても良い。この場合情報処理装置１は通信により取得した画像に対して上述の検索処理等を行い、検索結果を返す機能を持つ（通信部、特徴量抽出部１８、照合部１９、属性抽出部１２、記憶部１１、画像抽出部１３、検索部１６）。すなわち、２つの情報処理装置によって構成される情報処理システムが実現される。より詳細には、情報処理装置２は、画像を情報処理装置１に送信する送信部（通信部）と、画像を表示する表示部１４と、表示された画像の選択を受け付けて情報処理装置１に送信する入力部１５と、受信した検索結果を出力する出力部１７と、を備える。入力部１５が選択画像を送信する通信機能を備える点で上述の実施形態と異なるが、通信は通信部が行っても良い。一方、情報処理装置１は、画像と属性とを対応付けて記憶する記憶部１１と、情報処理装置２から受信した画像に対応する属性を記憶部１１から抽出する属性抽出部１２とを備える。また、情報処理装置１は、抽出された属性に対応づけられた画像を記憶部１１から抽出して情報処理装置１に送信する画像抽出部１３を備える。画像抽出部１３が通信機能を備える点で上述の実施形態とは異なるが、通信は通信部が行っても良い。また、情報処理装置１は、情報処理装置２で選択された画像に対応づけられた属性に基づいて、記憶部１１から画像の再抽出を行う検索部１６を備える。このような構成によれば、情報処理装置２自体の構成を簡略化しつつ、情報処理装置２で本発明の効果を実現できる。このように、本願発明の構成は、本願発明のスコープ内で当業者が理解しうる様々な変更が可能である。

【符号の説明】

【0058】

１ 情報処理装置
１１ 記憶部
１２ 属性抽出部
１３ 画像抽出部
１４ 表示部
１５ 入力部
１６ 検索部
１７ 出力部
１８ 特徴量抽出部
１９ 照合部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】