特許 7183753 リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム

(51)【国際特許分類】

   G06F 16/55 20190101AFI20221129BHJP

   G06T 7/00 20170101ALI20221129BHJP

   G06V 10/762 20220101ALI20221129BHJP

【ＦＩ】

G06F16/55

G06T7/00 350

G06V10/762

【請求項の数】 6

(21)【出願番号】P 2018231867

(22)【出願日】2018-12-11

(65)【公開番号】P2020095408

(43)【公開日】2020-06-18

【審査請求日】2021-03-12

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】細野 峻司

(72)【発明者】

【氏名】渡邉 之人

(72)【発明者】

【氏名】島村 潤

(72)【発明者】

【氏名】嵯峨田 淳

【審査官】早川 学

(56)【参考文献】

【文献】国際公開第２０１８／０１６２１４（ＷＯ，Ａ１）

【文献】特開２００９－２５１７０５（ＪＰ，Ａ）

【文献】特開２０１５－１３８３４９（ＪＰ，Ａ）

【文献】特開２０１７－２２０２０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７６２

(57)【特許請求の範囲】

【請求項1】

クエリ画像を入力として、複数の属性のいずれかの被写体を含む画像からなる画像群に基づいて、前記クエリ画像に含まれる被写体を識別する被写体識別部と、
前記クエリ画像は３つ以上の被写体を含み、前記クエリ画像の前記被写体の各々について、前記クエリ画像中の前記被写体の画像上のサイズと前記識別された被写体の現実のサイズとに基づいて実寸比を算出し、算出結果に基づいて、前記クエリ画像に含まれる被写体の実寸比を推定する実寸比推定部と、
前記クエリ画像について実寸比に基づいて前記クエリ画像についての被写体の現実のサイズを推定し、
推定した被写体の現実のサイズと、同一の属性における前記被写体の現実のサイズが異なる画像のリストであって、属性が同一であり、かつ、前記被写体の現実のサイズが異なる前記被写体を含む画像について少なくとも２つの当該画像が分類されたクラスタの各々によるリストに含まれるクラスタのうち前記識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて識別結果を補正し、前記クエリ画像に含まれる被写体を推定する識別結果補正部と、
を含む被写体識別装置。

【請求項2】

前記リストは、画像の各々を同一のクラスタに分類するように、前記画像群に含まれる画像ペアについて、前記画像に撮像された被写体の画像特徴に基づく類似度により同一属性であると識別された画像ペアが、前記被写体の現実のサイズによらず同一のクラスタに分類されるように生成されている請求項１に記載の被写体識別装置。

【請求項3】

前記リストは、前記画像特徴に基づく類似度により同一属性であると識別された画像ペアであって、かつ、及び前記被写体に係る名称を示すラベルに基づく類似度により同一属性であると識別された画像ペアが前記被写体の現実のサイズによらず同一のクラスタに分類されるように生成されている請求項２に記載の被写体識別装置。

【請求項4】

前記リストは、前記クラスタの各々において、前記クラスタに分類された前記画像に含まれる被写体について予め与えられた現実のサイズと、前記画像の識別情報とを関連付けて生成されている請求項１～請求項３の何れか１項に記載の被写体識別装置。

【請求項5】

クエリ画像を入力として、複数の属性のいずれかの被写体を含む画像からなる画像群に基づいて、前記クエリ画像に含まれる被写体を識別し、
前記クエリ画像は３つ以上の被写体を含み、前記クエリ画像の前記被写体の各々について、前記クエリ画像中の前記被写体の画像上のサイズと前記識別された被写体の現実のサイズとに基づいて実寸比を算出し、算出結果に基づいて、前記クエリ画像に含まれる被写体の実寸比を推定し、
前記クエリ画像について実寸比に基づいて前記クエリ画像についての被写体の現実のサイズを推定し、
推定した被写体の現実のサイズと、同一の属性における前記被写体の現実のサイズが異なる画像のリストであって、属性が同一であり、かつ、前記被写体の現実のサイズが異なる前記被写体を含む画像について少なくとも２つの当該画像が分類されたクラスタの各々によるリストに含まれるクラスタのうち前記識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて識別結果を補正し、前記クエリ画像に含まれる被写体を推定する、
処理をコンピュータが実行する被写体識別方法。

【請求項6】

コンピュータを、請求項１～請求項４のいずれか１項に記載の被写体識別装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リスト生成装置、被写体識別装置、リスト生成方法、及びプログラムに係り、特に、画像に含まれる被写体を識別するためのリスト生成装置、被写体識別装置、リスト生成方法、及びプログラムに関する。

【背景技術】

【0002】

画像中に映る被写体の種類を特定する被写体識別は、画像による看板や商品の検索等、幅広い産業応用性を持つ。被写体識別の対象となる被写体には、容量のみが異なる同種の飲料等の商品で、ほぼ同一のデザインでサイズが異なるものが存在することがある。サイズによって値段等の関連情報が異なることを考えると、被写体識別によりこれらを正確に区別することは重要である。しかし、そのようなサイズ違いの被写体は画像上での見た目が酷似するため、画像特徴に基づき被写体の種別を判定する一般的な被写体識別（例えば、特許文献１記載の手法）では、サイズ違いの被写体を弁別することは困難である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2015-201123号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像特徴に基づき被写体を識別する手法では、誤認識してしまう場合がある。

【0005】

上記の問題を解決する方法として、クエリ画像中における画素及び被写体の実寸比から求まる被写体の現実のサイズと、被写体ＤＢにおける各識別対象の被写体の現実のサイズとを比較する手法がある。この手法では、クエリ画像中における画素当たりの実寸（現実サイズ）と、どの被写体がサイズ違いの関係にあるのかを示したサイズ違いリストが事前情報として必要である。

【0006】

しかしながら、上記の事前情報の取得は、撮影時の制限や人的コストの観点から困難である場合がある。例えば、クエリ画像中における画素当たりの実寸を取得するためには、深度センサのような特殊なセンサの利用や、大きさの基準とする特定の被写体を画像中に収めるように撮影するといった制約が撮影時に必要となる。また、商品等の人工物の場合、その設計時等のデータを用いて、サイズ情報を被写体ＤＢに付与することは可能な場合が多いが、各物体のサイズ違いまでは管理されていない場合が多く、その情報を人手で付与することは人的コストが高いため困難であると考えられる。

【0007】

本発明は、上記事情を鑑みて成されたものであり、同一属性のサイズ違いの被写体を精度よく識別するためのリストを自動的に生成することを目的とする。

【0008】

また、本発明は、同一属性のサイズ違いの被写体を精度よく識別することができる被写体識別装置、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、第１の発明に係るリスト生成装置は、複数の属性のいずれかの被写体を含む画像からなる画像群から、属性が同一であり、かつ、前記被写体の現実のサイズが異なる前記被写体を含む画像の各々を同一のクラスタに分類する分類部と、少なくとも２つの前記画像が分類されたクラスタの各々を、同一の属性における前記被写体の現実のサイズが異なる画像のリストとして出力する出力部と、を含んで構成されている。

【0010】

また、第１の発明に係るリスト生成装置において、前記分類部は、前記画像群に含まれる画像毎に、前記画像に撮像された被写体の画像特徴、及び前記被写体に係るテキスト特徴のうち、少なくとも前記画像特徴に基づき、同一属性であると識別された画像が、前記被写体の現実のサイズによらず同一のクラスタに分類されるように前記分類を行ってもよい。

【0011】

また、第１の発明に係るリスト生成装置において、前記出力部は、前記クラスタの各々において、前記クラスタに分類された前記画像に含まれる被写体について予め与えられた現実のサイズと、前記画像の識別情報とを関連付けて、前記リストとして出力するようにしてもよい。

【0012】

第２の発明に係る被写体識別装置は、クエリ画像を入力として、複数の属性のいずれかの被写体を含む画像からなる画像群に基づいて、前記クエリ画像に含まれる被写体を識別する被写体識別部と、前記クエリ画像について推定した被写体の現実のサイズと、第１の発明のリスト生成装置によって出力された前記リストに含まれるクラスタのうち前記識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて識別結果を補正し、前記クエリ画像に含まれる被写体を推定する識別結果補正部と、を含んで構成されている。

【0013】

第２の発明に係る被写体識別装置において、前記クエリ画像は３つ以上の被写体を含み、前記クエリ画像の前記被写体の各々について、前記クエリ画像中の前記被写体の画像上のサイズと前記識別された被写体の現実のサイズとに基づいて実寸比を算出し、算出結果に基づいて、前記クエリ画像に含まれる被写体の実寸比を推定する実寸比推定部を更に含み、前記識別結果補正部は、推定した実寸比に基づいて前記クエリ画像についての被写体の現実のサイズを推定するようにしてもよい。

【0014】

第３の発明に係るリスト生成方法は、分類部が、複数の属性のいずれかの被写体を含む画像からなる画像群から、属性が同一であり、かつ、前記被写体の現実のサイズが異なる前記被写体を含む画像の各々を同一のクラスタに分類するステップと、出力部が、少なくとも２つの前記画像が分類されたクラスタの各々を、同一の属性における前記被写体の現実のサイズが異なる画像のリストとして出力するステップと、を含んで実行することを特徴とする。

【0015】

また、第４の発明に係るプログラムは、コンピュータを、第１の発明に記載のリスト生成装置の各部として機能させるためのプログラムである。

【0016】

また、第５の発明に係るプログラムは、コンピュータを、第２の発明に記載の被写体識別装置の各部として機能させるためのプログラムである。

【発明の効果】

【0017】

本発明のリスト生成装置、方法、及びプログラムによれば、同一属性のサイズ違いの被写体を精度よく識別するためのリストを自動的に生成することができる、という効果が得られる。
また、被写体識別装置、及びプログラムによれば、同一属性のサイズ違いの被写体を精度よく識別することができる、という効果が得られる。

【図面の簡単な説明】

【0018】

【図1】被写体の識別結果を補正し、実寸比を推定する場合の一例を示す図である。

【図2】本発明の第１の実施の形態に係るリスト生成装置及び被写体識別装置を含む被写体識別システムの構成を示すブロック図である。

【図3】各商品と類似度との関係の一例を示す図である。

【図4】識別結果の補正の一例を示す図である。

【図5】本発明の第１及び第２の実施の形態に係るリスト生成装置の処理ルーチンを示すフローチャートである。

【図6】本発明の第１の実施の形態に係る被写体識別装置の処理ルーチンを示すフローチャートである。

【図7】本発明の第２の実施の形態に係るリスト生成装置及び被写体識別装置を含む被写体識別システムの構成を示すブロック図である。

【図8】実寸比を推定する場合の処理の一例を示す図である。

【図9】本発明の第２の実施の形態に係る被写体識別装置の処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0020】

＜本発明の実施の形態に係る概要＞

【0021】

まず、本発明の実施の形態における概要を説明する。

【0022】

第１の実施の形態の手法としては、図１に示すように一般的な被写体の識別結果を補正することが考えられる。補正のためにサイズ違いリストを事前情報として活用するが、サイズ違いリストを自動獲得する。サイズ違いリストについては後述する。さらに、入力された画素あたりの実寸である実寸比から得られる被写体の現実のサイズと、識別結果として出力された被写体のサイズ違いリストに含まれる被写体の現実のサイズとを比較する。現実のサイズとは、被写体の実寸を示す。比較結果から尤もらしいサイズとなる被写体を選択することで、正しいサイズの被写体へ識別結果を補正することが可能となる。また、第２の実施の形態の手法としては、クエリ画像中の各被写体の実寸から得られる実寸比を用いて、被写体の実寸比を推定することが考えられる。これにより、クエリ画像中の被写体の現実のサイズと被写体ＤＢに格納された現実のサイズを比較することで、識別結果のサイズの整合性を検証することができる。

【0023】

すなわち、現在用いられている、エッジなどを用いて抽出された画像の特徴量に基づき被写体識別を行う技術では、被写体の現実のサイズが異なっても、同じ属性を持つ場合は同一の被写体として弁別される。本発明の実施の形態では、このような現在用いられている被写体識別技術の性質を利用している。

【0024】

第１の実施の形態の手法は、サイズ違いリストを自動で生成する手段を持つ。サイズ違いの被写体同士は画像上での見た目が似るという特性を活用し、被写体ＤＢに登録された画像同士の類似度が高いものをサイズ違いの被写体としてリストを自動生成する。また、入力された実寸比を用いて得られるクエリ画像中の被写体の現実のサイズを基に、サイズ違いリストから尤もらしいサイズの被写体を選択することにより、被写体識別結果を補正する手段も備える。これにより、サイズ違いリストを準備することなく、サイズ違いの被写体を弁別可能となることが望める。

【0025】

また、第２の実施の形態の手法は、クエリ画像中における実寸比を自動で推定する手段を持つ。本手段では、クエリ画像中に複数の被写体が存在し、かつ複数の被写体に対する識別結果が概ね正しいと仮定し、クエリ画像中の被写体領域と、識別結果の被写体の実寸とを比較することで、実寸比を推定する。これにより、特殊なセンサ等を用いなくとも実寸比を推定可能となることが望める。

【0026】

以上の各実施の形態の手法について、以下、実施の形態の構成及び作用を説明する。なお、実施の形態では、属性の一例として商品名を用いる場合を例に説明する。

【0027】

＜本発明の第１の実施の形態に係る被写体識別システムの構成及び作用＞

【0028】

次に、本発明の実施の形態に係る被写体識別システムの構成について説明する。図２に示すように、本発明の実施の形態に係る被写体識別システム１００は、被写体ＤＢ２２と、リスト生成装置２０と、リストＤＢ２８と、被写体識別装置３０とを含んで構成されている。リスト生成装置２０と、被写体識別装置３０とは、それぞれＣＰＵと、ＲＡＭと、プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。

【0029】

被写体ＤＢ２２には、識別対象となる複数の商品のいずれかの被写体を含む画像からなる画像群であって、サイズ違いの商品それぞれを被写体とする画像を含む画像群、画像に含まれる被写体の商品の商品名（ラベル名）、被写体のラベルＩＤ、及び被写体のサイズを格納しておく。被写体のサイズは幅、及び高さとするが、奥行きを加えてもよい。画像の各々は、異なる商品名及び異なるサイズの被写体を含む想定である。リスト生成装置２０は、被写体ＤＢ２２を用いてリストの生成を行う。生成するリストは、画像の画像特徴が類似する場合に、画像の被写体が同一の商品のサイズ違いであると仮定したサイズ違いリストである。また、被写体識別装置３０は、被写体ＤＢ２２及びリストＤＢ２８を参照して被写体識別を行う。

【0030】

まずリスト生成装置２０について説明する。

【0031】

リスト生成装置２０は、分類部２４と、出力部２６とを含んで構成されている。

【0032】

分類部２４は、被写体ＤＢ２２の画像群から、商品が同一であり、かつ、被写体の現実のサイズが異なる被写体を含む画像の各々を同一のクラスタに分類する。本実施の形態では、被写体ＤＢ２２の画像群に含まれる画像間で類似度を算出し、類似する画像を、同一のクラスタに分類する。

【0033】

分類部２４による分類では、（１）特徴抽出、及び（２）クラスタリング、の処理を行うが、以下、具体的に説明する。

【0034】

分類部２４は、まず、被写体ＤＢ２２の被写体を含む画像の各々について、画像特徴を抽出する。ここで抽出する画像特徴は有為なものを用いることができる。例えば、参考文献１等で用いられているＳＩＦＴ特徴量等を用いることができる。

【0035】

［参考文献1］D. G. Lowe，”Distinctive Image Features from Scale-Invariant Keypoints，”International Journal of Computer Vision，no. 2004, vol. 60, pp.91-110, 2004.

【0036】

次に、分類部２４は、被写体ＤＢ２２から得られる画像ペアの全組み合わせについて、特徴抽出で得られた画像特徴の類似を算出し、算出した類似度が高い画像同士を同一のクラスタとして被写体識別を行い、画像をクラスタリングする。このとき、類似度の算出には有為な手段を取ることができる。例えば、特許文献１中に示されている、スコアリングにより出力する画像ペア間の類似度を用いてもよい。また、参考文献２で出力される一般物体のクラスを加味した類似度としてもよい。例えば、被写体Ａ－Ｂ間の一般物体のクラス（ペットボトル、缶等）が異なる場合には、類似度を０にするといった処理が考えられる。
［参考文献２］J. Redmon, A. Fradai, “YOLO9000: Better, Faster, Stronger,” in CVPR, 2017.

【0037】

そして、分類部２４は、画像間の類似度が一定以上となった画像ペアについて、そのペアをサイズ違いとして、サイズ違いリストに登録する。図３に各商品と類似度との関係の一例を示す。例えば、被写体Ａ、Ｂ、Ｃがある場合に、被写体Ａ－Ｂ、被写体Ｂ－Ｃ間の類似度が高くなった場合、被写体Ａ－Ｂ－Ｃを同一のクラスタに分類する。ここで、より誤りの少ないサイズ違いリストを生成するために、被写体Ａ－Ｃ間の類似度が低い場合には、統合せずに、被写体Ａ－Ｂ、被写体Ｂ－Ｃをそれぞれ同一のクラスタとするといった処理を加えてもよい。

【0038】

また、例えば、被写体が飲料商品の場合、同一メーカの味違い等も同一ロゴを含み画像特徴の類似度が高くなる場合があるため、別商品であっても同一のクラスタに分類されてしまう懸念もある。この場合、画像特徴に加え、商品名（ラベル名）の類似度も考慮してクラスタリングをしてもよい。具体的には、正規化レーベンシュタイン距離等により商品名間での類似度を定義し、画像、商品名双方の類似度が高くなるペアを統合し一つのクラスタに分類するようにし、いずれかの類似度が低くなるペアは別のクラスタとするように処理してもよい。なお、商品名（ラベル名）は被写体ＤＢ２２からテキストデータとして与えられる。商品名が分かっている場合であっても、テキスト処理のみの場合、例えば、飲料商品であれば、味違いの商品が弁別できない場合も想定されるため、画像特徴及び商品名のテキスト処理を併用する必要がある。また、商品名の表記ゆれ（例えば、「かろわす」、「か・ろ・わ・す」、「かろわす500ML」、「コーラ かろわす」等）により同じ属性であるかどうかを商品名のみでは判断困難な場合がある。

【0039】

出力部２６は、少なくとも２つの画像が分類されたクラスタの各々を、同一の商品における被写体の現実のサイズが異なる画像のサイズ違いリストとしてリストＤＢ２８に登録する。

【0040】

サイズ違いリストは、具体的には、画像に含まれる被写体に対応付く識別情報であるラベルＩＤを用いて、クラスタごとのラベルＩＤを列挙したものとする。例えば、３つのクラスタがある場合、「46077600,46039458,46723984/46059295,46039402,46075392/46094234,46593243（スラッシュがクラスタ）」とクラスタごとラベルＩＤのリストを持つようにする。また、クラスタのＩＤを付与してもよい。また、出力部２６は、クラスタの各々において、当該クラスタに分類された画像に含まれる被写体について予め与えられた現実のサイズ（幅、及び高さ）と、ラベルＩＤとを関連付けて、サイズ違いリストとして出力するようにしてもよい。例えば、サイズとして幅及び高さを関連付けるのであれば、「46077600,(7cm:25cm),46039458,(7cm:15cm),...」といったサイズ違いリストにする。

【0041】

次に、被写体識別装置３０について説明する。

【0042】

被写体識別装置３０は、被写体領域推定部３２と、被写体識別部３４と、識別結果補正部３６とを含んで構成されている。

【0043】

被写体領域推定部３２は、入力されたクエリ画像に含まれる被写体領域を推定する。領域推定には、非特許文献１により出力される矩形や、参考文献３により出力される画素毎の領域等、有為なものを用いることができる。

【0044】

［参考文献３］O. Pedro et al., ”Learning to Refine Object Segments,” in ECCV, 2016.

【0045】

なお、被写体領域推定部３２で推定される被写体領域は複数の場合もあり、以下では、それぞれの被写体領域について処理を行う。

【0046】

被写体識別部３４は、被写体領域推定部３２でクエリ画像から推定された被写体領域を入力として、被写体ＤＢ２２の複数の被写体のいずれかの被写体を含む画像からなる画像群に基づいて、クエリ画像に含まれる被写体を識別する。具体的には、各被写体領域を１枚の画像と見なし被写体識別（例えば参考文献１記載の手法）を行ない、各被写体が被写体ＤＢ２２に登録されたどの画像の被写体に該当するのか、あるいはどれにも該当しないのかを識別結果として識別結果補正部３６に出力する。

【0047】

識別結果補正部３６は、被写体識別部３４によって識別された被写体について、当該被写体の識別結果の各々について補正する。以下に流れを説明する。
まず、識別結果補正部３６は、クエリ画像と共に入力された、画素あたりの実寸である実寸比と、被写体領域のサイズとを用いて、クエリ画像について識別対象の被写体の現実のサイズを推定する。次に、推定したクエリ画像の被写体の現実のサイズと、リストＤＢ２８に含まれるクラスタのうち識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて識別結果を補正し、クエリ画像に含まれる被写体を推定する。そして、識別結果補正部３６は、推定したクエリ画像に含まれる被写体の位置、ラベル名、及び現実のサイズを最終的な識別結果として出力する。

【0048】

具体的には、識別結果補正部３６は、被写体識別部３４によって識別された被写体と、その被写体のサイズ違いの被写体について、どの被写体が最もクエリ画像中における被写体領域が示す現実のサイズと近いかを探索することで、被写体識別部３４の結果を補正する。下記（１）式により補正後の被写体ｏ'を推定する。

【0049】

【数1】

・・・（１）

【0050】

ここで、ｏは被写体識別部３４により識別された被写体であり、ＯはリストＤＢ２８のサイズ違いリストに存在する、当該被写体のサイズ違いとなる被写体の集合である。また、ｓ^ｏはある被写体ｏに対応する被写体の現実のサイズであり、ｓ^ｑはクエリ画像中における被写体の現実のサイズを推定したものである。ｓ^ｑは、クエリ画像の画素当たりの実寸である実寸比を元に推定するが推定方法は後述する。

【0051】

識別結果補正部は、上記（１）式によってｓ^Ｏとｓ^ｑとの差異が最も小さくなる被写体を識別結果として推定する。図４に識別結果の補正の一例を示す。

【0052】

上記（１）式の関数Ｄについて説明する。関数Ｄは現実のサイズの距離を定義する関数であり、例えば下記（２）式により定義する。

【0053】

【数2】

・・・（２）

【0054】

ここで、ｓ_ｈ ^ｏは被写体ｏに対応する被写体の現実の高さ、ｓ_ｗ ^ｏは被写体ｏに対応する被写体の現実の幅である。また、ｓ_ｈ ^ｑは、クエリ画像中における被写体の現実の高さ、ｓ_ｗ ^ｑは、クエリ画像中における被写体の現実の幅であり、それぞれ現実のサイズとして推定される。ｓ_ｈ ^ｑ及びｓ_ｗ ^ｑは、クエリ画像の縦における画素の実寸比ｒ_ｈ、及びクエリ画像の横における画素の実寸比ｒ_ｗと、クエリ画像中の被写体領域の高さｂ_ｈ ^ｑ、クエリ画像中の被写体領域の幅ｂ_ｗ ^ｑとを用いて、それぞれ、ｓ_ｈ ^ｑ＝ｒ_ｈｂ_ｈ ^ｑ、ｓ_ｗ ^ｑ＝ｒ_ｗｂ_ｗ ^ｑで推定される。ｒ_ｈ、ｒ_ｗは、クエリ画像の事前情報として入力時に与えられているものとする。また、関数Ｄは上記のほかにも現実のサイズにおける外周（ｓ_ｗ ^ｏ＋ｓ_ｈ ^ｏ）や、アスペクト比（ｓ_ｗ ^ｏ／ｓ_ｈ ^ｏ）等を用いて定義してもよい。アスペクト比を用いる場合には、サイズが異なる要素間で偶然アスペクト比が一致してしまう場合もあるため、精度の点からサイズを併用する必要がある。また、画像から現実のサイズを推定する際、深度を用いることも考えられるが、デプスマップ等の画素以外の情報も被写体ＤＢ２２に格納しておく必要がある。

【0055】

以上のようにして、識別結果補正部３６の処理により、尤もらしいサイズの被写体の識別結果に補正することができる。

【0056】

次に、本発明の実施の形態に係る被写体識別システム１００の作用について説明する。

【0057】

まずリスト生成装置２０の作用を図５に示すフローチャートを用いて説明する。

【0058】

ステップＳ１００では、分類部２４は、被写体ＤＢ２２の被写体を含む画像の各々について、画像特徴を抽出する。

【0059】

ステップＳ１０２では、分類部２４は、被写体ＤＢ２２から得られる画像ペアの全組み合わせについて、特徴抽出で得られた画像特徴の類似を算出し、算出した類似度によって被写体識別を行って、画像をクラスタリングする。このようにして、分類部２４は、被写体ＤＢ２２の画像群から、商品が同一であり、かつ、被写体の現実のサイズが異なる被写体を含む画像の各々を同一のクラスタに分類する。

【0060】

ステップＳ１０４では、出力部２６は、少なくとも２つの画像が分類されたクラスタの各々を、同一の商品における被写体の現実のサイズが異なる画像のサイズ違いリストとしてリストＤＢ２８に登録する。

【0061】

次に被写体識別装置３０の作用を図６に示すフローチャートを用いて説明する。

【0062】

ステップＳ２００では、被写体領域推定部３２は、入力されたクエリ画像に含まれる被写体領域を推定する。

【0063】

ステップＳ２０２では、被写体識別部３４は、被写体領域推定部３２でクエリ画像から推定された被写体領域を入力として、被写体ＤＢ２２の複数の商品のいずれかの被写体を含む画像からなる画像群に基づいて、クエリ画像に含まれる被写体を識別する。

【0064】

ステップＳ２０４では、識別結果補正部３６は、クエリ画像と共に入力された、画素あたりの実寸である実寸比と、被写体領域のサイズとを用いて、クエリ画像について識別対象の被写体の現実のサイズを推定する。被写体のサイズの推定は、クエリ画像の事前情報として与えられた、クエリ画像の縦における画素の実寸比ｒ_ｈ、及びクエリ画像の横における画素の実寸比ｒ_ｗと、クエリ画像中の被写体領域の高さｂ_ｈ ^ｑ、及びクエリ画像中の被写体領域の幅ｂ_ｗ ^ｑとに基づいて行う。

【0065】

ステップＳ２０６では、識別結果補正部３６は、ステップＳ２０４で推定したクエリ画像の当該被写体の現実のサイズと、リストＤＢ２８のサイズ違いリストに含まれるクラスタのうち識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて上記（１）式に従って識別結果を補正し、クエリ画像に含まれる被写体を推定する。

【0066】

ステップＳ２０８では、識別結果補正部３６は、ステップＳ２０６で推定したクエリ画像中の当該被写体の位置、商品名、及び現実のサイズを最終的な識別結果として出力する。

【0067】

以上、説明したように本発明の第１の実施の形態によれば、商品が同一であり、かつ、被写体の現実のサイズが異なる被写体を含む画像の各々を同一のクラスタに分類し、クラスタの各々を、同一の商品における被写体の現実のサイズが異なる画像のサイズ違いリストとすることで、サイズ違いの商品を精度よく識別するために用いるサイズ違いリストを生成できる。

【0068】

また、クエリ画像の当該被写体のサイズと、サイズ違いリストに含まれるクラスタのうち識別された被写体と同一のクラスタの画像に含まれる被写体の現実のサイズと、に基づいて識別結果を補正し、クエリ画像に含まれる被写体を推定することで、識別結果を補正し、サイズ違いの商品を精度よく識別することができる。

【0069】

＜本発明の第２の実施の形態に係る被写体識別システムの構成及び作用＞

【0070】

次に、本発明の第２の実施の形態に係る被写体識別システムの構成について説明する。なお第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。

【0071】

第２の実施の形態は、クエリ画像は３つ以上の被写体を含む場合において、クエリ画像の画素の実寸比（以下、単に実寸比と記載する）を精度よく求める手法であり、クエリ画像の事前情報である実寸比ｒ_ｈ、ｒ_ｗの入力が不要となる。これにより、深度センサの利用や、基準物体の撮影等の条件から、事前に実寸比を入力することなく、様々なクエリ画像でサイズ違いを弁別可能な被写体識別を実施可能となることが望める。

【0072】

図７に示すように、本発明の実施の形態に係る被写体識別システム２００は、被写体ＤＢ２２と、リスト生成装置２０と、リストＤＢ２８と、被写体識別装置２３０とを含んで構成されている。

【0073】

被写体識別装置２３０は、被写体領域推定部３２と、被写体識別部３４と、実寸比推定部２４０と、識別結果補正部３６とを含んで構成されている。

【0074】

実寸比推定部２４０は、クエリ画像の被写体の各々について、当該クエリ画像中の被写体の画像上のサイズと被写体識別部３４で識別された被写体の現実のサイズとに基づいて実寸比を算出する。そして、各被写体の算出結果に基づいて、クエリ画像に含まれる被写体の実寸比を推定する。

【0075】

実寸比推定部２４０による処理は、クエリ画像中の各被写体領域について、被写体識別部３４の各被写体に対する識別結果がおおよそ正しいものであると仮定し、実寸比を推定する手法である。具体的には、ある被写体領域ｑの縦における実寸比ｒ_ｈ ^ｑを以下（３）式で算出する。

【0076】

【数3】

・・・（３）

【0077】

そして、各被写体領域から算出されたｒ_ｈ ^ｑから最終的な実寸比ｒ_ｈを算出する。例えば、被写体識別部３４の結果に誤認識が幾らか含まれていることを加味し、中央値を算出し決定する。また、横における実寸比ｒ_ｗ ^ｑについては上記（３）式のｒ_ｈ ^ｑと同様に算出するか、ｒ_ｈ ^ｑの値をそのまま用いてもよい。図８に実寸比を推定する場合の処理の一例を示す。

【0078】

識別結果補正部３６は、実寸比推定部２４０で推定した実寸比に基づいてクエリ画像についての被写体の現実のサイズを推定する。

【0079】

また、第２の実施の形態の被写体識別装置の作用を図９のフローチャートに示す。ステップＳ２０２の後にステップＳ４００において、実寸比推定部２４０は、当該クエリ画像中の被写体の画像上のサイズと被写体識別部３４で識別された被写体の現実のサイズとに基づいて実寸比を算出する。そして、各被写体の算出結果に基づいて、クエリ画像に含まれる被写体の実寸比を推定する。

【0080】

ステップＳ２０４では、識別結果補正部３６は、ステップＳ４００で推定した実寸比に基づいてクエリ画像について識別対象の被写体の現実のサイズを推定する。被写体のサイズの推定は、ステップＳ４００で推定された実寸比ｒ_ｈ ^ｑ、ｒ_ｗ ^ｑと、クエリ画像中の被写体領域の高さｂ_ｈ ^ｑ、及びクエリ画像中の被写体領域の幅ｂ_ｗ ^ｑとに基づいて行う。

【0081】

以上説明したように、本発明の第２の実施の形態によれば、クエリ画像に３つ以上の被写体が含まれる場合に、クエリ画像の実寸比を精度よく求めることができる。

【0082】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0083】

例えば、上述した実施の形態では、被写体の属性を商品名とする場合を例に説明したが、これに限定されるものではなく、被写体の対象を示す名称等でよい。

【0084】

また、被写体識別システムとしてリスト生成装置と被写体識別装置とを一体として構成する場合を例に説明したが、これに限定されるものではなく、それぞれの装置を分けて構成するようにしてもよい。

【符号の説明】

【0085】

２０ リスト生成装置
２４ 分類部
２６ 出力部
３０ 被写体識別装置
３２ 被写体領域推定部
３４ 被写体識別部
３６ 識別結果補正部
１００、２００ 被写体識別システム
２３０ 被写体識別装置
２４０ 実寸比推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】