特許 7521543 物体認識装置、物体認識理方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】物体認識装置、物体認識理方法、及び、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   G06V 10/26 20220101ALI20240717BHJP

【ＦＩ】

G06T7/00 300Z

G06V10/26

【請求項の数】 12

(21)【出願番号】P 2021574410

(86)(22)【出願日】2020-01-31

(86)【国際出願番号】 JP2020003712

(87)【国際公開番号】W WO2021152829

(87)【国際公開日】2021-08-05

【審査請求日】2022-07-08

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(72)【発明者】

【氏名】鍋藤 悠

(72)【発明者】

【氏名】白石 壮馬

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１９－０４０２２７（ＪＰ，Ａ）

【文献】特開２００８－２８７４３８（ＪＰ，Ａ）

【文献】特開２００７－２９９２１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／２６

(57)【特許請求の範囲】

【請求項1】

複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを記憶する記憶手段と、
入力画像から、複数の物体の物体領域を検出する物体領域検出手段と、
前記入力画像から、特徴点の特徴量を抽出する特徴量抽出手段と、
前記テーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込む絞り込み手段と、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する照合手段と、
を備える物体認識装置。

【請求項2】

前記絞り込み手段は、前記物体領域に属する特徴量毎に当該特徴量を有する物体の投票を行い、投票数が上位である複数の物体を前記物体候補と決定する請求項１に記載の物体認識装置。

【請求項3】

前記照合手段は、前記特徴点の照合により前記物体の外形を検出し、検出された外形が示す領域と、前記物体領域検出手段が検出した当該物体の物体領域とが所定量以上異なる場合には、当該物体についての認識結果を破棄する請求項１又は２に記載の物体認識装置。

【請求項4】

前記特徴量抽出手段は、前記物体領域の周囲の所定領域においても前記特徴量を抽出する請求項１乃至３のいずれか一項に記載の物体認識装置。

【請求項5】

前記照合手段は、前記物体領域の周囲の所定領域に存在する特徴点を含めて前記特徴点の照合を行う請求項１乃至４のいずれか一項に記載の物体認識装置。

【請求項6】

前記絞り込み手段は、前記物体領域に含まれる特徴点の一部を使用し、
前記照合手段は、前記物体領域に含まれる特徴点の全てを使用する請求項１乃至５のいずれか一項に記載の物体認識装置。

【請求項7】

前記絞り込み手段は、前記物体領域に含まれる特徴点の全てを使用し、
前記照合手段は、前記物体領域に含まれる特徴点の一部を使用する請求項１乃至５のいずれか一項に記載の物体認識装置。

【請求項8】

複数の物体の各々が有する特徴点の特徴量を取得し、前記特徴量を複数のグループに分類し、各グループに属する特徴量を有する物体を、当該特徴量に関連付けて前記テーブルを生成するテーブル生成手段を備える請求項１乃至７のいずれか一項に記載の物体認識装置。

【請求項9】

前記物体領域検出手段は、さらに、同じ段の他の物体領域矩形と比較して面積が大きく異なる物体領域矩形を誤検出として除去する請求項１に記載の物体認識装置。

【請求項10】

前記物体領域検出手段は、物体領域が検出されなかった領域の大きさが、同じ段で検出された物体領域が入る大きさである場合には、同じ段で検出された物体領域矩形と同じ大きさの矩形を前記大きさの空き領域に追加する請求項１に記載の物体認識装置。

【請求項11】

入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、前記物体領域に属する特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する物体認識方法。

【請求項12】

入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、前記物体領域に属する特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像から物体を認識する技術に関する。

【背景技術】

【0002】

店舗における在庫管理などの目的で、陳列棚にある商品の撮影画像から個々の商品を認識する手法が提案されている。特許文献１は、物体領域抽出機能と画像特徴量抽出機能により撮影画像の物体領域から画像特徴量を抽出し、ＤＢサーバに登録している画像マスタと照合する事で、物体の特定と数量を取得する在庫管理システムを記載している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－４０２２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の手法では、撮影画像から抽出された特徴量を、多数の商品の画像マスタと照合する必要があるため、大量の商品を認識する場合に処理時間がかかってしまうという問題がある。

【0005】

本発明の１つの目的は、大量の物体を効率的に認識することが可能な物体認識手法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の一つの観点は、物体認識装置であって、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを記憶する記憶手段と、
入力画像から、複数の物体の物体領域を検出する物体領域検出手段と、
前記入力画像から、特徴点の特徴量を抽出する特徴量抽出手段と、
前記テーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込む絞り込み手段と、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する照合手段と、を備える。

【0007】

本発明の他の観点は、物体認識方法であって、
入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、前記物体領域に属する特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する。

【0008】

本発明の他の観点は、プログラムであって、
入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、前記物体領域に属する特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、照合結果を出力し、当該照合結果が０件であった場合には、前記物体候補に関連する物体である可能性があることを表示装置に表示する。

【発明の効果】

【0009】

本発明によれば、大量の物体を効率的に認識することが可能なとなる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態に係る物体認識装置を示す。

【図2】物体認識装置のハードウェア構成を示すブロック図である。

【図3】物体認識装置の機能構成を示すブロック図である。

【図4】商品画像の一例を示す。

【図5】商品画像において抽出された特徴点を模式的に示す。

【図6】商品画像から検出された物体領域の例を示す。

【図7】ハッシュテーブルの例、及び、検索方法を示す。

【図8】物体認識処理のフローチャートである。

【図9】第２実施形態に係る物体認識装置を示す。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の好適な実施形態について説明する。
＜第１実施形態＞
［物体認識装置］
図１は、第１実施形態に係る物体認識装置を示す。物体認識装置１００には、商品の画像が入力される。商品の画像は、例えば店舗の商品棚などを正面から撮影した画像であり、棚に陳列された複数の商品が含まれている。通常、商品棚には異なる種類の商品が陳列されており、物体認識装置１００は個々の商品がどの商品であるかを認識し、認識結果を出力する。認識結果は、商品棚への商品の補充作業や、店舗での在庫管理などに利用される。なお、本発明の適用は商品画像には限定されず、例えば床に積まれた物体などの認識にも適用可能である。

【0012】

本実施形態では、認識対象の個々の商品について特徴量を示す特徴量ファイルを予め生成しておく。そして、物体認識装置１００は、商品画像から抽出された特徴点と、特徴量ファイルに含まれる各商品の特徴量とを順に照合して、商品画像に含まれる商品がいずれの商品であるかを認識する。しかしながら、上記の照合処理は処理量が大きいため、商品画像の特徴点を特徴量ファイル内の全ての商品の特徴量と照合していると、処理時間が長くなってしまう。そこで、本実施形態では、特徴量に基づく絞り込み検索を行って照合処理の対象とする商品を減らしてから、実際の照合処理を行う。これにより、全体の処理時間を短縮する。

【0013】

［ハードウェア構成］
図２は、物体認識装置１００のハードウェア構成を示すブロック図である。図示のように、物体認識装置１００は、入力ＩＦ（ＩｎｔｅｒＦａｃｅ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、入力装置１６と、表示装置１７と、出力装置１８と、を備える。

【0014】

入力ＩＦ１１は、データの入出力を行う。具体的に、入力ＩＦ１１は、外部から商品画像を取得するとともに、その画像に基づいて物体認識装置１００が生成した認識結果を出力する。

【0015】

プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、物体認識装置１００の全体を制御する。特に、プロセッサ１２は、後述する物体認識処理を行う。

【0016】

メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

【0017】

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、物体認識装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。

【0018】

ＤＢ１５は、入力ＩＦ１１から入力されるデータを記憶する。具体的に、ＤＢ１５には、商品画像が記憶される。また、ＤＢ１５には、物体の認識に使用されるデータ、具体的には後述するデータベースファイルや特徴量ファイルが記憶される。

【0019】

入力装置１６は、例えばキーボード、マウス、タッチパネルなどであり、物体認識装置１００による処理に関連してユーザが必要な指示、入力を行う際に使用される。表示装置１７は例えば液晶ディスプレイなどであり、物体認識結果が表示される。出力装置１８は、物体認識結果を外部装置へ出力する。例えば、出力装置１８は、ネットワークを介して、物体認識結果をＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ）端末などに出力してもよい。

【0020】

［機能構成］
図３は、物体認識装置１００の機能構成を示すブロック図である。物体認識装置１００は、画像取得部２１と、特徴量抽出部２２と、物体領域検出部２３と、絞り込み検索部２４と、特徴量ファイル記憶部２５と、ハッシュテーブル生成部２６と、特徴量ファイル読込部２７と、照合部２８と、を備える。

【0021】

画像取得部２１は、商品画像を取得する。図４は、商品画像の一例を示す。商品画像は、例えば店舗の商品棚の撮影画像であり、複数種類の商品が含まれている。画像取得部２１は、取得した商品画像を特徴量抽出部２２に出力する。

【0022】

特徴量抽出部２２は、商品画像から特徴量を抽出する。特徴量抽出部２２は、商品画像から特徴点を検出し、その特徴点における特徴量を生成する。特徴量としては、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量などを使用することができる。ＳＩＦＴ特徴量の場合、画像の平滑化などによりキーポイントと呼ばれる特徴点が検出され、各特徴点について輝度の勾配を示す１２８次元のベクトルの特徴量が抽出される。なお、ＳＩＦＴ特徴量は本実施形態で使用する特徴量の一例であり、これに限定されるものではない。図５は、商品画像において抽出された特徴点を模式的に示す。商品画像における商品上又は商品の近傍において特徴点Ｐが検出される。特徴量抽出部２２は、商品画像と、抽出された特徴量に関する特徴量情報を物体領域検出部２３に出力する。特徴量情報は、その商品画像における各特徴点の位置情報と、各特徴点の特徴量とを含む。

【0023】

物体領域検出部２３は、商品画像から物体領域を検出する。物体領域は、個々の商品に対応する領域である。物体領域の検出は、例えばニューラルネットワークを用いた領域検出手法により行うことができる。図６は、商品画像から検出された物体領域の例を示す。物体領域の検出により、商品画像に含まれる個々の商品を囲む矩形の物体領域Ｒが検出される。物体領域検出部２３は、特徴量情報と、物体領域情報とを絞り込み検索部２４に出力する。物体領域情報は、商品画像に含まれる個々の商品に対応する物体領域Ｒの位置情報を含む。

【0024】

特徴量ファイル記憶部２５は、特徴量ファイルを記憶している。特徴量ファイルは、物体認識装置１００が認識対象とする多数の商品それぞれの特徴量を示す。認識対象となる商品については、予めその撮影画像に基づいて上述のような特徴量抽出処理を行い、その商品が有する特徴量情報が生成されている。即ち、個々の商品について、その商品が有する複数の特徴点の位置情報、及び、各特徴点の特徴量が特徴量ファイルとして生成され、特徴量ファイル記憶部２５に記憶されている。

【0025】

ハッシュテーブル生成部２６は、特徴量ファイルからハッシュテーブルを生成する。図７（Ａ）はハッシュテーブルの例を示す。ハッシュテーブル生成部２５は、商品画像から得られた各特徴量をキーとして所定のハッシュ関数に入力してハッシュ値を生成し、各ハッシュ値をインデックスとする配列を作成する。図７（Ａ）の例では、ハッシュ関数により各特徴量を「０」～「６」のハッシュ値に変換し、それらをインデックスとする配列ｆｔ［０］～ｆｔ［６］を作成している。そして、配列ｆｔ［０］～ｆｔ［６］に対して、その配列に分類される特徴量を有する商品を値として割り当てる。図７（Ａ）の例では、ハッシュ値が「０」となる特徴量を有する商品Ａ、Ｄ、Ｆが配列ｆｔ［０］の値に割り当てられている。同様に、ハッシュ値が「１」となる特徴量を有する商品Ａ、Ｃ、Ｈが配列ｆｔ［１］の値に割り当てられ、ハッシュ値が「５」となる特徴量を有する商品Ｃ、Ｆ、Ｇ、Ｉが配列ｆｔ［５］の値に割り当てられている。このように、ハッシュテーブル生成部２５は、事前処理として、物体認識装置１００が認識対象とする全ての商品を値として含むハッシュテーブルを生成する。

【0026】

絞り込み検索部２４は、ハッシュテーブルを用いて、絞り込み検索（ハッシュ検索）を行う。前述のように、絞り込み検索部２４には、物体領域情報と、特徴量情報とが入力される。まず、絞り込み検索部２４は、特徴量を物体領域毎に分割し、物体領域毎の特徴量を生成する。次に、絞り込み検索部２４は、ハッシュテーブルを用いて物体領域毎に特徴点の投票を行う。詳しくは、図７（Ａ）に示すように、絞り込み検索部２４は、１つの物体領域Ｒについて、その物体領域Ｒに含まれる個々の特徴点Ｐの特徴量に対応する商品の投票を行う。図７（Ａ）の例では、絞り込み検索部２４は、ハッシュテーブルを参照し、特徴点Ｐ１に基づき商品Ａ、Ｄ、Ｆにそれぞれ１票を与え、特徴点Ｐ２に基づき商品Ａ、Ｃ、Ｈにそれぞれ１票を与える。こうして、絞り込み検索部２４は、１つの物体領域Ｒに対応する全ての特徴点に基づき、ハッシュテーブルが値として示す商品に投票する。図７（Ｂ）は、こうして得られた投票結果の例を示す。横軸は商品の種類を示し、縦軸は投票数を示す。投票結果における投票数が多い商品ほど、その商品が物体領域Ｒの商品である確率が高いことになる。図７（Ｂ）の例では、商品Ｄの投票数が最も多く、商品Ｂと商品Ｉがほぼ同数で２番目に多い。

【0027】

そこで、絞り込み検索部２４は、投票結果の投票数に基づいて商品を絞り込む。例えば、絞り込み検索部２４は、投票数が上位のＮ個（例えばＮ＝５とすると上位５位まで）の商品を商品候補として選択する。他の例では、絞り込み検索部２４は、全ての商品を投票数の順に並べ、投票数が上位の商品から順に、次の順位の商品との投票数の差を算出し、その差が所定値以上となった場合に、その順位より上の順位の商品を商品候補として選択する。例えば、所定数を「１０」とし、投票数１位の商品と２位の商品との投票数差が「５」、投票数２の商品と３位の商品との投票数差が「７」、投票数３位の商品と４位の商品との投票数差が「１１」であった場合、絞り込み検索部２４は投票数１位～３位の商品を商品候補とする。こうして、絞り込み検索部２４は、上記の処理を全ての物体領域Ｒに対して行い、物体領域Ｒ毎に商品候補を決定して照合部２８へ出力する。例えば、投票数の上位Ｎ個の商品を商品候補に決定する場合、絞り込み検索部２４は、商品画像から検出された全ての物体領域Ｒについて、Ｎ個ずつの商品候補を出力する。

【0028】

特徴量ファイル読込部２７は、特徴量ファイル記憶部２５から特徴量ファイルを読み込み、照合部２８へ出力する。照合部２８は、絞り込み検索部２４が決定した商品候補について特徴点の照合を行う。具体的に、照合部２８は、個々の物体領域について、その物体領域に含まれる特徴点と、その物体領域について絞り込み検索部２４が決定した商品候補の特徴点とのマッチングを行い、類似性が高い特徴点を対応点とする。例えば、図７（Ｂ）の例において、絞り込み検索部２４が商品候補を商品Ｂ、Ｄ、Ｉと決定した場合、照合部２８は、物体領域の特徴量と、特徴量ファイル内の商品Ｂ、Ｄ、Ｉの特徴量とのマッチングを行う。そして、照合部２８は、商品候補に含まれる複数の商品のうち、対応点が最も多い商品をその物体領域に対する認識結果、即ち、その物体領域に存在する商品と決定する。照合部２８は、この処理を全ての物体領域について行い、各物体領域に対応する商品を認識結果として出力する。

【0029】

このように、本実施形態では、絞り込み検索部２４が全商品をいくつかの商品候補に絞り込み、照合部２８は商品候補のみを対象に特徴点の照合を行う。特徴点の照合は、物体領域に含まれる複数の特徴点と、特徴量ファイルに記憶されている各商品の特徴点との全ての組み合わせを比較するため、非常に処理負荷が高い。仮に１つの商品棚に６０点の商品が陳列可能であり、取り扱う商品の種類が数千点あるとすると、１つの商品棚を撮影した１枚の商品画像に対して、６０×数千の組み合わせについて照合処理を行うことになり、処理に非常に時間がかかる。この点、本実施形態では、特徴量に基づいて生成したハッシュテーブルを利用して、絞り込み検索部２４が数千点の商品をそれより十分に少ない商品候補に絞り込み、それら商品候補のみについて照合部２８が特徴点の照合を行えばよいので、処理時間を大幅に短縮することが可能となる。

【0030】

［物体認識処理］
図８は、物体認識処理のフローチャートである。この処理は、図２に示すプロセッサ１２が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。まず、事前処理として、ハッシュテーブル生成部２６は、特徴量ファイルから認識対象の全商品の特徴量情報を取得し、ハッシュテーブルを生成する（ステップＳ１１）。

【0031】

次に、画像取得部２１は商品画像を取得し（ステップＳ１２）、特徴量抽出部２２は、図５に例示するように商品画像から特徴量を抽出する（ステップＳ１３）。次に、物体領域検出部２３は、図６に例示するように各商品に対応する物体領域を検出する（ステップＳ１４）。次に、絞り込み検索部２４は、ハッシュテーブルを参照し、各物体領域の特徴量に基づいて絞り込み検索を行い、商品候補を決定する（ステップＳ１５）。そして、照合部２８は、各物体領域の特徴量と、特徴量ファイルに記憶されている各商品候補の特徴量とを用いて照合処理を行い、各物体領域に対する認識結果を出力する（ステップＳ１６）。そして、処理は終了する。

【0032】

［変形例］
次に、上記の実施形態の変形例について説明する。以下の変形例は、適宜組み合わせて適用することができる。
（変形例１）
上記の実施形態では、まず、特徴量抽出部２２が商品画像全体から特徴量を抽出し、次に物体領域検出部２３が物体領域を検出し、検出された物体領域毎に特徴量を分割して物体領域毎の特徴量を求めている。その代わりに、まず、物体領域検出部２３が物体領域を検出し、特徴量抽出部２２は物体領域毎の画像から特徴量を抽出してもよい。

【0033】

（変形例２）
照合部２８は、物体領域に含まれる特徴点と、特徴量ファイルに含まれる各商品の特徴点とのマッチングを行うことにより、その物体領域に対応する商品の矩形を検出することができる。物体領域検出部２３が検出した物体領域の矩形（以下、「物体領域矩形」と呼ぶ。）と、照合部２８による特徴点のマッチングで得られる矩形（以下、「特徴点マッチング矩形」と呼ぶ。）が大きく異なる場合、照合部２８は、その物体領域について得られた照合結果を破棄してもよい。これは、物体領域矩形と特徴点マッチング矩形とが大きく異なる場合、物体領域の検出処理又は照合処理の精度が不十分と考えられるためである。

【0034】

（変形例３）
上記の実施形態では、物体領域検出部２３が検出した物体領域矩形に基づいて特徴点を選択し、絞り込み検索部２４による絞り込み検索及び照合部２８による照合処理を行っている。その際、物体領域矩形の内部に存在する特徴点のみならず、物体領域矩形の周囲に存在する特徴点も用いて、絞り込み検索及び照合処理の少なくとも一方を行うこととしてもよい。ここで、物体領域矩形の「周囲」とは、例えば、物体領域矩形の外側の所定画素分を含む領域である。これにより、物体領域検出部２３が検出した物体領域が実際の商品の位置に対して多少ずれていても、その商品を正しく認識することが可能となる。

【0035】

また、物体領域矩形の内部に存在する特徴点の一部を使用して、絞り込み検索及び照合処理を行ってもよい。例えば、絞り込み検索部２４は物体領域矩形内の一部の特徴量を使用して絞り込み検索を行い、照合部２８は物体領域矩形内の全ての特徴点を使用して照合を行ってもよい。逆に、絞り込み検索部２４は物体領域矩形内の全ての特徴量を使用して絞り込み検索を行い、照合部２８は物体領域矩形内の一部の特徴点を使用して照合を行ってもよい。

【0036】

（変形例４）
物体領域検出部２３が検出した物体領域について照合部２８が照合処理を行った結果、照合結果が０件であった場合、即ち、該当する商品が見つからなかった場合、照合部２８は、その商品の登録が漏れている旨、又は、未登録の新商品の可能性がある旨をユーザに通知してもよい。なお、商品の登録がされていないとは、その商品についての特徴量ファイルが用意されていないことを指す。例えば、照合部２８は、表示装置１７に商品画像を表示し、その商品の部分を黒塗りで示したり、メッセージを表示したりしてもよい。また、表示装置１７に照合結果リストとして商品名などを表示する場合には、商品名の欄に「不明」、「登録漏れ？」、「新商品？」などと表示してもよい。

【0037】

また、上記のように照合結果が０件であった場合、照合部２８は、絞り込み検索部２４により決定された商品候補の商品の新ラベルや新シリーズなどの関連商品の可能性があることをユーザに通知してもよい。例えば、絞り込み検索部２４により、商品Ａ、Ｄ、Ｆが商品候補に決定されている場合、照合部２８は表示装置１７に「商品Ａ、Ｄ、Ｆのいずれかの新商品の可能性あり。」などと表示してもよい。

【0038】

（変形例５）
店舗の商品棚は、各段にほぼ同じ大きさの商品が配置されていることが多い。特に、飲料などについてはその傾向が高い。そこで、物体領域検出部２３は、検出された物体領域矩形の面積が、隣接する左右の物体領域矩形の面積と大きく異なる場合には、その物体領域矩形を誤検出として除去してもよい。また、物体領域検出部２３は、隣接する左右の物体領域矩形のみでなく、同じ段の他の物体領域矩形と比較して面積が大きく異なる物体領域矩形を誤検出として除去してもよい。

【0039】

（変形例６）
物体領域検出部２３による物体領域の検出結果において、物体領域が検出されなかった領域（以下、「空き領域」と呼ぶ。）があり、その空き領域の大きさが、商品棚の同じ段で検出された物体領域が入るぐらいの大きさである場合には、物体領域検出部２３は、同じ段で検出された物体領域矩形と同じ大きさの矩形をその空き領域に追加してもよい。これにより、空き領域についても、その後の絞り込み検索や照合処理が実行される。そして、照合部２８は、最終的に空き領域について照合結果が得られた（いずれかの商品と判定された）場合には、その結果を採用し、照合結果が得られなかった場合には、その空き領域には商品が存在しないと判定すればよい。商品棚に対する照明の状態により、商品画像において暗い位置の商品などは物体領域が検出されないことがある。また、商品が重なっていたり、値札などが商品に重なっている場合にも物体領域が検出されないことがある。このように、物体領域検出部２３が商品画像からの物体領域の検出に失敗した場合でも、空き領域に物体領域矩形を追加することにより、その失敗を補うことが可能となる。

【0040】

（変形例７）
上記の実施形態では、物体認識装置１００の認識対象を飲料などの商品としているが、認識対象を飲料以外の商品としてもよい。その場合、物体領域は矩形とは限らず、多角形やそれ以外の複雑な外形となることがある。また、認識対象は商品には限られず、棚に保管されている様々な物体であってもよい。

【0041】

＜第２実施形態＞
図９は、第２実施形態に係る物体認識装置５０の機能構成を示すブロック図である。物体認識装置５０は、記憶部５１と、物体領域検出部５２と、特徴量抽出部５３と、絞り込み部５４と、照合部５５と、を備える。記憶部５１は、複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを記憶する。物体領域検出部５２は、入力画像から、複数の物体の物体領域を検出する。特徴量抽出部５３は、入力画像から、特徴点の特徴量を抽出する。絞り込み部５４は、テーブルを参照し、物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込む。照合部５５は、物体領域に属する特徴点と、物体候補毎の特徴点とを照合して物体を認識し、認識結果を出力する。

【0042】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0043】

（付記１）
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを記憶する記憶部と、
入力画像から、複数の物体の物体領域を検出する物体領域検出部と、
前記入力画像から、特徴点の特徴量を抽出する特徴量抽出部と、
前記テーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込む絞り込み部と、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、認識結果を出力する照合部と、
を備える物体認識装置。

【0044】

（付記２）
前記絞り込み部は、前記物体領域に属する特徴量毎に当該特徴量を有する物体の投票を行い、投票数が上位である複数の物体を前記物体候補と決定する付記１に記載の物体認識装置。

【0045】

（付記３）
前記照合部は、前記特徴点の照合により前記物体の外形を検出し、検出された外形が示す領域と、前記物体領域検出部が検出した当該物体の物体領域とが所定量以上異なる場合には、当該物体についての認識結果を破棄する付記１又は２に記載の物体認識装置。

【0046】

（付記４）
前記特徴量抽出部は、前記物体領域の周囲の所定領域においても前記特徴量を抽出する付記１乃至３のいずれか一項に記載の物体認識装置。

【0047】

（付記５）
前記照合部は、前記物体領域の周囲の所定領域に存在する特徴点を含めて前記特徴点の照合を行う１乃至４のいずれか一項に記載の物体認識装置。

【0048】

（付記６）
前記絞り込み部は、前記物体領域に含まれる特徴点の一部を使用し、
前記照合部は、前記物体領域に含まれる特徴点の全てを使用する付記１乃至５のいずれか一項に記載の物体認識装置。

【0049】

（付記７）
前記絞り込み部は、前記物体領域に含まれる特徴点の全てを使用し、
前記照合部は、前記物体領域に含まれる特徴点の一部を使用する付記１乃至５のいずれか一項に記載の物体認識装置。

【0050】

（付記８）
複数の物体の各々が有する特徴点の特徴量を取得し、前記特徴量を複数のグループに分類し、各グループに属する特徴量を有する物体を、当該特徴量に関連付けて前記テーブルを生成するテーブル生成部を備える付記１乃至７のいずれか一項に記載の物体認識装置。

【0051】

（付記９）
前記照合部により認識結果が得られなかった物体領域について、当該物体領域に存在する物体が未登録である旨を通知する通知部を備える付記１乃至８のいずれか一項に記載の物体認識装置。

【0052】

（付記１０）
前記通知部は、前記物体領域に存在する物体が、前記絞り込み部により決定された物体候補に関連する物体である可能性が高い旨を通知する付記９に記載の物体認識装置。

【0053】

（付記１１）
前記照合部は、左右の物体領域の面積と所定値以上異なる物体領域について得られた認識結果を誤検出として破棄する付記１乃至１０のいずれか一項に記載の物体認識装置。

【0054】

（付記１２）
前記物体は棚に配置されており、
前記照合部は、前記棚の同一の段において検出された物体領域の面積と所定値以上異なる物体領域について得られた認識結果を誤検出として破棄する付記１乃至１０のいずれか一項に記載の物体認識装置。

【0055】

（付記１３）
前記物体領域検出部は、前記物体領域を検出しなかった空き領域が、隣接して検出された物体領域と同等以上の面積を有する場合には、前記隣接して検出された物体領域と同じ大きさの物体領域を当該空き領域に追加する付記１乃至１２のいずれか一項に記載の物体認識装置。

【0056】

（付記１４）
入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、認識結果を出力する物体認識方法。

【0057】

（付記１５）
入力画像から、複数の物体の物体領域を検出し、
前記入力画像から、特徴点の特徴量を抽出し、
複数の特徴量と、各特徴量の特徴点を持つ物体とを関連付けたテーブルを参照し、前記物体領域に属する特徴点の特徴量に基づいて、認識対象の全物体を、当該物体領域に対応する物体候補に絞り込み、
前記物体領域に属する特徴点と、前記物体候補毎の特徴点とを照合して前記物体を認識し、認識結果を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0058】

以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0059】

２１ 画像取得部
２２ 特徴量抽出部
２３ 物体領域検出部
２４ 絞り込み検索部
２５ 特徴量ファイル記憶部
２６ ハッシュテーブル生成部
２７ 特徴量ファイル読込部
２８ 照合部
１００ 物体認識装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】