特許 6427534 パターン識別装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6427534

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】パターン識別装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20181112BHJP

   G06T 1/00 20060101ALI20181112BHJP

   G06F 17/30 20060101ALI20181112BHJP

【ＦＩ】

   G06T7/00 300F

   G06T1/00 200E

   G06F17/30 170B

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2016-109063(P2016-109063)

(22)【出願日】2016年5月31日

(65)【公開番号】特開2017-215768(P2017-215768A)

(43)【公開日】2017年12月7日

【審査請求日】2017年10月5日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】安藤 慎吾

(72)【発明者】

【氏名】杵渕 哲也

(72)【発明者】

【氏名】五十嵐 勇

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００５−２０９１３７（ＪＰ，Ａ）

【文献】 特開２００５−０１８１７６（ＪＰ，Ａ）

【文献】 特開２００６−２５２５０４（ＪＰ，Ａ）

【文献】 特開２００９−１８７２０４（ＪＰ，Ａ）

【文献】 特開２０１５−２０１１２３（ＪＰ，Ａ）

【文献】 後藤 雄飛、外２名，“色の類似性に基づいた形状特徴量ＣＳ−ＨＯＧの提案”，ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，２０１２年 ６月 ６日，pp.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

特定の２次元パターンを含む入力画像を受け付ける画像入力部と、
登録用の２次元パターンを表す複数の参照画像について、前記参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、前記色ベクトル毎に、前記入力画像の画素の各々に対し、前記色ベクトルとの類似度を算出し、前記色ベクトル毎に、前記類似度の各々を各画素とする色類似度画像を生成する色類似度算出部と、
前記複数の参照画像の各々について、前記色類似度算出部によって生成された前記色ベクトル毎の前記色類似度画像から、各画素における、前記類似度の最大値を表すマスク画像を生成し、前記マスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、前記マスク画像を正規化した正規化マスク画像を生成する正規化マスク作成部と、
前記複数の参照画像の各々について、前記正規化マスク作成部によって生成された前記正規化マスク画像を用いて、前記入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成する画像マスキング部と、
前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、複数の前記参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、前記入力画像に含まれる前記特定の２次元パターンを識別する識別部と、
を含むパターン識別装置。

【請求項2】

複数の参照画像を受け付ける参照画像入力部と、
前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記参照画像に現れる色を表す色ベクトルを抽出し、抽出された前記色ベクトルを前記参照画像毎に色ベクトル登録辞書へ登録する色ベクトル抽出部と、
前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記参照画像から抽出される特徴量を、前記参照画像毎にインデクス登録辞書へ登録するインデクス登録部と
を更に含む請求項１に記載のパターン識別装置。

【請求項3】

前記色ベクトル抽出部は、前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記色ベクトルを抽出し、前記複数の参照画像の各々について抽出された前記色ベクトルをクラスタリング又は量子化し、前記クラスタリング又は前記量子化の結果得られる前記色ベクトルを前記参照画像毎に色ベクトル登録辞書へ登録する
請求項２に記載のパターン識別装置。

【請求項4】

前記識別部は、前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、前記インデクス登録辞書とを用いて、前記入力画像に含まれる特定の２次元パターンに対応する前記参照画像を識別すると共に、前記入力画像に含まれる特定の２次元パターンの特徴点と前記参照画像の特徴点との対応付けを行う
請求項１〜請求項３の何れか１項に記載のパターン識別装置。

【請求項5】

画像入力部が、特定の２次元パターンを含む入力画像を受け付け、
色類似度算出部が、登録用の２次元パターンを表す複数の参照画像について、前記参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、前記色ベクトル毎に、前記入力画像の画素の各々に対し、前記色ベクトルとの類似度を算出し、前記色ベクトル毎に、前記類似度の各々を各画素とする色類似度画像を生成し、
正規化マスク作成部が、前記複数の参照画像の各々について、前記色類似度算出部によって生成された前記色ベクトル毎の前記色類似度画像から、各画素における、前記類似度の最大値を表すマスク画像を生成し、前記マスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、前記マスク画像を正規化した正規化マスク画像を生成し、
画像マスキング部が、前記複数の参照画像の各々について、前記正規化マスク作成部によって生成された前記正規化マスク画像を用いて、前記入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成し、
識別部が、前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、複数の前記参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、前記入力画像に含まれる前記特定の２次元パターンを識別する、
パターン識別方法。

【請求項6】

コンピュータを、請求項１〜請求項４の何れか１項に記載のパターン識別装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パターン識別装置、方法、及びプログラムに関する。

【背景技術】

【0002】

近年、スマートフォン等の携帯端末に内蔵されたカメラを用いて、撮影された物体が何であるかを自動的に識別し、その識別結果を基に該当物体に関連するさまざまなデータを提供するサービスが提案されている。

【0003】

また、物体の識別だけでなく、その物体の位置・姿勢を推定して、端末ディスプレイにプレビュー表示された該当物体に付加情報を適切に重畳表示（一般にAugmented Realityと呼ばれる）することで、物体の局所位置に関連付けられた情報を人間に分かり易く提示できる技術も提案されている。

【0004】

そこで利用されているのは、カメラにより入力された画像データに含まれる物体と、あらかじめ登録された複数画像データとの自動照合を行う手法と、それに付随して、両方の画像データから抽出された特徴点同士の対応付けを実現する手法である。具体的には例えば以下の特許文献１のような手法が提案されている。この手法により得られた識別情報と特徴点同士の対応付け結果から、入力画像上での物体の位置姿勢を高精度に推定することが可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−２０１１２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、識別対象として商品パッケージなどに適用した場合、透過性の高いフィルム等に印刷されたパッケージのパターンはその内側の商品等のテクスチャと重畳され混合されてしまうため、あらかじめ登録した画像パターンとの差異を生じてしまい、結果として識別と特徴点の対応付けを誤りやすいという課題があった。

【0007】

本発明は、上記問題点を解決するために成されたものであり、入力画像に背景が写りこんでしまう場合であっても、入力画像に含まれる特定の２次元パターンを精度良く識別することができるパターン識別装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、第１の発明に係るパターン識別装置は、特定の２次元パターンを含む入力画像を受け付ける画像入力部と、登録用の２次元パターンを表す複数の参照画像について、前記参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、前記色ベクトル毎に、前記入力画像の画素の各々に対し、前記色ベクトルとの類似度を算出し、前記色ベクトル毎に、前記類似度の各々を各画素とする色類似度画像を生成する色類似度算出部と、前記複数の参照画像の各々について、前記色類似度算出部によって生成された前記色ベクトル毎の前記色類似度画像から、各画素における、前記類似度の最大値を表すマスク画像を生成し、前記マスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、前記マスク画像を正規化した正規化マスク画像を生成する正規化マスク作成部と、前記複数の参照画像の各々について、前記正規化マスク作成部によって生成された前記正規化マスク画像を用いて、前記入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成する画像マスキング部と、前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、複数の前記参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、前記入力画像に含まれる前記特定の２次元パターンを識別する識別部と、を含んで構成されている。

【0009】

第２の発明に係るパターン識別方法は、画像入力部が、特定の２次元パターンを含む入力画像を受け付け、色類似度算出部が、登録用の２次元パターンを表す複数の参照画像について、前記参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、前記色ベクトル毎に、前記入力画像の画素の各々に対し、前記色ベクトルとの類似度を算出し、前記色ベクトル毎に、前記類似度の各々を各画素とする色類似度画像を生成し、正規化マスク作成部が、前記複数の参照画像の各々について、前記色類似度算出部によって生成された前記色ベクトル毎の前記色類似度画像から、各画素における、前記類似度の最大値を表すマスク画像を生成し、前記マスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、前記マスク画像を正規化した正規化マスク画像を生成し、画像マスキング部が、前記複数の参照画像の各々について、前記正規化マスク作成部によって生成された前記正規化マスク画像を用いて、前記入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成し、識別部が、前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、複数の前記参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、前記入力画像に含まれる前記特定の２次元パターンを識別する。

【0010】

本発明に係るパターン識別装置は、複数の参照画像を受け付ける参照画像入力部と、前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記参照画像に現れる色を表す色ベクトルを抽出し、抽出された前記色ベクトルを前記参照画像毎に色ベクトル登録辞書へ登録する色ベクトル抽出部と、前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記参照画像から抽出される特徴量を、前記参照画像毎にインデクス登録辞書へ登録するインデクス登録部とを更に含むようにしてもよい、

【0011】

前記色ベクトル抽出部は、前記参照画像入力部によって受け付けた複数の参照画像の各々について、前記色ベクトルを抽出し、前記複数の参照画像の各々について抽出された前記色ベクトルをクラスタリング又は量子化し、前記クラスタリング又は前記量子化の結果得られる前記色ベクトルを前記参照画像毎に色ベクトル登録辞書へ登録するようにしてもよい。

【0012】

前記識別部は、前記画像マスキング部によって前記複数の参照画像の各々について生成された前記クエリ画像の特徴量と、前記インデクス登録辞書とを用いて、前記入力画像に含まれる特定の２次元パターンに対応する前記参照画像を識別すると共に、前記入力画像に含まれる特定の２次元パターンの特徴点と前記参照画像の特徴点との対応付けを行うようにしてもよい。

【0013】

本発明に係るプログラムは、コンピュータを、上記のパターン識別装置の各部として機能させるためのプログラムである。

【発明の効果】

【0014】

本発明のパターン装置、方法、及びプログラムによれば、複数の参照画像について参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、色ベクトル毎に、入力画像の画素の各々に対し、色ベクトルとの類似度を算出し、類似度の各々を各画素とする色類似度画像を生成し、色ベクトル毎の色類似度画像から正規化マスク画像を生成し、正規化マスク画像を用いて入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成し、クエリ画像の特徴量と複数の参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、入力画像に含まれる特定の２次元パターンを識別することより、入力画像に背景が写りこんでしまう場合であっても、入力画像に含まれる特定の２次元パターンを精度良く識別することができる、という効果が得られる。

【図面の簡単な説明】

【0015】

【図1】本実施の形態に係るパターン識別装置の構成を示すブロック図である。

【図2】本実施の形態に係るパターン識別装置における登録処理ルーチンを示すフローチャートである。

【図3】本実施の形態に係るパターン識別装置におけるパターン識別処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0017】

＜本発明の実施の形態の概要＞
本発明の実施の形態は、入力画像が予め登録された参照画像の何れに対応するかの識別及び入力画像と入力画像に対応する参照画像との特徴点同士の対応付けを高精度に行う技術に関連する。

【0018】

本発明の実施の形態では、一例として商品パッケージのロゴ部分に着目し、そのロゴパターンを構成する色情報を用いて、入力画像からロゴパターンを選択的に抽出し、それにより得られる画像を使って、参照画像の何れに対応するかの識別及び特徴点の対応付けを行う。

【0019】

ロゴパターンを構成する色の種類は一般に少数種であることがほとんどなため、登録ロゴパターンにおいて使われている色の情報を用いれば、ロゴパターン成分と他のノイズ成分を分離することが比較的容易といえる。

【0020】

しかし、色情報はカメラのホワイトバランスや露出によって変化しやすいため、登録した画像と異なる場所や時間で撮影した画像の場合、予め登録したロゴパターンの色情報とうまくマッチしない可能性がある。そのような問題に対処するため、一つの色情報をＲＧＢの３次元ベクトルで表現し、登録された色ベクトルと入力画像の各画素の色ベクトルとの正規化相関に基づき類似度を求める。そして、類似度に比例して重みづけされたマスク画像を作成する。マスク画像に対し、各画素の最大値、最小値がそれぞれ１００％、０％となるように線形変換で正規化を行い、正規化後のマスク画像を使って画像のマスキングを行うことで、登録ロゴパターンに該当する領域を選択的にフィルタリングできる。

【0021】

色ベクトルの正規化相関により主にカメラの露出の差異が吸収され、マスク画像の正規化により主にカメラのホワイトバランスの差異が吸収されると考えられる。したがって、カメラ撮影時の光源環境の違いに対してもロバストに識別・特徴点対応付けが可能となる。

【0022】

本実施形態では、複数の参照画像の各画素から色ベクトルを抽出して辞書へ登録すると共に、複数の参照画像の各画素から特徴量を抽出して辞書へ登録し、得られた各辞書を用いて、入力画像に対応する参照画像を識別するパターン識別装置に、本発明を適用した場合を例に説明する。

【0023】

以下、本発明の実施の形態について図を用いて詳細に説明する。

【0024】

＜本実施の形態のパターン識別装置の構成＞
本実施の形態に係るパターン識別装置の構成について説明する。本実施の形態に係るパターン識別装置１００は、ＣＰＵと、ＲＡＭと、後述する登録処理ルーチン及びパターン識別処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このパターン識別装置１００は、機能的には図１に示すように参照画像入力部１０と、画像入力部１２と、演算部２０と、結果出力部４０とを備えている。

【0025】

演算部２０は、色ベクトル抽出部２２と、色ベクトル登録辞書２４と、インデクス登録部２６と、インデクス登録辞書２８と、色類似度算出部３０と、正規化マスク作成部３２と、画像マスキング部３４と、識別部３６とを備えている。

【0026】

本実施の形態に係るパターン識別装置の処理の全体は、大きく２つの過程（パターン登録過程とパターン識別過程）に分けられる。まずは、パターン登録過程に関係する各部を説明する。

【0027】

参照画像入力部１０は、登録用の２次元パターンを表す複数の参照画像の入力を受け付ける。参照画像は、識別対象として登録したい２次元パターンのディジタルデータである。そして、参照画像入力部１０は、複数の参照画像を、後述する演算部２０へ出力する。

【0028】

色ベクトル抽出部２２は、参照画像入力部１０によって受け付けた複数の参照画像の各々について、参照画像をラスタスキャンし当該参照画像に現れる色を表す色ベクトルを抽出する。そして、色ベクトル抽出部２２は、参照画像毎に、当該参照画像について抽出された色ベクトルをインデクスとし、色ベクトル登録辞書２４へ登録する。色ベクトル登録辞書２４には参照画像ＩＤ毎に色ベクトルが格納される。

【0029】

色ベクトル抽出部２２の処理により、参照画像に現れる色の種類がＲＧＢ等の３次元色ベクトルとして色ベクトル登録辞書２４に保存される。色ベクトル抽出部２２は、ラスタスキャンの際、一つの参照画像に対し、新規に現れた色の種類のみをインデクスとして色ベクトル登録辞書２４に追加していく。従って、色ベクトル抽出部２２は、ラスタスキャンの際に同じ色が現れた場合には、無視して次の画素をスキャンする。

【0030】

ただし、参照画像の非可逆圧縮等により真の色から微妙な差異が生じたために、冗長な色ベクトルが保存されてしまう可能性もある。そのような問題に対処するために、色ベクトル抽出部２２は、参照画像入力部１０によって受け付けた複数の参照画像の各々について色ベクトルを抽出した後、複数の参照画像の各々について抽出された色ベクトルをクラスタリング又は量子化し、クラスタリング又は量子化の結果得られる色ベクトルを参照画像毎に色ベクトル登録辞書２４へ登録してもよい。

【0031】

量子化の手法の一例としては、色ベクトルを表現するｍ色空間の量子化を行うことができる。また、クラスタリングの手法の一例として、Ｋ−ｍｅａｎｓ法などに代表される一般的なクラスタリング手法で色ベクトルのクラスタ化を行っても良い。

【0032】

色ベクトル登録辞書２４には、色ベクトル抽出部２２によって抽出された色ベクトルが、参照画像毎に格納される。

【0033】

インデクス登録部２６は、参照画像入力部１０によって受け付けた複数の参照画像の各々について、当該参照画像から特徴量を抽出する。そして、インデクス登録部２６は、参照画像毎に、当該参照画像について抽出された特徴量をインデクスとして、インデクス登録辞書２８へ登録する。

【0034】

ここで、特徴量の抽出にはいろいろな手法が提案されているが、例えば特許文献１に示された方法では、画像から特徴点となる位置を複数箇所抽出し、その位置を中心とした局所領域での２次元濃淡パターンを局所特徴量とする。この場合は、抽出された特徴点の位置座標と、それに対応する局所特徴量とのセットが複数箇所登録されることになる。

【0035】

インデクス登録辞書２８には、インデクス登録部２６によって抽出された特徴量が、参照画像毎に登録される。

【0036】

次に、パターン識別過程に関係する各部を説明する。

【0037】

画像入力部１２は、特定の２次元パターンを含む入力画像を受け付ける。入力画像は、識別及び特徴点同士の対応付けをしたい画像である。入力画像は、例えば携帯端末のカメラ撮影等によりディジタルデータとして入力され、色類似度算出部３０へ出力される。以下、ここで入力された入力画像をＦ（ｉ,ｊ）として説明する。

【0038】

色類似度算出部３０は、参照画像の各々について、色ベクトル登録辞書２４を用いて、当該参照画像の色ベクトル毎に、画像入力部１２により受け付けた入力画像の画素の各々に対し、色ベクトル登録辞書２４に登録された色ベクトルとの類似度を算出する。そして、色類似度算出部３０は、参照画像の各々について、色ベクトル毎に、算出された類似度の各々を各画素とする色類似度画像を生成する。

【0039】

具体的には、色類似度算出部３０は、色ベクトル登録辞書２４に格納された参照画像毎の各色ベクトルに基づいて、以下の式（１）及び（２）に従って、類似度Ｋ_ｃｎ（ｉ,ｊ）を算出する。

【0040】

【数1】

【0041】

ここで、Ｒ_ｃｎは色ベクトル登録辞書２４に登録された色ベクトルを表し、ｃは登録された参照画像のＩＤ、ｎは登録された参照画像の色ベクトルの通し番号を表す。また、σはあらかじめ定数値を設定するパラメータを表す。上記式（１）及び（２）により、予め登録された色ベクトルに類似した色成分の画素は１に近く出力され、逆に類似していない画素は０に近く出力される。

【0042】

正規化マスク作成部３２は、複数の参照画像の各々について、色類似度算出部３０によって生成された色ベクトル毎の色類似度画像から、各画素における、類似度の最大値を表す、当該参照画像に対するマスク画像を生成する。そして、正規化マスク作成部３２は、複数の参照画像の各々について、当該参照画像のマスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、マスク画像を正規化した正規化マスク画像を生成する。正規化マスク画像は、参照画像ごとに生成される。

【0043】

具体的には、正規化マスク作成部３２は、色類似度算出部３０によって参照画像の色ベクトル毎に生成された色類似度画像に基づいて、以下の式（３）に従って、マスク画像Ｍ_ｃ（ｉ，ｊ）を得る。

【0044】

【数2】

【0045】

次に、正規化マスク作成部３２は、参照画像毎に、当該参照画像のマスク画像Ｍ_ｃ（ｉ,ｊ）の画素値を、最小値＝０、最大値＝１とするように線形変換することによって、マスク画像Ｍ_ｃ（ｉ,ｊ）を引き延ばして、正規化マスク画像とする。そして、正規化マスク作成部３２は、参照画像毎に生成された正規化マスク画像を、後述する画像マスキング部３４へ出力する。

【0046】

具体的には、正規化マスク作成部３２は、以下の式（４）にて正規化マスク画像Ｍ’_ｃ（ｉ，ｊ）を得る。

【0047】

【数3】

【0048】

画像マスキング部３４は、複数の参照画像の各々について、正規化マスク作成部３２によって生成された正規化マスク画像Ｍ’_ｃ（ｉ，ｊ）を用いて、入力画像Ｆ（ｉ,ｊ）をマスキングし、マスキングにより得られた画像を、当該参照画像のクエリ画像として生成する。

【0049】

具体的には、画像マスキング部３４は、以下の式（５）を用いてマスキングを行い、マスキングにより得られたクエリ画像Ｆ’_ｃ（ｉ，ｊ）を得る。なお参照画像のチャネルが複数ある場合は、以下の式（５）をチャネル数分だけ求めることになる。例えば、チャネルがＲＧＢである場合、各色に対してマスキング後の画像が得られ、各色のマスキング画像をマージして当該参照画像のクエリ画像Ｆ’_ｃ（ｉ，ｊ）を得る。

【0050】

【数4】

【0051】

クエリ画像Ｆ’_ｃ（ｉ，ｊ）は、色ベクトル登録辞書２４に登録されている参照画像の数ｃだけ生成され、後述する識別部３６へ出力される。なお、登録された画像の背景が白（ＲＧＢ２４ｂｉｔ信号で表すと、（255,255,255））の場合は、以下の式（６）を上記式（５）の代わりに用いる。

【0052】

【数5】

【0053】

上記式（６）を用いれば、マスキング処理により、対象となる２次元パターンの構成画素以外の画素を白に近い画素値に変換することが期待できる。

【0054】

識別部３６は、画像マスキング部３４によって複数の参照画像の各々について生成されたクエリ画像から抽出される特徴量と、インデクス登録辞書２８とを用いて、入力画像に含まれる特定の２次元パターンに対応する参照画像を識別すると共に、入力画像に含まれる特定の２次元パターンの特徴点と当該参照画像の特徴点との対応付けを行う。

【0055】

本実施の形態では、識別部３６は、画像マスキング部３４によってクエリ画像Ｆ’_ｃ（ｉ,ｊ）を用いて、クエリ画像Ｆ’_ｃ（ｉ,ｊ）に、何れの参照画像の２次元パターンが含まれているか識別する処理と、その識別対象である参照画像との特徴点同士の対応付け処理とを行う。この処理は、例えば、上記特許文献１の手法を用いれば、識別処理と特徴点対応付け処理との両方を一度に行うことが可能である。

【0056】

ただし、クエリ画像Ｆ’_ｃ（ｉ,ｊ）は複数存在する場合があるため、一つの画像Ｆ'_ｃ（ｉ,ｊ）に対し、参照画像のＩＤであるｃに対応する識別結果を表すスコア（信頼度）を算出することとする。最終的な識別結果としては、最も大きなスコアに対応する参照画像のＩＤを出力する。したがって、識別部３６の出力は、識別における最大スコアとその参照画像のＩＤ、及び当該参照画像との特徴点対応付けの結果となる。

【0057】

結果出力部４０は、識別部３６によって得られた識別結果（識別における最大スコアと参照画像のＩＤ）および該当する参照画像との対応点探索結果を出力する。なお、結果出力部４０は、結果を出力する際、参照画像に紐づけられたＷｅｂのＵＲＬ情報を同時に出力しても良い。この場合は、参照画像のＩＤとＵＲＬとを変換するテーブルをストレージに保存し、その都度そのテーブルを参照することになる。

【0058】

＜本実施の形態に係るパターン識別装置の作用＞

【0059】

次に、本発明の実施の形態に係るパターン識別装置１００の作用について説明する。参照画像がパターン識別装置１００に入力されると、パターン識別装置１００は、図２に示す登録処理ルーチンを実行する。

【0060】

まず、ステップＳ１００で、参照画像入力部１０は、入力された複数の参照画像を受け付ける。

【0061】

ステップＳ１０２で、色ベクトル抽出部２２は、上記ステップＳ１００で受け付けた複数の参照画像の各々について、参照画像をラスタスキャンし当該参照画像に現れる色を表す色ベクトルを抽出する。そして、色ベクトル抽出部２２は、参照画像毎に、当該参照画像について抽出された色ベクトルをインデクスとし、色ベクトル登録辞書２４へ登録する。

【0062】

ステップＳ１０４で、インデクス登録部２６は、上記ステップＳ１００で受け付けた複数の参照画像の各々について、当該参照画像から特徴量を抽出する。そして、インデクス登録部２６は、参照画像毎に、当該参照画像について抽出された特徴量をインデクスとして、インデクス登録辞書２８へ登録し処理を終了する。

【0063】

次に、入力画像がパターン識別装置１００に入力されると、パターン識別装置１００は、図３に示すパターン識別処理ルーチンを実行する。

【0064】

ステップＳ２００で、画像入力部１２は、入力画像を受け付ける。

【0065】

ステップＳ２０１で、色類似度算出部３０は、色ベクトル登録辞書２４に格納された参照画像のうち、１つの参照画像を設定する。

【0066】

ステップＳ２０２で、色類似度算出部３０は、色ベクトル登録辞書２４を用いて、上記ステップＳ２０１で設定された参照画像の色ベクトル毎に、入力画像の画素の各々に対し、当該色ベクトルとの類似度を算出する。そして、色類似度算出部３０は、上記ステップＳ２０１で設定された参照画像の色ベクトル毎に、算出された類似度の各々を各画素とする色類似度画像を生成する。

【0067】

ステップＳ２０４で、正規化マスク作成部３２は、上記ステップＳ２０１で設定された参照画像について、上記ステップＳ２０２で生成された色ベクトル毎の色類似度画像から、各画素における、類似度の最大値を表すマスク画像を生成する。そして、正規化マスク作成部３２は、上記ステップＳ２０１で設定された参照画像について、マスク画像に含まれる画素のうち最大の画素値と最小の画素値とに応じて、マスク画像を正規化した正規化マスク画像を生成する。

【0068】

ステップＳ２０６で、画像マスキング部３４は、上記ステップＳ２０１で設定された参照画像について、上記ステップＳ２０４で生成された正規化マスク画像を用いて、入力画像をマスキングし、マスキングにより得られた画像を、上記ステップＳ２０１で設定された参照画像のクエリ画像として生成する。

【0069】

ステップＳ２０８で、色ベクトル登録辞書２４に格納された全ての参照画像について、上記ステップＳ２０２〜ステップＳ２０６の処理を実行したか否かを判定する。色ベクトル登録辞書２４に格納された全ての参照画像について、上記ステップＳ２０２〜ステップＳ２０６の処理を実行した場合には、ステップＳ２１０へ進む。一方、上記ステップＳ２０２〜ステップＳ２０６の処理を実行していない参照画像が存在する場合には、ステップＳ２０１へ戻る。

【0070】

ステップＳ２１０で、識別部３６は、上記ステップＳ２０６で複数の参照画像の各々について生成されたクエリ画像から抽出される特徴量と、インデクス登録辞書２８とを用いて、入力画像に含まれる特定の２次元パターンに対応する参照画像を識別すると共に、入力画像に含まれる特定の２次元パターンの特徴点と当該参照画像の特徴点との対応付けを行う。

【0071】

ステップＳ２１２で、結果出力部４０は、上記ステップＳ２１０で得られた結果を出力し処理を終了する。

【0072】

以上説明したように、本実施の形態に係るパターン識別装置によれば、複数の参照画像について参照画像に現れる色を表す色ベクトルが予め登録された色ベクトル登録辞書を用いて、色ベクトル毎に、入力画像の画素の各々に対し、色ベクトル登録辞書に登録された色ベクトルとの類似度を算出し、類似度の各々を各画素とする色類似度画像を生成し、色ベクトル毎の色類似度画像から正規化マスク画像を生成し、正規化マスク画像を用いて入力画像をマスキングし、マスキングにより得られた画像をクエリ画像として生成し、クエリ画像の特徴量と複数の参照画像の各々についての特徴量が予め登録されたインデクス登録辞書とを用いて、入力画像に含まれる特定の２次元パターンを識別することより、入力画像に背景が写りこんでしまう場合であっても、入力画像に含まれる特定の２次元パターンを精度良く識別することができる。

【0073】

また、例えば、商品パッケージなど透過性の高いフィルム等に印刷されたパッケージのロゴパターンの識別および特徴点の対応付けにおいて、内側の商品等のテクスチャと重畳され混合されてしまうような状況にあっても精度良く識別と特徴点の対応付けを行うことができる。

【0074】

また、光源環境の違い等でカメラのホワイトバランスや露出が登録した画像と異なっていてもロバストに識別および特徴点対応付けを実現できる。

【0075】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0076】

また、上記実施の形態では、パターン識別装置が、色ベクトル登録辞書２４及びインデクス登録辞書２８を備えている場合について説明したが、これに限定されるものではない。例えば色ベクトル登録辞書２４及びインデクス登録辞書２８の少なくとも一方がパターン識別装置の外部装置に設けられ、パターン識別装置は、外部装置と通信手段を用いて通信することにより、色ベクトル登録辞書２４及びインデクス登録辞書２８の少なくとも一方を参照するようにしてもよい。

【0077】

また、上記実施の形態では、登録処理とパターン識別処理とを１つの装置で行う場合を例に説明したが、別々の装置によって、登録処理とパターン識別処理とを行っても良い。

【0078】

上述のパターン識別装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

【0079】

また、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばCD-ROM、DVD-ROM、CD-R、CD-RW、MO、HDD等は本発明を構成する。

【符号の説明】

【0080】

１０ 参照画像入力部
１２ 画像入力部
２０ 演算部
２２ 色ベクトル抽出部
２４ 色ベクトル登録辞書
２６ インデクス登録部
２８ インデクス登録辞書
３０ 色類似度算出部
３２ 正規化マスク作成部
３４ 画像マスキング部
３６ 識別部
４０ 結果出力部
１００ パターン識別装置

【図1】

【図2】

【図3】