特許 5958460 特徴点照合装置、特徴点照合方法、および特徴点照合プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5958460

(24)【登録日】2016年7月1日

(45)【発行日】2016年8月2日

(54)【発明の名称】特徴点照合装置、特徴点照合方法、および特徴点照合プログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160719BHJP

【ＦＩ】

   G06T7/00 300F

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2013-500712(P2013-500712)

(86)(22)【出願日】2011年11月1日

(86)【国際出願番号】JP2011006108

(87)【国際公開番号】WO2012114401

(87)【国際公開日】20120830

【審査請求日】2014年10月9日

(31)【優先権主張番号】特願2011-37069(P2011-37069)

(32)【優先日】2011年2月23日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】秋山 達勇

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 国際公開第２０１０／０５３１０９（ＷＯ，Ａ１）

【文献】 特開２００５−２２８１５０（ＪＰ，Ａ）

【文献】 特開昭６１−１７５５０９（ＪＰ，Ａ）

【文献】 特開平０３−１５６３４９（ＪＰ，Ａ）

【文献】 特開２００４−２１９５２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

画像に含まれる少なくとも１つの特徴点の位置に基づいて、当該少なくとも１つの特徴点に関する位置特徴量を生成する位置特徴生成手段と、
前記画像に含まれる少なくとも１つの特徴点の画素値に基づいて、当該少なくとも１つの特徴点に関する画素値特徴量を生成する画素値特徴生成手段と、
前記位置特徴生成手段によって第１の画像に含まれる第１の少なくとも１つの特徴点から生成された第１の位置特徴量と、前記位置特徴生成手段によって第２の画像に含まれる第２の少なくとも１つの特徴点から生成された第２の位置特徴量との一致度合い、及び、前記画素値特徴生成手段によって前記第１の少なくとも１つの特徴点から生成された第１の画素値特徴量と、前記画素値特徴生成手段によって前記第２の少なくとも１つの特徴点から生成された第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合する特徴照合手段と、
を備え、
前記第１の位置特徴量を生成するために使用する第１の少なくとも１つの特徴点と、前記第１の画素値特徴量を生成するために使用する第１の少なくとも１つの特徴点は同一であり、
前記第２の位置特徴量を生成するために使用する第２の少なくとも１つの特徴点と、前記第２の画素値特徴量を生成するために使用する第２の少なくとも１つの特徴点は同一であり、
前記画素値特徴量は、前記少なくとも１つの特徴点の画素値である、
特徴点照合装置。

【請求項2】

前記画素値特徴生成手段は、前記特徴点の画素値を複数値化して、複数値化した特徴点の画素値を示す画素値特徴量を生成する請求項１に記載の特徴点照合装置。

【請求項3】

前記少なくとも１つの特徴点は、前記特徴点が複数含まれる特徴点集合であり、
前記画像は、前記特徴点集合が複数含まれ、
前記位置特徴生成手段は、前記複数の特徴点集合毎に、前記位置特徴量を生成し、
前記画素値特徴生成手段は、前記複数の特徴点集合毎に、前記画素値特徴量を生成する、
請求項１又は２に記載の特徴点照合装置。

【請求項4】

前記特徴点照合装置は、所定の前記第１の画素値特徴量である第１の基準画素値特徴量に、当該第１の基準画素値特徴量と略一致する第１の画素値特徴量が生成された第１の特徴点集合から生成された第１の位置特徴量が関連付けられた関連情報が格納される特徴格納手段をさらに備え、
前記位置特徴生成手段は、前記第１の基準画素値特徴量と略一致する第１の画素値特徴量が生成された第１の特徴点集合から前記第１の位置特徴量を生成したとき、当該第１の基準画素値特徴量に当該生成した第１の位置特徴量を前記関連情報において関連付け、
前記特徴照合手段は、前記第２の画素値特徴量と略一致する第１の基準画素値特徴量を検出し、検出した第１の基準画素値特徴量に関連付けられた第１の位置特徴量と、前記第２の画素値特徴量が生成された第２の特徴点集合から生成された第２の位置特徴量とが略一致するか否かによって、前記第１の特徴点集合と前記第２の特徴点集合とを照合する、
かもしくは、
前記特徴点照合装置は、所定の前記第１の位置特徴量である第１の基準位置特徴量に、当該第１の基準位置特徴量と略一致する第１の位置特徴量が生成された第１の特徴点集合から生成された第１の画素値特徴量が関連付けられた関連情報が格納される特徴格納手段をさらに備え、
前記画素値特徴生成手段は、前記第１の基準位置特徴量と略一致する第１の位置特徴量が生成された第１の特徴点集合から前記第１の画素値特徴量を生成したとき、当該第１の基準位置特徴量に当該生成した第１の画素値特徴量を前記関連情報において関連付け、
前記特徴照合手段は、前記第２の位置特徴量と略一致する第１の基準位置特徴量を検出し、検出した第１の基準位置特徴量に関連付けられた第１の画素値特徴量と、前記第２の位置特徴量が生成された第２の特徴点集合から生成された第２の画素値特徴量とが略一致するか否かによって、前記第１の特徴点集合と前記第２の特徴点集合とを照合する、
請求項３に記載の特徴点照合装置。

【請求項5】

前記特徴点集合は、前記複数の特徴点が、所定の順序で順序付けられた特徴点配置であり、
前記位置特徴生成手段は、前記所定の順序に従った順序で、前記特徴点の位置に基づいた値が複数並べられた位置特徴量を生成し、
前記画素値特徴生成手段は、前記所定の順序に従った順序で、前記特徴点の画素値に基づいた値が複数並べられた画素値特徴量を生成する
請求項３又は４に記載の特徴点照合装置。

【請求項6】

前記位置特徴生成手段は、前記第１の位置特徴量を生成する第１の位置特徴生成手段と、前記第１の位置特徴生成手段による前記第１の位置特徴量の生成と並行して、前記第２の位置特徴量を生成する第２の位置特徴生成手段とを含み、
前記画素値特徴生成手段は、前記第１の画素値特徴量を生成する第１の画素値特徴生成手段と、前記第１の画素値特徴生成手段による前記第１の画素値特徴量の生成と並行して、前記第２の画素値特徴量を生成する第２の画素値特徴生成手段とを含む
請求項１乃至３のいずれか１項に記載の特徴点照合装置。

【請求項7】

前記特徴点照合装置は、
前記特徴照合手段によって、前記第１の少なくとも１つの特徴点と前記第２の少なくとも１つの特徴点とが略一致すると判定された場合に、当該第１の少なくとも１つの特徴点及び当該第２の少なくとも１つの特徴点に基づいて、前記第１の画像と前記第２の画像との間の変換内容を推定して、推定した変換内容に基づいて、前記第１の画像と前記第２の画像とを照合する画像照合手段をさらに備えた画像照合装置である
請求項１乃至６のいずれか１項に記載の特徴点照合装置。

【請求項8】

前記画像照合手段は、前記推定した変換内容に基づいて、前記第２の画像のうち、前記第１の画像に含まれる第１の領域に相当する第２の領域を特定して、当該第１の領域の特徴量と、当該第２の領域の特徴量とを比較することによって、前記第１の画像と前記第２の画像とを照合する
請求項７に記載の特徴点照合装置。

【請求項9】

第１の画像に含まれる第１の少なくとも１つの特徴点の位置に基づいた当該第１の少なくとも１つの特徴点に関する第１の位置特徴量の生成、当該第１の少なくとも１つの特徴点の画素値に基づいた当該第１の少なくとも１つの特徴点に関する第１の画素値特徴量の生成、第２の画像に含まれる第２の少なくとも１つの特徴点の位置に基づいた当該第２の少なくとも１つの特徴点に関する第２の位置特徴量の生成、及び、当該第２の少なくとも１つの特徴点の画素値に基づいた当該第２の少なくとも１つの特徴点に関する第２の画素値特徴量の生成、を実行し、
前記第１の位置特徴量と前記第２の位置特徴量との一致度合い、及び、前記第１の画素値特徴量と前記第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合するものであり、
前記第１の位置特徴量を生成するために使用する第１の少なくとも１つの特徴点と、前記第１の画素値特徴量を生成するために使用する第１の少なくとも１つの特徴点は同一であり、
前記第２の位置特徴量を生成するために使用する第２の少なくとも１つの特徴点と、前記第２の画素値特徴量を生成するために使用する第２の少なくとも１つの特徴点は同一であり、
前記第１の画素値特徴量は、前記第１の少なくとも１つの特徴点の画素値であり、
前記第２の画素値特徴量は、前記第２の少なくとも１つの特徴点の画素値である、
特徴点照合方法。

【請求項10】

第１の画像に含まれる第１の少なくとも１つの特徴点の位置に基づいた当該第１の少なくとも１つの特徴点に関する第１の位置特徴量の生成、当該第１の少なくとも１つの特徴点の画素値に基づいた当該第１の少なくとも１つの特徴点に関する第１の画素値特徴量の生成、第２の画像に含まれる第２の少なくとも１つの特徴点の位置に基づいた当該第２の少なくとも１つの特徴点に関する第２の位置特徴量の生成、及び、当該第２の少なくとも１つの特徴点の画素値に基づいた当該第２の少なくとも１つの特徴点に関する第２の画素値特徴量の生成、を実行する処理と、
前記第１の位置特徴量と前記第２の位置特徴量との一致度合い、及び、前記第１の画素値特徴量と前記第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合する処理と、
をコンピュータに実行させ、
前記第１の位置特徴量を生成するために使用する第１の少なくとも１つの特徴点と、前記第１の画素値特徴量を生成するために使用する第１の少なくとも１つの特徴点は同一であり、
前記第２の位置特徴量を生成するために使用する第２の少なくとも１つの特徴点と、前記第２の画素値特徴量を生成するために使用する第２の少なくとも１つの特徴点は同一であり、
前記第１の画素値特徴量は、前記第１の少なくとも１つの特徴点の画素値であり、
前記第２の画素値特徴量は、前記第２の少なくとも１つの特徴点の画素値である、
特徴点照合プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴点照合装置、特徴点照合方法、および特徴点照合プログラムに関し、特に、アフィン変換、射影変換等の幾何変換により画像が変形されていても高精度に特徴点を照合できる特徴点照合装置、特徴点照合方法、および特徴点照合プログラムに関する。

【背景技術】

【0002】

特徴点配置照合装置は、例えば、画像照合装置における一機能として画像照合装置中に包含されている。特許文献１に開示される画像照合装置には次のような特徴点配置照合機能が包含されている。なお、特許文献１では、順序つきの特徴点の座標列を特徴点配置として計算している。

【0003】

この機能は、原理的には、登録画像不変量計算モジュールと、検索画像不変量計算モジュールと、不変量一致判定モジュールとから構成されている。登録画像不変量計算モジュールは、登録画像から計算される特徴点配置から不変量を計算する。検索画像不変量計算モジュールは、検索画像の特徴点配置から不変量を計算する。このような構成を有する特徴点配置照合機能は、原理的には、次のように動作することにより特徴点配置の照合を実現している。まず、登録処理において登録画像の特徴点配置に含まれる各特徴点の位置座標から特徴ベクトルがあらかじめ求められる。次に、検索処理において検索画像の特徴点配置に含まれる各特徴点の位置座標から特徴ベクトルが求められる。次に、登録処理で得られた特徴ベクトルと検索処理から得られた特徴ベクトルの類似度を求める。そして、類似度があらかじめ与えられた範囲内かを判定することにより、特徴点配置の照合が行われている。

【0004】

特許文献１に開示される画像照合装置は、投影用アフィンパラメータ推定モジュールと、部分領域投影モジュールと、投影画像照合モジュールと、画像照合結果計算モジュールとを含んでいる。投影用アフィンパラメータ推定モジュールは、特徴点配置照合機能を構成する３つのモジュールを含む。この画像照合装置では、照合対象となる２つの画像において、一致と判定された特徴ベクトル対が計算された特徴点配置の対から、幾何変換パラメータを計算する。画像照合装置は、計算した幾何変換パラメータを利用して一方の画像を部分領域毎に他方に投影した上で部分領域毎に照合を行い、部分領域毎の照合結果を統合して最終的な画像照合結果を得るように動作している。

【0005】

特徴点配置の生成法に関しては、特許文献１に開示されるほかにも既知の方法が存在している。例えば、特許文献２に開示される文書画像特徴量生成装置を利用することも可能である。

【0006】

また、特許文献３に開示される画像照合装置には、次のような特徴点群照合機能が包含されている。なお、本出願においては、特徴点群と特徴点配置という用語を区別して用いる。特徴点群という用語は、単に特徴点の集合であることを示す。この特徴点群に属す各特徴点に対して順序が付けられているとき、順序つきの特徴点群のことを特徴点配置と呼ぶ。

【0007】

この機能は、原理的には、２つの画像特徴データ群生成部と、照合部とから構成されている。２つの画像特徴データ群生成部は、基本画像及びサンプル画像から、２次元ベクトル（Ｖ）と、走査点についての２次元画素位置（Ｒ）との対を計算する。２次元ベクトル（Ｖ）は、画像中の所定の条件を満たす走査点周辺の平均輝度の空間的勾配である。照合部は、２つの画像特徴データ群生成部によりそれぞれ計算された２次元ベクトル（Ｖ）と２次元画素位置（Ｒ）の関係を利用して、本来正しい特徴点群の対応をとった場合に特定の画素値に対する投票値が高くなるような投票処理を行う。この特徴点群照合機能は、まず、２つの画像特徴データ群により、２次元ベクトル（Ｖ）と２次元画素位置（Ｒ）を計算しておき、次に、照合部が動作することにより、特徴点群を照合する処理を実現する。

【0008】

特許文献３に開示される技術では、２次元ベクトルと２次元画素位置の関係に基づいた投票が行われている。従って、投票対象の２画像が互いに平行移動もしくは回転もしくはそれらの組み合わせの関係にある場合には有効な技術と考えられる。しかしながら、投票対象の２画像が互いに２次元アフィン変換や射影変換（平面を平面に映す任意の変換）の関係にある場合には原理的に適さない技術である。

【0009】

特許文献４に開示される画像照合方法は、画像照合の類似度を計算する方法である。この画像照合方法は、局所領域毎の照合結果に基づいて、対応する局所領域対の情報を元に幾何変換パラメータを推定する。次に、この画像照合方法は、推定された幾何変換パラメータに基づいて位置補正を行い、相対位置投票処理を行って、画像照合の類似度を計算する。この画像照合方法は、照合の結果対応付けられるのは、特徴点ではなく局所領域である。この画像照合方法は、適切に局所領域の対応を求めることができれば、原理的にはアフィン変換又は射影変換が起きていても適用可能な方法である。しかしながら、アフィン変換や射影変換が起きている場合には、局所領域の大きさが大きくなるに従い、局所領域の照合精度が落ちると考えられる。従って、結果として得られる画像照合の精度も落ちると考えられる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】国際公開第２０１０／０５３１０９号

【特許文献2】国際公開第２００８／０６６１５２号

【特許文献3】特開２００５−２２８１５０号公報

【特許文献4】特開２００１−０９２９６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

背景技術として説明した技術では、２次元平面上において、本来同一である２つの画像の一方で、アフィン変換や射影変換といった自由度の大きな幾何変換による変形が起きた場合に、特徴点群もしくは特徴点配置の照合を高精度に行うことが困難であるという問題がある。

【0012】

その理由は、上述した特徴点群もしくは特徴点配置の照合が、２次元アフィン変換や２次元射影変換といった自由度の大きな幾何変換による精度低下の影響を受けやすい方法（特許文献３に開示の方法）であるか、特徴点配置内の各特徴点の位置のみを利用して照合する方法だからである（特許文献１に開示の方法）である。

【0013】

以下、特許文献１の場合の問題点について、図１２と図１３を用いて、より詳細に説明する。図１２に図示されているのは、２種類の異なる画像の例である。図１３は図１２に示される２種類の異なる画像のそれぞれから特徴点を抽出した様子を説明するための概念図である。この例では、特徴点として画像を二値化した後に得られる連結成分の重心点を想定している。図１３中の黒点が特徴点の位置を示している。図１２に示される２つの画像は本来異なるものであるにも関わらず、それぞれの画像から得られる特徴点群は、図１３に示されるように同一もしくは類似した特徴点群となる。このため、両画像から得られる特徴点配置によって両者を識別することは非常に困難である。

【0014】

このような問題は、特徴点群、もしくは、特徴点配置の同一性を判定するための根拠として、各特徴点の位置のみを利用していることにより生じる。

【0015】

本発明の目的は、２次元アフィン変換及び２次元射影変換等の幾何変換が画像に対して行われている場合であっても、特徴点を高精度に照合できる特徴点照合装置、特徴点照合方法、及び、特徴点照合プログラムを提供することにある。

【課題を解決するための手段】

【0016】

本発明の第１の態様にかかる特徴点照合装置は、画像に含まれる少なくとも１つの特徴点の位置に基づいて、当該少なくとも１つの特徴点に関する位置特徴量を生成する位置特徴生成手段と、前記画像に含まれる少なくとも１つの特徴点の画素値に基づいて、当該少なくとも１つの特徴点に関する画素値特徴量を生成する画素値特徴生成手段と、前記位置特徴生成手段によって第１の画像に含まれる第１の少なくとも１つの特徴点から生成された第１の位置特徴量と、前記位置特徴生成手段によって第２の画像に含まれる第２の少なくとも１つの特徴点から生成された第２の位置特徴量との一致度合い、及び、前記画素値特徴生成手段によって前記第１の少なくとも１つの特徴点から生成された第１の画素値特徴量と、前記画素値特徴生成手段によって前記第２の少なくとも１つの特徴点から生成された第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合する特徴照合手段と、を備えたものである。

【0017】

本発明の第２の態様にかかる特徴点照合方法は、第１の画像に含まれる第１の少なくとも１つの特徴点の位置に基づいた当該第１の少なくとも１つの特徴点に関する第１の位置特徴量の生成、当該第１の少なくとも１つの特徴点の画素値に基づいた当該第１の少なくとも１つの特徴点に関する第１の画素値特徴量の生成、第２の画像に含まれる第２の少なくとも１つの特徴点の位置に基づいた当該第２の少なくとも１つの特徴点に関する第２の位置特徴量の生成、及び、当該第２の少なくとも１つの特徴点の画素値に基づいた当該第２の少なくとも１つの特徴点に関する第２の画素値特徴量の生成、を実行し、前記第１の位置特徴量と前記第２の位置特徴量との一致度合い、及び、前記第１の画素値特徴量と前記第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合するものである。

【0018】

本発明の第３の態様にかかる特徴点照合プログラムは、第１の画像に含まれる第１の少なくとも１つの特徴点の位置に基づいた当該第１の少なくとも１つの特徴点に関する第１の位置特徴量の生成、当該第１の少なくとも１つの特徴点の画素値に基づいた当該第１の少なくとも１つの特徴点に関する第１の画素値特徴量の生成、第２の画像に含まれる第２の少なくとも１つの特徴点の位置に基づいた当該第２の少なくとも１つの特徴点に関する第２の位置特徴量の生成、及び、当該第２の少なくとも１つの特徴点の画素値に基づいた当該第２の少なくとも１つの特徴点に関する第２の画素値特徴量の生成、を実行する処理と、前記第１の位置特徴量と前記第２の位置特徴量との一致度合い、及び、前記第１の画素値特徴量と前記第２の画素値特徴量との一致度合い、に基づいて、前記第１の少なくとも１つの特徴点と、前記第２の少なくとも１つの特徴点とを照合する処理と、をコンピュータに実行させる特徴点照合プログラムである。

【発明の効果】

【0019】

上述した本発明の各態様によれば、２次元アフィン変換及び２次元射影変換等の幾何変換が画像に対して行われている場合であっても、特徴点を高精度に照合できる特徴点照合装置、特徴点照合方法、及び、特徴点照合プログラムを提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施の形態にかかる特徴点照合装置の構成を示すブロック図である。

【図2】本発明の第１の実施の形態にかかる特徴配置照合装置のハードウェア構成の例を示す図である。

【図3】本発明の第１の実施の形態にかかる特徴点配置照合装置の構成を示すブロック図である。

【図4】本発明の第１の実施の形態にかかる特徴点配置照合装置の動作を示すフローチャートである。

【図5】本発明の第２の実施の形態における画素値特徴計算手段Ｒ２３１２の構成を示すブロック図である。

【図6】本発明の第２の実施の形態における画素値特徴計算手段Ｒ２３１２により計算される画素値特徴量の例を示すための図である。

【図7】本発明の第３の実施の形態にかかる特徴配置照合装置の構成を示すブロック図である。

【図8】本発明の第３の実施の形態において、位置特徴量が格納された様子の一例を説明するための図である。

【図9】本発明の第３の実施の形態の登録処理ＳＲ３の動作を示すフローチャートである。

【図10】本発明の第３の実施の形態の検索処理ＳＱ３の動作を示すフローチャートである。

【図11】本発明の実施の形態にかかる画像照合装置の構成例を示すブロック図である。

【図12】発明が解決しようとする課題を説明するための２種類の異なる画像の例である。

【図13】図１２に示される２種類の異なる画像のそれぞれから特徴点を抽出した様子を説明するための概念図である。

【発明を実施するための形態】

【0021】

発明の第１の実施の形態．
まず、図１を参照して本発明の第１の実施の形態にかかる特徴点配置照合装置１の概要となる特徴点照合装置５について説明する。図１は、本発明の第１の実施の形態にかかる特徴点照合装置５の構成を示すブロック図である。

【0022】

特徴点照合装置５は、位置特徴生成手段５１、画素値特徴生成手段５２、及び、特徴照合手段５３を有する。

【0023】

位置特徴生成手段５１は、画像に含まれる少なくとも１つの特徴点の位置に基づいて、少なくとも１つの特徴点に関する位置特徴量を生成する。画素値特徴生成手段５２は、画像に含まれる少なくとも１つの特徴点の画素値に基づいて、少なくとも１つの特徴点に関する画素値特徴量を生成する。
特徴照合手段５３は、位置特徴生成手段５１によって第１の画像に含まれる第１の少なくとも１つの特徴点から生成された第１の位置特徴量と、位置特徴生成手段５１によって第２の画像に含まれる第２の少なくとも１つの特徴点から生成された第２の位置特徴量との一致度合い、及び、画素値特徴生成手段５２によって第１の少なくとも１つの特徴点から生成された第１の画素値特徴量と、画素値特徴生成手段５２によって第２の少なくとも１つの特徴点から生成された第２の画素値特徴量との一致度合い、に基づいて、第１の少なくとも１つの特徴点と、第２の少なくとも１つの特徴点とを照合する。

【0024】

続いて、本発明の第１の実施の形態にかかる特徴点照合装置５の動作について説明する。

【0025】

位置特徴生成手段５１は、第１の画像に含まれる第１の少なくとも１つの特徴点が外部から入力される。位置特徴生成手段５１は、入力された第１の少なくとも１つの特徴点の位置に基づいて、第１の少なくとも１つの特徴点に関する第１の位置特徴量を生成する。画素値特徴生成手段５２は、第１の画像に含まれる第１の少なくとも１つの特徴点が外部から入力される。画素値特徴生成手段５２は、入力された第１の少なくとも１つの特徴点の画素値に基づいて、第１の少なくとも１つの特徴点に関する第１の位置特徴量を生成する。

【0026】

位置特徴生成手段５１は、第２の画像に含まれる第２の少なくとも１つの特徴点が外部から入力される。位置特徴生成手段５１は、入力された第２の少なくとも１つの特徴点の位置に基づいて、第２の少なくとも１つの特徴点に関する第２の位置特徴量を生成する。画素値特徴生成手段５２は、第２の画像に含まれる第２の少なくとも１つの特徴点が外部から入力される。画素値特徴生成手段５２は、入力された第２の少なくとも１つの特徴点の画素値に基づいて、第２の少なくとも１つの特徴点に関する第２の位置特徴量を生成する。

【0027】

特徴照合手段５３は、第１の位置特徴量と第２の位置特徴量との一致度合い、及び、第１の画素値特徴量と第２の画素値特徴量との一致度合い、に基づいて、第１の少なくとも１つの特徴点と第２の少なくとも１つの特徴点とを照合する。

【0028】

なお、第１の位置特徴量、第２の位置特徴量、第１の画素値特徴量、及び、第２の画素値特徴量の生成順序は、上述した順序に限られない。また、それらの特徴量のうち、任意の２つ以上の特徴量が並列して生成されるようにしてもよい。

【0029】

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
図２は、本発明の第１の最良の実施形態に係る特徴点配置照合装置１の構成を示すブロック図である。

【0030】

図１を参照すると、特徴点配置照合装置１は、例えばＣＰＵ（Central Processing Unit）などに代表される演算装置（以下、単にＣＰＵと呼ぶ。）７と、記憶媒体８とから構成されている。また、入出力インターフェイス９を備えていても良い。

【0031】

ＣＰＵ７は、以下で述べる各種手段を実装した各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、特徴点配置照合装置１の全体的な動作を司る。
記憶媒体８は各種ソフトウェア・プログラムとその実行に必要なデータを格納するための記憶媒体である。記憶媒体は、例えば、メモリ及びハードディスク等である。

【0032】

入出力インターフェイス９は、特徴点配置照合装置１の外部とのデータ通信に用いる。通信されるデータの例としては、特徴点配置照合装置１の外部から入力される特徴点配置データ、特徴点配置照合装置１が出力する特徴点配置照合結果データがあるが、これらに限られない。入出力インターフェイス９は、少なくともＣＰＵ７との通信ができればよい。入出力インターフェイス９は、例えば、外部からの信号を伝達できる通信線を接続するコネクタや、無線信号を受信する機器などを用いることができる。または、特徴点配置照合装置１内部の信号伝達経路の一部をそのまま用いることもできる。

【0033】

図３は、本発明の第１の最良の実施形態に係る特徴点配置照合装置１３における、ソフトウェア構成を示すブロック図である。図３を参照すると、特徴点配置照合装置１３は、特徴点番号付与手段Ｒ１２およびＱ１２、特徴計算手段Ｒ１３１およびＱ１３１、特徴照合手段１３２とから構成されている。

【0034】

ここで、特徴点番号付与手段Ｒ１２は、外部から入力された第１の特徴点群から後述する方法で各特徴点を順序付けすることで、第１の特徴点配置を計算する。以下では、特徴点群とは、各特徴点の位置座標および画素値を示す情報である。また、順序付けされた特徴点群のことを特徴点配置と呼ぶ。つまり、特徴点配置とは、各特徴点の位置座標、画素値、及び、順序を示す情報である。特徴点番号付与手段Ｒ１２は、第１の特徴点配置を特徴計算手段Ｒ１３１に出力する。また、特徴点は、画像の特徴を示す画像内の任意の点であれば、どのようなものであってもよい。例えば、特徴点は、画像を二値化した後に得られる１つ以上の連結領域の和領域の重心点や、画素値分布における特徴的な点等である。

【0035】

特徴点番号付与手段Ｑ１２は、外部から入力された第２の特徴点群から第２の特徴点配置を計算する。特徴点番号付与手段Ｑ１２は、第２の特徴点配置を特徴計算手段Ｒ１３１に出力する。

【0036】

また、特徴計算手段Ｒ１３１は入力された第１の特徴点配置から特徴を計算する。特徴計算手段Ｑ１３１は入力された第２の特徴点配置から特徴を計算する。特徴点番号付与手段Ｒ１２と特徴点番号付与手段Ｑ１２は、同一の構成であり、同一の動作を実行する。同様に、特徴計算手段Ｒ１３１と特徴計算手段Ｑ１３１は、同一の構成であり、同一の動作を実行する。ただし、特徴点が抽出された画像の性質が異なる場合などの場合は、その差異を吸収するために、特徴点番号付与手段Ｒ１２と特徴点番号付与手段Ｑ１２の間と、Ｒ特徴計算手段１３１と特徴計算手段Ｑ１３１の間の少なくとも一方で、構成もしくは動作の少なくとも何れかを変えても良い。

【0037】

以下の説明では、特に断りの無い限り、特徴点番号付与手段Ｒ１２と特徴点番号付与手段Ｑ１２は同様の構成であり、特徴計算手段Ｒ１３１と特徴計算手段Ｑ１３１は同様の構成であるとして説明する。なお、第１の特徴点群中の各特徴点にあらかじめ順序付けがされていればＲ１２は不要であり、第２の特徴点群中の各特徴点にあらかじめ順序付けがされていればＱ１２は不要である。

【0038】

特徴点番号付与手段Ｒ１２は、上述したように、第１の特徴点群から第１の特徴点配置を計算する。例えば、与えられた特徴点群（特徴点数ｎ個）の注目する点について次の（Ａ）から（Ｃ）までの処理を行うことにより、特徴点群の順序を得る。ここで、ｎは、任意の正整数である。

【0039】

（Ａ）まず、特徴点群から注目する１点の近傍ｍ個の点を選択する。ここで、ｍは、任意の正整数である。ｍは、例えば、ｎ未満の数のいずれかとする。（Ｂ）次に、ｍ個の点のうち注目する点に最も近い近傍の点を１点選び順序を１番とする。（Ｃ）注目する点を中心として、１番の特徴点の位置から時計回りにｍ−１個の特徴点を探索し、探索された順に２番からｍ番を選ぶ。順序付けを行う方法は必ずしもこの方法には限られない。これらの処理は、ｎ個の特徴点の中からあらかじめ与えられる１点を注目点としてもよいし、ｎ個の点を全て注目点とするまで上述の処理を繰り返しても良い。例えば、（Ｃ）では近傍ｍ個から特徴点配置を構成しているが、注目する１点を含めたｍ＋１個で特徴点配置を構成しても良い。

【0040】

特徴点番号付与手段Ｑ１２は、特徴点番号付与手段Ｒ１２と同様の方法で、第２の特徴点群から第２の特徴点配置を計算する。ここで、ｎとｍとの関係について具体例を挙げて説明する。１例としては、１つの画像に含まれる全ての特徴点を特徴点群（特徴点数ｎ個）とし、かつ、ｍ＋１＜ｎとして、入力された特徴点群のうち、ｍ個又はｍ＋１個ずつの特徴点を、特徴点配置とするようにしてもよい。他の例としては、１つの画像に含まれる全ての特徴点のうち、特徴点配置に相当する数の特徴点を特徴点群（特徴点数ｎ個）とし、かつ、ｍ＋１＝ｎとして、ｍ個又はｍ＋１個の特徴点を、特徴点配置とするようにしてもよい。つまり、後者の場合は、１つの画像から抽出された、特徴点配置に相当する数ずつの特徴点が、特徴点群として順次、特徴点番号付与手段Ｒ１２及びＱ１２に入力されていくことになる。

【0041】

特徴計算手段Ｒ１３１は、特徴点番号付与手段Ｒ１２から入力された第１の特徴点配置中の各特徴点の座標および画素値から、特徴点配置の照合に必要な第１の特徴セットを計算する。特徴計算手段Ｒ１３１は、位置特徴計算手段Ｒ１３１１と画素値特徴計算手段Ｒ１３１２とから構成される。

【0042】

位置特徴計算手段Ｒ１３１１は、特徴点番号付与手段Ｒ１２から入力された第１の特徴点配置に含まれる各特徴点の座標に基づいて、第１の特徴点配置に関する第１の位置特徴量を計算する。位置特徴計算手段Ｒ１３１１は、第１の特徴点配置の各特徴点の位置に基づいた特徴量を計算する。例えば、特許文献２に開示されるように、各特徴点の座標に基づいて計算される幾何変換不変量を要素とした特徴ベクトルを、位置特徴量として計算すればよい。具体的には、上述した順序付けによる順序を守ってｍ個の特徴点から所定数の特徴点を選択する場合にとり得る複数の組み合わせのそれぞれについて、選択した特徴点の座標から不変量を計算することによって特徴ベクトルを計算する。つまり、位置特徴量は、上述した順序付けによる順序に従って計算された幾何不変量が並べられた情報（特徴ベクトル）である。ここで、位置特徴量は、このような特徴ベクトルに限られない。例えば、特徴点配置に属する各特徴点の位置座標の組み合わせを位置特徴量としても良い。つまり、上述した順序付けによる順序に従って各特徴点の位置座標が並べられた情報を位置特徴量としてもよい。

【0043】

画素値特徴計算手段Ｒ１３１２は、特徴点番号付与手段Ｒ１２から入力された第１の特徴点配置に含まれる各特徴点の画素値に基づいて、第１の特徴点配置に関する第１の画素値特徴量を計算する。例えば、特徴点配置中の各特徴点の輝度値、又は、ＲＧＢ表色系、ＸＹＺ表色系もしくはＨＳＶ表色系といった色空間における点の座標値（ＲＧＢ空間内の点であれば、Ｒ成分の値とＧ成分の値とＢ成分の値に相当）を画素値特徴量として利用することができる。また、色空間上の点の座標値に基づいて計算される値、例えば、特徴量の各成分を適当な幅で正規化した値を使っても良い。画素値特徴量は、例えば、上述した順序付けによる順序に従って、上述した各特徴点の画素値が並べられた情報である。すなわち、画素値とは、例えば、輝度値及び色空間における座標値等である。特徴点の座標値が整数値でなく直接画素値を取得することができない場合は、特徴点周囲で画素値が定義されている点における座標と画素値および、それらの点と特徴点との位置関係から既知の方法を用いて推定される特徴点の画素値を利用することができる。例えば、既知の方法として線形補間を行うことができるが、これに限られない。以上のように、本実施形態において、第１の特徴セットは、第１の位置特徴量と第１の画素値特徴量とから構成される。特徴計算手段Ｒ１３１は、計算した第１の特徴セットを特徴照合手段１３２に出力する。

【0044】

特徴計算手段Ｑ１３１は、特徴点番号付与手段Ｑ１２から入力された第２の特徴点配置中の各特徴点の座標および画素値からの第２の特徴セットの計算を、特徴計算手段Ｒ１３１と同様に行うので、説明を省略する。特徴計算手段Ｑ１３１を構成する位置特徴計算手段Ｑ１３１１と画素値特徴計算手段Ｑ１３１２は、それぞれ、位置特徴計算手段Ｒ１３１１と画素値特徴計算手段Ｒ１３１２と同様であるので、説明を省略する。結果として、特徴計算手段Ｑ１３１によって、第２の位置特徴量と第２の画素値特徴量からなる、第２の特徴セットが計算される。特徴計算手段Ｑ１３１は、計算した第２の特徴セットを特徴照合手段１３２に出力する。

【0045】

特徴照合手段１３２は、特徴計算手段Ｒ１３１およびＱ１３１によって計算された、第１の特徴セットと第２の特徴セットを照合することにより、特徴点配置が同一であるかどうかを判定する。好適な一例では、特徴照合手段１３２は、位置特徴照合手段１３２１と画素値特徴照合手段１３２２と特徴点配置照合手段１３２３とから構成される。

【0046】

位置特徴照合手段１３２１は、第１の位置特徴量と第２の位置特徴量が同一のものであるかどうかを判定する。判定には既知の方法を使えばよい。例えば、位置特徴量をベクトルとみなしたときの、両ベクトル間の市街地距離、ユークリッド距離、ベクトルの内積、２つのベクトルがなす角度などを用いた既知の方法で類似度を計算する。そして、その計算された類似度が予め定められた一定の範囲内にある（通常、小さい値をとる）場合に一致すると判定する方法を用いればよい。つまり、位置特徴量が略一致した場合に、位置特徴量が一致したと判定するようにしてもよい。ここで、略一致とは、位置特徴量の一致度合いが、位置特徴量が完全に一致する場合を含む所定の範囲内となることである。位置特徴照合手段１３２１は、位置特徴量が一致したか否かを示す判定結果を特徴点配置照合手段１３２３に出力する。または、類似度をそのまま判定結果として出力することも可能である。

【0047】

画素値特徴照合手段１３２２は、第１の画素値特徴量と第２の画素値特徴量が同一のものであるかどうかを判定する。判定には既知の方法を使えばよい。例えば、特徴量をベクトルとみなしたときの、両ベクトル間の市街地距離、ユークリッド距離、ベクトルの内積、２つのベクトルがなす角度などを用いた既知の方法で類似度を計算する。そして、その計算された類似度が予め定められた一定の範囲内にある（通常、小さい値をとる）場合に一致すると判定する方法を用いればよい。つまり、画素値特徴量についても、位置特徴量と同様に、画素値特徴量が略一致した場合に、画素値特徴量が一致したと判定するようにしてもよい。画素値特徴照合手段１３２２は、位置特徴量が一致したか否かを示す判定結果を特徴点配置照合手段１３２３に出力する。または、類似度をそのまま判定結果として出力することも可能である。

【0048】

特徴点配置照合手段１３２３は、位置特徴照合手段１３２１が出力する判定結果と、画素値特徴照合手段１３２２が出力する判定結果とが入力される。特徴点配置照合手段１３２３は、入力されたそれぞれの判定結果に基づいて、第１の特徴点配置と第２の特徴点配置とが同一であるかどうかの判定を行う。例えば、位置特徴照合手段１３２１と画素値特徴照合手段１３２２がどちらも一致すると判定した場合に、特徴点配置が一致したと判定する。

【0049】

後述する動作の説明では、この方法を例として説明を行うが、この方法には限定されない。例えば、位置特徴照合手段１３２１が出力する類似度と、画素値特徴照合手段１３２２が出力する類似度を変数とする適当な関数をあらかじめ定めておく。そして、その関数に類似度を入力した結果、その関数が出力する値が、あらかじめ定めておいた一定の範囲内にあった場合に、特徴点配置が一致したと判定してもよい。つまり、特徴点配置が略一致した場合に、特徴点配置が一致したと判定するようにしてもよい。ここで、略一致とは、特徴点配置の一致度合いが、位置特徴量が完全に一致する場合を含む所定の範囲内となることである。

【0050】

なお、この関数は、位置特徴照合手段１３２１が出力する類似度が予め定められた一定の範囲内にあり、かつ、画素値特徴照合手段１３２２が出力する類似度が予め定められた一定の範囲内にある場合に、上述した一定の範囲内の値を出力する。また、この場合に、特徴点配置が一致するか否かを示す値を出力するようにしてもよい。特徴点配置照合手段１３２３は、特徴点配置照合結果を外部に出力する。特徴点配置照合結果は、例えば、特徴点配置が一致したか否かを示す情報である。

【0051】

ここで、上述した手段において入出力される、特徴点群、特徴点配置、位置特徴量、画素値特徴量、判定結果、及び、特徴点配置照合結果等は、厳密には、ＣＰＵ７によって取り扱い可能な情報となる。

【0052】

次に、図４のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

【0053】

まず、特徴計算手段Ｒ１３１が、特徴点番号付与手段Ｒ１２から入力された第１の特徴点配置から、第１の特徴セットを計算する（ステップＳ１０１）。特徴計算手段Ｒ１３１は、計算した第１の特徴セットを特徴照合手段１３２に出力する。次に、特徴計算手段Ｑ１３１が、特徴点番号付与手段Ｑ１２から入力された第２の特徴点配置から、第２の特徴セットを計算する（ステップＳ１０２）。特徴計算手段Ｑ１３１は、計算した第２の特徴セットを特徴照合手段１３２に出力する。

【0054】

次に、画素値特徴照合手段１３２２が、第１の特徴セットに含まれる第１の画素値特徴量と、第２の特徴セットに含まれる第２の画素値特徴量が同一であるかどうかを判定する（ステップＳ１０３）。第１の画素値特徴量と第２の画素値特徴量が同一であれば、画素値特徴照合手段１３２２は、画素値特徴量が一致したことを示す判定結果を特徴点配置照合手段１３２３に出力する。そして、位置特徴照合手段１３２１は、ステップＳ１０４の処理を行う。第１の画素値特徴量と第２の画素値特徴量が同一でなければ、画素値特徴照合手段１３２２は、画素値特徴量が不一致であることを示す判定結果を特徴点配置照合手段１３２３に出力する。これによって、特徴点配置照合手段１３２３は、特徴点配置照合結果を不一致として、結果「不一致」を外部に出力する（ステップＳ１０６）。

【0055】

ステップＳ１０４では、位置特徴照合手段１３２１が、第１の特徴セットに含まれる第１の位置特徴量と第２の特徴セットに含まれる第２の位置特徴量が同一であるかどうかを判定する（ステップＳ１０４）。第１の位置特徴量と第２の位置特徴量が同一であれば、位置特徴照合手段１３２１は、位置特徴量が一致したことを示す判定結果を特徴点配置照合手段１３２３に出力する。これによって、特徴点配置照合手段１３２３は、特徴点配置照合結果を一致として、結果「一致」を外部に出力する（ステップＳ１０５）。第１の位置特徴量と第２の位置特徴量が同一でなければ、位置特徴照合手段１３２１は、位置特徴量が不一致であることを示す判定結果を特徴点配置照合手段１３２３に出力する。これによって、特徴点配置照合手段１３２３は、上述したステップＳ１０６の処理を行う。

【0056】

なお、本実施形態の動作は、画素値特徴量および位置特徴量の双方が一致すれば特徴点配置として一致、そうでなければ不一致と判定する動作であればよく、上述した処理の順序を入れ替えたり、並列処理を行ったりしてもよい。例えば、特徴計算手段Ｑ１３１による第２の特徴セットの計算の後に、特徴計算手段Ｒ１３１による第１の特徴セットの計算を行うようにしてもよく、それぞれの計算を並列に行うようにしてもよい。また、例えば、位置特徴照合手段１３２１による位置特徴量が一致しているか否かの判定の後に、画素値特徴照合手段１３２２による画素値特徴量が一致しているか否かの判定を行うようにしてもよく、それぞれの判定を並列に行うようにしてもよい。

【0057】

なお、本実施の形態では、画素値特徴量が一致した場合に、位置特徴量の判定を行うようにしているが、これは、例えば、画素値特徴照合手段１３２２が、画素値特徴量が一致したことを示す判定結果を位置特徴照合手段１３２１に出力するようにして、位置特徴照合手段１３２１が判定結果に応じて位置特徴量の判定を行うようにすることで実現するようにしてもよい。位置特徴量が一致した場合に、画素値特徴量の判定を行うようにした場合についても同様である。

【0058】

また、本実施の形態では、第１の位置特徴量と第２の位置特徴量とのそれぞれを、特徴点配置において順序付けられた順序に従った順序の特徴量を含むように計算する場合について例示したが、これに限られない。第１の位置特徴量と第２の位置特徴量との一致を比較することができるように、それぞれの位置特徴量に含まれる値が対応付けられていればよい。ただし、好ましくは、本実施の形態のように、第１の位置特徴量と第２の位置特徴量とを同様の規則で計算することで、第１の位置特徴量と第２の位置特徴量との比較を容易にすることができ、位置特徴照合手段１３２１による処理量を削減することができる。これは、画素値特徴量についても同様である。

【0059】

また、本実施形態の構成および動作は、第１の画像から計算される１つ以上の特徴点配置のおのおのと、第２の画像から計算される１つ以上の特徴点配置のおのおのとを総当りで照合させる場合には、次のように構成及び動作を変更することもできる。具体的には、第１の画像に関する１つ以上の特徴点配置のおのおのから先に第１の特徴セットを計算しておいて記憶媒体８中に格納しておく。そして、第２の画像に関する特徴点配置のおのおのについて第２の特徴セットを計算する毎に、記憶媒体８から第１の特徴セットのおのおのを読み出して、計算した第２の特徴セットと照合するように構成しても良い。

【0060】

次に、本実施の形態の効果について説明する。
本実施の形態では、第１の特徴点配置と第２の特徴点配置から、第１の位置特徴量、第１の画素値特徴量、第２の位置特徴量、及び第２の画素値特徴量を計算し、これらを用いて特徴点配置の照合が判定されるように構成されている。ここで、画素値特徴量は、各特徴点配置をなんらかの方法で順序付けた場合の画素値の列を利用している。従って、特徴点配置が一致しているかどうかに関して、特徴点の位置のみを用いる手法よりも高精度に照合できる。

【0061】

その理由は、２次元アフィン変換や２次元射影変換といった自由度の大きな幾何変換の影響を受けていても、特徴点群もしくは特徴点配置中の各特徴点の位置だけでなく、各特徴点の画素値をも利用して、与えられた２つの特徴点配置が一致しているか否かを判定しているからである。

【0062】

発明の第２の実施の形態．
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
本発明の第２の実施の形態は、本発明の第１の実施の形態と共通する部分が多いため、相違する部分を中心に説明する。

【0063】

本発明の第２の実施の形態の構成が、本発明の第１の実施の形態の構成と異なる点は、画素値特徴計算手段Ｒ１３１２が画素値特徴計算手段Ｒ２３１２に変更されており、画素値特徴計算手段Ｑ１３１２が画素値特徴計算手段Ｑ２３１２に変更されているところである。これに伴い、特徴計算手段Ｒ１３１が特徴計算手段Ｒ２３１に変更されており、Ｑ１３１がＱ２３１に変更されている。なお、特徴計算手段Ｑ２３１及び画素値特徴計算手段Ｑ２３１２は、特徴計算手段Ｒ２３１及び画素値特徴計算手段Ｒ２３１２と同様であるため、説明及び図示を省略する。

【0064】

図５は、本発明の第２の実施形態における画素値特徴計算手段Ｒ２３１２の構成を示すブロック図である。本実施の形態における画素値特徴計算手段Ｒ２３１２は、第１の実施の形態の画素値特徴計算手段Ｒ１３１２が計算する画素値特徴の種類が後述するように限定されるよう構成されている。具体的には、画素値特徴計算手段Ｒ２３１２は、特徴点画素値二値化手段Ｒ２３１２１と画素値特徴生成手段Ｒ２３１２２とから構成される。

【0065】

特徴点画素値二値化手段Ｒ２３１２１は、特徴点番号付与手段Ｒ１２から入力される特徴点配置に属する各特徴点の画素値を二値化する。例えば、特徴点の画素値が輝度値である場合は、輝度値を既知の方法で二値化して得られる値を用いればよい。画素値がＲＧＢ、ＸＹＺ、及びＨＳＶ等の色空間上の点として表現される場合は、あらかじめ与えられる関数で１次元の数値を求め、その数値を二値化して得られる値を用いてもよい。または、色空間上で既知の方法を用いてクラスタリングを行い、適当な１つ以上のクラスタに属すか属さないかを判定することにより二値のいずれであるかを求めても良い。なお、各画素値が二値化されていることがあらかじめわかっている場合は、この手段は必ずしも必要ない。

【0066】

画素値特徴生成手段Ｒ２３１２２は、与えられている特徴点配置の各画素値に対して二値化を行った結果を利用して、画素値特徴量を生成する。具体的には、例えば、特徴点配置に属する各特徴点の順序に従って、各特徴点の画素値を二値化した結果を順に並べればよい。

【0067】

図６は、画素値特徴計算手段Ｒ２３１２により計算される画素値特徴量の例を示すための図である。図６中の黒点が特徴点の位置を表している。図６を参照すると、各特徴点の画素値を二値化して得られた結果がビット列の形式で表現されている。特徴点配置がｍ個の点を含んでいたとすると、この画素値特徴は２のｍ乗個のバリエーションを表現できる。また、この画素値特徴は１つの特徴点につき１ビットの情報量しか含まないため、コンパクトな特徴量と言える。例えば、ｍ≦８の場合は記憶容量１バイトの変数に格納できる。

【0068】

本発明の第２の実施の形態の動作は、本質的には、本発明の第１の実施の形態の動作と同一であるため、説明を省略する。

【0069】

次に、本実施の形態の効果について説明する。
本実施の形態では、画素値特徴として各特徴点の画素値を二値の何れかで表現したビットの列を計算するように構成されている。例えば、上述したようにｍ≦８の場合は記憶容量１バイトの変数に格納できるため、画素値特徴が一致するかどうかについての判定を、１バイト変数が一致するかどうかの判定に基づいて決定するように実装することができる。このように、本実施の形態で計算される画素値特徴はコンパクトであるため、高速な照合が実現できる。

【0070】

また、ここで指摘しておきたいことは、図４に示されるように、画素値特徴を照合した後に位置特徴を照合することが、特徴点配置の照合を高速に行うという観点からは、特に好適ということである。これは、画素値特徴が高速に照合できることによる。特に、位置特徴が一致するか否かの照合に時間がかかる場合、全体の特徴点配置照合にかかる処理時間を小さくする効果が大きい。

【0071】

なお、本実施の形態では、画素値を二値化した場合について例示したが、画素値を二値化以外の値に複数値化するようにしてもよい。例えば、画素値を四値化してもよい。例えば、元の画素値が０〜２５５で表現されているときに、その複数値よりも少ない四値化をした場合であっても、情報量を削減して、高速な照合を実現することができるからである。

【0072】

発明の第３の実施の形態．
次に、本発明の第３の実施の形態について説明する。
まず、本実施の形態を説明するための背景を述べる。例えば、本発明の第２の実施の形態を実施する場合で、照合対象となる第１の特徴点配置がｐ１個、第２の特徴点配置がｐ２個あり、第１の特徴点配置と第２の特徴点配置とのすべての組み合わせについて一致かどうか判定する問題を考える。ここで、ｐ１及びｐ２は、それぞれ任意の正整数である。この場合、位置特徴量もしくは画素値特徴量の少なくともいずれかの一致判定が必ずｐ１×ｐ２回行われることになる。例えば、図４のような照合を行うとすると、少なくとも画素値特徴の照合がｐ１×ｐ２回行われる。これは、本発明の第１の実施の形態でも同様である。本発明の第３の実施の形態は、位置特徴量および画素値特徴量の一致判定回数を削減することにより、さらに全体として高速な処理が行えるようにすることを実現した実施形態である。

【0073】

次に、本発明の第３の実施の形態について図面を参照して、構成、動作、および、本実施の形態に特有の効果について詳細に説明する。本実施形態は、本発明の第２の実施の形態と共通する部分が多いため、異なる部分のみ説明する。

【0074】

図７は、本発明の第３の実施の形態の構成を説明するための図である。図７を参照すると、本発明の第２の実施の形態と異なっているのは、特徴格納手段Ｒ３３３が含まれていることである。

【0075】

特徴格納手段Ｒ３３３は、典型的には記憶媒体８内に実装されるが、これに限られない。特徴格納手段Ｒ３３３は、位置特徴計算手段Ｒ１３１１が計算する位置特徴量が、画素値特徴計算手段Ｒ２３１２が計算する画素値特徴量の値に基づいて格納される。図８は、位置特徴量が格納された様子の一例を説明するための図である。なお、図８では、位置特徴量を「ｐ．ｆ．ｑ」として示す。この例では、位置特徴量がまったく格納されていない初期状態から、画素値特徴量を索引として、位置特徴量を要素としたリスト形式で、位置特徴量を格納した様子を示している。図８中の「ｐ」は次の要素へのポインタを表し、「終」は終端であることを表すポインタである。このような位置特徴量の格納がどのように行われるかについては、動作の説明で後述する。

【0076】

次に、本発明の第３の実施の形態の動作を説明する。
本実施の形態の動作は、登録処理ＳＲ３、検索処理ＳＱ３とからなる。登録処理ＳＲ３は、第１の特徴点配置すべてに関してあらかじめ第１の位置特徴量および第１の画素値特徴量を計算し、第１の位置特徴量を特徴格納手段Ｒ３３３に格納する処理である。検索処理ＳＱ３は、第２の特徴点配置に関する第２の位置特徴量および第２の画素値特徴量の計算を行う。そして、検索処理ＳＱ３は、計算した第２の画素値特徴量と、特徴格納手段Ｒ３３３に格納されている第１の画素値特徴量との照合を行うことにより、第１の特徴点配置と第２の特徴点配置の照合を行う。以下、登録処理ＳＲ３と検索処理ＳＱ３を、より詳細に説明する。

【0077】

図９は、登録処理ＳＲ３の動作を説明するためのフローチャートである。
まず、特徴計算手段Ｒ２３１は、ｐ１個ある第１の特徴点配置のうちの一つに対して第１の特徴セット（第１の位置特徴量および第１の画素値特徴量）を計算する（ステップＳＲ３０１）。

【0078】

次に、特徴計算手段Ｒ２３１は、計算した第１の位置特徴量を特徴格納手段Ｒ３３３に格納する（ステップＳＲ３０２）。このとき第１の位置特徴量は、計算された第１の画素値特徴量を索引とするリストの最後尾に連結される。すなわち、ステップＳＲ３０２では、次に記すステップＳＲ３０２１からＳＲ３０２３までの処理を順に実行していけばよい。なお、ステップＳＲ３０２１からＳＲ３０２３までの処理については、図示を省略している。

【0079】

まず、特徴計算手段Ｒ２３１は、計算された第１の画素値特徴量を索引とするリストの最後尾を見つける（ステップＳＲ３０２１）。特徴計算手段Ｒ２３１は、リストの最後尾に第１の位置特徴量を要素として付加する（ステップＳＲ３０２２）。特徴計算手段Ｒ２３１は、その要素に終端であることを表すポインタを付加する（ステップＳＲ３０２３）。また、特徴計算手段Ｒ２３１は、付加した要素の１つ前の要素のポインタを、新たに付加へのポインタに更新する。ステップＳＲ３０２が終了したら、特徴計算手段Ｒ２３１は、すべての第１の特徴点配置について特徴量の計算が終わったかどうかを判定する（ステップＳＲ３０３）。特徴計算手段Ｒ２３１は、すべての第１の特徴点配置について特徴量の計算が終わっていたら登録処理ＳＲ３を終了する。そうでなければまだ第１の位置特徴量の格納が行われていない第１の特徴点配置についてステップＳＲ３０１〜ＳＲ３０３の処理を行う。

【0080】

次に、検索処理ＳＱ３の動作を説明する。図１０は、検索処理ＳＱ３の動作を説明するためのフローチャートである。図１０を参照すると、まず、特徴計算手段Ｑ２３１は、ｐ２個ある第２の特徴点配置のうちの一つに対して第２の特徴セット（第２の位置特徴量および第２の画素値特徴量）を計算する（ステップＳＱ３０１）。特徴計算手段Ｑ２３１は、計算した第２の特徴セットを特徴照合手段１３２に出力する。

【0081】

次に、画素値特徴照合手段１３２２は、特徴格納手段Ｒ３３３に格納されるリストから、特徴計算手段Ｑ２３１から出力された第２の特徴セットに含まれる第２の画素値特徴量と一致する第１の画素値特徴量の索引を検索する。画素値特徴照合手段１３２２は、第２の画素値特徴量と一致する索引を検出した場合、検出した索引を位置特徴照合手段１３２１に出力する。さらに、この場合に、画素値特徴照合手段１３２２は、検出した索引のリストの第１要素へのポインタが終端でなければ、画素値特徴量が一致したことを示す判定結果を特徴点配置照合手段１３２３に出力する。逆に、画素値特徴照合手段１３２２は、検出した索引のリストの第１要素へのポインタが終端である場合、画素値特徴量が不一致となったことを示す判定結果を特徴点配置照合手段１３２３に出力する。リストに第１の位置特徴量が格納されていない場合は、そのリストの索引となる第１の画素値特徴量が計算される第１の特徴点配置は存在しなかったことになるからである。

【0082】

位置特徴照合手段１３２１は、画素値特徴照合手段１３２２から出力された索引のリストの第１要素へのポインタを取得し、取得した第１要素へのポイントを次の要素へのポインタとする（ステップＳＱ３０２）。

【0083】

次に、位置特徴照合手段１３２１は、取得した次の要素へのポインタが、終端であるかかどうかを判定する（ステップＳＱ３０３）。次の要素へのポインタが終端である場合、位置特徴照合手段１３２１は、そのリストでの検索を終了して、ステップＳＱ３０５の処理を行う。もし次の要素へのポインタが終端でなければステップＳＱ３０４の処理を行う。

【0084】

ステップＳＱ３０４の処理では、位置特徴照合手段１３２１は、次の要素に格納されている第１の位置特徴量と、特徴計算手段Ｑ２３１から出力された第２の特徴セットに含まれる第２の位置特徴量との照合を行って判定結果を特徴点配置照合手段１３２３に出力する。そして、位置特徴照合手段１３２１は、照合した第１の位置特徴量に付加されているポインタを、次の要素へのポインタとして取得する。そして、位置特徴照合手段１３２１は、再び、ステップＳＱ３０３の処理を行う。

【0085】

ステップＳＱ３０５の処理では、すべての第２の特徴点配置について照合が終了したかどうかが判定される。全ての第２の特徴点配置について照合が終了した場合、検索処理ＳＱ３を終了する。全ての第２の特徴点配置について照合が終了していない場合、まだ照合が行われていない第２の特徴点配置に関してＳＱ３０１の処理を行う。つまり、特徴照合手段１３２は、照合が行われていない第２の特徴点配置から計算した第２の特徴セットを特徴計算手段Ｑ２３１から取得して検索処理ＳＱ３を継続する。

【0086】

次に、本実施の形態の効果について説明する。本実施の形態では、登録処理において位置特徴を索引に基づいて分類して格納した上で、検索処理において画素値特徴量が索引と一致した特徴セットの位置特徴量のみを照合することにより、特徴点配置を照合するように構成されている。したがって、本発明の第１および第２の実施形態と比べて高速な照合が可能となる。

【0087】

具体的に説明すると、第２の実施の形態では、位置特徴量及び画素値特徴量のそれぞれの一致判定が、第１の特徴点配置の数ｐ１×第２の特徴点配置の数ｐ２回行われることになる。しかし、本第３の実施の形態では、画素値特徴量の一致判定が、画素値特徴量が一致する索引を検出するまでの比較回数で済み、位置特徴量の一致判定が、検出した索引に含まれる要素の数だけで済む。したがって、画素値特徴量及び位置特徴量の一致判定回数を削減することができる。特に、第１の特徴点配置の数及び第２の特徴点配置の数が多くなればなるほど、より一致判定回数を大幅に削減することができる。

【0088】

以上で説明した本発明の第３の実施形態では、画素値特徴量の値に基づいて位置特徴量を分類したが、位置特徴量の値に基づいて画素値特徴量を分類するように構成してもかまわない。また、実装に当たっては、位置特徴量が記憶媒体８に格納済みである場合には、記憶媒体８上の位置特徴格納領域へのポインタを利用して、リストを構成してもよい。

【0089】

また、本発明の第３の実施の形態においても、第１の実施の形態と同様に、第２の画素値特徴量と、索引となる第１の画素値特徴量とが略一致する場合にも、画素値特徴量が一致したと判定してもよい。つまり、画素値特徴照合手段１３２２は、特徴格納手段Ｒ３３３に格納されるリストから、第２の画素値特徴量と略一致する第１の画素値特徴量の索引を検出するようにしてもよい。また、位置特徴量についても、同様に、第１の位置特徴量と第２の位置特徴量が略一致した場合に、位置特徴量が一致したと判定するようにしてもよい。

【0090】

また、本発明の第３の実施の形態では、画素値を二値化した画素値特徴量をリストの索引とした場合について例示したが、これに限られない。例えば、画素値を二値化以外の値に複数値化した画素値特徴量を索引としてもよく、画素値を複数値化していない画素値特徴量を索引としてもよい。

【0091】

上述したような、各実施形態の特徴点配置照合装置１３は、画像照合装置における一機能として利用可能である。

【0092】

それは、背景技術で記載したように、画像照合装置における一機能として特徴点配置機能を有している技術があるためである。例えば、特許文献１に開示されるような画像照合装置の一機能として利用できることは、明らかである。

【0093】

例えば、図１１に例示するように、本実施の形態にかかる特徴点配置照合装置１３を含んだ画像照合装置として構成することができる。この画像照合装置は、特徴点抽出手段１２、本実施の形態にかかる特徴点配置照合装置１３、及び、画像照合手段１４を含む。

【0094】

画像照合装置は、第１の画像と第２の画像と照合する場合、特徴点抽出手段１２に第１の画像と第２の画像とを入力する。特徴点抽出手段１２は、第１の画像から特徴点を抽出して第１の特徴点群を計算する。また、特徴点抽出手段１２は、第２の画像から特徴点を抽出して第２の特徴点群を計算する。特徴点抽出手段１２は、計算した第１の特徴点群及び第２の特徴点群を特徴点配置照合装置１３に出力する。

【0095】

画像照合手段１４は、特徴点配置照合装置１３から出力される特徴点配置照合結果に基づいて、第１の画像と第２の画像とを照合する。具体的には、画像照合手段１４は、特徴点配置照合結果が第１の特徴点配置と第２の特徴点配置とが一致していたことを示す場合に、その第１の特徴点配置及び第２の特徴点配置に基づいて、第１の画像と第２の画像との間の幾何変換内容を推定する。幾何変換内容の推定に用いる第１の特徴点配置及び第２の特徴点配置は、例えば、特徴点配置照合装置１３が画像照合手段１４に出力するようにする。幾何変換内容は、例えば、第１の画像と第２の画像とを相互に変換する場合に使用される数式における幾何変換パラメータである。画像照合手段１４は、推定した幾何変換内容に基づいて、第１の画像と第２の画像とを照合する。

【0096】

具体的には、画像照合手段１４は、画像の照合において、幾何変換内容に基づいて、第１の画像に含まれる任意の第１の領域を、第２の画像に投影する。つまり、第２の画像のうち、第１の画像に含まれる第１の領域に相当する第２の領域を特定する。画像照合手段１４は、第１の領域の特徴量と、第２の領域の特徴量を計算して、第１の領域の特徴量と第２の領域の特徴量とを比較することによって第１の画像と第２の画像が一致するか否かを判定する。第２の領域から特徴量を計算する際には、一旦、第２の領域で指定される画像を、幾何変換内容に基づいて、第１の領域と同一の形状となるように変形した上で、計算するのが好適である。ここでの領域の特徴量は、領域の特徴を記述した値であれば、どのようなものであってもよい。領域の特徴量は、例えば、特許文献１に開示されているように、背景でない画素の存在比率や、部分領域中の画素値の和の値を領域面積で割った値等としてよい。

【0097】

これにより、アフィン変換や射影変換といった幾何学的変換に頑健な画像照合装置が実現できる。

【0098】

その理由は下記のとおりである。例えば、特許文献４に開示される方法では局所領域を照合単位としている。ところが、局所領域から抽出される特徴がアフィン変換や射影変換の影響を受けやすい。言い換えれば、第１の画像における局所領域から抽出される特徴と第２の画像における局所領域から抽出される特徴は異なりやすい。そのため、局所領域の照合はアフィン変換や射影変換の影響を受けやすい。

【0099】

これに対して、上述した本発明の各実施形態の特徴点配置照合装置では、特徴点配置に属する複数の特徴点位置における画素値を特徴点配置の照合に用いている。第１の画像中のある注目点における画素値は、第１の画像中の注目する点に対応する第２の画像中の点の画素値と、理想的には一致する。

【0100】

たとえば特許文献１に記載される画像照合装置では、特徴点配置の照合結果に基づき幾何変換パラメータを計算し、計算した幾何変換パラメータを用いて部分領域毎に投影と照合を行うようにしている。従って、本実施の形態における特徴点配置照合装置１３を適用した場合、画像照合を、アフィン変換や射影変換に対して頑健にすることができる。

【0101】

連結領域の重心を特徴点として照合する場合は、文字列画像の照合に好適である。文字列画像では、連結領域を計算しやすいからである。ここで、連結領域の重心は射影変換により本質的に位置ずれするため、照合精度に悪い影響があることが懸念される。しかしながら、文字は形状に関して多様なバリエーションを持つ。例えば、図１２に示したＨとＯのように、重心座標の画素値が図（文字）の色になりやすいものと、地の色になりやすいものとがある。したがって、地が単一色であるような文字列画像を照合対象とする場合は、特徴点を重心として照合する場合、射影変換に起因する重心が微小に位置ずれしただけで画素値が大きく変わるような複雑な画像である可能性は小さい。

【0102】

以上、上述した特徴点配置照合装置、および、画像照合装置の実施の形態において、各種手段をソフトウェアの形で実装する場合を例に説明した。しかしながら、各手段の一部、および全部をハードウェアで構成することも可能である。

【0103】

本発明によれば、検索用の画像に同一もしくは類似する画像を、あらかじめデータベースに格納された画像の中から検索する情報検索装置といった用途に適用できる。また、特開２０１０−２２４９４３に開示されるような、電子投票装置といった用途にも適用可能である。

【0104】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0105】

上述した本発明の実施の形態の各種手段を実現するプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、ＣＤ−ＲＯＭ(Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ(例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM）、ＥＰＲＯＭ(Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ(Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0106】

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

【0107】

この出願は、２０１１年２月２３日に出願された日本出願特願２０１１−０３７０６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0108】

１、１３ 特徴点配置照合装置
５ 特徴点照合装置
７ ＣＰＵ
８ 記憶媒体
９ 入出力インターフェイス
５１ 位置特徴生成手段
５２ 画素値特徴生成手段
５３、１３２ 特徴照合手段
１３２１ 位置特徴照合手段
１３２２ 画素値特徴照合手段
Ｒ１３１、Ｑ１３１、Ｒ２３１、Ｑ２３１、Ｒ３３１、Ｑ３３１ 特徴計算手段
Ｒ３３３ 特徴格納手段
Ｒ１３１１、Ｑ１３１１ 位置特徴計算手段
Ｒ１３１２、Ｑ１３１２、Ｒ２３１２、Ｑ２３１２ 画素値特徴計算手段
Ｒ２３１２１ 特徴点画素値二値化手段
Ｒ２３１２２ 画素値特徴生成手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】