特許 5945823 画像処理方法および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5945823

(24)【登録日】2016年6月10日

(45)【発行日】2016年7月5日

(54)【発明の名称】画像処理方法および画像処理装置

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160621BHJP

【ＦＩ】

   G06T7/00 300D

   G06T7/00 300F

【請求項の数】7

【全頁数】41

(21)【出願番号】特願2012-129238(P2012-129238)

(22)【出願日】2012年6月6日

(65)【公開番号】特開2013-254332(P2013-254332A)

(43)【公開日】2013年12月19日

【審査請求日】2015年6月5日

(73)【特許権者】

【識別番号】504159235

【氏名又は名称】国立大学法人 熊本大学

(73)【特許権者】

【識別番号】591038299

【氏名又は名称】株式会社ヒカリ

(74)【代理人】

【識別番号】100080160

【弁理士】

【氏名又は名称】松尾 憲一郎

(74)【代理人】

【識別番号】100149205

【弁理士】

【氏名又は名称】市川 泰央

(72)【発明者】

【氏名】上瀧 剛

(72)【発明者】

【氏名】内村 圭一

(72)【発明者】

【氏名】浅井 大介

(72)【発明者】

【氏名】竹葉 誠

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 国際公開第２０１２／０２９６６２（ＷＯ，Ａ１）

【文献】 上瀧 剛 Gou Koutaki，明るさ変動および雑音に頑健な固有値分解テンプレート法 Robust Template Matching against Intensity Variations and Noise Using Eigen Decomposed Templates，電気学会論文誌Ｃ Ｖｏｌ．１３１ Ｎｏ．９ IEEJ，日本，（社）電気学会 The Institute of Electrical Engineers of Japan，２０１１年 ９月 １日，第131巻，pp.1625-1632

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

照合の対象物の画像であるテンプレート画像を用いた照合を行うことで、入力画像に存在する照合の対象物の画像部分の幾何変換パラメータの値を決定する画像処理方法であって、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップと、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップと、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップと、
前記第１の画像群の各画像について、前記第２の画像群の各画像との相関を表す所定の実数である相関値を各成分の値とする相関値ベクトルを生成する相関値ベクトル生成ステップと、
前記入力画像の各画素について、前記第２の画像群の画像のうち次数が最も低い最低次数画像と前記入力画像との関係について算出される前記相関値に基づき、前記入力画像の画素のうち前記最低次数画像についての前記相関値が相対的に低い画素を処理対象から除外する画素除外ステップと、
前記入力画像について、前記相関値を各成分の値とする特徴ベクトルを生成する特徴ベクトル生成ステップと、
前記相関値ベクトル生成ステップで生成された複数の前記相関値ベクトルのうち、前記特徴ベクトルに最も近似する前記相関値ベクトルを選出するベクトル選出ステップと、
前記画素除外ステップにより除外された画素以外の処理対象となる画素について、前記ベクトル選出ステップにより選出された前記相関値ベクトルに対応する前記幾何変換パラメータの値の近傍の範囲で、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出ステップと、
前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップと、を備える、
画像処理方法。

【請求項2】

前記固有値分解ステップで算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する固有関数選択ステップをさらに備え、
前記第２の画像群生成ステップは、前記固有関数選択ステップで選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
請求項１に記載の画像処理方法。

【請求項3】

前記第２の画像群生成ステップで生成された第２の画像群の各画像のうち、前記固有値の大きな順に、所定の数の画像を選択する画像選択ステップをさらに備え、
前記相関値ベクトル生成ステップは、前記画像選択ステップで選択された画像について、前記相関値ベクトルを生成する、
請求項１または請求項２に記載の画像処理方法。

【請求項4】

前記幾何変換パラメータは、方向角および２次元座標値を含み、
前記幾何変換は、方向角を変化させる回転であり、
前記画像類似度算出ステップは、前記処理対象となる画素の全ての画素について、前記ベクトル選出ステップにより選出された前記相関値ベクトルに対応する方向角の値の近傍の範囲で、前記画像類似度を算出し、
前記照合ステップは、前記処理対象となる画素の全ての画素のうち、前記画像類似度算出ステップにより算出された前記画像類似度の最大値が最も大きな画素の位置を、前記幾何変換パラメータの２次元座標値の値として決定し、前記画像類似度の最大値が最も大きな画素についての前記最大値に対応する方向角を、前記幾何変換パラメータの方向角として決定する、
請求項１〜３のいずれか１項に記載の画像処理方法。

【請求項5】

入力画像を取得するための入力画像取得手段と、
照合の対象物の画像であるテンプレート画像を用いた照合を行うことで、入力画像に存在する照合の対象物の画像部分の幾何変換パラメータの値を決定する画像処理手段と、を備え、
前記画像処理手段は、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解部と、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、
前記第１の画像群の各画像について、前記第２の画像群の各画像との相関を表す所定の実数である相関値を各成分の値とする相関値ベクトルを生成する相関値ベクトル生成部と、
前記入力画像の各画素について、前記第２の画像群の画像のうち次数が最も低い最低次数画像と前記入力画像との関係について算出される前記相関値に基づき、前記入力画像の画素のうち前記最低次数画像についての前記相関値が相対的に低い画素を処理対象から除外する画素除外部と、
前記入力画像について、前記相関値を各成分の値とする特徴ベクトルを生成する特徴ベクトル生成部と、
前記相関値ベクトル生成部で生成された複数の前記相関値ベクトルのうち、前記特徴ベクトルに最も近似する前記相関値ベクトルを選出するベクトル選出部と、
前記画素除外部により除外された画素以外の処理対象となる画素について、前記ベクトル選出部により選出された前記相関値ベクトルに対応する前記幾何変換パラメータの値の近傍の範囲で、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出部と、
前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備える、
画像処理装置。

【請求項6】

前記画像処理手段は、
前記固有値分解部で算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する固有関数選択部をさらに備え、
前記第２の画像群生成部は、前記選択部で選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
請求項５に記載の画像処理装置。

【請求項7】

前記画像処理手段は、
前記第２の画像群生成部で生成された第２の画像群の各画像のうち、前記固有値の大きな順に、所定の数の画像を選択する画像選択部をさらに備え、
前記相関値ベクトル生成部は、前記画像選択部で選択された画像について、前記相関値ベクトルを生成する、
請求項５または請求項６に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テンプレート画像を用いた画像照合を行う画像処理方法および画像処理装置に関する。

【背景技術】

【0002】

従来から、部品の検査等を行うため、画像照合の技術が用いられている。画像照合の一例として、テンプレート画像を用いるものがある。テンプレート画像を用いた画像照合においては、例えば、良品であることが既知の部品が撮像され、その撮像された画像が用いられてテンプレート画像が予め準備される。そして、検査対象の部品を撮像することで得られる入力画像とテンプレート画像とが照合され、入力画像とテンプレート画像との比較により、検査対象の部品の検査が行われる。

【0003】

特に、産業用の画像処理においては、検査対象となる部品の位置および方向角を高精度に検出するために、予め与えたテンプレート画像と、入力画像とをサブピクセル精度で照合する処理が行われる（非特許文献１参照）。こうしたサブピクセル精度の画像照合技術としては、入力画像に対して、テンプレート画像を回転させながら照合を行う回転照合法が知られている。回転照合法は、テンプレート画像に対して幾何変換を行う、幾何変換を用いた画像照合技術である。

【0004】

回転照合法においては、テンプレート画像が回転および平行移動させられながら、入力画像との関係において画像の類似度を示す画像類似度が算出され、画像類似度のピーク値から、入力画像の方向角および座標値が検出される。つまり、回転照合法によれば、テンプレート画像が所定のピッチで回転および平行移動させられ、テンプレート画像が入力画像に最も近似する回転角度およびＸＹ座標値が探索されることで、入力画像の方向角および座標値が検出される。

【0005】

このような回転照合法において、検出精度を上げるためには、テンプレート画像が入力画像に最も近似する回転角度を探索するためのテンプレート画像の回転ピッチを細かくして照合回数を増やす必要がある。このため、回転照合法において検出精度を上げることは、処理時間の長期化を招く。一方で、処理時間を短縮するためにテンプレート画像の回転ピッチを粗く（大きく）すると、十分な検出精度を得ることが困難となる。

【0006】

そこで、画像照合法において処理時間を削減するために、テンプレート画像の回転ピッチを粗くして照合を行いつつ、所定の演算によって算出される画像類似度を、２次曲面あるいは２次曲線を用いて補間する方法がある（非特許文献２，３参照）。しかしながら、このように補間を行う方法によれば、補間による誤差が発生し、検出精度が低下する。

【0007】

このような回転照合法等の、幾何変換を用いた従来の画像照合技術に対して、少ない照合回数で同等の精度を確保することができ、処理時間を短縮することができる画像照合技術として、非特許文献４に記載された技術がある。非特許文献４の技術においては、様々な姿勢（方向角）の複数のテンプレート画像を固有値分解（主成分分析）によって圧縮することで固有値分解テンプレートが生成され、この固有値分解テンプレートと入力画像とを畳み込むことで、画像の類似度を示す相関値が算出される。そして、この算出された相関値に基づいて、入力画像についての方向角および２次元座標値が求められる。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】鷲見 和彦，金子 俊一，“マシンビジョン技術の実利用”，電気学会論文誌Ｃ，Ｖｏｌ．１２４，Ｎｏ．３，ｐｐ．５９８−６０５，２００４．

【非特許文献2】清水 雅夫，奥富 正敏，“画像のマッチングにおける高精度なサブピクセル推定手法”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４０９−１４１８，２００１．

【非特許文献3】清水 雅夫，奥富 正敏，“画像のマッチングにおけるサブピクセル推定の意味と性質”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．１７９１−１８００，２００２．

【非特許文献4】上瀧 剛、内村 圭一、“固有値分解テンプレートによる高精度な画像照合”, 電気学会論文誌Ｃ，ｖｏｌ．１２１，ｎｏ．１，ｐｐ．２３７−２３８，２０１１

【発明の概要】

【発明が解決しようとする課題】

【0009】

確かに、非特許文献４の手法によれば、幾何変換を用いた従来の画像照合技術と比べて、同等の精度を確保することができるとともに、処理時間の短縮を図ることができる。しかしながら、非特許文献４の手法では、入力画像の全ての画素についての相関値、および各画素での全ての姿勢（方向角）についての相関値が算出され、それらの相関値うちの最大値が探索される。このため、計算量が膨大となり、実用に際して処理時間の面で問題がある。

【0010】

そこで、本発明は、複数のテンプレート画像を固有値分解することで得られた固有値分解テンプレート画像に基づいて算出される、画像の類似度を示す相関値を用いた画像照合技術において、精度を維持しながら、計算量を大幅に削減することができ処理速度の向上を図ることができる画像処理方法および画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明の画像処理方法は、照合の対象物の画像であるテンプレート画像を用いた照合を行うことで、入力画像に存在する照合の対象物の画像部分の幾何変換パラメータの値を決定する画像処理方法であって、以下のステップを備える。
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップ。
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップ。
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップ。
前記第１の画像群の各画像について、前記第２の画像群の各画像との相関を表す所定の実数である相関値を各成分の値とする相関値ベクトルを生成する相関値ベクトル生成ステップ。
前記入力画像の各画素について、前記第２の画像群の画像のうち次数が最も低い最低次数画像と前記入力画像との関係について算出される前記相関値に基づき、前記入力画像の画素のうち前記最低次数画像についての前記相関値が相対的に低い画素を処理対象から除外する画素除外ステップ。
前記入力画像について、前記相関値を各成分の値とする特徴ベクトルを生成する特徴ベクトル生成ステップ。
前記相関値ベクトル生成ステップで生成された複数の前記相関値ベクトルのうち、前記特徴ベクトルに最も近似する前記相関値ベクトルを選出するベクトル選出ステップ。
前記画素除外ステップにより除外された画素以外の処理対象となる画素について、前記ベクトル選出ステップにより選出された前記相関値ベクトルに対応する前記幾何変換パラメータの値の近傍の範囲で、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出ステップ。
前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップ。

【0012】

また、本発明の画像処理方法は、前記固有値分解ステップで算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する固有関数選択ステップをさらに備え、前記第２の画像群生成ステップは、前記固有関数選択ステップで選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する。

【0013】

また、本発明の画像処理方法は、前記第２の画像群生成ステップで生成された第２の画像群の各画像のうち、前記固有値の大きな順に、所定の数の画像を選択する画像選択ステップをさらに備え、前記相関値ベクトル生成ステップは、前記画像選択ステップで選択された画像について、前記相関値ベクトルを生成する。

【0014】

また、本発明の画像処理方法において、前記幾何変換パラメータは、方向角および２次元座標値を含み、前記幾何変換は、方向角を変化させる回転であり、前記画像類似度算出ステップは、前記処理対象となる画素の全ての画素について、前記ベクトル選出ステップにより選出された前記相関値ベクトルに対応する方向角の値の近傍の範囲で、前記画像類似度を算出し、前記照合ステップは、前記処理対象となる画素の全ての画素のうち、前記画像類似度算出ステップにより算出された前記画像類似度の最大値が最も大きな画素の位置を、前記幾何変換パラメータの２次元座標値の値として決定し、前記画像類似度の最大値が最も大きな画素についての前記最大値に対応する方向角を、前記幾何変換パラメータの方向角として決定する。

【0015】

本発明の画像処理装置は、入力画像を取得するための入力画像取得手段と、照合の対象物の画像であるテンプレート画像を用いた照合を行うことで、入力画像に存在する照合の対象物の画像部分の幾何変換パラメータの値を決定する画像処理手段と、を備え、前記画像処理手段は、前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解部と、複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、前記第１の画像群の各画像について、前記第２の画像群の各画像との相関を表す所定の実数である相関値を各成分の値とする相関値ベクトルを生成する相関値ベクトル生成部と、前記入力画像の各画素について、前記第２の画像群の画像のうち次数が最も低い最低次数画像と前記入力画像との関係について算出される前記相関値に基づき、前記入力画像の画素のうち前記最低次数画像についての前記相関値が相対的に低い画素を処理対象から除外する画素除外部と、前記入力画像について、前記相関値を各成分の値とする特徴ベクトルを生成する特徴ベクトル生成部と、前記相関値ベクトル生成部で生成された複数の前記相関値ベクトルのうち、前記特徴ベクトルに最も近似する前記相関値ベクトルを選出するベクトル選出部と、前記画素除外部により除外された画素以外の処理対象となる画素について、前記ベクトル選出部により選出された前記相関値ベクトルに対応する前記幾何変換パラメータの値の近傍の範囲で、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出部と、前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備えるものである。

【0016】

また、本発明の画像処理装置において、前記画像処理手段は、前記固有値分解部で算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する固有関数選択部をさらに備え、前記第２の画像群生成部は、前記選択部で選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する。

【0017】

また、本発明の画像処理装置において、前記画像処理手段は、前記第２の画像群生成部で生成された第２の画像群の各画像のうち、前記固有値の大きな順に、所定の数の画像を選択する画像選択部をさらに備え、前記相関値ベクトル生成部は、前記画像選択部で選択された画像について、前記相関値ベクトルを生成する。

【発明の効果】

【0018】

本発明によれば、複数のテンプレート画像を固有値分解することで得られた固有値分解テンプレート画像に基づいて算出される、画像の類似度を示す相関値を用いた画像照合技術において、精度を維持しながら、計算量を大幅に削減することができ処理速度の向上を図ることができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る画像処理方法の概略の説明図。

【図2】本発明の一実施形態に係る画像処理方法の概略を示すフロー図。

【図3】本発明の一実施形態に係る画像処理方法の説明図。

【図4】本発明の一実施形態に係る画像処理における位置の絞込みについての説明図。

【図5】本発明の一実施形態に係る画像処理における相関波形を示す図。

【図6】本発明の一実施形態に係る画像処理における相関値ベクトルについての説明図。

【図7】本発明の一実施形態に係る画像処理における相関値ベクトルと特徴ベクトルとの関係を示す図。

【図8】本発明の一実施形態に係る画像処理における方向角の絞込みについての説明図。

【図9】本発明の一実施形態に係る画像処理装置の構成を示す図。

【図10】本発明の一実施形態に係る画像処理装置の制御ブロック図。

【図11】本発明の一実施形態に係る画像処理装置の画像処理の説明図。

【図12】本発明の一実施形態の係る画像処理の処理手順の一例を示すフロー図。

【図13】本発明の一実施形態の係る画像処理の処理手順の一例を示すフロー図。

【図14】本発明の一実施形態の係る画像処理の処理手順の一例を示すフロー図。

【図15】本発明の実施例としての評価実験の結果を示す図。

【図16】本発明の実施例としての評価実験の結果を示す図。

【発明を実施するための形態】

【0020】

本発明は、複数のテンプレート画像を固有値分解することで得られた固有値分解テンプレート画像に基づいて算出される、画像の類似度を示す相関値を用いることで、入力画像中に存在する対象物の幾何変換パラメータを推定するものである。そして、本発明は、入力画像と固有値分解テンプレート画像との照合を行うに際し、固有値分解テンプレート画像の畳込みの結果を利用し、入力画像において対象物が存在する領域（位置）の絞込みと、推定する幾何変換パラメータの値（方向角等）の範囲の絞込みとを行うことで、高速かつ高精度な照合を行おうとするものである。以下、本発明の実施の形態を説明する。

【0021】

［画像処理方法の目的］
図１に示すように、本実施形態に係る画像処理方法は、照合の対象物の画像であるテンプレート画像１を用いた照合を行うことで、入力画像２に存在する照合の対象物の画像部分である対象画像部分３の幾何変換パラメータの値を決定する。ここで、幾何変換パラメータとしては、例えば、方向角および２次元座標値（ＸＹ座標値）が用いられる。

【0022】

すなわち、本実施形態の画像処理方法では、入力画像２に対して、テンプレート画像１の照合が行われることにより、テンプレート画像１の入力画像２に対する近似度合いである画像類似度が最も高くなる方向角および２次元座標値を求める処理が行われる。したがって、本実施形態の画像処理方法によれば、照合結果として、テンプレート画像１を基準とする入力画像２中の対象画像部分３の方向角および２次元座標値が求められる。

【0023】

具体的には、図１に示すように、照合結果に含まれる方向角としては、例えば、テンプレート画像１の方向角を示す基準線Ｏ１に対する、対象画像部分３の傾き（回転角度）θが求められる。また、照合結果に含まれる２次元座標値としては、例えば、入力画像２における所定の位置（図１に示す例では、入力画像２の左上の角の位置）を原点Ｏ２とした場合の対象画像部分３の中心位置Ｃ１の２次元座標値（ＸＹ座標値）が求められる。

【0024】

本実施形態の画像処理方法は、例えば、部品の検査等を行うための産業用の画像処理に用いられる。このため、本実施形態の画像処理方法において、テンプレート画像１は、例えば、検査対象となる部品と同じ部品がカメラ等の撮像手段によって撮像されることにより取得され、予め準備される。入力画像２は、例えば、部品の検査においては、検査対象となる部品をカメラ等の撮像手段によって撮像することにより取得され、テンプレート画像１の照合の対象となる。以下では、本実施形態の画像処理方法の具体的な処理内容について説明する。

【0025】

［画像処理方法の概略］
本実施形態の画像処理方法の概略について、図２に示すフロー図を用いて説明する。図２に示すように、本実施形態の画像処理では、まず、テンプレート画像１の入力が行われる（Ｓ１０）。ここでは、上述したようにカメラ等の撮像手段によって取得されて予め準備されたテンプレート画像１が、本実施形態の画像処理方法を実行するコンピュータ等の演算装置に入力される。

【0026】

次に、固有値分解テンプレート画像の生成が行われる（Ｓ２０）。ここで、固有値分解テンプレート画像とは、上記のとおり入力されたテンプレート画像１に幾何変換を施し、その幾何変換後のテンプレート画像に固有値分解を施すことで得られる固有関数と、幾何変換後のテンプレート画像とから得られる画像である。

【0027】

次に、辞書の生成が行われる（Ｓ３０）。ここで、辞書とは、上述した固有値分解テンプレート画像と入力画像２との照合によって、幾何変換後のテンプレート画像の各画像に対応して得られるベクトル群である。

【0028】

次に、入力画像２の入力が行われる（Ｓ４０）。ここでは、上述したように例えば検査対象となる部品がカメラ等の撮像手段によって撮像することにより取得された入力画像２が、コンピュータ等の演算装置に入力される。

【0029】

続いて、３段階の絞込みをともなう画像照合が行われる（Ｓ５０）。この画像照合の過程で行われる絞込みには、入力画像２において対象物が存在する領域、つまり対象画像部分３を含む画像領域を推定することによる、処理対象となる画素の絞込みと、決定する幾何変換パラメータの値の範囲の絞込みとが含まれる。この画像照合の結果として、入力画像２についての方向角と２次元座標値（ＸＹ座標値）とが検出される。

【0030】

そして、ステップＳ５０における画像照合の結果に基づき、入力画像２についての方向角および２次元座標値が、それぞれ検出姿勢および検出位置として出力される（Ｓ６０）。このように、本実施形態の画像処理方法では、決定すべき幾何変換パラメータとして、入力画像２についての方向角および２次元座標値が採用される。以下では、本実施形態の画像処理方法の詳細な処理内容について説明する。

【0031】

［画像処理方法の詳細］
本実施形態の画像処理方法においては、テンプレート画像１に幾何変換を加えて第１の画像群としての変換後テンプレート画像群を生成する処理が行われる。つまり、変換後テンプレート画像群は、幾何変換後のテンプレート画像１（以下「変換後テンプレート画像」という。）、言い換えるとテンプレート画像１に幾何変換を加えたものからなる画像群である。テンプレート画像１に加えられる幾何変換としては、例えば、方向角を変化させる回転や、２次元座標値を変化させる平行移動が行われる。

【0032】

具体的には、テンプレート画像１に加える幾何変換として、方向角を変化させる回転が行われる場合、例えば、テンプレート画像１を１°ピッチで回転させることで、変換後テンプレート画像群を生成する処理が行われる。この処理によれば、方向角が１°ピッチで異なる３６０枚の変換後テンプレート画像が生成され、この３６０枚の変換後テンプレート画像が、変換後テンプレート画像群として得られる。

【0033】

また、テンプレート画像１に加える幾何変換として、２次元座標値を変化させる平行移動が行われる場合、例えば、テンプレート画像１が１２８×１２８（ピクセル）の場合において、テンプレート画像１の中心位置（中心の２次元座標値）を８×８（ピクセル）の範囲で１（ピクセル）ピッチで平行移動させることで、変換後テンプレート画像群を生成する処理が行われる。この処理によれば、中心位置（中心の２次元座標値）が１（ピクセル）ピッチで異なる６４枚の変換後テンプレート画像が生成され、この６４枚の変換後テンプレート画像が、変換後テンプレート画像群として得られる。

【0034】

このように、本実施形態の画像処理方法においては、テンプレート画像１に幾何変換を加えることで、幾何変換の量が異なる複数の変換後テンプレート画像からなる変換後テンプレート画像群を生成する第１の画像群生成ステップが行われる。ここで、幾何変換の量は、幾何変換が方向角の場合、テンプレート画像１の方向角を基準とした画像の回転量に対応し、幾何変換が２次元座標値の場合、テンプレート画像１の２次元座標値を基準とした画像の平行移動量に対応する。したがって、幾何変換の量は、幾何変換パラメータの値の大きさに対応する。

【0035】

なお、テンプレート画像１に加える幾何変換としては、方向角および２次元座標値のほか、例えば、画像の歪み、ぼけの量、焦点深度、台形歪み等の画像歪み等であってもよい。また、テンプレート画像１に加える幾何変換としては、前記のような幾何変換のいずれか一つが用いられる場合に限らず、複数の幾何変換が組み合わせて用いられてもよい。

【0036】

本実施形態の画像処理方法においては、変換後テンプレート画像群に固有値分解を施して固有値および固有関数を算出する処理が行われる。ここでは、変換後テンプレート画像群を構成する変換後テンプレート画像と同数の固有値および固有関数が算出される。

【0037】

したがって、上述したように、テンプレート画像１に加える幾何変換として方向角が用いられ、３６０枚の変換後テンプレート画像からなる変換後テンプレート画像群が生成される場合、その３６０枚の画像からなる変換後テンプレート画像群に対して固有値分解が行われ、３６０個の固有値および固有関数が得られる。また、テンプレート画像１に加える幾何変換として２次元座標値が用いられ、６４枚の変換後テンプレート画像からなる変換後テンプレート画像群が生成される場合、その６４枚の画像からなる変換後テンプレート画像群に対して固有値分解が行われ、６４個の固有値および固有関数が得られる。

【0038】

固有値分解を施すことで算出される固有関数としては、例えば、図３に示すように、波形ｐ１〜ｐ３で表わされる固有関数φ_１（θ）〜φ_３（θ）が得られる。これらの固有関数群は、主成固有関数群と言える。波形ｐ１〜ｐ３を示す各グラフにおいて、横軸はテンプレート画像１を基準とする方向角（θ）を示し、縦軸は固有関数値を示す。波形ｐ１〜ｐ３に示すように、固有関数として得られる波形は、方向角について固有関数値が連続的に存在する連続波形である。

【0039】

固有関数においては、図３の波形ｐ１〜ｐ３に示すように、方向角の変化にともなって固有関数値が周期的に変動する。これらの固有関数は、本実施形態の画像処理方法において、後述する相関値（ｒ_ｎ）が掛け合わせられることで、画像類似度を表す関数（Ｐ_ｎ（θ））として算出される。

【0040】

このように、本実施形態の画像処理方法においては、第１の画像群生成ステップの後に、変換後テンプレート画像群に固有値分解を施すことで、複数の変換後テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップが行われる。

【0041】

本実施形態の画像処理方法においては、上記のとおり算出された複数の固有関数と変換後テンプレート画像群とを内積演算して新たな画像群を生成する処理が行われる。ここで生成される新たな画像群が、本実施形態での第２の画像群に相当する。以下の説明では、ここで生成される新たな画像群を「固有値分解テンプレート画像群」という。

【0042】

固有値分解テンプレート画像群としては、例えば、図３において固有値分解テンプレート画像Ｅ１〜Ｅ３に示すような複数の画像が得られる。各固有値分解テンプレート画像Ｅ１〜Ｅ３は、固有関数を表す各波形ｐ１〜ｐ３にそれぞれ対応する。

【0043】

このように、本実施形態の画像処理方法においては、固有値分解ステップの後に、複数の固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する第２の画像群生成ステップが行われる。

【0044】

本実施形態の画像処理方法においては、入力画像２について、固有値分解テンプレート画像群に対する画像類似度を算出する処理が行われる。

【0045】

画像類似度の算出の原理について説明する。なお、ここでは、上述した第１の画像群生成ステップでテンプレート画像１に加えられる幾何変換が方向角であるとして説明する。

【0046】

テンプレート画像１をＴ（ｘ，ｙ）、入力画像２をｆ（ｘ，ｙ）、テンプレート画像Ｔ（ｘ，ｙ）をθ回転させた画像、つまり変換後テンプレート画像をＴ（ｘ，ｙ；θ）でそれぞれ表すとすると、テンプレート画像１と入力画像２との画像類似度ｇ（θ）は、次式（１）により計算される。なお各画像を表すｘ，ｙは、画像におけるピクセルの２次元座標値を示す。

【0047】

【数1】

【0048】

ｇ（θ）をθ方向に沿って固有関数列φ_ｎ（θ），（ｎ＝０，１，２，・・・）で展開を行うと、次式（２）となる。

【0049】

【数2】

【0050】

上記式（２）の積分演算の順序を交換して次式（３）が得られる。

【0051】

【数3】

【0052】

ここで、次式（４）として定義するＥ_ｎ（ｘ，ｙ）は、変換後テンプレート画像Ｔ（ｘ，ｙ；θ）と固有関数φ_ｎ（θ）との内積で計算される画像、つまり固有値分解テンプレート画像となる。

【0053】

【数4】

【0054】

上記式（４）で表わされる画像は、入力画像ｆ（ｘ，ｙ）と分離して計算することができる。したがって、事前にＥ_ｎ（ｘ，ｙ）を計算しておくことで、その後、入力画像ｆ（ｘ，ｙ）が与えられることにより、Ｅ_ｎ（ｘ，ｙ）との照合結果から、全方向角の画像類似度（ｇ（θ））を計算することができる。

【0055】

全方向角の画像類似度（ｇ（θ））としては、例えば、図３に示すように、波形ｐ１〜ｐ３で表わされる固有関数φ_１（θ）〜φ_３（θ）が所定の比率で足し合わせることで得られる波形ｑｓが算出される。波形ｑｓに示すように、全方向角の画像類似度（ｇ（θ））として得られる波形は、方向角について画像類似度が連続的に存在する連続波形（連続曲線）である。つまり、画像類似度（ｇ（θ））は、方向角（θ）方向についての画像類似度の分布を表す。

【0056】

画像類似度（ｇ（θ））は、具体的には次のようにして算出される。図３に示す例では、固有関数φ_１（θ）〜φ_３（θ）には、それぞれ相関値ｒ_１〜ｒ_３が掛け合わされる。固有関数φ_１（θ）〜φ_３（θ）に相関値ｒ_１〜ｒ_３が掛け合わされることで、画像類似度を表す関数Ｐ_１（θ）〜Ｐ_３（θ）が算出される。図３に示すように、関数Ｐ_１（θ）〜Ｐ_３（θ）は、固有関数φ_１（θ）〜φ_３（θ）としての波形ｐ１〜ｐ３が所定の比率で表された波形ｑ１〜ｑ３により表され、この所定の比率が、相関値ｒ_１〜ｒ_３に相当する。関数Ｐ_１（θ）〜Ｐ_３（θ）を表す波形ｑ１〜ｑ３を示す各グラフにおいて、横軸はテンプレート画像１を基準とする方向角（θ）を示し、縦軸は画像類似度を示す。そして、関数Ｐ_１（θ）〜Ｐ_３（θ）が足し合わされることで、波形ｑｓで表される画像類似度（ｇ（θ））が算出される。ここで、相関値ｒ_ｎは、固有値分解テンプレート画像群の各固有値分解テンプレート画像との相関を表す所定の実数であり、入力画像２の場合は、固有値分解テンプレート画像群の各固有値分解テンプレート画像と入力画像２との相関を表す所定の実数であり、次式（５）として定義される。

【0057】

【数5】

【0058】

このように、相関値ｒ_ｎは、ｆ（ｘ，ｙ）で表される入力画像２と、上記式（４）で表される固有値分解テンプレート画像群との内積値となる。したがって、上記式（３）および式（５）から、画像類似度（ｇ（θ））は、次式（６）により表わされる。
ｇ（θ）＝Σｒ_ｎ×φ_ｎ（θ） ・・・（６）

【0059】

以上のように、本実施形態の画像処理方法においては、連続曲線で表され入力画像２と固有値分解テンプレート画像群との類似度合いを示す画像類似度を算出する処理が行われる。また、画像類似度の算出に用いられる相関値ｒ_ｎは、入力画像２についての各固有値分解テンプレート画像に対する「応答値」ということができる。本明細書では、固有値分解テンプレート画像群と入力画像２とから相関値ｒ_ｎを算出することを「畳込み」といい、相関値ｒ_ｎを算出するための演算を「畳込み演算」という。

【0060】

そして、本実施形態の画像処理方法では、上記のとおり算出された画像類似度（ｇ（θ））に基づいて、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値（実数値）を決定する処理が行われる。つまり、この処理では、テンプレート画像１と入力画像２との照合が、上記のとおり算出された画像類似度（ｇ（θ））の値を指標として行われる。

【0061】

具体的には、図３に示すように、画像類似度（ｇ（θ））である波形ｑｓにおいて、画像類似度が最大となる方向角θａが、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値として決定される。つまり、本実施形態の画像処理方法の照合結果として、テンプレート画像１を基準とする入力画像２の方向角が、方向角θａとして算出される。

【0062】

ここで、照合結果として得られた方向角θａは、テンプレート画像１の方向角を基準（０°）とした場合における画像の回転角度に対応する。つまり、この場合、テンプレート画像１が３６０°回転する範囲において、角度θａ回転させられた状態のテンプレート画像１が、入力画像２との関係において画像類似度が最も高くなる。

【0063】

また、本実施形態の画像処理方法においては、上述したように変換後テンプレート画像群に固有値分解を施す固有値分解ステップの後に、固有値分解ステップで算出された複数の固有関数のうち、固有値の大きな順に、所定の数の固有関数を選択する固有関数選択ステップが行われる。

【0064】

本実施形態の画像処理方法においては、固有値分解ステップにおいて、複数の変換後テンプレート画像と同数の固有値および固有関数が算出される。つまり、上記のとおり１°ピッチの回転がテンプレート画像１に対して幾何変換として加えられることで３６０枚の変換後テンプレート画像が得られる場合、３６０個の固有値および固有関数が算出される。この場合、固有値分解テンプレート画像群の生成に際して全ての固有関数が用いられると、固有値分解テンプレート画像群は、３６０枚の固有値分解テンプレート画像となる。

【0065】

そこで、固有値分解ステップで算出された変換後テンプレート画像と同数の固有関数のうち、所定の数の固有関数が選択される。そして、固有関数の選択は、固有値が大きい方から行われる。つまり、固有関数選択ステップにおいては、固有値分解ステップで算出された複数の固有関数のうち、固有値が大きい側から所定の数だけ選択される。したがって、例えば、上記のとおり３６０個の固有関数が算出される場合、そのうち固有値が大きい側の６０個の固有関数が選択される。このことは、固有値が大きい固有関数ほど、最終的に算出される、入力画像２と固有値分解テンプレート画像群との画像類似度に対する影響が大きい（寄与度が高い）ことに基づく。

【0066】

このような固有関数選択ステップが行われる場合、上述した第２の画像群生成ステップにおいては、固有関数選択ステップで選択された複数の固有関数と変換後テンプレート画像群との内積演算が施されることで、固有値分解テンプレート画像群が生成される。つまり、固有関数選択ステップによれば、固有値分解ステップで算出された複数の固有関数のうち、固有値が大きい側の一部の固有関数が用いられて、固有値分解テンプレート画像群の生成が行われる。

【0067】

このような固有関数選択ステップは、具体的には、上記式（３）において、級数を所定の数で打ち切り近似することに対応する。ここで、式（３）の級数をＭ個で打ち切り近似する場合、式（３）は、次式（７）で表わされる。

【0068】

【数6】

【0069】

このとき、少ない次数Ｍでｇ（θ）を近似することができる固有関数列φ_ｎ（θ）を選ぶことにより、全方向角での画像類似度が、Ｍ枚の画像Ｅ_ｎ（ｘ，ｙ）との照合により計算することができる。そして、固有関数列φ_ｎ（θ）の選び方として、変換後テンプレート画像列Ｔ（ｘ，ｙ；θ）の固有値λ_ｎおよび固有関数φ_ｎ（θ）を算出し、固有値の大きな順から、Ｍ個の固有関数を選ぶ。

【0070】

具体的には、θ＝｛θ_１，θ_２，・・・，θ_Ｎ｝と離散化して得られるベクトルφ_ｎ、テンプレート画像Ｔ_ｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ；θ_ｉ）として、次式（８）の行列固有値問題を解くことで、固有ベクトルφ_ｎおよび固有値λ_ｎが得られる。
Ｃφ_ｎ＝λ_ｎφ_ｎ ・・・（８）

【0071】

ここで、行列Ｃは、ｉ行ｊ番目の要素を、次式（９）とする共分散行列である。

【0072】

【数7】

【0073】

式（９）において、μ_ｉは、Ｔ_ｉ（ｘ，ｙ）の平均濃度値である。本固有ベクトルを用いて得られる画像Ｅ_ｎ（ｘ，ｙ）が、固有値分解テンプレート画像に相当する。

【0074】

以上のような各処理を行う画像処理方法においては、図３に示す波形ｑｓで表されるような画像類似度（ｇ（θ））の算出が、入力画像２の全画素について、かつ、全方向角（全姿勢）について行われた場合、計算量が膨大となり、実用化に際して処理時間の面で問題がある。

【0075】

具体的には、全方向角についての画像類似度（ｇ（θ））の算出を行う場合、入力画像２の１画素に対して、変換後テンプレート画像の枚数をＮ、上述したような級数の打ち切りにおける近似次数をＭとした場合、Ｎ×Ｍ回の演算が必要となる。したがって、例えば、変換後テンプレート画像の枚数Ｎ＝３６０、入力画像２の画素数が５１２×５１２（ピクセル）、近似次数Ｍ＝６０の場合、入力画像２の全画素について、かつ、全方向角（全姿勢）について画像類似度（ｇ（θ））の算出が行われる場合、３６０×６０×５１２×５１２＝５，６６２，３１０，４００（回）、つまり約６０億回の演算が必要となる。

【0076】

そこで、本実施形態の画像処理方法では、入力画像２についての画像の照合を行うに際し、畳込みの結果としての相関値を利用し、決定すべき幾何変換パラメータについて、入力画像２において対象画像部分３が存在する領域（画素）の絞込み、つまり位置（２次元座標値）の絞込みと、姿勢（方向角）の絞込みとを行う。このように、本実施形態の画像処理方法では、位置（２次元座標値）に関しては、入力画像２の画素のうち、対象画像部分３が存在する見込みのない画素についてはそもそも演算処理の対象とはせず、また、姿勢（方向角）に関しては、おおよそのθの値を推定後、その値の範囲内について、詳細な演算を行うことで、幾何変換パラメータについての粗密探索を行う。

【0077】

まず、上述した絞込みのうち、位置（２次元座標値）の絞込みについて説明する。入力画像２において、テンプレート画像１とのマッチングの度合いが高い部分は、最も低い次数である０次の固有値分解テンプレート画像の応答値である相関値も高い。ここでの相関値は、入力画像２の各画素について、固有値分解テンプレート画像群の各固有値分解テンプレート画像との相関を表す値として算出されるものである。

【0078】

そこで、図４に示すように、対象画像部分３を有する入力画像２と、最低次数画像である０次の固有値分解テンプレート画像４との照合として畳込みが行われ、入力画像２の各画素について、最低次数画像についての相関値である０次の相関値ｒ_０の算出が行われる。具体的には、上記式（５）により、畳込み演算が行われ、０次の相関値ｒ_０が求められる。

【0079】

図４には、この入力画像２と０次の固有値分解テンプレート画像４との畳込みの結果として得られる０次相関画像５が示されている。０次相関画像５は、入力画像２の各画素に対応する画素ついての０次の応答値、つまり０次の相関値ｒ_０の大小を色の濃淡で表したものである。図４に示す例では、０次相関画像５において、相関値ｒ_０が大きい画素ほど薄い色で示されている。したがって、図４において符号「５ａ」で示す白い部分が、相関値ｒ_０が比較的大きい部分であって、対象画像部分３が存在する部分であると判断することが可能となる。

【0080】

そこで、位置の絞込みでは、０次の相関値ｒ_０について所定の閾値を予め設定し、入力画像２の画素のうち、算出された０次の相関値ｒ_０が所定の閾値以上の画素を、上述したような画像類似度（ｇ（θ））の算出処理等の処理対象とする。すなわち、入力画像２の画素に関し、所定の閾値をＡｒとした場合、０次の相関値ｒ_０≧Ａｒとなる画素については、画像類似度（ｇ（θ））の算出処理等の処理対象とし、それ以外の画素、つまり０次の相関値ｒ_０＜Ａｒとなる画素については、処理対象から除外する。所定の閾値Ａｒの値は、例えば３０等である。

【0081】

このように、位置の絞込みとして、０次の相関値ｒ_０が所定の閾値Ａｒ未満の画素については、処理対象から除外して幾何変換パラメータについての探索を打ち切る。そして、０次の相関値ｒ_０が所定の閾値Ａｒ以上の画素のみを処理対象とし、幾何変換パラメータについての探索を行う。

【0082】

このように、本実施形態の画像処理方法では、入力画像２の各画素について、固有値分解テンプレート画像群の画像である固有値分解テンプレート画像のうち次数が最も低い最低次数画像である０次の固有値分解テンプレート画像４と入力画像２との関係について算出される０次の相関値ｒ_０に基づき、入力画像２の画素のうち０次の相関値ｒ_０が相対的に低い画素を処理対象から除外する画素除外ステップが行われる。

【0083】

なお、位置の絞込みを行う画素除外ステップにおいて、上述した例では、０次の相関値ｒ_０について設定した所定の閾値Ａｒを用い、０次の相関値ｒ_０が所定の閾値Ａｒ未満の画素を処理対象から除外する処理を採用している。この点、画素除外ステップの処理としては、入力画像２の画素毎の０次の相関値ｒ_０に基づいて、０次の相関値ｒ_０が相対的に低い画素を処理対象から除外する処理であれば、その具体的な処理内容については限定されない。画素除外ステップの処理としては、例えば、０次の相関値ｒ_０が所定の閾値Ａｒ以下の画素を処理対象から除外する処理であってもよく、また、算出した０次の相関値ｒ_０について所定の演算を施したものを所定の閾値の比較対象とする処理であってもよい。以上のようにして、位置（２次元座標値）の絞込みが行われる。

【0084】

次に、姿勢（方向角）の絞込みについて説明する。ここで、姿勢の絞込みの説明に際し、上述したような級数の打ち切りにおける近似次数Ｍと、方向角の推定精度との関係について、図５を用いて説明する。

【0085】

図５に、全方向角の画像類似度（ｇ（θ））として得られる相関波形ｇ（θ）のうち、近似次数Ｍ＝６０で近似した相関波形Ｇ１と、近似次数Ｍ＝１０で近似した相関波形Ｇ２とを示す。図５では、近似次数Ｍ＝６０で近似した相関波形Ｇ１を実線のグラフで示し、近似次数Ｍ＝１０で近似した相関波形Ｇ２を一点鎖線のグラフで示している。また、図５に示すグラフにおいて、横軸は幾何変換パラメータとしての方向角（θ）であり、縦軸は、画像類似度（ｇ（θ））である。このような相関波形のグラフのピークの位置が、決定すべき方向角（姿勢）となる。

【0086】

幾何変換パラメータとしての方向角については、近似次数Ｍの値が大きいほど、高精度に方向角を推定することができる。図５に示すように、近似次数Ｍ＝６０の相関波形Ｇ１においては、近似次数Ｍ＝１０の相関波形Ｇ２と比べて、波形の凹凸が大きくはっきりと表れている。つまり、近似次数Ｍ＝１０の相関波形Ｇ２が全体的になだらかな形状であるのに対し、近似次数Ｍ＝６０の相関波形Ｇ１においては緩急が比較的大きく表れる。

【0087】

このため、上述したように画像類似度（ｇ（θ））の波形において画像類似度が最大となる方向角（図３、方向角θａ参照）を幾何変換パラメータの値として決定するに際しては、なだらかな近似次数Ｍ＝１０の相関波形Ｇ２よりも、凹凸が大きい近似次数Ｍ＝６０の相関波形Ｇ１の方が、波形のピークが明確となり、決定すべき方向角について高い検出精度が得られる。しかしながら、近似次数Ｍの値が大きいほど、計算量が多くなり、処理時間が長くなる。

【0088】

一方、近似次数Ｍの値がある程度小さくても、おおまかな方向角（姿勢）を推定することができる。図５に示す例では、近似次数Ｍ＝１０の相関波形Ｇ２において決定される方向角θａ１０は、近似次数Ｍ＝６０の相関波形Ｇ１において決定される方向角θａ６０の近傍に位置する。つまり、近似次数Ｍ＝１０の相関波形Ｇ２によっても、決定される方向角についてある程度の検出精度が得られる。

【0089】

そこで、姿勢の絞込みとして、比較的小さい値の近似次数Ｍ（＝１０）の相関波形によって方向角を決定し、その決定した方向角の近傍の範囲を、幾何変換パラメータとしての方向角の探索の対象とする。つまり、幾何変換パラメータとして決定すべき方向角、言い換えると、ある程度大きい近似次数Ｍ（＝６０）の相関波形によって決定される方向角は、比較的小さい値の近似次数Ｍ（＝１０）の相関波形によって決定した方向角の近傍の範囲に存在すると言えるので、その近傍の範囲を、方向角の探索の対象とする。そして、その方向角の探索の対象とされた、小さい値の近似次数Ｍ（＝１０）の相関波形によって決定した方向角の近傍の範囲について、大きな近似次数Ｍ（＝６０）の相関波形を用いて、詳細に方向角を推定する。以下の説明では、このように姿勢の絞込みの処理において方向角の探索の対象を規定する近傍の範囲の基準として決定する方向角を「第１の推定方向角」という。

【0090】

図５に示す例において、仮に、近似次数Ｍ＝１０の相関波形Ｇ２において決定される方向角θａ１０を第１の推定方向角θ_Ａ１（°）とすると、第１の推定方向角θ_Ａ１（°）の近傍の範囲Ｂ１は、例えば、θ_Ａ１±５°の範囲として設定される。この場合、幾何変換パラメータとしての方向角の探索の対象が、第１の推定方向角θ_Ａ１を中心とする１０°の角度範囲となり、方向角についての探索の対象が、全方向角、つまり３６０°の角度範囲に対して１／３６の範囲に絞り込まれる。なお、第１の推定方向角に対する近傍の範囲を規定する数値（±５°等）は、近似次数Ｍ等によって適宜設定される。

【0091】

本実施形態の画像処理方法では、変換後テンプレート画像についての各固有値分解テンプレート画像に対する相関値ａ_ｎが用いられて、第１の推定方向角が求められる。具体的には、次のような手法により、第１の推定方向角が求められる。

【0092】

第１の推定方向角を求めるに際しては、変換後テンプレート画像と固有値分解テンプレート画像との照合によって、変換後テンプレート画像群の各変換後テンプレート画像に対応する相関値ベクトルが算出される。つまり、変換後テンプレート画像群の変換後テンプレート画像の枚数と同数の相関値ベクトルが算出される。これらの相関値ベクトルからなるベクトル群が、上述したように本実施形態の画像処理方法において作成される辞書に相当する（図２、Ｓ３０参照）。

【0093】

図６に示すように、本実施形態の画像処理方法では、変換後テンプレート画像群として、方向角が１°ピッチで異なる３６０枚の変換後テンプレート画像（θ＝０〜３５９）が生成される。これらの各変換後テンプレート画像に対応して、同数の（３６０個の）相関値ベクトルｖ０〜３５９が生成される。

【0094】

相関値ベクトルの各成分は、変換後テンプレート画像と、固有値分解テンプレート画像群との畳込みによって得られる相関値ａ_ｎである。したがって、相関値ベクトルは、変換後テンプレート画像に対する畳込みの対象となる固有値分解テンプレート画像４の数と同数の成分（次元）からなる。つまり、各θの値に対応する変換後テンプレート画像の相関値ベクトルは、その変換後テンプレート画像と、各次数の固有値分解テンプレート画像４との関係において算出される相関値ａ_ｎを各成分とする。言い換えると、相関値ベクトルは、変換後テンプレート画像自身に固有値分解テンプレート画像４を畳み込むことで得られるものであり、各変換後テンプレート画像について各固有値分解テンプレート画像４の畳込みの応答値を並べたベクトルである。

【0095】

具体的には、上記式（５）において、入力画像２を表すｆ（ｘ，ｙ）の代わりに、変換後テンプレート画像を表す関数であるＴ（ｘ，ｙ，θ）が用いられることで、変換後テンプレート画像についての相関値ａ_ｎが算出される。つまり、相関値ａ_ｎは、次式（１０）として定義される。

【0096】

【数8】

【0097】

図６に示す例では、相関値ベクトルのうち、θ＝０の変換後テンプレート画像に対応する相関値ベクトルｖ０と、θ＝３０の変換後テンプレート画像に対応する相関値ベクトルｖ３０と、θ＝１７０の変換後テンプレート画像に対応する相関値ベクトルｖ１７０とが示されている。θ＝０の相関値ベクトルｖ０については、θ＝０の変換後テンプレート画像と０次の固有値分解テンプレート画像Ｅ０との相関を表す０次の相関値は、「５．０」である。同様に、１次の固有値分解テンプレート画像Ｅ１との相関を表す１次の相関値は、「２．０」であり、２次の固有値分解テンプレート画像Ｅ２との相関を表す２次の相関値は、「３．３」であり、３次の固有値分解テンプレート画像Ｅ３との相関を表す３次の相関値は、「４．４」である。

【0098】

同様にして、θ＝３０の相関値ベクトルｖ３０については、０次の相関値は「５．３」であり、１次の相関値は「−２．２」であり、２次の相関値は、「６．３」であり、３次の相関値は、「２．４」である。また、θ＝１７０の相関値ベクトルｖ１７０については、０次の相関値は「４．３」であり、１次の相関値は「４．２」であり、２次の相関値は、「２．３」であり、３次の相関値は、「−２．４」である。このようにして、変換後テンプレート画像と同数の３６０個の相関値ベクトルｖ０〜ｖ３５９が算出される。

【0099】

以上のように、本実施形態の画像処理方法においては、変換後テンプレート画像群の各変換後テンプレート画像について、固有値分解テンプレート画像群の各固有値分解テンプレート画像４との相関を表す所定の実数である相関値ａ_ｎを各成分の値とする相関値ベクトルｖ０〜ｖ３５９を生成する相関値ベクトル生成ステップが行われる。

【0100】

この相関値ベクトル生成ステップにおいて生成される相関値ベクトルについて、その成分の数は、上記のとおり変換後テンプレート画像群に対する畳込みの対象となる固有値分解テンプレート画像４の数と同数になる。本実施形態では、上述したような固有関数選択ステップが行われた場合、固有値分解テンプレート画像群として生成される固有値分解テンプレート画像４の数は、近似次数Ｍに相当する。したがって、生成された全ての固有値分解テンプレート画像４が畳込みの対象とされた場合、相関値ベクトルは、近似次数Ｍの数と同数の成分を有する。つまり、この場合、近似次数Ｍ＝６０のときには、相関値ベクトルの成分の数は６０個となる。

【0101】

このような相関値ベクトルの成分の数については、計算量を削減して処理速度を向上させる観点からは、近似次数Ｍよりも少ない方が好ましい。そこで、相関値ベクトルの算出処理においては、生成された全てであるＭ個の固有値分解テンプレート画像４のうちの一部であるＫ（＜Ｍ）個の固有値分解テンプレート画像４が選択されて用いられる。

【0102】

具体的には、例えば、近似次数Ｍ＝６０の場合、言い換えると６０枚の固有値分解テンプレート画像４が生成される場合、Ｋ＝１０〜２０枚程度の固有値分解テンプレート画像４が選択され、相関値ベクトルの算出処理において畳込みの対象とされる。つまり、相関値ベクトルの次元は、Ｋ（＜Ｍ）次元となる。Ｋ＝１０の場合、相関値ベクトルの成分の数が１０個となる。

【0103】

このような固有値分解テンプレート画像４の選択においては、その選択の基準として、例えば、上述したような固有関数選択ステップにおける固有関数の選択と同様に、固有値の大きさが用いられる。すなわち、第２の画像群生成ステップで生成された近似次数Ｍと同数の固有値分解テンプレート画像４のうち、固有値が大きい方から選択された固有関数に対応する所定の数の固有値分解テンプレート画像４が選択される。したがって、例えば、固有値分解テンプレート画像４の選択数Ｋ＝１０の場合、固有値が大きい側から１０個の固有関数に対応する１０枚の固有値分解テンプレート画像４が選択される。このことは、上述のとおり、固有値が大きい固有関数ほど、最終的に算出される、入力画像２と固有値分解テンプレート画像群との画像類似度に対する影響が大きい（寄与度が高い）ことに基づく。

【0104】

以上のように、本実施形態の画像処理方法においては、相関値ベクトル生成ステップを行うに際して、第２の画像群生成ステップで生成された固有値分解テンプレート画像群の各固有値分解テンプレート画像４のうち、固有値の大きな順に、所定の数の（Ｋ枚の）固有値分解テンプレート画像４を選択する画像選択ステップが行われる。

【0105】

この画像選択ステップにおいて選択される固有値分解テンプレート画像４についての所定の数（Ｋ）は、生成される全ての固有値分解テンプレート画像４の数に相当する近似次数Ｍ、つまり上述した固有関数選択ステップにおける所定の数よりも少ない方が好ましい。したがって、固有関数選択ステップにおいて選択される固有関数の数についての「所定の数」を「第１の所定数」とした場合、この画像選択ステップにおいて選択される固有値分解テンプレート画像４の数についての「所定の数」は、「第１の所定数よりも小さい第２の所定数」であることが好ましい。つまり、上述した固有関数選択ステップが行われない場合においても、この画像選択ステップを行い、変換後テンプレート画像と同数生成された全ての（Ｎ枚の）固有値分解テンプレート画像から一部の枚数の固有値分解テンプレート画像４を選択することで、相関値ベクトルの生成処理において計算量を削減することができる。

【0106】

そして、画像選択ステップが行われた場合、相関値ベクトル生成ステップは、画像選択ステップで選択されたＫ（＜Ｍ）枚の固有値分解テンプレート画像４を用いて、相関値ベクトルを生成する。つまり、この場合、相関値ベクトル生成ステップでは、Ｎ枚の変換後テンプレート画像とＫ枚の固有値分解テンプレート画像４との畳込み演算により、Ｋ個の成分を有するＮ個の相関値ベクトルｖ０〜ｖ３５９が生成される。

【0107】

このような相関値ベクトルの算出は、上述した画素除外ステップにより除外された画素以外の処理対象となる画素（以下「処理対象画素」という。）の全てについて、画素毎に行われる。

【0108】

以上のようにＮ個の相関値ベクトルが算出された後、相関値ベクトルの比較対象となる特徴ベクトルの生成が行われる。特徴ベクトルは、処理対象画素の全てについて画素毎に算出されるものであり、その画素の位置での、入力画像２に対する固有値分解テンプレート画像４の相関値を各成分とする。

【0109】

特徴ベクトルの各成分は、入力画像２と、固有値分解テンプレート画像群との畳込みによって得られる相関値ｒ_ｎである。したがって、特徴ベクトルは、入力画像２に対する畳込みの対象となる固有値分解テンプレート画像４の数と同数の成分（次元）からなる。つまり、特徴ベクトルは、入力画像２と各次数の固有値分解テンプレート画像４との関係において算出される相関値ｒ_ｎを各成分とする。言い換えると、特徴ベクトルは、入力画像２について各固有値分解テンプレート画像４の畳込みの応答値を並べたベクトルである。

【0110】

特徴ベクトルの各成分となる相関値ｒ_ｎは、上記式（５）により算出される。特徴ベクトルＶｔ＝｛ｔ０，ｔ１，ｔ２，・・・，ｔ（Ｋ−１）｝とした場合、ｔ０が入力画像２と０次の固有値分解テンプレート画像Ｅ０との相関を表す０次の相関値ｒ_０、ｔ１が入力画像２と１次の固有値分解テンプレート画像Ｅ１との相関を表す１次の相関値ｒ_１、ｔ２が入力画像２と２次の固有値分解テンプレート画像Ｅ２との相関を表す２次の相関値ｒ_２、ｔ（Ｋ−１）が入力画像２と（Ｋ−１）次の固有値分解テンプレート画像との相関を表す（Ｋ−１）次の相関値ｒ_Ｋ−１となる。

【0111】

このような特徴ベクトルＶｔは、上記のとおり処理対象画素の全ての画素について得られるものであり、処理対象画素の位置にＫ枚の固有値分解テンプレート画像４を平行移動させて画像照合した結果得られるものと言える。ここで、処理対象画素の位置にＫ枚の固有値分解テンプレート画像４を平行移動させることは、各固有値分解テンプレート画像４の中心の位置を、処理対象画素の２次元座標値（ＸＹ座標値）に合わせることに相当する。

【0112】

このように、本実施形態の画像処理方法においては、入力画像２について、相関値ｒ_ｎを各成分の値とする特徴ベクトルＶｔを生成する特徴ベクトル生成ステップが行われる。

【0113】

以上のように、処理対象画素の各画素について、Ｎ個の相関値ベクトル、および特徴ベクトルＶｔが生成された後、特徴ベクトルＶｔを用いて、Ｎ個の相関値ベクトルから１つの相関値ベクトルを選出する処理が行われる。具体的には、Ｎ個の相関値ベクトルから、特徴ベクトルＶｔに最も近似する相関値ベクトルが選出される。

【0114】

図７に、相関値ベクトルおよび特徴ベクトルを座標空間にプロットした状態を模式的に示す。図７では、便宜上、座標空間を３つの相関値ａ_０、ａ_１、ａ_２の３軸で示しているが、相関値ベクトルおよび特徴ベクトルＶｔはいずれもＫ次元であり、座標空間は相関値ａ_０〜ａ_{（Ｋ−１）}のＫ次元空間で表される。また、図７では、便宜上、相関値ベクトルについてθ＝０〜５までの５個の相関値ベクトルを示しているが、実際にはθ＝０〜３５９の３６０個の相関値ベクトルが存在する。

【0115】

このように共通の座標空間にプロットされる相関値ベクトルおよび特徴ベクトルＶｔにおいて、特徴ベクトルＶｔに最も近似する相関値ベクトルが選出される。図７に示す例では、特徴ベクトルＶｔに最も近似する相関値ベクトルは、θ＝０の相関値ベクトルＶ［ｉ］０である。

【0116】

特徴ベクトルＶｔに最も近似する相関値ベクトルを求める手法としては、近似近傍探索等と称されるアルゴリズムによる手法が用いられる。なお、特徴ベクトルＶｔに最も近似する相関値ベクトルを求める手法としては、距離空間において点の集合から最も近い点を探索する手法であれば、近似近傍探索のほか、適宜周知の手法を用いることができる。ここで用いられる手法としては、例えば、Ｋｄ−Ｔｒｅｅを用いる手法、Ｋ−ｍｅａｎｓを用いる手法、ベクトル量子化を用いる手法等の、探索木を使用する手法が挙げられる。また、他の例としては、多次元のベクトル値｛ａ０，ａ１，・・・，ａＮ｝とそれに対応する出力値の対応関係を記したテーブル（置換表、ハッシュテーブル法など）を用いる手法が挙げられる。

【0117】

このように、本実施形態の画像処理方法においては、相関値ベクトル生成ステップで生成された複数の相関値ベクトルのうち、特徴ベクトルＶｔに最も近似する相関値ベクトルを選出するベクトル選出ステップが行われる。

【0118】

このベクトル選出ステップにおいては、Ｎ枚の変換後テンプレート画像、および入力画像２のそれぞれについての固有値分解テンプレート画像４を畳み込んだ応答値のベクトルの比較により、入力画像２の姿勢（方向角）が大まかに探索される。つまり、相関値ベクトルのベクトル群である辞書の探索が行われる。

【0119】

そして、このベクトル選出ステップで選出された相関値ベクトルのθの値が、上述した第１の推定方向角θ_Ａ１となる。ベクトル選出ステップで選出された相関値ベクトルのθの値は、最終的に決定する幾何変換パラメータとしての方向角の値としては精度が十分であるとは言えないが、第１の推定方向角θ_Ａ１としては十分な精度を有する。

【0120】

このようにして求められた第１の推定方向角の近傍の角度範囲が、幾何変換パラメータとしての方向角の探索の対象となる。以上のようにして、姿勢（方向角）の絞込みが行われる。姿勢の絞込みは、処理対象画素の全ての画素について、それぞれ行われる。

【0121】

以上のような姿勢の絞込みによって絞り込まれた方向角θの値の範囲、即ち第１の推定方向角θ_Ａ１±α（°）の範囲（以下「絞込み角度範囲θ_Ａ１±α」とする。）について、詳細な演算により、方向角の値が探索される。すなわち、上述したようなある程度大きい近似次数Ｍ（＝６０）による画像類似度（ｇ（θ））の算出が、絞込み角度範囲θ_Ａ１±αについてのみ行われ、その範囲の一部分の画像類似度（ｇ（θ））の相関波形から、画像類似度が最大となる方向角（図３、方向角θａ参照）が算出される。そして、この画像類似度が最大となる方向角の算出が処理対象画素の全ての画素について行われ、これらの処理対象画素のうち、方向角を決定する最大の画像類似度が最大となる画素が導かれ、その画素の２次元座標およびその画素について決定された方向角とが、それぞれ幾何変換パラメータとしての位置（２次元座標値）および姿勢（方向角）として決定される。

【0122】

したがって、まず、絞込み角度範囲θ_Ａ１±αについて、ある程度大きい近似次数Ｍによる画像類似度（ｇ（θ））の相関波形の算出が行われる。具体的には、上記式（３）あるいは式（７）により算出される画像類似度（ｇ（θ））としての相関波形のうち、絞込み角度範囲θ_Ａ１±αの範囲の部分が算出される。αの値は、近似次数Ｍの値等によって適宜設定されるが、計算量を削減して処理速度の向上を図る観点からは、１０（°）以下、好ましくは５（°）以下の値に設定される。

【0123】

図８に、近似次数Ｍ＝６０の場合の例を示す。図８に示す相関波形Ｇ１は、上記式（７）においてＭ＝６０として算出される相関波形である。この近似次数Ｍ＝６０の相関波形Ｇ１のうち、実線で示す絞込み角度範囲θ_Ａ１±αの部分Ｇ１ａ（範囲Ｂ１の部分）が、画像類似度（ｇ（θ））としての相関波形として算出される。

【0124】

すなわち、図８を参照すると、画像類似度が全方向角（０〜３５９°）について算出された場合は、相関波形Ｇ１において二点鎖線で示す部分を含む波形の全体が算出されるが、上述したような姿勢の絞込みによって検索の対象となる方向角の範囲が絞り込まれ、姿勢の絞込みによって得られた角度範囲である絞込み角度範囲θ_Ａ１±αの部分Ｇ１ａについてのみ、相関波形の算出、つまり画像類似度の算出が行われる。

【0125】

このように、本実施形態の画像処理方法においては、処理対象画素について、ベクトル選出ステップにより選出された相関値ベクトルに対応する幾何変換パラメータの値である第１の推定方向角θ_Ａ１の値の近傍の範囲、すなわち絞込み角度範囲θ_Ａ１±αで、画像類似度（ｇ（θ））を算出する画像類似度算出ステップが行われる。

【0126】

次に、上記のとおり算出された絞込み角度範囲θ_Ａ１±αの画像類似度（ｇ（θ））の相関波形に基づいて、最終的な検出結果としての幾何変換パラメータである位置（２次元座標値）と姿勢（方向角）の値が決定される。具体的には次のとおりである。

【0127】

入力画像２の画素数を５１２×５１２とし、上述した画素除外ステップで除外された後の処理対象画素が全体画素数の約１／４の６５，０００画素とする。この場合、６５，０００画素の全ての画素について、上述したような姿勢の絞込みが行われ、絞込み角度範囲θ_Ａ１±αの画像類似度（ｇ（θ））の算出が行われる。したがって、６５，０００画素の各画素について、絞込み角度範囲θ_Ａ１±αから、画像類似度（ｇ（θ））が最大となる方向角が算出される。この絞込み角度範囲θ_Ａ１±αにおける最大の画像類似度（ｇ（θ））に対応する方向角を、「第２の推定方向角θＡ２」とする。そして、６５，０００の画素のうち、第２の推定方向角θ_Ａ２に対応する画像類似度（以下「最大画像類似度」という。）が最も大きい画素についての位置と、その画素についての第２の推定方向角θ_Ａ２が、それぞれ最終的な幾何変換パラメータの値としての位置（２次元座標値）と姿勢（方向角）として決定される。

【0128】

このように、本実施形態の画像処理方法においては、画像類似度算出ステップで算出された画像類似度に基づき、幾何変換パラメータである位置（２次元座標値）および姿勢（方向角）の値を決定する照合ステップが行われる。すなわち、照合ステップは、処理対象画素のうち、画像類似度算出ステップにより算出された最大画像類似度が最も大きな画素の位置を、幾何変換パラメータの２次元座標値の値として決定し、最大画像類似度が最も大きな画素についての最大画像類似度に対応する方向角（第２の推定方向角θ_Ａ２）を、幾何変換パラメータの方向角として決定する。こうした照合ステップでは、固有関数の連続性に起因する画像類似度の連続性に着目し、幾何変換パラメータの実数値が決定される。

【0129】

以上のように、本実施形態の画像処理方法は、固有値分解テンプレート画像による畳込みによって得られる相関値を頼りに、入力画像２において対象画像部分３が存在する位置（２次元座標値）、および対象画像部分３の姿勢（方向角）について、絞込みを多段的に行うことで、幾何変換パラメータについての検出精度を維持しつつ、計算量の削減を図ろうとするものである。このような本実施形態の画像照合方法は、まとめると次のような３段階の照合（探索）を行う処理方法と言える。

【0130】

１段目は、０次の固有値分解テンプレート画像との畳込みの応答値（相関値ｒ_０）を頼りに、閾値処理により、入力画像２に対して対象画像部分３が存在する可能性が高い領域（ＸＹ位置）の絞込みを行い、処理対象画素を決定する処理である。かかる処理によって決定された処理対象画素以外の画素については、幾何変換パラメータの探索の対象から外される。すなわち、この１段目の処理は、上述した位置（２次元座標値）の絞込みの処理であり、画素除外ステップでの処理に相当する。

【0131】

２段目は、Ｎ枚の変換後テンプレート画像および入力画像２のそれぞれについて、近似次数Ｍよりも少ないＫ（＜Ｍ）枚の固有値分解テンプレート画像４との畳込み応答値により得られる相関値ベクトルおよび特徴ベクトルＶｔに基づいて、検索対象とする方向角の範囲の絞込みを行い、大まかな姿勢（方向角）を推定する処理である。すなわち、この２段目の処理は、上述した姿勢（方向角）の絞込みの処理であり、相関値ベクトル生成ステップ、画像選択ステップ、特徴ベクトル生成ステップ、およびベクトル選出ステップの各ステップでの処理を含む。

【0132】

３段目は、１段目および２段目の処理によって絞り込まれた位置（２次元座標値）および姿勢（方向角）について、従来と同様に、Ｍ枚の固有値分解テンプレート画像４との畳込みの応答値から相関値を算出し、画像類似度に基づいて精密な探索を行う。すなわち、この３段目の処理は、上述した画像類似度算出ステップでの処理に相当する。

【0133】

以上のような本実施形態の画像処理方法によれば、複数のテンプレート画像１を固有値分解することで得られた固有値分解テンプレート画像４に基づいて算出される、画像の類似度を示す相関値を用いた画像照合技術において、精度を維持しながら、計算量を大幅に削減することができ処理速度の向上を図ることができる。

【0134】

また、本実施形態の画像処理方法において、上述したように、固有値の大きな順に固有関数の一部を選択する固有関数選択ステップを行うことで、検出精度を確保しながら、処理時間のさらなる短縮化を図ることができる。すなわち、本実施形態に係る固有関数選択ステップによれば、変換後テンプレート画像と同数（Ｎ個）の固有関数のうち、画像類似度への影響（寄与度）が大きい一部の（Ｍ個の）固有関数が用いられる。これにより、算出された固有関数の全てを用いる場合との比較において、決定される幾何変換パラメータについては十分な精度を確保することができるとともに、選択しない固有関数の分、処理速度を上げることができ、処理時間をさらに短くすることができる。

【0135】

この点、本実施形態の画像処理においては、近似次数Ｍの値の調整により、処理時間と検出精度の調整が可能となる。すなわち、処理時間の短縮よりも検出精度が優先される場合は、近似次数Ｍの値を大きく設定し、逆に、検出精度よりも処理時間の短縮が優先される場合は、近似次数Ｍの値を小さく設定する。

【0136】

さらに、本実施形態の画像処理方法において、上述したように、姿勢（方向角）の絞込み処理を行うに際し、固有値の大きな順に固有値分解テンプレート画像４の一部を選択する画像選択ステップを行うことで、検出精度を確保しながら、処理時間のさらなる短縮化を図ることができる。すなわち、本実施形態に係る画像選択ステップによれば、固有関数と同数（例えばＭ個）のうち、画像類似度への影響（寄与度）が大きい一部の（Ｋ枚の）固有値分解テンプレート画像４が用いられる。これにより、算出された固有値分解テンプレート画像４の全てを用いる場合との比較において、決定される幾何変換パラメータについては十分な精度を確保することができるとともに、選択しない固有値分解テンプレート画像４の分、処理速度を上げることができ、処理時間をさらに短くすることができる。

【0137】

本実施形態の画像処理方法により、次のような実験結果が得られている。従来手法、すなわち処理対象を入力画像２の全画素とし、しかも方向角の探索対象を全方向角とする手法を用いた場合、処理時間（計算時間）が７０００［ｍｓｅｃ］であるのに対し、本実施形態の画像処理方法によれば、処理時間が５００［ｍｓｅｃ］となるという実験結果が得られている。この実験結果によると、本実施形態の画像処理方法によれば、従来手法に対して１０倍程度の高速化を図ることができる。なお、この実験結果は、入力画像２の画像サイズが標準サイズである５１２×５１２画素、変換後テンプレート画像の数Ｎ＝３６０、近似次数Ｍ＝６０、姿勢（方向角）の絞込み処理で用いられる固有値分解テンプレート画像４の枚数Ｋ＝２０という条件のもとで得られたものである。

【0138】

また、本実施形態の画像処理方法によれば、テンプレート画像を回転させながら照合を行う回転照合法等の、幾何変換を用いた従来の画像照合技術に対して、少ない照合回数で同等の精度を確保することができ、処理時間を大幅に短縮することができる。

【0139】

また、本実施形態の画像処理方法においては、次のような手法を採用することができる。本実施形態の画像処理方法においては、上述したようにテンプレート画像１に幾何変換を加えることで得られる変換後テンプレート画像群の枚数が多いほど、固有関数の連続度は高くなる。そこで、本実施形態の画像処理方法では、変換後テンプレート画像の枚数を無限大に増やすことができる。つまり、上述したような本実施形態の画像処理方法における一連の処理において、変換後テンプレート画像群を構成する変換後テンプレート画像の枚数を、数学的に無限大とする。

【0140】

この場合、行列の固有値問題の上記式（８）が、次式（１１）のようになる。

【数9】

【0141】

上記式（１１）において、Ｋ（ｓ，ｔ）は、次式（１２）により表される。

【数10】

【0142】

すなわち、行列の固有値問題ではなく、式（１１）は、微分方程式の問題に変換される。変換後テンプレート画像の枚数を無限大に増やすことで、固有関数は、真の意味で連続関数となる。例えば、この連続関数を多項式で近似して、解析的に表すことも可能である。

【0143】

固有関数を多項式で表現することで、相関値を用いた固有関数の重み付き和である画像類似度関数（画像類似度ｇ）も、多項式で表現される。多項式で表現された画像類似度関数の最大値を見つける処理は、多項式を微分して０となる位置を見つければよい。このように、変換後テンプレート画像の枚数を無限大に増やすことにより、パラメータの推定値を解析的に求めることが可能となり、幾何学的パラメータの値の推定精度を非常に高くすることができる。

【0144】

また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、方向角および２次元座標値を含み、テンプレート画像１に加えられる幾何変換は、方向角を変化させる回転および２次元座標値を変化させる平行移動を含むことが好ましい。

【0145】

方向角および２次元座標値は、産業用の画像照合処理において比較的多用される幾何変換パラメータであり、また、２次元的な幾何変換パラメータであることから、比較的単純な演算処理により本実施形態の画像処理方法を行うことができる。このため、高い汎用性を得ることができる。

【0146】

また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、射影変換に必要なパラメータを含み、テンプレート画像１に加えられる幾何変換は、射影変換を含む。

【0147】

射影変換は、アフィン変換をも含む一般的な射影変換であり、所定の変換式により、元の画像の座標（ｘ，ｙ）を、投影面における座標（ｘ’，ｙ’）に変換するものである。したがって、射影変換に必要なパラメータは、射影変換の一般式における係数である。

【0148】

したがって、本実施形態の画像処理方法において、テンプレート画像１に加えられる幾何変換として射影変換が用いられる場合、第１の画像群生成ステップにおいて、テンプレート画像１に射影変換が加えられることで、変換後テンプレート画像群が生成される。そして、照合ステップにおいて、入力画像２の幾何変換パラメータの値として、射影変換の一般式における係数の値が決定される。

【0149】

また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、画像のぼかし処理に必要なパラメータを含み、テンプレート画像１に加えられる幾何変換は、画像のぼかし処理を含む。

【0150】

画像のぼかし処理は、画像をにじませる処理であり、例えば次のようにして行われる。画像のぼかし処理としては、例えば、処理対象のピクセル（ｘ，ｙ）を中心とする３×３ピクセル（９ピクセル）の色（色値）の平均を、処理対象のピクセルの色（色値）とする処理が行われる。かかる処理は、平滑化とも称される。画像のぼかし処理は、例えば、ピクセルの色を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の成分ごとに行われる。このように３×３ピクセルの色の平均が処理対象のピクセルの色として採用される場合、９ピクセルの平均化処理における各ピクセルの重みはいずれも同じ（「１」）となる。

【0151】

したがって、画像のぼかし処理においては、処理対象のピクセルに対して周囲の８ピクセルの各ピクセルに２倍の重みを置いたり、処理対象のピクセルの上下左右の４ピクセルのみの色の平均が処理対象の色として用いられたりしてもよい。前者の場合、処理対象のピクセルの重みは「１」、周囲の各ピクセルの重みは「２」となり、後者の場合、処理対象のピクセルの上下左右のピクセルの重みは「１」、それ以外の５ピクセルの各ピクセルの重みは「０」となる。

【0152】

このように画像のぼかし処理において行われる平均化処理における各ピクセルの重み（「１」や「２」等の数値）が、画像のぼかし処理に必要なパラメータとなる。また、処理対象のピクセルの色として平均化される対象となる範囲のピクセルの数（縦Ｎ×横Ｎ（個））も、画像のぼかし処理に必要なパラメータとなる。なお、Ｎの値が大きいほど、画像のぼけ具合は大きくなる。このような画像のぼかし処理に必要なパラメータが、入力画像２について決定される幾何変換パラメータに含まれる。

【0153】

したがって、本実施形態の画像処理方法において、テンプレート画像１に加えられる幾何変換として画像のぼかし処理が用いられる場合、第１の画像群生成ステップにおいて、テンプレート画像１に画像のぼかし処理が加えられることで、変換後テンプレート画像群が生成される。そして、照合ステップにおいて、入力画像２の幾何変換パラメータの値として、上述のような画像のぼかし処理に必要なパラメータの値が決定される。なお、画像のぼかし処理としては、上述のような画像のぼかし処理に限らず、周知の画像のぼかし処理を適宜採用することができる。

【0154】

以上のように、本実施形態の画像処理方法において、射影変換や画像のぼかし処理を用いることで、より高度な画像照合処理において、処理時間の短縮化および検出精度の向上を図ることが可能となる。

【0155】

具体的には、入力画像２に関し、検査対象となる部品等の撮像の際に、カメラ等の撮像手段による撮像方向が、検査対象物において設定される撮影面に対して垂直でないことにより、入力画像２において検査対象となる部品等が台形状に歪む現象（いわゆる台形歪み）が生じる場合がある。このような入力画像２において生じる台形歪みは、検出誤差の原因となる。

【0156】

そこで、上述したように本実施形態の画像処理方法において射影変換が用いられることにより、入力画像２において台形歪みが生じた場合であっても、正確に画像照合を行うことが可能となる。つまり、変換後テンプレート画像群として、射影変換を施した複数のテンプレート画像１を予め準備することにより、台形歪みの影響を加味した固有値分解テンプレート画像を生成することができ、台形歪みによる誤差の少ない正確な画像照合を行うことができる。

【0157】

また、同じく入力画像２に関し、カメラ等の撮像手段と検査対象物との距離により、入力画像２には「ぼけ」が含まれる。通常、このような画像のぼけに対しては、オートフォーカス処理等によって、カメラやレンズの移動をともなう調整（ピント合わせ）が行われる。しかし、このようなカメラやレンズの移動をともなう調整は、機械的な処理であるため、処理時間が長くなってしまう。

【0158】

そこで、上述したように本実施形態の画像処理方法において画像のぼかし処理が用いられることにより、入力画像２にぼけが生じた場合であっても、事前に様々なパターンでぼかし処理を施したテンプレート画像１を準備することで対応が可能となる。つまり、変換後テンプレート画像群として、ぼかし処理を施した複数のテンプレート画像１を予め準備することにより、画像のぼけの影響を加味した固有値分解テンプレート画像を生成することができ、画像のぼけによる誤差の少ない正確な画像照合を行うことができる。また、オートフォーカス処理等の、画像処理時間の長期化の原因となる処理を省略することができるので、画像照合を行うための処理時間を短くすることができる。

【0159】

ぼかし処理についてさらに説明する。本実施形態の画像処理方法を用いた実際の検査においては、入力画像２について、ノイズや検査対象物の回転等の幾何学的な変形に加え、撮像手段のレンズのフォーカスずれ等に起因する画像のぼけが発生する。ぼけた画像である入力画像２に対して、テンプレート画像１による画像照合を行った場合、位置ずれが大きくなる。すなわち、入力画像２がぼけることで、ぼけていないテンプレート画像１とぼけた入力画像２との画像照合が行われることになり、画像照合がうまくいかず、位置ずれが生じる。このように画像照合の結果生じる位置ずれは、深刻な問題である。

【0160】

そこで、上記のとおりテンプレート画像１にぼかし処理を施すことで、敢えてぼけを加えたテンプレート画像１を画像照合に用いることで、入力画像２にぼけが生じた場合であっても、入力画像２とテンプレート画像１とを一致させることができる。これにより、入力画像２のぼけによる位置ずれの問題を回避することが可能となる。つまり、ぼけた入力画像２に合わせてテンプレート画像１にぼけを加えることで、マッチング精度を上げることができる。

【0161】

一般的に、画像のぼかし処理は、ノイズ除去の用途に用いられるが、本実施形態の画像処理方法においては、入力画像２の照合の対象となるテンプレート画像１にぼかし処理を施すことで、ぼけを加えたテンプレート画像１を作成するために用いられる。このように、本実施形態の画像処理方法は、画像のぼかし処理の用い方が特徴的である。

【0162】

また、画像のぼけに関しては、小さな画像ぼけから、大きな画像ぼけまで多数のバリエーションがあり得る。このような多数のバリエーションの画像のぼけに対応するためには、画像のぼけのバリエーションに応じて、ぼけを加えたテンプレート画像１も多数枚用意する必要がある。このように全ての画像のぼけに対応して多数のテンプレート画像１を用いた画像照合を行うと、計算時間が非常に長くなると考えられる。

【0163】

この点、本実施形態の画像処理方法においては、様々なぼけを加えたテンプレート画像群を変換後テンプレート画像として入力し、これらを固有値分解を用いて圧縮することで、上述のような計算時間の問題を解消することができる。つまり、変換後テンプレート画像は、固有値分解によって情報圧縮されることから、画像のぼけのバリエーションが多くなっても、計算時間が長くなることを抑えることができる。

【0164】

なお、幾何変換としての射影変換および画像のぼかし処理は、それぞれ単独で用いられたり、上述した方向角および２次元座標値との関係で組み合わせて用いられたりする。

【0165】

［画像処理装置］
次に、本実施形態の画像処理方法の適用例として、本実施形態の画像処理方法を行うための装置について説明する。この適用例では、例えばＩＣチップの生産ラインにおいて、ＩＣチップのＩＣ基盤への位置決めの工程で、画像照合が用いられる。

【0166】

図９および図１０に示すように、本実施形態の画像処理装置１０は、コンピュータ１１と、カメラ１２とを備える。画像処理装置１０は、カメラ１２によってワークとしてのＩＣチップ２０を撮像し、その撮像画像を入力画像として、コンピュータ１１において予め準備されているテンプレート画像を用いて画像照合を行う。本実施形態の画像処理装置１０は、画像照合結果として、入力画像についての方向角および２次元座標値を検出する。

【0167】

そして、画像処理装置１０による画像照合結果が用いられることで、複数のＩＣチップ２０が収容されるＩＣチップ供給トレイ１６からアーム１７によってピッキングされたＩＣチップ２０が、ＩＣ基盤における所定の位置に位置決めされる。なお、アーム１７は、例えばＩＣチップ２０を搬送する装置の一部を構成するロボットアームやピッキングアーム等の、部品取り出し用の構成である。

【0168】

ＩＣチップ２０の位置決めは、具体的には次のように行われる。まず、アーム１７によって、ＩＣチップ供給トレイ１６内の所定のＩＣチップ２０がピッキングされる（矢印Ａ１参照）。ピッキングされたＩＣチップ２０が、アーム１７に保持された状態で、カメラ１２によって撮像される。このＩＣチップ２０の撮像画像が入力画像としてコンピュータ１１に送信され、テンプレート画像が用いられて画像照合が行われる。

【0169】

画像処理装置１０による画像照合結果としての入力画像の方向角および２次元座標値は、撮像対象となったＩＣチップ２０の角度および位置に対応する。したがって、画像処理装置１０による画像照合結果に基づき、ＩＣチップ２０を保持するアーム１７が、ＩＣ基盤への位置決めに際して、回転および平行移動させられる。かかるアーム１７の回転および平行移動の動作の後、アーム１７の上下方向の移動をともなって、ＩＣチップ２０がＩＣ基盤における所定の位置に位置決めされる。なお、アーム１７を回転および平行移動させる代わりに、ＩＣチップ２０を支持する構成として、回転および平行移動が可能なステージを採用してもよい。

【0170】

図１０に示すように、コンピュータ１１は、演算制御部１３と、入力部１４と、表示部１５とを備える。演算制御部１３は、画像処理装置１０の一連の動作を制御する。演算制御部１３は、プログラム等を格納する格納部、プログラム等を展開する展開部、プログラム等に従って所定の演算を行う演算部、演算部による演算結果等を保管する保管部等を有する。

【0171】

演算制御部１３としては、具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成や、ワンチップのＬＳＩ等からなる構成が用いられる。演算制御部１３としては、専用品のほか、市販のパーソナルコンピュータやワークステーション等に上記プログラム等が格納されたものが用いられる。

【0172】

入力部１４は、演算制御部１３に接続され、演算制御部１３に、画像処理に係る種々の情報・指示等を入力する。入力部１４としては、例えば、キーボード、マウス、ポインティングデバイス、ボタン、スイッチ等が用いられる。

【0173】

表示部１５は、演算制御部１３に接続され、画像処理の動作状況、入力部１４から演算制御部１３への入力内容、画像処理による処理結果等を表示する。表示部１５としては、例えば、液晶ディスプレイやＣＲＴ（陰極線管）等が用いられる。

【0174】

カメラ１２は、例えばＣＣＤカメラであり、接続ケーブルを介する等してコンピュータ１１に接続される。カメラ１２は、ＩＣチップ供給トレイ１６内のＩＣチップ２０に対して相対移動することで、アーム１７によるピッキングの対象となるＩＣチップ２０を撮像する。本実施形態では、カメラ１２は、ＩＣチップ２０を上側から撮像し、ＩＣチップ２０の平面画像を撮像する。

【0175】

カメラ１２により撮像されたＩＣチップ２０についての撮像データは、コンピュータ１１に送られ、入力画像２２（図１１参照）として演算制御部１３に入力される。このように、本実施形態の画像処理装置１０においては、カメラ１２が、入力画像２２を取得するための入力画像取得手段として機能する。

【0176】

図１１に示すように、本実施形態の画像処理装置１０において、コンピュータ１１に備えられる演算制御部１３が、照合の対象物としてのＩＣチップ２０の画像であるテンプレート画像２１を用いた照合を行うことで、入力画像２２に存在するＩＣチップ２０の対象画像部分２３の幾何変換パラメータの値を決定する画像処理手段として機能する。したがって、演算制御部１３において格納部に格納されるプログラム等には、テンプレート画像２１とカメラ１２によって撮像される入力画像２２との画像照合を行うためのプログラムが含まれる。

【0177】

演算制御部１３におけるプログラム等の格納部分としては、例えばＲＡＭ等のコンピュータ１１に内蔵される記憶デバイスのほか、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）等の記憶デバイスが適宜用いられる。

【0178】

図１０に示すように、演算制御部１３は、固有値分解テンプレート画像作成処理部３１と、絞込み処理部３２と、検出処理部３３とを有する。固有値分解テンプレート画像作成処理部３１は、予め記憶されているテンプレート画像２１に基づいて、変換後テンプレート画像群を生成し、生成した変換後テンプレート画像群に固有値分解を施し、算出した固有関数と変換後テンプレート画像群とから固有値分解テンプレート画像群を作成する。

【0179】

絞込み処理部３２は、入力画像２２について、上述したような位置（２次元座標値）の絞込み、および姿勢（方向角）の絞込みを行うための処理を行う。つまり、絞込み処理部３２は、位置の絞込みによって入力画像２２の処理対象画素を決定し、また、姿勢の絞込みにおいて、処理対象画素の全ての画素について、第１の推定方向角θ_Ａ１を算出し、絞込み角度範囲θ_Ａ１±αを導出する。

【0180】

検出処理部３３は、絞込み処理部３２によって得られた処理対象画素の各画素について、絞込み角度範囲θ_Ａ１±αで、入力画像２２と、固有値分解テンプレート画像作成処理部３１によって生成された固有値分解テンプレート画像群との相関値を算出する。検出処理部３３は、算出した相関値から、画像類似度を算出し、算出した画像類似度に基づいて、入力画像２２の幾何変換パラメータの値を決定する。

【0181】

図１０に示すように、演算制御部１３は、テンプレート画像記憶部４１と、変換後テンプレート画像生成部４２と、固有値分解部４３と、固有関数選択部４４と、固有値分解テンプレート画像生成部４５と、画像選択部４６と、相関値ベクトル生成部４７と、画素除外部４８と、特徴ベクトル生成部４９と、ベクトル選出部５０と、画像類似度算出部５１と、照合部５２とを有する。

【0182】

テンプレート画像記憶部４１は、テンプレート画像２１（図１１参照）を記憶する。テンプレート画像２１は、例えば、カメラ１２による撮像対象となるＩＣチップ２０と同じ部品がカメラ１２と同様のアングルから撮像されることにより得られる。テンプレート画像２１は、ＩＣチップ２０のＩＣ基盤への位置決めの工程において、方向角および２次元座標値の基準を示す画像として、入力画像２２の照合の対象となる。

【0183】

詳細には、テンプレート画像２１は、カメラ１２によって取得される入力画像２２におけるＩＣチップ２０の占める部分、つまり対象画像部分２３と同程度の大きさとなるように作成される。言い換えると、カメラ１２については、その取得する入力画像２２におけるＩＣチップ２０の占める部分である対象画像部分２３が、テンプレート画像２１におけるＩＣチップ２０の占める部分と同程度となるように、ＩＣチップ２０の撮像位置等が設定される。このようなテンプレート画像２１が、演算制御部１３のテンプレート画像記憶部４１において予め設定され記憶される。

【0184】

変換後テンプレート画像生成部４２は、上述した画像処理方法における第１の画像群生成ステップでの処理に相当する処理を行う。すなわち、変換後テンプレート画像生成部４２は、テンプレート画像記憶部４１に記憶されているテンプレート画像２１に幾何変換を加えることで、第１の画像群としての変換後テンプレート画像群を生成する。

【0185】

変換後テンプレート画像生成部４２は、テンプレート画像２１に加える幾何変換として、方向角を変化させる回転等を行う。このように、画像処理装置１０においては、変換後テンプレート画像生成部４２が、テンプレート画像２１に幾何変換を加えることで、幾何変換の量が異なる複数の（Ｎ枚の）変換後テンプレート画像からなる変換後テンプレート画像群を生成する第１の画像群生成部として機能する。

【0186】

固有値分解部４３は、上述した画像処理方法における固有値分解ステップでの処理に相当する処理を行う。すなわち、固有値分解部４３は、変換後テンプレート画像群に固有値分解を施すことで、固有値および固有関数を算出する。

【0187】

固有値分解部４３は、変換後テンプレート画像群を構成する変換後テンプレート画像と同数の固有値および固有関数を算出する。このように、画像処理装置１０においては、固有値分解部４３は、変換後テンプレート画像群に固有値分解を施すことで、複数の変換後テンプレート画像と同数の固有値および固有関数を算出する。

【0188】

固有関数選択部４４は、上述した画像処理方法における固有関数選択ステップでの処理に相当する処理を行う。すなわち、画像処理装置１０においては、固有関数選択部４４は、固有値分解部４３で算出された複数の固有関数のうち、固有値の大きな順に、所定の数の固有関数を選択する。つまり、固有関数選択部４４によれば、固有値分解部４３で算出された複数の（Ｎ個の）固有関数のうち、固有値が大きい側の一部の（Ｍ個の）固有関数が選択される。

【0189】

固有値分解テンプレート画像生成部４５は、上述した画像処理方法における第２の画像群生成ステップでの処理に相当する処理を行う。すなわち、固有値分解テンプレート画像生成部４５は、固有値分解部４３で算出された複数の固有関数と変換後テンプレート画像生成部４２で生成された変換後テンプレート画像群とを内積演算することで、固有値分解テンプレート画像群を生成する処理を行う。

【0190】

このように、固有値分解テンプレート画像生成部４５は、複数の固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する第２の画像群生成部として機能する。画像処理装置１０のように、固有関数選択部４４を有する構成においては、固有値分解テンプレート画像生成部４５は、固有関数選択部４４で選択された複数の（Ｍ個の）固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する。

【0191】

画像選択部４６は、上述した画像処理方法における画素選択ステップでの処理に相当する処理を行う。すなわち、画像処理装置１０においては、画像選択部４６は、固有値分解テンプレート画像生成部４５で生成された固有値分解テンプレート画像群の各画像（各固有値分解テンプレート画像４）のうち、固有値の大きな順に、所定の数の固有値分解テンプレート画像４を選択する。つまり、画像選択部４６によれば、固有値分解テンプレート画像生成部４５で生成された複数の（Ｍ枚の）固有値分解テンプレート画像４のうち、固有値が大きい側の一部の（Ｋ枚の）固有値分解テンプレート画像４が選択される。

【0192】

相関値ベクトル生成部４７は、上述した画像処理方法における相関値ベクトル生成ステップでの処理に相当する処理を行う。すなわち、相関値ベクトル生成部４７は、変換後テンプレート画像群の各画像（変換後テンプレート画像）について、固有値分解テンプレート画像群の各画像（固有値分解テンプレート画像４）との相関を表す所定の実数である相関値ａ_ｎを各成分の値とする相関値ベクトルを生成する。

【0193】

このように、相関値ベクトル生成部４７は、変換後テンプレート画像と固有値分解テンプレート画像との照合によって、変換後テンプレート画像群の各変換後テンプレート画像に対応する相関値ベクトルを算出する。画像処理装置１０のように、画像選択部４６を有する構成においては、相関値ベクトル生成部４７は、画像選択部４６で選択された（Ｋ枚の）固有値分解テンプレート画像４について、相関値ベクトルを生成する。

【0194】

このように相関値ベクトルを生成する相関値ベクトル生成部４７は、本実施形態の画像処理方法において用いられる辞書を作成する辞書作成部として機能する。ここで作成された辞書、即ち変換後テンプレート画像群と同数の相関値ベクトル群は、演算制御部１３において格納部に格納されたりＲＡＭ等の記憶部に記憶されたりする。

【0195】

画素除外部４８は、上述した画像処理方法における画素除外ステップでの処理に相当する処理を行う。すなわち、画素除外部４８は、上述した位置（２次元座標値）の絞込みの処理を行う部分であり、０次の相関値ｒ_０が所定の閾値Ａｒ未満の画素については、処理対象から除外する。処理対象から除外された画素は、幾何変換パラメータについての探索が打ち切られる。

【0196】

このように、画素除外部４８は、入力画像２の各画素について、固有値分解テンプレート画像群の画像のうち次数が最も低い最低次数画像（０次の固有値分解テンプレート画像４）と入力画像２との関係について算出される相関値ｒ_０に基づき、入力画像２の画素のうち最低次数画像についての相関値ｒ_０が相対的に低い画素を処理対象から除外する。

【0197】

特徴ベクトル生成部４９は、上述した画像処理における特徴ベクトル生成ステップでの処理に相当する処理を行う。すなわち、特徴ベクトル生成部４９は、入力画像２について、相関値ａ_ｎを各成分の値とする特徴ベクトルＶｔを生成する。特徴ベクトルＶｔは、相関値ベクトル生成部４７によって生成された相関値ベクトルの比較対象となる。

【0198】

ベクトル選出部５０は、上述した画像処理におけるベクトル選出ステップでの処理に相当する処理を行う。すなわち、ベクトル選出部５０は、相関値ベクトル生成部４７で生成された複数の相関値ベクトルのうち、特徴ベクトルＶｔに最も近似する相関値ベクトルを選出する。

【0199】

具体的には、ベクトル選出部５０は、近似近傍探索等の手法によって、Ｎ＝３６０個の相関値ベクトルｖ０〜ｖ３５９から、特徴ベクトルＶｔに最も近似する相関値ベクトルを選出する。

【0200】

画像類似度算出部５１は、上述した画像処理方法における画像類似度算出ステップでの処理に相当する処理を行う。すなわち、画像類似度算出部５１は、上記式（１）〜（９）に基づき、姿勢の絞込みによって得られた絞込み角度範囲θ_Ａ１±αで、入力画像２２について、固有値分解テンプレート画像群に対する画像類似度（ｇ（θ））を算出する。画像類似度算出部５１は、こうした絞込み角度範囲θ_Ａ１±αについての画像類似度（ｇ（θ））を、処理対象画素の全てについて画素毎に行う。

【0201】

このように、画像類似度算出部５１は、処理対象画素について、ベクトル選出部５０により選出された相関値ベクトルに対応する幾何変換パラメータの値である第１の推定方向角θ_Ａ１の値の近傍の範囲、すなわち絞込み角度範囲θ_Ａ１±αで、画像類似度（ｇ（θ））を算出する。

【0202】

照合部５２は、上述した画像処理方法における照合ステップでの処理に相当する処理を行う。すなわち、照合部５２は、画像類似度算出部５１で算出された画像類似度（ｇ（θ））に基づき、入力画像２２の幾何変換パラメータの値を決定する。

【0203】

照合部５２は、テンプレート画像２１と入力画像２２との照合を、上記のとおり画像類似度算出部５１で算出された画像類似度の値を指標として行う。画像処理装置１０においては、照合部５２は、画像類似度算出部５１で算出された画像類似度に基づき、幾何変換パラメータである位置（２次元座標値）および姿勢（方向角）の値を決定する。すなわち、照合部５２は、処理対象画素のうち、画像類似度算出部５１により算出された最大画像類似度が最も大きな画素の位置を、幾何変換パラメータの２次元座標値の値として決定し、最大画像類似度が最も大きな画素についての最大画像類似度に対応する方向角（第２の推定方向角θ_Ａ２）を、幾何変換パラメータの方向角として決定する。

【0204】

以上のように、本実施形態の画像処理装置１０において演算制御部１３が有する各部によって行われる画像照合によれば、照合結果として、入力画像２２の方向角および２次元座標値が得られる。具体的には、図１１に示すように、照合結果に含まれる方向角としては、例えば、テンプレート画像２１の方向角を示す基準線Ｏ１０に対する、対象画像部分２３の傾き（回転角度）θが求められる。また、照合結果に含まれる２次元座標値としては、例えば、入力画像２２における所定の位置（図１１に示す例では、入力画像２の左上の角の位置）を原点Ｏ２０とした場合の対象画像部分２３の中心位置Ｃ１０の２次元座標値（ＸＹ座標値）が求められる。

【0205】

以上説明した画像処理装置１０においては、入力画像２２について決定される幾何変換パラメータとして、方向角および２次元座標値が用いられているが、上述したように、テンプレート画像２１に加えられる幾何変換として射影変換や画像のぼかし処理が用いられ、幾何変換パラメータとして射影変換や画像のぼかし処理に必要なパラメータが用いられてもよい。

【0206】

［処理手順］
本実施形態の画像処理として行われる画像照合の処理手順の一例について、図２、図１２から図１４に示すフロー図を用いて説明する。

【0207】

図２に示すように、本実施形態の画像処理としての画像照合の処理手順では、まず、テンプレート画像の入力が行われる（Ｓ１０）。ここでは、画像処理装置１０において、検査対象であるＩＣチップ２０が所定の方法によって撮像されることで得られるテンプレート画像２１が、テンプレート画像記憶部４１に入力され、予め記憶される。

【0208】

次に、固有値分解テンプレート画像の生成が行われる（Ｓ２０）。この固有値分解テンプレート画像生成ステップの詳細を、図１２のフロー図に示す。

【0209】

図１２に示すように、固有値分解テンプレート画像生成ステップでは、まず、変換後テンプレート画像群の生成が行われる（Ｓ２１）。このステップは、第１の画像群生成ステップに相当する。このステップでは、テンプレート画像１を１°ピッチで回転させることで、方向角が１°ピッチで異なるＮ＝３６０枚の変換後テンプレート画像（θ＝０〜３５９）が生成され、この３６０枚の変換後テンプレート画像が、変換後テンプレート画像群Ｔ［ｉ］として得られる。

【0210】

画像処理装置１０では、変換後テンプレート画像生成部４２により、テンプレート画像記憶部４１に記憶されているテンプレート画像２１が１°ピッチで回転させられることで、Ｎ＝３６０枚の変換後テンプレート画像（回転画像）からなる変換後テンプレート画像群が生成される。図３に示す例では、Ｎ枚の変換後テンプレート画像からなる変換後テンプレート画像群１Ｎが生成される。

【0211】

次に、複数の固有値および固有関数の算出が行われる（Ｓ２２）。このステップは、固有値分解ステップに相当する。このステップでは、変換後テンプレート画像群Ｔ［ｉ］に対して固有値分解を行うことで、固有関数φ［ｉ］と固有値λ［ｉ］が得られる。

【0212】

画像処理装置１０では、固有値分解部４３により、変換後テンプレート画像群（Ｎ枚の変換後テンプレート画像）に固有値分解が施されることで、固有値および固有関数が算出される。ここでは、固有値分解部４３により生成された変換後テンプレート画像の数と同数（Ｎ個）の固有値および固有関数が算出される。したがって、上記のとおり３６０枚の変換後テンプレート画像が生成される場合、３６０個の固有値および固有関数が算出される。図３に示す例では、変換後テンプレート画像群１Ｎに固有値分解が施されることで、Ｎ個の固有関数φ_ｎ（θ），（ｎ＝１，２，・・・Ｎ）からなる固有関数群と、Ｎ個の固有値が算出される。

【0213】

続いて、固有値の大きさに基づく固有関数の選択が行われる（Ｓ２３）。このステップは、固有関数選択ステップに相当する。このステップでは、固有値λ［ｉ］の値を基に、固有値λ［ｉ］が大きい順に、Ｍ個（例えば６０個）の固有関数φ［ｉ］が選択される。

【0214】

画像処理装置１０では、固有関数選択部４４により、固有値分解部４３で算出されたＮ個の固有関数のうち、固有値が大きい側の所定の数（Ｍ個）の固有関数が選択される。例えば、上記のとおり３６０個（Ｎ個）の固有関数が算出された場合、そのうちの固有値が大きい方の６０個（Ｍ個）の固有関数が選択される。図３に示す例では、Ｎ個の固有関数φ_ｎ（θ）から、Ｍ個の固有関数からなる固有関数群φ_１（θ），φ_２（θ），・・・，φ_Ｍ（θ）が選択される。

【0215】

そして、固有値分解テンプレート画像群の生成が行われる（Ｓ２４）。このステップは、第２の画像群生成ステップに相当する。このステップでは、ステップＳ２３で選択されたＭ個の固有関数φ［ｉ］と、ステップＳ２１で生成されたＮ枚の変換後テンプレート画像から、Ｍ個の固有値分解テンプレート画像が生成される。

【0216】

画像処理装置１０では、固有値分解テンプレート画像生成部４５により、上記式（４）に基づき、固有関数選択部４４で選択されたＭ個の固有関数と変換後テンプレート画像生成部４２で生成された変換後テンプレート画像群とが内積演算されることで、固有値分解テンプレート画像群（Ｍ枚の固有値分解テンプレート画像）が生成される。図３に示す例では、固有値分解テンプレート画像Ｅ１〜Ｅ３（Ｅ_１（ｘ，ｙ）〜Ｅ_３（ｘ，ｙ））からなる固有値分解テンプレート画像群が得られる。

【0217】

次に、図２に戻り、辞書の生成が行われる（Ｓ３０）。この辞書生成ステップの詳細を、図１３のフロー図に示す。

【0218】

図１３に示すように、辞書生成ステップでは、まず、Ｋ（＜Ｍ）個の固有値分解テンプレート画像の選択が行われる（Ｓ３１）。このステップは、画像選択ステップに相当する。このステップでは、固有値λ［ｉ］の値を基に、固有値λ［ｉ］が大きい順に、Ｋ個（例えば１０個）の固有値分解テンプレート画像４が選択される。ここで選択された複数の固有値分解テンプレート画像４を「辞書テンプレート群」とする。

【0219】

画像処理装置１０では、画像選択部４６により、固有値分解テンプレート画像生成部４５で生成されたＭ枚の固有値分解テンプレート画像４のうち、固有値が大きい側の所定の数（Ｋ枚）の固有値分解テンプレート画像４が選択される。例えば、６０枚の固有値分解テンプレート画像４が生成された場合、そのうちの固有値が大きい方の１０枚（Ｋ枚）の固有値分解テンプレート画像４が選択される。

【0220】

次に、Ｎ個の相関値ベクトルの生成が行われる（Ｓ３２）。このステップは、相関値ベクトル生成ステップに相当する。このステップでは、Ｎ個の変換後テンプレート画像群Ｔ［ｉ］に対して、Ｋ（＜Ｍ）個の固有値分解テンプレート画像４との照合が行われ、Ｎ個の相関値ベクトルｖ［ｉ］＝｛ａｉ０，ａｉ１，ａｉ２，・・・，ａｉ（Ｋ−１）｝が生成される。ここで、各相関値ベクトルｖ［ｉ］に対応する変換後テンプレート画像の姿勢（方向角）を「ｓ［ｉ］」とする。

【0221】

画像処理装置１０では、相関値ベクトル生成部４７により、変換後テンプレート画像生成部４２により生成されたＮ枚の変換後テンプレート画像と、画像選択部４６により選択されたＫ枚の固有値分解テンプレート画像４との畳込み演算により、Ｋ個（例えば１０個）の成分を有するＮ＝３６０個の相関値ベクトルｖ０〜ｖ３５９が生成される。

【0222】

次に、図２に戻り、入力画像２の入力が行われる（Ｓ４０）。ここでは、画像処理装置１０において、カメラ１２により、アーム１７によってピッキングされてアーム１７に保持されている状態のＩＣチップ２０が撮像され、その撮像データが、コンピュータ１１の演算制御部１３に入力される。図３に示す例では、入力画像２が取得され入力される。

【0223】

続いて、同じく図２に示すように、３段階の絞込みをともなう画像照合が行われる（Ｓ５０）。この３段階絞込み画像照合ステップの詳細を、図１４のフロー図に示す。

【0224】

図１４に示すように、３段階絞込み画像照合ステップでは、まず、入力画像２と０次の固有値分解テンプレート画像４との照合による０次相関画像５の取得が行われる（Ｓ５１）。すなわち、このステップでは、入力画像２と０次の固有値分解テンプレート画像４との畳込みの結果として、入力画像２の各画素に対応する画素ついての０次の応答値、つまり０次の相関値ｒ_０の大小を表した０次相関画像５（図４参照）が取得される。

【0225】

画像処理装置１０では、画素除外部４８により、入力画像２と０次の固有値分解テンプレート画像４との畳込み演算が行われ、０次相関画像５が生成される。

【0226】

次に、０次相関画像５における閾値Ａｒを用いた処理対象画素の決定が行われる（Ｓ５２）。すなわち、このステップでは、入力画像２の画素に関し、０次の相関値ｒ_０が閾値Ａｒ以上となる画素を処理対象画素とし、それ以外の画素、つまり０次の相関値ｒ_０が閾値Ａｒ未満となる画素については、処理対象から除外する。

【0227】

画像処理装置１０では、画素除外部４８により、入力画像２の各画素について算出した０次の相関値ｒ_０に対し、閾値Ａｒを用いた閾値処理により、処理対象画素以外の画素が処理対象から除外される。なお、閾値Ａｒは、例えば演算制御部１３において画素除外部４８等に予め設定され記憶される。

【0228】

３段階絞込み画像照合ステップにおいて、これらのステップＳ５１、Ｓ５２が、画素除外ステップに相当する。すなわち、これらのステップＳ５１、Ｓ５２での処理は、上述した位置（２次元座標値）の絞込みの処理に対応する。

【0229】

次に、特徴ベクトルの生成が行われる（Ｓ５３）。このステップは、特徴ベクトル生成ステップに相当する。このステップでは、処理対象画素の位置に辞書テンプレート群を平行移動させて画像照合が行われ、特徴ベクトルＶｔ＝｛ｔ０，ｔ１，ｔ２，・・・，ｔ（Ｋ−１）｝が生成される。

【0230】

画像処理装置１０では、特徴ベクトル生成部４９により、入力画像２２と、画像選択部４６により選択されたＫ枚の固有値分解テンプレート画像４との畳込み演算により、Ｋ個（例えば１０個）の成分を有する特徴ベクトルＶｔが生成される。

【0231】

次に、特徴ベクトルと相関値ベクトルとの比較による最近似相関値ベクトルの選出が行われる（Ｓ５４）。このステップは、ベクトル選出ステップに相当する。このステップでは、近似近傍探索等の手法が用いられ、辞書テンプレート群、即ちθ＝０〜３５９の３６０個の相関値ベクトル群から、特徴ベクトルＶｔに最も近似する相関値ベクトルが選出される。ここで選出された相関値ベクトルから、第１の推定方向角θ_Ａ１および絞込み角度範囲θ_Ａ１±αが得られる。ここで選出された相関値ベクトルの姿勢（方向角）ｓ［ｉ］を、「第１の推定姿勢」とする。

【0232】

画像処理装置１０では、ベクトル選出部５０により、相関値ベクトル生成部４７により生成された３６０個の相関値ベクトルから、特徴ベクトル生成部４９により生成された特徴ベクトルＶｔに最も近似する相関値ベクトルが選出される。そして、ベクトル選出部５０において、選出した相関値ベクトルから、第１の推定方向角θ_Ａ１および絞込み角度範囲θ_Ａ１±αが算出される。

【0233】

３段階絞込み画像照合ステップにおいて、これらのステップＳ５３、Ｓ５４での処理が、上述した姿勢（方向角）の絞込みの処理に対応する。

【0234】

次に、絞込み角度範囲θ_Ａ１±αについての画像類似度の算出が行われる（Ｓ５５）。このステップは、画像類似度算出ステップに相当する。このステップでは、ステップＳ５４にて選出された相関値ベクトルに対応する第１の推定方向角θ_Ａ１の値の近傍の範囲、すなわち絞込み角度範囲θ_Ａ１±αで、画像類似度（ｇ（θ））が算出される。そして、絞込み角度範囲θ_Ａ１±αから、画像類似度（ｇ（θ））が最大となる方向角（第２の推定方向角θ_Ａ２）が算出される。これにともない、第２の推定方向角θ_Ａ２に対応する画像類似度（最大画像類似度）が算出される。ここで、最大画像類似度に対応する姿勢（方向角）ｓ［ｉ］を、「第２の推定姿勢」とする。

【0235】

画像処理装置１０では、画像類似度算出部５１により、ベクトル選出部５０により選出された相関値ベクトルに対応する第１の推定方向角θ_Ａ１の値の近傍の範囲で、画像類似度（ｇ（θ））が算出される。この画像類似度（ｇ（θ））の相関波形から、第２の推定方向角θ_Ａ２が算出される。

【0236】

そして、入力画像２についての方向角および２次元座標値（ＸＹ座標値）の決定が行われる（Ｓ５６）。このステップは、照合ステップに相当する。このステップでは、処理対象画素のうち、ステップＳ５５により算出された最大画像類似度が最も大きな画素の位置が、２次元座標値の値として決定され、最大画像類似度が最も大きな画素についての最大画像類似度に対応する方向角（第２の推定方向角θ_Ａ２）が、方向角として決定される。ここで決定された２次元座標の値が、検出位置であり、ここで決定された方向角、つまり第２の推定姿勢が、検出姿勢である。

【0237】

画像処理装置１０では、照合部５２により、画像類似度算出部５１で算出された、処理対象画素についての絞込み角度範囲θ_Ａ１±αにおける画像類似度（ｇ（θ））に基づき、入力画像２２についての、検出位置となる２次元座標値、および検出姿勢となる方向角が決定される。

【0238】

そして、図２に戻り、ステップＳ５０における画像照合の結果に基づき、入力画像についての方向角および２次元座標値が、それぞれ検出姿勢および検出位置として出力される（Ｓ６０）。

【0239】

画像処理装置１０では、照合部５２により決定された検出姿勢および検出位置は、例えば、演算制御部１３に接続された表示部１５において出力される。

【0240】

以上のような処理手順において、ステップＳ５３〜Ｓ５５は、ステップＳ５１およびＳ５２において決められた処理対象画素の全ての画素について行われる。このため、上述した処理手順においては、例えば次のような手法が採用される。まず、入力画像のうち、ステップＳ５１およびＳ５２において得られた処理対象画素について、その２次元座標値（ｘ，ｙ）が特定される。

【0241】

そして、処理対象画素の各画素の位置（ｘ，ｙ）について、所定の順序で、特徴ベクトルの生成（Ｓ５３）、最近似相関値ベクトルの選出（Ｓ５４）、および画像類似度の算出（Ｓ５５）が繰り返し行われる。例えば、処理対象画素の各画素の位置（ｘ，ｙ）は、上から順に各行において左側から右側に向けて１画素ずつ順にずらしながら設定される。そして、全ての処理対象画素についての画像類似度ｇの算出が行われると、その算出結果に基づいて、ステップＳ５６において、最終的な幾何変換パラメータの値（実数値）、つまり方向角および２次元座標値が決定される。

【0242】

以上のような画像照合の処理手順に関し、画像処理装置１０においては、予め記憶されているテンプレート画像２１に基づいて固有値分解テンプレート画像群が作成される処理であるステップＳ１０、Ｓ２０が、固有値分解テンプレート画像作成処理部３１により行われる。また、位置の絞込みおよび方向角の絞込みの処理を行う、ステップＳ３０、Ｓ４０、およびＳ５０のＳ５１〜Ｓ５５が、絞込み処理部３２により行われる。そして、画像類似度を算出し、方向角および２次元座標値を決定して出力する、ステップＳ５０のＳ５６、およびＳ６０が、検出処理部３３により行われる。

【0243】

なお、実際の処理工程においては、複数のＩＣチップ２０の位置決めが行われる場合、固有値分解テンプレート画像作成処理部３１による固有値分解テンプレート画像群の生成処理は、複数のＩＣチップ２０の位置決めに際して予め行われる。そして、検出処理部３３による方向角および２次元座標値の決定のための処理が、各ＩＣチップ２０の位置決めの工程において、予め生成された固有値分解テンプレート画像群が用いられて繰り返し行われることとなる。

【0244】

［評価実験］
以下、本発明の実施例としての評価実験について説明する。図１５（ａ）に示すように、この評価実験では、入力画像１０２として、５１２×５１２ピクセルの画像を１００セット用いた。入力画像１０２においては、対象画像部分１０３として、姿勢（方向角）が特定できる十字形状の画像部分を用いた。入力画像１０２において、対象画像部分１０３は、黒無地の背景中に存在する。１００セットの入力画像１０２は、それぞれ他の入力画像１０２との関係において対象画像部分１０３の部分をランダムに回転・平行移動させることで作成した。これに対し、テンプレート画像は、入力画像１０２における対象画像部分１０３と同サイズ・同形状の画像部分を含む画像である。

【0245】

また、この評価実験では、本発明に係る画像処理方法（以下「提案手法」という。）において、テンプレート画像を１°ピッチで回転させることで、計３６０枚の変換後テンプレート画像からなる変換後テンプレート画像群を生成した（Ｎ＝３６０）。また、この評価実験では、近似次数Ｍ＝６０とし、相関値ベクトルおよび特徴ベクトルＶｔの算出に用いる固有値分解テンプレート画像の枚数Ｋ＝２０とした。

【0246】

図１５（ｂ）に、この評価実験の結果を示す。図１５（ｂ）に示すように、この評価実験では、提案手法に対する比較例として、従来手法についての実験を行った。ここで、従来手法は、提案手法において、位置の絞込みおよび姿勢の絞込みを行わない手法である。つまり、従来手法は、入力画像１０２の全ての画素を処理対象とし、しかも、相関波形の算出（画像類似度の算出）を全方向角（θ＝０〜３５９°）について行ったものである。また、図１５（ｂ）に示すように、この評価実験では、他の比較例として、パターンマッチング手法であるＲＩＰＯＣ（Rotation Invariant Phase Only Correlation）とＮＣＣ（Normalized Cross Correlation）を採用した。

【0247】

図１５（ｂ）に示す表において、「距離誤差［ｐｉｘ］」は、位置（２次元座標値）についての正解値に対する測定値のズレであり、「角度誤差［ｄｅｇ］」は、姿勢（方向角）についての正解値対する測定値のズレである。ここで、位置および姿勢それぞれについての正解値は、予め設定される既知の値である。図１５（ｂ）に示す表の「距離誤差」および「角度誤差」の各欄に示す数値は、いずれも１００枚の入力画像１０２について得られた測定値の平均値である。また、「成功率［％］」は、位置の測定値が正解値±５［ｐｉｘ］の範囲内であり、かつ、姿勢の測定値が正解値±５［ｄｅｇ］の範囲内である状態を「成功」とし、１００枚の入力画像１０２のうち成功した枚数に相当する。「処理時間［ｍｓｅｃ］」は、処理を開始してから方向角および２次元座標値を測定するまでの時間である。

【0248】

図１５（ｂ）に示す結果からわかるように、提案手法において、従来手法に対して、「距離誤差」、「角度誤差」、および「成功率」はいずれも同じであるが、「処理時間」が１／１０以下と大幅に短縮されている。そして、提案手法の「処理時間」は、比較的高速と言われているＲＩＰＯＣと同程度である。また、提案手法の「距離誤差」および「角度誤差」は、ＲＩＰＯＣと同程度であり、提案手法によれば、ＲＩＰＯＣと同程度の検出精度が得られる。なお、ＮＣＣとの比較においては、提案手法の「距離誤差」および「角度誤差」は十分に小さく、「処理時間」も短い。

【0249】

他の評価実験について、図１６を用いて説明する。この評価実験では、入力画像にノイズを加えて測定を行った。具体的には、図１６（ａ）に示すように、この評価実験用いた入力画像２０２は、対象画像部分２０３に加え、ノイズとしての網目模様の背景２０４と３本の湾曲したライン２０５とを有する。他の条件等は、上述した評価実験と同じである。このように入力画像が比較的複雑な評価実験は、実際に画像照合が用いられる状況に近い場面を想定したものである。

【0250】

図１６（ｂ）に示す結果からわかるように、この評価実験についても、上述した評価実験と同様に、提案手法において、従来手法に対して、「距離誤差」、「角度誤差」、および「成功率」はいずれも同程度であるが、「処理時間」が１／１０以下と大幅に短縮されている。また、提案手法の「処理時間」は、比較的高速と言われているＲＩＰＯＣと同程度である。また、提案手法の「距離誤差」および「角度誤差」は、ＲＩＰＯＣと同程度であり、提案手法によれば、ＲＩＰＯＣと同程度の検出精度が得られる。なお、ＮＣＣとの比較においては、提案手法の「距離誤差」および「角度誤差」は十分に小さく、「処理時間」も短い。

【0251】

ただし、この評価実験では、ＲＩＰＯＣの「成功率」が、上述した評価実験の場合と比べて大幅に（半分以下に）減少している。これに対し、提案手法は、このノイズを含む入力画像２０２を用いた評価実験においても、ノイズを有しない入力画像１０２を用いた評価実験の場合と同程度の「成功率」が維持されている。つまり、提案手法は、ＲＩＰＯＣと比べて、検出精度について入力画像上に存在するノイズによる影響を受けにくく、入力画像が複雑になっても、検出精度を維持することができる。

【0252】

以上のような評価実験の結果から、提案手法によれば、実用に十分耐えうる処理速度が得られ、ＲＩＰＯＣとの比較においても同程度の検出精度を得ることができることが実証された。また、提案手法は、ＲＩＰＯＣと比べて、入力画像上のノイズによる影響を受けにくく、入力画像が複雑になっても検出精度をある程度維持できることが実証された。以上のように、評価実験の結果から、提案手法は、処理速度、検出精度、およびノイズの影響を総合的に勘案して、上述した提案手法に対する従来手法やＲＩＰＯＣやＮＣＣ等の従来技術に対して優れた手法であると言える。

【0253】

なお、提案手法において、テンプレート画像群の濃淡値に対して固有値分解を行うのではなく、それぞれのテンプレート画像および入力画像をエッジ方向画像あるいは増分符号画像に変換した後に、提案手法によりテンプレート画像群を固有値分解テンプレート画像群に変換して画像照合を行うこともできる。すなわち、エッジ方向を加味した画像照合を行うことで、明るさの変動や、対象物の一部が隠れる等の遮蔽に頑健な画像照合が可能となる。

【0254】

提案手法は、入力画像からテンプレート画像と一致する位置と方向角等の幾何変換パラメータを高速に検出する手法である。提案手法は、テンプレート画像の固有値分解で得られる画像を照合することで、相関値波形を算出する。すなわち、提案手法は、画像照合用のテンプレート画像群に固有値分解を施して主成分情報を抽出し、これに基づいて画像の類似度推定用の連続した類似度曲線を算出することにより、照合時間の短縮および照合精度の向上を可能とするものである。

【0255】

提案手法は、固有値分解を用いて枚数を削減した新たなテンプレート画像を用いて精度を落とすことなく、検査対象画像（入力画像）とテンプレート画像との幾何学的差異（幾何変換パラメータの値）を推定する圧縮テンプレートマッチング法ということができる。そして、固有値分解により算出された固有関数を、元のテンプレート画像群である第１の画像群（変換後テンプレート画像群）に内積演算して生成した第２の画像群（固有値分解テンプレート画像群）の生成、および入力画像との画像類似度の算出に２度活用している。これにより、連続曲線で表される画像類似度を得ることができ、従来技術では得られない高い精度の幾何変換パラメータの値の推定を行うことが可能となる。

【0256】

そして、提案手法は、入力画像に対して、位置（２次元座標値）の絞込みと、姿勢（方向角）の絞込みとの２段階の絞込みを行うことで、効果的に幾何変換パラメータの探索の範囲、つまり画像類似度を算出する対象となる範囲を狭め、処理時間の更なる短縮化を図る。

【0257】

本発明の応用例としては、自動車部品等の各種機械部品の検査・計測、バイオメトリクス（指紋認証）、文字認識（ＯＣＲ）、食品・薬品検査、高精度な位置合わせが要求される、半導体ウエハやＩＣ基盤の位置決め（半導体検査、マスク露光の位置合わせ、回転角合わせ（アライメント））、外観検査等が挙げられ、本発明は各分野での適用の可能性を有する。特に、サブピクセルレベルの高い照合精度と高速処理が要求される工業画像処理における画像照合処理においては、本発明に係る画像処理技術が有用である。

【符号の説明】

【0258】

１ テンプレート画像
２ 入力画像
３ 対象画像部分
１０ 画像処理装置
１１ コンピュータ
１２ カメラ（入力画像取得手段）
１３ 演算制御部（画像処理手段）
２１ テンプレート画像
２２ 入力画像
２３ 対象画像部分
３１ 固有値分解テンプレート画像作成処理部
３２ 絞込み処理部
３３ 検出処理部
４２ 変換後テンプレート画像生成部（第１の画像群生成部）
４３ 固有値分解部
４４ 固有関数選択部
４５ 固有値分解テンプレート画像生成部（第２の画像群生成部）
４６ 画像選択部
４７ 相関値ベクトル生成部
４８ 画素除外部
４９ 特徴ベクトル生成部
５０ ベクトル選出部
５１ 画像類似度算出部
５２ 照合部

【図1】

【図2】

【図5】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図3】

【図4】

【図6】

【図15】

【図16】