特許 5993233 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5993233

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G06T 7/60 20060101AFI20160901BHJP

【ＦＩ】

   G06T7/60 150D

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2012-155539(P2012-155539)

(22)【出願日】2012年7月11日

(65)【公開番号】特開2014-16933(P2014-16933A)

(43)【公開日】2014年1月30日

【審査請求日】2015年5月21日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100159651

【弁理士】

【氏名又は名称】高倉 成男

(74)【代理人】

【識別番号】100088683

【弁理士】

【氏名又は名称】中村 誠

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100095441

【弁理士】

【氏名又は名称】白根 俊郎

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100119976

【弁理士】

【氏名又は名称】幸長 保次郎

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(74)【代理人】

【識別番号】100134290

【弁理士】

【氏名又は名称】竹内 将訓

(72)【発明者】

【氏名】宮下 尚之

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００７−１４１２２２（ＪＰ，Ａ）

【文献】 特開平１１−０１５９５１（ＪＰ，Ａ）

【文献】 特開２００４−１３８５６３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

入力画像の全体の特徴点の分布状況と前記入力画像に設定される複数の小領域毎の特徴点の分布状況とを画像解析により取得する画像解析部と、
前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定する目標点数設定部と、
前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定する期待点数設定部と、
前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、
前記比較部による比較結果に基づき、前記小領域毎に特徴点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に応じて特徴点検出を行う特徴点検出部と、
を具備することを特徴とする画像処理装置。

【請求項2】

前記画像解析部は、前記入力画像の全体に対する特徴点検出を行うことによって前記入力画像の全体の特徴点の分布状況を取得し、前記小領域毎に対する特徴点検出を行うことによって小領域毎の特徴点の分布状況を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像解析部は、前記入力画像の全体の画素分散を算出することによって前記入力画像の全体の特徴点の分布状況を取得し、前記小領域毎の画素分散を算出することによって小領域毎の特徴点の分布状況を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像解析部は、前記入力画像の全体のテクスチャ解析をすることによって前記入力画像の全体の特徴点の分布状況を取得し、前記小領域毎のテクスチャ解析をすることによって小領域毎の特徴点の分布状況を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記期待点数が前記目標点数に達するまで、前記感度設定部による前記感度の設定と前記特徴点検出部による前記特徴点検出とが繰り返されることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

前記感度設定部は、前記期待点数が前記目標点数よりも少ない前記小領域について、前記検出感度を上昇させることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

複数の入力画像の全体のマッチング点の分布状況と前記複数の入力画像のそれぞれに設定される複数の小領域毎のマッチング点の分布状況とを画像解析により取得する画像解析部と、
前記入力画像の全体のマッチング点の分布状況に基づいて、マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記小領域毎に設定する目標点数設定部と、
前記小領域毎のマッチング点の分布状況に基づいて、マッチング点検出の際に前記小領域において検出されることが期待されるマッチング点の数である期待点数を前記小領域毎に設定する期待点数設定部と、
前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、
前記比較部の比較結果に基づき、前記小領域毎にマッチング点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に従ってマッチング点検出を行うマッチング部と、
を具備することを特徴とする画像処理装置。

【請求項8】

前記感度設定部は、前記期待点数が前記目標点数よりも少ない前記小領域について、前記検出感度を上昇させることを特徴とする請求項７に記載の画像処理装置。

【請求項9】

入力画像の全体の特徴点の分布状況を画像解析により取得する画像解析部と、
前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記入力画像に設定される複数の小領域毎に設定する目標点数設定部と、
特徴点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に従って特徴点検出を行う特徴点検出部と、
を具備し、
前記感度設定部は、前記特徴点検出部によって検出された特徴点の数が前記目標点数よりも少ない前記小領域について、再度の前記特徴点検出の際の検出感度を上昇させ、
前記特徴点検出部によって検出された特徴点の数が前記目標点数に達するまで、前記感度設定部による前記感度の設定と前記特徴点検出部による前記特徴点検出とが繰り返されることを特徴とする画像処理装置。

【請求項10】

前記特徴点検出部は、前記特徴点検出において、
前記入力画像における特徴点らしさを指標化した値である評価値を算出する評価値算出と、
前記評価値を所定の閾値と比較する閾値判定と、
周囲の評価値に比べて大きく且つ前記所定の閾値以上の評価値を有する座標を特徴点とする極大性評価と、
を行い、
前記感度設定部は、前記特徴点検出部によって検出された特徴点の数が前記目標点数に達していない前記小領域について再度の前記評価値算出を行う必要があるか否かを判定し、再度の前記評価値算出を行う必要はないと判定した場合に、前記検出感度として前記極大性評価に用いられるパラメータを小さくし、再度の前記評価値算出を行う必要があると判定した場合に、前記検出感度として前記評価値算出に用いられるパラメータを小さくすることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

入力画像の全体のマッチング点の分布状況を画像解析により取得する画像解析部と、
前記入力画像の全体のマッチング点の分布状況に基づいて、マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記入力画像に設定される複数の小領域毎に設定する目標点数設定部と、
マッチング点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に従ってマッチング点検出を行うマッチング部と、
を具備し、
前記感度設定部は、前記マッチング部によって検出されたマッチング点の数が前記目標点数よりも少ない前記小領域について、再度の前記マッチング点検出の際の検出感度を上昇させ、
前記マッチング部によって検出されたマッチング点の数が前記目標点数に達するまで、前記感度設定部による前記感度の設定と前記マッチング部による前記マッチング点検出とが繰り返されることを特徴とする画像処理装置。

【請求項12】

入力画像に設定される複数の小領域毎の特徴点の分布状況を画像解析により取得する画像解析部と、
特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定する目標点数設定部と、
前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定する期待点数設定部と、
前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、
前記比較部の比較結果に基づき、前記小領域毎に特徴点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に応じて特徴点検出を行う特徴点検出部と、
を具備することを特徴とする画像処理装置。

【請求項13】

前記感度設定部は、前記期待点数が前記目標点数によりも少ない前記小領域について、前記検出感度を上昇させることを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

入力画像に設定される複数の小領域毎のマッチング点の分布状況を画像解析により取得する画像解析部と、
マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記小領域毎に設定する目標点数設定部と、
前記小領域毎のマッチング点の分布状況に基づいて、マッチング点検出の際に前記小領域において検出されることが期待されるマッチング点の数である期待点数を前記小領域毎に設定する期待点数設定部と、
前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、
前記比較部の比較結果に基づき、前記小領域毎にマッチング点検出の際の検出感度を設定する感度設定部と、
前記感度設定部で設定された検出感度に応じてマッチング点検出を行うマッチング部と、
を具備することを特徴とする画像処理装置。

【請求項15】

入力画像の全体の特徴点の分布状況と前記入力画像に設定される複数の小領域毎の特徴点の分布状況とを画像解析により取得し、
前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定し、
前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定し、
前記目標点数と前記期待点数とを前記小領域毎に比較し、
前記目標点数と前記期待点数との比較に基づき、前記小領域毎に特徴点検出の際の検出感度を設定し、
前記設定された検出感度に従って特徴点検出を行う、
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴点を検出する又は特徴点マッチングを行う画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来から複数の画像間のマッチング点を検出するための技術が種々提案されている。この種の技術として、例えば、画像から特徴点を検出する技術であるHarris Corner Detector（非特許文献１）、特徴点の検出及びマッチング技術であるSIFT（非特許文献２）が有名である。

【0003】

通常、マッチング点は、次の様な処理の流れで算出される。
・特徴点検出： ２枚の画像の特徴点を検出する。
・特徴量算出： ２枚の画像の各特徴点における特徴量を算出する。
・マッチング点検出： ２枚の画像間の各特徴点のマッチング度合からマッチング点を検出する。

【0004】

ここで、最終的に検出されるマッチング点の数や分布は、特徴点検出における特徴点の検出感度や、マッチング点検出における検出感度等に大きく影響される。特徴点の検出感度を上げるほど特徴点数は増加するが、特徴点として相応しくないノイズ点を特徴点として検出してしまう可能性が高まる。また、マッチング検出の感度を上げるほどマッチング点数は増加するが、特徴点のミスマッチが起こる可能性が高まる。通常、これらの感度は、所望する特徴点及びマッチング点の点数、ノイズ点の許容率、計算時間等のバランスを鑑みて経験的に求められた所定の感度を用いることが多い。

【0005】

また、画像間の特徴点マッチングを利用した画像合成技術や、画像間のカメラ姿勢変化の推定技術等においては、マッチング点がなるべく画像全体に一様に分布するように算出されることが望ましい。しかしながら、特徴点の検出感度やマッチング点の検出感度を一定とすると、画像の領域によってマッチング点が多すぎたり、少なすぎたりする場合が生じる。

【0006】

マッチング点数を一様に分布させるための技術として、例えば特許文献１では、画像合成用途において、２画像間でマッチングを行った後、画像を領域分割し、領域内のマッチング点数が多い場合には、その領域内のマッチング点を削減する技術が示されている。また、特許文献２では、特徴点検出において、領域内の画素分散の値を基に特徴点の検出感度を変更し、領域内のコントラストの強弱に応じて適応的に特徴点を検出する技術が示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１１−１３８９０号公報

【特許文献2】特開２０１２−４３４０３号公報

【非特許文献】

【0008】

【非特許文献1】C. Harris and M. Stephens, “A combined corner and edge detector”, Proceedings of Fourth Alvey Vision Conference, 147-151, 1988.

【非特許文献2】D. G. Lowe, “Object recognition from local scale-invariant features”, Proceedings of IEEE International Conference on Computer Vision (ICCV), 1150-1157, 1999.

【発明の概要】

【発明が解決しようとする課題】

【0009】

ここで、特許文献１は、マッチング点数が多い領域のマッチング点を削減するものであり、元々のマッチング点が少ない領域のマッチング点についてはそのままであるため、必ずしもマッチング点の分布が一様にはならない。また、特許文献２は、特徴点の検出感度しか考慮しておらず、安定したマッチング点の検出には不十分である。また、像面全体におけるマッチング点の分布状態が考慮されていない。

【0010】

本発明は、前記の事情に鑑みてなされたものであり、像面全体の分布がなるべく一様になるように適応的に特徴点又はマッチング点を検出することが可能な画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、入力画像の全体の特徴点の分布状況と前記入力画像に設定される複数の小領域毎の特徴点の分布状況とを画像解析により取得する画像解析部と、前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定する目標点数設定部と、前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定する期待点数設定部と、前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、前記比較部による比較結果に基づき、前記小領域毎に特徴点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に応じて特徴点検出を行う特徴点検出部と、を具備することを特徴とする。

【0012】

また、前記の目的を達成するために、本発明の第２の態様の画像処理装置は、複数の入力画像の全体のマッチング点の分布状況と前記複数の入力画像のそれぞれに設定される複数の小領域毎のマッチング点の分布状況とを画像解析により取得する画像解析部と、前記入力画像の全体のマッチング点の分布状況に基づいて、マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記小領域毎に設定する目標点数設定部と、前記小領域毎のマッチング点の分布状況に基づいて、マッチング点検出の際に前記小領域において検出されることが期待されるマッチング点の数である期待点数を前記小領域毎に設定する期待点数設定部と、前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、前記比較部の比較結果に基づき、前記小領域毎にマッチング点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に従ってマッチング点検出を行うマッチング部と、を具備することを特徴とする。

【0013】

また、前記の目的を達成するために、本発明の第３の態様の画像処理装置は、入力画像の全体の特徴点の分布状況を画像解析により取得する画像解析部と、前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記入力画像に設定される複数の小領域毎に設定する目標点数設定部と、特徴点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に従って特徴点検出を行う特徴点検出部と、を具備し、前記感度設定部は、前記特徴点検出部によって検出された特徴点の数が前記目標点数よりも少ない前記小領域について、再度の前記特徴点検出の際の検出感度を上昇させ、前記特徴点検出部によって検出された特徴点の数が前記目標点数に達するまで、前記感度設定部による前記感度の設定と前記特徴点検出部による前記特徴点検出とが繰り返されることを特徴とする。

【0014】

また、前記の目的を達成するために、本発明の第４の態様の画像処理装置は、入力画像の全体のマッチング点の分布状況を画像解析により取得する画像解析部と、前記入力画像の全体のマッチング点の分布状況に基づいて、マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記入力画像に設定される複数の小領域毎に設定する目標点数設定部と、マッチング点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に従ってマッチング点検出を行うマッチング部と、を具備し、前記感度設定部は、前記マッチング部によって検出されたマッチング点の数が前記目標点数よりも少ない前記小領域について、再度の前記マッチング点検出の際の検出感度を上昇させ、前記マッチング部によって検出されたマッチング点の数が前記目標点数に達するまで、前記感度設定部による前記感度の設定と前記マッチング部による前記マッチング点検出とが繰り返されることを特徴とする。

【0015】

また、前記の目的を達成するために、本発明の第５の態様の画像処理装置は、入力画像に設定される複数の小領域毎の特徴点の分布状況を画像解析により取得する画像解析部と、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定する目標点数設定部と、前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定する期待点数設定部と、前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、前記比較部の比較結果に基づき、前記小領域毎に特徴点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に応じて特徴点検出を行う特徴点検出部と、を具備することを特徴とする。

【0016】

また、前記の目的を達成するために、本発明の第６の態様の画像処理装置は、入力画像に設定される複数の小領域毎のマッチング点の分布状況を画像解析により取得する画像解析部と、マッチング点検出の際に検出されるべき目標のマッチング点の数である目標点数を前記小領域毎に設定する目標点数設定部と、前記小領域毎のマッチング点の分布状況に基づいて、マッチング点検出の際に前記小領域において検出されることが期待されるマッチング点の数である期待点数を前記小領域毎に設定する期待点数設定部と、前記目標点数と前記期待点数とを前記小領域毎に比較する比較部と、前記比較部の比較結果に基づき、前記小領域毎にマッチング点検出の際の検出感度を設定する感度設定部と、前記感度設定部で設定された検出感度に応じてマッチング点検出を行うマッチング部と、を具備することを特徴とする。

【0017】

また、前記の目的を達成するために、本発明の第７の態様の画像処理方法は、入力画像の全体の特徴点の分布状況と前記入力画像に設定される複数の小領域毎の特徴点の分布状況とを画像解析により取得し、前記入力画像の全体の特徴点の分布状況に基づいて、特徴点検出の際に検出されるべき目標の特徴点の数である目標点数を前記小領域毎に設定し、前記小領域毎の特徴点の分布状況に基づいて、特徴点検出の際に前記小領域において検出されることが期待される特徴点の数である期待点数を前記小領域毎に設定し、前記目標点数と前記期待点数とを前記小領域毎に比較し、前記目標点数と前記期待点数との比較に基づき、前記小領域毎に特徴点検出の際の検出感度を設定し、前記設定された検出感度に従って特徴点検出を行う、ことを特徴とする。

【発明の効果】

【0018】

本発明によれば、像面全体の分布がなるべく一様になるように適応的に特徴点又はマッチング点を検出することが可能な画像処理装置及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。

【図2】本発明の第１の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。

【図3】本発明の第１の実施形態における特徴点候補検出処理について示すフローチャートである。

【図4】本発明の第１の実施形態における特徴点検出メイン処理について示すフローチャートである。

【図5】本発明の第１の実施形態に係る特徴点検出処理について示すフローチャートである。

【図6】本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。

【図7】本発明の第２の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。

【図8】画素分散算出のフローチャートである。

【図9】本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。

【図10】本発明の第３の実施形態に係る画像処理装置におけるマッチング点検出の全体の流れを示すフローチャートである。

【図11】マッチング点候補検出処理について示すフローチャートである。

【図12】本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。

【図13】本発明の第４の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。

【図14】本発明の第４の実施形態に係る特徴点検出処理について示すフローチャートである。

【図15】本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。

【図16】本発明の第５の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。本実施形態は、１画像から特徴点を検出するにあたり、画像全体及び画像全体を複数の領域に分けた小領域毎に画像解析を行い、画像全体及び小領域毎の画像解析結果に基づいて小領域毎に検出感度を設定し、小領域毎に設定した検出感度に基づいて特徴点を検出するものである。ここで、画像解析の手法として所定のパラメータによる特徴点検出を用いる。

【0021】

また、以下の各実施形態で説明する画像処理装置は、特定の機器に限定されるものではない。例えば、以下の各実施形態で説明する画像処理装置は、パーソナルコンピュータ、デジタルカメラ等の各種の機器に搭載され得る。また、以下の各実施形態で説明する画像処理装置と同等の機能が、クラウドコンピューティングを利用して実現されても良い。

【0022】

図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、制御部１０２と、記憶部１０４と、画像処理部１０６と、画像入力部１０８と、を有している。

【0023】

制御部１０２は、画像処理部１０６の動作を制御すべく、各種の制御信号を画像処理部１０６に対して入力する。例えば、制御部１０２は、画像処理部１０６に対して特徴点検出の実行やマッチング点検出の実行を指示する。

【0024】

記憶部１０４は、ハードディスクドライブ（ＨＤＤ）及びダイナミックＲＡＭ（ＤＲＡＭ）といった記憶媒体を有している。ＨＤＤは、画像入力部１０８によって入力される画像データ、後述の特徴点候補検出で用いられる初期パラメータ、制御部１０２で実行される各種のプログラム等を記憶している。ＤＲＡＭは、制御部１０２及び画像処理部１０６における処理データを一時記憶しておく作業メモリとして使用される。

【0025】

画像処理部１０６は、画像入力部１０８から入力された画像データに対して画像処理を施す。本実施形態における画像処理部１０６は、画像データにおける特徴点を検出する画像処理を行う。

【0026】

画像入力部１０８は、記憶部１０４のＨＤＤからＤＲＡＭに展開された画像データを読み出して画像処理部１０６に入力する。

【0027】

また、画像処理部１０６は、画像解析部１０６１と、検出感度設定部１０６２と、特徴点検出部１０６３と、を有している。

【0028】

画像解析部１０６１は、画像入力部１０８から入力された画像データを解析することにより、入力された画像データにおける特徴点の分布状況を取得する。この画像解析部１０６１は、特徴点候補検出部１０６１ａを有している。特徴点候補検出部１０６１ａは、画像入力部１０８から入力された画像データの各画素値に基づいて画像データを解析し、画像データ中の特徴点候補となる点（画素）を検出することによって特徴点の分布状況を取得する。ここで、本実施形態において、特徴点候補検出部１０６１ａは、画像データの全体についての特徴点候補と画像データ内の小領域毎の特徴点候補とをそれぞれ検出する。

【0029】

検出感度設定部１０６２は、画像解析部１０６１における画像データの解析結果に基づいて画像データの小領域毎の特徴点の検出感度を設定するものであり、目標点数設定部１０６２ａと、期待点数設定部１０６２ｂと、比較部１０６２ｃと、感度設定部１０６２ｄと、を有している。

【0030】

目標点数設定部１０６２ａは、画像データの全体の特徴点候補数に基づいて、最終的に検出されるべき特徴点の点数である目標点数を小領域毎に設定する。期待点数設定部１０６２ｂは、検出されることが期待される特徴点の点数である期待点数を小領域毎に設定する。比較部１０６２ｃは、期待点数と目標点数とを小領域毎に比較する。感度設定部１０６２ｄは、期待点数と目標点数の比較に基づいて小領域毎の特徴点の検出感度を設定する。

【0031】

特徴点検出部１０６３は、感度設定部１０６２ｄで設定された検出感度に応じて画像データ中の特徴点を検出する。

【0032】

図２は、第１の実施形態に係る画像処理装置を用いた画像処理方法としての特徴点検出の全体の流れを示すフローチャートである。

【0033】

まず、画像入力部１０８は、記憶部１０４に記憶されている画像データを読み出して画像解析部１０６１の特徴点候補検出部１０６１ａに入力する（Ｓ１１）。以後、この画像解析部１０６１に入力される画像データを入力画像と呼ぶ。

【0034】

画像入力処理の後、特徴点候補検出部１０６１ａは、入力画像中の特徴点候補を検出することによって入力画像の解析を行う（Ｓ１２）。入力画像を解析する目的は、入力画像からどの程度の特徴点が検出され得るかを試算するものである。本実施形態においては、特徴点の候補となる点（特徴点候補）を検出することで試算を行う。より詳しくは、本実施形態における特徴点候補検出処理において、特徴点候補検出部１０６１ａは、入力画像の全体についての特徴点候補と入力画像に対して設定される小領域毎の特徴点候補とをそれぞれ検出する。以下、図３を参照して特徴点候補検出処理についてさらに説明する。

【0035】

図３において、特徴点候補検出部１０６１ａは、入力画像に対して複数の小領域を設定する（Ｓ１０１）。小領域設定処理として、特徴点候補検出部１０６１ａは、例えば、８×８のブロックで入力画像を等分割するように小領域を定める。小領域は、６４（８×８）個の小領域のそれぞれの入力画像上での位置と範囲とによって定義される。

【0036】

続いて、特徴点候補検出部１０６１ａは、特徴点候補検出のための初期パラメータを記憶部１０４から呼び出して設定する（Ｓ１０２）。ここで設定される初期パラメータは、評価値算出に用いられる初期スケールパラメータpar_scale0、閾値判定に用いられる初期評価閾値 par_v0、及び極大性評価に用いられる初期極大性評価範囲par_maximum0である。これらの初期パラメータの詳細については、次の特徴点検出メイン処理の説明の際に述べる。

【0037】

初期パラメータの設定後、特徴点候補検出部１０６１ａは、特徴点検出メイン処理を行う（Ｓ１０３）。特徴点検出メイン処理において、特徴点候補検出部１０６１ａは、初期パラメータを用いて入力画像の全体及び小領域毎の特徴点候補を検出する。以下、図４を参照して特徴点検出メイン処理についてさらに説明する。

【0038】

図４に示す特徴点検出メイン処理において、特徴点候補検出部１０６１ａは、入力画像の座標（画素）毎に評価値を算出し、入力画像と同等の解像度を有する評価値マップを生成する（Ｓ２０１）。ここで、評価値とは、入力画像における特徴点らしさを指標化した値である。また、特徴点らしさとは、ある座標を中心とした画像領域の画像構造の変化の強さを示したものである。したがって、画像中の平坦な領域では評価値が低くなり、エッジ領域では評価値が高くなる。なお、評価値の具体的な算出手法については限定されるものではないが、例えばある座標値における Harris Corner Detectorの評価値Ｒは下式で算出することができる。

【数1】

【0039】

ここで、一般的な特徴点検出アルゴリズムにおいては、どの程度のスケールで評価値を算出するかをパラメータで定めている。このときの初期パラメータが、初期スケールパラメータpar_scale0である。スケールとは、注目座標の周辺の画像領域の範囲及び平滑化処理の平滑化パラメータの組み合わせからなる概念である。

【0040】

評価値の算出後、特徴点候補検出部１０６１ａは、閾値判定を行う（Ｓ２０２）。閾値判定処理において、特徴点候補検出部１０６１ａは、評価値マップの各評価値と所定の閾値とを比較し、閾値以上の点の座標と評価値とを記憶しておく。この所定の閾値が、初期評価閾値par_v0である。

【0041】

閾値判定の後、特徴点候補検出部１０６１ａは、極大性評価を行う（Ｓ２０３）。極大性評価処理において、特徴点候補検出部１０６１ａは、初期評価閾値thr_v0以上の評価値を有している座標について、この座標の評価値が周囲座標の評価値と比較して最も大きな評価値を持つか否かを評価する。例えば、評価範囲として３×３画素の合計９画素の画像領域を考えると、注目座標の評価値とその周囲の８座標の評価値の各々とを比較し、注目画素の評価値が最も大きければその座標を特徴点候補とする。この評価範囲が、初期極大性評価範囲par_maximum0である。

【0042】

ここで、再び図３の説明に戻る。特徴点検出メイン処理の終了後、特徴点候補検出部１０６１ａは、特徴点候補の座標値を出力する（Ｓ１０４）。出力処理において、特徴点候補検出部１０６１ａは、入力画像の全体における各特徴点の座標値を目標点数設定部１０６２ａに出力する。また、特徴点候補検出部１０６１ａは、入力画像の小領域毎の各特徴点の座標値を期待点数設定部１０６２ｂに出力する。

【0043】

ここで、再び図２の説明に戻る。特徴点候補検出の後、目標点数設定部１０６２ａは、入力画像の全体の特徴点候補検出の結果を基に、小領域毎に最終的にどの程度の特徴点数の検出を目標とするのかを目標点数として設定する（Ｓ１３）。目標点数設定処理において、目標点数設定部１０６２ａは、例えば、入力画像の全体の特徴点候補の数を小領域数で割った数を目標点数とする。即ち、以下の式に従って目標点数を設定する。

【数2】

また、期待点数設定部１０６２ｂは、小領域毎の特徴点候補検出の結果を基に、初期パラメータに基づいて特徴点検出をした場合に、どの程度の数の特徴点が検出され得るかを期待点数として設定する（Ｓ１４）。期待点数設定処理において、期待点数設定部１０６２ｂは、特徴点候補検出処理で検出された小領域毎の特徴点候補の数をそのまま期待点数として採用する。即ち、小領域が６４（８×８）個ある場合は、６４個の期待点数が設定される。

【0044】

目標点数及び期待点数が設定されると、比較部１０６２ｃは、小領域毎に設定された目標点数と期待点数とを比較する（Ｓ１５）。比較処理において、比較部１０６２ｃは、目標点数と期待点数とがどの程度乖離しているのかを判定する。そして、期待点数が目標点数より小さい場合、特徴点の検出感度を初期パラメータより高くする必要があると判定し、比較部１０６２ｃは、再検出フラグをＯＮに設定する。反対に、期待点数が目標点数以上である場合、比較部１０６２ｃは、再検出フラグをＯＦＦに設定する。

【0045】

比較部１０６２ｃにおける比較処理の後、感度設定部１０６２ｄは、小領域毎の目標点数と期待点数との比較結果に基づき、小領域毎の特徴点の検出感度を設定する（Ｓ１６）。検出感度設定処理において、感度設定部１０６２ｄは、再検出フラグの状態により、小領域毎の特徴点検出のパラメータを設定する。再検出フラグがＯＦＦである場合には、期待点数が目標点数以上であるので、特徴点候補を削減する。特徴点候補の削減の処理自体は、次の特徴点検出の際に行う。また、再検出フラグがＯＦＦである場合には、検出感度として前述の初期パラメータを用いる。一方、再検出フラグがＯＮである場合には、期待点数が目標点数未満である。この場合、感度設定部１０６２ｄは、特徴点がより検出されるように特徴点検出の際のパラメータを設定する。具体的には、感度設定部１０６２ｄは、以下のようにパラメータを設定する。
（１）スケールパラメータpar_scale_nを初期スケールパラメータpar_scale0より小さな値に設定する。
par_scale_n＜par_scale0
（２）評価閾値par_v_nを初期評価閾値par_v0より小さな値に設定する。
par_v_n＜par_v0
（３）極大性評価範囲par_maximum_nを初期極大性評価範囲par_maximum0より小さな値に設定する。
par_maximum_n＜par_maximum0
感度設定の変形例として、比較処理において期待点数と目標点数の乖離度を求め、この乖離度に応じて感度設定処理におけるパラメータの変更の程度を変えても良い。具体的には、スケールパラメータpar_scale_n、評価閾値par_v_n、極大性評価範囲 par_maximum_nを小さくすると特徴点がより検出されるようになるので、乖離度が大きくなるほどにこれらのパラメータを小さくする。

【0046】

小領域毎に検出感度を設定した後、特徴点検出部１０６３は、設定された特徴点の検出感度に基づき、入力画像中の特徴点を検出する（Ｓ１７）。その後、図２の処理を終了させる。以下、図５を参照して特徴点検出についてさらに説明する。図５に示す特徴点検出処理は、小領域の数だけ繰り返して行うものである。

【0047】

図５において、まず、特徴点検出部１０６３は、再検出フラグがＯＮか否かを判定する（Ｓ３０１）。Ｓ３０１において、再検出フラグがＯＮであると判定した場合、特徴点検出部１０６３は、特徴点検出メイン処理を行う（Ｓ３０２）。ある小領域における期待点数が目標点数未満である場合に特徴点検出メイン処理を再実行する。具体的な処理の流れは図４で示した処理の流れと同様である。ただし、特徴点候補検出中の特徴点検出メイン処理では初期パラメータを用いたのに対し、Ｓ３０２の特徴点検出メイン処理では、感度設定処理において設定したパラメータを用いて特徴点を検出する。したがって、Ｓ３０２の特徴点検出メイン処理では、特徴点候補検出中の特徴点検出メイン処理よりも多くの特徴点が検出される可能性が高い。

【0048】

特徴点検出メイン処理の後、特徴点検出部１０６３は、特徴点検出メイン処理にて検出された特徴点数と目標点数とを比較し、特徴点数が目標点数に達しているかをチェックする（Ｓ３０３）。その後に該当の小領域に対する特徴点検出処理を終了させる。なお、特徴点数が目標点数に達していない場合、計算コストが許すならば、より多くの点が検出されるように、感度設定部１０６２ｄによって特徴点検出のパラメータを再設定し、再度の特徴点検出を行うようにしても良い(Ｓ３０５)。ここで、特徴点数が目標点数に達するまで、感度設定部１０６２ｄによる特徴点検出のパラメータの設定と、特徴点検出部１０６３による特徴点検出処理を繰り返しても良い。また、計算コストが許さないのであれば、該当の小領域において検出された特徴点の数が目標点数に達していない旨を例えば制御部１０２に出力するだけでも良い。

【0049】

また、Ｓ３０１において、再検出フラグがＯＦＦであると判定した場合、特徴点検出部１０６３は、特徴点削減処理を行う（Ｓ３０４）。その後に該当の小領域に対する特徴点検出処理を終了させる。特徴点削減処理として、特徴点検出部１０６３は、特徴点候補の数を目標点数に合うように削減する。例えば、特徴点候補を、評価値（特徴点検出メイン処理で算出されているもの）でソートし、評価値の高い順に目標点数分の特徴点候補を選択して最終的な特徴点とする。

【0050】

ここで、感度設定と特徴点検出の処理は、種々の変形が可能である。例えば、前述の例では、感度設定において、３つのパラメータを一度に変更する様に説明している。実際には、計算コスト等を鑑みて、例えば以下のようにしても良い。
比較処理における目標点数と期待点数との比較結果にて、期待点数が目標点数未満であるがその乖離度がそれほど大きくない場合、まず、評価閾値par_v_nのみを小さく設定し、par_v_n以上の評価値を持つ特徴点の数を算出し、この数に基づいて、評価値算出のためのスケールパラメータpar_scale_nを変更して再度の評価値の算出を行う必要があるかどうかを判定する。一般に、評価値の算出は計算コストが高いことが知られている。評価値の再計算を行うのに先立ってその必要性を判定することにより、不要な評価値の再算出を抑制することができる。

【0051】

以上説明したように、本実施形態によれば、入力画像における特徴点の分布状況を入力画像の全体と小領域毎とに分けて画像解析し、入力画像の全体の解析結果に基づいて設定された目標点数と小領域毎の解析結果に基づいて設定された期待点数とに基づいた特徴点検出を行うことで、入力画像の像面に対して特徴点が一様に分布するように特徴点検出をすることが可能である。つまり、期待点数が目標点数に満たない小領域については、その小領域でより特徴点が検出され易くなるように特徴点検出のパラメータを設定することにより、その小領域で検出される特徴点の数を目標点数に近づけることが可能である。また、特徴点が多く検出される小領域については、特徴点数を削減することにより、その小領域で検出される特徴点の数を目標点数に近づけることが可能である。このようにして、各小領域で検出される特徴点数を目標点数に近づけて、特徴点の分布を一様にすることが可能である。

【0052】

ここで、前述の例は、８×８のブロックで入力画像を等分割するように小領域を設定している。しかしながら、小領域の数や形状はこれに限るものではない。例えば、分割数を変更することによって小領域の数を変更しても良い。また、入力画像の位置によって特徴点を一様に検出したい程度が異なる場合等は、不等分割で小領域を設定しても良い。その場合は小領域の面積に応じて目標点数や期待点数に重み付けをすれば良い。

【0053】

また、図２においては、Ｓ１３の処理とＳ１４の処理をこの順で行う例を説明したが、Ｓ１３の処理とＳ１４の処理は、逆順で行っても良いし、並列に行っても良い。

【0054】

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、入力画像の解析に特徴点候補検出を用いている。特徴点候補検出を用いる場合、特徴点の分布を一様にする効果は高いものの、特徴点候補検出処理と特徴点検出処理とのそれぞれの処理において特徴点検出メイン処理を行う必要がある。第２の実施形態は、第１の実施形態よりも簡便な画像解析を行うことで、第１の実施形態よりも計算コストを低減させる例である。

【0055】

図６は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。ここで、図６において図１と対応する構成については、図１と同様の参照符号を付すことで説明を省略する。図６に示す画像処理装置は、画像解析部１０６１が画素分散算出部１０６１ｂを有している点が図１と異なっている。

【0056】

画素分散算出部１０６１ｂは、画像入力部１０８からの入力画像の画素値の分散を算出することにより、特徴点の分布状況を取得する。

【0057】

図７は、第２の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。図７に示すフローチャートは、図２のＳ１２で示す特徴点候補検出を、Ｓ１８で示す画素分散算出に置き換えたものである。したがって、図２と同一であるＳ１１、Ｓ１５、Ｓ１６、Ｓ１７の処理については説明を省略する。

【0058】

図８は、画素分散算出のフローチャートである。前述したように、画像解析の目的は、特徴点検出を行うのに先立ってどの程度の特徴点が検出されうるかを試算するものである。特徴点は、構造変化が大きい画像領域で多く検出される傾向にある。構造変化の大きい画像領域とは、例えば画素値の変化が大きい画像領域である。画素分散算出においては、画像構造の変化を指標化するために画素分散を計算する。

【0059】

図８において、画素分散算出部１０６１ｂは、入力画像に対して複数の小領域を設定する（Ｓ４０１）。ここでの小領域設定は、図３で説明したものと同様である。したがって、詳細な説明は省略する。

【0060】

小領域の設定後、画素分散算出部１０６１ｂは、入力画像の全体の画素分散と小領域毎の画素分散とを算出する（Ｓ４０２）。画素分散算出処理において、画素分散算出部１０６１ｂは、以下の式に従って画素分散を算出する。

【数3】

上式の画像範囲Ｉは、入力画像の全体の画素分散の場合には、入力画像の全範囲であり、小領域の画素分散の場合には、各小領域の範囲である。

【0061】

本実施形態では、画素分散を用いて画像構造の変化を指標化したが、画像構造の変化の指標化に必ずしも画素分散を用いる必要はなく、種々の計算法が使用可能である。例えば、コントラストや、入力画像の濃淡のヒストグラムや同時生起行列等を算出して得られたテクスチャ特徴を解析するテクスチャ解析手法を用いたりしても良い。

【0062】

画素分散算出処理の後、目標点数設定部１０６２ａは、入力画像の全体の画素分散算出の結果を基に、小領域毎に最終的にどの程度の特徴点数の検出を目標とするのかを目標点数として設定する（Ｓ１３）。この目標点設定処理において、目標点数設定部１０６２ａは、後述のＳ１４と同様の考え方に従って、入力画像の全体の分散値から入力画像の全体で検出され得る特徴点の期待点数を求め、この期待点数を小領域の数で割った値を目標点数として設定する。

【0063】

また、期待点数設定部１０６２ｂは、小領域毎の画素分散算出の結果を基に、どの程度の数の特徴点が検出され得るかを期待点数として設定する（Ｓ１４）。この期待点数設定処理において、期待点数設定部１０６２ｂは、小領域毎の画素分散の値と予め作成しておいた画素分散及び期待点数の対応表とを比較し、対応する期待点数を取得する。この対応表は、ある画素分散を持つ画像領域に対して実際に特徴点検出を行って特徴点数を求める処理を、種々の画素分散及び種々の画像領域に対して行うことで得られる。

【0064】

Ｓ１５以後の処理は、図２、図４、図５で示した処理が適用できる。したがって、説明を省略する。

【0065】

ここで、第２の実施形態においては、画素分散算出処理の結果から得られた画素分散の値から、入力画像の全体の特徴点数及び小領域毎の特徴点数を求め、これらの特徴点数に基づき、第１の実施形態に倣って目標点数及び期待点数を設定している。これに対して、特徴点数を求めずに目標点数及び期待点数を設定しても良い。例えば、小領域毎の画素分散を期待点数とし、入力画像の全体の画素分散を目標点数としても良い。即ち、予め作成しておいた画素分散及び期待点数の対応表や、画素分散及び目標点数の対応表を用いずに、小領域毎の画素分散と入力画像全体の画素分散との大小関係に応じて、小領域毎の検出感度を設定しても良い。

【0066】

以上説明したように、本実施形態によれば、特徴点検出を行う前に簡易な画像解析によって入力画像の特徴点の分布状況を解析して小領域毎の感度設定をすることができる。これにより、計算負荷を軽減しつつ入力画像の全体で一様となるように特徴点を検出することができる。

【0067】

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第１及び第２の実施形態は、１画像における特徴点検出の際の感度設定をするものである。これに対し、第３の実施形態は、２画像間で特徴点マッチングをする際のマッチングの感度設定をするものである。

【0068】

図９は、第３の実施形態に係る画像処理装置の構成を示すブロック図である。ここで、図９において図１と対応する構成については、図１と同様の参照符号を付すことで説明を省略する。図９に示す画像処理装置は、画像処理部１０６が特徴点検出部１０６４及び特徴量算出部１０６５、マッチング感度設定部１０６６、マッチング部１０６７を有している点と、画像解析部１０６１がマッチング点候補検出部１０６１ｃを有している点が図１と異なっている。また、第３の実施形態においては、画像入力部１０８が、２枚の入力画像を画像処理部１０６に入力する点も異なっている。

【0069】

特徴点検出部１０６４は、画像入力部１０８から入力された２枚の入力画像のそれぞれの特徴点を検出する。特徴点の検出手法は、特に限定されるものではない。例えば、第１及び第２の実施形態で説明した手法を適用しても良いし、より簡便な手法を適用しても良い。

【0070】

特徴量算出部１０６５は、特徴点検出部１０６４で検出された２枚の入力画像の特徴点のそれぞれの特徴量を算出する。

【0071】

画像解析部１０６１のマッチング点候補検出部１０６１ｃは、特徴量算出部１０６５で算出された特徴量から、２枚の入力画像のうちのマッチング点の候補となる点をマッチング点候補として検出する。

【0072】

マッチング感度設定部１０６６は、画像解析部１０６１における画像データの解析結果に基づいて画像データの小領域毎のマッチング検出感度を設定するものであり、目標点数設定部１０６６ａと、期待点数設定部１０６６ｂと、比較部１０６６ｃと、感度設定部１０６６ｄと、を有している。これらの目標点数設定部１０６６ａと、期待点数設定部１０６６ｂと、比較部１０６６ｃと、感度設定部１０６６ｄは、図１で示したものと対応している。ただし、これらのブロックは、２枚の入力画像に対する処理を行う点が異なる。詳細については後で詳しく説明する。

【0073】

マッチング部１０６７は、感度設定部１０６６ｄで設定された検出感度に従って２枚の入力画像におけるマッチング点を検出する。

【0074】

図１０は、第３の実施形態に係る画像処理装置におけるマッチング点検出の全体の流れを示すフローチャートである。

【0075】

まず、画像入力部１０８は、記憶部１０４に記憶されている２枚の画像データを読み出して特徴点検出部１０６４に入力する（Ｓ２１）。以後、この特徴点検出部１０６４に入力される２枚の画像データをそれぞれ入力画像ＩＡ、入力画像ＩＢと呼ぶ。

【0076】

入力処理の後、特徴点検出部１０６４は、入力画像ＩＡ及びＩＢのそれぞれの特徴点を検出する（Ｓ２２）。この特徴点検出処理における特徴点の検出手法は、任意の手法を用いることができる。

【0077】

特徴点検出処理の後、特徴量算出部１０６５は、特徴点検出部１０６４によって検出された入力画像ＩＡ及びＩＢの特徴点の特徴量を算出する（Ｓ２３）。この特徴量算出処理における特徴量の算出手法は限定されるものではない。例えば、SIFT descriptorの場合、一般的に１２８次元の特徴量が計算される。この計算を特徴点数numP分だけ行い、以下の特徴量ベクトルｖをnumP個得る。

【数4】

【0078】

特徴量算出の後、マッチング点候補検出部１０６１ｃは、マッチング点候補を検出することによって２枚の入力画像の解析を行う（Ｓ２４）。以下、図１１を参照してマッチング点候補検出処理についてさらに詳しく説明する。

【0079】

図１１において、マッチング点候補検出部１０６１ｃは、２枚の入力画像ＩＡ及びＩＢのそれぞれに対して複数の小領域を設定する（Ｓ５０１）。この小領域設定処理は、特徴点候補検出処理における小領域設定処理と基本的には同様である。ただし、Ｓ５０１においては、入力画像ＩＡと入力画像ＩＢの両方に同じ小領域を設定する点が異なる。

【0080】

続いて、マッチング点候補検出部１０６１ｃは、マッチング点候補検出のための初期パラメータを記憶部１０４から呼び出して設定する（Ｓ５０２）。ここで設定される初期パラメータは、初期マッチング閾値par_match_thr0、初期マッチング比par_match_ratio0である。これらの初期パラメータの詳細については、次のマッチングメイン処理の説明の際に述べる。

【0081】

初期パラメータの設定後、マッチング点候補検出部１０６１ｃは、マッチングメイン処理を行う（Ｓ５０３）。以下、マッチングメイン処理について詳しく説明する。

【0082】

特徴量算出までの処理により、入力画像ＩＡ及びＩＢのそれぞれの特徴点の座標と特徴量とが得られている。マッチングメイン処理として、マッチング点候補検出部１０６１ｃは、入力画像ＩＡの特徴点及び入力画像ＩＢの特徴点の特徴量のユークリッド距離ｄを比較し、入力画像ＩＡのある特徴点に対し、ユークリッド距離が最も近くなる入力画像ＩＢの特徴点をマッチング点として決定する。ユークリッド距離ｄは下式で計算される。

【数5】

【0083】

ここで、ミスマッチを避けるために、最もユークリッド距離が近い点であっても、そのユークリッド距離がある閾値以上である場合にはマッチング点としないことが一般的に行われている。この閾値が、初期マッチング閾値par_match_thr0である。即ち、ユークリッド距離が最も近くなる特徴点に対し、そのユークリッド距離dとpar_match_thr0とを比較する。そして、d＜par_match_thr0であれば、そのユークリッド距離が最も近くなる特徴点がマッチング点であると判定する。また、d≧par_match_thr0であれば、そのユークリッド距離が最も近くなる特徴点がマッチング点でないと判定する。

【0084】

また、ユークリッド距離が最も近いものをマッチング点とする手法はシンプルであるが、入力画像に類似構造が多く含まれている等しているとミスマッチが起こりやすい。このため、ユークリッド距離が最も近い点とその次に近い点との距離比をある閾値で判定することによってマッチング点を決定する手法も一般的に行われている。この閾値が、初期マッチング比par_match_ratio0である。d₁を入力画像ＩＡのある特徴点に対して最もユークリッド距離が近くなる特徴点へのユークリッド距離とし、d_２をその次にユークリッド距離が近くなる特徴点へのユークリッド距離とすると、距離比ratioは、以下の式で表される。

【数6】

距離比ratioを算出した後、算出した距離比ratioとpar_match_ratio0とを比較する。そして、ratio＜par_match_ratio0であれば、ユークリッド距離が最も近い特徴点がマッチング点であると判定する。また、ratio≧par_match_ratio0であれば、ユークリッド距離が最も近い特徴点がマッチング点でないと判定する。

【0085】

以上のようなマッチングメイン処理を、入力画像ＩＡ及び入力画像ＩＢの全体及び小領域毎に対して行い、この結果として決定されたマッチング点をマッチング点候補とする。マッチングメイン処理の終了後、マッチング点候補検出部１０６１ｃは、マッチング点候補の座標値を出力する。

【0086】

出力処理において、マッチング点候補検出部１０６１ｃは、入力画像の全体における各マッチング点候補の座標値を目標点数設定部１０６２ａに出力する。また、マッチング点候補検出部１０６１ｃは、入力画像の小領域毎の各マッチング点候補の座標値を期待点数設定部１０６２ｂに出力する。

【0087】

ここで、再び図１０の説明に戻る。マッチング点候補検出の後、目標点数設定部１０６６ａは、入力画像の全体のマッチング点候補検出の結果を基に、小領域毎に最終的にどの程度のマッチング点数の検出を目標とするのかを目標点数として設定する（Ｓ２５）。目標点数の設定手法は、第１の実施形態と同様である。したがって、説明を省略する。

【0088】

また、期待点数設定部１０６６ｂは、小領域毎のマッチング点候補検出の結果を基に、初期パラメータに従ってマッチング点検出をした場合に、どの程度の数のマッチング点が検出され得るかを期待点数として設定する（Ｓ２６）。期待点数の設定手法は、第１の実施形態と同様である。したがって、説明を省略する。

【0089】

目標点数及び期待点数が設定されると、比較部１０６２ｃは、設定された目標点数と期待点数とを比較する（Ｓ２７）。比較処理も第１の実施形態と同様である。

【0090】

比較部１０６６ｃにおける比較処理の後、感度設定部１０６６ｄは、小領域毎の目標点数と期待点数との比較結果に基づき、小領域毎のマッチング点の検出感度を設定する（Ｓ２８）。検出感度設定処理も、基本的には第１の実施形態と同様である。ただし、設定する検出感度がマッチングメイン処理に関する検出感度である点が異なる。具体的には、感度設定部１０６６ｄは、以下のようにパラメータを設定する。
（１）マッチング閾値 par_match_thr_nを初期マッチング閾値par_match_thr0より小さな値に設定する。
par_match_thr_n＜par_match_thr_0
（２）マッチング比par_match_ratio_nを初期マッチング比par_match_ratio0より大きな値に設定する。
par_match_ratio__n＞par_match_ratio0
検出感度の設定後、マッチング部１０６７は、設定されたマッチング点の検出感度に基づき、入力画像ＩＡ及びＩＢ中のマッチング点を検出する（Ｓ２９）。その後、図１０の処理を終了させる。マッチング点検出処理の具体的な処理の内容は、第１の実施形態で説明した図５の特徴点検出処理と同様である。ただし、図５のＳ３０２の特徴点検出メイン処理は、Ｓ５０３のマッチングメイン処理に置き換える。同様に、Ｓ３０４は、特徴点を削減するのではなく、マッチング点を削減する処理となる。

【0091】

以上説明したように、本実施形態によれば、マッチング点に関し、像面全体の分布を鑑みて、小領域毎に検出感度を設定することで、像面全体でなるべく一様なマッチング点検出を行うことができる。

【0092】

ここで、本実施形態では、入力画像ＩＡ及びＩＢにおいて同じ小領域を設定する例を示しているが、異なる小領域を設定しても良い。また、入力画像ＩＡ及びＩＢのどちらかのみにおいて均等なマッチング点分布を所望する場合は、マッチング点候補検出(Ｓ２４）以降の処理は、所望する入力画像に対してのみ行うようにしても良い。

【0093】

ここで、本実施形態では、２枚の入力画像のマッチング点を検出する例を示しているが、３枚以上の入力画像のマッチング点を検出する場合であっても、本実施形態の手法を適用することができる。

【0094】

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。前述の第１の実施形態では、１画像から特徴点を検出するにあたり、画像全体及び小領域毎に画像解析を行い、画像全体及び小領域毎の画像解析結果に基づいて、小領域毎に検出感度を設定し、小領域毎に定められた検出感度に基づいて特徴点を検出している。また、画像解析の結果を用いて小領域毎に特徴点の目標点数と期待点数を設定し、目標点数と期待点数との比較結果に従って特徴点の検出感度を設定している。これに対し、第４の実施形態は、小領域毎に期待点数を求めることなく、目標点数のみから特徴点の検出感度を設定する例である。

【0095】

図１２は、第４の実施形態に係る画像処理装置の構成を示すブロック図である。ここで、図１２において図１と対応する構成については、図１と同様の参照符号を付すことで説明を省略する。図１２の画像処理装置は、期待点数設定部１０６２ｂと比較部１０６２ｃとが無い点以外は図１と同様である。

【0096】

図１３は、第４の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。以下、第１の実施形態と同様の処理については適宜説明を省略する。即ち、Ｓ１１、Ｓ１３については説明を省略する。また、Ｓ１２の特徴点候補検出処理は、小領域毎の特徴点候補を検出せず、入力画像の全体の特徴点候補のみを検出する点が異なるだけである。したがって、Ｓ１２についても詳細については説明を省略する。

【0097】

目標点数の設定後、感度設定部１０６２ｄ及び特徴点検出部１０６３は、特徴点検出処理を行う（Ｓ１７）。第１の実施形態と異なり、小領域毎に期待点数を設定していないので、検出感度（特徴点検出におけるパラメータ）を一度に決定することは難しい。このため、特徴点検出の処理を行いながら適宜パラメータを変更するようにする。以下、図１４を参照して特徴点検出処理についてさらに詳しく説明する。図１４に示す特徴点検出処理は、小領域の数だけ繰り返して行うものである。

【0098】

図１４において、感度設定部１０６２ｄは、特徴点候補検出のための初期パラメータを記憶部１０４から呼び出して設定する（Ｓ６０１）。ここで設定される初期パラメータは、第１の実施形態で説明した、評価値算出に用いられる初期スケールパラメータpar_scale0、閾値判定に用いられる初期評価閾値 par_v0、及び極大性評価に用いられる初期極大性評価範囲par_maximum0である。ただし、初期評価閾値par_v0はできる限り小さい値に設定しておく。これは、特徴点検出の途中段階においてなるべく多くの特徴点になり得る評価値マップ上の座標を残しておき、最終的に特徴点を決定する際に、評価値の大きい座標から目標点数分だけを特徴点として決定することを想定している為である。

【0099】

初期パラメータの設定後、特徴点検出部１０６３は、Ｓ２０１と同様にして入力画像の座標（画素）毎に評価値を算出し、入力画像と同等の解像度を有する評価値マップを生成する（Ｓ６０２）。

【0100】

評価値の算出後、特徴点検出部１０６３は、Ｓ２０２と同様の閾値判定を行う（Ｓ６０３）。前述したように、初期評価閾値par_v0が小さな値に設定されているので、閾値判定の結果として記憶される座標及び評価値の数は、Ｓ２０２の場合と比較して多くなる。

【0101】

閾値判定の後、特徴点検出部１０６３は、Ｓ２０３と同様の極大性評価を行う（Ｓ６０４）。

【0102】

極大性評価の後、特徴点検出部１０６３は、極大性評価によって特徴点であるとされた特徴点数と目標点数とを比較し、特徴点数が目標点数に達しているかをチェックする（Ｓ６０５）。

【0103】

Ｓ６０５において、特徴点数が目標点数に達していない場合、感度設定部１０６２ｄは、評価値を再計算する必要があるか否かを判定する（Ｓ６０６）。この判定において、感度設定部１０６２ｄは、極大性評価を一度しか行っていない場合に、評価値を再計算する必要がないと判定する。極大性評価を一度しか行っていない場合とは、初期極大性評価範囲 par_maximum0で極大性評価を行っている場合である。この場合、再度の極大性評価によって特徴点を検出できる可能性がある。このような場合には、評価値算出よりも極大性評価を優先する。前述したように、評価値算出のほうが、極大性評価よりも計算コストが高いので、評価値算出よりも極大性評価を優先することにより、不要な計算コストの増大を抑制することが可能である。

【0104】

Ｓ６０６において、評価値の再計算を行う必要がないと判定した場合に、感度設定部１０６２ｄは、極大性評価範囲par_maximum_nを、par_maximum0よりも小さい値に設定する（Ｓ６０８）。その後、特徴点検出部１０６３は、再度の極大性評価を行う。極大性評価範囲par_maximum_nにて極大性評価の処理を再度行うことにより、より多くの特徴点が検出されることが期待される。

【0105】

また、Ｓ６０６において、評価値の再計算を行う必要があると判定した場合に、感度設定部１０６２ｄは、スケールパラメータpar_scale_nを、もとの値よりも小さい値に設定する（Ｓ６０７）。その後、特徴点検出部１０６３は、再度の評価値算出を行う。

【0106】

また、Ｓ６０５において、特徴点数が目標点数に達している場合、特徴点検出部１０６３は、特徴点決定処理を行う（Ｓ６０９）。この特徴点決定処理において、特徴点検出部１０６３は、目標点数を超えた小領域の特徴点を削減する。例えば、検出された特徴点を、評価値でソートし、評価値の高い順に目標点数分の特徴点を選択して最終的な特徴点とする。

【0107】

ここで、Ｓ６０６においては、極大性評価の回数が１回か否かを評価値の再計算が必要か否かの判定基準としている。しかしながら、この回数は１回に限るものでない。この場合には、Ｓ６０８の感度設定処理を行う毎に、極大性評価範囲par_maximum_nを元の値よりも段階的に小さな値に設定する。また、計算コストを鑑みて、極大性評価の繰り返し回数及び評価値算出の繰り返し回数を所定回数に制限しても良い。

【0108】

以上説明したように、本実施形態によれば、期待点数を設定しなくとも、入力画像の像面に対して特徴点が一様に分布するように特徴点検出をすることが可能である。

【0109】

ここで、第４の実施形態においては、小領域毎の期待点数を設定する必要がない反面、検出感度の設定が第１の実施形態よりも煩雑になる。したがって、用途により、第１の実施形態の手法と第４の実施形態の手法とを使い分けることが望ましい。また、第４の実施形態は特徴点検出の例であるが、第４の実施形態の手法をマッチング点検出にも適用して良い。この場合、用途によって第３の実施形態の手法と第４の実施形態の手法とを使い分けるようにして良い。

【0110】

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。前述の実施形態においては、入力画像の全体を解析（特徴点候補検出又は画素分散算出）して目標点数を設定している。これに対し、第５の実施形態は、固定の目標点数を予め設定しておくか又はユーザが任意の目標点数を設定する例である。

【0111】

図１５は、第５の実施形態に係る画像処理装置の構成を示すブロック図である。ここで、図１５において図１と対応する構成については、図１と同様の参照符号を付すことで説明を省略する。図１５の画像処理装置は、特徴点候補検出部１０６１ａと目標点数設定部１０６２ａとが接続されていない点のみが図１と異なる。

【0112】

図１６は、第５の実施形態に係る画像処理装置における特徴点検出の全体の流れを示すフローチャートである。以下、第１の実施形態と同様の処理については適宜説明を省略する。即ち、Ｓ１１、Ｓ１４、Ｓ１５、Ｓ１６、Ｓ１７については説明を省略する。また、Ｓ１２の特徴点候補検出処理は、入力画像の全体の特徴点候補を検出せず、小領域毎の特徴点候補のみを検出する点が異なるだけである。したがって、Ｓ１２についても詳細については説明を省略する。

【0113】

第５の実施形態において、目標点数設定部１０６２ａは、例えば記憶部１０４に予め記憶された目標点数の値を読み出すか又はユーザによって設定された目標点数を取得することにより、目標点数を設定する（Ｓ１３）。なお、ユーザによって目標点数を設定させる場合には、そのためのユーザインタフェースを設ける必要がある。

【0114】

以上説明したように、第５の実施形態によれば、簡易な手法で目標点数を設定することによって、入力画像の像面に対して特徴点が一様に分布するように特徴点検出をすることが可能である。

【0115】

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

【0116】

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、何れも制御部１０２に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１０２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

【0117】

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

【符号の説明】

【0118】

１０２…制御部、１０４…記憶部、１０６…画像処理部、１０８…画像入力部、１０６１…画像解析部、１０６１ａ…特徴点候補検出部、１０６１ｂ…画素分散算出部、１０６１ｃ…マッチング点候補検出部、１０６２…検出感度設定部、１０６２ａ，１０６６ａ…目標点数設定部、１０６２ｂ，１０６６ｂ…期待点数設定部、１０６２ｃ，１０６６ｃ…比較部、１０６２ｄ…感度設定部、１０６３，１０６４…特徴点検出部、１０６５…特徴量算出部、１０６６…マッチング感度設定部、１０６７…マッチング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】