特許 6014008 幾何検証装置、幾何検証方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6014008

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】幾何検証装置、幾何検証方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20060101AFI20161011BHJP

【ＦＩ】

   G06T7/20 B

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2013-235019(P2013-235019)

(22)【出願日】2013年11月13日

(65)【公開番号】特開2015-95156(P2015-95156A)

(43)【公開日】2015年5月18日

【審査請求日】2015年11月5日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】島村 潤

(72)【発明者】

【氏名】吉田 大我

(72)【発明者】

【氏名】谷口 行信

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２００７−２５６０２９（ＪＰ，Ａ）

【文献】 特開２００９−１９９５７５（ＪＰ，Ａ）

【文献】 特表２０１１−５２１３７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

同一被写体を撮影して得られた複数の画像を入力し、入力した前記画像それぞれにおいて抽出したアフィン不変キーポイントの観測方向を前記画像に基づいて決定し、前記画像間でアフィン不変キーポイントを対応付けて対応点とするアフィン変換キーポイント抽出・対応点決定部と、
前記対応点それぞれにおけるアフィン不変キーポイントの観測方向の差を観測方向の変化量として推定する観測方向変化量推定部と、
観測方向の次元数に対応する投票空間を所定のサイズで区切って得られるセルに含まれる観測方向の変化量の数を票数として算出し、セルに含まれる観測方向の変化量に対応する対応点を当該セルに関連付ける観測空間投票部と、
票数が所定の閾値より大きいセルに関連付けられた対応点を出力する開票部と
を備えることを特徴とする幾何検証装置。

【請求項2】

請求項１に記載の幾何検証装置であって、
前記アフィン変換キーポイント抽出・対応点決定部は、
前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢を前記観測方向として決定し、
前記観測空間投票部は、
三次元の投票空間における各セルに対して観測方向の変化量に基づいた投票を行う
ことを特徴とする幾何検証装置。

【請求項3】

請求項１に記載の幾何検証装置であって、
前記アフィン変換キーポイント抽出・対応点決定部は、
前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢と、前記画像を撮影したときのカメラとアフィン不変キーポイントとの距離に応じて定められるスケールとを前記観測方向として決定し、
前記観測空間投票部は、
四次元の空間における各セルに対して観測方向の変化量に基づいた投票を行う
ことを特徴とする幾何検証装置。

【請求項4】

請求項１に記載の幾何検証装置であって、
前記アフィン変換キーポイント抽出・対応点決定部は、
前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢と、前記画像を撮影したときのカメラとアフィン不変キーポイントとの距離に応じて定められるスケールとを前記観測方向として決定し、
前記観測方向変化量推定部は、
アフィン不変キーポイントの観測方向の差と、前記画像におけるアフィン不変キーポイントの座標の差とを前記観測方向の変化量として推定し、
前記観測空間投票部は、
六次元の空間における各セルに対して観測方向の変化量に基づいた投票を行う
ことを特徴とする幾何検証装置。

【請求項5】

同一被写体を撮影して得られた複数の画像を入力する幾何検証装置が行う幾何検証方法であって、
入力した前記画像それぞれにおいて抽出したアフィン不変キーポイントの観測方向を前記画像に基づいて決定し、前記画像間でアフィン不変キーポイントを対応付けて対応点とするアフィン変換キーポイント抽出・対応点決定ステップと、
前記対応点それぞれにおけるアフィン不変キーポイントの観測方向の差を観測方向の変化量として推定する観測方向変化量推定ステップと、
観測方向の次元数に対応する投票空間を所定のサイズで区切って得られるセルに含まれる観測方向の変化量の数を票数として算出し、セルに含まれる観測方向の変化量に対応する対応点を当該セルに関連付ける観測空間投票ステップと、
票数が所定の閾値より大きいセルに関連付けられた対応点を出力する開票ステップと
を有することを特徴とする幾何検証方法。

【請求項6】

請求項１から請求項４のいずれか一項に記載の幾何検証装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同一被写体を撮影した２枚以上の画像から、空間中の同一点を示す対応点の整合性を検証する幾何検証装置、幾何検証方法及びプログラムに関する。

【背景技術】

【0002】

実空間を撮影したカメラにより入力された少なくとも２枚以上の画像において、空間中の同一点を示す対応点を検出する技術は、被写体の三次元復元や物体認識を可能としている。

【0003】

例えば非特許文献１に記載されている方法では、各画像からコーナーなどの特徴的な点であるキーポイントを決定し、当該特徴点の近傍領域を用いて特徴量を抽出し、両画像間で最も類似する特徴量を有す特徴点同士を対応点とし、物体認識を行う方法が記述されている。ただし、両画像には被写体とは異なる背景や、他物体の存在や、カメラの熱雑音や画像圧縮誤差によるノイズなどの影響を受け、誤対応が生じる。

【0004】

そのため、点と点の対応に加えて、点群と点群の対応が幾何的に整合性を持つかどうかを検証する幾何検証によって誤対応の除去を行うことが通常である。非特許文献１に記載されている方法では、キーポイントのｘ座標、ｙ座標、スケールや局所領域の回転を含む属性情報を用いて、両画像におけるキーポイント間での変化量を決定し、ｘ座標、ｙ座標、スケール、局所領域の回転量それぞれの変化量で定められる４次元空間に投票し、一定数以上の票を得た対応点のみを採用することで画像間での主要な二次元アフィン変換を算出して誤対応を除去する幾何検証を実現している。

【0005】

図１２は、２つの画像間において検出されたキーポイントから誤対応を除去する処理の概要を示す図である。図１２（Ａ）は、２つの画像（画像１、画像２）において検出したキーポイントの対応例を示す図である。図１２（Ａ）には、画像１において検出されたキーポイントが、画像２において検出されたキーポイントに誤って対応付けられている例が示されている。図１２（Ｂ）は、両画像におけるキーポイント間での変化量（Δｘ：ｘ座標の変化量、Δｙ：ｙ座標の変化量、Δｓ：キーポイントを含む局所領域のスケールの変化量、Δｒ：局所領域の回転の変化量）で定められる４次元空間の一例を示す図である。

【0006】

図１２（Ｃ）は、両画像におけるキーポイント間での変化量に基づいて得られる二次元アフィン変換の概要を示す図である。図１２（Ｃ）では、両画像におけるキーポイント間での変化量に基づいてハート形状の図形に対する二次元アフィン変換が得られた場合が示されている。図１２（Ｄ）では、図１２（Ｃ）で得られた二次元アフィン変換によって、誤対応が除去された結果が示されている。図１２において例示したように、非特許文献１に記載されている方法では、主要な二次元アフィン変換を算出して誤対応を除去している。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】David G. Lowe, "Distinctive Image Features from Scale-Invariant Key points", International Journal of Computer Vision, Vol.60, Issue 2, pp.91-110, November 2004

【発明の概要】

【発明が解決しようとする課題】

【0008】

前述した方法では、被写体が二次元物体であるという仮定のもと、一方の画像の被写体該当部（キーポイント）と他方の画像の被写体該当部との間において、ｘ座標、ｙ座標、スケール及び局所領域の回転量の変化量がキーポイント間で一定になることを用いて幾何検証を実現している。そのため、被写体が三次元物体である場合、画像上では三次元的な歪みが生じるためにｘ座標、ｙ座標、スケール及び局所領域の回転量の変化量がキーポイント間で一定にならず、幾何的な整合性が検証できなくなるという問題がある。

【0009】

本発明は、上記問題を解決すべくなされたものであり、被写体が三次元物体である場合においても、同一被写体を撮影した複数の画像から得られる対応点の整合性を検証することができる幾何検証装置、幾何検証方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様は、同一被写体を撮影して得られた複数の画像を入力し、入力した前記画像それぞれにおいて抽出したアフィン不変キーポイントの観測方向を前記画像に基づいて決定し、前記画像間でアフィン不変キーポイントを対応付けて対応点とするアフィン変換キーポイント抽出・対応点決定部と、前記対応点それぞれにおけるアフィン不変キーポイントの観測方向の差を観測方向の変化量として推定する観測方向変化量推定部と、観測方向の次元数に対応する投票空間を所定のサイズで区切って得られるセルに含まれる観測方向の変化量の数を票数として算出し、セルに含まれる観測方向の変化量に対応する対応点を当該セルに関連付ける観測空間投票部と、票数が所定の閾値より大きいセルに関連付けられた対応点を出力する開票部とを備えることを特徴とする幾何検証装置である。

【0011】

また、本発明の一態様は、上記に記載の幾何検証装置において、前記アフィン変換キーポイント抽出・対応点決定部は、前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢を前記観測方向として決定し、前記観測空間投票部は、三次元の投票空間における各セルに対して観測方向の変化量に基づいた投票を行うことを特徴とする。

【0012】

また、本発明の一態様は、上記に記載の幾何検証装置において、前記アフィン変換キーポイント抽出・対応点決定部は、前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢と、前記画像を撮影したときのカメラとアフィン不変キーポイントとの距離に応じて定められるスケールとを前記観測方向として決定し、前記観測空間投票部は、四次元の空間における各セルに対して観測方向の変化量に基づいた投票を行うことを特徴とする。

【0013】

また、本発明の一態様は、上記に記載の幾何検証装置において、前記アフィン変換キーポイント抽出・対応点決定部は、前記画像を撮影したときのカメラ姿勢であってアフィン不変キーポイントを基準とした三次元のカメラ姿勢と、前記画像を撮影したときのカメラとアフィン不変キーポイントとの距離に応じて定められるスケールとを前記観測方向として決定し、前記観測方向変化量推定部は、アフィン不変キーポイントの観測方向の差と、前記画像におけるアフィン不変キーポイントの座標の差とを前記観測方向の変化量として推定し、前記観測空間投票部は、六次元の空間における各セルに対して観測方向の変化量に基づいた投票を行うことを特徴とする。

【0014】

また、本発明の一態様は、同一被写体を撮影して得られた複数の画像を入力する幾何検証装置が行う幾何検証方法であって、入力した前記画像それぞれにおいて抽出したアフィン不変キーポイントの観測方向を前記画像に基づいて決定し、前記画像間でアフィン不変キーポイントを対応付けて対応点とするアフィン変換キーポイント抽出・対応点決定ステップと、前記対応点それぞれにおけるアフィン不変キーポイントの観測方向の差を観測方向の変化量として推定する観測方向変化量推定ステップと、観測方向の次元数に対応する投票空間を所定のサイズで区切って得られるセルに含まれる観測方向の変化量の数を票数として算出し、セルに含まれる観測方向の変化量に対応する対応点を当該セルに関連付ける観測空間投票ステップと、票数が所定の閾値より大きいセルに関連付けられた対応点を出力する開票ステップとを有することを特徴とする幾何検証方法である。

【0015】

また、本発明の一態様は、上記に記載の幾何検証装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0016】

本発明によれば、被写体が存在する三次元空間内で画像を撮影した際のアフィン不変キーポイントに対する観測方向の差を変化量として推定し、観測方向に応じて定められる投票空間において変化量を用いた投票を行うことにより、変化量が他の変化量と異なる対応点を除去することができ、被写体が三次元物体である場合においても同一被写体を撮影した複数の画像から得られる対応点の幾何的な整合性を検証することができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態における幾何検証装置１の構成例を示すブロック図である。

【図2】本実施形態におけるアフィン変換キーポイント抽出・対応点決定部１１が行う処理を示すフローチャートである。

【図3】本実施形態における観測方向を定める座標系を示す図である。

【図4】本実施形態における対応点属性情報記憶部１２が記憶する対応点属性テーブルの例を示す図である。

【図5】本実施形態における観測方向変化量推定部２１が行う処理を示すフローチャートである。

【図6】本実施形態における観測方向変化量推定部２１が算出する観測方向の変化量の概要を示す図である。

【図7】本実施形態における観測方向変化量記憶部２２が記憶する観測方向変化量テーブルの例を示す図である。

【図8】本実施形態における観測空間投票部３１が行う処理を示すフローチャートである。

【図9】本実施形態における観測空間投票部３１が生成する投票空間の一例を示す図である。

【図10】本実施形態における開票部４１が行う処理を示すフローチャートである。

【図11】本実施形態における幾何検証装置１による処理の一例を示す図である。

【図12】２つの画像間において検出されたキーポイントから誤対応を除去する処理の概要を示す図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明の実施形態における幾何検証装置、幾何検証方法及びプログラムを説明する。図１は、本実施形態における幾何検証装置１の構成例を示すブロック図である。同図に示すように、幾何検証装置１は、アフィン変換キーポイント抽出・対応点決定部１１、対応点属性情報記憶部１２、観測方向変化量推定部２１、観測方向変化量記憶部２２、観測空間投票部３１、投票空間情報記憶部３２、開票部４１、及び、開票結果記憶部４２を備えている。

【0019】

アフィン変換キーポイント抽出・対応点決定部１１は、少なくとも２枚の画像が入力される。アフィン変換キーポイント抽出・対応点決定部１１は、アフィン変換キーポイント検出器により、入力された各画像におけるキーポイントの検出し、検出したキーポイントの特徴量を抽出する。アフィン変換キーポイント抽出・対応点決定部１１は、検出したキーポイントごとに、観測方向（θ，φ，ψ）を含む属性情報を決定する。

【0020】

また、アフィン変換キーポイント抽出・対応点決定部１１は、各キーポイントの特徴量を用いて画像間の対応点を決定し、対応点を識別する対応点ＩＤと対応点の属性情報とを関連付けて対応点属性情報記憶部１２に記憶させる。アフィン変換キーポイント抽出・対応点決定部１１は、各キーポイントの画像間における対応付けを行った後に、対応点属性情報記憶部１２に記憶させた対応点ＩＤと対応点の属性情報とを観測方向変化量推定部２１に出力する。

【0021】

対応点属性情報記憶部１２は、アフィン変換キーポイント抽出・対応点決定部１１が決定した対応点の対応点ＩＤと対応点の属性情報とを関連付けて記憶する。

【0022】

観測方向変化量推定部２１は、対応点ＩＤと対応点の属性情報とをアフィン変換キーポイント抽出・対応点決定部１１から入力する。観測方向変化量推定部２１は、対応点を成すキーポイント間の３自由度の観測方向（θ，φ，ψ）を含む属性情報からキーポイントの観測方向の変化量を対応点ごとに算出し、対応点ＩＤと対応点の属性情報と観測方向の変化量とを関連付けて観測方向変化量記憶部２２に記憶させる。観測方向変化量推定部２１は、入力した対応点ＩＤすべてに対する観測方向の変化量を算出すると、対応点ＩＤと属性情報及び観測方向の変化量とを関連付けて観測空間投票部３１に出力する。

【0023】

観測方向変化量記憶部２２は、観測方向変化量推定部２１が算出する観測方向の変化量と、対応点ＩＤと対応点の属性情報とを関連付けて記憶する。

【0024】

観測空間投票部３１は、対応点ＩＤに関連付けられた属性情報及び観測方向の変化量を観測方向変化量推定部２１から入力する。観測空間投票部３１は、観測方向に基づいた投票空間を示す投票空間情報を投票空間情報記憶部３２に生成し、当該投票空間において観測方向の変化量に基づいた投票を行って投票空間情報を更新する。観測空間投票部３１は、観測方向の変化量に基づいた投票を行う際に、当該変化量に関連付けられている対応点ＩＤを投票空間のセルに関連付ける。観測空間投票部３１は、入力した観測方向の変化量すべてを用いた投票を行うと、投票空間情報を開票部４１に出力する。

【0025】

投票空間情報記憶部３２は、観測空間投票部３１が生成する投票空間情報を記憶する。投票空間情報は、例えば観測方向を示す次元で定められる空間を一定のサイズで得られるセルごとに、投票数及び対応点ＩＤを記憶する領域を割り当てた配列として構成される。

【0026】

開票部４１は、投票空間情報を観測空間投票部３１から入力する。開票部４１は、入力した投票空間情報における各セルに関連付けられた票数を読み出す。開票部４１は、読み出した票数が所定の閾値より大きい場合に、対応するセルに関連付けられている対応点ＩＤと読み出した票数とを関連付けて開票結果記憶部４２に記憶させる。開票部４１は、すべてのセルの票数を読み出した後に、開票結果記憶部４２に記憶されている対応点ＩＤに関連付けられている対応点を検証済みの対応点として出力するとともに、当該対応点の票数を出力する。
開票結果記憶部４２は、閾値より多い投票がなされたセルに対応付けられた対応点ＩＤと、当該セルの投票数とを関連付けて記憶する。

【0027】

以下、幾何検証装置１が備える各部における処理の詳細について説明する。図２は、本実施形態におけるアフィン変換キーポイント抽出・対応点決定部１１が行う処理を示すフローチャートである。アフィン変換キーポイント抽出・対応点決定部１１は、処理を開始すると、少なくとも２枚以上の画像を入力する（ステップＳ１１）。

【0028】

アフィン変換キーポイント抽出・対応点決定部１１は、入力した各画像からアフィン不変キーポイント及び特徴量を抽出する（ステップＳ１２）。ここで、アフィン不変キーポイントは、画像に含まれている局所特徴であってアフィン変換に対する不変性を有する局所特徴である。アフィン不変キーポイントは、例えば、次の参考文献１に記載されている方法を用いることにより画像から抽出できる。また、参考文献に記載されている方法に代えてＭＳＥＲ、Ｈａｒｒｉｓ−Ａｆｆｉｎｅ、Ｈｅｓｓｉａｎ−Ａｆｆｉｎｅなどの公知の方法を用いてアフィン不変キーポイントを画像から抽出してもよい。
［参考文献１］Jean-Michel Morel, Guoshen Yu, "ASIFT: A New Framework for Fully Affine Invariant Image Comparison", Journal SIAM Journal on Imaging Sciences, Volume 2, Issue 2, pp.438-469, April 2009

【0029】

アフィン変換キーポイント抽出・対応点決定部１１は、抽出したアフィン不変キーポイントごとに少なくとも観測方向（θ，φ，ψ）を決定し、決定した観測方向（θ，φ，ψ）を含む属性情報をキーポイントに関連付けて対応点属性情報記憶部１２に記憶させる（ステップＳ１３）。図３は、本実施形態における観測方向を定める座標系を示す図である。同図に示すように、任意の点（例えばアフィン不変キーポイント）を原点としたときに、原点を観測する方向が観測方向（θ，φ，ψ）となる。原点を中心とした球面を仮定したとき、観測点から原点を観測した際に観測点と原点とを結ぶ直線が球面と交わる位置に対する経度がθであり、緯度がφである。ψは観測点と原点を結ぶ直線を軸にした回転量である。観測方向（θ，φ，ψ）は、アフィン不変キーポイント（特徴点）を基準にしたカメラ姿勢になる。なお、画像を撮影したときのアフィン不変キーポイントを基準にしたカメラ姿勢を特定できる座標系であれば図３に示した座標系以外の座標系であってもよい。

【0030】

観測方向（θ，φ，ψ）は、画像間におけるアフィン不変キーポイントの（ｘ，ｙ）座標変換を示す次式（１）の変換行列Ａを分解することで、観測点に位置するカメラの動きとして次式（２）におけるθ、φ及びψとして得ることができる。なお、式（２）におけるｓは、変換行列Ａの行列式（determinant）である。

【0031】

【数1】

【0032】

【数2】

【0033】

θ、φ及びψの決定は、アフィン不変キーポイントの決定において参考文献１に記載されているように、原画像の回転や縦方向もしくは横方向の縮小によりθ及びφをシミュレートした画像を生成し、生成した画像からスケールｓとψ周りの回転に不変なＳＩＦＴ、ＳＵＲＦなどの局所特徴を抽出する場合は、抽出したψ周りの属性情報込みのキーポイントにシミュレート画像生成時に用いたθ及びφを関連付けることで実現できる。また、ＭＳＥＲ、Ｈａｒｒｉｓ−Ａｆｆｉｎｅ、Ｈｅｓｓｉａｎ−Ａｆｆｉｎｅ、Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎなど、アフィン領域を検出すタイプのアフィン不変キーポイント検出器を用いる場合は、検出されたアフィン領域（楕円領域）の長軸と短軸との向き、長さの比からθ、φ及びψを算出することで実現できる。なお、スケールｓは、画像を撮影したときのアフィン不変キーポイントとカメラとの距離に応じた値となる。

【0034】

なお、アフィン変換キーポイント抽出・対応点決定部１１は、属性情報をキーポイントに関連付けて対応点属性情報記憶部１２に記憶させる際に、アフィン不変キーポイント検出時に算出したスケールｓも属性情報に含めるようにしてもよい。以下、スケールｓも属性情報に含める場合について説明する。

【0035】

アフィン変換キーポイント抽出・対応点決定部１１は、入力された画像間でアフィン不変キーポイントの特徴量を用いて対応点（画像間で組み合わされるアフィン不変キーポイント）を決定し、対応点属性情報記憶部１２に記憶させる（ステップＳ１４）。対応点を決定する処理は、非特許文献１に記載の方法や参考文献１に記載の方法などの公知の方法を用いて行うことができる。

【0036】

アフィン変換キーポイント抽出・対応点決定部１１は、対応点属性情報記憶部１２が記憶している対応点ＩＤに関連付けられた対応点の属性情報を観測方向変化量推定部２１に出力し（ステップＳ１５）、処理を終了する。

【0037】

図４は、本実施形態における対応点属性情報記憶部１２が記憶する対応点属性テーブルの例を示す図である。同図には、２枚の画像がアフィン変換キーポイント抽出・対応点決定部１１に入力された場合の例が示されている。対応点属性テーブルは、対応点ＩＤと、対応点の座標（ｘ，ｙ）、ｓ、θ、φ、及びψを含む属性情報との各項目の列を有している。対応点の座標（ｘ，ｙ）は画像上におけるアフィン不変キーポイント（対応点）の座標である。ｓは前述のスケールｓであり、θ、φ及びψは観測方向（θ，φ，ψ）である。対応点属性テーブルの行は対応点ごとに存在し、入力された２つの画像のうち一方の画像の対応点の属性情報と、他方の画像の対応点の属性情報とが１つの対応点ＩＤに関連付けられている。例えば、対応点ＩＤ「２」には、一方の画像の対応点の属性情報（ｘ，ｙ，ｓ，θ，φ，ψ）＝（４０，４０，２，４０，７０，３０）と、他方の画像の対応点の属性情報（ｘ’，ｙ’，ｓ，θ，φ，ψ）＝（１５，２０，３，６０，１００，９０）とが関連付けられている。

【0038】

図５は、本実施形態における観測方向変化量推定部２１が行う処理を示すフローチャートである。観測方向変化量推定部２１は、アフィン変換キーポイント抽出・対応点決定部１１が検出した対応点の対応点ＩＤと各対応点の属性情報を入力し（ステップＳ２１）、対応点ＩＤと各対応点の属性情報を関連付けて観測方向変化量記憶部２２に記憶させる。

【0039】

観測方向変化量推定部２１は、観測方向変化量記憶部２２が記憶している対応点ＩＤすべてに対して観測方向の変化量を算出する処理を終えたか否かを判定する（ステップＳ２２）。
対応点ＩＤすべてに対して処理を終えていない場合（ステップＳ２２：ＮＯ）、観測方向変化量推定部２１は、観測方向の変化量を算出していない対応点を選択する（ステップＳ２３）。
観測方向変化量推定部２１は、ステップＳ２３で選択した対応点の属性情報から、少なくとも観測方向（θ，φ，ψ）の３自由度の差分を含む観測方向の変化量を算出する（ステップＳ２４）。

【0040】

図６は、本実施形態における観測方向変化量推定部２１が算出する観測方向の変化量の概要を示す図である。ここでは、同一被写体を異なる方向から撮影した画像１と画像２との間で既にアフィン不変キーポイントとその属性情報とが抽出されているものとする。まず、アフィン変換キーポイントが抽出された三次元空間中の被写体上の一点ａについて考える。点ａに該当する対応点のうち画像１上での点ａの属性情報が（θ_１ａ，φ_１ａ，ψ_１ａ）であり、画像２上での点ａの属性情報が（θ_２ａ，φ_２ａ，ψ_２ａ）であった場合、図６に示す被写体を観測する３自由度の観測球上では観測方向＃１ａ及び観測方向＃２ａが画像１及び画像２に対応する。

【0041】

なお、三次元空間中の被写体上の点ａと異なる点ｂについては、三次元空間から画像（二次元空間）への射影変換歪みの影響を受けて、観測方向＃１ａ及び観測方向＃２ａとは異なる観測方向＃１ｂや観測方向＃２ｂが得られる。しかし、画像１と画像２とを撮影したカメラの動きは一意であり、そのためアフィン変換キーポイントの観測方向の変化量は一定となる。すなわち、２枚の画像間での対応点は、その対応が正確であれば対応点の属性情報から算出される観測方向の変化量は常に同じ値となる。逆に対応が不正確であれば、変化量が異なることになる。

【0042】

観測方向の変化量（Δθ，Δφ，Δψ）は、画像２を基準にした場合は（Δθ＝θ_２ａ−θ_１ａ，Δφ＝φ_２ａ−φ_１ａ，Δψ＝ψ_２ａ−ψ_１ａ）として算出できる。画像１を基準にした場合は（Δθ＝θ_１ａ−θ_２ａ，Δφ＝φ_１ａ−φ_２ａ，Δψ＝ψ_１ａ−ψ_２ａ）として算出できる。なお、スケールの変化量を考慮した幾何検証を行うために、スケールの変化量Δｓ＝ｓ_１−ｓ_２又はΔｓ＝ｓ_２−ｓ_１を算出し、観測方向の変化量に含めるようにしてもよい。また、画像上における対応点の座標（ｘ，ｙ）の変化量（Δｘ，Δｙ）を同様に算出し、観測方向の変化量に含める様にしてもよい。

【0043】

観測方向変化量推定部２１は、算出した観測方向の変化量を対応点ＩＤに関連付けて観測方向変化量記憶部２２に記憶させ、当該対応点ＩＤに対して処理済みのフラグを設定し（ステップＳ２５）、処理をステップＳ２２に戻す。

【0044】

ステップＳ２２における判定で、対応点ＩＤすべてに対して処理を終えていた場合（ステップＳ２２：ＹＥＳ）、観測方向変化量推定部２１は、観測方向変化量記憶部２２に記憶されている対応点ＩＤすべてとそれらの属性情報及び観測方向の変化量とを関連付けて、観測空間投票部３１に出力し（ステップＳ２６）、処理を終了する。

【0045】

図７は、本実施形態における観測方向変化量記憶部２２が記憶する観測方向変化量テーブルの例を示す図である。観測方向変化量テーブルは、対応点ＩＤと、対応点の座標（ｘ，ｙ）、ｓ、θ、φ及びψを含む属性情報と、Δｓ、Δθ、Δφ及びΔψを含む観測方向の変化量との各項目の列を有している。観測方向変化量テーブルの行は対応点ＩＤごとに存在する。対応点ＩＤには、対応点を成すアフィン不変キーポイントそれぞれの属性情報と、観測方向の変化量とが関連付けられている。例えば、対応点ＩＤ「２」には、対応点を成す一方のキーポイントの属性情報（ｘ，ｙ，ｓ，θ，φ，ψ）＝（４０，４０，２，４０，７０，３０）と、他方のキーポイントの属性情報（ｘ’，ｙ’，ｓ，θ，φ，ψ）＝（１５，２０，３，６０，１００，９０）と、観測方向の変化量（Δｓ，Δθ，Δφ，Δψ）＝（１，２０，３０，６０）とが関連付けられている。

【0046】

図８は、本実施形態における観測空間投票部３１が行う処理を示すフローチャートである。観測空間投票部３１は、各対応点ＩＤに関連付けられた属性情報及び観測方向の変化量を観測方向変化量推定部２１から入力する（ステップＳ３１）。
観測空間投票部３１は、少なくとも観測方向の変化量（Δθ，Δφ，Δψ）から成る投票空間を示す投票空間情報を投票空間情報記憶部３２に生成し、当該投票空間における各セルに対応する情報を初期化する（ステップＳ３２）。

【0047】

図９は、本実施形態における観測空間投票部３１が生成する投票空間の一例を示す図である。同図に示す投票空間は、３自由度の観測方向から成る三次元空間である。観測空間投票部３１は、投票空間をΔθ、Δφ、Δψの三次元空間を一定サイズで区切って得られる複数のセルごとに対応する記憶領域を投票空間情報記憶部３２に確保して投票空間情報を生成する。すなわち、投票空間情報は投票空間の次元数に応じて定められる配列をデータ構造する情報である。なお、観測空間投票部３１は、Δｓを更に加えた四次元空間で投票空間を生成してもよい。また、Δｘ及びΔｙを更に加えた六次元空間で投票空間を生成してもよい。あるいは、観測空間投票部３１は、ΔθとΔφとの二次元空間で投票空間を生成してもよい。各セルに対応する情報の初期化は、例えば各セルに対応する記憶領域に記憶させる票数を０（ゼロ）にすることである。

【0048】

観測空間投票部３１は、入力されたすべての対応点に関連付けられた観測方向の変化量を用いて処理を終えたか否かを判定する（ステップＳ３３）。
すべての対応点に対して処理を終えていない場合（ステップＳ３３：ＮＯ）、観測空間投票部３１は、処理を行っていない対応点を選択し（ステップＳ３４）、選択した対応点に関連付けられた観測方向の変化量に対応するセルの票数に「１」を加算する（ステップＳ３５）。

【0049】

観測空間投票部３１は、ステップＳ３５において票を加算したセルに対して、ステップＳ３４において選択した対応点の対応点ＩＤを関連付ける（ステップＳ３６）。具体的には、観測空間投票部３１は、票を加算したセルに対応する記憶領域に対応点ＩＤを記憶させる。
観測空間投票部３１は、選択した対応点に対して処理済みのフラグを設定し（ステップＳ３７）、処理をステップＳ３３に戻す。

【0050】

ステップＳ３３における判定で、すべての対応点に対して処理を終えていた場合（ステップＳ３３：ＹＥＳ）、観測空間投票部３１は、投票空間情報記憶部３２に記憶されている投票空間情報と、各対応点ＩＤに関連付けられた属性情報とを開票部４１に出力し（ステップＳ３８）、処理を終了する。

【0051】

図１０は、本実施形態における開票部４１が行う処理を示すフローチャートである。開票部４１は、投票空間情報と、各対応点ＩＤに関連付けられた属性情報とを観測空間投票部３１から入力する（ステップＳ４１）。
開票部４１は、入力した投票空間情報に含まれるセルであって票が存在するセルすべてについて処理を終えたか否かを判定する（ステップＳ４２）。

【0052】

セルすべてについて処理を終えていない場合（ステップＳ４２：ＮＯ）、開票部４１は、処理を終えていないセルを処理の対象に選択して当該セルに対応する記憶領域から票数を読み出す（ステップＳ４３）。
開票部４１は、読み出した票数が所定の閾値より大きいか否かを判定し（ステップＳ４４）、読み出した票数が閾値以下である場合（ステップＳ４４：ＮＯ）、処理をステップＳ４７に進める。なお、閾値は例えばアフィン変換キーポイント抽出・対応点決定部１１において検出されたアフィン不変キーポイントの数に応じて定めるようにしてもよい。具体的には、検出された対応点数の半数や８割に対応する値を閾値としてもよい。

【0053】

ステップＳ４４における判定で、読み出した票数が閾値より大きい場合（ステップＳ４４：ＹＥＳ）、開票部４１は、処理の対象に選択しているセルに関連付けられている対応点ＩＤすべてを投票空間情報から読み出す（ステップＳ４５）。
開票部４１は、読み出した対応点ＩＤごとに、処理の対象に選択しているセルの票数を関連付けて開票結果記憶部４２に記憶させる（ステップＳ４６）。
開票部４１は、処理の対象に選択しているセルに対して処理済みのフラグを設定し（ステップＳ４７）、処理をステップＳ４２に戻す。

【0054】

ステップＳ４２における判定で、セルすべてについて処理を終えていた場合（ステップＳ４２：ＹＥＳ）、開票部４１は、開票結果記憶部４２に記憶されている対応点ＩＤに関連付けられている対応点の属性情報に含まれる座標を検証済み対応点として出力するとともに、当該対応点ＩＤに関連付けられている票数を出力し（ステップＳ４８）、処理を終了する。

【0055】

上述の処理を開票部４１が行うことにより、幾何検証装置１に入力した複数の画像それぞれにおいて検出されたアフィン不変キーポイントの画像上における座標の組み合わせが、検証済み対応点として得られることになる。

【0056】

本実施形態の幾何検証装置１によれば、観測方向の変化量に基づいた投票と投票結果に基づく観測方向の変化量の選択とにより、観測方向の変化量が他の観測方向の変化量と異なるもの、すなわち不正確な対応点の組み合わせを除外することができる。

【0057】

図１１は、本実施形態における幾何検証装置１による処理の一例を示す図である。同図には、（Ａ）幾何検証前の対応点の例、すなわちアフィン変換キーポイント抽出・対応点決定部１１の処理結果と、（Ｂ）幾何検証後の対応点の例、すなわち開票部４１の処理結果とが示されている。同図に示すように、対応点に関連付けられている観測方向の変化量が他の観測方向の変化量と異なるものが除去され、適切な対応点のみが幾何検証装置１の出力として得られることが分かる。

【0058】

上述した実施形態における幾何検証装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

【0059】

以上、本発明を実施形態の例に基づき具体的に説明したが、上述の実施形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定しあるいは範囲を減縮するように解すべきではない。また、本発明の各手段構成は上述の実施形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。

【産業上の利用可能性】

【0060】

画像処理などによって、同一被写体を撮影した複数の画像から得られる対応点の整合性を検証するが不可欠な用途にも適用できる。

【符号の説明】

【0061】

１…幾何検証装置
１１…アフィン変換キーポイント抽出・対応点決定部
１２…対応点属性情報記憶部
２１…観測方向変化量推定部
２２…観測方向変化量記憶部
３１…観測空間投票部
３２…投票空間情報記憶部
４１…開票部
４２…開票結果記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】