特許 7477043 基本行列生成装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】基本行列生成装置、制御方法、及びプログラム

(51)【国際特許分類】

   G06T 7/33 20170101AFI20240423BHJP

【ＦＩ】

G06T7/33

【請求項の数】 10

(21)【出願番号】P 2023503271

(86)(22)【出願日】2021-03-03

(86)【国際出願番号】 JP2021008289

(87)【国際公開番号】W WO2022185462

(87)【国際公開日】2022-09-09

【審査請求日】2023-08-28

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中野 学

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１７－１７４１０５（ＪＰ，Ａ）

【文献】特開２０１７－１１４３１（ＪＰ，Ａ）

【文献】特開２０１６－１００８９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出部と、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、基本行列生成装置。

【請求項2】

前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項１に記載の基本行列生成装置。

【請求項3】

前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、請求項１に記載の基本行列生成装置。

【請求項4】

前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基本行列の生成を繰り返し行い、生成された複数の前記基本行列のうち、最も精度が高いものを出力する、請求項１から３いずれか一項に記載の基本行列生成装置。

【請求項5】

前記特徴点ペアと前記派生点ペアから３つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基本行列の生成を行うか否かを判定する、請求項１から４いずれか一項に記載の基本行列生成装置。

【請求項6】

コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出ステップと、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、制御方法。

【請求項7】

前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項６に記載の制御方法。

【請求項8】

前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、請求項６に記載の制御方法。

【請求項9】

第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを3組以上検出する第１検出ステップと、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成ステップと、をコンピュータに実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、プログラム。

【請求項10】

前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、請求項９に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は基本行列（essential matrix）の生成に関する。

【背景技術】

【0002】

焦点距離などの内部パラメータが校正済みであるカメラを用いて、同一の被写体を異なる位置から撮影した２枚の画像間の相対的な外部パラメータを推定する技術が開発されている。相対的な外部パラメータとは、絶対的な大きさが不明な２自由度の３次元並進ベクトル（位置とも呼ばれる）と、３自由度の回転（姿勢とも呼ばれる）のことであり、それらを乗算した基本行列（essential matrix）としても表現される。例えば、非特許文献１は、画像間で同一の３次元座標が画像上に射影された対応点を５組用いることで、基本行列を算出する方法が記載されている。非特許文献２は、８組以上の対応点を用いる方法が記載されている。非特許文献３には、アフィン不変特徴点を使うことで２組の対応点から基本行列を算出する方法が記載されている。上述した非特許文献１～３では、２つの画像から互いに対応する特徴点のペアを複数検出し、検出した特徴点のペアの集合から、RANSAC（RAndom SAmple Consensus）のようなロバスト推定アルゴリズムを利用して、誤対応点を除去して正確な基本行列が生成される。

【先行技術文献】

【非特許文献】

【0003】

【文献】D. Nister、「An efficient solution to the five-point relative pose problem」、IEEE transactions on pattern analysis and machine intelligence、２００４年４月１９日、volume 26、Issue 6、pp. 756-770

【文献】C. Tomasi、「The Eight-Point Algorithm」、[online]、２０１５年、Duke University、［２０２１年２月２５日検索］、インターネット、<URL: https://www2.cs.duke.edu/courses/fall15/compsci527/notes/longuet-higgins.pdf>

【文献】D. Barath and L. Hajder、「Efficient recovery of essential matrix from two affine correspondences」、IEEE Transactions on Image Processing、２０１８年６月２２日、volume 27、Issue 11

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者は、基本行列を生成する新たな技術を検討した。本開示の目的は、基本行列を生成する新たな技術を提供することである。

【課題を解決するための手段】

【0005】

本開示の基本行列生成装置は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出部と、２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点との幾何学的な制約を表す基本行列を生成する生成部と、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

【0006】

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出ステップと、２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点との幾何学的な制約を表す基本行列を生成する生成ステップと、を有する。前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まる。前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる。

【0007】

本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

【発明の効果】

【0008】

本開示によれば、基本行列を生成する新たな技術が提供される。

【図面の簡単な説明】

【0009】

【図1】実施形態１の基本行列生成装置の動作の概要を例示する図である。

【図2】特徴点ペアと派生点ペアを例示する図である。

【図3】実施形態１の基本行列生成装置の機能構成を例示するブロック図である。

【図4】基本行列生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。

【図5】実施形態１の基本行列生成装置によって実行される処理の流れを例示するフローチャートである。

【図6】RANSAC を用いる基本行列生成装置によって実行される処理の流れを例示するフローチャートである。

【図7】図６のフローチャートに、符号付面積を利用して基本行列の生成を行うか否かを判定する処理が加えられたものを例示する図である。

【発明を実施するための形態】

【0010】

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。

【0011】

図１は、実施形態１の基本行列生成装置２０００の動作の概要を例示する図である。ここで、図１は、基本行列生成装置２０００の概要の理解を容易にするための図であり、基本行列生成装置２０００の動作は、図１に示したものに限定されない。

【0012】

基本行列生成装置２０００は、第１画像１０及び第２画像２０を取得し、第１画像１０上の点と第２画像２０上の点との幾何学的な制約（エピポーラ制約条件と呼ばれる）を表すための行列である基本行列４０を生成する。基本行列４０が満たすべきエピポーラ制約は、例えば以下の式（１）で表される。

【数1】

ここで、点 m は第１画像１０上の点であり、点 n は第２画像２０上の点であり、同一の3次元座標がそれぞれの画像へ射影された点である。すなわち、点 n と点 m は、互いに実空間上の同一の場所を表す点である。なお、点m とn はいずれも 3x1 の斉次座標系の座標で表されている。E は3x3の基本行列４０であり、３つの特異値のうち、１つはゼロ、２つは等しいことが知られている。特異値に関する制約条件は以下の式（２）で表される。

【数2】

【0013】

基本行列生成装置２０００は、上記基本行列４０を算出するために、第１画像１０と第２画像２０との間で互いに対応する点（対応点）のペアを５組以上生成する。以下、対応点のペアを対応点ペアと呼ぶ。ここで、対応点ペアに含まれる第１画像１０上の点と第２画像２０上の点は、互いに実空間上の同一の場所を表す点である。

【0014】

基本行列生成装置２０００は、以下の方法で対応点ペアを検出する。まず基本行列生成装置２０００は、第１画像１０から検出される特徴点と第２画像２０から検出される特徴点とから、互いに対応する特徴点のペア（特徴点ペア）を検出する。すなわち、第１画像１０上の或る特徴点と、その特徴点に対応する第２画像２０上の特徴点とが、特徴点ペアとして検出される。ここで、少なくとも３組の特徴点ペアが、基本行列４０の生成に利用する対応点ペアとして検出される。

【0015】

基本行列生成装置２０００は、上述の方法で検出した特徴点ペアを利用して、さらに対応点ペアを検出する。具体的には、基本行列生成装置２０００は、特徴点ペアに含まれる第１画像１０上の特徴点から第１方向に第１距離離れた派生点と、その特徴点ペアに含まれる第２画像２０上の特徴点から第２方向に第２距離離れた派生点とのペアを検出する。以下、このようにして検出される派生点のペアを、派生点ペアとも呼ぶ。

【0016】

第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば特徴量として、SIFT などといったスケールと主軸方向について不変な特徴量（以下、スケール不変特徴量）が利用されるとする。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まる主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まる主軸方向が利用される。また、第１距離としては、例えば、第１画像１０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。同様に、第２距離としては、例えば、第２画像２０上の特徴点について算出された特徴量において定まるスケールの大きさが利用される。

【0017】

図２は、特徴点ペアと派生点ペアを例示する図である。図２の例では、（m1,n1）と（m2,n2）と（m3,n3）がそれぞれ特徴点ペアとして検出されている。ここで、m1 と m2 とm3はそれぞれ第１画像１０上の特徴点であり、n1 と n2とn3 はそれぞれ第２画像２０上の特徴点である。また、特徴点 m1 について算出されたスケール不変特徴量により、スケール a1 と主軸方向α1が定まっている。同様に、特徴点 n1 について算出されたスケール不変特徴量により、スケール b1 と主軸方向β1が定まっている。なお、この例において、方向は、画像の水平方向右向きを基準の０度とする角度で表されている。

【0018】

基本行列生成装置２０００は、特徴点 m1 について、その特徴量における主軸方向α1 へ a1 移動させた派生点 p1 を検出する。また、基本行列生成装置２０００は、特徴点 n1 について、その特徴量における主軸方向β1 へ b1 移動させた派生点 q1 を検出する。その結果、派生点 p1 と派生点 q1 のペア（p1,q1）が、派生点ペアとして検出される。なお、派生点 p1 は、特徴点 m1 を中心とする半径 a1 の円周上において主軸方向にある点とも表現できる。派生点 q1 についても同様である。

【0019】

同様の方法により、基本行列生成装置２０００は、第１画像１０上の特徴点 m2とm3 について、その特徴量における主軸方向α2、α3 へ a2、a3 移動させた派生点 p2 、p3を検出する。また、基本行列生成装置２０００は、第２画像２０上の特徴点 n2とn3 について、その特徴量における主軸方向β2、β3へ b2 、b3移動させた派生点 q2、q3 を検出する。その結果、派生点ペア（p2,q2）と（p3,q3）が検出される。

【0020】

基本行列生成装置２０００は、検出された対応点ペアのうち、いずれか５組以上を用いて、基本行列４０を生成する。なお図２を用いて説明した例では、３組の特徴点ペアそれぞれについて、派生点ペアを検出している。そのため、対応点ペアが合計６組検出されている。しかしながら、基本行列４０の生成に利用する対応点ペアを５組とする場合、検出する派生点ペアは２組もでよい。例えば、３組の特徴点ペアの中からいずれか２組を選択し、選択された２組の特徴点ペアそれぞれについて、派生点ペアの検出が行われる。その結果、３組の特徴点ペアと２組の派生点ペアが検出されるため、合計５組の対応点ペアを得ることができる。

【0021】

＜作用効果の例＞
非特許文献１の発明では、本開示における第１画像１０と第２画像２０について、特徴点のペアを５組以上利用して、基本行列４０の生成が行われる。これに対し、本実施形態の基本行列生成装置２０００では、特徴点ペアと派生点ペアが合計で５組以上あれば、基本行列４０を生成できる。そのため、画像から検出する必要がある特徴点ペアの最小数は３組である。よって、特許文献１の発明と比較し、画像から検出する必要がある特徴点ペアの数が少ないという利点がある。

【0022】

以下、本実施形態の基本行列生成装置２０００について、より詳細に説明する。

【0023】

＜機能構成の例＞
図３は、実施形態１の基本行列生成装置２０００の機能構成を例示するブロック図である。基本行列生成装置２０００は、第１検出部２０２０、第２検出部２０４０、及び生成部２０６０を有する。第１検出部２０２０は、第１画像１０及び第２画像２０から、３組以上の特徴点ペアを検出する。第２検出部２０４０は、２組以上の特徴点ペアそれぞれを用いて、第１画像１０及び第２画像２０から、２組以上の派生点ペアを検出する。生成部２０６０は、検出した特徴点ペアと派生点ペアを用いて、基本行列４０を生成する。

【0024】

＜ハードウエア構成の例＞
基本行列生成装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、基本行列生成装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0025】

図４は、基本行列生成装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、基本行列生成装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

【0026】

例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、基本行列生成装置２０００の各機能が実現される。上記アプリケーションは、基本行列生成装置２０００の機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。

【0027】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0028】

プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0029】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0030】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

【0031】

ストレージデバイス５０８は、基本行列生成装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、基本行列生成装置２０００の各機能構成部を実現する。

【0032】

基本行列生成装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

【0033】

＜処理の流れ＞
図４は、実施形態１の基本行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１検出部２０２０は第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０は、第１画像１０及び第２画像２０を用いて、３組以上の特徴点ペアを検出する（Ｓ１０４）。第２検出部２０４０は、第１画像１０及び第２画像２０を用いて、２組以上の特徴点ペアそれぞれについての派生点ペアを検出する（Ｓ１０６）。生成部２０６０は、特徴点ペアと派生点ペアを用いて、基本行列４０を生成する（Ｓ１０８）。

【0034】

＜第１画像１０と第２画像２０について＞
第１画像１０と第２画像２０は、任意のカメラによって生成された任意の撮像画像である。ただし、第１画像１０と第２画像２０は、少なくともその一部に、互いに同一の場所が撮像された画像領域が含まれている。例えば、同じ建物や人物を互いに異なる位置や角度から撮像することにより、第１画像１０と第２画像２０が生成される。

【0035】

＜第１画像１０と第２画像２０の取得：Ｓ１０２＞
第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ１０２）。第１検出部２０２０が第１画像１０と第２画像２０を取得する方法は任意である。例えば第１検出部２０２０は、第１画像１０と第２画像２０を、それぞれが格納されている記憶装置から取得する。なお、第１画像１０と第２画像２０は、同じ記憶装置に格納されていてもよいし、互いに異なる記憶装置に格納されていてもよい。その他にも例えば、第１検出部２０２０は、第１画像１０を生成したカメラと第２画像２０を生成したカメラのそれぞれから、第１画像１０と第２画像２０を取得してもよい。

【0036】

＜特徴点ペアの検出：Ｓ１０４＞
第１検出部２０２０は、第１画像１０と第２画像２０から特徴点ペアを３組以上検出する（Ｓ１０４）。そのために、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから、特徴点の検出を行う。ここで、第１画像１０と第２画像２０から検出する特徴点は、任意の種類の特徴点でよい。また、画像から特徴点を検出する技術には、既存の技術を利用することができる。

【0037】

また、第１検出部２０２０は、第１画像１０と第２画像２０のそれぞれから検出された特徴点について、その特徴点を含む領域の特徴量を算出する。ここで算出される特徴量は、例えば、SIFT などのようなスケール不変特徴量や、Hessian-Affine や Affine-SIFT などのようなアフィン変形について不変な特徴量（以下、アフィン不変特徴量）である。これらの特徴量の算出方法についても、既存の技術を利用することができる。

【0038】

第１検出部２０２０は、各特徴点について算出した特徴量を利用して、第１画像１０上の複数の特徴点と第２画像２０上の複数の特徴点との間で、特徴点マッチングを行う。すなわち、第１検出部２０２０は、第１画像１０上の特徴点と第２画像２０上の特徴点とを、特徴量の類似度合いに基づいて互いに対応づける。このように、特徴点マッチングによって対応づけられた第１画像１０上の特徴点と第２画像２０上の特徴点が、特徴点ペアとして利用できる。なお、特徴点マッチングによって２つの画像から対応点を検出する技術には、既存の技術を利用することができる。

【0039】

第１検出部２０２０は、このようにして対応づけられる第１画像１０上の特徴点と第２画像２０上の特徴点のペアのうち、任意の３組以上をそれぞれ特徴点ペアとして検出する。例えば第１検出部２０２０は、第１画像１０から検出された特徴点のうちの１つを任意に選択し、その特徴点と特徴点マッチングによって対応づけられる第２画像２０上の特徴点を特定する。すなわち、第１検出部２０２０は、第１画像１０から抽出した特徴点について算出された特徴量と十分に類似する特徴量を持つ（特徴量の類似度が閾値以上である）第２画像２０上の特徴点を特定し、特定した特徴点と第１画像１０から抽出した特徴点とのペアを、特徴点ペアとして検出する。第１検出部２０２０は、当該処理を任意の回数繰り返すことで、任意の数の特徴点ペアを検出する。

【0040】

なお、特徴点ペアを検出する処理の流れは、上述した流れに限定されない。例えば第１検出部２０２０は、第２画像２０から検出された特徴点のうちの１つを任意に選択し、その特徴点と対応する特徴点を第１画像１０から検出することで、特徴点ペアを検出してもよい。

【0041】

＜派生点ペアの検出：Ｓ１０６＞
第２検出部２０４０は、２組以上の特徴点ペアそれぞれについて、派生点ペアを検出する（Ｓ１０６）。第１画像１０上の特徴点から検出される派生点は、第１画像１０上の特徴点から第１方向に第１距離離れた点である。一方、第２画像２０上の特徴点から検出される派生点は、第２画像２０上の特徴点から第２方向に第２距離離れた点である。

【0042】

前述したように、第１方向、第１距離、第２方向、及び第２距離は、特徴点について算出される特徴量を利用して決定される。例えば前述したように、スケール不変特徴量を利用する場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量における主軸方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量における主軸方向が利用される。

【0043】

ただし、第１方向と第２方向はそれぞれ、主軸方向を基準として定まる方向であればよく、主軸方向とは異なる方向であってもよい。例えば第１方向と第２方向はそれぞれ、主軸方向と逆方向（１８０度異なる方向）や、主軸方向から所定角度（例えば、＋９０度）回転した方向などであってもよい。

【0044】

ここで、第１方向は、或る特徴点ペアに含まれる第１画像１０上の特徴点とその派生点、及び別の特徴点ペアに含まれる第１画像１０上の特徴点とその派生点のいずれもが同一の直線を通らないように定められることが好適である。この場合、３つのうち２つの特徴点及び２つの派生点が線形従属となってしまうためである。

【0045】

そこで例えば第２検出部２０４０は、基本行列４０の生成に利用する第１画像１０上の特徴点のうち、任意の２つの特徴点の組み合わせそれぞれについて、それら２つの特徴点及びこれらを用いて検出される２つの派生点が同一の直線上に位置するか否かを判定する。これらの点が１つの直線上に位置する場合、第２検出部２０４０は、第１方向を変更して派生点の検出を再度行ってもよい。例えば、第１方向の初期値を主軸方向に設定した状態で、派生点の検出が行われる。そして、第１画像１０上の２つの特徴点と２つの派生点が同一の直線上に位置する場合には、第２検出部２０４０は、第１方向を主軸方向から所定方向ずらした上で、再度派生点の検出を行う。なお、複数の点が１つの直線上に位置するか否かを判定する技術には、既存の技術を利用することができる。

【0046】

上述した縮退は、第２画像２０でも同様に発生しうる。そこで第２検出部２０４０は、同様の方法で、第２画像２０から検出する特徴点と派生点についても、１つの直線上に位置しないようにすることが好適である。

【0047】

第１距離としては、第１画像１０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量におけるスケールの大きさの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。所定倍＝１倍とすれば、スケールの値がそのまま利用される。図２の例は、所定倍＝１倍とした例である。

【0048】

特徴量は、スケール不変特徴量には限定されず、アフィン不変特徴量であってもよい。この場合、第１方向としては、例えば、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。同様に、第２方向としては、例えば、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の方向が利用される。特定軸は、例えば、短軸又は長軸である。ただし、第１方向と第２方向はそれぞれ、短軸方向又は長軸方向の逆方向（１８０度異なる方向）や、短軸方向又は長軸方向所定角度回転した方向であってもよい。ただし、第１方向と第２方向は、互いに同じ種類の方向とする。すなわち、第１方向を短軸方向とした場合には第２方向も短軸方向とし、第１方向を長軸方向とした場合には第２方向も長軸方向とする。

【0049】

第１距離としては、第１画像１０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。同様に、第２距離としては、第２画像２０上の特徴点について算出された特徴量について定まる特定軸の長さの所定倍が利用される。第１距離の算出に利用する所定倍と第２距離の算出に利用される所定倍は、互いに等しい値とする。

【0050】

第２検出部２０４０は、１つの特徴点ペアから２組以上の派生点ペアを検出してもよい。例えばスケール不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、２つの派生点を検出するとする。この場合、例えば、一方の派生点 p11 については、「第１方向＝主軸方向、第１距離＝スケールの k1 倍」とし、他方の派生点 p12 については、「第１方向＝主軸と逆方向、第１距離＝スケールの k2 倍」とする。ここで、k1 と k2 は等しくてもよいし、等しくなくてもよい。同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、２つの派生点を検出する。一方の派生点 q11 については、「第２方向＝主軸方向、第２距離＝スケールの k1 倍」とし、他方の派生点 q12 については、「第２方向＝主軸と逆方向、第２距離＝スケールの k2 倍」とする。そして、第２検出部２０４０は、（p11,q11）と（p12,q12）をそれぞれ、派生点ペアとして検出する。

【0051】

その他にも例えば、アフィン不変特徴量を利用するケースにおいて、第２検出部２０４０が、特徴点ペアに含まれる第１画像１０上の特徴点から、４組の派生点を検出するとする。この場合、例えば、派生点 p11 については、「第１方向＝短軸方向、第１距離＝短軸の長さの k1 倍」とし、派生点 p12 については、「第１方向＝短軸方向と逆方向、第１距離＝短軸の長さの k2 倍」とし、派生点 p13 については、「第１方向＝長軸方向、第１距離＝長軸の長さの k3 倍」とし、派生点 p14 については、「第１方向＝長軸方向と逆方向、第１距離＝長軸の長さの k4 倍」とする。ここで、k1、k2、k3 及び k4 は、それぞれ等しくてもよいし、等しくなくてもよい。

【0052】

同様に、第２検出部２０４０は、特徴点ペアに含まれる第２画像２０上の特徴点からも、４組の派生点 q11、q12、q13、及び q14 を検出する。派生点 q11 については、「第２方向＝短軸方向、第２距離＝短軸の長さの k1 倍」とし、派生点 q12 については、「第２方向＝短軸方向と逆方向、第２距離＝短軸の長さの k2 倍」とし、派生点 q13 については、「第２方向＝長軸方向、第２距離＝長軸の長さの k3 倍」とし、派生点 q14 については、「第２方向＝長軸方向と逆方向、第２距離＝長軸の長さの k4 倍」とする。

【0053】

そして、第２検出部２０４０は、（p11,q11）、（p12,q12）、（p13,q13）、及び（p14,q14）をそれぞれ、派生点ペアとして検出する。

【0054】

ここで、対応点ペアの数が５以上であればよいため、派生点ペアの数は特徴点ペアの数よりも少なくてもよい。このような場合において、派生点ペアの検出に利用する特徴点ペアを選択する方法は任意である。例えば第２検出部２０４０は、検出した特徴点ペアの中から、検出すべき派生点ペアの数と同数の特徴点ペアをランダムに選択し、選択した特徴点ペアのそれぞれについて、派生点ペアの検出を行う。

【0055】

検出すべき派生点ペアの数は、基本行列４０の生成に利用する対応点ペアの数から、特徴点ペアの数を引いた値である。基本行列４０の生成に利用する対応点ペアの数と特徴点ペアの数については、予め定められていてもよいし、基本行列生成装置２０００のユーザによって指定されてもよい。

【0056】

＜基本行列４０の生成：Ｓ１０８＞
生成部２０６０は、５組以上の対応点ペア（特徴点ペアと派生点ペア）を用いて、基本行列４０を生成する。ここで、対応点ペアを５組以上用いて基本行列を算出する技術には、既存の技術を利用することができる。

【0057】

例えば基本行列４０は、以下の式（3）で表される最適化問題を解くことによって算出される。

【数3】

ここで、ベクトル e は行列 E（基本行列４０）のベクトル表現、行列 M はベクトル m とベクトル n から構成される係数行列である。

【0058】

なお、式（3）は、最小５点の場合は非特許文献１に記載された多項式問題へと帰着して解けることが知られている。また、８点以上の場合には、非特許文献２に記載されているように、||e||^2=1以外の制約条件を無視することで線形最小二乗法に帰着することが知られている。そして、線形最小二乗法による計算方法には、DLT（Direct Linear Transform）法などが利用できる。

【0059】

ここで、生成部２０６０は、対応点ペアに含まれる各点の座標をそのまま利用する代わりに、正規化した座標を利用してもよい。こうすることで、数値計算の誤差を低減することができる。例えば座標の正規化としては、座標値の平均がゼロ、かつ、分散が√2となるような相似変換を施す手法がある。このように正規化した座標値を用いる場合、生成部２０６０は、DLT 法等の手法によって得られた行列に対して、相似変換の逆変換を施すことで、基本行列４０を生成することができる。

【0060】

ここで、派生点ペアの検出を行う前に、特徴点ペアの各点の座標の正規化が行われてもよい。この場合、第２検出部２０４０は、スケール不変特徴量のスケールの大きさや、アフィン不変特徴量の特定軸の長さについても同様の変換を施した上で、派生点ペアの検出を行う。

【0061】

＜結果の出力＞
基本行列生成装置２０００は、生成した基本行列４０を含む情報（以下、出力情報）を出力する。出力情報の出力態様は任意である。例えば基本行列生成装置２０００は、出力情報を、基本行列生成装置２０００からアクセス可能なディスプレイ装置に表示させる。その他にも例えば、基本行列生成装置２０００は、出力情報を、基本行列生成装置２０００からアクセス可能な記憶装置に格納する。その他にも例えば、基本行列生成装置２０００は、出力情報を、基本行列生成装置２０００と通信可能に接続されている他の装置へ送信する。

【0062】

出力情報は、基本行列４０のみを含んでもよいし、基本行列４０以外の情報をさらに含んでもよい。例えば出力情報には、基本行列４０が、どの画像とどの画像とを結びつける基本行列なのかが把握可能な情報も含まれることが好適である。そこで例えば、出力情報は、変換元の画像の識別子（例えば、ファイル名や画像データそのもの）として第１画像１０の識別子を含み、かつ、変換先の画像の識別子として第２画像２０の識別子を含む。

【0063】

＜基本行列４０の精度の向上＞
基本行列生成装置２０００は、以下の手法により、より精度の高い基本行列４０を生成してもよい。ここでいう基本行列４０の精度とは、第１画像１０上の点 mi と第２画像２０上の点 niと基本行列を用いて三角測量して復元した三次元座標を、第１画像１０と第２画像２０へと再投影し、第１画像１０上に再投影された2次元点と mi との誤差および第２画像２０上に再投影された２次元点と ni との誤差の小ささを意味する。これらの再投影誤差が小さいほど、基本行列４０によって、第１画像１０上の点と第２画像２０上の点とが正確に幾何的な制約条件を満たすこととなるため、基本行列４０の精度が高いと言える。なお、再投影誤差の代わりに、計算量がより少ない代数学的誤差（例えば Sampson 誤差）を用いてもよい。以下では、これらの誤差を総称してエピポーラ誤差と呼ぶ。

【0064】

基本行列生成装置２０００は、基本行列４０の生成に利用する対応点ペアを様々に変えながら、基本行列４０を複数生成する。そして、基本行列生成装置２０００は、それら複数の基本行列４０の中から最も精度が高いものを選択し、当該選択した基本行列４０を含む出力情報を出力する。

【0065】

例えば基本行列生成装置２０００は、RANSAC を利用して、精度の高い基本行列４０の生成を実現する。図６は、RANSAC を用いる基本行列生成装置２０００によって実行される処理の流れを例示するフローチャートである。

【0066】

第１検出部２０２０は、第１画像１０及び第２画像２０を取得する（Ｓ２０２）。Ｓ２０４からＳ２１８は、その実行回数が最大反復回数Ｎに達するまで繰り返し実行されるループ処理Ｌ１である。Ｓ２０４において、基本行列生成装置２０００は、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上であるか否かを判定する。ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上である場合、図６の処理はＳ２２０に進む。一方、ループ処理Ｌ１の実行回数が最大反復回数Ｎ以上でない場合、図６の処理はＳ２０６に進む。

【0067】

第１検出部２０２０は、第１画像１０及び第２画像２０から、３組以上の特徴点ペアを検出する（Ｓ２０６）。第２検出部２０４０は、Ｓ２０６で検出された特徴点ペアの中から任意の３組の特徴点ペアを選択し、選択した各特徴点ペアについて派生点ペアを検出する（Ｓ２０８）。生成部２０６０は、選択した３組の特徴点ペア、及びそれらを用いて検出された３組の派生点ペアのうち、５組のペアを用いて、基本行列４０を生成する（Ｓ２１０）。

【0068】

基本行列生成装置２０００は、Ｓ２０６で検出された複数の特徴点ペアのうち、基本行列４０によってエピポーラ制約を満たす特徴点ペアの個数を特定する（Ｓ２１２）。ここで、「特徴点ペアが基本行列４０によってエピポーラ制約を満たす」とは、特徴点ペアに含まれる第１画像１０上の点 mi と第２画像２０上の点 ni とが、基本行列４０によって定義されるエピポーラ誤差が十分に小さい（例えば閾値未満である）ことを意味する。以下、基本行列４０によって正しく対応付けられる特徴点ペア（上記誤差が閾値未満となる特徴点ペア）を「正しい特徴点ペア」と呼び、基本行列４０によって正しく対応づけられない特徴点ペア（上記誤差が閾値以上となる特徴点ペア）を、「正しくない特徴点ペア」と呼ぶ。

【0069】

正しい特徴点ペアの個数を特定するために、基本行列生成装置２０００は、各特徴点ペアについて、１）その特徴点ペアに含まれる第１画像１０上の点 mi とその特徴点ペアに含まれる第２画像２０上の点 ni とのエピポーラ誤差を算出し、2）算出した誤差が閾値未満であるか否かを判定する。そして、基本行列生成装置２０００は、誤差が閾値未満となった特徴点ペア（すなわち、正しい特徴点ペア）の個数を特定する。

【0070】

Ｓ２１４において、基本行列生成装置２０００は、正しい特徴点ペアの個数が、これまでに実行されたループ処理Ｌ１で算出された個数の中で最大であるか否かを判定する。正しい特徴点ペアの個数が、これまでに算出された個数の中で最大でない場合（Ｓ２１４：ＮＯ）、図６の処理はＳ２１８に進む。一方、正しい特徴点ペアの個数が、これまでに算出された個数の中で最大である場合（Ｓ２１４：ＹＥＳ）、基本行列生成装置２０００は、ループ処理Ｌ１の最大反復回数を更新する（Ｓ２１６）。

【0071】

ここで、最大反復回数は、例えば以下の式（４）で表される。

【数4】

ここで、N は最大反復回数を表す。p は N 回中に１回は、基本行列４０によって正しく変換される特徴点ペアが存在する確率を表す。s は、基本行列４０の生成に利用した対応点ペアの個数（前述の例では３）を表す。εは、特徴点ペアの総数に占める、正しくない特徴点ペアの割合である。

【0072】

ここで、εの真の値は未知であるため、その推定値が利用される。具体的には、基本行列生成装置２０００は、これまでに実行したループ処理Ｌ１において算出された正しい特徴点ペアの個数のうち、最大の個数を利用して推定される。この最大個数を Km と表記し、かつ、特徴点ペアの総数を Kall と表記すれば、εは (Kall-Km)/Kall と推定することができる。

【0073】

Ｓ２１８はループ処理Ｌ１の終端であるため、図６の処理はＳ２０４に戻る。

【0074】

ループ処理Ｌ１の繰り返し実行が終了すると、図６の処理はＳ２２０に進む。Ｓ２２０において、基本行列生成装置２０００は、複数回実行されたループ処理Ｌ１それぞれで生成された基本行列４０のうち、正しい特徴点ペアの個数が最大であったループ処理Ｌ１において生成された基本行列４０を、出力情報に含めて出力する。こうすることで、複数生成された基本行列４０のうち、精度が最大である基本行列４０が出力されるようになる。

【0075】

ここで、本実施形態の基本行列生成装置２０００では、特徴点ペアを利用して派生点ペアを検出するため、RANSAC の１回の試行（図６のループ処理Ｌ１の１回の実行）で必要とされるサンプル点の数が３（式（４）において s=3）となる。そのため、非特許文献１の発明のように５つのサンプル点を必要とするケース（式（４）において s=5となるケース）や非特許文献２の発明のように８つのサンプル点を必要とするケース（式（４）において s=8となるケース）と比較し、最大反復回数 N がの値が指数関数的に減少する。よって、RANSAC の計算量が削減される。

【0076】

なお、５組よりも少ない対応点ペアで基本行列を生成する方法として、アフィン不変特徴点を２組用いる方法が、非特許文献３に記載されている。非特許文献３に記載されている方法では、局所的なアフィン変換とエピポーラ制約が満たす拘束条件を解くことで、基本行列を算出している。

【0077】

非特許文献３の手法では、対応点ペアの数が２組であるため、RANSAC の最大反復回数は、本実施形態の基本行列生成装置２０００よりも理論的には少ない。しかしながら、本実施形態の基本行列生成装置２０００には、非特許文献３の手法と比較し、全体的な実行時間が短くなるという利点がある。例えば、アフィン不変特徴点の計算量は、一般にスケール不変特徴点の数倍から数十倍を要するため、本実施形態の第１検出部２０２０による処理に要する時間は非特許文献３よりも大幅に小さい。そのため、全体的な実行時間を比較すると本実施形態の基本行列生成装置２０００を利用するケースの方が高速になると考えられる。

【0078】

＜＜基本行列４０の生成の省略＞＞
基本行列生成装置２０００は、ループ処理Ｌ１において毎回基本行列４０の生成を行うのではなく、特定の条件が満たされた場合のみ、基本行列４０の生成を行うようにしてもよい。具体的には、基本行列生成装置２０００は、Ｓ２０６で選択された３組の特徴点ペア、及びそれらを用いて検出された３組の派生点ペアを利用して、符号付面積を算出する。そして、符号付き面積の符号の正しさに基づいて、基本行列４０の生成を行うか否かを判定する。以下、具体的に説明する。

【0079】

まず、３点の斉次化した画像座標 {x1, x2, x3} が与えられたとき、符号付面積は以下の式（５）で表される。

【数5】

【0080】

式（５）は、いわゆる 3x3 行列の行列式に等しい。５組の対応点ペアが与えられたとき、それらがいずれも正しい対応点ペアであれば５組の中から任意の３組を選んで式（５）を計算すると、その符号は必ず互いに同符号となる。例えば、選択された特徴点ペアが（m1,n1）と（m2,n2）であり、これらを用いて検出された派生点ペアが（p1,q1）と（p2,q2）であるとする。この場合において、例えば、（m1,n1）、（m2,n2）、及び（p1,q1）の３組を符号付面積の算出対象として選べば、det(m1,m2,p1) と det(n1,n2,q1) が算出される。そして、５組の対応点ペアがいずれも正しい対応点ペアなのであれば、算出された２つの符号付面積の符号は、互いに同符号となる。

【0081】

そこで基本行列生成装置２０００は、５組の対応点ペアから３組の対応点ペアを選び、それらについて上述した符号付面積の算出を行って、算出された２つの符号付面積の符号が等しいか否かを判定する。そして、符号付面積の符号が正しい場合、基本行列生成装置２０００は、Ｓ２１０以降の処理を実行する。一方、符号付面積の符号が正しくない場合、基本行列生成装置２０００は、基本行列４０の生成を行わず、ループ処理Ｌ１の先頭に戻る。図７は、図６のフローチャートに、符号付面積を利用して基本行列４０の生成を行うか否かを判定する処理が加えられたものを例示する図である。当該判定の処理はＳ３０２である。

【0082】

ここで、５組の対応点ペアから３組の対応点ペアを選ぶ場合、１０通りの選び方がある。基本行列生成装置２０００はこれら１０通りの選び方のいずれか１つ以上についてそれぞれ、前述した符号付面積の算出を行って、符号が互いに同一であるか否かを判定する。例えば基本行列生成装置２０００は、１０通り全てについて当該判定を行う。そして、基本行列生成装置２０００は、全てのケースにおいて、算出される２つの符号付面積の符号が互いに等しい場合に、基本行列４０の生成を行う（Ｓ３０２において、符号付面積の符号が正しいと判定する）。また、例えば、３組の特徴点ペアについて符号付面積の算出を行い、符号が互いに同一である場合のみ、派生点ペアを算出してもよい。この場合、まずＳ３０２にて当該判定の処理を行い、YES の場合にのみＳ２０８にて派生点ペアを計算し、Ｓ２１０以降の処理を実行する。

【0083】

＜＜RANSAC 以外の利用＞＞
基本行列４０の精度を高める方法は、RANSAC を利用する方法に限定されない。例えば、RANSAC には様々な派生が存在するため、それらを選択的に組み合わせることが可能である。例えば、PROSAC（Progressive Sample Consensus）を用いる場合、特徴量のマッチングスコアが小さい順に特徴点ペアが選択される。すなわち、Ｓ２０８において、特徴点ペアがランダムに選択される代わりに、特徴量のマッチングスコアが小さい（すなわち、互いの特徴量の類似度合いが大きい）順に特徴点ペアが選択される。

【0084】

その他にも例えば、LO-RANSAC（Locally Optimized RANSAC）を用いてもよい。この場合、Ｓ２１４において、正しい特徴点ペアの個数が最大であると判定された場合（Ｓ２１４：ＹＥＳ）に、対応点ペアを用いて式（２）を解くように構成された生成部２０６０に処理を実行させてもよいし、M-estimatorなどの重みづけ最小二乗法を用いてもよい。

【0085】

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0086】

なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0087】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出部と、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出部と、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成部と、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、基本行列生成装置。
（付記２）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１に記載の基本行列生成装置。
（付記３）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１に記載の基本行列生成装置。
（付記４）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基本行列の生成を繰り返し行い、生成された複数の前記基本行列のうち、最も精度が高いものを出力する、付記１から３いずれか一項に記載の基本行列生成装置。
（付記５）
前記特徴点ペアもしくは前記特徴点ペアと前記派生点ペアから３つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基本行列の生成を行うか否かを判定する、付記１から４いずれか一項に記載の基本行列生成装置。
（付記６）
コンピュータによって実行される制御方法であって、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出ステップと、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成ステップと、を有し、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、制御方法。
（付記７）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記６に記載の制御方法。
（付記８）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記６に記載の制御方法。
（付記９）
前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基本行列の生成を繰り返し行い、生成された複数の前記基本行列のうち、最も精度が高いものを出力する、付記６から８いずれか一項に記載の制御方法。
（付記１０）
前記特徴点ペアもしくは前記特徴点ペアと前記派生点ペアから３つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基本行列の生成を行うか否かを判定する、付記６から９いずれか一項に記載の制御方法。
（付記１１）
プログラムが格納されているコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、
第１画像と第２画像から、互いに対応する特徴点のペアである特徴点ペアを３組以上検出する第１検出ステップと、
２組以上の各前記特徴点ペアについて、その特徴点ペアに含まれる前記第１画像上の点から第１方向に第１距離離れた点と、その特徴点ペアに含まれる前記第２画像上の点から第２方向に第２距離離れた点とのペアである派生点ペアを検出する第２検出ステップと、
各前記検出された特徴点ペア及び派生点ペアを利用して、前記第１画像上の点と前記第２画像上の点とのエピポーラ制約を表す基本行列を生成する生成ステップと、を実行させ、
前記第１方向と前記第１距離はそれぞれ、前記特徴点ペアに含まれる前記第１画像上の点について算出された特徴量に基づいて定まり、
前記第２方向と前記第２距離はそれぞれ、前記特徴点ペアに含まれる前記第２画像上の点について算出された特徴量に基づいて定まる、コンピュータ可読媒体。
（付記１２）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたスケール不変特徴量の主軸方向とスケールの長さに基づいて決定される、付記１１に記載のコンピュータ可読媒体。
（付記１３）
前記第１方向と前記第１距離はそれぞれ、前記第１画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定され、
前記第２方向と前記第２距離はそれぞれ、前記第２画像上の点について算出されたアフィン不変特徴量の特定の軸方向及びその軸の長さに基づいて決定される、付記１１に記載のコンピュータ可読媒体。
（付記１４）
前記コンピュータに、前記派生点ペアの検出に利用する前記特徴点ペアを変更しながら、前記基本行列の生成を繰り返し行い、生成された複数の前記基本行列のうち、最も精度が高いものを出力するステップを実行させる、付記１１から１３いずれか一項に記載のコンピュータ可読媒体。
（付記１５）
前記コンピュータに、前記特徴点ペアと前記派生点ペアから３つの点を抽出して符号付面積の算出を行い、当該算出された符号付面積の符号に基づいて、前記基本行列の生成を行うか否かを判定するステップを実行させる、付記１１から１４いずれか一項に記載のコンピュータ可読媒体。

【符号の説明】

【0088】

１０ 第１画像
２０ 第２画像
４０ 基本行列
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
２０００ 基本行列生成装置
２０２０ 第１検出部
２０４０ 第２検出部
２０６０ 生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】