特許 7668756 ロバストなカメラ姿勢推定を用いた画像スティッチングのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-17

(45)【発行日】2025-04-25

(54)【発明の名称】ロバストなカメラ姿勢推定を用いた画像スティッチングのシステムおよび方法

(51)【国際特許分類】

   G06T 3/14 20240101AFI20250418BHJP

   G06T 7/20 20170101ALI20250418BHJP

   G06T 7/73 20170101ALI20250418BHJP

【ＦＩ】

G06T3/14

G06T7/20 100

G06T7/73

【請求項の数】 16

【外国語出願】

(21)【出願番号】P 2022032719

(22)【出願日】2022-03-03

(65)【公開番号】P2022151676

(43)【公開日】2022-10-07

【審査請求日】2025-01-10

(31)【優先権主張番号】17/214,813

(32)【優先日】2021-03-27

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】リウ・デホン

(72)【発明者】

【氏名】シー・ライシー

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１４－１０１０７５（ＪＰ，Ａ）

【文献】国際公開第２００６／００４０４３（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／００１８０８６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２２／００５１４３１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００ － ３／６０８

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

オブジェクトの画像の全体を構築するための画像形成システムであって、
カメラが撮影した前記オブジェクトの部分領域の連続画像を取得するように構成されたインターフェースを備え、前記オブジェクトの前記部分領域の前記連続画像の２つの画像は、重畳部分を含み、連続して取得された前記画像は、前記オブジェクトの３Ｄ（３次元）表面に対応し、前記オブジェクトの幾何情報が提供され、前記カメラの初期姿勢が提供され、前記画像形成システムは、さらに、
姿勢推定法とスティッチング法とを含むコンピュータにより実行可能なプログラムを格納するためのメモリと、
ステップを実行するように構成された画像スティッチングプロセッサとを備え、前記ステップは、
前記連続画像の各画像ペアの相対カメラ姿勢を、前記画像ペアが重畳している場合、Ｐ－ｎ－Ｐ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）を解くことによって推定するステップと、
（ｉ）各画像ペアの推定された前記相対カメラ姿勢に基づく相対カメラ姿勢行列と、（ｉｉ）前記相対カメラ姿勢行列に基づくスパース姿勢推定誤差行列と、を構築するステップと、
前記相対カメラ姿勢行列と前記スパース姿勢推定誤差行列の間の差異のフロベニウスノルムを含む条件を最小化する最適化問題を解くことにより、推定された前記相対カメラ姿勢に基づいて、前記連続画像に関するカメラ姿勢を推定するステップと、
前記連続画像に関して推定された前記カメラ姿勢に基づいて、前記連続画像を前記オブジェクトの３Ｄ表面に投影するステップと、
投影した前記連続画像を補間することによって前記オブジェクトの２Ｄ（２次元）画像として前記オブジェクトの前記画像の全体を構築するステップと、
構築した前記２Ｄ画像を前記インターフェースを介して出力するステップとを含む、画像形成システム。

【請求項2】

前記カメラは、高解像度のデジタル光学カメラである、請求項１に記載の画像形成システム。

【請求項3】

前記カメラは、６ＤｏＦ（６自由度）ピンホールカメラとしてモデル化される、請求項１に記載の画像形成システム。

【請求項4】

推定された前記連続画像に関する前記カメラ姿勢の各々は、３次元オイラー角ベクトルおよび３次元並進ベクトルによって判断される、請求項１に記載の画像形成システム。

【請求項5】

推定された前記連続画像に関する前記カメラ姿勢は、前記連続画像のすべての画像について推定される、請求項１に記載の画像形成システム。

【請求項6】

前記Ｐ－ｎ－Ｐ問題は、ＳＩＦＴ（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ－ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴量に基づく一致点を用いる、請求項１に記載の画像形成システム。

【請求項7】

前記連続画像のうち、少なくとも第１画像のカメラ姿勢は、既知である、請求項１に記載の画像形成システム。

【請求項8】

前記画像スティッチングプロセッサは、低ランク性および結合スパース性を適用するロバストなカメラ姿勢推定のアルゴリズムを利用して前記連続画像に関する前記カメラ姿勢を推定するように構成される、請求項１に記載の画像形成システム。

【請求項9】

オブジェクトの画像の全体を構築するための画像形成方法であって、
カメラが撮影した前記オブジェクトの部分領域の連続画像を、インターフェースを介して連続して取得するステップを含み、前記部分領域の前記連続画像の２つの画像は、重畳部分を含み、前記連続画像は、前記オブジェクトの３Ｄ（３次元）表面に対応し、前記オブジェクトの幾何情報が提供され、前記カメラの初期姿勢が提供され、前記画像形成方法は、
さらに、
姿勢推定法とスティッチング法とを含むコンピュータにより実行可能なプログラムをメモリから提供するステップと、
画像スティッチングプロセッサを用いて、
前記連続画像の各画像ペアの相対カメラ姿勢を、前記画像ペアが重畳している場合、Ｐ－ｎ－Ｐ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）を解くことによって推定するステップと、
（ｉ）各画像ペアの推定された前記相対カメラ姿勢に基づく相対カメラ姿勢行列と、（ｉｉ）前記相対カメラ姿勢行列に基づくスパース姿勢推定誤差行列と、を構築するステップと、
前記相対カメラ姿勢行列と前記スパース姿勢推定誤差行列の間の差異のフロベニウスノルムを含む条件を最小化する最適化問題を解くことにより、前記連続画像に関するカメラ姿勢を、推定した前記相対カメラ姿勢に基づいて推定するステップと、
前記連続画像に関する推定された前記カメラ姿勢に基づいて、前記連続画像を３Ｄ表面に投影するステップと、
投影した前記連続画像を補間することによって前記オブジェクトの前記画像の全体を前記オブジェクトの２Ｄ（２次元）画像として構築するステップと、
構築した前記２Ｄ画像を前記インターフェースを介して出力するステップとを含むステップを実行するステップを含む、画像形成方法。

【請求項10】

前記カメラは、高解像度のデジタル光学カメラである、請求項９に記載の画像形成方法。

【請求項11】

前記カメラは、６ＤｏＦ（６自由度）ピンホールカメラとしてモデル化される、請求項９に記載の画像形成方法。

【請求項12】

前記連続画像に関する前記カメラ姿勢の各々は、３次元オイラー角ベクトルおよび３次元並進ベクトルによって判断される、請求項９に記載の画像形成方法。

【請求項13】

前記連続画像に関する前記カメラ姿勢は、前記連続画像のすべてについて推定される、請求項９に記載の画像形成方法。

【請求項14】

前記Ｐ－ｎ－Ｐ問題は、ＳＩＦＴ（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ－ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）特徴量に基づく一致点を用いる、請求項９に記載の画像形成方法。

【請求項15】

前記連続画像のうち、少なくとも第１画像のカメラ姿勢は、既知である、請求項９に記載の画像形成方法。

【請求項16】

前記連続画像に関する前記カメラ姿勢の推定は、低ランク性および結合スパース性を適用するロバストなカメラ姿勢推定のアルゴリズムの利用を含む、請求項９に記載の画像形成方法。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本発明は、全体的に、認識されない乱れた姿勢でカメラが撮影した大きなシーンまたは表面の画像をスティッチングするための装置および方法に関する。

【背景技術】

【0002】

背景および従来技術
画像スティッチング技術は、重畳画像の集まりを融合させて、Ｇｏｏｇｌｅ Ｅａｒｔｈマッピング、映像安定化、パノラマ画像構築、ドローン画像スティッチング、および３Ｄ構造再構築などのアプリケーションにおいて対象となるオブジェクトまたはシーンの広いビューを十分な解像度で実現することを目標とする。様々なアプリケーションが求める高いスティッチング精度を実現するために、収集した画像の幾何学的歪みを補う必要がある。このように歪みを補う場合には、画像ごとのカメラ姿勢の推定が極めて重要なタスクである。なぜならば、カメラ姿勢推定における誤差がほんのわずかであっても、つなぎ合わされた画像の明らかな歪みおよび視覚的な不整合につながる可能性があり、その結果、後続するアプリケーションを制限してしまうからである。そのため、画像が集められた場合、カメラ姿勢を正確に推定することは非常に重要であり、困難な課題である。

【0003】

ここ数十年、一致する特徴点を用いた、一般に言うＰｎＰ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）問題として、ペアワイズ画像アライメント法およびスティッチング法がかなり研究されてきた。特に、つなぎ合わされる画像のペアごとに、画像ペアのＳＩＦＴ特徴量ベースの一致点を利用して、画像が１つ１つつなぎ合わせられるように、関連するカメラ姿勢をＰｎＰ法を用いて推定する。ペアワイズ画像スティッチング法は、一般に、一致点が明確である少数の画像に対して上手く機能する。しかしながら、画像の数が多い、または特徴点がうまく一致していない場合、ペアワイズスティッチング法は機能しないであろう。なぜならば、いかなる誤った一致点も異常なカメラ姿勢誤差を生じさせてしまい、この誤差の影響は、スティッチングに用いられる後続のカメラ姿勢推定にも影響を与えるので、最終的に画像スティッチング性能を劣化させてしまうからである。この問題を解決するために、バンドル調整など、スティッチングのロバスト性を改善するためのグローバルアライメント法が研究されてきた。バンドル調整法では、１つの基準画像だけを考慮するのではなく、対象画像とその重畳する基準画像のバンドルとの間で一致する特徴点を考慮して対象画像のカメラ姿勢を推定する。そのため、一致点が増えることにより全体的なロバスト性が改善する。しかしながら、誤った一致点が依然として必然的にカメラ姿勢誤差を生じさせてしまうので、特に、高精度スティッチングに対する性能は、依然として十分でない。したがって、ロバストなカメラ姿勢推定を使用した、性能を上げるための新規な画像スティッチングのシステムおよび方法を開発することが求められる。

【発明の概要】

【0004】

我々が提案する枠組みにおいて、異常なペアワイズカメラ姿勢誤差があってもカメラ姿勢を正確に推定できるロバストなカメラ姿勢推定法を提案する。特に、インデックス付けされた画像の集合があれば、まず、画像ペアのすべての相対カメラ姿勢行列を構築する。各エントリは、行と列とによってそれぞれインデックス付けされた対象画像と基準画像とのペアに対応する。画像のペアが互いに重畳する場合、対応するエントリは、重畳領域の一致する特徴点を用いたＰｎＰ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）問題を解くことによって実現される。そうでない場合、エントリは、観測不可能である。６ＤｏＦ（６自由度）カメラ姿勢の場合、６つの行列を構築する。各行列は、６自由度のうちの１つに対応する。グローバルアライメント法として、我々が提案する方法は、基礎となるランク２の相対姿勢の行列と、カメラ姿勢誤差の結合スパース性とを推定時に有効利用することによって、部分的に観測された相対姿勢の行列に基づいてカメラ姿勢を推定することを目標とする。数値シミュレーションでは、画像をスティッチングする際の既存のペアワイズアライメントのベースライン、およびグローバルアライメントのベースラインよりも我々が提案する方法が優れていることが実証された。

【0005】

近年、画像復元、信号処理、映像処理、機械学習、およびユークリッド距離行列再構築など、信号の低次元構造を有効利用する際の低ランク性およびスパース性が広く研究されている。このタイプの問題を解決するための周知の方法として、ロバスト主成分分析（ＲＰＣＡ）がある。ＲＰＣＡでは、低ランク行列と、スパース誤差行列とをそれらの重畳観測値から復元する。ここで、ＲＰＣＡをヒントに、しかし異なったやり方で、我々は、行列核ノルムなど明確な低ランク制約を使用するのではなく、低ランク性を暗黙的に有効利用する。また、部分的に観測された行列があれば、我々は、相対姿勢誤差の結合スパース性を促す。

【0006】

したがって、本開示のいくつかの実施の形態は、以下にまとめたように貢献することができる。

【0007】

１．本開示は、基礎となるランク２の相対姿勢の行列と、カメラ姿勢誤差の結合スパース性とを有効利用する、ロバスト性のある画像スティッチング法を提案する。提案する方法は、異常なカメラ姿勢の下でもロバスト性能を示す。

【0008】

２．本開示は、部分的に観測された行列があれば、低ランク性および結合スパース性を暗示的に説明する。提案する方法は、一連の線形関係にある推定を対象とした様々なシナリオに適用可能である可能性がある。

【0009】

３．本開示は、認識されない乱れた姿勢でカメラが撮影した合成画像を用いた数値実験を提供する。我々の実験により、その他のベースライン手法と比較して性能の大幅な改善が実証された。

【0010】

さらには、本発明のいくつかの実施の形態は、オブジェクトの画像の全体を構築するための画像形成システムを提供するという認識に基づく。この画像形成システムは、カメラが撮影したオブジェクトの部分領域の画像を連続して取得するように構成されたインターフェースを備えてもよく、部分領域の２つの隣接する画像は、重畳部分を含み、連続する画像は、オブジェクトの３Ｄ（３次元）表面に対応し、オブジェクトの幾何情報（幾何学パラメータ）が提供され、カメラの初期姿勢が提供され、画像形成システムは、さらに、姿勢推定法とスティッチング法とを含むコンピュータにより実行可能なプログラムを格納するためのメモリと、画像スティッチングプロセッサとをさらに備え、当該画像スティッチングプロセッサは、姿勢推定法によって連続する画像を推定するステップと、ＰｎＰ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）を解くことによって、カメラ姿勢推定に基づいて連続する画像を３Ｄ表面に投影するステップと、推定したカメラ姿勢に基づいてオブジェクトの２Ｄ（２次元）画像を構築するステップと、構築した２Ｄ画像をインターフェースを介して出力するステップとを含む。

【0011】

さらには、別の実施の形態は、オブジェクトの画像の全体を構築するための画像形成方法を提供してもよい。この場合、この方法は、カメラが撮影したオブジェクトの部分領域の画像を、インターフェースを介して連続して取得するステップを含み、部分領域の２つの隣接する画像は、重畳部分を含み、連続する画像は、オブジェクトの３Ｄ（３次元）表面に対応し、オブジェクトの幾何情報が提供され、カメラの初期姿勢が提供され、画像形成方法は、さらに、姿勢推定法とスティッチング法とを含むコンピュータにより実行可能なプログラムをメモリから提供するステップを含み、画像形成方法は、さらに、姿勢推定法によって連続する画像に関する姿勢を推定するステップと、ＰｎＰ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）を解くことによって、カメラ姿勢推定に基づいて連続する画像を３Ｄ表面に投影するステップと、推定したカメラ姿勢に基づいてオブジェクトの２Ｄ（２次元）画像を構築するステップと、構築した２Ｄ画像をインターフェースを介して出力するステップとを含むステップを、画像スティッチングプロセッサを用いて実行するステップを含む。

【0012】

本発明の理解を深めるために記載されている添付の図面は、本発明の実施の形態を、本発明の原理を説明するための記述とともに示す。

【図面の簡単な説明】

【0013】

【図1A】本発明の実施の形態に係る、画像収集処理を示す例を示す。

【図1B】本発明の実施の形態に係る、画像処理システムのブロック図を示す。

【図2】本発明の実施の形態に係る、大きな表面の画像を生成するための画像スティッチングステップを示すブロック図を示す。

【図3】本発明の実施の形態に係る、ロバストなカメラ姿勢推定を記述したアルゴリズムを示す図である。

【図4A】本発明の実施の形態に係る、ＰｎＰを用いて部分的に観測された例示的な相対カメラ姿勢行列と、グラウンドトゥルースと、最小二乗法を用いて復元された相対姿勢行列と、ロバストなカメラ姿勢推定を用いて復元された相対姿勢行列とを比較した図である。

【図4B】本発明の実施の形態に係る、ＰｎＰを用いて部分的に観測された例示的な相対カメラ姿勢行列と、グラウンドトゥルースと、最小二乗法を用いて復元された相対姿勢行列と、ロバストなカメラ姿勢推定を用いて復元された相対姿勢行列とを比較した図である。

【図4C】本発明の実施の形態に係る、ＰｎＰを用いて部分的に観測された例示的な相対カメラ姿勢行列と、グラウンドトゥルースと、最小二乗法を用いて復元された相対姿勢行列と、ロバストなカメラ姿勢推定を用いて復元された相対姿勢行列とを比較した図である。

【図4D】本発明の実施の形態に係る、ＰｎＰを用いて部分的に観測された例示的な相対カメラ姿勢行列と、グラウンドトゥルースと、最小二乗法を用いて復元された相対姿勢行列と、ロバストなカメラ姿勢推定を用いて復元された相対姿勢行列とを比較した図である。

【図5A】本発明の実施の形態に係る、相対カメラ姿勢誤差行列の比較を示す図である。

【図5B】本発明の実施の形態に係る、相対カメラ姿勢誤差行列の比較を示す図である。

【図5C】本発明の実施の形態に係る、相対カメラ姿勢誤差行列の比較を示す図である。

【図6】本発明の実施の形態に係る、異なる方法における、画像の数を増やした場合のカメラ姿勢誤差を示す図である。

【図7】本発明の実施の形態に係る、異なる方法におけるカメラ姿勢の相対誤差と、つなぎ合わされた画像のＰＳＮＲとを示す図である。

【図8A】本発明の実施の形態に係る、グラウンドトゥルースの大表面画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【図8B】本発明の実施の形態に係る、グラウンドトゥルースの大表面画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【図8C】本発明の実施の形態に係る、グラウンドトゥルースの大表面画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【図9A】本発明の実施の形態に係る、グラウンドトゥルースの拡大領域画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【図9B】本発明の実施の形態に係る、グラウンドトゥルースの拡大領域画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【図9C】本発明の実施の形態に係る、グラウンドトゥルースの拡大領域画像と、最小二乗法を用いてつなぎ合わされた画像と、ロバストなカメラ姿勢推定を用いてつなぎ合わされた画像とをそれぞれ比較した図である。

【発明を実施するための形態】

【0014】

好ましい実施の形態の詳細な説明
以下、図面を参照しながら、本発明の様々な実施の形態を説明する。なお、図面は、縮尺通りに描かれておらず、同様の構造または機能の要素は、図面全体を通して同じ参照番号で示されている。また、図面は、あくまで本発明の具体的な実施の形態の説明を容易にするためであることを留意されたい。これらは、発明を余すところなく説明するためのものではなく、本発明の範囲を限定しない。これに加えて、本発明の所定の実施の形態とあわせて説明する態様は、必ずしもその実施の形態に限定されることはなく、その他の本発明の実施の形態で実施することができる。

【0015】

図１Ａは、本発明の実施の形態に係る、画像収集処理を示す例である。画像収集処理では、画像を１つ１つ撮影する。２つの画像が重畳する場合、２つの対応するカメラ姿勢間の相対カメラ姿勢を演算する。重畳していない場合、対応する相対姿勢は未知（不明）に設定される。この図は、本発明の実施の形態に係る、画像収集処理を示す例である。各カメラスナップショットは、カメラ姿勢の乱れが認識できない状態で大きな表面（絵画）のうち小さい領域をカバーしている。カメラは、画像スナップショットが重畳した状態で全表面をカバーするためにジグザグスキャンパターンで移動している。

【0016】

図１Ｂは、本発明の実施の形態に係る、画像収集処理を説明する例を示す図である。この図は、本開示の実施の形態に係る、対象表面１４０の大画像を生成するための画像スティッチングシステム１００を示す概略図である。

【0017】

画像スティッチングシステム１００は、カメラ／センサー１４１から画像を受信し、画像を表示（１４２）するように構成されたネットワークインターフェースコントローラ（インターフェース）１１０を備えてもよい。カメラ／センサー１４１は、対象表面１４０の重畳画像を撮影するように構成される。

【0018】

さらには、画像スティッチングシステム１００は、コンピュータにより実行可能なプログラムを記憶装置２００に格納するためのメモリ／ＣＰＵユニット１２０を備えてもよい。コンピュータにより実行可能なプログラム／アルゴリズムは、重畳画像２０５と、画像スティッチングモジュール２１０とを含んでもよい。画像スティッチングモジュール２１０は、ロバストなカメラ姿勢推定部２２０を備える。コンピュータにより実行可能なプログラムは、記憶装置２００にアクセスしてコンピュータにより実行可能なプログラムを読み込むメモリ／ＣＰＵユニット１２０に接続するように構成される。

【0019】

さらには、メモリ／ＣＰＵユニット１２０は、カメラ／センサー１５１または画像データサーバ１５２からネットワーク１５０を経由して画像（データ）を受信し、上述した画像スティッチングシステム１００による変位測定を行うように構成される。

【0020】

さらには、画像スティッチングシステム１００は、対象表面１４０の画像を撮影するように配置された少なくとも１つのカメラを備えてもよく、当該少なくとも１つのカメラは、撮影した画像をインターフェースを介して表示装置１４２に送信してもよい。

【0021】

場合によっては、この少なくとも１つのカメラは、高解像度のデジタル光学カメラであってもよい。この場合、連続して取得されるオブジェクトの部分領域の画像がカメラ、高解像度のデジタル光学カメラによって撮影される。

【0022】

【数1】

【0023】

【数2】

【0024】

【数3】

【0025】

【数4】

【0026】

【数5】

【0027】

【数6】

【0028】

【数7】

【0029】

【数8】

【0030】

【数9】

【0031】

【数10】

【0032】

【数11】

【0033】

【数12】

【0034】

図３は、本発明のいくつかの実施の形態に係る、ロバストなカメラ姿勢推定を記述したアルゴリズムを示す。図３には、全体的な解法がアルゴリズム１としてまとめられている。

【0035】

【数13】

【0036】

【数14】

【0037】

【数15】

【0038】

【数16】

【0039】

カメラ姿勢を推定するために、比較のために、（１）ペアワイズ法、（２）バンドル調整方法、（３）最小二乗法、および（４）我々が提案する方法、という４つの異なる方法を考える。ペアワイズ法の場合、我々は、３Ｄシーンジオメトリの予備知識を用いて、つなぎ合わされる画像ペアの一致点に対して、ＳＩＦＴ特徴量ベースのＰｎＰ（ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ）法を利用する。

【0040】

【数17】

【0041】

【数18】

【0042】

【数19】

【0043】

【数20】

【0044】

【数21】

【0045】

【数22】

【0046】

図６は、本発明のいくつかの実施の形態に係る、異なる方法を使用して画像の数を増やした場合のカメラ姿勢誤差を示す。この図では、図にあるＮ個の画像についての相対誤差がプロットされている。ペアワイズ法およびバンドル法のいずれの場合も、画像の数が増えるにつれてカメラ姿勢誤差が蓄積されている傾向が見て取れる。最小二乗法では相対誤差が低レベルに維持されているが、我々が提案する方法では、異常なカメラ姿勢誤差の場合であっても誤差がさらに低減できている。

【0047】

【数23】

【0048】

【数24】

【0049】

我々は、形状が既知の３Ｄ表面の大画像の集合をスティッチングするためのロバストなカメラ姿勢推定法を提案する。従来のＰｎＰ法を使用した場合にカメラ姿勢誤差が蓄積されてしまう課題に対処するために、我々は、部分的に観測された相対姿勢行列をカメラ姿勢のパラメータごとに構築し、カメラ姿勢を推定する際にカメラ姿勢誤差の結合スパース性を有効利用することにより、当該相対姿勢行列を相対カメラ姿勢のランク２の行列およびカメラ姿勢誤差のスパース行列に分解した。ランダムな姿勢でカメラが撮影した画像を用いた数値実験は、従来のＰｎＰ法を用いた場合ではカメラ姿勢推定において異常な誤差が生じる場合であっても、我々が提案する方法では、推定誤差を検出して抑えることが可能であり、ロバストなカメラ姿勢推定および著しく優れたスティッチング結果が得られることが実証されている。

【0050】

上述した本発明の実施の形態は、数多くの方法で実現できる。たとえば、ハードウェア、ソフトウェアまたは、それらの組合せを用いて実施の形態を実現してもよい。ソフトウェアで実現された場合、１つのコンピュータ上に配置されていても複数のコンピュータ間で分散されていても任意の適切なプロセッサまたはプロセッサの集まり上でこのソフトウェアコードを実行できる。このようなプロセッサは、集積回路部品に１つ以上のプロセッサを有する集積回路として実現されてもよい。しかし、プロセッサは、任意の適切なフォーマットの回路を用いて実現されてもよい。

【0051】

また、本発明の実施の形態は、方法として実施されてもよく、その例について説明を行った。方法と一部として実行される動作を、適切に順序付けしてもよい。したがって、例示的な実施の形態において連続した動作として図示されていたとしても、実施の形態は、図示した順序とは異なる順序で動作を実行するように構成されてもよく、いくつかの動作を同時に行うことを含み得る。

【0052】

「第１」、「第２」などの序数が使用されていることについては、それ自体が、一方のクレーム要素が他方のクレーム要素よりも優先されること、先行されること、または順番を先にするという意味ではなく、方法に含まれている動作を実行する時間的順序を意味するわけでもなく、ある名称の一方のクレーム要素を同じ名称の他方のクレーム要素と区別するためのラベルとして使用して（しかし、序数の使用にあたって）クレーム要素を区別しているに過ぎない。

【0053】

本発明を好ましい実施の形態の一例として説明したが、本開示の要旨および範囲内で様々なその他の改作および変更を行ってもよいことを理解されたい。

【0054】

そのため、添付の特許請求の範囲には、本発明の趣旨および範囲内のすべてのこのような変形例および変更例を含むという目的がある。

【0055】

上述した本発明の実施の形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せを用いて実現できる。

【0056】

また、本発明の実施の形態は、方法として実施されてもよく、その例について説明を行った。方法と一部として実行される動作を、適切に順序付けしてもよい。したがって、例示的な実施の形態において連続した動作として図示されていたとしても、実施の形態は、図示した順序とは異なる順序で動作を実行するように構成されてもよく、いくつかの動作を同時に行うことを含み得る。

【0057】

「第１」、「第２」などの序数が使用されていることについては、それ自体が、一方のクレーム要素が他方のクレーム要素よりも優先されること、先行されること、または順番を先にするという意味ではなく、方法に含まれている動作を実行する時間的順序を意味するわけでもなく、ある名称の一方のクレーム要素を同じ名称の他方のクレーム要素と区別するためのラベルとして使用して（しかし、序数の使用にあたって）クレーム要素を区別しているに過ぎない。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】