特許7397241画像つなぎ合わせ方法、コンピュータ可読記憶媒体およびコンピュータデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】画像つなぎ合わせ方法、コンピュータ可読記憶媒体およびコンピュータデバイス
(51)【国際特許分類】
G06T 3/00 20060101AFI20231205BHJP
【ＦＩ】
G06T3/00 710
G06T3/00 760
【請求項の数】
21
(21)【出願番号】P 2023536151
(86)(22)【出願日】2021-12-16
(65)【公表番号】
(43)【公表日】2023-11-24
(86)【国際出願番号】 CN2021138909
(87)【国際公開番号】W WO2022127875
(87)【国際公開日】2022-06-23
【審査請求日】2023-08-14
(31)【優先権主張番号】202011490499.0
(32)【優先日】2020-12-16
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】520159673
【氏名又は名称】影石創新科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．
【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】蘇坦
(72)【発明者】
【氏名】高飛
【審査官】岡本 俊威
(56)【参考文献】
【文献】米国特許出願公開第２０１９／００１４２６０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０２６２６８５（ＵＳ，Ａ１）
【文献】特表２０１６－５１１９６８（ＪＰ，Ａ）
【文献】特開２０１５－０１９３４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ３／００
(57)【特許請求の範囲】
【請求項1】
複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得することと、各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズで同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られることと、
各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られることと
を含むことを特徴とする画像つなぎ合わせ方法。
【請求項2】
前記単位球面は、具体的に、レンズの光学中心を球心とする単位球面であり、前記統合単位球面は、具体的に、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心を球心とする単位球面であることを特徴とする請求項１に記載の方法。
【請求項3】
前記つなぎ合わせを行って１枚のパノラマ球面画像が得られることの後、平面投影方式によりパノラマ球面画像を平面に投影して平面画像が得られることをさらに含むことを特徴とする請求項１に記載の方法。
【請求項4】
上記した平面投影方式によりパノラマ球面画像を平面に投影して平面画像が得られることの後、前記平面画像をビデオに合成することをさらに含むことを特徴とする請求項３に記載の方法。
【請求項5】
【請求項6】
前記複数のカメラヘッドが室内に置かれると、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方の一つの所定平面までの距離が前記円心から前記室内の頂部までの距離であり、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の下方の一つの所定平面までの距離が前記円心から前記室内の底部までの距離であることを特徴とする請求項１に記載の方法。
【請求項7】
前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離は、具体的に、
距離センサで複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を取得するか；
又は、複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を自動的に推算することにより取得することを特徴とする請求項１に記載の方法。
【請求項8】
上記した複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を自動的に推算することは、具体的に、所定距離範囲内で複数の距離を選択し、前記複数の距離が前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の複数の所定平面までの距離であり、選択された各距離について、各カメラヘッドのレンズの外部パラメータと前記各距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルをそれぞれ算出することと、
各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングして、複数枚のそれぞれ各カメラヘッドのレンズに対応する統合単位球面画像が得られることと、
各カメラヘッドのレンズに対応する統合単位球面画像の一枚ごとに、平面投影方式により、統合単位球面画像の上半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の上方の平面に投影して、頂部投影画面が得られ、平面投影方式により、統合単位球面画像の下半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の下方の平面に投影して、底部投影画面が得られることと、
頂部投影画面または底部投影画面の総合アライメント誤差を計算し、頂部投影画面又は底部投影画面の総合アライメント誤差が最小となるときに対応する距離を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とすることとを含むことを特徴とする請求項７に記載の方法。
【請求項9】
【請求項10】
上記した頂部投影画面または底部投影画面の総合アライメント誤差を計算することは、具体的に、各カメラヘッドのレンズについて、前記各カメラヘッドのレンズに隣接する２つのカメラヘッドのレンズに対応する頂部投影画面又は底部投影画面の間の重複領域における平均画素誤差をそれぞれ計算すること、
全てのカメラヘッドのレンズの平均画素誤差の和を計算して前記頂部投影画面又は底部投影画面の総合アライメント誤差とすることであることを特徴とする請求項８または９に記載の方法。
【請求項11】
【請求項12】
上記した頂部投影画面又は底部投影画面の総合アライメント誤差が最小となるときに対応する距離を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とすることの後、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離に基づいて、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるように、各カメラヘッドのレンズから前記所定平面までの距離を調整して制御し、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるときの、カメラヘッドのレンズから前記所定平面までの距離を、カメラヘッドのレンズから前記円の上方又は下方の一つの所定平面までの最終距離とすることと、
各カメラヘッドのレンズの外部パラメータと、カメラヘッドのレンズから前記円の上方又は下方の一つの所定平面までの最終距離とから、各カメラヘッドのレンズに対応する第３のマッピングテーブルをそれぞれ算出することと、をさらに含み、
上記したつなぎ合わせを行って１枚のパノラマ球面画像が得られることは、具体的に各カメラヘッドのレンズに対応する第３のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られることであることを特徴とする請求項８に記載の方法。
【請求項13】
上記した推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離に基づいて、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるように、各カメラヘッドのレンズから前記所定平面までの距離を調整して制御することは、具体的に、各カメラヘッドのレンズの外部パラメータと、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルをそれぞれ算出することと、
各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングして、複数枚のそれぞれ各カメラヘッドのレンズに対応する統合単位球面画像が得られることと、
各カメラヘッドのレンズに対応する統合単位球面画像の一枚ごとに、平面投影方式により、統合単位球面画像の上半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の上方の平面に投影して、頂部投影画面が得られ、平面投影方式により、統合単位球面画像の下半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の下方の平面に投影して、底部投影画面が得られることと、
各カメラヘッドのレンズに対応する頂部投影画面または底部投影画面から、各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズとのアライメント誤差を計算し、全てのカメラヘッドのレンズをアライメント誤差の大きい順に順序付けることと、
アライメント誤差が最も大きいカメラヘッドのレンズから始めて、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方または下方の一つの所定平面までの距離の近傍で、アライメント誤差が最小となるまでレンズ高さを調整することと、
全てのカメラヘッドのレンズ高さの調整が完了するまで、各カメラヘッドのレンズを順次処理することと、を含むことを特徴とする請求項１２に記載の方法。
【請求項14】
上記した各カメラヘッドのレンズに対応する頂部投影画面または底部投影画面から、各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズとのアライメント誤差を計算することは、具体的に、各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズに対応する頂部投影画面又は底部投影画面の間の重複領域における平均画素誤差を計算することであることを特徴とする請求項１３に記載の方法。
【請求項15】
【請求項16】
【請求項17】
前記平面投影方式は、正距円筒図法とキューブ投影法を含むことを特徴とする請求項３又は８に記載の方法。
【請求項18】
複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得するための取得モジュールと、各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズの同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られるための第１のマッピングモジュールと、
各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られるための第２のマッピングモジュールと、
を備えることを特徴とする画像つなぎ合わせ装置。
【請求項19】
コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１～１７のいずれか１項に記載の画像つなぎ合わせ方法のステップが実現されることを特徴とするコンピュータ可読記憶媒体。
【請求項20】
一つ又は複数のプロセッサと、メモリと、
一つまたは複数のコンピュータプログラムとを備え、
前記プロセッサと、前記メモリとがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリに記憶されて、前記一つまたは複数のプロセッサによって実行されるように構成されているコンピュータデバイスであって、前記プロセッサが前記コンピュータプログラムを実行したときに、請求項１～１７のいずれか１項に記載の画像つなぎ合わせ方法のステップが実現されることを特徴とするコンピュータデバイス。
【請求項21】
一つ又は複数のプロセッサと、メモリと、
一つまたは複数のコンピュータプログラムとを備え、
前記プロセッサと、前記メモリとがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリに記憶されて、前記一つまたは複数のプロセッサによって実行されるように構成されている画像収集デバイスであって、前記プロセッサが前記コンピュータプログラムを実行したときに、請求項１～１７のいずれか１項に記載の画像つなぎ合わせ方法のステップが実現されることを特徴とする画像収集デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理の分野に属し、特に、画像つなぎ合わせ方法および装置、コンピュータ可読記憶媒体、コンピュータデバイス並びにカメラに関する。
【背景技術】
【0002】
従来技術における画像つなぎ合わせは、一般に、まず、標定によって得られたレンズの内部パラメータから、各画素のレンズの光学中心を球心とする球面座標が得られ、そして、回転座標計算によって、統合された球面座標系での位置が得られ、ここで、回転座標の回転量が複数のレンズ間の角度関係（外部パラメータ）から得られるものであり、単一の画面画素から統合された球面座標へのマッピングが得られた後、それぞれのレンズが撮影した画面を球面上にマッピングし、最終的に完全な画像に組み立てられることにより達成される。
【0003】
レンズ毎の光学中心の位置が一致していないため、レンズ間に視差が生じ、その結果、異なるレンズ内の同じ物体の画素が、最終的な画面の異なる位置にマッピングされる可能性があり、これは、球面上の異なるレンズが担う領域間の継ぎ目における画面のズレとして現れる。従来技術による一般的な処理方法は、レンズの視野を適切に増大させて、隣接するレンズの視野の一部を重ね合わせた後、継ぎ目における重ね合わせ領域を分析し、オプティカルフロー法や特徴点法を用いて重ね合わせ領域内の密マッチングを求め、さらに、継ぎ目を可能な限り重ね合わせるようにマッピングテーブルを修正することで、つなぎ合わせ誤差を解消する方法である。従来技術は、隣接する２つのレンズの画面の重ね合わせ領域を画面間の密マッチングによるつなぎ合わせ最適化方法に基づいて処理することにより、２つのレンズの画面間のつなぎ合わせ誤差をよく解消することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
現在市販されているほとんどのパノラマカメラは、複数のレンズ（具体的には３つ以上のレンズ）がカメラの中心を中心に外へ向けて環形放射状に配置された環形配列構造を採用しており、撮影時には、パノラマカメラが水平に置かれ、各レンズが周りの異なる水平方向に向け、各レンズはパノラマカメラ周辺の完全な視野の異なる画角の一部を撮影する役割をそれぞれ担い、複数のレンズで撮影された画面をつなぎ合わせて、パノラマカメラの位置を中心としたパノラマ球面が合成される。しかしながら、複数のレンズが環形に配列されるという最も一般的なパノラマカメラの構造では、パノラマ球面の底部と頂部は全てのレンズの画面で一つにつなぎ合わされてなり、パノラマ画像の観察者から見れば、パノラマ球面の頂部領域と底部領域とがそれぞれ複数の扇形画面でつなぎ合わせされてなり、全ての継ぎ目が中心の点に集まるが、レンズ間の視差により各画面間に深刻なズレが生じ、これにより、パノラマカメラの頂部および底部のつなぎ合わせにアライメントエラーや画面歪み等のつなぎ合わせエラーを発生させ、特に、プロ仕様のパノラマカメラは、より良好な画質を得るために、より大型のイメージセンサと、より多くのレンズとを用いることが一般的であり、これにより、レンズ間の視差がより大きくなり、頂部・底部のつなぎ合わせエラーもより深刻なものとなる。しかし、従来技術による２つのレンズ間の継ぎ目のズレを解消する方法では、複数のレンズ間の同時ズレの問題を解消することができず、自然な頂部・底部画面を得ることができない。
【課題を解決するための手段】
【0005】
本発明の実施形態は、上記の問題の一つを解決することを目的として、画像つなぎ合わせ方法および装置、コンピュータ可読記憶媒体、コンピュータデバイス並びに画像収集デバイスを提供する。
【0006】
本発明の第１の実施態様では、画像つなぎ合わせ方法を提供しており、この方法は、
【0007】
複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得することと、
【0008】
各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズの同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られることと、
【0009】
各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られることとを含む。
【0010】
本発明の第２の実施態様では、画像つなぎ合わせ装置を提供しており、この装置は、
【0011】
複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得するための取得モジュールと、
【0012】
各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズの同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られるための第１のマッピングモジュールと、
【0013】
各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られるための第２のマッピングモジュールと、を備える。
【0014】
本発明の第３の実施態様では、コンピュータ可読記憶媒体を提供しており、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、上記のような画像つなぎ合わせ方法のステップが実現される。
【0015】
本発明の第４の実施態様では、コンピュータデバイスを提供しており、
【0016】
一つ又は複数のプロセッサと、
【0017】
メモリと、
【0018】
一つまたは複数のコンピュータプログラムとを備え、前記プロセッサと、前記メモリとがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリに記憶されて、前記一つまたは複数のプロセッサによって実行されるように構成されており、前記プロセッサが前記コンピュータプログラムを実行したときに、上記のような画像つなぎ合わせ方法のステップが実現される。
【0019】
本発明の第５の実施態様では、画像収集デバイスを提供しており、
【0020】
一つ又は複数のプロセッサと、
【0021】
メモリと、
【0022】
一つまたは複数のコンピュータプログラムとを備え、前記プロセッサと、前記メモリとがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリに記憶されて、前記一つまたは複数のプロセッサによって実行されるように構成されており、前記プロセッサが前記コンピュータプログラムを実行したときに、上記のような画像つなぎ合わせ方法のステップが実現される。
【発明の効果】
【0023】
本発明の実施形態では、複数のカメラヘッドのレンズ間の視差の元（レンズの光学中心の異なる位置）をマッピングテーブルの計算に導入し、複数のカメラヘッドのレンズの光学中心からなる円の上下方領域を一定高さの平面と仮定し、各カメラヘッドのレンズの外部パラメータと複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離から、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られる。この場合、視差によるアライメント誤差を解消しただけでなく、依然として簡便な計算プロセスを留めて、従来の三次元再構成による複雑な計算量や誤差リスクを回避し、実際のテストをしたところ、一般室内外の環境に静止して置かれた画像収集デバイスが撮影した写真とビデオについて、本発明の画像つなぎ合わせ方法を用いてより自然で、より現実的な頂部や底部のつなぎ合わせ画面を得ることができる。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態による画像つなぎ合わせ方法の適用場面の模式図である。
【0025】
【図2】本発明の一実施形態による画像つなぎ合わせ方法のフローチャートである。
【0026】
【図3】本発明の一実施形態による画像つなぎ合わせ装置の模式図である。
【0027】
【図4】本発明の一実施形態によるコンピュータデバイスの具体的な構成のブロック図である。
【0028】
【図5】本発明の一実施形態による画像収集デバイスの具体的な構成のブロック図である。
【0029】
【図6】従来技術によるつなぎ合わせの頂部の効果図である。
【0030】
【図7】本発明の一実施形態による画像つなぎ合わせ方法を採用したつなぎ合わせの頂部の効果図である。
【0031】
【図8】従来技術によるつなぎ合わせの底部の効果図である。
【0032】
【図9】本発明の一実施形態による画像つなぎ合わせ方法を採用したつなぎ合わせの底部の効果図である。
【発明を実施するための形態】
【0033】
本発明の目的、技術方案及び発明の効果をより明確にするために、以下、添付図面及び実施形態を参照しながら、本発明をさらに詳細に説明する。ここに述べた具体的な実施形態は、本発明を解釈するためだけのものであり、本発明を限定するためのものではないことを理解すべきである。
【0034】
本発明に記載の技術方案を説明するために、以下、具体的な実施形態により説明する。
【0035】
本発明の一実施形態による画像つなぎ合わせ方法の適用場面はコンピュータデバイスまたは画像収集デバイスであってもよく、コンピュータデバイスまたは画像収集デバイスは本発明の一実施形態による画像つなぎ合わせ方法を実行して複数のカメラヘッドが撮影した画像についてつなぎ合わせを行い、複数のカメラヘッドは、１つの画像収集デバイスに属してもよいし、複数の画像収集デバイスに属してもよく、画像収集デバイスは、携帯端末、カメラなどの画像収集機能を有するデバイスであってもよく、本発明では特に限定しない。本発明の一実施形態による画像つなぎ合わせ方法の適用場面は、互に接続されたコンピュータデバイス１００と画像収集デバイス２００（図１に示す通り）を含んでも良い。コンピュータデバイス１００および画像収集デバイス２００では、少なくとも一つのアプリケーションプログラムが実行される。コンピュータデバイス１００は、サーバ、デスクトップコンピュータ、携帯端末などであってもよく、携帯端末は、携帯電話、タブレット、ラップトップ、ＰＤＡなどを含む。コンピュータデバイス１００または画像収集デバイス２００は、本発明の一実施形態による画像つなぎ合わせ方法を実行して複数のカメラヘッドが撮影した画像についてつなぎ合わせを行う。
【0036】
本発明の一実施形態による画像つなぎ合わせ方法のフローチャートである図２を参照すると、本実施形態において、主に、この画像つなぎ合わせ方法がコンピュータデバイスまたは画像収集デバイスに適用された例を挙げて説明しており、本発明の一実施形態による画像つなぎ合わせ方法は、以下のステップを含む。
【0037】
Ｓ１０１、複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記平面の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得する。
【0038】
本発明の一実施形態において、前記複数のカメラヘッドの数はｎ個であり、ｎは２以上の整数であり、前記カメラヘッドは、画像及び／又はビデオを撮像するために用いられ、レンズ、イメージセンサ等の部品を備えてもよい。前記カメラヘッドのレンズは、広角レンズ、超広角レンズ又は他のレンズであってもよい。
【0039】
前記複数のカメラヘッドが１つ又は複数の画像収集デバイスに属する場合、前記内部パラメータは、画像収集デバイスの出荷標定によって得られる。前記内部パラメータは、イメージセンサの画素位置とレンズの光学中心から画素が属する物体への方向とのマッピング関係を説明するためのものであり、内部パラメータから、各画素のレンズの光学中心を球心とする球面座標を取得することができ、前記内部パラメータは焦点距離、光軸中心点の原画における位置、レンズ歪みパラメータ等を含む。
【0040】
前記複数のカメラヘッドが１つの画像収集デバイスに属する場合、前記外部パラメータは、画像収集デバイスの出荷標定によって得られる。前記複数のカメラヘッドが複数の画像収集デバイスに属する場合、前記外部パラメータは計算によって得られる。前記外部パラメータは、レンズの参照レンズに対する回転行列と、レンズの光学中心の前記複数のカメラヘッドのレンズの光学中心で形成される円の円心に対する位置とを含み、外部パラメータから、各々のレンズの座標を取得することができ、前記参照レンズは前記複数のカメラヘッドのレンズのうちのいずれかのレンズである。
【0041】
前記複数のカメラヘッドの数が２つの場合、各々のレンズは異なる方向に向け、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心とは、２つのカメラヘッドのレンズの光学中心を直径とする円の円心を意味する。
【0042】
前記複数のカメラヘッドの数が２より大きい整数である場合、前記複数のカメラヘッドのレンズは環形に配列され、各々のレンズは周りの異なる方向に向け、前記複数のカメラヘッドのレンズの光軸は、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心で実質的に交差し、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心は、前記複数のカメラヘッドのレンズが環形に配列されて形成された円の円心であり、前記複数のカメラヘッドのレンズの光心は、前記複数のカメラヘッドのレンズの光学中心で形成される円上に略位置している。
【0043】
本発明の一実施形態において、前記複数のカメラヘッドが室内に置かれると、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方の一つの所定平面までの距離は前記円心から前記室内の頂部（前記複数のカメラヘッドが室内地面に水平に置かれている場合、前記室内の頂部とは天井を意味し、前記複数のカメラヘッドが室内地面に垂直に置かれている場合、前記室内の頂部とは、前記複数のカメラヘッドのレンズの光学中心からなる円と平行であって、前記複数のカメラヘッドのレンズの光学中心からなる円の上方に位置する室内の側壁を意味する）までの距離であってもよく、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の下方の一つの所定平面までの距離は前記円心から前記室内の底部（前記複数のカメラヘッドが室内地面に水平に置かれている場合、前記室内の底部とは地面を意味し、前記複数のカメラヘッドが室内地面に垂直に置かれている場合、前記室内の底部とは、前記複数のカメラヘッドのレンズの光学中心からなる円と平行であって、前記複数のカメラヘッドのレンズの光学中心からなる円の下方に位置する室内の側壁を意味する）までの距離であってもよい。
【0044】
前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離は、具体的に、
【0045】
距離センサで前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を取得するか、
【0046】
又は、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を自動的に推算することにより取得することができる。
【0047】
上記した前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を自動的に推算することは、具体的に以下のステップを含んでも良い。
【0048】
Ｓ１０１１、所定距離範囲内で複数の距離を選択し、前記複数の距離が前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の複数の所定平面までの距離であり、選択された各距離について、各カメラヘッドのレンズの外部パラメータと前記各距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルをそれぞれ算出する。
【0049】
ここで、上記した所定距離範囲内で複数の距離を選択することは、具体的に、
【0050】
レンズの垂直視角を
とし、各カメラヘッドのレンズから前記複数のカメラヘッドのレンズの光学中心で形成される円の円心までの平均距離を
とし、大きさの順に
個の異なる距離で試行を行い、ここで、ｍは２以上の整数であり、予め設定しておいてもよいし、ユーザが実情に応じて決定してもよく、例えば、ｍ＝２０であり、第
の試行の距離
の計算方法は、
であるようにしてもよい。
【0051】
本発明の一実施形態において、前記所定距離範囲における最大距離は無限遠であり、最小距離はレンズの垂直視角によって決定される。すなわち、この距離よりも小さい距離を有する物体は、レンズの視野の外にある。ところで、最小距離は
であり、
は１８０°より大きい。
【0052】
Ｓ１０１２、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングして、複数枚のそれぞれ各カメラヘッドのレンズに対応する統合単位球面画像が得られる。
【0053】
例えば、２０個の異なる距離で試行を行うと、２０枚のそれぞれ各カメラヘッドのレンズに対応する統合単位球面画像が得られる。
【0054】
Ｓ１０１３、各カメラヘッドのレンズに対応する統合単位球面画像の一枚ごとに、平面投影方式により、統合単位球面画像の上半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の上方の平面に投影して、頂部投影画面が得られ、平面投影方式により、統合単位球面画像の下半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の下方の平面に投影して、底部投影画面が得られる。
【0055】
Ｓ１０１４、頂部投影画面または底部投影画面の総合アライメント誤差を計算し、頂部投影画面又は底部投影画面の総合アライメント誤差が最小となるときに対応する距離を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とする。
【0056】
例えば、２０個の異なる距離で試行を行うと、２０個の頂部投影画面または底部投影画面の総合アライメント誤差が算出され、頂部投影画面又は底部投影画面の総合アライメント誤差が最小となるときに対応する距離を、複数のカメラヘッドのレンズの光学中心で形成される円の円心から円の上方又は下方の一つの所定平面までの距離とする。
【0057】
上記した頂部投影画面または底部投影画面の総合アライメント誤差を計算することは、具体的に、
【0058】
各カメラヘッドのレンズについて、前記各カメラヘッドのレンズに隣接する２つのカメラヘッドのレンズに対応する頂部投影画面又は底部投影画面の間の重複領域における平均画素誤差をそれぞれ計算すること、
【0059】
全てのカメラヘッドのレンズの平均画素誤差の和を計算して前記頂部投影画面又は底部投影画面の総合アライメント誤差とすることであっても良い。
【0060】
上記した頂部投影画面または底部投影画面の総合アライメント誤差を計算することは、具体的に、
であってもよく、ここで、
は、第
の試行の距離
の場合、頂部投影画面または底部投影画面の総合アライメント誤差を表し、
は、第
の試行の距離
の場合、隣接する第
のカメラヘッドのレンズと第
のカメラヘッドのレンズに対応する頂部投影画面または底部投影画面の間の重複領域における平均画素誤差を表す。
【0061】
Ｓ１０２、各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズで同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られる。
【0062】
本発明の一実施形態において、前記単位球面は、具体的に、レンズの光学中心を球心とする単位球面であっても良い。
【0063】
Ｓ１０３、各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られる。
【0064】
本発明の一実施形態において、前記統合単位球面は、具体的に、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心を球心とする単位球面である。
【0065】
第２のマッピングテーブルの計算のコア考え方は、画像の上方の全画素が全て前記複数のカメラヘッドのレンズの光学中心からなる円の上方の、前記複数のカメラヘッドのレンズの光学中心からなる円と平行なある平面上にあり、画像の下方の全画素が全て前記複数のカメラヘッドのレンズの光学中心からなる円の下方の、前記複数のカメラヘッドのレンズの光学中心からなる円と平行なある平面上にあると仮定することである。したがって、従来の方法と異なる点は空間モデルであり、従来技術によるマッピングテーブルの計算方法は、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心と、各カメラヘッドのレンズの光学中心との位置の違いを無視しているため、全画素が全て１つの無限大の球面上にあり、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心が球心に位置すると仮定している。これに対して、本発明の一実施形態において、前記複数のカメラヘッドの周囲の画面を２つの無限大の平行平面と想定し、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心からこれら２つの平面までにそれぞれ１つずつの有限距離を有するようとする。
【0066】
本発明の一実施形態において、上記した各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出することは、具体的に、以下の式から算出することができる。
【0067】
ここで、
は第２のマッピングテーブルであり、第
のカメラヘッドのレンズの第１の球面画像上の画素点の３次元座標
からその統合単位球面上の画素点の３次元座標
へのマッピングを表し、１≦
≦ｎであり、ｎはカメラヘッドのレンズの数であり、
は第
のカメラヘッドのレンズの参照レンズに対する回転行列であり、
は第
のカメラヘッドのレンズの、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心に対する位置であり、三次元座標で表され、
は前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方の一つの所定平面までの距離であり、
は前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の下方の一つの所定平面までの距離である。
【0068】
上記式の具体的な説明は、以下の通りである。第１の球面画像上の３次元点
はまず
で回転変換される。回転変換された点を、
と記し、その３次元座標は、それぞれ
であり、そして、カメラヘッドのレンズの、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心に対する座標
と、前記円の上方又は下方の一つの所定平面から前記円心までの距離
とを用いて、当該画素の前記円の上方又は下方のある平面上の座標を算出することができ、それを
と記し、最後に正規化を経て、当該画素の前記複数のカメラヘッドのレンズの光学中心で形成される円の円心を球心とする統合単位球面上の座標
が得られる。
【0069】
各カメラヘッドのレンズの座標は既に外部パラメータの標定によって得られているが、標定精度が不十分であることで、統合された一つの所定平面からの距離だけでは全ての画面を一つに完全に揃えることができない場合があるため、推定された前記複数のカメラヘッドのレンズの光学中心からなる円の円心から前記円の上方又は下方の一つの所定平面までの距離に基づいて、各カメラヘッドのレンズの高さを個々に最適化し、最適化時にはカメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメントのみを考慮することができる。本発明の一実施形態において、前記方法は、上記した頂部投影画面又は底部投影画面の総合アライメント誤差が最小となるときに対応する距離を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とすることの後、
【0070】
推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離に基づいて、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるように、各カメラヘッドのレンズから前記所定平面までの距離を調整して制御し、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるときの、カメラヘッドのレンズから前記所定平面までの距離を、カメラヘッドのレンズから前記円の上方又は下方の一つの所定平面までの最終距離とするステップと、
【0071】
各カメラヘッドのレンズの外部パラメータと、カメラヘッドのレンズから前記円の上方又は下方の一つの所定平面までの最終距離とから、各カメラヘッドのレンズに対応する第３のマッピングテーブルをそれぞれ算出するステップと、をさらに含んでもよい。
【0072】
この場合、Ｓ１０３では、上記したつなぎ合わせを行って１枚のパノラマ球面画像が得られることは、具体的に各カメラヘッドのレンズに対応する第３のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られることであっても良い。
【0073】
本発明の一実施形態において、上記した推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離に基づいて、各カメラヘッドのレンズと隣接する２つのカメラヘッドのレンズとのアライメント誤差が最小となるように、各カメラヘッドのレンズから前記所定平面までの距離を調整して制御することは、具体的に、
【0074】
各カメラヘッドのレンズの外部パラメータと、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルをそれぞれ算出するステップと、
【0075】
各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングして、複数枚のそれぞれ各カメラヘッドのレンズに対応する統合単位球面画像が得られるステップと、
【0076】
各カメラヘッドのレンズに対応する統合単位球面画像の一枚ごとに、平面投影方式により、統合単位球面画像の上半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の上方の平面に投影して、頂部投影画面が得られ、平面投影方式により、統合単位球面画像の下半球の部分を、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から選択された距離だけ離れている前記円の下方の平面に投影して、底部投影画面が得られるステップと、
【0077】
各カメラヘッドのレンズに対応する頂部投影画面または底部投影画面から、各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズとのアライメント誤差を計算し、全てのカメラヘッドのレンズをアライメント誤差の大きい順に順序付け、上記した各カメラヘッドのレンズに対応する頂部投影画面または底部投影画面から、各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズとのアライメント誤差を計算することは具体的に各カメラヘッドのレンズとその隣接する２つのカメラヘッドのレンズに対応する頂部投影画面又は底部投影画面の間の重複領域における平均画素誤差を計算することであっても良いステップと、
【0078】
アライメント誤差が最も大きいカメラヘッドのレンズから始めて、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方または下方の一つの所定平面までの距離の近傍で、アライメント誤差が最小となるまでレンズ高さを調整し、上記した推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方または下方の一つの所定平面までの距離の近傍で、レンズ高さを調整することは、具体的に、推定された前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離を
と記し、各カメラヘッドのレンズのそれぞれから前記円の上方又は下方の一つの所定平面までの距離
を調整し、所定平面上で前記円の真上又は真下に位置する点を
とし、第
のカメラヘッドのレンズの座標を
とし、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心を原点
とし、
を頂部角βとし、
であり、ここで、
が第
のカメラヘッドのレンズから前記複数のカメラヘッドのレンズの光学中心で形成される円の円心までの距離であり、つまり、
であり、０．９β～１．１βの範囲内で新たな頂部角
で試行を行って、新たな各カメラヘッドのレンズのそれぞれから前記円の上方又は下方の一つの所定平面までの距離
が得られることであっても良いステップと、
【0079】
全てのカメラヘッドのレンズ高さの調整が完了するまで、各カメラヘッドのレンズを順次処理するステップと、を含んでもよい。
【0080】
本発明の一実施形態において、上記した各カメラヘッドのレンズの外部パラメータと、カメラヘッドのレンズから前記円の上方又は下方の一つの所定平面までの最終距離とから、各カメラヘッドのレンズに対応する第３のマッピングテーブルを算出することは、具体的には、以下の式から算出し、
【0081】
ここで、
は第３のマッピングテーブルであり、第ｉのカメラヘッドのレンズの第１の球面画像上の画素点の３次元座標
からその統合単位球面上の画素点の３次元座標
へのマッピングを表し、１≦ｉ≦ｎであり、ｎはカメラヘッドのレンズの数であり、
は第
のカメラヘッドのレンズの参照レンズに対する回転行列であり、
は第
のカメラヘッドのレンズの、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心に対する位置であり、三次元座標で表され、
は第ｉのカメラヘッドのレンズから前記複数のカメラヘッドのレンズの光学中心からなる円の上方の一つの所定平面までの最終距離であり、
は第ｉのカメラヘッドのレンズから前記円の下方の一つの所定平面までの最終距離である。
【0082】
本発明の一実施形態において、前記方法は、Ｓ１０３の後、
【0083】
平面投影方式によりパノラマ球面画像を平面に投影して平面画像が得られるステップをさらに含んでもよい。前記平面投影方式は、正距円筒図法、キューブ投影法などを含んでもよい。
【0084】
本発明の一実施形態において、前記方法は、上記した平面投影方式によりパノラマ球面画像を平面に投影して平面画像が得られることの後、
【0085】
平面画像をビデオに合成するステップをさらに含んでもよい。
【0086】
図３を参照すると、本発明の一実施形態による画像つなぎ合わせ装置は、コンピュータデバイスまたは画像収集デバイスで実行されるコンピュータプログラムまたはプログラムコードの一部であってもよく、例えば、当該画像つなぎ合わせ装置は、アプリケーションソフトウェアであり、当該画像つなぎ合わせ装置は、本発明の実施形態による画像つなぎ合わせ方法における対応するステップを実行するために使用されてもよい。本発明の一実施形態による画像つなぎ合わせ装置は、
【0087】
複数のカメラヘッドのレンズの内部パラメータと、外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離と、それぞれ前記複数のカメラヘッドのレンズによって同一時刻に収集された１枚の画像である、前記複数のカメラヘッドによって収集された複数枚の画像とをそれぞれ取得するための取得モジュール１１と、
【0088】
各カメラヘッドのレンズの内部パラメータから各カメラヘッドのレンズに対応する第１のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第１のマッピングテーブルに基づいて、対応する前記各カメラヘッドのレンズの同一時刻に収集された１枚の画像を単位球面上に投影して、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像が得られるための第１のマッピングモジュール１２と、
【0089】
各カメラヘッドのレンズの外部パラメータと、前記複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離とから、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、前記複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られるための第２のマッピングモジュール１３と、を備える。
【0090】
本発明の一実施形態による画像つなぎ合わせ装置は、本発明の一実施形態による画像つなぎ合わせ方法と同じ構想に属し、その具体的な実現過程の詳細は明細書の全体を参照できるので、ここでは贅言しない。
【0091】
本発明の一実施形態はまた、コンピュータ可読記憶媒体を提供しており、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、本発明の一実施形態による画像つなぎ合わせ方法のステップが実現される。
【0092】
図４は、本発明の一実施形態によるコンピュータデバイスの具体的な構成のブロック図を示し、このコンピュータデバイスは図１に示すコンピュータデバイスであってもよく、コンピュータデバイス１００は、一つ又は複数のプロセッサ１０１と、メモリ１０２と、一つまたは複数のコンピュータプログラムとを備え、前記プロセッサ１０１と、前記メモリ１０２とがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリ１０２に記憶されて、前記一つまたは複数のプロセッサ１０１によって実行されるように構成されており、前記プロセッサ１０１が前記コンピュータプログラムを実行したときに、本発明の一実施形態による画像つなぎ合わせ方法のステップが実現される。
【0093】
コンピュータデバイスは、デスクトップコンピュータ、携帯端末などであってもよく、携帯端末は、携帯電話、タブレット、ラップトップ、ＰＤＡなどを含む。
【0094】
図５は、本発明の一実施形態による画像収集デバイスの具体的な構成のブロック図を示し、この画像収集デバイスは図１に示す画像収集デバイスであってもよく、画像収集デバイス２００は、一つ又は複数のプロセッサ２０１と、メモリ２０２と、一つまたは複数のコンピュータプログラムとを備え、前記プロセッサ２０１と、前記メモリ２０２とがバスによって接続されており、前記一つまたは複数のコンピュータプログラムが前記メモリ２０２に記憶されて、前記一つまたは複数のプロセッサ２０１によって実行されるように構成されており、前記プロセッサ２０１が前記コンピュータプログラムを実行したときに、本発明の一実施形態による画像つなぎ合わせ方法のステップが実現される。
【0095】
【0096】
本発明の実施形態では、複数のカメラヘッドのレンズ間の視差の元（レンズの光学中心の異なる位置）をマッピングテーブルの計算に導入し、複数のカメラヘッドのレンズの光学中心からなる円の上下方領域を一定高さの平面と仮定し、各カメラヘッドのレンズの外部パラメータと複数のカメラヘッドのレンズの光学中心で形成される円の円心から前記円の上方又は下方の一つの所定平面までの距離から、各カメラヘッドのレンズに対応する第２のマッピングテーブルを算出し、各カメラヘッドのレンズに対応する第２のマッピングテーブルに基づいて、複数枚のそれぞれ各カメラヘッドのレンズに対応する第１の球面画像を統合単位球面上にマッピングし、つなぎ合わせを行って１枚のパノラマ球面画像が得られる。この場合、視差によるアライメント誤差を解消しただけでなく、依然として簡便な計算プロセスを留めて、従来の三次元再構成による複雑な計算量や誤差リスクを回避し、実際のテストをしたところ、一般室内外の環境に静止して置かれた画像収集デバイスが撮影した写真とビデオについて、本発明の画像つなぎ合わせ方法を用いてより自然で、より現実的な頂部や底部のつなぎ合わせ画面を得ることができる。理解すべきのは、本発明の各実施形態における各ステップは、必ずしもステップ番号が付された順に実行される必要はない。本明細書に明確に記載されていない限り、これらステップの実行は、厳密な順序に限定されず、これらステップは他の順序で実行されてもよい。また、各実施形態において、ステップの少なくとも一部は複数のサブステップまたは複数の段階を含んでもよく、これらのサブステップまたは段階は、必ずしも同一時刻で実行や完成される必要はなく、異なる時刻で実行されてもよく、これらのサブステップまたは段階の実行順序は必ずしも連続的である必要はなく、他のステップまたは他のステップのサブステップや段階の少なくとも一部と順番にまたは交互に実行されてもよい。
【0097】
当業者には理解されるように、上述した実施形態の方法を実現するためのフローの全部または一部は、コンピュータプログラムによって関連するハードウェアに命令することによって達成され得るものであり、上記のプログラムは不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されてもよく、このプログラムを実行するには、上記のような各方法の実施形態のフローを含むことができる。ここで、本発明による各実施形態におけるメモリ、記憶、データベース、または他の媒体に対するいかなる援用はいずれも、不揮発性および／または揮発性メモリを含むことができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含むことができる。限定ではなく例示として、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られる。
【0098】
以上の実施形態の各技術的特徴は、任意に組み合わせることが可能であるが、説明を簡単にするために、上記実施形態の各技術的特徴の全ての可能な組み合わせについては説明しておらず、しかし、これらの技術的特徴の組み合わせは、矛盾しない限り、本明細書に記載された範囲内であるとみなされるべきである。
【0099】
以上の実施形態は、本発明のいくつかの実施態様を示しているものに過ぎず、それらが比較的に具体的かつ詳細に説明されているが、それによって特許請求の範囲を制限するものとして理解されることはできない。当業者であれば、本出願の概念から逸脱することなくいくつかの変形および改良を行うこともでき、それらのすべてが本出願による保護範囲に含まれることに留意されたい。したがって、本特許出願による保護範囲は、添付の特許請求の範囲に準じるものとすべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
