特許 6483075 場面の３Ｄパノラマモザイキングの方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6483075

(24)【登録日】2019年2月22日

(45)【発行日】2019年3月13日

(54)【発明の名称】場面の３Ｄパノラマモザイキングの方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20190304BHJP

   H04N 5/232 20060101ALI20190304BHJP

   G06T 19/00 20110101ALI20190304BHJP

   G03B 35/02 20060101ALI20190304BHJP

   G03B 37/00 20060101ALI20190304BHJP

【ＦＩ】

   G06T1/00 315

   H04N5/232 290

   H04N5/232 380

   G06T19/00 Z

   G03B35/02

   G03B37/00 C

   G03B37/00 A

【請求項の数】8

【外国語出願】

【全頁数】20

(21)【出願番号】特願2016-223832(P2016-223832)

(22)【出願日】2016年11月17日

(62)【分割の表示】特願2015-543413(P2015-543413)の分割

【原出願日】2013年11月20日

(65)【公開番号】特開2017-97871(P2017-97871A)

(43)【公開日】2017年6月1日

【審査請求日】2016年12月15日

(31)【優先権主張番号】1203126

(32)【優先日】2012年11月21日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】511148123

【氏名又は名称】タレス

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ラファエル・ホラーク

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２００５−０５６２９５（ＪＰ，Ａ）

【文献】 特開２００４−１９２０７６（ＪＰ，Ａ）

【文献】 特開２００６−３５０８５２（ＪＰ，Ａ）

【文献】 特表２００１−５１０５８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ １９／００

Ｇ０３Ｂ ３５／０２

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

場面についての先験的情報なしでの、３Ｄモザイクとしての場面のモザイキングの方法であって、少なくとも１つの３Ｄ再構築が、
場面の少なくとも１つのポイントの画像が、様々なパノラマシステム場面ポイントの方向に応じて得られた少なくとも３つの連続２Ｄパノラマ画像にあるように、制約を受けない３Ｄ再構築軌道に沿って移動するパノラマセンサによる連続画像の取得ステップと、
３Ｄ再構築軌道に平行な修正面上への、これらの画像の修正ステップと、
修正された画像に基づく、再構築平面上での３Ｄ再構築ステップと、
の間に得られており、
Ａ）パノラマセンサによって連続画像を取得し、取得された最後の画像は、現在の２Ｄパノラマ画像と呼ばれるステップと、
Ｂ）モザイクが構築される、３Ｄ再構築に基づく１つまたは複数の投影表面を選ぶステップと、
Ｃ）現在の２Ｄパノラマ画像のセクタを選択し、３Ｄ再構築を用いて、可視部分、すなわち、場面の表面によって隠されていない部分を選択することによって、選択されたセクタにおけるテクスチャを選択するステップと、
Ｄ）各投影表面上の正角モザイクを得るため、選択されたテクスチャを各投影表面に投影し、各投影表面においてテクスチャを融合させるステップと
をさらに含むことを特徴とする方法。

【請求項2】

ステップＣが、選ばれた投影表面に対応する、２Ｄの現在のパノラマ画像のセクタを選択するステップを含むことを特徴とする請求項１に記載の場面のモザイキングの方法。

【請求項3】

前記ステップＢないしＤが、新しいパノラマ画像の取得ごとに繰り返されることを特徴とする請求項１または２に記載の場面のモザイキングの方法。

【請求項4】

投影表面を選ぶことが、３Ｄ再構築の再構築平面と適合するあらゆる方向において実施されることを特徴とする請求項１ないし３のいずれか一項に記載の場面のモザイキングの方法。

【請求項5】

各テクスチャは解像度を呈し、テクスチャの解像度を決定するためのステップを含み、ステップＣ）のテクスチャの融合は、これらの解像度の関数として行われることを特徴とする請求項１ないし４のいずれか一項に記載の場面のモザイキングの方法。

【請求項6】

テクスチャの投影が、焦点面のゆがみ矯正の中間ステップを通過させることがない、直接的なものであることを特徴とする請求項１ないし５のいずれか一項に記載の場面のモザイキングの方法。

【請求項7】

修正面が、さまざまな方向において選ばれることを特徴とする請求項１ないし６のいずれか一項に記載の場面のモザイキングの方法。

【請求項8】

相対的な画像ごとの画像位置付け手段（１２、１３）を備え付ける、場面の画像を形成し、モザイキング軌道に沿って移動することができるパノラマシステム（１）と、このパノラマシステムにリンクされたコンピュータ（２）であって、請求項１ないし７のいずれか一項に記載の３Ｄモザイキングの方法を実現するための手段（２１）を備える、コンピュータ（２）とを備える、場面の３Ｄモザイキングのための装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、場面の連続パノラマ画像に基づくこの場面の３Ｄモザイキングの分野である。

【背景技術】

【0002】

場面の３Ｄ再構築は、再構築画像の各画素（すなわち、場面要素があると再構築が宣言するいかなるポイントにもおける）が対応する場面のポイントの座標と関連付けられるように（この場面に関連するフレームＸ、Ｙ、Ｚで定義される）、異なる視点から撮られたこの場面の連続２Ｄ画像に基づいて、いわゆる３Ｄ再構築画像を得ることにある。

【0003】

従来のモザイキング（いわゆる２Ｄモザイキング）は、場面の連続画像に基づいて、場面の主平面に画像を連続的に投影し、そのモザイクを生成するために画像を組み立てることにある。

【0004】

カメラに基づく受動的な３Ｄ場面再構築のための技法は、以下の様々な参考文献で説明されている。
− Ｒ．Ｈｏｒａｕｄ ＆ Ｏ．Ｍｏｎｇａ．Ｖｉｓｉｏｎ ｐａｒ Ｏｒｄｉｎａｔｅｕｒ：Ｏｕｔｉｌｓ Ｆｏｎｄａｍｅｎｔａｕｘ，Ｅｄｉｔｉｏｎｓ Ｈｅｒｍｅｓ，１９９５．
ｈｔｔｐ：／／ｗｗｗ．ｉｎｒｉａｌｐｅｓ．ｆｒ／ｍｏｖｉ／ｐｅｏｐｌｅ／Ｈｏｒａｕｄ／ｌｉｖｒｅ−ｈｅｒｍｅｓ．ｈｔｍｌ
− Ｏｌｉｖｉｅｒ Ｆａｕｇｅｒａｓ．Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＭＩＴ Ｐｒｅｓｓ，１９９３
− Ｆｒｅｄｅｒｉｃ Ｄｅｖｅｒｎａｙ，ＩＮＲＩＡ Ｇｒｅｎｏｂｌｅ，ｃｏｕｒｓｅ“Ｖｉｓｉｏｎ ｐａｒ ｏｒｄｉｎａｔｅｕｒ ３−Ｄ”．
ｈｔｔｐ：／／ｄｅｖｅｒｎａｙ．ｆｒｅｅ．ｆｒ／ｃｏｕｒｓ／ｖｉｓｉｏｎ／
− Ｔｅｂｏｕｒｂｉ Ｒｉａｄｈ，ＳＵＰ’ＣＯＭ ２００５ ＩＭＡＧＥＲＩＥ ３Ｄ ０８／１０／２００７
− “Ｌｅａｒｎｉｎｇ ＯｐｅｎＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ｗｉｔｈ ｔｈｅ ＯｐｅｎＣＶ Ｌｉｂｒａｒｙ”，Ｇａｒｙ Ｂｒａｄｓｋｙ，２００８

【0005】

これらの文献はすべて、異なる視点で配置されたカメラから得られる立体画像対に基づく３Ｄ場面再構築のための技法を取り上げており、カメラは、空間内の様々な場所に配置された固定カメラまたはその位置が時間的に変化するカメラ（カメラで観察された空間の一部分の立体３Ｄ再構築を形成するため、２×２で撮ったカメラの画像のマッチングにおける同じ基本原理を常に有する）であり得る。

【0006】

また、それらの文献はすべて、立体対の画像間のマッチングを容易にし、３Ｄ再構築を可能にするため、いわゆる修正面に対するカメラの姿勢に応じて各カメラの焦点面画像が修正されるエピポーラ修正の原理についても説明している。方法は、様々な著者によって比較的最適化されているが、最初に、カメラの光学的ひずみを補正し、その後、２つのカメラの相対姿勢を使用して、マッチングおよび３Ｄ再構築が実行されるものに基づいて修正面を決定する必要があるという原理に常に依存している。

【0007】

受動的な３Ｄ再構築の他の技法は、例えばいわゆるシルエット描写技法に関する文献に存在するが、特定の事例に適用され、場面についての事前知識を必要とするため、ここでは考慮されない。

【0008】

場面の能動的な再構築の技法では、距離演算による直接の場面の３Ｄメッシュの再構築を可能にするライダに基づくものを取り上げることが可能である。

【0009】

参考文献の中でも特に以下の文献を取り上げることができる。
− ＭＡＴＩＳ ｓｔｕｄｉｅｓ ｆｏｒ ｔｈｅ ＩＧＮ：“Ｕｓｉｎｇ Ｆｕｌｌ Ｗａｖｅｆｏｒｍ Ｌｉｄａｒ Ｄａｔａ ｆｏｒ Ｍａｐｐｉｎｇ ｏｆ ｕｒｂａｎ Ａｒｅａｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｃｌｅｍｅｎｔ Ｍａｌｌｅｔ，２０１０
− “Ｃｏｕｐｌａｇｅ ｄｅ Ｄｏｎｎｅｅｓ Ｌａｓｅｒ Ａｅｒｏｐｏｒｔｅ ｅｔ Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｑｕｅｓ ｐｏｕｒ ｌ’Ａｎａｌｙｓｅ ｄｅ Ｓｃｅｎｅｓ Ｔｒｉｄｉｍｅｎｓｉｏｎｎｅｌｌｅｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｆｒｅｄｅｒｉｃ Ｂｒｅｔａｒ，２００６

【0010】

興味深い記事は、これらの技法には、複雑な形状（例えば、凹状）の３Ｄ対象物の再構築において限界があることを示している（Ｓｔｒｕｃｔｕｒａｔｉｏｎ ｐｌａｎｅ ｄ’ｕｎ ｎｕａｇｅ ｄｅ ｐｏｉｎｔｓ ３Ｄ ｎｏｎ ｓｔｒｕｃｔｕｒｅ ｅｔ ｄｅｔｅｃｔｉｏｎ ｄｅｓ ｚｏｎｅｓ ｄ’ｏｂｓｔａｃｌｅｓ，Ｖｉｓｉｏｎ ｉｎｔｅｒｆａｃｅ ｃｏｎｆｅｒｅｎｃｅ，１９９９，Ｎｉｃｏｌａｓ Ｌｏｅｍｉｅ，Ｌａｕｒｅｎｔ Ｇａｌｌｏ，Ｎｉｃｏｌｅ Ｃａｍｂｏｕ，Ｇｅｏｒｇｅｓ Ｓｔａｍｏｎ）。

【0011】

モザイキングに関して、以下の参考文献を取り上げることができる。
− Ｌ．Ｇ．Ｂｒｏｗｎ，“Ａ Ｓｕｒｖｅｙ ｏｆ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ”，ｉｎ ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ，ｖｏｌ．２４，ｎ^ｏ４，１９９２
− “Ｍｏｓａｉｑｕｅ ｄ’ｉｍａｇｅｓ ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｅｔ ａｐｐｌｉｃａｔｉｏｎｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｅ ｄｅ Ｌｙｏｎ．Ｌｉｏｎｅｌ Ｒｏｂｉｎａｕｌｔ，２００９

【0012】

３Ｄ再構築に関連する先行技術を要約した場合、以下を使用して３Ｄ再構築を部分的に得ることができることが言える。
− 場面の空間的な立体画像を生成し、これらの画像を融合させることによって、場面の３Ｄ再構築および任意選択によりモザイクを生成する何組かのカメラ。この解決策は、以下のいくつかの欠点を呈する。
− カメラの校正が難しい（振動の問題）
− カメラ間の間隔によって制限される立体ベースの理由による３Ｄ再構築の回復における不正確性
− カメラの限られた光場の理由による低視野および低範囲の回復

【0013】

その上、最終的な３Ｄ再構築は明らかではないが、その理由は、局所的な３Ｄ再構築を組み立てることによって構築されるためであり（２つの画像（多くの場合、狭視野）の立体回復の方法から生じる）、それは、その構築を可能にした限られた数の画像や、カメラの限られた視野が理由で、および、カメラのそれぞれの姿勢に依存する再構築平面は正確に測定することが難しい形状を有するという事実により、非常に雑音の多いものであり得る（多くの場合、１または２メートル離れ、互いに対して振動し易いカメラを取り扱う際、３Ｄ再構築に役立つカメラの相対位置および相対形状は、実際には、不正確である。このことは、これらのカメラが電動式である場合も依然としてより明白である）。中間３Ｄ再構築を組み立てる精密な方法については、一度も詳細に説明されてはおらず、実際には、最終的な３Ｄ再構築において多くの誤差が見られ、その誤差は、いずれにせよ、空間的および角度範囲において小さいままである（通常３０°未満の角度範囲を有する通常２００ｍ×２００ｍ未満の空間的範囲）。

【0014】

最終的には、カメラの姿勢に依存し、修正プロセスにおいて焦点面を回転補正（ｄｅｒｏｔａｔｉｏｎ）する予備のステップを伴う、修正およびマッチング方法自体は、特にシステムが時間的な回転運動を呈する場合に３Ｄ再構築が穴を呈するところに典型的な事例が存在することを含意する。

【0015】

最後に、立体システムは、２つのカメラのうちの１つにほぼ垂直な平面を不十分に復元する（これは、航空または衛星立体撮像における勾配屋根の回復の問題である）。
− 移動中の低視野または中間視野カメラ。しかし、３Ｄ再構築は、カメラの経路および向きによって制限され、したがって、無指向性ではない。その上、再構築は、カメラの未確認の動きまたはその動きの過程におけるカメラの非オーバラップが理由で、穴を呈する場合がある。３Ｄ再構築に使用されるアルゴリズムは、カメラの焦点面に関係するかまたはカメラの焦点面の近くのフレームにおける再構築を強要し、それにより、再構築の可能性が制限される（単一の主再構築平面およびカメラが向きを変化する際の非常に限られた再構築）。また、再構築の結果は、画像間の小さなオーバラップ、再構築場面の再構築の一定の平面（この平面から逸脱し得るカメラ）および３Ｄ再構築に対して比較的わずかな距離だけ隔てられた２つの画像のみを利用するアルゴリズムの使用が理由で、非常に雑音の多いものでもあり、多くの誤差を呈する可能性がある。連続画像のグラウンドオーバーレイによって得られたモザイクは、場面が平坦ではないおよび／または３Ｄ要素を含む際は、効力がなく、正角ではない。
− 能動的なセンサ、すなわち、遠隔測定法を有するセンサ。しかし、この場合もやはり、３Ｄ再構築は、無指向性ではなく、セグメント化する必要はなく、測定値は、自動形式での利用が難しいポイントの散乱の形態で得られる。その上、これらの能動的なセンサによって得られるメッシュは、角度方向に疎であるという欠点を呈する（通常、高度１ｋｍでの機上応用に対して１ｍ^２あたり４ポイント未満）。技法は、現在のところ、場面のテクスチャ画像の生成には適さず、ほぼ常に手動で補正しなければならない。

【先行技術文献】

【非特許文献】

【0016】

【非特許文献1】Ｒ．Ｈｏｒａｕｄ ＆ Ｏ．Ｍｏｎｇａ．Ｖｉｓｉｏｎ ｐａｒ Ｏｒｄｉｎａｔｅｕｒ：Ｏｕｔｉｌｓ Ｆｏｎｄａｍｅｎｔａｕｘ，Ｅｄｉｔｉｏｎｓ Ｈｅｒｍｅｓ，１９９５．ｈｔｔｐ：／／ｗｗｗ．ｉｎｒｉａｌｐｅｓ．ｆｒ／ｍｏｖｉ／ｐｅｏｐｌｅ／Ｈｏｒａｕｄ／ｌｉｖｒｅ−ｈｅｒｍｅｓ．ｈｔｍｌ

【非特許文献2】Ｏｌｉｖｉｅｒ Ｆａｕｇｅｒａｓ．Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＭＩＴ Ｐｒｅｓｓ，１９９３

【非特許文献3】Ｆｒｅｄｅｒｉｃ Ｄｅｖｅｒｎａｙ，ＩＮＲＩＡ Ｇｒｅｎｏｂｌｅ，ｃｏｕｒｓｅ“Ｖｉｓｉｏｎ ｐａｒ ｏｒｄｉｎａｔｅｕｒ ３−Ｄ”．ｈｔｔｐ：／／ｄｅｖｅｒｎａｙ．ｆｒｅｅ．ｆｒ／ｃｏｕｒｓ／ｖｉｓｉｏｎ／

【非特許文献4】Ｔｅｂｏｕｒｂｉ Ｒｉａｄｈ，ＳＵＰ’ＣＯＭ ２００５ ＩＭＡＧＥＲＩＥ ３Ｄ ０８／１０／２００７

【非特許文献5】“Ｌｅａｒｎｉｎｇ ＯｐｅｎＣＶ：Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ｗｉｔｈ ｔｈｅ ＯｐｅｎＣＶ Ｌｉｂｒａｒｙ”，Ｇａｒｙ Ｂｒａｄｓｋｙ，２００８

【非特許文献6】ＭＡＴＩＳ ｓｔｕｄｉｅｓ ｆｏｒ ｔｈｅ ＩＧＮ：“Ｕｓｉｎｇ Ｆｕｌｌ Ｗａｖｅｆｏｒｍ Ｌｉｄａｒ Ｄａｔａ ｆｏｒ Ｍａｐｐｉｎｇ ｏｆ ｕｒｂａｎ Ａｒｅａｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｃｌｅｍｅｎｔ Ｍａｌｌｅｔ，２０１０

【非特許文献7】“Ｃｏｕｐｌａｇｅ ｄｅ Ｄｏｎｎｅｅｓ Ｌａｓｅｒ Ａｅｒｏｐｏｒｔｅ ｅｔ Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｑｕｅｓ ｐｏｕｒ ｌ’Ａｎａｌｙｓｅ ｄｅ Ｓｃｅｎｅｓ Ｔｒｉｄｉｍｅｎｓｉｏｎｎｅｌｌｅｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｆｒｅｄｅｒｉｃ Ｂｒｅｔａｒ，２００６

【非特許文献8】Ｓｔｒｕｃｔｕｒａｔｉｏｎ ｐｌａｎｅ ｄ’ｕｎ ｎｕａｇｅ ｄｅ ｐｏｉｎｔｓ ３Ｄ ｎｏｎ ｓｔｒｕｃｔｕｒｅ ｅｔ ｄｅｔｅｃｔｉｏｎ ｄｅｓ ｚｏｎｅｓ ｄ’ｏｂｓｔａｃｌｅｓ，Ｖｉｓｉｏｎ ｉｎｔｅｒｆａｃｅ ｃｏｎｆｅｒｅｎｃｅ，１９９９，Ｎｉｃｏｌａｓ Ｌｏｅｍｉｅ，Ｌａｕｒｅｎｔ Ｇａｌｌｏ，Ｎｉｃｏｌｅ Ｃａｍｂｏｕ，Ｇｅｏｒｇｅｓ Ｓｔａｍｏｎ

【非特許文献9】Ｌ．Ｇ．Ｂｒｏｗｎ，“Ａ Ｓｕｒｖｅｙ ｏｆ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ”，ｉｎ ＡＣＭ Ｃｏｍｐｕｔｉｎｇ Ｓｕｒｖｅｙｓ，ｖｏｌ．２４，ｎｏ４，１９９２

【非特許文献10】“Ｍｏｓａｉｑｕｅ ｄ’ｉｍａｇｅｓ ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｅｔ ａｐｐｌｉｃａｔｉｏｎｓ”，Ｄｏｃｔｏｒａｌ ｔｈｅｓｉｓ，Ｕｎｉｖｅｒｓｉｔｅ ｄｅ Ｌｙｏｎ．Ｌｉｏｎｅｌ Ｒｏｂｉｎａｕｌｔ，２００９

【発明の概要】

【発明が解決しようとする課題】

【0017】

以前のすべての解決策は、大きな寸法の（すなわち、５００ｍ×５００ｍを超える）３Ｄ場面に対する３Ｄモザイキングを得るには不適切である。得られた３Ｄ瞬間モザイクは、変形を呈し、角度範囲（通常、＜３０°）または空間的範囲において制限される。地形が３Ｄの場合、モザイクの組み立ては複雑であり、最終結果は場面の形状とは一致しない。

【0018】

先行技術の手順の欠点は制限ではなく、他の欠点は本特許で説明される。

【0019】

本発明の目的は、これらの欠点を軽減することである。

【課題を解決するための手段】

【0020】

提案される解決策は、パノラマシステムによって観察されている場面の３Ｄ情報を完全におよび様々な再構築平面に応じて再構築するため、場面の非常に大きな角セクタをカバーし、そのように所望すれば、完全な球体をカバーできるほど大きなものであることが可能な、得られた２Ｄ画像の処理と共に場面におけるセクタの変位の利用に基づく、パノラマシステムの使用に基づく。

【0021】

パノラマシステムは、その画像が必ずしも相互オーバラップを呈するとは限らない１つまたは複数のセンサを備え、瞬時に（センサがオーバラップしない場合は穴を有する）または動きの過程において再構築する予定の場面全体をカバーすることを可能にする。

【0022】

また、この解決策は、その変位過程におけるパノラマシステムのすべての視点に応じて、この場面を表す非常に大きな空間的および角度範囲を有するモザイクを並行して生成することも可能にする。

【0023】

本発明の対象は、請求されるような、場面のモザイキングの方法である。

【0024】

したがって、これは、それ自体が不連続性を呈するいくつかの平面または非平面表面からなり得る任意の３Ｄ表面への投影を行うことができるという意味で２Ｄモザイクの一般化である３Ｄモザイクを生成する。この３Ｄモザイキングは、上記の意味で場面の連続２Ｄ画像（異なる視点から撮られた）および場面の３Ｄ再構築に基づいて、３Ｄ再構築の幾何学的モデリングに様々な２Ｄ画像を投影して組み立てることにあり、したがって、この場面の様々な３Ｄ要素上にオーバーレイされたテクスチャモザイクの形態での場面全体の復元を可能にする。この３Ｄモザイキングは、正角方式での、レリーフまたは３Ｄ要素を呈する任意の場面上の画像の組み立ての復元を可能にする。したがって、再構築された３Ｄモザイクは、場面のテクスチャ３Ｄ再構築である。

【0025】

これらの方法により、可能な限り広範の空間的および角度範囲にわたって３Ｄモザイキングを行うことが可能になる。

【0026】

また、本発明は、場面の３Ｄモザイキングのための装置であって、
− 位置付け手段を備え付ける、場面の２Ｄ画像（いわゆる２Ｄパノラマ画像）を形成することができるパノラマシステムと、
− このパノラマシステムにリンクされたコンピュータであって、
− 上記で定義されるようなモザイキングの方法を実装するための手段、ならびに、
− 任意選択によりマンマシンインターフェースと関連付けられるかまたはマンマシンインターフェースと置き換えられる自動補助画像処理手段
を備える、コンピュータと
を備える装置にも関する。

【0027】

したがって、簡単で正確な方法が得られ、例えば、測定を実行できるテクスチャマップの生成や、任意の場面上で、軌道に対する制約なしで、大きな空間的および角度範囲にわたる（恐らく、最大で１８０°×３６０°ほどの）リアルタイムでの場面の再構築（例えば、平面−場面想定なしで、以前の場面モデルを用いることなく）が可能になる。

【0028】

提案される解決策は、
− 単一のパノラマシステムのみを必要とすることによって、場面の３Ｄモザイキングの問題へのコンパクトな解決策の提供を可能にし（先行技術のものは、いくつかの独立したセンサを必要とし、実装がより複雑である）、
− 以下のような場面のモザイクを生成する。
− 正角のもの、すなわち、幾何変形がなく、したがって、マップ上で重ね合わせることができるもの、
− 非常に広範の空間的および角度範囲にわたるもので、穴がないもの、
− 完全なもの、すなわち、様々な方向の平面に応じて行えるもの（これは、出力として単一の再構築平面のみを生成し、復元を可能にしないかまたは選ばれた回復面とは異なる面を有する場面の対象物を不十分に復元する従来の方法とは非常に異なる）、
− 実装された時間冗長性の理由で、ロバストなもの、
− 大きな寸法の仮想立体ベースを自然に生成する時間立体視（それにより、精度について説明する）の理由で、正確なもの、
− ３Ｄパノラマ回復および関連モザイクが再度演算され、各瞬間に更新されるという意味で、瞬間的なもの、
− 例えば、軌道を確かめるために最下位のＭＥＭＳ姿勢プラットホームが使用される際は、最下位のＭＥＭＳ姿勢プラットホームに適合するもの、または、オドメータもしくは基本的なＧＰＳなどの相対変位の測定の簡単な手段に適合するもの、
− 狭視野センサでは認められない、センサの有り余るほどのまたは非協調的な動きに適合するもの、ならびに、
− いかなるタイプの軌道（曲線のものおよびいかなる方向のものも含む）にも適用されるもの。

【0029】

以下のような他の利点を取り上げることができる。
− オペレータが任意の再構築平面を選べるようにする（例えば、地面およびファサードにあるものを全く同時にまたは円筒図法によって再生するため）。また、解決策は、凹状対象物の再生（これは、他の手順による実行が非常に難しい）にも適している。
− 任意選択により、正確な測定が可能なテクスチャ再構築を生成する（再生画像は正角である）。
− 場面におけるパノラマシステムの任意の動き（近くに来ることを含む）を可能にする。
− 最下位のＣＯＴＳ機器（ＭＥＭＳプラットホーム、基本的なＧＰＳまたはオドメータ）に適合する測定精度で、２つの画像ショット間の位置および姿勢における相対変位を測定するもの以外のいかなる外部の測定も必要としない。
− 再構築する予定の場面についての他のいかなる先験的情報も必要としない。
− ＰＣのリアルタイムでの利用を可能にする。

【0030】

本発明の他の特性および利点は、添付の図面を参照して、非限定的な例として与えられる以下の詳細な説明を読み進める上で、明らかになるであろう。

【図面の簡単な説明】

【0031】

【図1】本発明による、３Ｄ再構築およびモザイキングの方法の実装のための例示的な装置を概略的に表す。

【図2】３Ｄ再構築の方法の様々なステップを概略的に表す。

【図3】本発明による、モザイキングの方法の様々なステップを概略的に表す。

【図4】単一の再構築平面のみが存在する際に凹状対象物によって生み出される測定の曖昧性を示す。

【図5】パノラマシステムから生じるパノラマ画像の例示的なセクタ分解を表す。

【図6】様々な修正面に投影された、図５のパノラマ画像のセクタの修正画像の例を表す。

【図7】例示的な軌道に対する修正面の例を概略的に表し、パノラマシステムの照準線Ｌｄｖ１およびＬｄｖ２は、これらの平面から独立している。

【図8】所定の軌道に対する修正面および３Ｄ再構築平面の例示的な時間的な進化を概略的に表す。

【発明を実施するための形態】

【0032】

本発明の概念は、様々な視点に応じてこの場面のレリーフおよび任意選択によりテクスチャを復元するため、既知の軌道に応じて場面を移動するパノラマシステムの前画角（前＝照準線がパノラマシステムの動きの方向の平面を横断する方向）および横画角（横＝照準線がパノラマシステムの動きに垂直な方向の平面を横断する方向）を最大利用することにある。

【0033】

横視野の利用は、様々な再構築平面に応じてオペレータに提示され得るパノラマシステムによって観察されるすべての横視点に応じて、レリーフおよび任意選択によりテクスチャを再構築することによって行われる。

【0034】

前視野の利用は、異なる視点に応じて場面の対象物を観測する以前の再構築の時間的融合を利用することによって行われる。様々な視点に応じて観察された対象物のこれらの様々な再構築により、様々な視点に応じてオペレータに呈することができる場面の拡大された正確な正角のグローバルな視点の生成が可能になる。

【0035】

場面を移動するパノラマ光学（または光電子工学）システムの変位によって生成することができる様々な角度方向における時間立体視法の利用は、様々な方向に応じて投影可能な場面の３Ｄ再構築および任意選択により場面の正角の多面的なモザイクの同時生成を可能にする。

【0036】

提案される解決策は、以下の新しい概念を使用する。
− ２つの狭視野カメラを使用する従来の立体視法と区別される、パノラマシステムを用いる時間立体視法。
− 使用される２つのセンサの照準線の方向によってその方向が強要される単一の平面上でのみ行われる従来の修正と区別される、その方向が自由に選ばれる様々な平面に応じた同時修正。別の革新は、中間ゆがみ矯正面を強要し、それにより、情報損失が生み出される立体視で使用される従来の修正とは対照的に、パノラマシステムの２Ｄ画像の任意の部分と選ばれた修正面と間で直接行われる直接修正である。
− 照準線の非常に異なる方向を利用し、精度およびロバスト性の獲得を可能にする中間再構築の融合。
− 非常に異なる視点上の場面の対象物を対象とする２Ｄ画像から抽出された情報の品質の階層化に関連し、移動中のパノラマシステムの２Ｄ画像の時間利用に直接関連する信頼度マップ。

【0037】

より正確には、方法は、その例が図１に示される装置であって、
− 光学機器１１と関連付けられたセンサ１４を備え、ＧＰＳ １２および慣性プラットホーム１３などの位置付け手段を備え付ける、場面の２Ｄパノラマ画像を形成することができるパノラマシステム１と、
− このパノラマシステムにリンクされたコンピュータ２であって、
− 説明されるような３Ｄモザイキングの方法を実装するための手段２１、ならびに、
− 任意選択によりマンマシンインターフェース２２と関連付けられるかまたはマンマシンインターフェースと置き換えられる自動補助画像処理手段
を備える、コンピュータ２と
を備える、装置によって実装される。

【0038】

本発明によれば、２Ｄ画像は、既知の軌道に沿って変位移動するパノラマシステム１から生じ、軌道は、位置付け手段およびコンピュータ２によって、変位と並行して、画像ごとに相対的に測定することができる。

【0039】

システムは、２Ｄパノラマ画像を得ることを可能にするという意味でパノラマ式である。この目的のため、システムは、魚眼タイプの広視野光学機器１１、または、２Ｄパノラマ画像を提供できる任意の従来のもしくは反射屈折の広視野光学的手段、あるいは、その全体を再構築することが所望される場面の様々な部分を検知するため、狭視野光学機器に基づくが、多少有り余るほどの動きで移動する他のものを備え得る。６０°を超える広視野をカバーする２Ｄ画像は、例えば、この６０°の全視野をカバーできるようにする動きで移動する４５°の視野を有するシステム１に基づいて得られる。パノラマシステム１の技術の選択は制限されない。すなわち、受動的であり得るが、能動的なシステムにより上記で提示される複数平面の融合のステップの実装が可能である限り能動的なシステムへの一般化が可能である。また、このパノラマシステムは、３６０°×１８０°を超える超広視野光学機器または完全球体光学機器（例えば、可観測性の完全な球体を探査する連続魚眼光学機器を有する２つのセンサ）も含む。また、このパノラマシステムは、最大または決定されたパノラマ角度適用範囲を一緒にカバーする（例えば、ある画像から次の画像に移っても同一である）相互依存の光学センサセットも備える。これらの光学センサセットは、オーバラップしない、すなわち、このセットによってある瞬間に得られるグローバルな画像は、連続的なものではなく（穴を含み得る）、「穴」は、このセットの変位の間に充填される。魚眼タイプの光学機器を用いて得られる例示的な２Ｄパノラマ画像およびセクタ（この例では５）は、図５に示される。

【0040】

軌道は、ＧＰＳ １２、慣性プラットホーム１３または同様のものなど、場面におけるパノラマシステムの位置および姿勢の相対変位を測定する位置付け手段によって、パノラマシステムの変位と並行して演算することができる。この変位は、マンマシンインターフェース２２を介してオペレータが制御することも、自律的であることも可能である。したがって、得られた画像は、場面の少なくとも１つのポイントの画像が様々なパノラマシステム場面ポイントの方向に応じてそれぞれ得られた少なくとも３つのパノラマ画像にあるようなものである。

【0041】

処理ユニット２１によって連続瞬間にそれぞれ得られたこれらの２Ｄ連続パノラマ画像を処理するステップは、モザイキングの方法に先行する再構築方法の図２と併せて説明された以下のサブステップを含む。

【0042】

ステップａ）場面の再構築平面を決定する。

【0043】

様々な再構築平面Ｃｊは、例えば、広範の空間的および角度範囲にわたって場面をカバーするため、または、場面のより優れた表現を有することを可能にするため、場面の様々な態様を前方に持ってくることによって３Ｄ再構築を確立するために選ぶことができる。様々な再構築平面Ｃｊは、オペレータが自由に選ぶことも、パノラマシステムの軌道の関数として（通常、２つのスナップショット間で演算されるこの軌道のおよそ平均）および場面の複雑性の関数として自動的に決定することも可能である。

【0044】

初期の３Ｄ再構築の完全欠損および初期設定段階（＝１回目の反復）では、パノラマシステムが観察できる様々な方向における再構築を確保するため、デフォルトで、選ばれた再構築平面は、例えば、システムの平均軌道を取り囲む円筒に接する３または４つの平面であり得る。例えば、地面から１００ｍ離れたところに位置する水平な軌道に対し、次の再構築平面、すなわち、地面の平面と、地面に垂直であり、軌道を取り囲む円筒に一方の面が接する平面と、地面に垂直であり、円筒に他方の面が接する平面と、１００ｍを超える高度に位置する、地面に平行な平面とを選ぶことが可能である。初期の３Ｄ再構築の構築が開始された時点で、これらの以前に定義された再構築平面は、オペレータが自動的にまたは実験的に抽出可能な進行中の再構築の平面の表面に接近させるかまたはマージさせるため、更新することができる。単一の再構築平面が場面の十分な３Ｄ表現を与えるほど十分でない場合、３Ｄ表現の独自性および完全性を復元するため、いくつかの平行または垂直平面が使用される。これは、例えば、場面が凹状対象物を含む際の事例、または、単一の再構築平面が、測定が行われた角度に依存する３Ｄ大きさの様々な測定を提供し、結果的に、図４に示されるような独自の測定の提供ができなくなる事例である。この図は、ポイント（Ｘ，Ｙ）に対するＺ方向の再構築の曖昧性（すなわち、軌道の位置１および２での取得は再構築平面Ｐ１上のｚ１を再構築するが、軌道の位置２および３での取得は同じ投影平面Ｐ１上のｚ２を再構築する）を示す。次いで、Ｐ１に対するｚ１およびＰ２に対するｚ２を有するようにするため、新しい再構築平面Ｐ２を選び、曖昧性を取り除く。また、凹状対象物の横方向限界を見出すため、平面Ｐ３も選ばれる。

【0045】

パノラマシステムの変位と並行して、新しい平面が場面で明らかになるかまたは消失する際、選ばれた再構築平面を新しくする必要があることも分かる。

【0046】

ステップｂ）：任意の方向に応じて２つの連続２Ｄパノラマ画像を修正できるようにするため、一般化された修正の概念が導入される。これらの２つのパノラマ画像がそれぞれ、瞬間ｔおよび瞬間ｔ＋Δｔに取得され、パノラマ画像対を形成する。

【0047】

この修正は、修正に最も適した少なくとも１つの投影平面を演算すること、および、各平面上の２つの２Ｄパノラマ画像の各々のいかなるセクタも変換する変換を適用することにある。

【0048】

修正に役立つ各投影平面（いわゆる修正面）は、すべてパノラマシステムの軌道に平行に、位置および向きの無限の選択の中からオペレータが自由に選ぶことができる。平面または修正面の各々は、パノラマシステム（その軌道に沿ってその変位の過程において自己旋回することができる）の照準線の進化とは無関係であり、照準線の進化に応じて修正面が選ばれ、修正面の選択が非常に限られている従来の立体視法とは対照的である。

【0049】

Ｒ１、Ｒ２、Ｒ３と言及される修正面の例が図７に示され、Ｒ１、Ｒ２、Ｒ３は、軌道に平行である。また、軌道の２つのポイントにおけるパノラマセンサのＬｄＶ（ＬｄＶ１、ＬｄＶ２）の方向も示されており、これらの平面の選択はＬｄＶとは無関係であるという事実が示される。

【0050】

修正面および再構築平面の例が図８に示され、図８は、３Ｄ対象物を含む場面の上方からの視点である。軌道上には、このステップｂ）の間に取得された３対のパノラマ画像に対応するパノラマセンサの位置対（１、２、３）が示されており、各位置対は、２つの修正面と関連付けられる（対１に対するＲ１１およびＲ２１、対２に対するＲ１２およびＲ２２、対３に対するＲ１３およびＲ２３）。この図の例では、３つの再構築平面Ｐ１、Ｐ２、Ｐ３が選ばれている。

【0051】

３Ｄ再構築を最適化するため、選ばれた修正面の各々は、様々な再構築平面に対応する。修正面は、例えば、ステップａ）で決定された再構築平面に最も近くなるように（幾何学上の意味で）選ばれる。

【0052】

画像から修正面に移す変換は、直接的なものである（すなわち、従来の立体視において見られるような焦点面のゆがみ矯正の中間ステップを通過させる必要はない）。これにより、以下のような修正画像を得ることが可能になる。
− センサの回転運動とは無関係なもの、
− 従来の修正で見られるものとは対照的に、穴がないもの、
− 中間量子化画像なしで浮動直接演算を通じて得られるため、より正確なもの。

【0053】

瞬間ｔに得られたパノラマ画像に対するこの修正の数学的ステップは、魚眼タイプのセンサの事例では、以下の通りである。

【0054】

修正面Ｐ_ｉと、この平面Ｐ_ｉと関連付けられたフレーム

【数1】

と、この修正面に投影する予定のパノラマ画像のセクタ（恐らく、パノラマ画像の視野が修正面上の選ばれたゾーンに含まれる場合は、最大で完全なパノラマ画像ほどの）とを選び、このセクタは、有利には、最大まで修正面をカバーできるようにする。画像の投影セクタがパノラマ画像全体をカバーしない場合、画像に残っているセクタは、図６の例において見られるように、他の修正面に投影され、図６では、セクタ１は、水平な修正面に投影され、ある一定の解像度を保つため、画像全体をカバーすることはない。他の垂直な修正面は、パノラマ画像の他のセクタを投影するために必要である。

【0055】

パノラマ画像のポイント（ｘ，ｙ）を平面Ｐ_ｉのポイント（Ｘ_ｉ，Ｙ_ｉ）に変換する変換の演算。場面のポイントの角度方向（θ，φ）と選ばれたパノラマシステムに依存する画像の対応するポイントの座標（ｘ，ｙ）との間に存在する対応のこの目的のために使用される。直線パノラマシステムの事例では、この関係は、簡単に記載することができる。

【0056】

Ｒが光学中心に対するポイント（ｘ，ｙ）の位置の半径であれば、以下の式が得られる。
ｔｇθ＝（ｙ−ｙｃ）／（ｘ−ｘｃ）
式中、（ｘｃ，ｙｃ）は光学中心の座標であり、
φ＝ｋ．Ｒ
ｋ＝センサの直線係数

【0057】

その後、上記の式は、得られた（θ，φ）の関数として平面Ｐ_ｉの方程式を記載するのに十分である。

【0058】

（θ_ｉ，φ_ｉ）に応じて法線が配向される平面Ｐ_ｉに対し、特定の事例としてθ_ｉ＝φ_ｉ＝０の焦点面を用いると、以下の関係が中心投影の特定の事例に有効であることを証明することができ、ｆはパノラマシステムの焦点距離である。

【数2】

【0059】

この変換は、直線パノラマ光学機器（魚眼タイプ）の事例の例示的な変換であり、他で演算して補償することができるパノラマシステムのひずみパラメータを含まない。変換は、容易に一般化し、それ自体の光学公式を有するいかなるパノラマシステムにも適するように適合させることができる。

【0060】

その結果、パノラマ画像のセクタの任意のポイント（ｘ，ｙ）に対し、選ばれた修正面におけるその対応する修正ポイントを見つけ出し、したがって、この平面に修正画像を構築することが可能であるということになる。

【0061】

反復の過程において選ばれた様々な修正面および上記の関係により、様々な修正面上のセクタ修正を定義することが可能になる。パノラマ画像のセクタは、修正面に投影された同等の部分に対応する。パノラマ画像のセクタ分解は、選ばれた修正面およびこれらの平面への投影のフットプリントに依存する。

【0062】

修正画像の例は図６に示される。第１の修正画像は、垂直な修正面への図５の画像のセクタ１の投影から生じ、第２の修正画像は、別の垂直な修正面への図５の画像のセクタ２の投影から生じ、第３の修正画像は、最初の２つとは異なる垂直な修正面へのセクタ３の投影から生じ、第４の修正画像は、水平な修正面へのセクタ５の投影から生じている。

【0063】

この投影は、別の修正画像を得るため、瞬間ｔ＋Δｔに得られた別の２Ｄパノラマ画像のセクタに対して、同じ修正面Ｐ_ｉで繰り返され、Δｔは、実験的に事前に決定されるか、または、ｔとｔ＋Δｔとの間のシステムの変位Ｄｃが３Ｄ再構築において所望される精度に適合するほど十分大きな立体ベースを生成するように決定される。例えば、場面からの平均距離がＨの場合の上空飛行の事例では、例えば、センサ１４によって最小視差１／８画素（現在値）を測定することができると仮定すると、求められる再構築精度ｄ_Ｈを得るための変位Ｄｃは、Ｄｃ＝（ｒｅｓｏｌ／８）^＊Ｈ^２／ｄ_Ｈであり、式中、ｒｅｓｏｌはセンサ１４の解像度である（例えば、魚眼を備え付ける１メガピクセルセンサの場合、３ｍｒｄ）。

【0064】

取り上げた例では、求められる再構築精度ｄ_Ｈが、Ｈ＝５０ｍの場合は２０ｃｍであると仮定すると、Ｄｃは、少なくとも５ｍに等しいはずであり、したがって、パノラマシステムによる２回の取得間の最小６°の角度差に相当する。

【0065】

同じ精度ｄ_ＨでＨ＝１００ｍの場合は、Ｄｃは、少なくとも１９ｍに等しいはずであり、したがって、パノラマシステムによる２回の取得間の最小１１°の角度差に相当する。

【0066】

パノラマシステムの使用により、２回の取得間の距離Ｄｃおよび角度分離を増加することによって、３Ｄ再構築の全く同一の空間的な適用範囲に対して狭視野または中間視野センサによって行うことができるものを超える、再構築精度の増加が可能になる。３Ｄ再構築に役立つ立体ベースＤｃは、パノラマ視野の使用（およびこの視野での対象物の長時間駐在）が理由で、従来の立体方法のものより大きいものであり得、これにより、方法のより優れた究極の再構築精度が可能になり、精度は、方法が提供する測定値の融合によっても増加する。

【0067】

場面から１００ｍの平均距離での上空飛行の上記の例を取ることによって（四辺の再構築を考慮することなく、少なくとも３５０ｍ幅の復元バンドに相当する少なくとも１２０°の視野にわたる地面再構築）、理論上の再構築精度ｄ_Ｈは、Ｄｃ＝３８ｍの場合は１０ｃｍで、角度差は２１°になり、Ｄｃ＝２００ｍの場合は２ｃｍで、角度分離は６０°になる。好ましくは、実際のｄ_Ｈを得るため、視点間の相対位置に関する測定値の不確実性を考慮に入れる必要がある。

【0068】

場面から距離Ｈ＝２０ｃｍにある、１メガピクセルの魚眼カメラを備えるパノラマシステムによって行われる目視検査の文脈を考慮した場合、２回の取得間の変位Ｄｃが１０ｃｍであると仮定すると、高度または深度における１５μｍの詳細（ｄ_Ｈ＝１５μｍ）を復元することができる。

【0069】

反復の間に得られた様々な３Ｄ再構築を平均化するため、ひいては、誤差および回復雑音の大幅な減少から利益を得るため、パノラマシステムの実際の取得は、場面の３Ｄの再構築に役立つ２Ｄ修正画像対間の変位を保つ一方で、高速であり得る。次いで、方法は、変位Ｄｃに基づいて第１の２Ｄパノラマ画像対を撮ること、この対を用いて中間３Ｄ再構築を行うこと、次いで、中間３Ｄ再構築をやり直すため、次の取得時に再び、変位Ｄｃに基づいて別の２Ｄ画像対を撮ることにあり、このことは、これらの様々な画像対に関係がある場面ポイントがパノラマシステムの視野に残っている限り行われる。

【0070】

ステップｃ）：平面Ｐ_ｉにおける修正画像の立体対が、このＰ_ｉに関連するフレームにおける中間３Ｄ再構築を定義するために利用される。

【0071】

Ｐ_ｉに関係する３Ｄフレーム（いわゆる中間３Ｄフレーム）における中間３Ｄ再構築は、パノラマシステムの動きに関する知識によって支援される、Ｐ_ｉにおける２つの修正画像のポイント間のマッチングによって得られる。このマッチングは、可能な限り、立体対の２Ｄ画像のポイントの各々を他の画像のポイントとマッチングさせる高密度のプロセスである。中間３Ｄ再構築は、多少階層化された局所的な相関プロセスによって実行することができ、ｔ−Δｔまたはｔ−ＮΔｔ（Ｎは、＞１の整数）に行われるマッチングによって支援することができる。立体視法で従来使用していた狭視野システムでは認められない、パノラマシステムの広視野性質および異なる角度から同じ場面を観察する可能性の低さにより、ここでは、ある掩蔽または曖昧性を取り除くことができる。

【0072】

ステップｄ）：この中間３Ｄ再構築を、ステップａ）で決定された再構築平面（または複数の再構築平面）を含む固定（＝絶対）３Ｄフレーム（いわゆる３Ｄ再構築フレーム）に変換する。したがって、変換された中間３Ｄ再構築が得られる。

【0073】

ステップｅ）：少なくとも１つの他の変換された中間３Ｄ再構築を得るため、新しいパノラマ画像対（これは以前の画像に基づいて形成された新しい画像対であるか、または、この新しい対は以前に取得された画像のうちの１つに連結した新しい取得から生じる）および少なくとも１つの他の修正面Ｐ’_ｉに基づいて、少なくとも１回ステップｂ）〜ｄ）を繰り返す。ステップｄ）と同じ３Ｄ再構築フレームが維持される。これらの反復は、ステップｂ）〜ｄ）がこの順番でひとつなぎになっているという意味で、連続的なものであり得る。また、これらの反復は、並行して行うこともできる（いくつかのステップｂ）は、並行して決定された、いくつかの修正面Ｐ_ｉで並行して行われるなど）。

【0074】

好ましくは、これらのステップｂ）〜ｄ）は、少なくとも１つの再構築場面ポイントがパノラマシステムの視界に残っている限り繰り返される。

【0075】

ステップｆ）：変換された中間３Ｄ再構築を、中間再構築の空間および時間冗長性を利用する特定の融合方法によって時間的に融合させる。このことは、対応する３Ｄ再構築を得るため、３Ｄ再構築フレームにおいて得られた少なくとも２つの変換された中間３Ｄ再構築を時間的に融合させることによって得られる。

【0076】

この３Ｄ再構築方法により、メッシュの各ポイントが、場面に関係するフレームＸ、Ｙ、Ｚにおける対応するポイントの座標と関連付けられるように、場面を表すための最も適切な高密度の３Ｄメッシュを見出すことが可能になる。

【0077】

ステップｇ）：選ばれた再構築平面と同じくらい多くの３Ｄ再構築を得るため、同じパノラマ画像を用いるが、異なるセクタを用いて、ａ）で選ばれた各再構築平面に対して、ステップｂ）〜ｆ）を繰り返す。これらの反復の過程において得られたこれらの３Ｄ再構築または中間３Ｄ再構築は、有利には、１つまたは複数の最終的な３Ｄ再構築を更新するため、空間的に融合させ、したがって、これらの再構築の精度およびロバスト性が増加する。様々な平面に応じて構築された３Ｄ再構築の空間的融合は、各再構築の様々な要素の再構築の精度を考慮に入れ、精度は、様々な平面に応じて同じものではなく、数学的に予測することができる。この空間的融合は、使用される各画像の様々なセクタに対応するいくつかの修正面を利用することによって得られる。

【0078】

また、ステップａ）〜ｇ）のセットは、好ましくは、新しいパノラマ画像対を用いて（例えば、前回のものから時間的にシフトされた中間画像を用いて、または、既に考慮されたパノラマ画像の他のセクタを用いて）、少なくとも１回繰り返される。これにより、最終的な３Ｄ再構築を更新する連続プロセスを有することが可能になる。これらの新しいパノラマ画像対は、各パノラマ画像取得から得ることができるが、必須ではない。

【0079】

ここでもやはり、これらの反復は、連続的にまたは並行して行うことができる。

【0080】

２Ｄ修正画像の冗長性および品質（品質は、例えば、修正面と再構築平面との間に存在する角度視差によって、または、各中間３Ｄ再構築につながるマッチングの信頼係数によって定義される）の利用により、最終的な再構築の品質を運ぶ信頼度マップを生成するための方法が可能になる。この信頼度マップは、各画素が構築された回数や、この構築状態が良かったかどうか（これらは、例えば、マッチング品質の実験的または数学的に決定された閾値の関数として定義される）を考慮することによって、各３Ｄ再構築に対して画素単位で構築される。また、いくつかの３Ｄ大きさが観測の角度の関数として全く同一の画素に対して得られる事例も考慮され、この事例では、曖昧性を取り除くため、追加の修正面および再構築平面が作成される（例えば、図４の例において見られるように、正しく再構築するため、複数の再構築平面を必要とする凹状対象物の場合）。

【0081】

ここでは、場面の２Ｄ画像のモザイキングについて考慮し、これらの２Ｄ画像の組成は、モザイクと呼ばれるグローバルな画像を形成する。このモザイクは、一般に、３Ｄ場面またはそれに近似するものに存在するが、３Ｄ表面上にもあり得る、いくつかの２Ｄテクスチャ平面を含む。

【0082】

漸進的に作成された場面の３Ｄ再構築の利用により、モザイキング平面とも呼ばれる様々な投影平面（または表面）への２Ｄパノラマ画像のセクタ分解から得られた各２Ｄ画像の投影が可能になる。これらの投影表面は、モザイクが構築される表面である。これらの投影表面は、オペレータが自由に選ぶことも、３Ｄ再構築に基づいて自動的に決定することも可能である。上記で示されるように、これらの表面のいくつかは、ゆがんでいる（湾曲している）ものであっても、そのモデリングが知られている３Ｄ表面でもよい。

【0083】

様々な面を呈する高度な３Ｄ場面を観察するパノラマシステムの事例では、いくつかのモザイキング平面（または表面）を選ぶことができる（または有益に選ぶことができる）。高度な３Ｄ場面とは、例えば、都市部を低飛行高度で上空飛行する無人機の場合の事例のように、２回の連続取得間で大幅な視差を生み出す多くの３Ｄ要素を含む場面を意味する。モザイキングの方法は、投影表面または平面の各々に画像のテクスチャを最も良く投影するため、投影表面または平面が異なる向きを有するという事実を利用する。テクスチャは画像領域にわたる画素の強度のセットであることが思い出される。

【0084】

３Ｄ再構築の利用により、投影画像の可視部分のみを保存することも可能になる。これにより、場面の他の部分に属するだろう画像のモザイキング平面部分への投影を回避することが可能になる。

【0085】

複数平面（または複数表面）の投影モザイキングプロセスは、好ましくは、パノラマシステムによって実行される新しい２Ｄ画像の取得ごとに繰り返され、古いものを更新するため、新しいモザイクは、古いもの（ｔ−１に得られたもの）と融合させる。

【0086】

これらの様々な投影およびモザイクの連続的な融合の結果は、各投影平面にわたってかなり拡大される正角画像（すなわち、幾何変形のない画像）である。これは、以下でより詳細に説明され、図３と併せて説明される、３Ｄモザイキングの方法が場面の３Ｄ再構築とテクスチャの投影を同時に演算するという事実、方法が投影における隠れた部分または解像度が不十分な部分を排除するという事実、ならびに、この方法がすべての方向で繰り返され、軌道全体をたどるという事実に直接起因する。

【0087】

場面の３Ｄ再構築およびテクスチャの投影は、いわゆる初期の２Ｄ画像の取得ごとに演算され、取得は、上記で定義される時間間隔Δｔだけ前回のものとは隔てられる。

【0088】

代替の手段によれば、場面の３Ｄ再構築およびテクスチャの投影は、パノラマシステムの画像の取得ごとに、先に格納された前回の画像に基づいて高頻度で演算される。より正確には、３Ｄ再構築に役立つΔｔだけ隔てられた２つの連続画像間にある中間画像は、ＦＩＦＯ方式（頭字語は、「先入れ先出し（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）」を表し、３Ｄ再構築の新しいインスタンスを確立するため、取得された新しい画像の各々が、格納された最初の画像と比較され、その後、最初の画像がリストから消去され、最後の画像が更新されたリストに追加される）での３Ｄ再構築にも使用できるように格納される。その上、中間画像は、最初の画像と最後の画像との間の対応の促進に役立つことも、３Ｄモデルにおける「穴」の充填に役立つこともあり得る。

【0089】

次いで、パノラマシステムによって取得された新しい２Ｄ画像の各々に対して、図３と併せて説明される以下のステップＡ）〜Ｅ）の完了時に、モザイクが得られる。

【0090】

第１の実施形態によれば、３Ｄ再構築およびモザイキングは、各取得後に連続して実行される。これは、既に実行された（１つまたは複数の）３Ｄ再構築の直後に、新しい３Ｄ参照再構築が実行されたと仮定する。

【0091】

第２の実施形態によれば、３Ｄ再構築およびモザイキングは、各取得後に並行して実行される。これは、新しい３Ｄ再構築がまだ進行中である間にモザイキングが実行されると仮定し、この事例では、３Ｄ参照再構築は、２Ｄ画像の前回の取得のうちの１つの取得時に実行されたもの、または、実際には、前回実行された３Ｄ再構築である。

【0092】

これらの様々なステップについては、さらに詳細に説明する。

【0093】

Ａ）３Ｄ投影平面（または表面）を選ぶ。

【0094】

この第１のステップは、モザイクが構築される３Ｄ投影平面または表面を選ぶことにある。これらの３Ｄ投影平面または表面は、モザイキングの所定の瞬間にオペレータが自由に選ぶことも、既定の基準に従って場面の現（または参照）３Ｄ再構築に基づいて自動的に演算することもできる（例えば、地面の再構成表面に平行な平面または３Ｄ再構築から抽出された主平面）。また、３Ｄ投影表面は、場面がそれに適する場合や、オペレータがそこに利益を見出した場合に使用することもできる。これにより、例えば、場面の対象物または場面バックグラウンド（特定の幾何学的形状を有する）を表すことが可能になるが、これにより、もっぱら平面であり得る複数の投影によって得ることができる一致性が損なわれることは決してない。

【0095】

Ｂ）パノラマ画像における修正画像または関連セクタを決定する。

【0096】

１つまたは複数の前回の３Ｄ再構築の間に修正画像が演算されていると、投影平面に最も近い（幾何学上の意味で）修正画像が選ばれ、投影平面への直接投影（中間ステップなしの）パラメータが演算される。

【0097】

この修正画像が遠過ぎる場合、すなわち、例えば、オペレータによって事前に決定された閾値に関して投影平面に近くない場合は、２Ｄパノラマ画像（いわゆる現２Ｄパノラマ画像）が取得され、投影平面へのこの現２Ｄパノラマ画像の直接投影パラメータ、および、ステップＤの直接投影の間に使用されるこの現画像のセクタが演算される。

【0098】

２つの典型的な事例では、投影は、すぐには実行されないが、投影パラメータは、ステップＤ）で使用するためにメモリに置かれる。

【0099】

Ｃ）以下に基づいて、投影平面における隠れた部分を演算するため、３Ｄ再構築を用いて、ステップＤの投影に使用することができる利用可能な部分（すなわち、解像度が十分な部分）を決定する。
− ステップＢの第１の事例が当てはまる場合は、２Ｄ修正画像、または、
− ステップＢの第２の事例が当てはまる場合は、直接投影で使用される現パノラマ画像のセクタ。

【0100】

たった今演算された３Ｄ再構築により、場面に存在するマスキングから生じる投影平面における隠れた部分または解像度が不十分な部分（そして逆に、利用可能な可視部分）を自動的に演算することが可能になる。これは要するに、モザイクで保存すべきテクスチャを選択するということになる。パノラマシステムに関係するフレームにおいて３Ｄ再構築が最初に構築されているため、この演算は正確である。

【0101】

本発明による３Ｄモザイキングの特定の特徴の１つは、様々な投影平面上で場面によって生成されたマスクを排除するために隠れた部分の演算から利益を得て、これらの平面上で可視部分のみを考慮することである。これにより、常に目に見える場面の部分のみを時間的にモザイキングし、投影平面に属さない場面の部分の投影による変形（センサの変位と並行して進化する場面の要素によるマスキングを考慮することができずに、最初から画像全体を投影平面に投影する従来のモザイキングに存在する欠陥）を回避することが可能になる。

【0102】

Ｄ）いくつかの平面上の正角モザイクを得るため、以前のステップで選択されたテクスチャを３Ｄ投影平面またはより一般には３Ｄ投影表面に投影し、各３Ｄ投影平面または表面においてテクスチャを融合させる。

【0103】

以前のステップで選択されたテクスチャは、投影平面（または表面）に投影され、現モザイクと時間的に融合されて、新しいモザイクが形成される。

【0104】

テクスチャの投影に役立つものと同じベース画像に基づいて組み立てられた３Ｄ再構築から生じた表面または平面に投影することにより、投影における（および画像フレームと再構築された場面のフレームとの間の幾何変換における）非常に高い精度が可能になることに留意することが重要である。また、生成されたモザイクの一致性を確保するのもこれである。しかし、一致性の主な要素は、モザイキングが、モザイクと同じフレームで行われる３Ｄ再構築を利用し、そのモザイキングプロセスにおいてマスキングされない画像の部分のみを使用するという事実に起因する。投影に役立つベース画像から生じたものではない外部の３Ｄ再構築が使用された事例では、場面に関連するセンサの相対位置におけるおよび投影のオーバラップにおける不確実性を必然的に伴うであろう。

【0105】

Ｅ）これらの提示平面にテクスチャ３Ｄ再構築（または複数のテクスチャ３Ｄ再構築）を投影することによって、様々な平面に応じてまたはより一般には様々な３Ｄ提示表面に応じてモザイクをオペレータに提示する。これらの提示平面は、オペレータによって自由に選ばれ、オペレータによって選ばれた様々な観点によるモザイクの結果の提示にのみ役立つ。モザイクは、提示平面によって、または、テクスチャが投影された曲面が広げられたものを表す平面に応じて（例えば、円筒への投影の場合）、オペレータ提示平面に提示することができる。また、テクスチャ３Ｄ結果は、明らかに、適切なソフトウェアを使用して３Ｄ仮想形式で直接提示することもできる。投影結果は今まで正角画像を提供してきたが、説明してきたように、このことは、必ずしも従来のモザイキング方法に関する事例であるとは限らない。

【0106】

この無指向性の同時３Ｄ再構築およびモザイキング方法は、光学パノラマシステムに限定されない。光学以外の手段によって（例えば、ライダまたはソナータイプの能動的な手段によって）広い方向場にわたって測定されたテクスチャを利用することは大いに可能である。また、方法は、機器によって与えられた距離を利用することもできる。

【0107】

産業上の利用の中では、以下が構想され得る。
− 無人機または航空機が上空飛行する場面のリアルタイムの３Ｄおよびテクスチャ回復（３Ｄマップの生成への応用、正射投影写真への応用、監視への応用など）
− 地文航法または機上航法への支援
− 産業、医療または他の目視検査
− …

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】