(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-20
(45)【発行日】2022-01-17
(54)【発明の名称】多視点フォトグラメトリによる３Ｄシーンモデリングシステム
(51)【国際特許分類】
G03B 35/08 20210101AFI20220107BHJP
G06T 19/00 20110101ALI20220107BHJP
G06T 15/20 20110101ALI20220107BHJP
【ＦＩ】
G03B35/08
G06T19/00 A
G06T15/20 500
【請求項の数】
8
(21)【出願番号】P 2020568852
(86)(22)【出願日】2019-02-28
(65)【公表番号】
(43)【公表日】2021-06-24
(86)【国際出願番号】 FR2019050465
(87)【国際公開番号】W WO2019166743
(87)【国際公開日】2019-09-06
【審査請求日】2020-10-19
(31)【優先権主張番号】1851812
(32)【優先日】2018-03-01
(33)【優先権主張国・地域又は機関】FR
(73)【特許権者】
【識別番号】520330548
【氏名又は名称】４ディ・ビュー・ソリューションズ
【氏名又は名称原語表記】４Ｄ ＶＩＥＷ ＳＯＬＵＴＩＯＮＳ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(72)【発明者】
【氏名】クレマン・ムニエ
(72)【発明者】
【氏名】ロナン・ビヨン
(72)【発明者】
【氏名】カンタン・プロルソン
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開２００６－０５４５０４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１６３４７８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ３５／０８
Ｇ０３Ｂ １９／０７
Ｇ０６Ｔ １９／００
Ｇ０６Ｔ １５／２０
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
多視点フォトグラメトリによってシーン（１１０）を３次元モデリングする３次元モデリングシステムであって、前記３次元モデリングシステムは、前記シーンの画像を異なる視点から生成するために前記シーンの周りに配置され、複数のカメラ対（Ｃ１－Ｃ４，Ｃ２－Ｃ３，Ｃ５－Ｃ６，Ｃ７－Ｃ８）にグループ化されるように構成された複数のカメラ（Ｃ１～Ｃ８、Ｃ１’～Ｃ８’，Ｃ１’’～Ｃ８’’、及びＣ１’’’～Ｃ８’’’）であって、前記カメラ対のそれぞれの前記カメラは、カメラ間に所定のイントラ・ペア間隔（ｅ）を有するカメラと、
前記カメラによって生成された画像から、各カメラ対（Ｃ１－Ｃ４，Ｃ２－Ｃ３，Ｃ５－Ｃ６，Ｃ７－Ｃ８）の２つのカメラのそれぞれによって生成された画像間の比較によって立体映像処理を適用することでモデリングデータを生成するように構成されたデジタル処理装置（３１０）を有し、
前記カメラ対（Ｃ１－Ｃ４，Ｃ２－Ｃ３，Ｃ５－Ｃ６，Ｃ７－Ｃ８）は、隣接する２つのカメラ対の間に前記イントラ・ペア間隔（ｅ）よりも大きなインタ・ペア間隔（Ｅ１ａ，Ｅ１ｂ，Ｅ１ｃ，Ｅ２ａ）を有するように、前記シーンの周りに配置されており、
前記デジタル処理装置（３１０）はさらに、前記複数のカメラ対の第１カメラ対（Ｃ５－Ｃ６）のカメラ（Ｃ５）によって生成された前記画像と前記複数のカメラ対の第２カメラ対（Ｃ１－Ｃ４）のカメラ（Ｃ４）によって生成された前記画像とを比較することによって立体映像処理を適用するように構成されており、
前記第２カメラ対（Ｃ１－Ｃ４）は、追加のモデリングデータを生成するために、前記第１カメラ対（Ｃ５－Ｃ６）に隣接しており、前記イントラ・ペア間隔（ｅ）よりも大きなインタ・ペア間隔（Ｅ１ｃ）だけ前記第１カメラ対から離されており、
前記３次元モデリングシステムは、
前記第１カメラ対（Ｃ５－Ｃ６）のカメラが、実質的に同じ水平面（ＨＰ２’）上で並んで配置されており、
前記第２カメラ対（Ｃ１－Ｃ４）のカメラが、実質的に同じ鉛直面上で上下に配置されている、ことを特徴とする３次元モデリングシステム。
【請求項2】
前記第２カメラ対の一方のカメラ（Ｃ４）は、前記第２カメラ対の他方のカメラ（Ｃ１）の上方に配置されており、前記第２カメラ対（Ｃ１－Ｃ４）のカメラは、前記第１カメラ対（Ｃ５－Ｃ６）のカメラよりも下方に配置されており、
前記第１カメラ対（Ｃ５－Ｃ６）の一方のカメラ（Ｃ５）と前記第２カメラ対（Ｃ１－Ｃ４）の一方のカメラ（Ｃ４）は、水平面（ＨＰ２’）又は鉛直軸と５度から２０度の範囲にある角度（β１）を形成する方向に整列されている、請求項１の３次元モデリングシステム。
【請求項3】
複数の前記カメラは、前記シーンの周りで、半径（Ｒｓ）を有する球形の仮想面（Ｓ）上に配置されており、前記イントラ・ペア間隔（ｅ）は、前記半径（Ｒｓ）に対する前記イントラ・ペア間隔（ｅ）の比が０．３５未満である、請求項１又は２の３次元モデリングシステム。
【請求項4】
隣接する２つのカメラ対の間の前記インタ・ペア間隔（Ｅ１ａ，Ｅ１ｂ，Ｅ１ｃ，Ｅ２ａ）は、少なくとも１．４に等しい倍数（Ｆ１）だけ、前記イントラ・ペア間隔（ｅ）よりも大きい、請求項１～３のいずれかの３次元モデリングシステム。
【請求項5】
複数の前記カメラは、前記第２カメラ対（Ｃ１－Ｃ４）との間に、前記第２カメラ対（Ｃ１－Ｃ４）と前記第１カメラ対（Ｃ５－Ｃ６）との間の前記インタ・ペア間隔（Ｅ１ｃ）以上に大きいインタ・ペア間隔（Ｅ２ａ）を有する第３カメラ対（Ｃ２－Ｃ３）を形成するように、前記シーンの周りに配置されており、前記デジタル処理装置（３１０）は、追加のモデリングデータを作成するために、前記第３カメラ対（Ｃ２－Ｃ３）のカメラ（Ｃ２）によって生成された前記画像と前記第１カメラ対（Ｃ５－Ｃ６）の前記カメラの一方（Ｃ５，Ｃ６）によって生成された前記画像を比較することによって前記立体映像処理を適用するように構成されている、請求項１～４のいずれかの３次元モデリングシステム。
【請求項7】
前記第１カメラ対（Ｃ５－Ｃ６）と前記第３カメラ対（Ｃ２－Ｃ３）とのインタ・ペア間隔（ＥＩｂ）は、前記イントラ・ペア間隔（ｅ）よりも大きく、かつ、前記第２カメラ対（Ｃ１－Ｃ４）と前記第３カメラ対（Ｃ２－Ｃ３）とのインタ・ペア間隔（Ｅ２ｂ）以下である、請求項６の３次元モデリングシステム。
【請求項8】
前記第１カメラ対、前記第２カメラ対、及び前記第３カメラ対は、前記シーンの周りで繰り返されるパターンを定義する、請求項７の３次元モデリングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点フォトグラメトリ（写真測量）によってシーン（景色）を三次元的にモデリングするための三次元（３Ｄ）モデリングシステムに関する。
【背景技術】
【0002】
多視点フォトグラメトリは、まず複数対のシーン俯瞰図を記録する。これらの俯瞰図により、立体映像（三次元画像）によるシーンの深度図を得ることができる。多視点フォトグラメトリは、次に、深度図を利用し、モデリングアルゴリズムをデジタル的に実行して、シーンの三次元モデルを得る。
【0003】
唯一のことではないが、重要なことは、結果として得られる３Ｄモデルの適用は、任意の視点から観察されるシーンの仮想イメージを作成することである。
【0004】
同時に撮影したシーンの一連のカメラ画像を取得することにより、任意の観察角度からの前記シーンのビデオを作成することができる。
【0005】
シーンの多視点フォトグラメトリをスタジオで実行するためには、静止画を撮影するカメラ又は動画を撮影するカメラ等のモノスコピック式撮影装置が必要である。これらの複数の装置は、モデル化するシーンを複数の視点から観察するように、シーンを囲んで配置される。
【0006】
最適化するために、３Ｄモデリングは、複数対のカメラを必要とすると考えられる。これらのカメラは、鉛直方向又は水平方向に整列され、各対のカメラの間の角度距離は５度から１５度である。
【0007】
費用上の理由から、実際上、仏国特許出願ＦＲ１４ ６３０７３号にあるように、カメラが離される配列格子の間隔は大きく、相互に同じで、実質的に正方形又は長方形である。
【0008】
従来、規定の性能を有するカメラを用いる場合、３Ｄモデリングの品質を向上するためには、使用するカメラの数を増やすことであると、当該技術分野の専門家によって考えられている。しかし、カメラの数を増やすと、特にビデオカメラを使用する場合、スタジオにおける装置全体が大きくなり費用が嵩む。
【0009】
米国特許出願公開公報第２００６／００２９２５６号は、特に複数対のカメラからなる撮像ユニットと、カメラの視点とは異なる再構成視点を有する撮像装置を開示している。
【0010】
刊行物（カナダＴ等、「現実シーンから仮想世界を構成する仮想現実」、ＩＥＥＥマルチメディア、ＩＥＥＥサービスセンタ、ニューヨーク、米国、第4巻、Ｎｏ．１、１９９７．０１．０１、３４－４７頁）には、スタジオで撮影された実際の画像から仮想３Ｄ再構成を得るための技術、を記載している。
【発明の概要】
【0011】
本発明の発明者らは、モデリングされるシーンの周りに最適化された状態で配置され、シーンの立体撮影のためにそれらの間の間隔が変えられたカメラの関係により、関連するカメラが均等に配置され、カメラ間に一定の間隔を設けられる場合よりも、より実質的に良質の情報を有するアルゴリズムを提供し、少数のカメラで撮影する場合の欠点を補償することができる、ことを知見した。
【0012】
本発明の目的は、所定数で所定の型のカメラを有する多視点フォトグラメトリによってシーンをモデリングする際に、従来のやり方に比べて、３Ｄモデリングの品質を改善し、及び／又は、モデリング量を増やすことである。
【0013】
本発明の別の目的は、従来のやり方に比べて、シーンのモデリングのモデリング量を増やし、また、カメラの数を減らしながら、多視点フォトグラメトリによるシーンの３Ｄモデリングの品質を維持又は改善することである。
【0014】
そのために、本発明は、多視点フォトグラメトリによってシーンを３次元的にモデリングする３Ｄモデリングシステムを提供するものである。
このシステムは、シーンの画像を異なる視点から生成するためにシーンの周りに配置され、複数のカメラ対にグループ化されるように構成された複数のカメラであって、前記カメラ対のそれぞれの前記カメラは、カメラ間に所定のイントラ・ペア間隔（対内間隔）を有するカメラと、
前記カメラによって生成された画像から、各カメラ対の２つのカメラのそれぞれによって生成された画像間の比較によって立体映像処理を適用することでモデリングデータを生成するように構成されたデジタル処理装置を有し、
前記カメラ対は、隣接する２つのカメラ対の間に前記イントラ・ペア間隔（ｅ）よりも大きなインタ・ペア間隔（対間間隔）を有するように、前記シーンの周りに配置されており、
前記デジタル処理装置はさらに、前記複数のカメラ対の第１カメラ対のカメラと前記複数のカメラ対の第２カメラ対のカメラによって作成された画像間を比較することによって立体映像処理を適用するように構成されており、
前記第２カメラ対は、追加のモデリングデータを生成するために、前記第１カメラ対に隣接しており、前記イントラ・ペア間隔よりも大きなインタ・ペア間隔だけ前記第１カメラ対から離されており、
前記第１カメラ対のカメラが、実質的に同じ水平面（ＨＰ２’）上で並んで配置されており、
前記第２カメラ対のカメラが、実質的に同じ鉛直面上で上下に配置されている。
このシステムは、シーンの画像を異なる視点から生成するためにシーンの周りに配置され、複数のカメラ対にグループ化されるように構成された複数のカメラであって、前記カメラ対のそれぞれの前記カメラは、カメラ間に所定のイントラ・ペア間隔（対内間隔）を有するカメラと、
前記カメラによって生成された画像から、各カメラ対の２つのカメラのそれぞれによって生成された画像間の比較によって立体映像処理を適用することでモデリングデータを生成するように構成されたデジタル処理装置を有し、
前記カメラ対は、隣接する２つのカメラ対の間に前記イントラ・ペア間隔（ｅ）よりも大きなインタ・ペア間隔（対間間隔）を有するように、前記シーンの周りに配置されており、
前記デジタル処理装置はさらに、前記複数のカメラ対の第１カメラ対のカメラと前記複数のカメラ対の第２カメラ対のカメラによって作成された画像間を比較することによって立体映像処理を適用するように構成されており、
前記第２カメラ対は、追加のモデリングデータを生成するために、前記第１カメラ対に隣接しており、前記イントラ・ペア間隔よりも大きなインタ・ペア間隔だけ前記第１カメラ対から離されており、
前記第１カメラ対のカメラが、実質的に同じ水平面（ＨＰ２’）上で並んで配置されており、
前記第２カメラ対のカメラが、実質的に同じ鉛直面上で上下に配置されている。
【0015】
特に、立体映像処理によって得られるモデリングデータは深度情報を含む。深度情報は、２つのカメラの視点間の比較から得られる。この情報に基づいて、シーンの三次元モデリングを計算できる。
【0016】
比較的小さな間隔があけられ、同じ水平面又は鉛直面に設けられたカメラ対を用いることにより、計算が複雑で効率的でない「マルチ・ベースライン・ステレオ」（ＭＢＳ）アルゴリズムを用いることなく、従来の双眼立体融合アルゴリズムでもって行うことができる。
【0017】
このシステムにおいて、計算装置は、小さな間隔があけられた複数対のカメラから得らえるデータを比較し、また、さらに離された複数のカメラから得られるデータを比較することにより、種々の間隔をあけて離されたカメラによって得られたカメラショットの形の画像に基づいて、シーンをモデリングする。これにより、一つの小さなカメラ間隔を有する複数対のカメラのみから得られるデータを比較する場合には得られない良質の情報が得られ、これにより、より良い品質でロバスト性の良いモデリングが行える。
【0018】
また、２つのカメラで実際に計測される深度範囲はそれらの間の間隔に依存するため、立体写真法により処理される最中にカメラ同士の異なる間隔に基づいて利点が得られる場合、すべてのカメラによって実際に計測される容積は単一間隔を用いる場合よりもより大きくなる。
【0019】
最後に、カメラ間の間隔が比較的大きければ、シーンの全体をカバーするカメラの数を減らすことができる。
【0020】
特に、同じカメラを、それが一部であるカメラ対の中だけでなく、別の対のカメラでも平行して用いることができる。これにより、データの対比数が増加し、カメラの数を増やすことなく、利用可能な情報が豊富になる。
【0021】
本発明は、有利に、
前記第２カメラ対の一方のカメラは、前記第２カメラ対の他方のカメラの上方に配置されており、
前記第２カメラ対のカメラは、前記第１カメラ対のカメラよりも下方に配置されており、
前記第１カメラ対の一方のカメラと前記第２カメラ対の一方のカメラは、水平面又は鉛直軸と５度から２０度の範囲にある角度を形成する方向に整列されており、
複数の前記カメラは、前記シーンの周りで、所定半径を有する球形の仮想面上に配置されており、
前記イントラ・ペア間隔は、前記半径に対する前記イントラ・ペア間隔の比が０．３５未満であり、
隣接する２つのカメラ対の間の前記インタ・ペア間隔は、前記少なくとも１．４に等しい倍数だけ、前記イントラ・ペア間隔よりも大きく、
複数の前記カメラは、前記第２カメラ対との間に、前記第２カメラ対と前記第１カメラ対との間の前記インタ・ペア間隔以上に大きいインタ・ペア間隔を有する第３カメラ対を形成するように、前記シーンの周りに配置されており、
前記計算装置は、追加のモデリングデータを作成するために、前記第３カメラ対のカメラによって生成された画像と前記第２カメラ対の前記カメラの一方によって生成された画像を比較することによって前記立体映像デジタル処理を適用するように構成されており、
前記第３カメラ対のカメラは、同じ水平面に並列に配置されており、
前記第３カメラ対は、前記第１カメラ対に対して鉛直方向に離れており、
前記第１カメラ対と前記第３カメラ対は、水平方向に離れており、
前記第３カメラ対のカメラは前記第３カメラ対のカメラと鉛直方向に整列されており、
前記計算装置は、比較によって立体映像デジタル処理を、前記第１カメラ対の前記カメラと前記第３カメラ対の前記カメラによって生成される前記画像、及び／又は、前記第２カメラ対の前記カメラと前記第３カメラ対の前記カメラによって生成される画像を比較することによって立体映像デジタル処理を適用するように構成されている
前記第１カメラ対と前記第３カメラ対とのインタ・ペア間隔は、前記イントラ・ペア間隔よりも大きく、かつ、前記第２カメラ対と前記第３カメラ対とのインタ・ペア間隔以下で、
前記第１カメラ対、前記第２カメラ対、及び前記第３カメラ対は、前記シーンの周りで繰り返されるパターンを定義する、特徴を有する。
前記第２カメラ対の一方のカメラは、前記第２カメラ対の他方のカメラの上方に配置されており、
前記第２カメラ対のカメラは、前記第１カメラ対のカメラよりも下方に配置されており、
前記第１カメラ対の一方のカメラと前記第２カメラ対の一方のカメラは、水平面又は鉛直軸と５度から２０度の範囲にある角度を形成する方向に整列されており、
複数の前記カメラは、前記シーンの周りで、所定半径を有する球形の仮想面上に配置されており、
前記イントラ・ペア間隔は、前記半径に対する前記イントラ・ペア間隔の比が０．３５未満であり、
隣接する２つのカメラ対の間の前記インタ・ペア間隔は、前記少なくとも１．４に等しい倍数だけ、前記イントラ・ペア間隔よりも大きく、
複数の前記カメラは、前記第２カメラ対との間に、前記第２カメラ対と前記第１カメラ対との間の前記インタ・ペア間隔以上に大きいインタ・ペア間隔を有する第３カメラ対を形成するように、前記シーンの周りに配置されており、
前記計算装置は、追加のモデリングデータを作成するために、前記第３カメラ対のカメラによって生成された画像と前記第２カメラ対の前記カメラの一方によって生成された画像を比較することによって前記立体映像デジタル処理を適用するように構成されており、
前記第３カメラ対のカメラは、同じ水平面に並列に配置されており、
前記第３カメラ対は、前記第１カメラ対に対して鉛直方向に離れており、
前記第１カメラ対と前記第３カメラ対は、水平方向に離れており、
前記第３カメラ対のカメラは前記第３カメラ対のカメラと鉛直方向に整列されており、
前記計算装置は、比較によって立体映像デジタル処理を、前記第１カメラ対の前記カメラと前記第３カメラ対の前記カメラによって生成される前記画像、及び／又は、前記第２カメラ対の前記カメラと前記第３カメラ対の前記カメラによって生成される画像を比較することによって立体映像デジタル処理を適用するように構成されている
前記第１カメラ対と前記第３カメラ対とのインタ・ペア間隔は、前記イントラ・ペア間隔よりも大きく、かつ、前記第２カメラ対と前記第３カメラ対とのインタ・ペア間隔以下で、
前記第１カメラ対、前記第２カメラ対、及び前記第３カメラ対は、前記シーンの周りで繰り返されるパターンを定義する、特徴を有する。
【図面の簡単な説明】
【0022】
本発明は、非限定的な例として示された実施形態の以下の詳細な説明を、添付図面を参照して読むことによって、本願発明がより良く理解され、その他の利点が明らかになる。
【0023】
【実施形態の説明】
【0024】
本実施形態において、多視点フォトグラメトリによってシーン（シーン）を三次元モデリングするための３Ｄモデリングシステムは、モデリングするシーンを囲む複数のカメラを含むスタジオと、カメラに接続されて画像データを処理する少なくとも一つのソフトウェアが具備されたデジタル処理装置によって構成される。
【0025】
カメラは、フランス特許出願ＦＲ １４ ６３０７３における疑似表面のような球に対応する疑似表面上に、又は多視点からシーンを観察するためにカメラが適正に配置される任意の表面に配置される。
【0026】
フォトグラメトリの観点から、カメラはモノスコピックカメラ（monoscopic cameras）、すなわち、それぞれが感光性センサに焦点を合わせた単一レンズを備えたカメラ（例えば、スチル画像又はビデオ画像を撮影するカメラ）である。
【0027】
本願明細書において、「カメラ」の用語は、一般的に、静止画を撮影するカメラ、ビデオカメラ、又は所与の視点から平面的なデジタル画像を作成可能な任意の画像取得装置等の、モノスコピック画像取得器具を含む。
【0028】
図５Ａはデジタル処理装置３１０を示す。デジタル処理装置３１０は、中間コンピュータ３１５を介して複数のカメラＣに接続されている。中間コンピュータは、複数のカメラＣから送られてくる画像データを保存する中間保存手段（ストレージ手段）が設けられてもよい。中間コンピュータ３１５に接続されるカメラＣの数は任意で、本図では２つである。
【0029】
デジタル処理装置は、コンピュータのネットワークからなる。コンピュータネットワークは、データ保存手段３２０に接続されており、オペレーティングシステム、ユーザとのインターフェイス、及び複数の画像処理ソフトウェアが具備されている。画像処理ソフトウェアは、立体視法、３Ｄモデリング、及び／又は三次元の空間次元とビデオを生成するための時間を組み込む４次元（４Ｄ）モデリングを実行するためのソフトウェアである。
【0030】
従来のフォトグラメトリシステムに比べて、本発明のフォトグラメトリシステムを用いるために、特定のコンピュータプロセッシング又はアルゴリズムプロセッシングは必要でない。したがって、従来のフォトグラメトリ計算システムでも、本発明のフォトグラメトリシステムのカメラから得られるデータを処理することが十分にできる。
【0031】
本発明の第１実施形態は、図１Ａ，２及び３Ｂに示されている。これらの図は、モデリングされるシーン１１０の周囲の疑似表面Ｓ上に設けた一組３２台のカメラの配置を示す。疑似表面は、地面又はスタジオ床面の点Ｏを貫通する鉛直軸Ｚに中心が置かれている。
【0032】
本実施形態において、実線（途切れない線）で示された８台のカメラＣ１－Ｃ８が、シーンの９０度角度部ＡＰを占める基本パターンを定義し、４つの水平面ＨＰ１－ＨＰ４の上に割り当てられている。４つの水平面ＨＰ１－ＨＰ４は、地面又はスタジオ床を代表する平面ＧＰ上に、底部から上部に向かって上向きにその順番で互いに離されている。
【0033】
８台のカメラは、４つのカメラ対にグループ化されている。本実施形態では、４つのカメラ対は実質的に同じイントラ・ペア間隔（又は対内間隔）（対をなすカメラ同士の間隔」）ｅを有する。２つの対、Ｃ２－Ｃ３の対とＣ５－Ｃ６の対はそれぞれ、実質的に水平方向に整列された２つのカメラによって形成されており、水平面ＨＰ１，ＨＰ２に属する。また、２つの対、Ｃ１－Ｃ４の対とＣ７－Ｃ８の対はそれぞれ、実質的に鉛直方向に整列された４つのカメラＣ１，Ｃ４，Ｃ７，Ｃ８で形成されており、少なくとも軸Ｚ上の点から見たとき、これらのカメラＣ１，Ｃ４，Ｃ７，Ｃ８は、面Ｓが鉛直軸Ｚを含む面と交差する場所に配置されるとともに、それぞれ水平面ＨＰ１，ＨＰ２，ＨＰ３，ＨＰ４に配置されている。
【0034】
その他の２４台のカメラ（点線で示されている。）の配置が、基本パターンを鉛直軸Ｚを中心に９０度、１８０度、２７０度回転して繰り返すことにより推定され得る、全体パターンを定義する。このように回転することで、３つの角度部（範囲）ＡＰ’，ＡＰ’’，ＡＰ’’’のそれぞれにおける，２４台のカメラの位置Ｃ１’～Ｃ８’，Ｃ１’’～Ｃ８’’、Ｃ１’’’～Ｃ８’’’を推定できる。
【0035】
本実施形態において、２つの対Ｃ２－Ｃ３とＣ５－Ｃ６は、一つのイントラ・ペア間隔ｅに対応する方位角だけ互いに水平方向に離れており、少なくとも軸Ｚ上に位置する点から見たとき、カメラＣ２がカメラＣ６と実質的に鉛直方向に整列されており、カメラＣ２とＣ６は、カメラＣ１，Ｃ１’から等距離にあり、また、カメラＣ４とＣ４’から等距離にある。
【0036】
本出願において、「カメラ対」の表現は、２つのカメラであって、その２つのカメラの一方とシステムの別のカメラとの距離よりも小さな距離を隔てた２つのカメラをさす。したがって、システムの各カメラは、唯一の最も近隣のカメラを有する。この点、モデル化されるシーンの周りに実質的に均一に配置されたカメラを有する従来のスタジオと異なる。
【0037】
特に、この構成において、また、以下に詳細に説明するように、シーンを観察する球のカメラ網がカメラの密度を示す。カメラ密度は、カメラによって実際に撮影される面上で不均一である。カメラが基本パターンに配置され、各カメラは該基本パターン上の所定位置に配置され、基本パターンにおける別の場所に配置されたカメラの特定の環境とは実質的に異なる特定の環境を有する。
【0038】
このような構成の利点は、カメラを均一に配置しなければならない、又は各カメラを所定の局所環境に保たなければならない、という制約がないことである。そのため、観察されるシーンのモデリングの品質を損なうことなく、シーン周囲のカメラの配置を最適化し、カメラの数を減らすことができる。
【0039】
特に、本明細書において、任意のカメラの特定の環境は位置によって定義され、そのカメラに最も近い少なくとも２台のカメラ（例えば、２台のカメラ、３台のカメラ、４台のカメラ、又は基本パターンのカメラ数から「１」を引いた数のカメラ）を考慮して、そのカメラに対するシステム中の他のカメラの方向と距離によって特徴付けられる。
【0040】
例えば、カメラＣ１，Ｃ１’，Ｃ１’’及びＣ１’’’はすべて、Ｃ１によって定義される基本パターンの場所と同じ場所に対応している。これらのカメラＣ１～Ｃ１’’’はそれぞれ独自の局所環境を有し、それはカメラＣ２～Ｃ８によって定義される基本パターンのその他の場所のそれぞれに対応するカメラＣ２～Ｃ２’’’、Ｃ３～Ｃ３’’’、Ｃ４～Ｃ４’’’、Ｃ５～Ｃ５’’’、Ｃ６～Ｃ６’’’、Ｃ７～Ｃ７’’’及びＣ８～Ｃ８’’’の局所環境とは実質的に異なる。
【0041】
この実施形態において、カメラＣ１の局所環境は、カメラＣ１に対する４台のカメラＣ４，Ｃ５，Ｃ７及びＣ３’の方向と距離によって特徴付けられる。
【0042】
したがって、本発明の本実施形態に係る基本パターンを繰り返したカメラメッシュ（網）は、通常のパターン（例えば、シーンを囲む球のような観察面を覆うように繰り返された三角形又は四角形のパターン）によって構成されるカメラメッシュとは異なる。通常のパターンでは、複数のカメラは、一般的に、実質的に同じ局所環境を有し、メッシュの縁にあるカメラは、自ずと特定の局所環境を有する。
【0043】
好ましくは、複数のカメラは、取得され得る情報の質を最大化するために水平方向又は垂直方向に相互に整列されることが好ましい。これは、「フォトサイト」（すなわち、センサ中の光を集める領域又はピクセル）の配列に基づくセンサの水平配置による。
【0044】
特に、カメラのセンサは、通常、横列と該横列に直交する縦列に配置された感光性ピクセルによって構成されている。したがって、「二つのカメラが水平方向に配列されている」というのは、これら二つのカメラが同じ水平面に配置されており、カメラのセンサの横列ピクセルが上記水平面上に位置することをいう。同様に、「二つのカメラが垂直方向に配置されている」というのは、これら二つのカメラが同じ鉛直面に配置されており、カメラのセンサの縦列ピクセルが同じ鉛直面に位置することをいう。したがって、複数対のカメラをこのように配置すると、モデリングアルゴリズムは各対のカメラの中で最適に動作させることができる。
【0045】
図２に示されるように、複数の対Ｃ２－Ｃ３とＣ５－Ｃ６に対して、対をなすカメラはそれらの角度間隔αをシーンの中央で５度から１５度にすることが好ましい。このような間隔は、従来、計算アルゴリズムに対して、良質の立体的情報を取得することができるものと考えられている。
【0046】
角度αを上限値の１５度近くに設定すると、カメラ対によって得られる情報の質を維持しながら、シーンをカバーするために必要なカメラの数を最小にすることができる。
【0047】
３台のカメラ（すなわち、中央カメラと該中央カメラを囲む両側の２つの周辺カメラ）を使用し、三眼視覚ユニットで使用される特定の状況では、対をなすカメラは３つのカメラうちの２台、２つの周辺カメラ又は中央カメラの一方、２つの周辺カメラの一方に対応する。
【0048】
同様に、４台のカメラ（すなわち、四眼ユニットが使用される４台のカメラ）が使用される特定の状況では、カメラ対は、４台のカメラのうちの２台のカメラに相当する。これは、任意のグループのカメラを視覚ユニットとして動作させることにあたる。
【0049】
図２は、図１Ａのカメラ配置における３つの断面（軸Ｃ１－Ｃ１”の鉛直断面と、ＨＰ１とＨＰ２の２つの水平断面）を示す。図２はまた、軸Ｃ１－Ｃ１”に沿った鉛直断面に属するカメラの位置を、軸Ｚを中心とする円筒Ｃｙ上に投影した円筒投影図を示し、カメラＣ１，Ｃ４、Ｃ７，Ｃ８，Ｃ１”，Ｃ４”，Ｃ７”，Ｃ８”がそれぞれ、ＣＰ１，ＣＰ４、ＣＰ７，ＣＰ８，ＣＰ１”，ＣＰ４”，ＣＰ７”，ＣＰ８”に投影されている。
【0050】
図１Ｂ，３Ａ，３Ｃに示された第２実施形態は、図１Ａ，２，３Ｂに示された第１実施形態と、カメラ対Ｃ２－Ｃ３とＣ５－Ｃ６がそれぞれ、平面ＨＰ１よりも下の平面ＨＰ１’と、平面ＨＰ２よりも上の平面ＨＰ２’に配置されている。
【0051】
この点を除いけば、これら２つの実施形態のそれぞれの説明は、互いに他方にも当てはまる。
【0052】
シーンの周囲にカメラを配置する一般指針は以下のとおりである。
【0053】
カメラは、後にシーンを視覚化するうえで、また感度をより良くするうえで、より重要であると考えられる鉛直領域において高密度である。鉛直領域は、容易に覆い隠すことができるシーン部分に対向するからである。
【0054】
したがって、シーンを想定した架空の人（座っている人又は立っている人）の顔の高さに対応する鉛直領域にカメラを集めることが好都合である。
【0055】
また、撮影対象として人又はキャラクタを有するシーンの場合、ほぼ目の高さに配置されたカメラではキャラクタの腕が該キャラクタの顔を覆っているかもしれない。したがって、その近くの高さで、複数の画像を取得する必要がある。そのため、撮影対象が正しくカバーされることを保証するために、複数のカメラが必要である。
【0056】
逆に、キャラクタを上方から下方を眺めて当該キャラクタを上方から撮影する場合、顔の高さから眺める場合よりも邪魔されることがなく、モデリングは難しくない。そのため、品質の良いモデリングを行うために、その高さには比較的少ない数のカメラで十分である。
【0057】
これらの一般的原則は、高い位置にある水平面ＨＰ３，ＨＰ４の鉛直領域に対するよりも、低い位置にある水平面ＨＰ１，ＨＰ１’，ＨＰ２，ＨＰ２’の鉛直領域に対して、より高密度にカメラを配置する、ということにつながる。
【0058】
本発明によれば、複数のカメラ対Ｃ１－Ｃ４，Ｃ７－Ｃ８，Ｃ２－Ｃ３，又はＣ５－Ｃ６は、２つの対応する隣接カメラ対の一方のイントラ・ペア間隔ｅよりも大きい、２つの隣接するカメラ対の間のインタ・ペア間隔（対間間隔）（カメラ対同士の間隔）Ｅ１ａ，Ｅ１ｂ，Ｅ１ｃ，又はＥ２ａを有するように、シーンの周囲に配置される。また、追加のモデリングデータを作るために、演算装置３１０は、例えば第１のカメラ対Ｃ５－Ｃ６のカメラＣ５によって作成される複数の画像、及び第１のカメラ対Ｃ５－Ｃ６に隣接する第２のカメラ対Ｃ１－Ｃ４のカメラＣ４によって作成される複数の画像を比較することによって、立体映像デジタル処理を適用するように構成される。
【0059】
２つのカメラ対のインタ・ペア間隔は、本実施形態では、互いに最も隣接する２つのカメラを問題の２つのカメラ対から離す距離（例えば、Ｅ１ａ）として定義される。このインタ・ペア間隔Ｅ１ａは、カメラＣ４ｔｏＣ７との間の距離に対応し、それはカメラ対Ｃ１－Ｃ４とカメラ対Ｃ７－Ｃ８の間のインタ・ペア間隔を示す。
【0060】
図３Ａは、図１Ｂの複数のカメラ位置１Ｂ，ＣＰ１からＣＰ８、ＣＰ１’からＣＰ８’、ＣＰ１’’からＣＰ８’’、ＣＰ１’’’からＣＰ８’’’の円筒投影点図を展開した図で、この投影図は図２に示される投影図を示し、図３は特に角度部ＡＰのカメラの投影図を示す。
【0061】
以下の説明は角度部ＡＰに限るが、その説明は別の角度部Ａｐ’，ＡＰ’’，ＡＰ’’’にも同様に拡大適用されるものと理解すべきである。
【0062】
図５Ｂに示される表５００は、カメラ間の関係を示し、デジタル処理装置３１０にとしてアクセス可能なファイル形式でコンピュータメモリに記録されている。これらの関係は、関連付けられた二つずつのカメラの画像データ間の比較によって、デジタル画像処理装置が立体映像デジタル処理を提供することを示す。
【0063】
この表は、カメラ対Ｃ１－Ｃ４、Ｃ７－Ｃ８、及びＣ２－Ｃ３のカメラの間の関係Ａを示す。この関係は、図３Ａにおいて、実線（連続する線）の楕円によって示されている。表はまた、異なる対に属するカメラＣ１とＣ２、Ｃ３とＣ１’、Ｃ４とＣ５，Ｃ６とＣ４’，Ｃ４とＣ７、及びＣ２とＣ６との間の関係Ａ’を示し、それは図３Ａに点線の楕円によって示されている。
【0064】
これらの関係Ａ’が追加されていることにより、残りのカメラの数が一定になり、フォトグラメトリによる３Ｄモデリングに利用可能な情報の質を向上させることが可能になる。
【0065】
これらの関係はまた、モデリングや目的に応じてシステムを最適化する責任のある人によって決定され、以下に詳細に説明するように第１実施形態及び第２実施形態に共に有効である。
【0066】
図３Ｃに数字で示される寸法の単位はメートルで、カメラが配置される面の間の距離に対応する。特定のケースでは、図１Ｂに示されるように、シーン１１０の中央に位置するカメラ中心Ｃｓ、径Ｒｓが４メートルの球形を有する仮想面Ｓの面に、カメラが配置されている。
【0067】
当然、カメラの配置は、モデル化されるシーンタイプやモデリングの精度目的に応じて変更される。
【0068】
図３Ｃは、カメラ対Ｃ１－Ｃ４，Ｃ２－Ｃ３，Ｃ５－Ｃ６，及びＣ７－Ｃ８がそれぞれ実質的に同じイントラ・ペア間隔ｅを有することを示している。カメラＣ４とＣ７、Ｃ２とＣ６、Ｃ４とＣ５，及びＣ３とＣ１’の関係のカメラは、それらの間に、Ｅ１ａ、Ｅ１ｂ、Ｅ１ｃ、及びＥ１ｄのインタ・ペア間隔を有する。カメラＣ１とＣ２、及びＣ６とＣ４’の関係のカメラは、それらの間に、それぞれＥ２ａとＥ２ｂのインタ・ペア間隔を有する。
【0069】
インタ・ペア間隔Ｅ１ａ、Ｅ１ｂ、Ｅ１ｃ、及びＥ１ｄは、倍率Ｆ１（少なくとも１．４倍、好ましくは１．５倍で、２．２倍以下、好ましくは１．９倍未満）だけイントラ・ペア間隔ｅよりも大きい。また、インタ・ペア間隔Ｅ２ａとＥ２ｂは、倍率Ｆ２（少なくも１．２倍、好ましくは少なくとも１．４倍で、２．２倍、好ましくは１．９倍未満）だけ、インタ・ペア間隔Ｅ１ａ、Ｅ１ｂ、Ｅ１ｃ、及びＥ１ｄよりも大きい。
【0070】
上記倍率Ｆ１とＦ２により、単一のイントラ・ペア間隔ｅを使用する場合に比べて、必要なカメラの数を大幅に減らすことができる。同時に、単一の値ｅの間隔によって分離されたカメラ対を使用することによって得られる情報とは大幅に異なる情報を、立体映像処理によって得ることが可能になる。
【0071】
このようにカメラ間の間隔を変えることにより、異なる間隔を混ぜ合わせることができ、計算装置によって実行されるモデリングアルゴリズムに使用される情報の質を大幅に上げることができる。
【0072】
しかし、本発明は上述の倍数Ｆ１，Ｆ２に限定されず、ｅ、Ｅ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄ、Ｅ２ａ、及びＥ２ｂは、連続的に変えることができ、カメラ配置に対して一つの値に限るものでなく、重要なことはカメラ間隔を混ぜ合わせることである。
【0073】
カメラ間隔を広範囲に混ぜ合わせる立体情報を得るために、イントラ・ペア間隔ｅは、好ましくは比較的小さく、例えばカメラが配置される球の半径Ｒｓに対する比率ｅ／Ｒｓは０．３５未満、好ましくは０．２６以下、０．０９以上であることが好ましい。
【0074】
本実施形態において、イントラ・ペア間隔ｅとインタ・ペア間隔Ｅ１ａとＥ１ｂはそれぞれ約１ｍ、１．６ｍ、１．７ｍ、本実施形態において、Ｅ１ｃとＥ１ｄは約２ｍ、本実施形態において、Ｅ２ａとＥ２ｂは約３ｍで、球の半径Ｒｓが４ｍのとき、それらの値は１０％内である。
【0075】
図４Ａ－１と図４Ａ－３は、基本パターンを定義するカメラの種々の配置を示し、それぞれは任意の角度幅の角度部をカバーすることができ、それはシーンを部分的に又は完全に囲むようにシーンの周囲に繰り返される。それらの図は、図３Ａと同じ図を用いる。
【0076】
シーンがカメラによって完全に囲まれる必要がある場合、第１及び第２実施形態のように、同じ基本パターンを４回繰り返すことができる。また、３０度、４５度、６０度、１２０度、又は１８０度の角度部をカバーする基本パターをそれぞれ９回、８回、６回、３回、又は２回繰り返しことも可能である。また、複数の基本パターンを任意に組み合わせることも可能である。
【0077】
発明者らは、まず複数対のカメラの水平方向と鉛直方向の混ぜ合わせによって、次に関連するカメラのカメラ間隔の混ぜ合わせによって、所定数のカメラに対して関連するカメラ間に単一の間隔を用いる場合よりも、一般にモデリングアルゴリズムは良質のシーン情報を得て、それによってモデリングを質的に改善されることを確認した。
【0078】
発明者らはまた、第２実施形態のカメラの関係にあるカメラＣ１とＣ２、Ｃ３とＣ１’、Ｃ４とＣ５，及びＣ６とＣ４’のような、実質的に鉛直な相互配置又は実質的に水平な配置を示さないカメラの関係（すなわち、約１度以下の不整合、及び明らかに５度未満の場合）から得られる情報の質の低下は、カメラが配置される面及び情報を得る領域を拡大することによって好適に補正され得ることを確認した。
【0079】
不整合に起因する情報の質的低下を招くことなく、水平及び鉛直からずれた配置の利点から利益を得るために、２つの関連するカメラは、水平面又は鉛直面との間で５度を超えるが２０度を超えない角度、好ましくは１５度を超えない角度を形成する方向に整列されることが好ましい。
【0080】
例えば、図３Ｃに見られるように、水平面ＨＰ１’またはＨＰ２’に対する、カメラＣ４とＣ５、またカメラＣ１とＣ２の不整合角β１とβ２は、第１実施形態に対して第２実施形態の基本パターンによってカバーされる面が拡大する。
【0081】
カバーされる面の拡大は、拡大の利点を有する第２実施形態に対応する図３Ａの角度部ＡＰと、関連するカメラが水平方向又は鉛直方向に整列されている図３Ｂに示される第１実施形態の角度部ＡＰを比較することによって明らかになる。
【0082】
したがって、カメラの配置とカメラの関連は、図３Ａにおける楕円によってカバーされる面から理解できるように、得られた情報がほぼ連続した状態の広い監察面に由来し、図３Ｂに示されるように狭い領域に由来するものでないように定義される。これにより、デジタル処理装置によって実行されるアルゴリズムは、３Ｄモデリングを効果的に実行できる。
【0083】
関連するカメラのカメラ間隔を混ぜ合わせることの別の利点は、モデリング量の増加である。
【0084】
間隔ｅ、Ｅ１ａ、及びＥ２ａを有するカメラに対する図４Ｂの図に示されるように、一対のカメラによって立体測定中に実際に測定される深さの範囲、すなわち、利用可能な情報が得られる深さは、問題の二つのカメラの間の間隔に依存する。
【0085】
僅かな量だけ離れて配置された２つのカメラは、深さＤＡの範囲を見渡す。この範囲は、比較的狭く、図４Ｂの構成Ａによって示されるように、ある方向Ｄｉｒに関してカメラに接近している。さらに離れたカメラ対は、図４Ｂの構成（Ｂ）、（Ｃ）のように、ＤＢ、ＤＣの範囲を見渡し、さらにカメラから離れている。
【0086】
小さな間隔と大きな間隔を組み合わせたカメラ対によって見渡される範囲により、単一の一般的な間隔を有するカメラが使用される場合よりも大きなシーン容積を見渡すことができる。この原理は、構成（Ｄ）によって図的に示されており、この構成（Ｄ）は構成（Ａ）、（Ｂ）、（Ｃ）のカメラ対によって観測される有効観測深度Ｄｅｆｆを示す。
【0087】
上述のフォトグラメトリによって３Ｄモデリングを実行するカメラ配置の利点は、２０～６４台の範囲の多くのカメラ、特に２４～５８台のカメラ、さらに２４～４８台のカメラに対して特に明らかである。
【0088】
図５Ｃは、上述のシステムを用いたフォトグラメトリによる３次元シーンモデリングの方法と、上述の方法を適用した上記シーンの２次元図の作成を示す。
【0089】
ステップＳ１０の間、他のカメラと平行して、各カメラはシーンイメージをそれぞれの場所から取得する。カメラは、同時撮影工程Ｃａｐの間に、それらの画像を取得し、デジタル画像を生成する。
【0090】
ステップＳ２０の間、デジタル処理装置は、図中、符号（Ａ）によって示され、かつカメラ間の関連性に関する図５Ｂの表５００に示される関係にしたがって、カメラ対のそれぞれから得られたデジタル画像に立体映像処理「ステレオ」を適用して、モデリングデータを生成する。
【0091】
本発明によれば、ステップＳ２０の間、また、デジタル処理「ステレオ」と同じ論理レベルで、デジタル処理装置はまた、異なる対に属するが図のＡ７によって示された２つずつの関係に関連付けられたカメラからのデジタル画像に立体映像処理「ステレオ」を適用し、カメラ間の関連性を示す表５００に示された関連性Ａ’を調和させて、追加のモデリングデータを得る。
【0092】
図５Ｃにおいて、ステップＳ１０とＳ２０を繋ぐ実線（途切れていない線）の矢印は、同じカメラ対から得られるデータの使用を示し、点線の矢印は異なるカメラ対からのデータの使用を示す。
【0093】
ステップＳ３０の間、モデリングデータは合成されて、カメラによって観察されたシーンの３Ｄモデルが生成される。
【0094】
ステップＳ１０からＳ３０は、異なるカメラ対に属するカメラの関連性を特定する点、それらの間で計算装置は立体映像処理を適用するという点を別にすれば、フォトグラメトリの分野では知られている方法を実行し、本願発明を適用するために特別な調整を必要としない。
【0095】
ステップＳ３０ｈａ，３Ｄモデリングが適正に終了したことを示す。しかし、任意の視点から観察されたシーンの仮想画像を生成するために上述したモデリングの適用は、ステップＳ４０の間、３Ｄモデルに基づいて、従来の画像３次元化法を使ってシーンの仮想画像を生成することである。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図4A-1】
【図4A-2】
【図4A-3】
【図4B】
【図5A】
【図5B】
【図5C】