(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-10
(45)【発行日】2022-06-20
(54)【発明の名称】プレノプティックカメラを用いた三次元再構成方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20220613BHJP
G06T 7/557 20170101ALI20220613BHJP
H04N 5/225 20060101ALI20220613BHJP
【ＦＩ】
G01B11/24 K
G06T7/557
H04N5/225 410
【請求項の数】
14
(21)【出願番号】P 2018560103
(86)(22)【出願日】2017-05-17
(65)【公表番号】
(43)【公表日】2019-06-20
(86)【国際出願番号】 FR2017051184
(87)【国際公開番号】W WO2017198945
(87)【国際公開日】2017-11-23
【審査請求日】2020-03-17
(31)【優先権主張番号】1654548
(32)【優先日】2016-05-20
(33)【優先権主張国・地域又は機関】FR
【前置審査】
(73)【特許権者】
【識別番号】306047664
【氏名又は名称】サフラン
(74)【代理人】
【識別番号】110001416
【氏名又は名称】特許業務法人 信栄特許事務所
(72)【発明者】
【氏名】ル ギルー、ヤン
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特開２０１４－００７７３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ ７／５５７
Ｈ０４Ｎ ５／２２５
(57)【特許請求の範囲】
【請求項1】
入射光学系（１１０）と、複数の画素を備えたマトリクス光学センサ（１３０）と、前記入射光学系と前記マトリクス光学センサとの間に配置された光学素子（１２１，２２１，３２１，４２１）のマトリクス（１２０，２２０，３３０，４２０）とを備えたプレノプティックカメラを用いた対象面（２００）の三次元再構成の方法であって、前記方法は、
前記プレノプティックカメラのオブジェクトフィールドの一連のポイント（以下、サンプリングポイント（Ｐｊ））の三次元座標を決定するステップと、
各サンプリングポイント（Ｐｊ）に前記マトリクス光学センサの少なくとも２つの画素（ｐｋ）の組を関連付けた較正データを決定するステップと、
前記プレノプティックカメラのオブジェクトフィールドを拡張した三次元格子（以下、再構成格子）を定義するステップと、ここで、前記再構成格子の各ポイントが１以上のサンプリングポイント（Ｐｊ）に関連付けられており、
前記プレノプティックカメラ（１００）によって前記対象面の少なくとも１つの画像を取得するステップ（４０１）と、
前記較正データ及び前記対象面の少なくとも１つの画像から、前記再構成格子の各ポイントに対して１以上の分散の関数である非類似度（Ｃｎ）の値を計算するステップ（４０２）と、ここで、各分散は、前記再構成格子の前記ポイントに関連付けられたサンプリングポイント（Ｐｊ）に関連付けられた画素若しくは前記再構成格子の前記ポイントに関連付けられた複数のサンプリングポイント（Ｐｊ）のうち１つに関連付けられた画素によって、前記対象面の画像上で取られた強度値間の距離を示し、
各々に前記非類似度（Ｃｎ）の値が割り当てられた前記再構成格子のポイントの三次元分布を決定するステップ（４０３）と、
各々に前記非類似度（Ｃｎ）の値が割り当てられた前記再構成格子のポイントの前記三次元分布を用いつつ、前記プレノプティックカメラの前記オブジェクトフィールドを拡張し、前記非類似度（Ｃｎ）の最小蓄積値に関連する面を探索することで、前記対象面の三次元再構成を行うステップ（４０４）と、を含み、
前記サンプリングポイント（Ｐ ｊ ）の三次元座標を決定するステップ及び前記較正データを決定するステップは、
前記光学素子のマトリクスの光学素子（１２１，２２１，３２１，４２１）および当該光学素子に関連付けられたマトリクス光学センサの画素（ｐ ｋ ）の各カップルに対して、前記光学素子の光学的中心と前記画素の中心を結ぶイメージレイ（Ｒ’ ｉ ）を決定するステップと、
このように決定された各イメージレイ（Ｒ’ ｉ ）に対して、前記入射光学系（１１０）によって前記イメージレイに共役した対応するオブジェクトレイ（Ｒ ｉ ）を計算するステップと、
前記プレノプティックカメラのオブジェクトフィールドに位置する少なくとも２つのオブジェクトレイ（Ｒ ｉ ）間の全ての交点（Ｐ ｊ ）を決定するステップと、ここで、当該交点が前記サンプリングポイントを形成し、
各サンプリングポイントに対して、少なくとも２つの対応するオブジェクトレイを特定することによって前記較正データを決定するステップと、を含み、
前記オブジェクトレイは、少なくとも２つのイメージレイ及び前記マトリクス光学センサ（１３０）の少なくとも２つの画素（ｐ ｋ ）に関連付けられている、
方法。
【請求項2】
前記再構成格子のポイントは、前記サンプリングポイント（Ｐｊ）で構成され、前記再構成格子のポイントの非類似度（Ｃｎ）は、前記対応するサンプリングポイント（Ｐｊ）に関連付けられた画素によって前記対象面の画像上で取られる強度値間の分散の関数である、請求項１に記載の方法。
【請求項3】
前記再構成格子は規則格子であり、前記再構成格子の各ポイントに対して非類似度（Ｃｎ）の値を計算するステップは、
サンプリングポイントから所定のしきい値より大きい距離だけ離れて配置された前記再構成格子の全てのポイントに同一の非類似度の値（以下、極値）を帰属させるステップと、
前記再構成格子の他のポイントの各々に関して、前記再構成格子のポイントに関連付けられた各サンプリングポイントに対して前記サンプリングポイントに関連付けられた画素によって前記対象面の画像上で取られる強度値間の分散及び前記非類似度を得るために計算されたいくつかの分散の組み合わせを計算するステップと、
を含む、請求項１に記載の方法。
【請求項4】
前記三次元再構成は、前記非類似度（Ｃｎ）の値の最小累積値に関連付けられた一連の前記再構成格子のポイントを通過する前記プレノプティックカメラ（１００）のオブジェクトフィールド内に位置する面（２００’）の検索を実行する、請求項１から３のうちいずれか一項に記載の方法。
【請求項5】
前記三次元再構成（４０４）は、最小カットのアルゴリズムを実行する、請求項１から４のうちいずれか一項に記載の方法。
【請求項6】
前記三次元再構成（４０４）は、前記光学素子のマトリクスの光学素子（１２１，２２１，３２１，４２１）のサブセットを考慮した上でダイナミックプログラミングアルゴリズムを実行する、請求項１から４のうちいずれか一項に記載の方法。
【請求項7】
前記サンプリングポイント（Ｐｊ）の三次元座標を決定するステップ及び前記較正データを決定するステップは、前記プレノプティックカメラ（１００）のオブジェクトフィールドにおける光点を変位させるステップと、
前記光点の各位置に対して、前記マトリクス光学センサ（１３０）上の少なくとも２つの照明された画素（ｐｋ）の有無を判断することで前記サンプリングポイント（Ｐｊ）を特定するステップと、
こうして特定された各サンプリングポイント（Ｐｊ）に対して前記少なくとも２つの照明された画素（ｐｋ）を特定することで、前記マトリクス光学センサの少なくとも２つの画素の対応する組を決定するステップと、を含む、請求項１から６のうちいずれか一項に記載の方法。
【請求項8】
前記対象面の画像を取得するステップは、プレノプティックカメラによって行なわれ、前記プレノプティックカメラでは、
光学素子のマトリクス（２２０）の前記光学素子（２２１）の光学的中心は、分布格子（６４０）に従って、前記分布格子の第１系列の直線（６４１）と第２系列の直線（６４２）との交点に分布し、
前記分布格子の第１系列線の線（６４１）は、不規則な間隔で分布し、及び／又は、
前記分布格子の第２系列線の線（６４２）は、不規則な間隔で分布している、
請求項１から７のうちいずれか一項に記載の方法。
【請求項9】
前記対象面の画像を取得するステップは、プレノプティックカメラによって行なわれ、前記プレノプティックカメラでは、
前記分布格子（６４０）の第１系列の線（６４１）のうち２つの直接隣接する線間の距離が、第１の平均値の９５％から１０５％の間であって、及び／又は、
前記分布格子（６４０）の第２系列の線（６４２）のうち２つの直接隣接する線間の距離が、前記第１の平均値に等しくあり得る第２の平均値の９５％から１０５％の間にある、請求項８に記載の方法。
【請求項10】
前記対象面の画像を取得するステップは、プレノプティックカメラによって行なわれ、前記分布格子（６４０）の第１系列の線（６４１）のうち２つの直接隣接する線間の距離が、ランダムに分布している、及び／又は、
前記分布格子（６４０）の第２系列の線（６４２）のうち２つの直接隣接する線間の距離が、ランダムに分布している、請求項８または９に記載の方法。
【請求項11】
前記対象面の画像を取得するステップは、プレノプティックカメラによって行なわれ、前記プレノプティックカメラでは、
前記光学素子のマトリクス（３２０）の前記光学素子（３２１）の光学的中心は、分布格子（７４０）に従って、前記分布格子の第１系列の線と第２系列の線との交点に分布し、
前記分布格子が前記入射光学系（１１０）によってイメージングされるオブジェクト格子（７５０）は、互いに平行な第１系列の直線と、互いに平行であると共に前記第１系列線の線に交差する第２系列の直線によって構成され、
前記分布格子（７４０）の第１系列の線と第２系列の線が複数の曲線を含む、
請求項１から１０のうちいずれか一項に記載の方法。
【請求項12】
前記対象面の画像を取得するステップは、プレノプティックカメラによって行なわれ、前記プレノプティックカメラでは、
前記オブジェクト格子の第１系列線の線が不規則な間隔で分布し、及び／又は、
前記オブジェクト格子の第２系列線の線が不規則な間隔で分布している、
請求項１１に記載の方法。
【請求項13】
前記対象面の複数の照明条件に関連付けられた、前記プレノプティックカメラ（１００）による前記対象面のいくつかの画像を取得するステップを含み、前記再構成格子の各ポイントと関連する非類似度は、同一のサンプリングポイントに関連付けられると共に、前記照明条件の各々に関連付けられた分散を組み合わせることによって得られる、請求項１から１２のうちいずれか一項に記載の方法。
【請求項14】
プレノプティックカメラ（１００）を備え、請求項１から１３のうちいずれか一項に記載の方法のステップを実行するように構成された三次元再構成装置であって、較正データを記憶するためのメモリと、
前記サンプリングポイントの三次元座標及び前記較正データを決定し、
前記プレノプティックカメラおよび前記較正データによって取得された画像を入力部で受け取り、
前記再構成格子の各ポイントに対して前記非類似度（Ｃｎ）の値を計算し、
各々に非類似度（Ｃｎ）の値が割り当てられた前記再構成格子のポイントの三次元分布を決定し、
前記対象面の三次元再構成を出力部で提供する、
ように構成された計算手段と、
を備える、三次元再構成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元シーンを取得するためのプレノプティックカメラの分野に関する。
【0002】
より詳細には本発明は、そのようなカメラを用いた三次元再構成方法の分野に関する。
【0003】
対象面（surface of interest）の三次元再構成は、この面のポイントの三次元座標の推定を提供することからなる。
【背景技術】
【0004】
プレノプティックカメラは、単一の感光性センサを用いて相当なコンパクトさをもたらす三次元ビジョンシステムである。
【0005】
特許文献１は、そのようなカメラの特定的な一例を記載している。
【0006】
プレノプティックカメラは、いくつかの画素がオブジェクト空間内の同じポイントに関連する二次元画像を取得するように構成される。
【0007】
図１Ａ乃至１Ｃは、従来技術によるプレノプティックカメラ１００と三次元再構成方法を模式的に示す。
【0008】
プレノプティックカメラ１００は、撮像対象物または対象面２００から来る光線を受けるように構成された入射光学系１１０を備える。
【0009】
入射光学系１１０は単一のレンズによって構成され得る。
【0010】
変形例として、入射光学系１１０は、対象面２００から入射光学系方向への光の伝播軸に則して相前後して配置された一組のレンズによって構成されてもよい。
【0011】
入射光学系１１０は、オブジェクト空間πと、光学素子のマトリクス１２０を受ける画像面π’との光学共役を達成する。
【0012】
光学素子１２１は例えば、画像面π’内に共面に分布したマイクロレンズまたはピンホールである。
【0013】
マイクロレンズ１２１はそれぞれ、例えば、隣接するマイクロレンズ間の距離を減少させるために非円形の断面を有してよい。これらは、平凸、両凸、非球面マイクロレンズなどであり得る。
【0014】
光学素子１２１はそれぞれ、対象面２００から出力され入射光学系１１０を通過した光線を受ける。
【0015】
光学素子１２１を通過した後で、光線はマトリクス光学センサ１３０まで拡散する。
【0016】
マトリクス光学センサ１３０は、光子の入射流を電気信号に変換して画像を形成するように構成された、例えばセンサＣＣＤタイプの感光性センサである。
【0017】
マトリクス光学センサ１３０の検出面は、好ましくは行と列に配置された複数の画素で構成される。
【0018】
マトリクス光学センサは、マトリクス１２０の付近、例えば光学素子１２１の後面より０．４から０．６ｍｍ後ろに配置されている（入射光学系の光軸に従って測定された距離）。
【0019】
光学素子のマトリクス１２０は、対象面から出て入射光学系を通過した光線を、マトリクス光学センサ１３０の画素上に分布させるように構成される。
【0020】
マトリクス光学センサの画素の選択は、各光学素子１２１に対応する。対象面２００から出た光線は、これらの画素のうち１つに、光学素子１２１へのそれらの入射角の関数として向けられる。
【0021】
同じ光学素子と関連付けられた前記画素の選択がマクロ画素１３１を形成する。
【0022】
好ましくは、異なるマクロ画素間での重複はない。この重複は、特に、入射光学系１１０と光学素子１２１の焦点距離の適切な選択によって回避される。
【0023】
こうして、対象面２００の同一ポイントから出た光線は、入射光学系１１０を通り、光学素子のマトリクス１２０を通って、マトリクス光学センサ１３０の異なる画素まで伝播する。
【0024】
図１Ａは、オブジェクト空間π内に位置する対象面２００のポイント２００１から出た光線のアウトラインを示す。このポイントの画像は、画像面π’内に、光学素子１２１の光学的中心に位置している。光線は、光学素子１２１への光線の入射角の関数として、対応するマクロ画素１３１の画素のうち１つまたは他の画素まで伝播する。
【0025】
このポイント２００１に関連付けられたマトリクス光学センサ１３０の画素は全て、この同じマクロ画素１３１に属する。
【0026】
図１Ｂは、オブジェクト空間πの外部に、この面から距離Ｄ１だけ下流に位置する対象面２００のポイント２００２から出た光線のアウトラインを示す。このポイントの画像は画像面π’の外部に位置している。光線は、ポイント２００２から異なる光学素子１２１の光学的中心を通過してこのポイントの画像のほうに伝播する。
【0027】
このポイント２００２に関連付けられたマトリクス光学センサ１３０の画素は全て異なるマクロ画素１３１に属し、幅Ｌ１の面にわたって分散される。
【0028】
図１Ｃは、オブジェクト空間πの外部に、この面から、Ｄ１より大きい距離Ｄ２だけ下流に位置する対象面２００のポイント２００３から出た光線のアウトラインを示す。このポイントの画像は画像面π’の外部に位置している。光線は、ポイント２００３から異なる光学素子１２１の光学的中心を通過してこのポイントの画像のほうに伝播する。
【0029】
このポイント２００３に関連付けられたマトリクス光学センサ１３０の画素は全て異なるマクロ画素１３１に属し、Ｌ１より大きい幅Ｌ２の面にわたって分散される。
【0030】
こうして、対象面の同じポイントに関連付けられたマトリクス光学センサの画素の空間内での分散は、このポイントとオブジェクト空間πの間の距離に関連付けられる。
【0031】
この距離は、このポイントの深さの座標に対応する。
【0032】
深さ座標と、マトリクス光学センサの画素への分散との依存性を探求する、異なる三次元再構成方法が従来技術から知られている。
【0033】
これはエピポーラ画像の再構成に関する。
【0034】
これは、プレノプティックカメラによって取得された画像から、光学素子１２１の同じ行ならびにセンサのマクロ画素１３１の関連する行に関連付けられた画像の画素の分布を鋭敏に認識することに関する。
【0035】
画像の画素の一連の列は特に、マクロ画素１３１の各行に関連付けられた画像の画素から形成され得る。画像の画素の各列はセンサのマクロ画素に対応し、その場合画素はマクロ画素上の画素の位置の関数として配置されている。
【0036】
オブジェクト空間内に位置するポイントがイメージングされる場合（図１Ａ）、このポイントに関連付けられた画像の画素は画素の同じ列に属する。
【0037】
オブジェクト空間の外部に位置するポイントがイメージングされる場合（図１Ｂまたは１Ｃ）、このポイントに関連付けられた画像の画素は画素の隣接する列に属し、合同して傾斜したセグメントを形成する。このセグメントの傾斜は、プレノプティックカメラのオブジェクトフィールドにおけるポイントの深さ座標を生成する。
【0038】
そのような方法の一例が、論文（非特許文献２）に記載されている。
【0039】
この方法の欠点は、マクロ画素１３１と光学素子１２１によって１つのセグメントのみが形成されるということである。したがって、光学素子１２１によって単一の深さ座標のみが得られる三次元再構成の分解能はかなり低い。
【先行技術文献】
【特許文献】
【0040】
【文献】仏国特許出願公開第１５５８３３８号明細書
【非特許文献】
【0041】
【文献】Sven Wanner, Janis GehrおよびBernd Jaehne ,“Generating EPI Representations of 4D Light Fields with a Single Lens Focused Plenoptic Camera”, ISVC 2011, Part I, LNCS 6938, pp 90-101
【発明の概要】
【発明が解決しようとする課題】
【0042】
本発明の目的は、プレノプティックカメラによって取得される画像を用いて、光学素子のマトリクスの分解能よりも良い分解能を提供する三次元再構成方法を提供することである。
【課題を解決するための手段】
【0043】
この目的は、入射光学系と、複数の画素を備えたマトリクス光学センサと、入射光学系とマトリクス光学センサの間に配置された光学素子のマトリクスを備えたプレノプティックカメラを用いた対象面の三次元再構成の方法で達成される。
【0044】
本発明による方法は以下のステップを含む：
－プレノプティックカメラのオブジェクトフィールドの一連のポイント、所謂サンプリングポイントの三次元座標の決定のステップと、
－各サンプリングポイントにマトリクス光学センサの少なくとも２つの画素の組を関連付けた、較正データの決定のステップと、
－プレノプティックカメラのオブジェクトフィールドに延在する三次元格子、所謂再構成格子を定義し、各ポイントが１つ以上のサンプリングポイントに関連付けられているステップと、
－プレノプティックカメラによる、対象面の少なくとも１つの画像の取得のステップと、
－再構成格子の各ポイントに関する、較正データと、対象面の画像からの、非類似度の値の計算のステップであって、その非類似度の値は、１つ以上の分散の関数であり、各分散は、再構成格子の前記ポイントに関連付けられた１つのサンプリングポイント（Ｐｊ）または複数のサンプリングポイント（Ｐｊ）のうち１つに関連付けられた画素によって対象面の画像上で取られた強度値間の分散であるステップと、
それぞれが非類似度の独自の値を割り当てられている、再構成格子のポイントの三次元分布の決定のステップと、
対象面の三次元再構成のステップ。
－プレノプティックカメラのオブジェクトフィールドの一連のポイント、所謂サンプリングポイントの三次元座標の決定のステップと、
－各サンプリングポイントにマトリクス光学センサの少なくとも２つの画素の組を関連付けた、較正データの決定のステップと、
－プレノプティックカメラのオブジェクトフィールドに延在する三次元格子、所謂再構成格子を定義し、各ポイントが１つ以上のサンプリングポイントに関連付けられているステップと、
－プレノプティックカメラによる、対象面の少なくとも１つの画像の取得のステップと、
－再構成格子の各ポイントに関する、較正データと、対象面の画像からの、非類似度の値の計算のステップであって、その非類似度の値は、１つ以上の分散の関数であり、各分散は、再構成格子の前記ポイントに関連付けられた１つのサンプリングポイント（Ｐｊ）または複数のサンプリングポイント（Ｐｊ）のうち１つに関連付けられた画素によって対象面の画像上で取られた強度値間の分散であるステップと、
それぞれが非類似度の独自の値を割り当てられている、再構成格子のポイントの三次元分布の決定のステップと、
対象面の三次元再構成のステップ。
【0045】
これはポイントのサンプリングに関するが、それは、それらが、プレノプティックカメラの全オブジェクトフィールドのポイントの空間におけるサンプリングを実行するからである。
【0046】
再構成格子の各ポイントは、１つ以上のサンプリングポイントに関連付けられている。
【0047】
用語「再構成格子」は、空間内に分布したポイントのクラウドを指す。
【0048】
これは、不規則格子である可能性があり、ポイントは例えば、サンプリングポイント自体によって構成される。
【0049】
変形例として、これは規則格子である可能性があり、ポイントは、要素体積画素によって画定される規則的な噛み合い（meshing）に従って空間内に分布している。再構成格子の各ポイントは、１つ以上の隣接するサンプリングポイント、すなわち、空間内で最も近接している１つのサンプリングポイントまたは複数のサンプリングポイントに関連付けられている。
【0050】
いずれの場合も、再構成格子のポイントの数は、サンプリングポイントの数以上である。
【0051】
各分散は１つのサンプリングポイントに関連する。
【0052】
特に、これは、取得された画像上のこのサンプリングポイントに関連付けられた画素によって取られる強度値の分散である。
【0053】
分散は、大体互いに対する、または選択された中央値または平均値に対する一連の項の実質的な距離を表す。
【0054】
２つの強度値の間での分散は、例えばこれらの２つの強度値の間での差または偏差、または、この差または偏差が増加すると値が増える関数を示す。
【0055】
３つまたはそれ以上の強度値の間での分散は、例えばこれらの３つまたはそれ以上の強度値の間での標準偏差、または、この差または偏差が増加すると値が増える関数を示す。一変形例として、標準偏差は、各強度値と、前記３つまたはそれ以上の強度値の平均値との差の絶対値の任意の他の関数と置換され得る。
【0056】
こうして、強度値の分散は、例えば、２つの値の間の偏差、または３つ以上の値の間の標準偏差を示し得る。
【0057】
分散が低いことは、画素が、対象面の同じポイントから生じた光線を受けている可能性が高く、したがって、サンプリングポイントが対象面に属するという可能性が高いことに対応する。
【0058】
分散が高いことは、画素が、対象面の同じポイントから生じた光線を受けている可能性が低く、したがって、サンプリングポイントが対象面に属するという可能性が低いことに対応する。
【0059】
再構成格子のポイントに関連付けられた非類似度の値は、再構成格子のポイントが１つのサンプリングポイント、またはそれ以上のサンプリングポイントに関連付けられているかによって、そのような分散の関数であるか、または、そのような分散の組み合わせの関数である。
【0060】
対象面に属している可能性が高い、またはその可能性が低い再構成格子のポイントが特定され得る。
【0061】
したがって再構成の分解能は、再構成格子のポイントの数に依存し、光学素子のマトリクスの光学素子の数によっては限定されない。
【0062】
これは、光学素子のマトリクスの分解能よりも高い分解能を提供する三次元再構成方法を容易にもたらす。
【0063】
特に、この分解能は、光学素子のマトリクスの分解能より少なくとも５０倍高くなり得る。
【0064】
各サンプリングポイントは、プレノプティックカメラのオブジェクトフィールドに配置され、マトリクス光学センサの少なくとも２つの画素に関連付けられている。言い換えると、これは、この時点で入射システムと光学素子を通してそれぞれマトリクス光学センサの画素まで拡散している２つの光線の、プレノプティックカメラのオブジェクトフィールドに位置する交点である。
【0065】
サンプリングポイントは、オブジェクト空間から下流に、および／またはオブジェクト空間から上流に、および／またはオブジェクト空間内に、プレノプティックカメラのオブジェクトフィールド内に延在する。言い換えると、本発明による方法は、オブジェクト空間から下流に、および／またはオブジェクト空間から上流に、および／またはオブジェクト空間内に延在し得る対象面の三次元再構成を実行する。
【0066】
本発明の第１の実施形態によれば、再構成格子のポイントはサンプリングポイントで構成され、再構成格子のポイントの非類似度は、対応するサンプリングポイントに関連付けられた画素によって対象面の画像上で取られる強度値間の分散の関数である。
【0067】
変形例として、再構成格子は規則格子であり、各再構成格子のポイントに関する、非類似度の値の計算ステップは：
－サンプリングポイントから、所定のしきい値より大きい距離だけ離れて配置された全ての再構成格子のポイントへの、同じ非類似度の値、所謂極値の帰属、
－再構成格子の他のポイントそれぞれにつき、再構成格子のこのポイントに関連付けられた各サンプリングポイントに関して、前記サンプリングポイントに関連付けられた画素によって対象面の画像上で取られる強度値と、非類似度を得るために計算されたいくつかの分散の組み合わせの間の分散の計算、
を含む。
－サンプリングポイントから、所定のしきい値より大きい距離だけ離れて配置された全ての再構成格子のポイントへの、同じ非類似度の値、所謂極値の帰属、
－再構成格子の他のポイントそれぞれにつき、再構成格子のこのポイントに関連付けられた各サンプリングポイントに関して、前記サンプリングポイントに関連付けられた画素によって対象面の画像上で取られる強度値と、非類似度を得るために計算されたいくつかの分散の組み合わせの間の分散の計算、
を含む。
【0068】
好ましくは、三次元再構成は、非類似度の値の最小累積値に関連付けられた一連の再構成格子のポイントを通過する、プレノプティックカメラのオブジェクトフィールド内に位置する面の検索を実行する。
【0069】
三次元再構成は最小カットのアルゴリズムを実行できる。
【0070】
変形例として、三次元再構成は、光学素子のマトリクスの光学素子のサブセットを考慮してダイナミックプログラミングアルゴリズムを実行できる。
【0071】
サンプリングポイントの三次元座標の決定のステップおよび較正データの決定のステップは有利には以下のサブステップを含む：
－光学素子のマトリクスの光学素子と、この光学素子に関連付けられたマトリクス光学センサの画素の各カップルに関して、光学素子の光学的中心と画素の中心を繋ぐイメージレイの決定、
－こうして決定された各イメージレイに関して、入射光学系によってイメージレイに共役した対応するオブジェクトレイの計算、
－プレノプティックカメラのオブジェクトフィールドに位置する少なくとも２つのオブジェクトレイ間の全ての交点の決定、これらの交点がサンプリングポイントを形成する、
－各サンプリングポイントについて、少なくとも２つの対応するオブジェクトレイを特定することによる較正データの決定、これらのオブジェクトレイ自体が少なくとも２つのイメージレイ、およびマトリクス光学センサの少なくとも２つの画素に関連付けられている。
－光学素子のマトリクスの光学素子と、この光学素子に関連付けられたマトリクス光学センサの画素の各カップルに関して、光学素子の光学的中心と画素の中心を繋ぐイメージレイの決定、
－こうして決定された各イメージレイに関して、入射光学系によってイメージレイに共役した対応するオブジェクトレイの計算、
－プレノプティックカメラのオブジェクトフィールドに位置する少なくとも２つのオブジェクトレイ間の全ての交点の決定、これらの交点がサンプリングポイントを形成する、
－各サンプリングポイントについて、少なくとも２つの対応するオブジェクトレイを特定することによる較正データの決定、これらのオブジェクトレイ自体が少なくとも２つのイメージレイ、およびマトリクス光学センサの少なくとも２つの画素に関連付けられている。
【0072】
付加的にまたは変形例として、サンプリングポイントの三次元座標の決定と較正データの決定のステップは、有利には以下のサブステップを含む：
－プレノプティックカメラのオブジェクトフィールドにおける光点の変位、
－光点の各位置に関して、サンプリングポイントを特定するために、マトリクス光学センサ上の少なくとも２つの照明された画素の存在または欠如の判断、
－こうして特定された各サンプリングポイントに関して、対応する少なくとも２つの組のマトリクス光学センサの画素を決定するために、少なくとも２つの照明された画素の特定。
－プレノプティックカメラのオブジェクトフィールドにおける光点の変位、
－光点の各位置に関して、サンプリングポイントを特定するために、マトリクス光学センサ上の少なくとも２つの照明された画素の存在または欠如の判断、
－こうして特定された各サンプリングポイントに関して、対応する少なくとも２つの組のマトリクス光学センサの画素を決定するために、少なくとも２つの照明された画素の特定。
【0073】
対象面の画像の取得ステップは、プレノプティックカメラによって行なわれてよく、プレノプティックカメラでは、
－光学素子のマトリクスの光学素子の光学的中心は、分布格子（distribution grid）に従って、この分布格子の第１系列の直線と第２系列の直線との交点に分布し、
－分布格子の第１系列線の線は不規則な間隔で分布している、および／または第２系列線の線は不規則な間隔で分布している。
－光学素子のマトリクスの光学素子の光学的中心は、分布格子（distribution grid）に従って、この分布格子の第１系列の直線と第２系列の直線との交点に分布し、
－分布格子の第１系列線の線は不規則な間隔で分布している、および／または第２系列線の線は不規則な間隔で分布している。
【0074】
特に、対象面の画像の取得ステップは、分布格子の第１系列の線の２つの直接隣接する線間の距離が第１の平均値の９５％から１０５％の間である、および／または、分布格子の第２系列の２つの直接隣接する線間の距離が、第１の平均値に等しくあり得る第２の平均値の９５％から１０５％の間にあるプレノプティックカメラによって実行され得る。
【0075】
付加的にまたは変形例として、対象面の画像の取得ステップは、分布格子の第１系列の線の２つの直接隣接する線間の距離がランダムに分布している、および／または分布格子の第２系列の線の２つの直接隣接する線間の距離がランダムに分布しているプレノプティックカメラによって実行され得る。
【0076】
対象面の画像の取得ステップはプレノプティックカメラによって行なわれてよく、プレノプティックカメラでは、
－光学素子のマトリクスの光学素子の光学的中心が、分布格子に従って、この分布格子の第１系列の線と第２系列の線との交点に分散され、
－その分布格子が入射光学系による画像であるオブジェクト格子が、互いに平行な第１系列の直線と、互いに平行であり、第１系列線の線に交差する第２系列の直線によって構成され、
分布格子の第１系列の線と第２系列の線が複数の曲線を含む。
－光学素子のマトリクスの光学素子の光学的中心が、分布格子に従って、この分布格子の第１系列の線と第２系列の線との交点に分散され、
－その分布格子が入射光学系による画像であるオブジェクト格子が、互いに平行な第１系列の直線と、互いに平行であり、第１系列線の線に交差する第２系列の直線によって構成され、
分布格子の第１系列の線と第２系列の線が複数の曲線を含む。
【0077】
有利な実施形態によれば、対象面の画像の取得ステップは、オブジェクト格子の第１系列線の線が不規則な間隔で分布しているおよび／またはオブジェクト格子の第２系列線の線が不規則な間隔で分布しているプレノプティックカメラによって行なわれる。
【0078】
本発明による方法は、プレノプティックカメラによる、対象面の複数の照明条件に関連付けられた、対象面のいくつかの画像の取得を含み得るものであり、各再構成格子のポイントと関連する非類似度が、同じサンプリングポイントに関連付けられた、また、いくつかの照明条件それぞれに関連付けられた分散を組み合わせることによって得られる。
【0079】
本発明は、プレノプティックカメラを備え、本発明による方法のステップを実行するように構成された三次元再構成装置にも関し、
－較正データを記憶するためのメモリと、
－サンプリングポイントの三次元座標ならびに較正データを決定し、プレノプティックカメラによって取得された画像および較正データを入力部で受け取り、各再構成格子のポイントに関して非類似度の値を計算し、それぞれが自身の非類似度の値を割り当てられた再構成格子のポイントの三次元分布を決定し、対象面の三次元再構成を出力部で提供するように構成された計算手段と、
を備える。
－較正データを記憶するためのメモリと、
－サンプリングポイントの三次元座標ならびに較正データを決定し、プレノプティックカメラによって取得された画像および較正データを入力部で受け取り、各再構成格子のポイントに関して非類似度の値を計算し、それぞれが自身の非類似度の値を割り当てられた再構成格子のポイントの三次元分布を決定し、対象面の三次元再構成を出力部で提供するように構成された計算手段と、
を備える。
【0080】
本発明は、添付図面を参照した、純粋に提示のために提供され限定的ではない実施形態の記述からより明確に理解されよう。
【図面の簡単な説明】
【0081】
【図1A】プレノプティックカメラの模式図である。
【図1B】プレノプティックカメラの模式図である。
【図1C】プレノプティックカメラの模式図である。
【図2】本発明によるサンプリングポイントの模式図である。
【図3】本発明によるサンプリングポイントの詳細図である。
【図4】本発明による方法のステップの模式図である。
【図5A】本発明による方法で用いられる光学素子のマトリクスの第１の実施形態を示す図である。
【図5B】プレノプティックカメラのオブジェクトフィールドにおけるサンプリングポイントの対応する分布の図である。
【図6A】本発明による方法で用いられる光学素子のマトリクスの第２の実施形態を示す図である。
【図6B】プレノプティックカメラのオブジェクトフィールドにおけるサンプリングポイントの対応する分布の図である。
【図7A】本発明による方法で用いられる光学素子のマトリクスの第３の実施形態を示す図である。
【図7B】本発明による方法で用いられる光学素子のマトリクスの第３の実施形態を示す図である。
【図8】本発明による方法で用いられる光学素子のマトリクスの第４の実施形態を示す図である。
【発明を実施するための形態】
【0082】
本発明の基礎となる概念は、マトリクス光学センサの画素のスケールに作用することからなり、もはやマクロ画素のスケールには作用することにはない。
【0083】
図２はプレノプティックカメラ１００を模式的に示す。
【0084】
各光学素子１２１に、マクロ画素１３１と、この光学素子１２１の光学的中心を通る直線で拡散する複数のイメージレイＲ’ｉが対応する。
【0085】
各イメージレイＲ’ｉは入射光学系１１０の画像空間内で、直線状に拡散して、光学素子１２１の光学的中心を通過し、対応するマクロ画素１３１の画素の中心ｐｋを通過する。
【0086】
入射光学系１１０の画像空間は、対象面から入射光学系への光の伝播方向に従って、入射光学系から下流に配置された空間を規定する。
【0087】
光学素子１２１がピンホールである場合、光学的中心は、ピンホールを形成するホールの幾何学的中心を指す。
【0088】
光学素子１２１がマイクロレンズである場合、光学的中心はマイクロレンズの光軸に位置し、このポイントでの光線入射がこのマイクロレンズによって外れないように、マイクロレンズのポイントに対応する。
【0089】
各イメージレイＲ’ｉには、入射光学系１１０のオブジェクト空間に位置する、入射光学系１１０によってイメージレイＲ’ｉから共役されたオブジェクトレイＲｉが対応する。
【0090】
入射光学系１１０のオブジェクト空間は、対象面から入射光学系への光の伝播方向に従って、入射光学系から上流に配置された空間を規定する。
【0091】
マトリクス１２０の全光学素子１２１に関連付けられたオブジェクトレイＲｉの組は、入射光学系１１０のオブジェクト空間に位置する多数の交点ｐｊを画定する。
【0092】
これらの交点Ｐｊが、入射光学系１１０のオブジェクト空間のサンプリングポイント、より特定的にはプレノプティックカメラのオブジェクトフィールドのサンプリングポイントを形成する。
【0093】
プレノプティックカメラのオブジェクトフィールドは、その視野を規定し、それは、入射光学系から上流に位置する空間であり、プレノプティックカメラによってイメージングされ得る空間である。
【0094】
交点ｐｊはマトリクス光学センサ上でイメージングされたポイントに対応するため、それらはプレノプティックカメラのオブジェクトフィールド内に位置している。
【0095】
各サンプリングポイントＰｊは、少なくとも２つのオブジェクトレイＲｉに関連付けられ、したがって、イメージレイＲ’ｉおよびマトリクス光学センサの対応する画素ｐｋに関連付けられている。
【0096】
本発明の基礎となる概念は、プレノプティックカメラについて、特にこれらの全サンプリングポイントを箇条書きにし（itemizing）、また、これらのサンプリングポイントそれぞれについて、少なくとも２つの関連するマトリクス光学センサの画素を箇条書きにすることからなる。
【0097】
次に、プレノプティックカメラによって取得された画像上の所定の画素を比較することは、どのサンプリングポイント付近が対象面を通るかということを特に示し得る。
【0098】
これらのサンプリングポイントＰｊの三次元座標の決定、また、これらの各ポイントに関する、関連する画素ｐｋの決定が、プレノプティックカメラ１００の較正の予備的ステップで実行される。
【0099】
実際、これらのデータはプレノプティックカメラ１００の光学的および幾何学的特性の関数である。
【0100】
この較正は、光学素子のマトリクスとマトリクス光学センサの幾何形状から全てのイメージレイＲ’ｉを計算し、次に、全ての対応するオブジェクトレイＲｉを、また最終的に、プレノプティックカメラのオブジェクトフィールドにおけるオブジェクトレイ間の全ての交点を計算することによって達成され得る。
【0101】
第１のステップで、オブジェクトレイ間の交点の三次元座標が、プレノプティックカメラのオブジェクトフィールド内で決定され、これらの交点はサンプリングポイントＰｊを形成している。
【0102】
第２のステップで、各サンプリングポイントＰｊは少なくとも２つの対応するマトリクス光学センサ１３０の画素と関連付けられる。それぞれが少なくとも２つの対応するマトリクス光学センサ１３０の画素に関連付けられたサンプリングポイントＰｊによって形成される組が較正データを形成する。
【0103】
付加的にまたは変形例として、これらの較正データはプレノプティックカメラのオブジェクトフィールド内の光点をシフトすることによって得られる。
【0104】
光点の位置は、マトリクス光学センサの少なくとも２つの画素が照明されるように特定される。これらのポイントがサンプリングポイントＰｊを形成する。
【0105】
このようにして決定された各サンプリングポイントに関して、対応するマトリクス光学センサの画素が、光点のこの位置に関連付けられた照明された画素である。マトリクス光学センサの少なくとも２つの画素は、各サンプリングポイントに関連付けられて較正データを形成する。
【0106】
実際には、プレノプティックカメラ１００の光軸に対して垂直にスクリーンが配置されてよく、光軸に沿ったスクリーンの異なる位置に関して選択的にスクリーンの各画素を代わる代わるオンにしてよい。
【0107】
値が所定のしきい値（最も明るく照明された）より大きい２つ以上の画素が、スクリーンの各画素およびスクリーンの各位置に関して決定される。
【0108】
スクリーンの異なる位置は、プレノプティックカメラ１００にとって望ましい分解能より低いピッチで間隔を空けている。
【0109】
プレノプティックカメラによって形成された実システムの不完全性は、較正を考慮され得る。オブジェクトレイＲｉの計算から得られた較正データの粗測定は、こうして再定義され得る。
【0110】
図３は、プレノプティックカメラのオブジェクトフィールドに位置する、本発明によるサンプリングポイントＰｊを詳細図で示す。
【0111】
４つのオブジェクトレイの交点にあり、したがって４つのマトリクス光学センサの画素に関連するサンプリングポイントＰｊと、２つのオブジェクトレイの交点にあり、したがって２つのマトリクス光学センサの画素に関連するサンプリングポイントＰｊ＋１が特に示されている。
【0112】
ここで図４を参照して、本発明による方法のステップを説明する。
【0113】
方法を、フローチャートと、プレノプティックカメラの一連の模式図で示す。
【0114】
図４には、サンプリングポイントの座標の決定と較正データの予備的決定については示していない。
【0115】
いずれも、対象面の再構築に次いで用いられる、示された再構成格子の定義の決定のステップではない。
【0116】
図４に図示された例では、また、説明を単純にするために、再構成格子のポイントがサンプリングポイント自体によって構築される特定の事例が詳述される。
【0117】
第１のステップ４０１において、対象面２００の画像がプレノプティックカメラ１００によって取得され、対象面２００はこのカメラのオブジェクトフィールド内に位置している。
【0118】
対象面２００とプレノプティックカメラ１００は右側に示されており、前記カメラ１００に関連するサンプリングポイントの一連の構成光線も右側に示されている。
【0119】
プレノプティックカメラ１００は、上記で規定し以前に決定されたような較正データと関連付けられている。
【0120】
これらの較正データは、各サンプリングポイントＰｊをプレノプティックカメラのマトリクス光学センサの少なくとも２つの画素に関連付けさせる。
【0121】
特に、各サンプリングポイントＰｊは、プレノプティックカメラのオブジェクトフィールド内の三次元座標によって定義される。
【0122】
第２のステップ４０２において、各再構成格子のポイントに関して、つまり、各サンプリングポイントＰｊに関して非類似度Ｃｎの値が計算される。
【0123】
この計算は、ステップ４０１で、プレノプティックカメラの較正データによって、また、取得された画像の較正データによって実行される。
【0124】
非類似度Ｃｎは、ここでは単一のサンプリングポイントＰｊに相対する指数であり、その値は、このサンプリングポイントに関連するマトリクス光学センサの画素によって取られる強度値間の分散に依存する。
【0125】
例えば、１つのサンプリングポイントＰｊに２つのみの画素が関連する場合、非類似度Ｃｎは、これら２つの画素によって取られる強度値の間の絶対値での差であってよく、あるいは、この差の別の関数（例えば差の二乗）または強度値のカップルの別の関数であってよい。
【0126】
変形例として、３つ以上の画素に関連するサンプリングポイントに関して、非類似度Ｃｎは、これら３つの画素によって取られる強度値と、これらの強度値の平均との平均二乗偏差であってよい。変形例として、これは、これらの画素によって取られる強度値と、これらの強度値の平均との、絶対値での差の別の関数であってよく、または、強度値のこの組の別の関数であってよい。
【0127】
いずれの場合にも、再構成格子のポイントの非類似度Ｃｎの値は、各関連するサンプリングポイントに関して、対応する画素の強度値が近いため全て低くなる。
【0128】
ここで、サンプリングポイントに等しい再構成格子のポイントの非類似度Ｃｎの値は、対応する画素の強度値が近いため全て低くなる。
【0129】
画素によって取られる強度値は好ましくはグレースケールである。
【0130】
これは、８ビットの画像を符号化するために、０から２５５以内にある値である。
【0131】
理想的な条件では、特に対象面がランベルト源を形成する場合、サンプリングポイントＰｊが対象面に属する場合、対応する画素の値は等しくなる。
【0132】
実際には、これらの値は必ずしも等しくなくてよいが、サンプリングポイントＰｊが対象面に属していなかった場合より近くなる。
【0133】
サンプリングポイントが対象面のポイントに近いほど、対応する画素の強度値が近くなる。
【0134】
したがって、非類似度によって取られる値は、対応する再構成格子のポイントが対象面２００に属するという可能性を指しているということは明白である。非類似度は、この可能性の推定の関数として考慮され得る。
【0135】
ステップ４０２が完了すると、ここではサンプリングポイントと結合している、再構成格子のポイントとそれぞれ関連付けられた一連の非類似度Ｃｎの値が存在する。
【0136】
ステップ４０３において、再構成格子のポイントの三次元分布が構築され、ここでは、非類似度Ｃｎの対応する値をそれぞれ割り当てられたサンプリングポイントＰｊが構築される。
【0137】
この三次元分布は右側に示されている。
【0138】
言い換えると、これは非類似度Ｃｎの値の三次元分布であり、各値は、再構成格子のポイントの三次元座標、ここではサンプリングポイントＰｊに関連付けられている。
【0139】
ステップ４０４において、この分布を用いて対象面の三次元再構成を実行する。
【0140】
言い換えると、対象面２００の三次元座標の推定２００’が提供される。
【0141】
このステップ再構成は、非類似度の値が、対応する再構成格子のポイントが対象面２００に属しているか否かの可能性を示唆しているという事実を利用する。
【0142】
三次元再構成は、非類似度指数Ｃｎおよび関連する三次元座標を用いて最適化アルゴリズムを実行する。
【0143】
一般的概念は、対象面に属するという高い可能性に関連するサンプリングポイントの付近を通り、また、対象面に属するという低い可能性に関連するサンプリングポイントからは距離を置いて通過する面を探すということである。
【0144】
好ましくは、非類似度指数Ｃｎの値の三次元分布は、最適化アルゴリズムのコスト関数を形成する。
【0145】
特に、ステップ４０４において、プレノプティックカメラのオブジェクトフィールドをカバーし、非類似度指数の最小累積値に関連する面が探索される。
【0146】
三次元再構成は、非類似度指数Ｃｎおよび関連する三次元座標によって、プレノプティックカメラのオブジェクトフィールド内に規定されるコストの関数を最小にすることを目指して、最小カットタイプの最適化アルゴリズムを実行できる。
【0147】
そのようなアルゴリズムは高精度の三次元再構成を提供する。
【0148】
変形例として、三次元再構成はダイナミックプログラミングタイプの最適化アルゴリズムを実行できる。
【0149】
そのようなアルゴリズムは非常に速い計算を提供する。
【0150】
そのようなアルゴリズムは、プレノプティックカメラのオブジェクトフィールドの最適化を、各部分が光学素子１２１の選択に関連する、光学素子のサブセットと呼ばれる、このオブジェクトフィールドを形成するいくつかの部分における最適化の組み合わせとして考慮することからなる。
【0151】
特に、光学素子の光学的中心は分布格子に従って、この分布格子の第１系列の線と第２系列の線の交点のところで分布し、サブセットは、第１系列の同じ線、対応して第２系列の線に関連付けられた光学素子に対応する。
【0152】
例えば、光学素子のマトリクスの光学素子は行と列に配置され、光学素子の各行、対応して各列に関連付けられたオブジェクトフィールドの部分は別個に考慮される。
【0153】
三次元再構成は、対象面に関する仮説を利用できる。
【0154】
例えば、対象面２００は平滑面であると仮定される。
【0155】
付加的にまたは変形例として、対象面２００は接続面であると仮定される。
【0156】
本発明による方法は、光学素子のマトリクスの分解能に限定されずに、高分解能三次元再構成を実行する。
【0157】
得られる分解能は典型的に１０μｍ程度であり、それに対し光学素子のピッチは１ｍｍまたは両方の間の比１００である。
【0158】
さらに、本発明による方法は、オブジェクトフィールドの同じポイントに関連するいくつかの画素の、プレノプティックカメラによって取得された画像上の識別に付随する困難によって制限されない。
【0159】
実際、画像から開始する代わりに、プレノプティックカメラのオブジェクトフィールドの同じポイントに関連する画素を探索し、オブジェクトレイ間の対応する交点を三角測量で計算し、その始点は、オブジェクトフィールドの同じポイントに関連するとわかっている画素の組から直接由来する。
【0160】
本発明による方法は、対象面の同じポイントから出る光線の交点への調査に基づくという点において、立体視に近い原理を実行すると考えられうる。しかし、本発明による方法は、２つの異なるサイトに配置した２つの従来型カメラを用いないということにおいて、この分野とは基本的に異なっている。従来型カメラでは、光学素子のマトリクスはない。
【0161】
本発明は、図示しない三次元再構成装置にも関し、三次元再構成装置は、
－対象面２００の画像の取得のためのプレノプティックカメラ１００と、
－前記プレノプティックカメラにリンクした較正データを受け取り、必要に応じ、再構成格子の定義データを受け取るメモリと、
－プレノプティックカメラによって入力部で取得された画像ならびに較正データを受け取り、必要に応じて再構成格子に関するデータを受け取り、出力部で対象面の三次元再構成を供給する計算手段と、を備える。
－対象面２００の画像の取得のためのプレノプティックカメラ１００と、
－前記プレノプティックカメラにリンクした較正データを受け取り、必要に応じ、再構成格子の定義データを受け取るメモリと、
－プレノプティックカメラによって入力部で取得された画像ならびに較正データを受け取り、必要に応じて再構成格子に関するデータを受け取り、出力部で対象面の三次元再構成を供給する計算手段と、を備える。
【0162】
計算手段は特にプロセッサを備え、上記で説明したようなステップ４０２、４０３および４０４を実行するように構成される。
【0163】
計算手段はさらに、サンプリングポイントの座標と、プレノプティックカメラに関連する較正データを決定して、次にそれらをメモリに記憶するように構成される。
【0164】
次に、再構成格子のポイントが、例えば立体的噛み合い（cubic meshing）に従って空間内に規則的に分布している本発明の変形例について説明する。
【0165】
したがってそれらはサンプリングポイントＰｊとは異なる。したがって、再構成格子のポイントと関連付けられた非類似度の値は、この再構成格子のポイントの隣接するサンプリングポイントＰｊと関連付けられた、上記で説明したような分散の組み合わせである。
【0166】
このように、ここでも、非類似度によって取られる値は、対応する再構成格子のポイントが対象面に属するという可能性に関連する。
【0167】
有利には、分散は、各サンプリングポイントＰｊに関して、上記に記載したように計算され、次に再構成格子のポイントの非類似度の値が、各サンプリングポイントＰｊに関連する、オブジェクトフィールド内のこれらのサンプリングポイントの位置の関数としての分散値の挿置によって決定される。
【0168】
これらの分散値の任意の他の組み合わせも可能であり得る。
【0169】
隣接するサンプリングポイントの分散の貢献は例えば、関連する再構成格子のポイントからのその距離の逆数によって加重され得る。
【0170】
各再構成格子のポイントに関する非類似度は、サンプリングポイントＰｊそれぞれの分散の個々の計算のステップを正式にしなくても直接計算され得る。
【0171】
こうして得られた見込み指数値の三次元分布が、上記で説明したように対象面の三次元再構成を生成する。
【0172】
最も近いサンプリングポイントからの最大距離、所謂しきい値が決定され得る。
【0173】
このしきい値を超える、最も近いサンプリングポイントからの距離のところに位置する全ての再構成格子のポイントが特定される。
【0174】
これら全てのポイントに、非類似度Ｃｎの同じ値が割り当てられる。
【0175】
再構成格子のポイントの非類似度の最大値がこうして決定される。
【0176】
これは、サンプリングポイントＰｊに関連する分散の最大値より大きい値であり得る。
【0177】
本発明による方法によって得られた結果を調整するために、対象面は異なるタイプの照明で相次いで、プレノプティックカメラ１００によって異なる画像が取得される度に照明されることができる。
【0178】
照明のタイプは、照明の光強度によって、光源の位置によって、テクスチャーによって異なり得る（テクスチャーは、方向に従って異なる強度を放射する単一の光源から投影されても、または、異なる光強度で放射するいくつかの光源から投影されてもよい）。
【0179】
プレノプティックカメラはこの一連の取得中に対象面に対して固定された状態を保つ。
【0180】
各再構成格子のポイントに関して非類似度が計算され、それはこの時点で、いくつかの画像から生じた情報を組み合わせる。
【0181】
特に、サンプリングポイントに関連する分散は、この同じサンプリングポイントに関連する分散と、取得された画像のうち１つからそれぞれ計算された分散との組み合わせと置換される。
【0182】
分散の組み合わせは例えば、いくつかの取得された画像上で得られた分散の、例えば平均または別の関数である。
【0183】
図５Ａおよび５Ｂはそれぞれ、本発明による方法で用いられるプレノプティックカメラの光学素子のマトリクス１２０の第１の実施形態と、プレノプティックカメラのオブジェクトフィールドにおけるサンプリングポイントＰｊの対応する分布を示す。
【0184】
光学素子の光学的中心２２１は第１系列の直線（ここでは縦線）と、第１系列の直線と交差する（好ましくは垂直に）第２系列の直線（ここでは横線）の間の交点において、分布格子５４０（点線で示す）に従って分散している。
【0185】
ここで、第１系列の線の線は反復ピッチＭ１に従って規則的に分布しており、第２系列の線の線は反復ピッチＭ２（任意選択的にＭ１と等しい）に従って規則的に分布している。
【0186】
言い換えると、光学素子は行と列で分布しており、２つの隣接する行、対応して２つの隣接する列を分離する距離は、光学素子のマトリクスを通して同じである。
【0187】
オブジェクトフィールド内のサンプリングポイントの分散は、図３で示したものと同じタイプである。
【0188】
多くの多重交点が存在する。
【0189】
多重交点付近に、非常に少ないサンプリングポイントを受けるプレノプティックカメラのオブジェクトフィールド内の領域があり、これらの領域内における対象面の三次元再構成の品質を制限している。
【0190】
図６Ａおよび図６Ｂはそれぞれ、本発明による方法で用いられるプレノプティックカメラの光学素子のマトリクス２２０の第２の実施形態と、プレノプティックカメラのオブジェクトフィールドにおけるサンプリングポイントＰｊの対応する分布を示す。
【0191】
光学素子２２１の光学的中心は、上記で説明したように、分布格子６４０に従って分散している。
【0192】
ここで、分布格子の第１系列線の線６４１は不規則に分布している。
【0193】
これは、より詳細には、第１の平均値周辺且つ第１の所定間隔内のランダムな分散であり得る。
【0194】
第１の平均値は、２つの直接隣接する線６４１間の距離の平均値である。
【0195】
値のランダムな分散は、ランダムの対象になる値の分散を指す。
【0196】
例えば、第１の間隔の低いほうの端は前記第１の平均値の９５％であり、第１の間隔の高いほうの端は前記第１の平均値の１０５％である。
【0197】
変形例として、低いほうの端は前記第１の平均値の９０％であり、高いほうの端は前記第１の平均値の１１０％である。
【0198】
同様に、分布格子の第２系列線の線６４２は不規則に分布している。
【0199】
２つの直接隣接する線６４２間の距離値は、第２の平均値周辺且つ第２の所定間隔内にランダムに分布している。
【0200】
第２の間隔の低いほうの端と高いほうの端は、第１の間隔と同じ方式で定義される。
【0201】
第２の平均値は、２つの直接隣接する線６４２間の距離の平均値である。
【0202】
第１の平均値と第２の平均値は等しくてよい。
【0203】
言い換えると、光学素子は行と列に配置され、２つの隣接する行、それぞれ２つの隣接する列を隔てる距離は不規則である。この距離は、隣接する行の少なくとも２つの対の、隣接する列のそれぞれ少なくとも２つの対に関して別個である。
【0204】
図６Ｂに、オブジェクトフィールドにおけるサンプリングポイントの分布が示されている。
【0205】
このサンプリングポイントは、図５Ｂにおけるよりも均一に分布している。
【0206】
結果として、対象面がこの領域にある場合、三次元再構成の品質を制限するプレノプティックカメラのオブジェクトフィールド内の領域は存在しない。
【0207】
したがって不規則性は、プレノプティックカメラのオブジェクトフィールドの任意のポイントと、最も近いサンプリングポイントとの間の最大距離を最小化する。
【0208】
この実施形態は、サンプリングポイントの均一な分布を有することが有利である本発明への、仏国特許出願公開第１５５８３３８号の基本概念の巧妙な適用に対応する。
【0209】
図５Ａと６Ａの実施形態を組み合わせてもよく、ある系列線の線は均一に分布し、他の系列線の線は不均一に分布してよい。
【0210】
図７Ａおよび７Ｂは、本発明による方法によって用いられるプレノプティックカメラの光学素子のマトリクス３２０の第３の実施形態を示す。
【0211】
この実施形態によれば、プレノプティックカメラの入射光学系１１０は、光学的歪み収差を示す。
【0212】
上記に規定したような分布格子７４０はこの場合、第１系列の直線７５１（ここでは縦線）と第２系列の直線７５２（ここでは横線）によって構成されるオブジェクト格子７５０の、入射光学系１１０による画像である。
【0213】
分布格子７４０は入射光学系の歪みによって変形する。各連の線はここでは、たる形歪曲に典型的な、中心直線の両側が曲線で包囲されたものから形成される。
【0214】
この分布格子７４０は、入射光学系によって示される歪み収差がプレノプティックカメラのオブジェクトフィールドのサンプリングポイントの数を減少させないことを可能にする。
【0215】
本発明はそのような歪みに限定されず、入射光学系は、糸巻形歪みか、または、たる形歪みと糸巻き形歪みの組み合わせを示してよい。
【0216】
ここで、用語「格子」は、第１系列の横線と第２系列の縦線によって形成される正方形または長方形の格子に限定されない。
【0217】
本発明によれば、分布格子７４０は特に、変形した正方形または長方形の格子を指し得る。この場合、分布格子は交差しない第１系列線と、交差しない第２系列線から形成される。第１系列線の各線は、第２系列線の全ての線と交差する。第１および／または第２系列線の線は曲線である。
【0218】
図７Ａに、入射光学系１１０から上流のオブジェクト空間が、第１の視野角による斜視図で示され、また、入射光学系１１０から下流の画像空間が、第２の視野角による斜視図で示されている。
【0219】
図７Ｂに、この第３の実施形態による光学素子３２１のマトリクス３２０が正面図で示されている。
【0220】
図８は、本発明による方法で用いられるプレノプティックカメラの光学素子のマトリクスの第４の実施形態を示す。
【0221】
この実施形態は、図６Ａ，６Ｂおよび７Ａ，７Ｂの実施形態の組み合わせである。
【0222】
特に、分布格子８４０は、歪みを示す入射光学系によるオブジェクト格子の画像である。
【0223】
オブジェクト格子は第１系列の直線と第２系列の直線から形成される。
【0224】
オブジェクト格子の第１系列線の２つの直接隣接する線間の距離は不規則に分布している、および／またはオブジェクト格子の第２系列線の２つの直接隣接する線間の距離は不規則に分布している。
【0225】
好ましくは、不規則な分散はランダムである。
【0226】
オブジェクト格子の第１系列の線の２つの直接隣接する線間の距離は有利には第１の平均値の９５％から１０５％の間である、および／または、オブジェクト格子の第２系列の線の２つの直接隣接する線間の距離は有利には、第１の平均値に等しくあり得る第２の平均値の９５％から１０５％の間である。
【0227】
図示しない別の変形例によれば、本発明による方法で用いられるプレノプティックカメラは、第１の光学素子のマトリクスと、第１のマトリクスと共面の第２の光学素子のマトリクスを備えている。光学素子の第１と第２のマトリクスは互いに光学的にオフセットしている。
【0228】
これら２つのマトリクスそれぞれにおいて、光学素子の光学的中心は、上記で詳述した例のうちいずれかまたは他に従って分布してよい。
【0229】
プレノプティックカメラのオブジェクトフィールドのサンプリングポイントの個数をさらに増幅するために、ダイナミックサンプリングが実行されてよい。
【0230】
言い換えると、オブジェクト空間のサンプリングの総数が増加するように、プレノプティックカメラの時間または空間多重化が、オブジェクト空間の異なる一連のサンプリングポイントと関連付けられた異なる方式に従って実行される。
【0231】
例えば、面π’内の光学素子の変位を、他の光学素子の位置と別個に制御するために、各光学素子は、アクチュエータに接続されたモバイル支持体に搭載されてよい。
【0232】
光学素子は、異なる分布格子に従って連続的に配置するためにシフトされてよい。オブジェクト空間の或るサンプリングは各分布格子に対応する。オブジェクト空間のより密なサンプリングが最終的にこうして実行される。
【0233】
変形例として、マトリクス光学センサの面における変位を制御するために、光学素子のマトリクスは固定状態にされ、マトリクス光学センサは、アクチュエータに接続されたモバイル支持体に搭載されてよい。
【0234】
変形例として、異なる光学素子に関連するマクロ画素が部分的に重複する。こうして同じ画素がいくつかの光学素子に対応し得る。
【0235】
各瞬間に画素が単一の光学素子のみに対応するように、光が光学素子のほうに拡散するのを遮断または通すために、光学素子のマトリクスから上流に液晶スクリーンなどの制御可能なシャッターのアレイが配置される。
【0236】
ネットワークシャッターの複数の状態が定義される。オブジェクト空間の異なる一連のサンプリングポイントが各状態に対応する。シャッターのアレイの状態を経時的に変化させると、最終的にオブジェクト空間のより高密度のサンプリングを生成する。
【0237】
別の変形例によれば、プレノプティックカメラは、同面に並置されたまたはインターロックされた、それぞれ異なる波長専用の光学素子の少なくとも２つのマトリクスを備える。
【0238】
各光学素子から上流に、各光学素子を特に１つの波長の検出に関連付け、前記光学素子のいくつかのマトリクスを定義するための帯域フィルタがある。
【0239】
オブジェクト空間の異なるサンプリングは各光学素子のマトリクスに対応する。動作時、オブジェクトはいくつかの波長によって逐次照明される。
【符号の説明】
【0240】
１００ プレノプティックカメラ
１１０ 入射光学系
１２０，２２０，３３０，４２０ 光学素子のマトリクス
１２１，２２１，３２１，４２１ 光学素子
１３０ マトリクス光学センサ
１３１ マクロ画素
２００ 対象面
６４０ 分布格子
６４１ 第１系列の直線
６４２ 第２系列の直線
Ｃｎ 非類似度
Ｐｋ 画素の中心
Ｒｉ オブジェクトレイ
Ｒ’ｉ イメージレイ
Ｐｊ 交点、サンプリングポイント
１１０ 入射光学系
１２０，２２０，３３０，４２０ 光学素子のマトリクス
１２１，２２１，３２１，４２１ 光学素子
１３０ マトリクス光学センサ
１３１ マクロ画素
２００ 対象面
６４０ 分布格子
６４１ 第１系列の直線
６４２ 第２系列の直線
Ｃｎ 非類似度
Ｐｋ 画素の中心
Ｒｉ オブジェクトレイ
Ｒ’ｉ イメージレイ
Ｐｊ 交点、サンプリングポイント
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】