▶ フォトニック センサーズ アンド アルゴリズムス，エセ．エレ．の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-18
(45)【発行日】2022-03-29
(54)【発明の名称】視点から距離情報を取得するための装置及び方法
(51)【国際特許分類】
G06T 7/557 20170101AFI20220322BHJP
G06T 7/593 20170101ALI20220322BHJP
H04N 5/225 20060101ALI20220322BHJP
H04N 5/232 20060101ALI20220322BHJP
【ＦＩ】
G06T7/557
G06T7/593
H04N5/225 410
H04N5/232 290
【請求項の数】
15
(21)【出願番号】P 2019541849
(86)(22)【出願日】2016-12-20
(65)【公表番号】
(43)【公表日】2019-11-07
(86)【国際出願番号】 EP2016081966
(87)【国際公開番号】W WO2018072858
(87)【国際公開日】2018-04-26
【審査請求日】2019-12-13
(31)【優先権主張番号】PCT/EP2016/074992
(32)【優先日】2016-10-18
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】519141357
【氏名又は名称】フォトニック センサーズ アンド アルゴリズムス，エセ．エレ．
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】ブラスコ クラレット，ホルヘ ヴィセンテ
(72)【発明者】
【氏名】モントリュー アルヴァロ，カルラス
(72)【発明者】
【氏名】カラタユー カラタユー，アルナウ
(72)【発明者】
【氏名】カリオン，レティシア
(72)【発明者】
【氏名】マルティネス ウソ，アドルフォ
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０１５－２１１３７２（ＪＰ，Ａ）
【文献】米国特許第０８９８８３１７（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／５５７
Ｇ０６Ｔ ７／５９３
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
ライトフィールドから深度情報を取得する方法であって、ライトフィールド取得装置によって捕捉されたライトフィールドから複数のエピポーラ画像を生成するステップと、
前記エピポーラ画像において、前記ライトフィールド取得装置によって捕捉されたシーン内の対象のエッジを検出するためのエッジ検出ステップと、
各エピポーラ画像について、１組のエッジによって形成される有効なエピポーラ線を検出するステップと、
前記有効なエピポーラ線の勾配を決定するステップと、を含み、
前記有効なエピポーラ線を検出するステップは、少なくとも１つの追加の画像取得装置によって補足された画像の追加情報を用いて、前記ライトフィールド取得装置からの前記エピポーラ画像の前記エピポーラ線を延長して、延長されたエピポーラ線を取得するステップを含む方法。
【請求項2】
前記エピポーラ画像は、上および／または下に、前記少なくとも１つの追加の画像取得装置の前記ライトフィールド取得装置に対する相対位置に依存する前記追加情報を追加して延長される請求項１に記載の方法。
【請求項3】
前記追加情報は、前記エピポーラ画像の上および／または下に、一定の距離で、補正の過程で予め計算された水平オフセットおよび垂直オフセットに従って追加される、請求項２に記載の方法。
【請求項4】
水平エピポーラ画像は、前記少なくとも１つの追加の画像取得装置の前記追加情報を追加して延長され、前記少なくとも１つの追加の画像取得装置は、前記ライトフィールド取得装置と水平に整列される、請求項２または３に記載の方法。
【請求項5】
垂直エピポーラ画像は、前記ライトフィールド取得装置と垂直に整列された前記少なくとも１つの追加の画像取得装置の前記追加情報を追加して延長される、請求項２から４の何れかに記載の方法。
【請求項6】
前記追加情報は、少なくとも１つの従来のカメラによって捕捉された画像に含まれるエッジ画素を含み、前記エッジ画素は、前記エピポーラ線によって表される前記対象のエッジに対応する、請求項１から５のいずれかに記載の方法。
【請求項7】
前記エピポーラ線に対応する前記エッジ画素が探索される、前記従来のカメラによって捕捉された前記画像内の探索領域を決定するステップを含む、請求項６に記載の方法。
【請求項8】
前記追加情報は、少なくとも１つの追加のライトフィールド取得装置によって捕捉された画像に含まれるエピポーラ線を含み、前記エピポーラ線は、前記エピポーラ線によって表される前記対象のエッジに対応する、請求項１から７の何れかに記載の方法。
【請求項9】
前記エピポーラ線によって表される前記対象のエッジに対応する前記追加のライトフィールド取得装置の前記エピポーラ線の中心エッジ画素が探索される、前記追加のライトフィールド取得装置によって捕捉された前記画像内の探索領域を決定するステップを含む、請求項８に記載の方法。
【請求項10】
前記ライトフィールド取得装置からの前記エピポーラ線の線形回帰を計算するステップと、従来のカメラによって捕捉された前記画像から延長線を取得するステップと、
前記従来のカメラの前記延長線によって、前記ライトフィールド取得装置の前記エピポーラ画像を延長するステップと、
前記エピポーラ線と前記延長線との交点を計算するステップと、
前記交点の周りの探索領域を画定するステップと、を含む請求項１から９の何れかに記載の方法。
【請求項11】
前記エピポーラ線によって表される前記対象のエッジに一致する前記従来のカメラ画像内の前記エッジ画素を見つけるために、対応プロセスを適用するステップをさらに含む、請求項６を引用する請求項１０に記載の方法。
【請求項12】
前記ライトフィールド取得装置および少なくとも１つの従来のカメラを含むマルチビューシステムから全焦点画像を取得するステップをさらに含む方法であって、前記全焦点画像を取得するステップは、
前記マルチビューシステムから閾値を超える距離に位置する対象については、前記少なくとも１つの従来のカメラから焦点画像を取得するステップと、
前記マルチビューシステムから前記閾値未満の距離に位置する対象については、前記ライトフィールド取得装置から再フォーカス画像を取得するステップと、
前記閾値未満の距離については、前記ライトフィールド取得装置の前記再フォーカス画像から最も鮮明な対象を取得し、前記閾値を超える距離については、前記少なくとも１つの従来のカメラからフォーカス画像を取得することによって、最終的な全焦点画像を構成するステップと、を含む、請求項１から１１の何れかに記載の方法。
【請求項13】
前記ライトフィールド取得装置と少なくとも１つの従来のカメラとを備えるマルチビューシステムからの画像を再フォーカスするステップをさらに含み、前記再フォーカスするステップは、
深度マップを計算するステップと；
前記マルチビューシステムから閾値未満の距離に位置する対象については、前記ライトフィールド取得装置からの再フォーカスされた画像を使用するステップと、
前記マルチビューシステムから前記閾値を超える距離に位置する対象については、前記少なくとも１つの従来のカメラからの距離のフォーカス範囲を選択し、前記選択されたフォーカス範囲を超える距離に配置された前記画像内の対象をぼかす、請求項１から１２の何れかに記載の方法。
【請求項14】
請求項１から１３のいずれかに記載の方法のステップを実行するように構成された処理手段を備える、ライトフィールドから深度マップを生成するための装置。
【請求項15】
プロセッサによって実行されると、請求項１から１３のいずれかに記載の方法を前記プロセッサに実行させるコンピュータコード命令を含む、プレノプティックカメラによって捕捉された画像から深度マップを生成するためのコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル画像処理の分野に含まれ、より詳細には、距離を推定し、画像から深度マップを生成するための方法およびシステムに関する。
【背景技術】
【0002】
ライトフィールド技術では、プレノプティックカメラまたはマルチカメラシステム（すなわち、いくつかのカメラのアレイ）などのマルチビュー視覚システムが、シーンの深さを推定するために頻繁に使用される。プレノプティックカメラは、空間情報だけでなく、ライトフィールドとして知られるシーンの角度情報も捕捉する撮像デバイスである。ライトフィールドは、下記のような４次元関数ＬＦ（ｐｘ、ｐｙ、ｌｘ、ｌｙ）として表すことができ、ここで、ｐｘ，ｐｙはセンサへの光線の到達方向を選択し、ｌｘ、ｌｙはその光線の空間位置である。
【0003】
プレノプティックカメラは、典型的には、イメージセンサの前に配置されたマイクロレンズアレイによって形成される。この画像捕捉システムは、いくつかの視点（プレノプティックカメラの同等のアパーチャの周りに均等に分散された、いくつかのカメラのような、いわゆるプレノプティックビュー）からシーンを捕捉することと同等である。シーン内の異なる対象の深さ（対象自体とカメラとの間の距離）に関する情報は、ライトフィールド内に暗黙的に取り込まれる。
【0004】
プレノプティックのビューは、アパーチャの特定の部分を通過した光線のみを選択することに等しい、特定の対の値に変数ｐｘ、ｐｙを固定することによって、ライトフィールドから得られる。ライトフィールドを捕捉することができる別のシステムは、いくつかのカメラのアレイによって形成することができる。したがって、シーンの異なる対象の深さ（すなわち、その対象自体とカメラとの間の距離）に関する情報は、ライトフィールド内に暗黙的に取り込まれる。
【0005】
対象ポイントの深度情報を抽出するための一般的なアプローチは、シーンのいくつかの捕捉されたプレノプティックビューにわたるこの対象ポイントの画像の変位を測定することである。変位または視差は、対象の実際の深さに直接関連する。点の視差を得るためには、いくつかのビュー（または少なくとも２つのビュー）において同じ点の位置を識別する必要がある。この問題を解決するために、通常、ビュー間の対応アルゴリズムが使用される。ある視点の１つの点を考慮すると、これらの方法は、周囲の領域を分析し、残りのビューにおいて最も類似した領域を見つけようと試み、したがって、残りのビューにおける同じ点の位置を識別する。視差が得られ、デバイス構造のパラメータを知ると、三角測量法によって対応する深さを得ることができる。また、ライトフィールドをいくつかの深度平面に再焦点合わせし、より焦点合わせされた画像の領域を検出することによって、深度情報を決定することも可能である。これらの方法の主な欠点は、モバイルプラットフォーム上でリアルタイムの深度マップを得るためには、計算量が多すぎることである。
【0006】
ライトフィールドからシーンの深度情報を得る別の方法は、エピポーラ画像を分析することである。エピポーラ画像は、ライトフィールドの２次元スライスである。水平エピポーラ画像は、変数ｐｙ、ｌｙを固定することによって形成され、垂直エピポーラ画像は、変数ｐｘ、ｌｘを固定することによって形成される。水平／垂直エピポーラ画像は、異なるビューｐｙ／ｐｘの同じ線ｌｘ／ｌｙのスタックとして理解することができる。プレノプティックカメラ内のすべてのビューによって同じ対象ポイントが捕捉されると仮定すると、異なる点に対応する線がエピポーラ画像内に形成される。プレノプティックカメラにおける隣接するビュー間の最大変位は、±１画素である。したがって、ある線に対応するすべての点がエピポーラ画像内の残りのビューの同じ点に直接接続されるので、この種のデバイスでは対応アルゴリズムを回避することができる。しかし、フーリエ領域技術および深度・フロム・デフォーカス技術のような現在のプレノプティックカメラ・アルゴリズムは、画像のすべての点（本発明のようにエッジだけではない）を分析し処理するので、計算が非常に非効率的である。一方、単純なライトフィールド勾配法（水平、垂直方向）は、信頼性のない深度推定を伴う非常に不十分な深度マップをもたらす。さらに、これらの実施形態は、１つのフレームを処理するためだけに、数百ミリ秒から数分要するので、リアルタイムのビデオ画像を扱うことができない。
【0007】
したがって、モバイル装置（携帯電話、タブレット、またはラップトップなど）内のプレノプティックカメラおよび３Ｄ画像が、深度マップを計算し、リアルタイムビデオ画像（たとえば、毎秒６０フレーム）を処理することを可能にする、極めて効率的な方法が必要とされている。
【0008】
過去１５年間に、マルチビュー画像化は、いくつか例を挙げると、画像ぼけ除去、仮想視点合成、または高解像度画像再構成などのいくつかの研究分野において、科学文献においてより頻繁に現れてきた。単一のプレノプティックカメラを使用することの主な限定の１つは、空間解像度がマイクロレンズの数に等しくなるように劇的に低減されることであり、したがって、ほとんどの刊行物は、深さ推定の精度および範囲を改善することを考慮せずに、超解像技術によってそのようなプレノプティックカメラの空間解像度を改善することのみを考慮している。これらのアプローチは、プレノプティックカメラの空間分解能を４倍増加させるのに有効であることが実証されているが、４倍を超えると、それらの性能は劇的に低下する。
【0009】
プレノプティックカメラを使用する深度マップ推定は、推定がカメラに非常に近い限定された深さ範囲で行われる場合に一般に有効である。しかし、この推定は、カメラから対象ワールドまでの距離が増加するにつれて、次第に不正確になる。
【0010】
ステレオ視は、シーン内の深度マップを得るための別のアプローチである。三角測量技術を用いて、人間の視覚を模倣する２つの視点によってシーンから３Ｄ情報を抽出することが可能である。既知の空間オフセットを有する２つのカメラを使用することによって深度マップを生成することができる多くのステレオアルゴリズムが存在する。ステレオ視装置のベースラインは、通常、プレノプティックカメラのベースラインよりも広いので、ステレオ視アプローチは、長距離の深度マップをより良好に推定することができる。しかし、これらの双眼ステレオアプローチには、いくつかの欠点があり、不完全な視差マップ（両方の画像において同じ対象ポイントを見つけることができない閉塞によって生成される孔）をもたらすか、または隣接する画素間の視差が１つの画素よりも大きいギャップを有する深度不連続領域（ステレオ視において、深度マップが推定される場合、不正確さは、サブ画素レベルにおける対応する点間の視差の計算にわたって累積する；ある点において、これらの不正確さは、１画素よりも大きくなり、２つの連続する点の間にギャップを引き起こし、深度推定が行われない点を残す）ことが多い。さらに、ステレオアプローチは、通常、計算集約的な対応アルゴリズムを必要とするので、非常に計算費用がかかる。
【0011】
ステレオカメラに影響を及ぼす別の問題は、従来のカメラの被写界深度が比較的小さいことであり、その理由は、この種のシステムは、両方のカメラが合焦される範囲においてのみ、深度を適切に推定することができるからである。現代のＣＭＯＳ技術では、画素数は１ミクロン程度の小さな寸法に縮小され、やがて１ミクロン以下になる。フォトセンサの画素数が小さくなるにつれて、対象ワールドの被写界深度（画像ワールドの焦点深度）が悪化し、したがって、焦点が合っている実ワールドの距離の範囲が、画素数が小さくなるにつれて短くなることがよく知られている。より小さいアパーチャを使用するとこの傾向を逆転させることが可能であるが、その代わり、より少ない光を受け取り、したがって、記録することができる１秒当たりのフレーム数を低下させることになる。このため、大きな画素数（１０～２０メガ画素以上）および小さな画素サイズ（約１ミクロン）を有する携帯電話で使用されるミニカメラは、主にＭＥＭＳ（Ｍｉｃｒｏ－Ｅｌｅｃｔｒｏ－Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）、すなわち、レンズを光軸に沿って前後に移動させて画像を合焦させるモバイル部品で実施される「オートフォーカス」ソリューションを使用し始めている。
【0012】
ステレオペアがオートフォーカスを使用する場合、両方のカメラがフォーカスされるが、フォーカスが外れた領域の情報は、明らかにぼやけているか、または失われている（異なる領域および対象ワールドの深度からのセンサまたはフィルム情報の混合）。したがって、ステレオ処理、すなわち、両方のカメラにおける同じパターンの実ワールドまでの距離を知るための三角測量は、焦点外れの領域におけるぼやけを改善せず、距離計算を損ない、最終的には、それ以上信頼性のあるデータを提供しない。この問題に対処するために、例えば、２つのカメラの一方を短距離に焦点を合わせ、他方を長距離に焦点を合わせるなど、異なる解決策を考えることができる。しかし、この解決策は、三角測量の解決策を悪化させ、一方のカメラでぼやけ、第２のカメラでぼやけていない領域で同じパターンを識別しなければならず、このことは、対応アルゴリズムの難しさを増大させ、信頼性に影響を及ぼす。
【0013】
もう一つの可能な、より洗練された解決策は、色に依存する特殊レンズを使用することであり、その結果、バイエルパターンの３つの異なる色（または他の任意の基本的な色パターン）が、短距離、中距離、および長距離の３つの異なる範囲に焦点を合わせ、その後の結果を組み合わせて、ＥＤＯＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）と呼ばれるものを得る。ＥＤＯＦは、ただ１つのカメラに適用されてきたが、潜在的には、ステレオペアの２つのカメラにも適用することができる。ステレオペアの２つのカメラにおける色および焦点位置の異なる順列も使用することもできる。
【0014】
言及されたアプローチのいずれが使用されようとも、最終的に、両方のカメラ（または色）を、対象ワールドの同じ深度範囲の周りに合焦させるか（この場合、両方のカメラ［または色］の合焦していない領域からの情報を使用して、深度をもはや計算することができない）、または三角測量プロセスにおいてぼやけた画像とぼやけていない画像とを混合して、次善の結果をもたらすことが必要になる。
【0015】
深度を推定するためにステレオアプローチを使用することができる、深度の範囲を延長するためのさらに別の可能な解決策は、非常に小さいアパーチャおよび比較的大きい画素を有するカメラを設計し、非常に短い距離（数センチメートル）から無限遠まで被写界深度を延長し、ステレオペア内の両方のカメラについて同じことを行うことである。しかし、そのトレードオフは欠点がない訳ではない。原理的には、より小さいアパーチャで先に説明した傾向を逆転させることが可能であるが、代わりに、受ける光がより少なく、記録することができる１秒当たりのフレーム数を低下させることがあり得る（ビデオ用途では受け入れられない）。最終的には、より小さい画素でメガ画素数を有する実際の傾向に反して、画素をより大きくすることが可能であるが、これでは、センサが非常に大きくなってしまい、手持ち製品には不適切になり、大型の専門家用カメラにおいてのみ許容可能になってしまう。
【0016】
前に示したように、プレノプティックカメラは、エピポーラ画像を分析することによってシーンの深さを推定するために使用することができる。プリンオプティックカメラは、アパーチャがいくつかの小さなアパーチャ（通常は数百）に効果的に分割され、被写界深度を劇的に増大させているので、はるかに高い被写界深度を有するという利点を有する。プレノプティックカメラの視野の深さは、実際には、数センチメートルから無限の距離であり得、これらのデバイスを、ステレオアプローチよりも大きな視野の深さに対してはるかに魅力的にする。プレノプティックカメラでは、カメラの焦点を変化させるためにＭＥＭＳを有する必要性を回避することさえ可能である。
【0017】
提案された発明は、プレノプティックカメラが、非常に効率的な方法で深度マップを計算することを可能にし、高いフレームレート（毎秒６０フレーム以上）でリアルタイムビデオ画像の処理を可能にする。さらに、本発明はまた、マルチビューシステムを利用して、カメラから長い距離にあるプレノプティックカメラの深度推定の精度を大幅に向上させ、依然として、超解像度のための既存の技術（および新規の技術の少なくとも何れか）、ならびに横方向解像度、再焦点合わせ、および従来の深度推定技術の改善を享受することができる。本明細書に開示される手順は、計算効率および所要電力に関して最新技術のアプローチを改善する。
【発明の概要】
【0018】
本発明は、プレノプティックカメラまたは他の任意のライトフィールド取得装置、プレノプティック機能サンプリング装置または統合画像取得装置によって取り込まれたライトフィールド画像を処理することによって深度マップを取得するコンピュータにより実行される方法および装置に関する。他のカメラは、マルチビューシステムを形成する、１つ以上の従来のカメラまたは追加のプレノプティックカメラなどのプレノプティックカメラと組み合わせて使用されてもよい。
【0019】
プレノプティックカメラは、エピポーラ画像を分析することによってシーンの深さを推定するために使用することができる。プレノプティックカメラにおけるエピポーラ画像において生成されるエピポーラ線の勾配と、シーン（対象ワールド）における対象の実際の深さとの間には、関係がある。したがって、エピポーラ画像の線の傾きを検出することによって、シーンの深度マップを生成することが可能である。この方法は、シーン内のエッジが見つかったセンサの部分に対してのみ計算を実行することができ、したがって、エッジが検出されなかった対象ワールドの領域における計算を回避することができるので、非常に計算効率がよい。このように、本方法は、バッテリによって動作される低コストのプロセッサを有する低コストのモバイルデバイスにおいてさえ、リアルタイムの深度マップを得るために使用することができ、効率的な計算が、バッテリの消耗を迅速に回避するために必要とされる。
【0020】
本発明は、対象のエッジを識別し、識別されたエッジについてのみ深度を計算することによって、プレノプティックカメラ・カメラ、モバイルデバイス（携帯電話、タブレット、ラップトップ、コンパクトカメラなど）、動作感知入力デバイス、およびリアルタイムビデオ画像を（毎秒６０フレーム以上で）処理する３Ｄカメラにおける３Ｄ画像を可能にする、極めて効率的なアルゴリズムを使用する。
【0021】
エピポーラ画像に生成される線の傾きと、シーン内の対象の実際の深さとの間には関係がある。したがって、エピポーラ画像の線の傾きを検出することによって、シーンの深度マップを生成することが可能である。通常、エピポーラ画像の２次元勾配に基づく方法が、対応する勾配を得るために使用される。４次元勾配に基づく同様の方法（したがって、より計算費用がかかる）を使用することもできる。これらの全てのアプローチとは対照的に、本方法は、エッジについてのみシーンの深さを計算し、計算の必要性を大幅に低減する。
【0022】
ライトフィールド写真は、暗示的に、３Ｄシーンの幾何学的形状および反射特性をライトフィールドに取り込む。ライトフィールドは、入射光線がそれらの空間位置（２Ｄ：ｌｘおよびｌｙ）およびそれらの到来方向（２Ｄ：ｐｘおよびｐｙ）によって記述される４次元構造である。本発明では、４Ｄのライトフィールド（ｌｘ、ｌｙ、ｐｘ、ｐｙ）は、プレノプティックカメラの出力とみなされる。これらの装置は、シーンの深度マップを推定するための潜在的な用途のために、ますます普及してきている。（例えば、いわゆるベイヤーパターンまたは同様のものを使用することによって）センサによって色も捕捉される場合、ライトフィールドは、５Ｄ構造（ｌｘ、ｌｙ、ｐｘ、ｐｙ、ｃ）となる。ここで、ｃは、捕捉された異なる色のチャンネルである。明確さと簡潔さのために、本発明では、ライトフィールドは、色情報のない４Ｄ構造であると仮定する。しかし、当業者は、開示された情報を、色情報を捕捉するセンサに拡張することは、重要ではなく、簡単なことであることを理解するであろう。可能な解決策は、深度推定の冗長性を増大させるために、本明細書で提示されるアルゴリズムを各色チャネルに別々に適用することであろう。
【0023】
ライトフィールドからの深さ推定は、ライトフィールドのアプリケーション、特に３Ｄ撮像アプリケーションにおいてますます広がっている。しかし、シーンの３Ｄ再構成または深度マップを得るために、ライトフィールドに含まれるデータは、入力された４Ｄライトフィールド構造を２Ｄ画像に変換する追加の後処理を必要とし、２Ｄ画像では、プレノプティックカメラによって捕捉された各画素について、実際の対象ワールドにおける深度を計算することが可能である。基本的に、プレノプティック画像では、カメラから異なる距離にある対象は、プレノプティックカメラのセンサ上に異なる照明パターンを生成し、したがって、これらのパターンの適切な処理を実行して、対応する距離、すなわち、これらの対象が対象ワールドで存在する深さを取得することができる。プレノプティックカメラ・イメージング・システムの主な欠点は、空間解像度の損失と、カメラまでの距離が増加するにつれて、急激に、深度推定精度が低下するという事実にある。
【0024】
シーン内の対象の深さを推定するための別の既知の方法は、ステレオ視によるものである。同じシーンの異なる視点間の画像点の変位を追跡することによって、基本的な三角測量を使用して、シーンの対象の距離を推定することが可能である。ステレオ視は、２つの異なる視点（互いに分離された２つの異なるカメラ）から記録された（または見られた）対象ワールドから対応する点を識別し、それらの変位を計算して、深度マップとしてシーンの幾何学的形状を再構成することを目的とする。
【0025】
本発明の一実施形態によれば、本明細書に記載のシステムおよび処理方法は、少なくとも１つのライトフィールドプレノプティックカメラおよび１つまたは複数の追加のカメラ（従来のカメラおよびプレノプティックカメラの少なくとも何れか）を備える（ただし、これらに限定されない）マルチビューシステムとして実施される。本発明は、従来技術よりも高い精度で、より長い距離に対して、シーンの高品質の深度マップを生成する。本発明は、水平に整列した従来のカメラからの追加データを用いてプレノプティックカメラからのエピポーラ線を改善することを可能にする（水平エピポーラ線の改善）；しかし、このことは本発明の一般性を制限せず、複数のカメラ（それらのうちの少なくとも１つがプレノプティックカメラである場合）を備え、それらの間のあらゆる配置を含み得る。
【0026】
Ｍ×Ｎ個の並べられたカメラのうち、Ｎ’個のプレノプティック視点（または、等価的に、各マイクロレンズ下のＮ’個の画素）を有する１つのプレノプティックカメラと、（Ｍ×Ｎ－１）個の従来のカメラとを有する実施形態を考慮すると、本発明は、以下の主な利点を提供する。
【0027】
本発明は、プレノプティック・エピポーラ画像に形成されたエピポーラ線が、対応する点を見つけるために使用されるので、各カメラによって記録された点の間のステレオペア対応を求める必要（非常に計算集約的）がなく、最新技術の方法論の計算効率を改善する。
【0028】
本発明の方法は、計算量が要求されず、さらに、本発明は、現代の並列計算プラットフォームの利点を享受することができる並列化可能なタスクを使用する。
【0029】
本発明は、その低いコンピューティング所要電力のために、バッテリによって動作される任意の種類のモバイルデバイスに使用することができる。これは、小型化されたカメラの進歩と相まって、新しい世代のモバイルデバイスに特に有用である。２つのカメラを備えることは一般的になりつつあり、マルチビューもすぐに一般的になるであろう。
【0030】
本発明は、（Ｍ×Ｎ－１）個の従来のカメラによって捕捉された画像が追加のプレノプティックビューとして追加され、Ｎ’＋(Ｍ×Ｎ－１｝個の画像によって、画像が形成され、はるかに多くの冗長性およびノイズ耐性を提供する。本発明は、Ｍ×Ｎ個の従来のマルチビューカメラの従来のマルチビューシステムよりも（Ｎ’－１）個だけ多くの画像を有し、従来のプレノプティックカメラよりも{(Ｍ×Ｎ）－１｝個だけ多くのプレノプティックを有し、これらの追加の画像（またはビュー）を有することにより、プレノプティックカメラよりもはるかに広いベースラインを有することが可能である。
【0031】
ベースラインが小さく、プレノプティックカメラによって捕捉されるビューの数が多いため、閉塞の影響はほとんど無視できる。このように、対象ワールドにおける閉塞による深度推定において生じる不完全性および不連続性に関するステレオおよび従来のマルチビュー視覚システムの欠点が克服される。
【0032】
開示された発明は、従来のカメラの解像度を維持しながら、プレノプティックカメラの解像度を改善するために、補間（または、同じワールドシーンの異なる解像度の２つの画像間の対応を確立するための任意の他の方法）を使用する。したがって、あらゆるプレノプティックビューの解像度が著しく増大する。
【0033】
本発明は、プレノプティックカメラをベースとしたシステムの欠点であって、カメラからの遠い距離の深度推定において生じる不正確さに関する欠点を克服する。この改善は、いくつかの可能な異なるアプローチを使用することによって達成される。
・プレノプティックカメラからの深度マップと、（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像とを組み合わせる。
・プレノプティックカメラのＮ’個のプレノプティックビューの各々と、（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像とを、Ｎ’倍のマルチステレオ構成として組み合わせ、Ｍ×Ｎ個のカメラアレイの全てをマルチステレオとみなす。これは、従来の対応アルゴリズムを使用することを含んでもよい。
・（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像で、プレノプティックカメラのエピポーラ画像を延長する。
・プレノプティックカメラからの深度マップと、（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像とを組み合わせる。
・プレノプティックカメラのＮ’個のプレノプティックビューの各々と、（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像とを、Ｎ’倍のマルチステレオ構成として組み合わせ、Ｍ×Ｎ個のカメラアレイの全てをマルチステレオとみなす。これは、従来の対応アルゴリズムを使用することを含んでもよい。
・（Ｍ×Ｎ－１）個の従来のカメラの２Ｄ画像で、プレノプティックカメラのエピポーラ画像を延長する。
【0034】
開示された発明は、古典的なステレオアルゴリズムを適用することによって、（例えば、閉塞のために）画像の特に困難な領域における深度マップを改善する。第１の深度マップが、前述の組合せのいずれかによって作成されると仮定すると、少なくとも１つの実施形態では、この第１の深度マップの可能な改良は、古典的なステレオアルゴリズムを適用することによって実行してもよく、画像のこれらの困難な領域で取得された第１の深度マップの可能な曖昧さを解決することができる。
【0035】
本発明は、ステレオペアまたはマルチビューのみを使用して達成することができる再フォーカシング性能を改善する。
上記の議論では、Ｍ×Ｎ個のカメラの列に１つのプレノプティックカメラしかないと仮定しているが、２つ以上のプレノプティックカメラを有する一般化は簡単である。後述するように、距離を計算するための測定値と画像形成プロセスに２つ以上のプレノプティックカメラ冗長性を有することにより、ノイズ耐性が改善され、さらに、従来のカメラの情報を使用する場合に計算効率が向上する。
上記の議論では、Ｍ×Ｎ個のカメラの列に１つのプレノプティックカメラしかないと仮定しているが、２つ以上のプレノプティックカメラを有する一般化は簡単である。後述するように、距離を計算するための測定値と画像形成プロセスに２つ以上のプレノプティックカメラ冗長性を有することにより、ノイズ耐性が改善され、さらに、従来のカメラの情報を使用する場合に計算効率が向上する。
【0036】
本開示は、シーンの深度を推定するためのライトフィールド技術およびマルチビュービューシステムに関する。延長されたエピポーラ線の勾配を推定することによってシーンの深度マップを生成する画像処理手順も、本明細書で開示される。
【0037】
一実施形態によれば、本発明は、マルチビュー画像システムを使用するリアルタイム深度推定のための装置及び方法に関する。システムは、少なくとも１つのライトフィールドプレノプティックカメラを備え、追加の従来のカメラを含むこともできる。このようなマルチビューシステムは、適切な画像処理手順を用いて、非常に高品質の解像度でシーンの深度マップを作成することができ、現在のプレノプティックカメラおよびマルチカメラシステムの欠点を克服する。本発明は、深度測定及び最大測定可能深度においてより良好な精度を達成し、同時に、深度マップにおいて捕捉され、表現された異なる深度間のより滑らかな遷移、並びに人間の目に対するより良好な知覚、及び、シーンが捕捉された後に画像をデジタル的に再焦点合わせし、芸術的効果を適用する性能を高めるといった付加的な利点も提供する。
【0038】
本発明の方法は、計算要件に関して極めて効率的であり、その低い計算所要電力のために、バッテリによって動作される任意の種類のモバイル装置で使用することができる。本明細書で説明される方法は、いくつかのプロセッサおよびＧＰＵの少なくとも何れかにおいて、ならびにバッテリで動作するモバイルデバイスのための特定の並列プロセッサにおいて、効率的に並列化することもできる。
【0039】
本発明の説明のために、定義および頭字語を、以下に考察する。
【0040】
マイクロレンズアレイ：アレイ状に配置された複数の小型レンズ（マイクロレンズ）。
【0041】
規則的なマイクロレンズアレイ：製造の不完全性による不均一性を考慮に入れない、規則的に間隔を空けて規則的に構築（アレイの構造全体にわたる均一なピッチ、すべてのレンズについて同じ曲率半径、同じ焦点距離など）されるように設計されたマイクロレンズによって形成されたアレイ。
【0042】
レンズレットまたはマイクロレンズ：マイクロレンズアレイを形成する各小レンズ。
【0043】
プレノプティックカメラ：入射光線の空間位置だけでなく到来方向も捕捉する装置。
【0044】
従来のカメラ：イメージセンサに入射する光線の空間位置のみを捕捉する装置。センサの各画素が、装置のアパーチャ全体から任意の方向に到来する全ての光を積分する。
【0045】
ライトフィールド：プレノプティックカメラのマイクロレンズ（ｌｘ、ｌｙ）下の画素（ｐｘ、ｐｙ）によって捕捉された光の情報を含む４次元構造（ｐｘ、ｐｙ、ｌｘ、ｌｙ）。
【0046】
プレノプティックビュー：ある値（ｐｘ、ｐｙ）を選択し、ライトフィールド構造のサブセットを撮影することによって形成される２次元画像。マイクロレンズ（ｌｘ、ｌｙ）ごとに、同じ（ｐｘ、ｐｙ）を選択する。
【0047】
深度：シーンの対象ポイントの平面とカメラの主平面との間の距離であり、両方の平面は光軸に垂直である。
【0048】
深度マップ：対象ワールドの計算された深度値ｄｚが、追加の次元値として、２次元画像の全ての画素（ｄｘ、ｄｙ）に加算されて、（ｄｘ、ｄｙ、ｄｚ）を含む２次元画像。
【0049】
視差マップ：２つの異なる視点から２つのカメラによって捕捉されたときの、対象ワールドにおける３Ｄ点の同じ組の画像位置の差。視差は、三角測量によって深度を決定するために使用することができる。
【0050】
エピポーラ画像：ある値、（ｐｘ、ｌｘ）（垂直エピポーラ画像）、または（ｐｙ、ｌｙ）（水平エピポーラ画像）を選択することによって構成されるライトフィールド構造の２次元スライス。
【0051】
エピポーラ線：対象・エッジとして検出されたエピポーラ画像内の繋がっている画素のセット。
【0052】
有効なエピポーラ線：収差、位置ずれ、および製造公差のない理想的なカメラにおいて、対象ワールドのエッジによって生成されると予想される形状と適合する形状のエピポーラ線。
【0053】
延長エピポーラ線：１つ以上の従来のカメラの１つ以上の画素（対象ワールドの同じ点に対応する）によって延長されたプレノプティックカメラのエピポーラ線の画素のセット。
【0054】
ベースライン：マルチビューシステムでは、２つの連続するカメラ（プレノプティックカメラまたは従来のカメラまたは任意のカメラ）のアパーチャの中心間の距離。
【0055】
スマートミニカメラ：照明の変化に合わせた自動的なフレームレートの調整、異なる距離での焦点合わせ、ズームインおよびズームアウトなど、所定の基準に従って取り込まれた画像を変換する能力などの付加的な特徴を有することができるモバイルデバイスのための小型寸法の小型カメラモジュール。一定の基準に従って、捕捉した画像を変形させる。
【0056】
ステレオ対応（または単なる対応）：画像の点を別の画像の点とマッチングさせ、異なる視点から見たときに対象ワールド内の同じ点を識別する技法。このプロセスは、１つの画像のどの部分が別の画像のどの部分に対応するかを明らかにし、ここで、差異は、異なる視点に起因する。
【0057】
マイクロ画像：プレノプティックカメラの特定のマイクロレンズによってイメージセンサ上に生成された主アパーチャの画像。
【0058】
ＦＯＶ：視野。
【0059】
本発明の一態様によれば、ライトフィールドから深度情報を取得する方法が提供される。この方法は、（プレノプティックカメラなどの）ライトフィールド取得装置によって取得されたライトフィールドから複数の画像（例えば、少なくとも１つの水平エピポーラ画像、少なくとも１つの垂直エピポーラ画像、またはそれらの組合せ）を生成するステップと、エピポーラ画像において、ライトフィールド取得装置によって取得されたシーン内の対象のエッジを検出するエッジ検出ステップと、各エピポーラ画像において、エッジのセットによって形成された有効エピポーラ線を検出するステップと、有効エピポーラ線の勾配を決定するステップと、を含む。
【0060】
一実施形態では、前記エッジ検出ステップは、エピポーラ画像の各画素について第２の空間導関数を計算するステップと、第２の空間導関数のゼロ交差を検出するステップとを含む。有効なエピポーラ線の勾配を決定するステップは、検出されたエッジに適合する線を適用するステップを含んでもよい。
【0061】
エピポーラ画像における有効なエピポーラ線の検出は、エピポーラ線を接続されたエッジのセットとして決定するステップと、前記エピポーラ線が有効であるか否かを決定するために前記エピポーラ線を分析するステップとを含んでもよい。前記エピポーラ線は、好ましくは、接続されたエッジ画素のセットとして決定される。一実施形態では、前記エピポーラ線が有効であるか否かを判定するためのエピポーラ線の分析は、少なくとも１つの基準に準拠しているかどうかをチェックすることを含む。一実施形態では、基準は、決定された閾値を超えるエピポーラ線を形成する画素数に関する（例えば、エピポーラ線を形成する画素数は、対応するエピポーラ画像の高さの画素数に少なくとも等しくなければならない）。別の基準は、エピポーラ画像内のエッジ画素の方向の一貫性に関するものでもよい。一実施形態では、上述の基準の組合せが使用される。あるいは、少なくとも１つの基準に準拠しているかどうかをチェックする代わりに、前記エピポーラ線が有効であるかどうかを決定するためのエピポーラ線の分析は、形態素解析、発見的方法、または機械学習アルゴリズムを含んでもよい。一実施形態では、前記エピポーラ線の分析は、エピポーラ画像の上部および下部の少なくとも何れかの画素の１つまたはいくつかの列を廃棄することを含んでもよい。
【0062】
この方法は、対象のワールド内の位置に勾配を割り当てる勾配マップ生成することも含んでもよい。一実施形態では、勾配マップを生成するステップは、検出されたエッジのみに勾配値を割り当てるステップを含んでもよい。勾配マップを生成するステップは、また、検出されたエッジについて以前に取得された勾配を考慮に入れて、勾配値を勾配マップの位置に割り当てるために充填アルゴリズムを適用することを含んでもよい。この方法は、同じ位置について異なる有効エピポーラ線から得られた冗長勾配の組合せからシングル勾配マップを生成することを含んでもよい。一実施形態では、そのような位置の値の残りに対して高い分散を有する特定の位置に割り当てられた勾配は、廃棄される。
【0063】
この方法は、対象ワールド内の位置に深度値を割り当てる深度マップを生成することをさらに含んでもよく、前記深度マップは、勾配から深度への変換を深度マップに適用することによって得られる。別の実施形態によれば、この方法は、有効なエピポーラ線の勾配に対応する深度値を取得するステップと、深度値を対象ワールド内の位置に割り当てる深度マップを生成するステップとを含む。
【0064】
深度マップを生成するステップは、検出されたエッジのみに深度値を割り当てるステップを含んでもよい。深度マップを生成するステップは、検出されたエッジについて予め取得された深度値を考慮に入れて深度値を深度マップの位置に割り当てるために充填アルゴリズムを適用することを含んでもよい。この方法は、単一の深度マップを生成するために、同じ位置について異なるエピポーラ画像から得られた冗長な深度値の組み合わせから単一の深度マップを生成することを含んでもよい。一実施形態では、そのような位置の値の残りに対して高い分散を有する特定の位置に割り当てられた勾配は、廃棄される。
【0065】
一実施形態では、この方法は、ゼロ交差で得られたサブ画素精度を使用することによって、傾斜マップおよび深度マップの少なくとも何れかの位置の数がマイクロレンズの数よりも多い、傾斜マップおよび深度マップの少なくとも何れかの生成を含む。
【0066】
一実施形態では、有効なエピポーラ線１本当たり１つの勾配値のみが得られる。この方法は、また、エッジ検出段階の前にフィルタリングされたエピポーラ画像を得るためにエピポーラ画像にフィルタを適用するステップを含んでもよい。一実施形態では、前記ライトフィールド取得装置は、プレノプティックカメラである。
【0067】
有効なエピポーラ線の検出は、ライトフィールド取得装置からのエピポーラ画像のエピポーラ線を、少なくとも１つの追加の画像取得装置によって取得された画像の追加の情報によって延長して、延長されたエピポーラ線を取得することを含んでもよい。
【0068】
前記エピポーラ画像は、少なくとも１つの追加の画像取得装置のライトフィールド取得装置に対する相対位置に応じて、付加的情報を追加して、上に、および下の少なくとも何れかに延長することができる。前記付加的情報は、好ましくは、較正プロセスにおいて予め計算された水平オフセットおよび垂直オフセットに従って、エピポーラ画像の上および下の少なくとも何れかの、特定の距離で追加される。一実施形態では、水平エピポーラ画像は、ライトフィールド取得装置と水平に位置合わせされた少なくとも１つの追加の画像取得装置の追加情報を追加して延長される。前記垂直エピポーラ画像は、ライトフィールド取得装置と垂直に位置合わせされた少なくとも１つの追加の画像取得装置の追加情報を追加して、延長してもよい。
【0069】
前記付加的情報は、少なくとも１つの従来のカメラによって捕捉された画像に含まれるエッジ画素を含んでもよく、前記エッジ画素は、前記エピポーラ線によって表される対象のエッジに対応する。代わりに、または、それに加えて、前記付加的情報は、少なくとも１つの追加のライトフィールド取得装置によって取り込まれた画像に含まれるエピポーラ線を含んでもよく、前記エピポーラ線は、エピポーラ線によって表される対象エッジに対応する。
【0070】
一実施形態では、この方法は、エピポーラ線に対応するエッジ画素が探索される従来のカメラによって取り込まれた画像内の探索領域を決定することを含む。この方法は、エピポーラ線によって表される対象のエッジに対応する追加のライトフィールド取得装置のエピポーラ線の中央エッジ画素が探索される、追加のライトフィールド取得装置によって捕捉された画像内の探索領域を決定することを含んでもよい。どちらの場合も、探索領域は、一次元ウィンドウ、または二次元ウィンドウであってもよい。前記探索領域のサイズは、好ましくは、ライトフィールド取得装置のみを考慮して、第１の推定深度距離における分散曲線から予想されるライトフィールド取得装置からの深度測定値の不確実性に基づいて選択される。
【0071】
一実施形態によれば、この方法は、以下のステップを含む。
【0072】
－ライトフィールド取得装置からのエピポーラ線の線形回帰を計算するステップ。
【0073】
－従来のカメラで撮影した画像から延長線を取得するステップ。
【0074】
－従来のカメラの延長線を用いて、ライトフィールド取得装置のエピポーラ画像を延長するステップ。
【0075】
－エピポーラ線と延長線の交点を計算するステップ。
【0076】
－交点周辺の探索領域の定義
エピポーラ画像は、好ましくは、較正プロセス中に前もって計算された水平オフセットおよび垂直オフセットを使用して、延長線で延長される。水平オフセットおよび垂直オフセットを得るための較正プロセスは、光軸と位置合わせされたライトフィールド取得装置の共役平面内に発光点を配置するステップと、発光点によって生成された光を含む従来のカメラの画素と垂直に位置合わせされた垂直エピポーラ線を得るために必要なオフセットを計算するステップとを含んでもよい。
エピポーラ画像は、好ましくは、較正プロセス中に前もって計算された水平オフセットおよび垂直オフセットを使用して、延長線で延長される。水平オフセットおよび垂直オフセットを得るための較正プロセスは、光軸と位置合わせされたライトフィールド取得装置の共役平面内に発光点を配置するステップと、発光点によって生成された光を含む従来のカメラの画素と垂直に位置合わせされた垂直エピポーラ線を得るために必要なオフセットを計算するステップとを含んでもよい。
【0077】
延長線を取得するステップは、ライトフィールド取得装置によって取り込まれた画像の垂直座標および水平座標の少なくとも何れかと、従来のカメラ画像の垂直座標および水平座標の少なくとも何れかとの間の等価性を決定することを含んでもよい。一実施形態では、取得装置のイメージセンサの画素の垂直座標および水平座標の少なくとも何れかの間の等価性は、光軸と位置合わせされたライトフィールド取得装置の共役面に発光パターンを配置することによって得られ、取得装置のイメージセンサのそれぞれによって取り込まれた光パターンの垂直サイズおよび水平サイズの少なくとも何れかとの間の関係が算出される。この方法は、エピポーラ線によって表される対象のエッジに一致する従来のカメラ画像内のエッジ画素を見つけるために、対応プロセスを適用することをさらに含んでもよい。
【0078】
延長エピポーラ線を取得するステップは、エピポーラ線および追加情報に重みを割り当てるステップを含んでもよい。この方法は、ライトフィールド取得装置と少なくとも１つの従来のカメラとを含むマルチビューシステムから全焦点画像を取得することをさらに含んでもよい。全焦点画像を取得するステップは、以下のステップを含む。
【0079】
－マルチビューシステムから閾値を超える距離に位置する対象については、少なくとも１つの従来のカメラから合焦画像を取得する。
【0080】
－マルチビューシステムから閾値未満の距離に位置する対象については、ライトフィールド取得装置から再フォーカス画像を取得する。
【0081】
最終的な全焦点を、閾値未満の距離については、ライトフィールド取得装置の再焦点画像から最も鮮明な対象を取り、閾値を超える距離については、少なくとも１つの従来のカメラから焦点画像を取り込むことによって構成する。
【0082】
別の実施形態では、この方法は、ライトフィールド取得装置と少なくとも１つの従来のカメラとを含むマルチビューシステムからの画像を再焦点合わせするステップをさらに含む。画像をリフォーカスするステップは、以下を含む。：
－ 深度マップの計算．
－ マルチビューシステムから閾値未満の距離に位置する対象については、ライトフィールド取得装置からのリフォーカスされた画像を使用する。
－ 深度マップの計算．
－ マルチビューシステムから閾値未満の距離に位置する対象については、ライトフィールド取得装置からのリフォーカスされた画像を使用する。
【0083】
－ マルチビューシステムから閾値を超える距離に位置する対象については、少なくとも１つの従来のカメラからの距離の合焦範囲を選択し、選択された合焦範囲を超える距離に配置された画像内の対象をぼかす。ぼかしは、ガウスフィルタを使用して実行されることが好ましい。
【0084】
この方法は、ライトフィールド取得装置および少なくとも１つの追加のライトフィールド取得装置のための勾配マップを生成することを含んでもよい。一実施形態では、異なる生成された勾配マップは、ライトフィールド取得装置間の垂直オフセットおよび水平オフセットを考慮して、シングル勾配マップに結合される。この方法は、ライトフィールド取得装置によって取り込まれたすべてのビューと、従来のカメラによって取り込まれた画像との間のステレオ対応アルゴリズムを使用して、深度マップを生成することを含んでもよい。１つのプレノプティックカメラおよび１つまたは複数の従来のカメラによって形成される実施形態では、この方法は、従来のカメラによって提供される情報を使用して、ライトフィールドカメラのエピポーラ画像において推定される勾配の精度を高めることを含む。
【0085】
本発明のさらなる態様によれば、ライトフィールドから深度マップを生成するための装置が提供される。この装置は、先に説明した方法のステップを実行するように構成された処理手段を備える。一実施形態では、装置は、プレノプティックカメラなどのライトフィールド取得装置を含んでもよい。別の実施形態では、前記装置は、複数のカメラを含むマルチビューシステムを備えてもよく、複数のカメラのうちの少なくとも１つは、ライトフィールド取得装置である。マルチビューシステムは、少なくとも１つの従来のカメラを含んでもよい。一実施形態では、前記装置は、１つまたは複数のプレノプティックカメラおよび１つまたは複数の従来のカメラを含んでもよい。１つ以上の従来のカメラは、ライトフィールド取得装置と垂直および水平の少なくとも何れかに位置合わせされてもよい。マルチビューシステムは、ライトフィールド取得装置および従来のカメラの２次元アレイを備えてもよい。
【0086】
好ましくは、前記装置は、スマートフォン、タブレット、ラップトップ、またはコンパクトカメラなどの電子モバイル装置である。処理手段は、水平エピポーラ画像を取得して解析するように構成された第１のＣＰＵと、垂直エピポーラ画像を取得して解析するように構成された第２のＣＰＵとを備えてもよい。別の実施形態では、処理手段は、マルチコアプロセッサを含む。あるいは、またはそれに加えて、処理手段は、グラフィックス処理ユニットを含んでもよい。
【0087】
本発明のさらに別の態様によれば、プレノプティックカメラによって捕捉された画像から深度マップを生成するか、または１つまたは複数のプレノプティックカメラおよび１つまたは複数の従来のカメラによって捕捉された画像のセットから深度マップを生成するためのコンピュータプログラム製品であって、プロセッサによって実行されると、プロセッサに前述の方法を実行させるコンピュータコード命令を含むコンピュータプログラム製品が提供される。一実施形態では、コンピュータプログラム製品は、コンピュータコード命令が記録された少なくとも１つのコンピュータ可読記憶媒体を含む。
【図面の簡単な説明】
【0088】
本発明をよりよく理解するのを助け、本発明の非限定的な例として提示される、前記発明の実施形態に明確に関連する一連の図面を、以下に非常に簡潔に説明する。
【0089】
図１９Ａ～１９Ｂは、従来カメラとプレノプティックカメラの可能な組み合わせが、プレノプティックカメラのマイクロレンズアレイの共役平面に配置されたワールドの対象によって放出された光をどのように捕捉するかを示す。
【発明を実施するための形態】
【0090】
本発明は、ライトフィールドから深度マップを生成するための装置及び方法に関する。ライトフィールドは、複数の種類のデバイスによって捕捉することができる。簡単にするために、まず、プレノプティックカメラのみを考慮する。その後、本方法を、１つ以上のプレノプティックカメラおよび１つ以上の従来のカメラからなるマルチビューシステムに適用する場合について説明する。しかし、本明細書に記載の方法は、他の一体型撮像装置を含む他の任意の装置によって捕捉されるライトフィールドに適用することができる。
【0091】
従来のカメラは、センサによって捕捉された光線の２次元空間情報のみを捕捉する。さらに、色情報は、いわゆるベイヤー・パターン・センサまたは他の色センサを使用することによって取り込むこともできる。プレノプティックカメラは、この情報だけでなく、光線の到来方向も捕捉する。通常、プレノプティックカメラは、主レンズとセンサとの間にマイクロレンズアレイを配置することによって製造される。各マイクロレンズ（ｌｘ、ｌｙ）は、主アパーチャの小さな画像をセンサ上に形成している。これらの小さな画像は、マイクロ画像として知られており、任意のマイクロ画像の各画素（ｐｘ、ｐｙ）は、主アパーチャの異なる部分から来る光線を捕捉しており、任意のマイクロレンズ下のマイクロ画像のすべては、主レンズアパーチャの画像であり、各マイクロレンズ内の位置（ｐｘ、ｐｙ）または（ｐｘｎ、ｐｙｎ）の全ての画素は、マイクロレンズの位置とは無関係に、アパーチャ（ａｘｎ、ａｙｎ）の所与の部分から来る光を統合する。対象ワールドからの異なる位置から到来し、位置（ａｘｎ、ａｙｎ）でアパーチャを横切る光は、異なるマイクロレンズに当たるが、常に画素（ｐｘｎ、ｐｙｎ）によって積分される。したがって、マイクロ画像内の画素の座標（ｐｘ、ｐｙ）は、所与のマイクロレンズへの捕捉された光線の到来方向を決定し、（ｌｘ、ｌｙ）は２次元空間位置を決定する。すべてのこの情報はライトフィールドとして知られ、４多次元マトリックス、または、色情報が考慮される場合は５多次元マトリックスによって表すことができる。以下では、単色センサのみが考慮される。これらのセンサは、それらが設計された全スペクトルに対する感知された光の強度を捕捉する。しかし、本明細書で説明される本発明は、当業者には明らかであるように、色情報も取り込むセンサに簡単に拡張することができる。これらの種類のセンサに対する本発明の可能な適応は、深度推定の冗長性をさらに増大させるために、本明細書に記載の方法を各色チャネルに別々に適用することができる。
【0092】
カメラまでの異なる深さ又は距離にあるワールドの対象は、プレノプティックカメラの画像センサによって捕捉された画像上に異なる照明パターンを生成する。図１Ａは、主レンズ１０２と、マイクロレンズアレイ１０４（行および列に集められた複数のマイクロレンズ１０５によって形成される）と、強度、色および方向情報を感知するためにマイクロレンズアレイ１０４の背後に配置されたイメージセンサ１０６とを備えるプレノプティックカメラ１００の模式図二次元図を示す。図１Ａに示す実施例では、プレノプティックカメラ１００は、マイクロレンズ配列１０４の共役面に配置された対象点１１０からの入射光線１０８を捕捉している。図１Ｂは、プレノプティックカメラ１００のイメージセンサ１０６によって捕捉された光を表す。グリッドの各セルは、イメージセンサ１０６上の各マイクロレンズ１０５によって生成されたマイクロイメージ１１２を表す。
【0093】
対象点１１０の画像がマイクロレンズアレイ１０４上に合焦されると、対象点１１０は、プレノプティックカメラ１００の主レンズ１０２を介してＭＬＡの共役面に配置され、マイクロレンズ１０５上の無限小点のみが照明される（実際には、無限小点ではなく、回折パターン）。さらに、マイクロレンズ１０５とイメージセンサ１０６との間の間隔は、マイクロレンズ１０５のほぼ焦点距離であるので、対応するマイクロイメージ１１２のすべての画素は、図１Ｂに示すように、正確に同じ光強度を集める。ここに示される画像センサ平面上の全ての画像において、黒色は、光の欠如を表すために使用され、画素が白色であるほど、それらは、部分的な照明を意味するグレーレベルで照明されている。
【0094】
一方、対象ワールドのマイクロレンズアレイ１０４の共役面よりも近いシーンの対象ポイント１１０は、画像ワールドの焦点がマイクロレンズアレイ１０４よりも遠く（より右側に向かって）あり、センサ画素によって捕捉されるパターンが異なるので、より多くのマイクロレンズ１０５を照明する。このシナリオの図は、図２Ａに示されており、図２Ｂは、イメージセンサ１０６上に生成された対応するパターンを示している。
【0095】
逆に、マイクロレンズアレイ１０４の共役面よりも遠い対象点１１０も、より多くのマイクロレンズ１０５を照明するが、ここでは、焦点は、マイクロレンズアレイ１０４の位置よりも主レンズ１０２に近く、したがって、イメージセンサ１０６によって捕捉されるパターンは、図３Ａおよび図３Ｂに示されるように、２つの上述の状況とは異なる。マイクロイメージ１１２のいくつかにおけるグレーレベルは、部分的に照明された画素に対応し、一方、白画素においては、画素の全領域が、対象ワールドにおける対象ポイント１１０から来る光によって照射されている。
【0096】
イメージセンサ１０６によって捕捉されたライトフィールドのこれらの様々なパターンは、ライトフィールドの２次元スライスを撮影することによってエピポーラ画像で表すことができる。図４Ａ～図４Ｃは、それぞれ、図３Ａ～図３Ｃのシナリオのそれぞれ１つについて、イメージセンサ１０６によって取り込まれた画素を再編成することによる、水平エピポーラ画像４００（上段）および垂直エピポーラ画像４０２（下段）の生成プロセスを示す。図４Ａは、マイクロレンズアレイの共役面に位置する対象ワールドの点についてセンサ上に生成されたパターンを示す。図４Ｂは、マイクロレンズアレイの共役面よりもカメラに近い対象ワールドの点に対して生成されたパターンを示す。図４Ｃは、マイクロレンズアレイの共役面よりもカメラから遠くに位置する対象ワールドの点に対して生成されたパターンを表す。
水平エピポーラ画像４００は、ライトフィールドの座標（ｐｙ、ｌｙ）を固定することによって形成され、垂直エピポーラ画像４０２は、座標（ｐｘ、ｌｘ）を固定することによって形成される。図４Ａ～４Ｃでは、水平エピポーラ画像４００および垂直エピポーラ画像４０２は、それぞれ、水平中心エピポーラ画像および垂直中心エピポーラ画像であり、これは、エピポーラ画像のために固定された画素ｐｙ及びｐｘが、それぞれのマイクロレンズの水平中心および垂直中心の画素だからである。図４Ａ～図４Ｃは、垂直エピポーラ画像４０２（下列）および水平エピポーラ画像４００（上列）が、取り込まれたライトフィールドから直接形成される様子を示す。
水平エピポーラ画像４００は、ライトフィールドの座標（ｐｙ、ｌｙ）を固定することによって形成され、垂直エピポーラ画像４０２は、座標（ｐｘ、ｌｘ）を固定することによって形成される。図４Ａ～４Ｃでは、水平エピポーラ画像４００および垂直エピポーラ画像４０２は、それぞれ、水平中心エピポーラ画像および垂直中心エピポーラ画像であり、これは、エピポーラ画像のために固定された画素ｐｙ及びｐｘが、それぞれのマイクロレンズの水平中心および垂直中心の画素だからである。図４Ａ～図４Ｃは、垂直エピポーラ画像４０２（下列）および水平エピポーラ画像４００（上列）が、取り込まれたライトフィールドから直接形成される様子を示す。
【0097】
図４Ｄは、同じ行ｌｙ（（図４Ｄの実施例のｌｙ＝３では、マイクロレンズアレイ１０４の水平中心マイクロレンズ１０５）に位置するマイクロレンズ１０５に対応するマイクロ画像１１２の高さｐｙ＝Ｙに位置する画素ライン（４１０、４１２、４１４、４１６、４１８）を積み重ねることによって形成される水平エピポーラ画像４００（図４Ａの上の行のズームビュー）の生成プロセスをより詳細に示す。マイクロイメージ１１２内の画素ライン（４１０、４１２、４１４、４１６、４１８）の選択された高さｐｙ＝Ｙが中心高さであるので、水平エピポーラ画像４００は、水平中心エピポーラ画像と考えられる。図４Ｄの各画素ライン（４１０、４１２、４１４、４１６、４１８）を形成する個々の画素（ｐｘ＝１、ｐｘ＝２、…）は図示されていない。対照的に、各垂直エピポーラ画像（４０２）は、同じ列ｌｘに位置するマイクロレンズ１０５に対応するマイクロイメージ１１２の所定の幅ｐｘ＝Ｘに位置する画素ラインを積み重ねることによって形成される。
【0098】
図４Ａ～図４Ｄから分かるように、水平エピポーラ画像４００および垂直エピポーラ画像４０２には、エピポーラ線４３０（白色）が形成されている。図１Ｂ～３Ｂの例に示すように、このエピポーラ線４３０のすべての照明された画素（白画素）は、対象ワールドの同じ対象点１１０に対応する。エピポーラ線４３０は、エッジとして検出されるエピポーラ画像内の接続された照明画素（黒画素ではない）のセットである。さらに、エピポーラ線４３０の傾きは、マイクロレンズ１０４上およびイメージセンサ１０６上に照射されるパターンのタイプに直接関連し、また、対象ワールドにおける対象ポイント対応する深さにも直接関連する。図４Ｄの例では、エピポーラ線４３０の傾きは∞であり（横軸に対して角度＝９０°）、これは、対象ポイント１１０がマイクロレンズ配列１０４（図１Ａ）の共役面に配置されるような距離に対応する。勾配が正（角度が９０°よりも小さい）である場合、対象ポイント１１０は主レンズ１０２に近く（図２Ａ）、勾配が負（角度が９０°よりも大きい）である場合、対象ポイント１１０は主レンズ１０２から遠い（図３Ａ）。
【0099】
したがって、このパターンを知ることによって、画素によってサンプリングされたパターンを、サンプリングカメラ１００を通してバックトレースし、そのようなパターンを生成する対象ポイント１１０の正確な深さ（ｄｚ）を得ることが可能である。深さと勾配との間の関係は、ライトフィールドを捕捉するために使用されるプレノプティックカメラ１００の物理的寸法及び設計（既知である）に依存する。
【0100】
したがって、エピポーラ線４３０のある勾配は、現実の３次元ワールドシーンの対象ポイント１１０のある深さに明確に関連する。
【0101】
エピポーラ線の推定勾配は、ある対象の深さ情報を含む。勾配および深さは、同じ硬貨の２つの側面である（確定的な方法で勾配から深さを得ることが可能であり、その逆も可能であり、センサ画素が無限小ではないという事実による変換における定量化誤差のみを伴う）。勾配自体は、シーンの異なる対象の相対的な深さに関する情報を得るのに十分である。この相対情報（すなわち、勾配）は、同じ深度（同じ勾配）に位置するシーンの異なる対象を識別するなど、絶対的な深度情報を提供する必要がないいくつかの用途に有用であり得る。したがって、このようなシナリオでは、勾配の計算は十分であり、勾配から深さへの変換を省略することができる。
【0102】
本発明の方法は、マイクロレンズ配列１０４上のワールドの照射におけるエッジが存在する領域（または、対象ワールド上の同じエッジであるもの）ついてのみの、深さの計算に基づく。好ましい実施形態では、ある勾配を得るために、エピポーラ線４３０を形成する照明された画素に線形回帰が適用される。水平４００または垂直４０２エピポーラ画像内のエピポーラ線４３０を分析するとき、水平（ｐｘ）または垂直（ｐｙ）次元に沿って分布された全てのプレノプティックビューは、同じ対象ポイント１１０がこれらの全てのビューによって捕捉されているので、考慮される。したがって、線形回帰法は、１次元に沿った冗長な情報を利用することによって、統計的ノイズを低減する。
【0103】
さらに、この方法は、水平方向４００および垂直方向４０２のエピポーラ画像内の同じ対象ポイント１１０を分析し、同じ対象ポイント１１０の情報を含む様々なエピポーラ画像（４００、４０２）で得られた深度値を考慮することによって、統計的ノイズをさらに低減する追加ステージを含む（例えば、図１～図４に示すように、対象ワールド内の一意の対象ポイント１１０が、イメージセンサ１０６のいくつかの点にいくつかのインプリントを生成し、これらのインプリントがいくつかの垂直方向およびいくつかの水平方向エピポーラ画像に現れる）。
【0104】
一実施形態では、水平エピポーラ画像４００および垂直エピポーラ画像４０２に形成されたすべてのエピポーラ線４３０が識別され、対応する勾配が計算される。次いで、対象ポイント１１０の対応する深さが、装置の物理的寸法を考慮することによって計算される。
【0105】
エピポーラ線は、いくつかの視点から捕捉された同じ対象点１１０によって形成されるので、エピポーラ線４３０当たり１つの勾配および深度値だけが計算される。このため、以下の２つの要因により、データ量が大幅に削減される。
【0106】
（ｉ）イメージセンサ１０６によって捕捉された全ての点を処理する他のアプローチと比較して、本方法は、関心のある点、すなわち、エッジとして検出される対象ワールドの領域のみを処理するが、これは、それらがエピポーラ線を生成するからである（エッジのない完全に均一な対象ワールドの領域として、エピポーラ線を生成せず、均一な色を生成するからである）。
【0107】
（ｉｉ）エピポーラ線４３０を形成する画素毎に１つの値を記憶する代わりに、エピポーラ線４３０毎に１つの勾配値のみを記憶することが可能である。
【0108】
したがって、この計算プロセスの出力は、これらの検出された勾配の対応する深度値だけであってもよい。
【0109】
垂直エピポーラ画像４０２および水平エピポーラ画像４００の両方を分析するときに同じセンサ画素が考慮され、したがって、いくつかの勾配値が対象ワールドの同じ点によって生成された可能性がある。このため、一実施形態によれば、水平エピポーラ画像４００および垂直エピポーラ画像４０２を分析することによって得られる勾配とエピポーラ線４３０を一つの４次元マトリックスに結合して、出力の信頼性が追加測定の冗長性によって改善されるという事実のために、統計的なノイズを減らす。
【0110】
計算された勾配は、プレノプティックカメラ１００の物理的パラメータを考慮することによって、対応する対象の深さに変換される。一実施形態では、この変換段階は、すべての冗長な勾配を組み合わせた後に実行され、勾配から深度への変換の数を大幅に低減する。
【0111】
別の実施形態では、予め生成された深さ／勾配の４多次元マトリックスは、２次元の疎な深さ／勾配マップ（対象ワールドにエッジが存在する場合にのみ読み取り値を提供するため、疎な）に結合され、統計的ノイズをさらに低減し、したがって、深度マップの品質を向上させる。
【0112】
さらに別の実施形態では、水平エピポーラ画像４００および垂直エピポーラ画像４０２内のエピポーラ線４３０について計算された深さ／勾配は、２次元の疎深さ／勾配マップ直接結合され、したがって、単一の結合段階を実行し、計算効率を向上させる。
【0113】
一実施形態では、疎深度／勾配マップは、画像充填技法を適用して、すべての画素（ｄｘ、ｄｙ）について深度／勾配値を取得することによって充填される。
【0114】
さらに別の実施形態では、図４Ａ～４Ｄに示すように、水平中心エピポーラ画像（座標をマイクロ画像１１２内のｐｙ寸法の中心画素に等しくなるように設定することによって形成される）のみ、および／または垂直中心エピポーラ画像（座標ｐｘをマイクロ画像内のｐｘ次元の中心画素に等しくなるように、座標ｐｘを取ることによって形成される）のみが、分析するエピポーラ画像の数を減らすことを目的として考慮され、したがって、統計的冗長性を減らす代わりに、性能が向上する。
【0115】
本発明の方法は、プレノプティックカメラを備えたモバイル装置（例えば、スマートフォン、タブレット、またはラップトップ）において実施することができる。
【0116】
図５は、一実施形態による、深度マップを生成するための方法のフロー図を示す。深度マップを生成するために、本方法は、プレノプティックカメラ１００によって捕捉されたライトフィールド（５０１）から水平（５０２）及び垂直エピポーラ画像（５０３）を生成する。生成された各水平エピポーラ画像（５０２）および垂直エピポーラ画像（５０３）について、エピポーラ画像内の有効なエピポーラ線（５１０、５１１）が識別される。次に、これらの有効なエピポーラ線（５１０、５１１）の勾配（５１２、５１３）が計算され、対応する深度値（５１４、５１５）が最終的に得られる。
【0117】
図５は、有効なエピポーラ線（５１０、５１１）を識別し、処理し、捕捉されたライトフィールドを入力として取り込み（５０１）、すべての水平エピポーラ画像（５０２）および垂直エピポーラ画像（５０３）（図５の「ＥＰＩ」）を処理し、以下のステップを実行するプロセスを説明する。
【0118】
ステップ５０２では、各水平エピポーラ画像について、固定された２つの値（ｐｙ、ｌｙ）が得られる。
【0119】
ステップ５０４では、ｌｘ次元に沿って１次元（またはそれ以上）のフィルタを適用して、ノイズを低減し、フィルタリングされた水平エピポーラ画像を得る。
【0120】
ステップ５０６では、各画素（ｐｘ、ｌｘ）について、ｌｘ次元に沿った画素の光強度またはコントラストにわたる画素（ｐｘ、ｌｘ）における第２の空間微分を計算する。
【0121】
ステップ５０８では、サブ画素精度でエピポーラ線を分析することによって、より具体的には、第２の空間微分のゼロ交差を検出することによって、対象ワールドのエッジを決定する。
【0122】
ステップ１０では、有効なエピポーラ線を形成するように正しく配置されたゼロ交差の１つごとに探索し、無効なエピポーラ線を廃棄する。
【0123】
ステップ５０３では、各垂直エピポーラ画像について、固定された２つの値（ｐｘ、ｌｘ）が得られる。
【0124】
ステップ５０５では、ノイズを低減するために、ｌｙ次元に沿って１次元フィルタを適用し、フィルタリングされた垂直エピポーラ画像を得る。
【0125】
ステップ５０７では、各画素（ｐｙ、ｌｙ）について、ｌｙ次元に沿って第２の空間微分を計算する。
【0126】
ステップ５０９では、サブ画素精度でエピポーラ線を分析することによって、より具体的には、第２の空間微分のゼロ交差を検出することによって、対象ワールドのエッジを決定する。
【0127】
ステップ５１１では、有効なエピポーラ線５１１を形成するように正しく配置されたゼロ交差の１つごとに探索し、無効なエピポーラ線を廃棄する。
【0128】
水平エピポーラ画像および垂直エピポーラ画像の両方で見出される各有効エピポーラ線（５１０、５１１）について、サブ画素精度エッジは、線形回帰法を実行することによって、有効エピポーラ線（５１０、５１１）の勾配（５１２、５１３）を決定するために使用される（しかし、任意の他のフィッティング技術も使用される。
【0129】
計算された各勾配に対して、変換勾配から深度値への変換（５１４、５１５）が適用される。
【0130】
最後に、２つの深度マトリックス、すなわち、水平エピポーラ画像５０２に対する水平深度マトリックス５１６と、垂直エピポーラ画像５０３に対する垂直深度マトリックス５１７とが生成される。
【0131】
フィルタリングされた水平（５０４）または垂直エピポーラ画像（５０５）を得るためのノイズ低減フィルタステップは、処理速度を上げるために任意選択で廃棄されてもよい。
【0132】
別の実施形態では、水平エピポーラ画像（５０２）および垂直エピポーラ画像から得られる（５０３）２つの勾配マトリックスは、単一の勾配マトリックスに結合され、最終的に単一の深度マトリックスを得る。
【0133】
一実施形態によれば、第２の空間導関数のゼロ交差は、第２の導関数の連続する正負または負正の値によって識別される。更に、サブ画素精度を得るために、これらの点の二次導関数の大きさは、実際のゼロ交差がどこで起こっているかを決定するために考慮される。当業者は、多くの他のエッジ検出方法（例えば、Ｃａｎｎｙエッジ検出器オペレータ、曲線フィッティング方法、またはモーメントベースの方法）もこの目的のために適用することができ、本明細書で説明する技法はゼロ交差方法に限定されないことを認識するであろう。しかし、検出されたエッジによって形成される線の勾配を決定するときに可能な限り最大の精度を得ることが非常に重要であり、それが、エッジを決定するためのサブ画素精度が非常に重要である理由である。提案された方法の目標の１つは、計算的に効率的であることである（この要件は、採用されるエッジ検出アルゴリズムを選択するときに考慮されるべきである）。
【0134】
全ての画素がカメラまでの光源の距離とは無関係に、全く同じ光強度を記録するので、完全に均一な（テクスチャまたは色のコントラストなし）対象ワールドの領域は、エピポーラ線を生成しない。図１～図４に示す全ての実施形態は、エピポーラ画像（４００、４０２）内にエピポーラ線４３０を生成する１つの放射点光源（対象点１１０）によって、「暗い」対象ワールドに対応する。
【0135】
実際の状況では、エピポーラ線４３０は、コントラストの変化または色の変化によって生成され、それが、エピポーラ線４３０が対象ワールドのエッジ（色またはコントラストの変化）に対応する理由である。
【0136】
したがって、エピポーラ線４３０は、対象のエッジによって生成される。エピポーラ画像の一次導関数（すなわち、画素の強度にわたる）は、勾配（すなわち、光強度またはコントラストが変化する速さ）を提供する。二次導関数は、コントラストがどこで最も速く変化しているかを示す（これは、対象ワールドにおける対象のエッジ対応する）。二次導関数は、所与の画素において必ずしもゼロ交差を有するとは限らないので（例えば、図６Ａのエピポーラ画像は、あるグレーレベルを有するなど、画素における光の強度の値に依存するので）、対象のエッジは、サブ画素数精度で決定されている。
【0137】
プレノプティックカメラ１００のまさにその性質および設計上の制約のために、エピポーラ画像内で有効なエピポーラ線（５１０、５１１）を形成する画素は、必然的に隣接する位置になければならず（すなわち、有効なエピポーラ線を形成する点が接続されなければならない）、エピポーラ線内で上下、または下上のように、同じ方向に向かうすべての点を有する線を構成しなければならない。
【0138】
図６Ａ～図６Ｃは、エピポーラ画像６００における有効なエピポーラ線６１０の例（図６Ａ）と、それぞれのエピポーラ画像（６０２、６０４）における無効なエピポーラ線（６１２、６１４）のいくつかの例（図６Ｂおよび図６Ｃ）とを示す。好ましい実施形態では、有効なエピポーラ線を形成するためにエピポーラ画像内のエッジを探すときに、隣接する位置のみが考慮される（エッジとして検出された中心画素から始まり、図６Ａ～図６Ｃの矢印は、エピポーラ線を形成する接続されたエッジ画素を決定するために考慮される隣接する位置を表す）。その結果、図６Ａに示されるもののようなエピポーラ線６１０は有効であると考えられ、一方、図６Ｂに示されるもののようなエピポーラ線６１２は、エピポーラ画像６０２の頂部６２０の画素および底部６２２の画素がエピポーラ線６１２の残りの部分に接続されていないので、無効であると検出される。
【0139】
一見すると、図６Ｃに示すようなエピポーラ線６１４は、有効なエピポーラ線と思われるかもしれない。しかし、プレノプティックカメラ１００の性質のために、そのような線は、欠陥のない装置では起こらない（上部６３０および下部６３２の画素は、エピポーラ線の残りの部分と同じ方向に従わない）。一実施形態では、こういった種類の線の、こうした端の画素（６３０、６３２）は、エピポーラ線の勾配を計算するときに省略することができ、外側の画素が主レンズの収差から生じる可能性があるので、依然として有効なエピポーラ線と見なすことができる。このようにして、我々は、受光パワーと勾配識別性能とを交換して、アパーチャの最も収差のある周辺部分を横切る光線によって形成される端の画素の収差を低減する。また、有効でないエピポーラ線を用いて計算を実行することを回避するために、線全体を無効としてラベル付けすることも可能である。
【0140】
発見的には、人間が、線の形態を視覚的に検査することによって、有効なエピポーラ線と有効でないエピポーラ線とを区別することは容易である。しかし、コンピュータ上で決定を下すアルゴリズムは簡単ではない。当業者にとって、そのタスクを実行するためのいくつかの異なるアルゴリズムを考えることは困難ではなく、形態を分析する任意のアルゴリズムの特定の実装は、本発明の内容には無関係である。有効なエピポーラ線をどのように識別するか、およびそのタスクを実行するための多くのコンピュータ・ソリューションをどのように開発することができるかは、発見的に定義されている。
【0141】
一実施形態では、エピポーラ画像の高さと少なくとも同数の照明画素数を有するエピポーラ線のみが有効な線とみなされる。これは、収差が実際に（光学的に又は前の段階で計算的に）補正された装置における勾配計算の精度を高めることができる。
【0142】
主レンズ１０２の最も高い収差は、レンズの両端（近軸近似がもはや有効でない中心から遠い領域）で生じる。主レンズ１０２のこれらの端の部分を通過する全ての光線は、その中心に近いレンズを横切る光線よりも収差が大きい。プレノプティックカメラ１００では、これらの光線は、すべてのマイクロイメージ１１２の端の画素、またはすべてのマイクロレンズ１０４の端の画素によって捕捉され、これらはまた、エピポーラ画像上部または下部の近くの端の画素６４０（図６Ａ）である。したがって、一実施形態では、エピポーラ画像の端の画素数６４０を省略して、光学収差の影響を低減するとともに、検出される深度値の数を増加させることができる（端の画素を廃棄することによって、有効なエピポーラ線の数を増加させる）。したがって、エピポーラ画像の画素の高さよりも少ない画素を有するエピポーラ線も、例えば、図６Ｂおよび図６Ｃにおいて、それらの上部（６２０、６３０）および下部（６２２、６３２）の画素を廃棄するように、有効であると考えることができる。
【0143】
図６Ｄ～６Ｇは、図６Ａのエピポーラ画像６００におけるエピポーラ線６１０の勾配の計算プロセスの一例を表す。この例では、図６Ｄの表６４２に示されるように、以下の画素の強度値「Ｉ」が考慮されている：黒い画素について０の値、暗いグレー画素について２０の値、明るいグレー画素について６０の値、および白い画素について１００の値（を割り当てる）。図６Ｅの表６４４は、以下の式に従って、ｌｘ次元に沿った強度Ｉの画素数ｉにおける数値的な二次導関数を表す。
【0144】
【数1】
【0145】
ここで、ｉ＋１は、後続の画素を表し、ｉ－１は、ｌｘ次元にわたって先行する画素を表す。連続する画素間の距離Δｌｘは常に同じである（Δｌｘ＝１の値とみなされる）。
【0146】
図６Ｆは、１ｘ次元（水平サブ軸）に沿ったすべての画素ｐｘ（横軸）についての２次導関数（縦軸）の値を有するグラフ６４６を示し、連続する正負または負正の値によって識別される２次導関数のゼロ交差６５０を示す。先に説明したように、対象ワールド内の対象のエッジは、第２の空間微分のゼロ交差６５０を検出することによって決定される。
【0147】
図６Ｇは、図６Ａのエピポーラ画像６００において、サブ画素精度を有するゼロ交差６５０を示す。サブ画素精度を理解するために、マイクロレンズｌｘ＝２（二次導関数値１００を有する）とｌｘ＝３（二次導関数値－２００を有する）との間の画素ｐｘ＝１について生じたゼロ交差は、ズームインする。両方の２次導関数値を接続する線６５２は、サブ画素精度でｌｘ＝２の内側に位置するゼロ交差６５０のゼロ縦座標と交差する。図６Ｇのエピポーラ線６１０の勾配は、検出されたゼロ交差６５０に線形回帰６５６を適用し、線形回帰６５６の勾配を直接計算することによって得られる。
【0148】
図６Ｈ～図６Ｊは、図６Ｂのエピポーラ画像６０２におけるエピポーラ線６１２の勾配の計算プロセスの別の例を表す。画素の強度値Ｉは、図６Ｈの表６５３に示され、一方、図６Ｉの表６５４は、二次導関数値を表す。ゼロ交差６５０は計算され、図６Ｊに点として示される。エピポーラ線６１２の勾配は、検出されたゼロ交差６５０に線形回帰６５８を適用することによって計算される。図６Ｊのエピポーラ線６１２の線形回帰６５８は、画素数６２０および６２２からそれぞれ得られるゼロ交差６５０ａおよび６５０ｂのために、図６Ｇのエピポーラ線６１０の線形回帰６５６よりも高い勾配を有することに留意されたい。
【0149】
一実施形態では、すべてのゼロ交差は、線形回帰において考慮される。しかし、別の実施形態では、ゼロ交差のいくつかは、予め廃棄してもよく、エピポーラ線の勾配を得るプロセスでは考慮されなくてもよい。線形回帰法を適用するために使用される残りの点と比較して高い分散を有する点は、より正確な勾配推定を得るために、または異常値を廃棄するために、このプロセスから識別され、除外することができる。例えば、図６Ｊでは、上部６２０および底面６２２画素は、上部６２０および下部６２２の画素はエピポーラ線６１２を生成する残りの画素に接続されていないため（この場合、上部６２０および下部６２２の画素は、主レンズ１０２の異常によって引き起こされた可能性がある）、線形回帰６５８（図６Ｇのエピポーラ線６１０について得られた勾配に類似した勾配を有するエピポーラ線を得る）を計算する際に、エピポーラ画像６０２の上部画素６２０によって生じるゼロ交差６５０ａおよびエピポーライメージ６０２の底面画素６２２によって生じるゼロ交差６５０ｂを廃棄してもよい。
【0150】
二次導関数６４４が計算されると、それらが有効なエピポーラ線を定義するか否かが決定される。このプロセスでは、先に説明したように、いくつかの画素に対応する二次導関数のいくつかの値を廃棄してもよい。線形回帰を有効なゼロ交差に適用して、それらの対応する勾配を計算する。逆に、有効でないと識別されたエピポーラ線のすべてについて、さらなる計算を実行する必要はない。
【0151】
発見的方法、形態素解析、人工知能、または他の任意の方法を使用して、エピポーラ線が有効であるかまたは有効でないかをエピポーラ画像から事前に決定し、さらなる計算を回避することが可能であり、有効でないことを事前に分かっているエピポーラ線の勾配を計算しないことも可能である。
【0152】
一実施形態では、検出された有効エピポーラ線に線形回帰を適用する場合、誤差見積りも計算することができる。一例として、エピポーラ線の点（すなわち、ゼロ交差）と最終的な推定回帰線との間の距離の和を誤差（すなわち、計算されたエピポーラ線とこのエピポーラ線を計算するために使用された点との間の距離の絶対値の加算）として使用することができる。しかし、任意の他のタイプのエラー計算を定義してもよい。
【0153】
一実施形態では、最大誤差閾値を使用して、エピポーラ線を廃棄する（そして、アルゴリズムの残りの部分では考慮しない）ことができる。そのために、計算された誤差が最大誤差閾値よりも高い場合、エピポーラ線は有効でないとみなし、計算された誤差が最大誤差閾値よりも低い場合、エピポーラ線は有効であるとみなす。
【0154】
水平エピポーラ画像４００は、例えば、図５の水平エピポーラ画像５０２の検出された有効エピポーラ線５１０に示されるように、いくつかのエピポーラ線（Ｎｌｘまでのエピポーラ線）を含んでもよい。同様に、垂直エピポーラ画像は、いくつかのエピポーラ線５１１を含んでもよい。図７Ａは、２つの異なるエピポーラ線（図７Ｅの７１０および７１２）を含む水平エピポーラ画像７００の例を示す。図７Ａは、両方のエピポーラ線に対応するゼロ交差６５０の線形回帰（７５６、７５８）を示す。この例は、光パターンが、ここでは、無限小ではなく特定のサイズを有する対象によって生成されるので、図４および図６に提示されるものよりも現実的なシナリオを表す。それが、イメージセンサ１０６によって記録された高強度（白画素）が、図７Ａのいくつかのマイクロレンズ（１ｘ）を占有する理由である。
【0155】
【0156】
一実施形態では、エピポーラ画像の画素がエッジ画素７３１としてラベル付けされているか、または検出されているかを考慮する方法は、負の２次導関数を持ち、右側または左側に正の２次導関数を持つ画素を有する画素（ｐｘ，ｌｘ）（図７Ｃのハイライトされた画素）を見つけることを含む。あるいは、図７Ｄ（図７Ｃの同じテーブル、二次導関数値）に示すように、エピポーラ画像の画素は、正の二次導関数を有し、右側または左側に負の二次導関数を有する画素（図７Ｄのハイライトされた画素）（ｐｘ，ｌｘ）をエッジ画素７３１としてラベル付けしてもよい。
【0157】
【0158】
中心画素（ｐｘ＝５）に対応し、エッジ画素７３１（エッジ画素ＡおよびＪ）としてラベル付けされる中央行ｐｘ（または垂直エピポーラ画像の場合はｐｙ）に位置する水平エピポーラ画像の各画素ｌｘ（ｌｘ＝１～ｌｘ＝１１）（または垂直エピポーラ画像ではｌｙ）について、以下が行われる。
ステップ１
上側の隣接位置（ｌｘ、ｐｘ－１）、（ｌｘ＋１、ｐｘ－１）、（ｌｘ－１、ｐｘ－１）においてエッジ画素７３１としてラベル付けされた画素の検索：エッジ画素Ｂ（エッジ画素Ａから始まる第１反復）およびエッジ画素Ｋ（エッジ画素Ｊから始まる第１反復）が見出される。
ステップ２
エッジ画素７３１が見つかった場合、ｌｘおよびｐｘを新しいエッジ画素７３１の座標（エッジ画素Ａから始まる最初の反復におけるエッジ画素Ｂの座標：ｌｘ＝４、ｐｘ＝４；エッジ画素Ｊから始まる最初の反復におけるエッジ画素Ｋの座標：ｌｘ＝８、ｐｘ＝４）で更新し、ステップ１（次に見つかったエッジ画素：エッジ画素Ａから反復する際のエッジ画素Ｄ、ＦおよびＨ；エッジ画素Ｊから反復する際のエッジ画素ＭおよびＯ。エッジ画素Ｑは、エッジ画素Ｏに対してｌｘ＋２に位置するので、エピポーラ線の一部とはみなされない）を繰り返す。そうでなければ、ステップ３に進む。
ステップ３
下側の隣接位置（ｌｘ，ｐｘ＋１）、（ｌｘ＋１，ｐｘ＋１）、（ｌｘ－１，ｐｘ＋１）におけるエッジとしてラベル付けされる画素の検索：エッジ画素Ｃ（反復がエッジ画素Ａから開始するとき）及びエッジ画素Ｌ（エッジ画素Ｊから反復するとき）。
ステップ４
エッジ画素７３１が見つかった場合、ｌｘおよびｐｘを新しいエッジ画素７３１の座標（エッジ画素Ａから始まる最初の反復におけるエッジ画素Ｃ：ｌｘ＝４、ｐｘ＝６；エッジ画素Ｊから始まる最初の反復におけるエッジ画素Ｌ：ｌｘ＝８、ｐｘ＝６）で更新し、ステップ３（見つかった次のエッジ画素：エッジ画素Ａから反復する際のエッジ画素Ｅ、ＧおよびＩ；エッジ画素Ｊから反復する際のエッジ画素ＮおよびＰ。エッジ画素Ｒは、エッジ画素Ｐに対してｌｘ－２に位置するので、エッジ画素Ｒはエピポーラ線の一部とはみなされない）を繰り返す。そうでなければ、次のステップに進む。
ステップ１
上側の隣接位置（ｌｘ、ｐｘ－１）、（ｌｘ＋１、ｐｘ－１）、（ｌｘ－１、ｐｘ－１）においてエッジ画素７３１としてラベル付けされた画素の検索：エッジ画素Ｂ（エッジ画素Ａから始まる第１反復）およびエッジ画素Ｋ（エッジ画素Ｊから始まる第１反復）が見出される。
ステップ２
エッジ画素７３１が見つかった場合、ｌｘおよびｐｘを新しいエッジ画素７３１の座標（エッジ画素Ａから始まる最初の反復におけるエッジ画素Ｂの座標：ｌｘ＝４、ｐｘ＝４；エッジ画素Ｊから始まる最初の反復におけるエッジ画素Ｋの座標：ｌｘ＝８、ｐｘ＝４）で更新し、ステップ１（次に見つかったエッジ画素：エッジ画素Ａから反復する際のエッジ画素Ｄ、ＦおよびＨ；エッジ画素Ｊから反復する際のエッジ画素ＭおよびＯ。エッジ画素Ｑは、エッジ画素Ｏに対してｌｘ＋２に位置するので、エピポーラ線の一部とはみなされない）を繰り返す。そうでなければ、ステップ３に進む。
ステップ３
下側の隣接位置（ｌｘ，ｐｘ＋１）、（ｌｘ＋１，ｐｘ＋１）、（ｌｘ－１，ｐｘ＋１）におけるエッジとしてラベル付けされる画素の検索：エッジ画素Ｃ（反復がエッジ画素Ａから開始するとき）及びエッジ画素Ｌ（エッジ画素Ｊから反復するとき）。
ステップ４
エッジ画素７３１が見つかった場合、ｌｘおよびｐｘを新しいエッジ画素７３１の座標（エッジ画素Ａから始まる最初の反復におけるエッジ画素Ｃ：ｌｘ＝４、ｐｘ＝６；エッジ画素Ｊから始まる最初の反復におけるエッジ画素Ｌ：ｌｘ＝８、ｐｘ＝６）で更新し、ステップ３（見つかった次のエッジ画素：エッジ画素Ａから反復する際のエッジ画素Ｅ、ＧおよびＩ；エッジ画素Ｊから反復する際のエッジ画素ＮおよびＰ。エッジ画素Ｒは、エッジ画素Ｐに対してｌｘ－２に位置するので、エッジ画素Ｒはエピポーラ線の一部とはみなされない）を繰り返す。そうでなければ、次のステップに進む。
【0159】
この反復プロセスの結果は、（中心エッジ画素Ａに対応する）第１のエピポーラ線７１０及び（中心エッジ画素Ｊに対応する）第２のエピポーラ線７１２である。第１のエピポーラ線７１０は、９個のエッジ画素（Ｈ、Ｆ、Ｄ、Ｂ、Ａ、Ｃ、Ｅ、Ｇ、Ｉ）によって形成される。第２のエピポーラ線７１２は、７つのエッジ画素（Ｏ、Ｍ、Ｋ、Ｊ、Ｌ、Ｎ、Ｐ）によって形成される。
【0160】
説明した反復プロセスにおいて中央行ｐｘ内の特定のｌｘについて検出されたエッジ画素７３１の数に応じて、エピポーラ線は有効または無効とみなすことができる。一実施形態では、検出されるエッジ画素７３１の数は、少なくともエピポーラ画像の画素の高さ（すなわち、図７Ｅの例では９）でなければならない。第１のエピポーラ線７１０は、９画素を有するので、この基準に従うが、第２のエピポーラ線７１２は、７画素のみで形成されるので、この基準に従わない。別の実施形態では、主レンズ１０２の光学収差の影響を低減するために、端の画素（ｐｘ＝１、ｐｘ＝９）を省略してもよい（この場合、検出されるエッジ画素７３１の数は、少なくともエピポーラ画像の画素の高さから２を引いたもの、すなわち図７Ｅでは７画素であるべきである）。この最後の実施形態では、図７Ｅのエピポーラ線（７１０、７１２）の両方が有効であると考えられる。
【0161】
エピポーラ線内のすべてのエッジ画素７３１の方向の一貫性に応じて、エピポーラ線は、（エピポーラ画像内の同じ方向を指す）有効または無効とみなすことができる。例えば、第１のエピポーラ線７１０では、中央エッジポイントＡから始まって、すべての上側エッジ画素（Ｂ、Ｄ、Ｆ、Ｈ）が位置ｌｘ－１またはｌｘに位置し、下側エッジ画素（Ｃ、Ｅ、Ｇ、Ｉ）がｌｘ＋１またはｌｘ位置にあり、第１のエピポーラ線７１０の一貫した方向を形成する。同じことが、中央エッジポイントＪから始まる第２のエピポーラ線７１２にも当てはまり、すべての上側エッジ画素（Ｋ、Ｍ、Ｏ）は位置ｌｘ－１またはｌｘに位置し、下側エッジ画素（Ｌ、Ｎ、Ｐ）はｌｘ＋１またはｌｘ位置にある。
【0162】
一実施形態では、これらの２つの基準（エピポーラ線について検出されるエッジ画素７３１の数および方向の一貫性）の両方は、エピポーラ線が有効なものとみなされるために準拠しなければならない。
【0163】
したがって、図７Ｅに記載された実施形態によれば、エピポーラ線を有効であると考える。
【0164】
－ 第１に、対象のエッジに対応するエピポーラ画像内の画素（すなわちエッジ画素７３１）が、２次導関数値を使用して検出される。
【0165】
－ 次に、エピポーラ線を形成する１組の接続されたエッジ画素が得られる。エッジ画素ＡおよびＪから始まる、図７Ｅで予め定義された反復プロセスのような、異なるアルゴリズムを使用することができる（矢印は、エピポーラ線を形成する接続されたエッジ画素のセットを得るために、隣接するエッジ画素を探す上向きおよび下向きの反復探索方向を示す）。
【0166】
－ １つまたは複数の基準（例えば、セット内のエッジ画素の数およびセット内のエッジ画素のコヒーレント方向）に基づいて、エピポーラ線は有効または無効とみなされる。
【0167】
有効なエピポーラ線が検出されると、この線の勾配が計算される。この勾配値は、勾配と距離値との間に直接関係があるので、次に、深度値に直接変換されてもよい。分析されたエピポーラ線の勾配が計算されると、一実施形態によれば、この方法により、プレノプティックカメラによって捕捉されたシーンの対象のエッジの深度値（ｄｚ）を含む疎な２次元深度マップが出力される。深度マップの座標（ｄｘ、ｄｙ）は、対応する対象ポイントの横方向位置（すなわち、対象ワールドの２次元座標）を示し、深度値（ｄｚ）は、対象ワールド内の対応する座標（ｄｘ、ｄｙ）の深度を表す。図８は、異なる深度における３つの対象（８０２、８０４、８０６）を示す疎深度マップのエッジを示し、黒色は、深度値が割り当てられていないことを表し、白いほど深度値が大きく、シーン内の対象はより遠くにあることを表す。
【0168】
この方法は、前の段階で得られたエピポーラ線の勾配を考慮して、疎深度マップを生成する追加ステージを含んでもよい。疎深度マップは、以前に算出されたエッジ（ｄｘ、ｄｙ）に、実ワールドの対象の深度値（ｄｚ）を割り当てることにより得られる。
【0169】
一実施形態では、疎深度マップ生成への入力は、２つのマトリックス（水平深度マトリックス５１６および計算された深度値（ｄｚ）およびライトフィールド構造（ｐｘ、ｐｙ、ｌｘ、ｌｙ）の対応する位置に関連する垂直深度マトリックス５１７）である。疎深度マップ生成への入力は、前のステップで得られた２つの勾配マトリックス（５１２、５１３）であり得る。この場合、疎勾配マップが最初に得られ、深度への変換がこの２次元勾配マップにのみ適用され、したがって、計算要件が低減される。
【0170】
水平深度マトリックス５１６は、水平エピポーラ画像を分析することによって得られ、一方、垂直深度マトリックス５１７は、垂直エピポーラ画像から得られる。最新技術におけるこれらのマトリックス（５１６、５１７）の各々のサイズは、Ｎｐｘ×Ｎｐｙ×Ｎｌｘ×Ｎｌｙである。ここで、ＮｐｘおよびＮｐｙは、水平及び垂直方向のマイクロ画像における画素数であり、ＮｌｘおよびＮｌｙは、水平および垂直マイクロレンズの数である。
【0171】
エピポーラ線の線形回帰を行う場合、１つの勾配値のみを得ることが可能である。したがって、一実施形態では、この段階の入力マトリックスのサイズは、線形回帰法によって生成されるすべてのエピポーラ線についての深度／勾配値のみを格納するように大幅に低減することができ、その結果、水平深度マトリックスのサイズはＮｐｙ×Ｎｌｙ×Ｎｌｘ（水平エピポーラ画像は、最大Ｎｌｘのエピポーラ線を含んでもよい）となり、垂直深度マトリックスのサイズはＮｐｘ×Ｎｌｘ×Ｎｌｙ（垂直エピポーラ画像は、最大Ｎｌｙのエピポーラ線を含んでもよい）となる。
【0172】
一実施形態では、２つの深度／勾配マトリックスは、水平中心エピポーラ画像および垂直中心エピポーラ画像（または任意の他のエピポーラ画像）において分析される点のみを含んでもよく、マトリックスのサイズは、それらの両方についてＮｌｘ×Ｎｌｙである。
【0173】
エピポーラ画像内の対応する位置において有効なエピポーラ線が検出されていない（エッジが検出されていない）ので、これらのマトリックスの多くの点は、計算された深度値を有さなくてもよい。
【0174】
得られたあらゆる深度値（ｄｚ）を対象ワールドの２次元座標（ｄｘ、ｄｙ）に割り当て、計算された点の勾配に応じて深度マップ（ｄｘ、ｄｙ、ｄｚ）を得、点の座標（ｐｘ、ｐｙ、ｌｘ、ｌｙ）（すなわちセンサ上の位置）を考慮するために、組み合わせ段階を使用することができる。図１～図４から分かるように、対象ポイント１１０は、エピポーラ線上の異なる勾配と同様に、センサ上に異なるパターンを生成する。したがって、勾配を計算し、センサ上の位置（ｐｘ、ｐｙ、ｌｘ、ｌｙ）を知ることによって、検出されたエピポーラ線ごとに対応するワールド位置（ｄｘ、ｄｙ）を見つけることが可能である。
【0175】
対象ワールドの単一のエッジが、わずかに異なるノイズ、収差、閉塞、または量子化誤差によって影響を受けるいくつかのエピポーラ線を発生させ、異なる勾配、したがって異なる深さを有するエピポーラ線をもたらすことができるので、いくつかの異なる値ｄｚが、同じペア（ｄｘ、ｄｙ）について取得され得る。また、水平エピポーラ線のいくつかと垂直エピポーラ線のいくつかは、わずかに異なる値ｄｚを生じることがある。
【0176】
一実施形態では、２次元深度マップ（ｄｘ、ｄｙ座標毎に単一の値ｄｚ）を生成するときに、統計的ノイズを低減するために、すべての冗長深度値（ｄｚの異なる値）が単一の深度マップに結合される。
【0177】
深度マップ（ｄｘ、ｄｙ、ｄｚ）上に全ての深度値ｄｚを取得する場合、同じ位置（ｄｘ、ｄｙ）に対していくつかの深度値ｄｚを取得することができる。したがって、最終値を得るために、いくつかの方法を適用することができる。例として、限定されるものではないが、算術平均又は中央値又は他の平均化技術（重み付けされたポンデレーションを有する又は有さない）が、同じ深度マップ位置（ｄｘ、ｄｙ）に対して得られた全ての深度値（全てｄｚの値）に適用される。
【0178】
この冗長性により、統計的ノイズが低減され、深度マップの品質が改善される。さらに、少なくとも１つの実施形態では、エピポーラ線について計算された誤差見積りは、例えば、同じ位置（ｄｘ、ｄｙ）に投影されたすべての値の中で最も低い誤差を有する値を選択することによって（例えば、エピポーラ線と、そのエピポーラ線の始まりの画素との間のすべての距離の加算、または任意の他の測定値を誤差として考慮することによって）、深度マップの特定の位置（ｄｘ、ｄｙ）の最終的な深度値（ｄｚ）を選択するために考慮することができる。
【0179】
より多くの深度値が得られると、冗長性が増大し、深度測定値の誤差が最小限に抑えられるので、より正確な深度マップが生成され得る。それにもかかわらず、計算量および実施態様の複雑さを低減するために、アルゴリズムによって考慮される冗長性を低減し、深度マップの品質も低減することがあり得る。
【0180】
一実施形態では、２次元疎深度マップは、推定深度値を含む水平（または垂直）エピポーラ構造のあるプレノプティックビューを取得することによって、すなわち、ある画素（通常、収差の影響を受けにくいビューであるため、中心画素）に設定されたすべての点（ｐｘ、ｐｙ）を取得することによって、直接生成される。この場合、計算の複雑さは低減されるが、代わりに、冗長性がより少なくなり、場合によってはより疎な深度マップ（全てのマイクロレンズについての深度値のみ）が生成される。
【0181】
一実施形態では、深度マップの解像度は、ゼロ交差境界検出段階で得られるサブ画素精度を利用するために、マイクロレンズの総数よりも大きくすることができる。
【0182】
勾配値は、識別されたエピポーラ画像エッジ（エピポーラ線）でのみ得られるので、前の段階で得られた疎深度マップは、多数の画素に対してだけでなく、実ワールドの均一性がエピポーラ画像上にエッジを生成しない多数のマイクロレンズに対しても、多くの空位置を含む。一実施形態では、すべてのこの空の位置に対する対応する深度値は、隣接する位置の深度値を考慮することによって得ることができる。密な深度マップを得るためのこの手順は、「深度マップ補間」と呼ぶことができ、画像充填法における多くの従来技術を利用する。
【0183】
密な深度マップを得るために、疎深度マップを補間するために、いくつかの技法を適用することができる。したがって、これらのアプローチのいくつかは、限定ではなく単なる例であり、領域成長、分割およびマージ、およびクラスタリング技法の少なくとも何れか、ならびに画像処理のための従来技術で知られているいくつかの他のアプローチである。さらに、正則化方法を使用して、深度マップを補完することができる。
【0184】
図９は、異なる深度にある３つの対象（９０２、９０４、９０６）を示す密な深度マップの例を示す。この図９は、図８で生成された疎深度マップの濃い深度マップをグレーレベルで示し、黒色は深度値が割り当てられていないことを表し、他はシーン内のオブジェクトである。
【0185】
好ましい実施形態によれば、本発明の方法は、スマートフォン、タブレット、またはラップトップなどの電子モバイル装置において実行される。図１０Ａ、１０Ｂ、および１０Ｃは、プレノプティックカメラ１００によって取り込まれた画像１００２から深度マップを取得するために、本方法を実行するように構成された処理ユニットまたは処理手段１００４を有する電子モバイル装置１０００の異なる実施形態を示す。
【0186】
モバイル装置においてリアルタイムで深度マップを取得するために、本方法を極めて効率的な方法で実施することが非常に推奨される。これを達成するために、現在のマルチコアプロセッサ１００６（図１０Ａ）に含まれる複数のコアを、モバイル装置からのプロセッサにおいてさえも利用することが可能であり、いくつかのアルゴリズム実行スレッドを、それらの各々が異なる動作を実行することを担当するように作成する。
【0187】
一実施形態では、第１のＣＰＵ１００８ａ（図１０Ｂ）が水平エピポーラ画像５０２について説明したステップ（図５参照）を実行する一方で、第２のＣＰＵ１００８ｂが垂直エピポーラ画像５０３に対して同じ動作を実行することを担当するように、２つのＣＰＵ実行スレッドが作成される。
【0188】
計算効率を高めるために、より高度な計算技術を使用することができる。例えば、グラフィックス処理ユニット（図１０ＣのＧＰＵ１０１０）は、モバイル装置に含まれるものであっても、ＧＰＵは、動作を同時に実行することができる数百または数千のコアを含むので、使用することができる。したがって、一実施形態では、各エピポーラ画像（垂直および水平）は、アルゴリズムの実行をさらに加速するために、ＧＰＵ１０１０の異なるコアで同時に処理される。
【0189】
既に説明したように、エピポーラ画像に見られるパターンを深度情報に変換するプロセスは、いくつかの画像処理技術の適用を必要とする。エピポーラ画像は、エピポーラ線を含み、エピポーラ線は、線を形成する接続された画素（対象ワールド内の同じ点に対応するいくつかのセンサ画素）である。これらのエピポーラ線の勾配は、マイクロレンズ上に照射されるパターンの形状に直接関連し、より重要なことには、対象ワールドにおけるその点の対応する深度に関連する。プロセスを要約すると、エピポーラ画像、エピポーラ線に見られるパターンは、実物ワールドにおける対象の深度に関する情報を提供する。これらの線は、エッジ検出アルゴリズムを使用して検出してもよく、それらの勾配は、線形回帰法によって測定してもよい。エッジ検出および線形回帰の両方は、サブ画素精度で実行することができる。したがって、一実施形態では、エッジ検出ステップは、エピポーラ画像の各画素について、水平エピポーラ画像４００および垂直エピポーラ画像４０２について、それぞれｌｘおよびｌｙ次元における第２の空間導関数を計算するステップと、第２の空間導関数のゼロ交差を検出するステップと、サブ画素精度で有効エピポーラ線の勾配を決定するステップと、検出されたエッジを形成する点のゼロ交差に適合する線を適用するステップとを含む。以下では、２次空間微分のゼロ交差がそのような画素の領域内で見つかった場合に、画素はエッジ画素とみなされる。
【0190】
各エピポーラ線からの勾配は、上述のように都合よく処理され、そのようなパターンを生成した対象ワールドの点の実際の深さを提供する値を与える。深度推定のためのこの方法の主な利点の１つは、全ての計算が、画像の比較的小さい部分を表す対象ワールドのエッジが検出されたセンサの画素に対してのみ実行されることであり、センサの全ての１画素に対して計算を実行することを回避することができることである。
【0191】
しかし、カメラからの距離が大きく、対象ワールドの任意の点からの光線が互いにほぼ平行にカメラレンズに到達する（これらの光線を生成した対象点の視野がどれでも）ため、プレノプティックカメラ内のエピポーラ線の感知された勾配のわずかな変化を生成するために比較的大きな距離変化が必要とされ、すなわち、異なる距離に配置された２つの異なる対象は、実質的に同じ勾配を生成することができる（センサはこの変化を感知するために無限の精度を必要とし、言い換えれば、無限小の画素およびノイズのないワールドだけが勾配の変化を生成するので）。これらの状況では、勾配の正確な推定値を得ることが非常に重要であり、そうでなければ、推定された深さは、ワールドの対象の実際の深さと著しく異なることになる。この意味で、センサは有限画素で離散化されるので、プレノプティックカメラで勾配を測定するときに誤差が常に導入されることに留意されたい。
【0192】
図１１Ａ～１１Ｃは、カメラからある距離に位置する対象の深さを測定するときにプレノプティックカメラ１００によって捕捉される水平エピポーラ画像４００の３つの異なる実施例を示す。３つの水平エピポーラ画像４００の間の差は、たとえ距離が３つの場合において正確に同じであっても、プレノプティックカメラ１００の操作者の手が、振動に起因する位置のわずかに異なる変化を生じさせたという事実が、３つのわずかに異なる読み取りを生じさせたことである。理想的には、３つのエピポーラ線は正確に等しくなければならない。しかし、システムに固有のノイズのため、および光がわずかに異なる画素を照明しているため、エピポーラ線のゼロ交差もわずかに異なる位置にあり、それぞれ線形回帰１１０２、１１０４、および１１０６を適用した後に３つの異なる値の勾配を生成する。図１１Ａおよび図１１Ｃが極端な場合（カメラまでの特定の距離における特定の対象についての最大および最小の可能な勾配測定値）であると仮定すると、不確実性領域は、これらの２つの限界の間で定義され得る。この領域の一例が図１１Ｄに示されており、図１１Ｂの水平エピポーラ画像４００は、その対応する線形回帰および極端な値に対応する線形回帰を用いて表されている。この不確実性の範囲内の勾配の１つの正確な値のみが、深さの正確な正しい値を生成するであろう。
【0193】
この精度の不足により、プレノプティックカメラ１００における推定深度の精度は、深度が増加するにつれて低下する。図１２は、比較的短い距離および比較的長い距離に位置する対象の距離を測定する場合の、あるプレノプティックカメラ１００の不確実性を示す。この図１２は、カメラからの異なる距離（２つの点線の垂直線１２０６および１２０８）に位置する２つの対象（横軸は距離とともに増加する）の深度を計算するときにプレノプティックカメラ１００で得られた深度測定値の統計的分布１２０２および１２０４（または、常に同じ距離に位置する対象を有するカメラのわずかに異なる読み取り値から生じる、垂直軸上の可能な変動）の２つの例を示す。横軸は、プレノプティックカメラ１００からの深度または距離を表し、縦軸は、常に同じ距離にある対象ワールドの点に対して同じ深度値を提供した測定値の数である。左側の曲線１２０２は、比較的短い距離に位置する対象を測定する場合の分布を示し、一方、グラフの右側の曲線１２０４は、同じカメラであるが、ここでは、より長い距離に位置する対象で得られた分布を表す。図１２に示すように、推定深さの不確実性は、距離が大きくなるにつれて増大し、推定深さの分散も増大する。これが、単一のプレノプティックカメラが比較的短い距離に対してのみ良好な深度推定を提供する理由である。
【0194】
本発明の別の実施形態によれば、単一のプレノプティックカメラ・カメラによって提供される容量を増強し、マルチビューシステムを形成する追加のカメラの情報を使用することによって提供される低勾配変動によって導入される大距離の測定の不確実性を大幅に低減する、深度マップを取得するための方法およびシステムが提供される。この改良された実施形態は、後述するように、アレイ状構成の多数のカメラを含む多数の非常に複雑なカメラ構成に適用することができる。１つ以上の従来のカメラ１３０４を１つ以上のプレノプティックカメラ１００と組み合わせて、特定の間隔Ｄ（典型的には、モバイル装置においてカメラを使用する場合、数センチメートル）で使用することによって、長い距離の測定の不確実性が低減される。
【0195】
図１３Ａ～１３Ｅは、プレノプティックカメラ１００と、ある距離Ｄにあるいくつかの従来のカメラ１３０４とを使用する可能なマルチビューシステム構成のいくつかの実施例を示すが、プレノプティックカメラ１００と各従来のカメラ１３０４との間の距離は、従来のカメラ１３０４ごとに変化し得る。カメラは、例えば、スマートフォンまたはタブレットなどのモバイル装置１３００のリアカメラとして組み込まれてもよい。図１３Ａの実施形態は、距離Ｄだけ離れた従来のカメラ１３０４と水平に位置合わせされたプレノプティックカメラ１００を表し、図１３Ｂは、従来のカメラ１３０４と水平に位置合わせされ、第２の従来のカメラ１３０４とも垂直に位置合わせされたプレノプティックカメラ１００を示す。図１３Ｃの実施形態は、２つの従来のカメラ１３０４と、１つは右側に、１つは左側に、水平に位置合わせされ、第３の従来のカメラ１３０４と垂直に位置合わせされた、プレノプティックカメラ１００を示す。図１３Ｄの例は、各次元において２つの従来のカメラ１３０４と水平および垂直に位置合わせされたプレノプティックカメラ１００を示す。最後に、図１３Ｅは、１つが右側にあり、１つが左側にある、２つの従来のカメラ１３０４と水平に位置合わせされたプレノプティックカメラ１００を組み込んだモバイル装置１３００を示す。
【0196】
しかし、明確さおよび簡潔さのために、限定としてではなく、本明細書では、図１３Ａの例に示されるように、画像捕捉システムまたはカメラセットアップが、プレノプティックカメラ１００と、水平軸上のある距離Ｄに配置された従来のカメラ１３０４とを備える実施形態のための改善された方法を説明する。一旦、従来のカメラのための方法が説明されると、いくつかの従来のカメラ１３０４を使用する実施形態に方法を複製することは、簡単である。垂直エピポーラ画像４０２を使用することもできるが、改善された方法は、水平エピポーラ画像４００についても説明される。
【0197】
深度情報を得るための改良された方法は、プレノプティックカメラ１００について前述した深度推定手順に基づいており、エピポーラ画像に形成されたエピポーラ線の勾配が計算され、最終的に対象ワールドの特定の深度に関連づけられる。しかし、改善されたシステムおよび方法の主な貢献の１つは、プレノプティックカメラ１００の追加のビューとして１つまたは複数の従来のカメラ１３０４によって提供される２Ｄ画像の使用である。この新規プレノプティックビューは、プレノプティックカメラ１００からある距離に位置する。必要とされる技術を用いて適切に適合させることによって、２Ｄ画像は、プレノプティックシステムのベースラインを劇的に延長するために使用することができる。したがって、プレノプティックカメラ１００のエピポーラ線も、従来のカメラ１３０４によって提供される新規プレノプティックビューで延長することができる。この延長手順は、エピポーラ線の勾配を測定するときの精度を改善するために使用される。
【0198】
従来のカメラ１３０４の情報は、より高い精度で勾配を測定するために使用される。しかし、この追加情報を使用するためには、従来のカメラ１３０４の２Ｄ画像とプレノプティックカメラ１００のプレノプティックビューとの間の等価性を見つける必要がある。これを達成するために、カメラ間の距離、ならびに視野、画素サイズ、センササイズ、マイクロレンズのサイズなどの差を考慮しなければならない。このプロセスは、図１４で説明される。図１４では、プレノプティックカメラ１００から、および従来のカメラ１３０４からある距離に位置する点が、従来のカメラ１３０４のイメージセンサ１４００内のエッジ画素（ｃｘ，ｃｙ）１４０２と、プレノプティックカメラ１００のイメージセンサ１０６内のいくつかの画素およびマイクロイメージ１１２とを照明する様子が図示されている。これにより、プレノプティックカメラ・カメライメージセンサ１０６によって捕捉された水平エピポーラ画像４００に対する追加の線を含めることが可能になり、前記追加の線は、従来のカメラ画像センサ１４００の延長線１４０６である。この延長線１４０６は、プレノプティックカメラ１００の追加のプレノプティックビューと考えられる。図１５に示すように、延長線１４０６の位置は、（プレノプティックカメラ１００と従来のカメラ１３０４との間の距離Ｄに直接関係する）垂直距離Ｂと、（両カメラの共通フィールドが一致する）水平方向オフセット距離Ｈとの２つのオフセットによって決定される。さらに、プレノプティックカメラ１００の行（ｐｙ、ｌｙ）（エピポーラ画像４００を形成する）に対応する従来のカメラ画像１４１２の行ｃｙ（延長線１４０６に対応する）を得ることも必要である。これらの等価性はすべて、両方のカメラの固有パラメータおよびそれらの位置合わせ（相対位置）にのみ依存する。これらを得るための手順を以下に説明する。
【0199】
上述したプロセスに続いて、従来のカメラ１３０４から得られた延長線１４０６は、図１５で説明したように、ある距離Ｄにおけるプレノプティックカメラ１００の余分なビューとして使用される。したがって、プレノプティックカメラ１００のエピポーラ画像４００からのみ得られたエピポーラ線１４０４の線形回帰１５０６は、延長線１４０６まで延長される。（従来のカメラセンサ１４００の画素（ｃｘ'、ｃｙ'）に対応する）この交点１５０４の周りに、領域１５１２が、従来のカメラ１３０４の対応するエッジ画素（ｃｘ、ｃｙ）１４０２を探索するために定義される。このエッジ画素（ｃｘ、ｃｙ）１４０２は、エピポーラ画像４００のエピポーラ線１４０４を形成する画素と同じワールド内の対象のエッジに対応する。ウィンドウ１５１２内のすべての画素の中からエッジ画素１４０２を見つけるための処理対応アルゴリズムのこのステップが実行され、前記エッジ画素１４０２は、エピポーラ線１４０４を形成する画素に最も類似した画素に対応する。
【0200】
対応するエッジ画素１４０２が見つかると、エピポーラ線１４０４の画素およびエッジ画素１４０２は、延長エピポーラ線１４０８を形成する。延長エピポーラ線１４０８の画素は、線形回帰１５０８および再計算された勾配を得るために、新しい線形回帰手順を実行するために使用される。新しい勾配を計算するために、サブ画素精度で延長エピポーラ線１４０８に対応するエッジを計算する手順が、例えば、延長エピポーラ線１４０８の１ｘ方向（または垂直エピポーラ線のｌｙ方向）に沿った２次導関数のゼロ交差を得ることによって使用されてもよい。延長線１４０６の方向における従来のカメラの点の二次導関数は、Ｃｘ方向に沿って適用してもよい。
【0201】
従来のカメラによって提供される情報のために、延長エピポーラ線１４０８に関連する線形回帰１５０８の新しい勾配は、ノイズのないワールドで無限小の画素で得られた理想的な勾配１５１４にはるかに近く、プレノプティックカメラ１００によって提供される画素のみが使用された第１の推定１５０６よりもはるかに良好である。
【0202】
プレノプティックカメラの深度推定精度を高めるための手順全体は、図１６Ａおよび図１６Ｂのフロー図に示すように、２つの段階に要約することができる。エピポーラ画像を延長する手順は、水平エピポーラ画像についてのみ説明されるが、この分析を、従来のカメラが縦軸に配置され、垂直エピポーラ画像が水平エピポーラ画像の代わりに考慮されるシナリオに延長することは簡単である。
【0203】
カメラの較正に対応する第１の段階１６００は、以下の通りである。
【0204】
１６０２において、垂直分離Ｂの決定。ここでは、従来のカメラ映像１４１２の延長線１４０６が水平エピポーラ画像４００に追加されなければならない（垂直分離Ｂは、プレノプティックカメラ１００と従来のカメラ１３０４との間の距離Ｄに依存する）。
【0205】
１６０４において、従来のカメラ１３０４の延長線１４０６がプレノプティックカメラ１００の水平エピポーラ画像４００に含まれる場合（水平方向の両方のカメラの共通フィールドに一致させるため）、それらの延長線１４０６に適用されなければならない水平方向オフセット距離Ｈの決定。
【0206】
１６０６において、視野、画素のサイズ、および両方のカメラの位置を考慮に入れて、プレノプティックカメラの空間位置と従来のカメラの空間位置との間の関係を得る。特に、水平エピポーラ画像４００に適用される場合、プレノプティックカメラ１００の空間次元ｌｙと従来のカメラ１３０４の空間次元ｃｙとの間の関係を、垂直視野、画素のサイズ、および両方のカメラの位置に従って取得する。
【0207】
第２のステージ１６１０は、勾配計算に対応し、これによって勾配精度が向上する。プレノプティックカメラ１００の水平エピポーラ画像４００に見られる各エピポーラ線１４０４について、以下を行う。
【0208】
１６１２において、プレノプティックカメラ１００のエピポーラ画像４００において、エピポーラ線１４０４の画素と対応する線形回帰１５０６のみを考慮して、勾配の第１の推定値を計算する。
【0209】
１６１４において、プレノプティックカメラ１００の水平エピポーラ画像４００の垂直座標（ｌｙ、ｐｙ）に対応する従来のカメラ画像１４１２のｃｙ線（延長線１３０６）を取得する。この行ｃｙは、プレノプティックカメラ・カメラ画像におけるエピポーラ線のエッジ画素とワールド内の同じ対象に対応する従来のカメラ画像における特定のエッジ画素１４０２を含む。
【0210】
１６１６において、第１の段階１６００で先に得られた水平方向オフセット距離Ｈおよび垂直分離Ｂに従って、延長線１４０６を配置することによって、エピポーラ画像４００を延長する。
【0211】
１６１８において、プレノプティックカメラ線形回帰１５０６と延長線１４０６との交点１５０４を計算し、従来のカメラ画像の対応する画素（ｃｘ'，ｃｙ'）を得る。
【0212】
１６２０において、従来のカメラの延長線１４０６のエッジ画素１４０２が求められる画素（ｃｘ'，ｃｙ'）（交点１５０４）の周りにウィンドウ１５１２（図１７Ａおよび１７Ｂにそれぞれ示すように、１次元ウィンドウ１５１２または２次元ウィンドウ１５１２'とすることができる。図１７Ｂの例では、２Ｄウィンドウ１５１２'は、３つの画素の行ｃ'ｙ－１、行ｃ'ｙ、および行ｃ'ｙ＋１によって形成されている）を画定する。
【0213】
１６２２において、エピポーラ線１４０４によって表されるワールドの対象点に最もよく一致する、従来のカメライメージ１４１２内のエッジ画素１４０２（ｃｘ，ｃｙ）を見つけるために、対応法を適用する。エッジ画素１４０２は、エピポーラ線１４０４によって表されるエッジ点と対象ワールドの同じ点に対応する従来のカメラ画像１４１２内の点である。
【0214】
最後に、１６２４において、エピポーラ線１４０４の画素とエッジ画素１４０２とによって形成される延長エピポーラ線１４０８に線形回帰法技術を適用し、線形回帰法１５０８の勾配を算出する。そのために、一実施形態では、線形回帰が、水平エピポーラ画像４００のエピポーラ線１４０４のエッジ画素の１ｘ方向（または垂直エピポーラ画像の場合はｌｙ）の２次導関数のゼロ交差と、従来のカメラ画像１４１２のｃｘ方向（線１４０６に沿った）に沿ったエッジ画素１４０２の周りの値の２次導関数のゼロ交差とによって形成される点のセットに適用される。
【0215】
この手順を、図１３Ｂ～１３Ｅ、またはプレノプティックカメラ１００および従来のカメラ１３０４の２次元アレイを備える、本発明によるマルチビューシステムの別の可能な実施形態を表す図１８に示されるものなど、他のマルチビューカメラセットアップに延長することは簡単である。限定ではなく例として、プレノプティックカメラが４つの従来のカメラ（図１３Ｄの例のように、プレノプティックカメラの上部に１つ、下部に１つ、左に１つ、右に１つ）によって囲まれる場合、プレノプティックカメラ１００によって提供される水平４００エピポーラ画像および垂直４０２エピポーラ画像の両方を、水平エピポーラ画像４００および垂直エピポーラ画像４０２の上部および下部に水平延長線１４０６を追加して延長することができる。前記延長線１４０６は、従来のカメラ画像センサ１４００によって取り込まれる画像１４１２の（水平／垂直エピポーラ画像のための）水平／垂直線に対応する。したがって、従来のカメラだけ１つではなく４つを有することによって、測定数を増やすことによってノイズの影響を減らし、追加の冗長性が得られる。水平エピポーラ画像は、延長線１４０６（右側の第１の従来のカメラ１３０４については図１４および１５のように下部に適切な距離で配置された水平線、および左側の第２の従来のカメラ１３０４については上部に適切な距離で配置された水平線）で延長され、右および左の従来のカメラによって提供される線である。一方、垂直エピポーラ画像は、上部および下部の従来のカメラから垂直延長線１４０６（適切な距離で配置された従来のカメラ画像１４１２の垂直線）で延長される。複数の従来のカメラ１３０４を用いてエピポーラ画像（４００、４０２）を適切に延長するために、垂直間隔Ｂおよび水平オフセットＨは、それらの位置およびそれらの物理的パラメータに応じて、追加の個々の従来のカメラ１３０４ごとに計算されなければならない。
【0216】
プレノプティックカメラと従来のカメラとの間の分離は、単一のプレノプティックカメラのベースラインよりもはるかに大きいので、プレノプティックカメラのエピポーラ線エッジ画素のセットに加えて、従来のカメラのエッジ画素１４０２によって形成される新しい延長されたエピポーラ線１４０８において顕著な勾配変化を生成するために、比較的大きな距離において、より小さな深さ変動が必要とされることに留意されたい。延長エピポーラ線１４０８の線形回帰１５０８の新しい勾配を使用して、対象ワールドにおけるエッジポイントの非常に正確な深度を決定することができる。これは、図１４および図１５に示すように、従来のカメラのエッジ画素１４０２が識別され、延長エピポーラ線１４０８（および対応する線形回帰１５０８）が生成されると、プレノプティックカメラのエピポーラ線１４０４からの勾配の不確実性（または同様に、図１１Ａ～図１１Ｄの例では勾配１１０４の周りの勾配１１０２および１１０６によって画定される不確実性）が大幅に低減されることを意味する。この不確実性の大幅な低減は、図１９Ａおよび図１９Ｂに示されている。図１９Ａは、プレノプティックカメラのみを使用して、ある大きな深さについて得られた分布１９０２を示し、一方、図１９Ｂは、プレノプティックカメラおよび従来のカメラ情報を考慮して、同じ対象について得られた分布１９０４を示す。従来のカメラによって提供される情報が使用される場合、分散（したがって、不確実性）がどれほど狭いかに留意されたい。
【0217】
エピポーラ画像を延長するプロセスの第１の段階１６００は、従来のカメラの２Ｄ画像を追加のプレノプティックビューとして使用するために、光学系のいくつかの物理的パラメータの知識を必要とする。第１に、従来のカメラの延長線１４０６とエピポーラ画像４００の中心（特に、中心水平線１５１６）との間の間隔Ｂは、従来のカメラ１３０４とプレノプティックカメラ１００との間の距離Ｄ（２つのカメラ間のベースラインに関連する）に直接関連する。エピポーラ画像４００の各行１５１０は、プレノプティックカメラの異なるプレノプティックビューに対応し、視界はプレノプティックカメラのアパーチャに沿って分配されるので、従来のカメラ映像１４１２の延長線１４０６の位置を得ることは簡単である（プレノプティックカメラ１００と従来のカメラ１３０４との間の距離Ｄに対応する画素における垂直間隔Ｂにおける追加のビューだけ、図１５を参照）。一例として、本発明の一般性を制限することなく、プレノプティックカメラと従来のカメラとの間の典型的な分離は、約５ｃｍとすることができ、プレノプティックビューの数（各マイクロレンズ１０６下の画素数に等しい）は、通常、約１０×１０であり、ミニカメラのアパーチャ２００は、典型的には、約１ｍｍとすることができる（したがって、プレノプティックビュー間のピッチは、この例では、１／１０ｍｍである）。したがって、水平エピポーラ画像４００の中心水平線１５１６と従来のカメラの延長線１４０６との間の間隔Ｂ（プレノプティックカメラの中心プレノプティックビュー間）は、５ｃｍベースライン（両方のカメラ間の間隔）とプレノプティックカメラのプレノプティックビュー間のピッチとの間の分数である。
【0218】
【数2】
【0219】
各プレノプティックビューは、エピポーラ画像内の行として表されるので、エピポーラ画像４００の中央行（中央水平線１５１６）と従来のカメラ延長線１４０６との間の縦寸法における間隔Ｂは、図１５に示されるように、（エピポーラ画像の連続する行１５１０間の間隔ｄが１画素であることを考慮に入れて）実施例では５００画素である。
【0220】
エピポーラ延長手順の第１の段階１６００で必要とされる別の物理的パラメータは、水平オフセットＨであり、これは、両方のカメラの視野の共通部分が、プレノプティックビュー（上記の例では１０×１０のカメラ）と位置合わせされた追加のカメラとして線１４０６を考慮するように整合されることを確実にするように計算される。通常、従来のカメラのセンサは、プレノプティックカメラとはわずかに異なる実ワールドの部分から、それらの間の分離のために、光を受け取っている。さらに、両方のカメラの視野（ＦＯＶ）は、（たとえ、両方のＦＯＶを全く同じように設計する大部分の場合でも）異なり得、これは、実ワールドの異なる部分も取り込むことを意味する。
【0221】
従来のカメラ画像センサの水平方向オフセット距離Ｈは、延長されたエピポーラ線１４０８の線形回帰１５０８の勾配を適切に推定するために、これらすべての要因を考慮に入れなければならない。図１５から分かるように、延長線１４０６に適用された不正確な水平方向オフセット距離Ｈは、延長されたエピポーラ線１４０８の勾配の誤った推定を生成する。好ましい実施形態では、図２０Ａに示すように、水平方向オフセット距離Ｈは、実験的に計算される。この実験は、プレノプティックカメラ１００の光軸２００４に位置合わせされた発光点２００２を配置することからなる。さらに、この発光点２００２は、プレノプティックカメラ１００のマイクロレンズアレイ１０４の共役面に対応するプレノプティックカメラ１００の主レンズ１０２に対して距離２００６の位置に配置される。その特定のシナリオでは、すべてのプレノプティックビューは、正確に同じパターンを取り込み、エピポーラ画像は、（図４Ｄおよび図２０Ｂに示されるように）完全に垂直なエピポーラ線４３０を含む。
【0222】
一方、従来のカメラ１３０４はプレノプティックカメラ１００からある距離Ｄだけ離れているので、点２００２は、従来のカメラ１３０４のセンサの中心とは異なるある画素２０１０を照明する（従来のカメラ映像センサ１４００が従来のカメラの光軸と位置合わせされていると仮定するので）。図２０Ｂは、完全に垂直なエピポーラ線４３０を含むプレノプティックカメラの水平エピポーラ画像４００と、照明された画素２０１０を含む従来のカメラ画像センサ１４００の画素２０１２（ｃｘ＝１、．．、ｃｘ＝ｃｘ＿ｍａｘ）の水平線とを示す。両方のカメラが水平に整列されている場合、この線２０１２はセンサの中心線に対応し、そうでなければ、従来のカメラ１３０４のイメージセンサ１４００上で画素２０１０を見つけるために、単純な検索が実行されなければならないことに留意されたい。画素２０１０および水平線２０１２の位置が特定されると、エピポーラ線４３０と完全に位置合わせされた画素２０１０を得るために適用されなければならない水平オフセットＨは、図２０Ｂで直接計算することができる。
【0223】
従来のカメラ映像１４００のライン２０１２の垂直間隔Ｂおよび水平オフセットＨが決定されると、プレノプティックカメラの空間座標（ｌｘ，ｌｙ）と従来のカメラの空間座標（ｃｘ，ｃｙ）との間の関係が、エピポーラ画像（４００，４０２）内に見出されるエピポーラ線を適切に延長するために見出されなければならない。水平エピポーラ画像４００（ｐｙ，ｌｙ）では、行は、ｐｘ次元に沿って異なるプレノプティックビューによって取り込まれた同じ空間位置ｌｙを表す（図１４の例では、エピポーラ画像４００の第１行はｐｘ＝１に対応し、最後の行はｐｘ＝９に対応する）。したがって、水平エピポーラ画像４００に追加しなければならない従来のカメラ映像の延長線１４０６を適切に選択するためには、ｌｙと従来のカメラ画像１４００の縦寸法ｃｙとの間の等価性を見つけなければならない。
【0224】
好ましい実施形態では、この関係は、図２０Ａに提示されたものと同様の構成を使用することによって見出すことができるが、発光点２００２を使用する代わりに、従来のカメラ１３０４のより多くの画素２０１０およびプレノプティックカメラ１００のより多くのマイクロレンズを照明するより大きなパターンが使用される。（ｃｘ、ｃｙ）と（ｌｘ、ｌｙ）との間の対応は、従来のカメラのセンサ上に生成されたパターンＳｃのサイズ（照明された画素の数）と、プレノプティックカメラのマイクロレンズアレイ上に生成されたパターンＳｐのサイズ（照明されたマイクロレンズの数）とを特定することによって得られる。両方のサイズを比較することによって、両方の空間座標間の関係が得られるが、それにもかかわらず、水平オフセットＨも考慮しなければならない。したがって、従来のカメラ１３０４をプレノプティックカメラ１００の水平軸上に位置合わせすると、次の関係を得ることができる。
【0225】
ｃｘ＝ｌｘ・Ｓｃｘ／Ｓｐｘ＋ｈｏｒ＿ｏｆｆｓｅｔ
ｃｙ＝ｌｙ・Ｓｃｙ／Ｓｐｙ＋ｖｅｒ＿ｏｆｆｓｅｔ
ここで、ＳｐｘおよびＳｃｘは、それぞれプレノプティックカメラ１００および従来のカメラ１３０４上に生成されたパターンのｘ次元におけるサイズである。同様に、ＳｐｙおよびＳｃｙは、それぞれプレノプティックカメラ１００および従来のカメラ１３０４上に生成されたパターンのｙ次元におけるサイズである。パラメータｈｏｒ＿ｏｆｆｓｅｔは、先に得られた水平オフセットＨである。一方、パラメータｖｅｒ＿ｏｆｆｓｅｔは、プレノプティックカメラ１００及び従来のカメラ１３０４が横軸に完全に整列している場合にはゼロである。そうでなければ、図２０Ａおよび２０Ｂで説明したものと同様の実験（ただし、垂直エピポーラ画像４０２を用いる）が、縦軸における位置ずれを補償するために垂直オフセットを得るために使用されなければならない。
ｃｙ＝ｌｙ・Ｓｃｙ／Ｓｐｙ＋ｖｅｒ＿ｏｆｆｓｅｔ
ここで、ＳｐｘおよびＳｃｘは、それぞれプレノプティックカメラ１００および従来のカメラ１３０４上に生成されたパターンのｘ次元におけるサイズである。同様に、ＳｐｙおよびＳｃｙは、それぞれプレノプティックカメラ１００および従来のカメラ１３０４上に生成されたパターンのｙ次元におけるサイズである。パラメータｈｏｒ＿ｏｆｆｓｅｔは、先に得られた水平オフセットＨである。一方、パラメータｖｅｒ＿ｏｆｆｓｅｔは、プレノプティックカメラ１００及び従来のカメラ１３０４が横軸に完全に整列している場合にはゼロである。そうでなければ、図２０Ａおよび２０Ｂで説明したものと同様の実験（ただし、垂直エピポーラ画像４０２を用いる）が、縦軸における位置ずれを補償するために垂直オフセットを得るために使用されなければならない。
【0226】
少なくとも１つの実施形態では、対応するサイズを計算するためにパターンのエッジの２次導関数のゼロ交差を使用することが可能であるので、サイズＳｐｘ、Ｓｃｘ、Ｓｐｙ、およびＳｃｙを計算するときにサブ画素精度を使用して、これらの関係を見つける手順が実行される。同様に、画素２０１０のゼロ交差をエピポーラ線４３０と整列させることによって、サブ画素精度で水平オフセットＨを得ることができる。
【0227】
プロセスのこの時点で、図１６Ａの第１の段階１６００が完了し、異なるカメラが較正される。次に、プレノプティックカメラの勾配の精度を高めるために、第２の段階１６１０が開始される。
【0228】
エピポーラ画像内で検出された各エピポーラ線１４０４について、従来のカメラ画像の延長線１４０６内の対応するエッジ画素１４０２を見つけなければならない。少なくとも１つの実施形態では、各エピポーラ線１４０４の勾配は、まず、（プレノプティックカメラにおいてサブ画素精度で計算された２次導関数の対応するゼロ交差を使用して）対象ワールドのエッジとして識別された点のみを考慮する線形回帰法によって計算され、線形回帰線１５０６が得られる。その後、対応する延長線１４０６は、上で説明した理論的根拠、すなわち、ｌｙとｃｙと垂直オフセットとの間の関係、およびｌｘとｃｘと水平オフセットＨとの間の関係を使って、従来のカメラ画像１４１２から識別されなければならない。
【0229】
次に、水平オフセットＨ及び間隔Ｂを考慮して、線１４０６を延長し、従来のカメラの延長線１３０６との交点１４０４を計算する。対応する画素（ｃｘ'，ｃｙ'）を得るためには、ｃｘとｌｘとの間の関係を適用しなければならない。この画素は、エッジ画素１３０２を探す従来のカメラの延長線１３０６内の領域１４１２を決定するために使用される。この点は、対象ワールドにおける、プレノプティック・エピポーラ線１３０４の画素と同じエッジに対応する。
【0230】
少なくとも１つの実施形態では、プレノプティックカメラのエピポーラ線１４０４を形成する画素と対象ワールドの同じエッジに対応する従来のカメラ１３０４のエッジ画素１４０２を探すために、任意の数の画素を有する１次元ウィンドウ１５１２が、線１４０６内の考慮される領域として使用される。
【0231】
少なくとも１つの実施形態では、従来のカメラ画像１４１２の線ｃｙ１４０６に隣接する線を考慮した２次元ウィンドウ１５１２'を使用することも可能である。少なくとも１つの実施形態では、このウィンドウ１５１２の幅（および２Ｄウィンドウ１５１２'内の高さ）は、プレノプティックカメラのみで特定の深度を推定するときに得られる分散に従って選択される（図１１Ｄの点線１１０２および１１０６、ならびに図１２の分散曲線１２０２および１２０４を参照されたい）。このウィンドウは非対称となることがあり、すなわち、画素（ｃｘ'，ｃｙ'）の左側で考慮される画素数は、その画素の右側で考慮される画素数と異なることがある。
【0232】
従来のカメラ１３０４の画像１４１２内のある画素数の１Ｄウィンドウ１５１２または２Ｄウィンドウ１５１２'が画素１５０４の周りに定義されると、いくつかの可能な候補のうちのどの画素がエッジ画素１４０２であるか、すなわち、エピポーラ線１４０４を形成するエッジ画素に最もよく一致する（すなわち、最も類似した画素）画素に対応する、対象ワールド内の同じ光源によって生成された従来のカメラ１３０４内の画素であるかを識別する必要がある。２つのカメラからの画像を整合させるために、いくつかの技法を使用することができる（絶対差のＳＡＤ－Ｓｕｍ、相関、エントロピー、または偏差の任意の他の定量的測定の）。可能な実施形態では、プレノプティックカメラにおける比較のための基準として、エピポーラ線１４０４の中央画素を使用する。それは、中央画素を生成する交戦は、プレノプティックカメラ１００の主レンズ１０２の中央部分を横切り、対応するマイクロレンズ１０４を低角度で横切り、収差が最も小さいためである。。
【0233】
識別を実行するためのロバストな方法は、単一の画素を比較する代わりにパターンを一致させることであり、その結果、対象ワールドの特定の部分をより容易に識別することができる。これらのパターンは、対象ワールドの隣接する部分に対応する中心画素に隣接する画素をとることによって形成することができる。プレノプティックカメラでは、対象ワールドのこれらの隣接する部分は、隣接するマイクロレンズによってサンプリングされる。一例として、従来のカメラで見つけられるエッジ画素１４０２が、マイクロイメージ（ｌｘ、ｌｙ）の中心（ｐｘ＝５，ｐｙ＝５）に位置するエピポーラ線１４０４の中心画素と、ワールドの同じ対象に対応すると仮定する。次に、画素１４０２を適切に識別するために、エピポーラ線１４０４のこの中心画素の周りでマッチングされるべきパターンは、４つの隣接するマイクロイメージ（ｌｘ＋１，ｌｙ）、（ｌｘ－１，ｌｙ）、（ｌｘ、ｌｙ）、（ｌｘ、ｌｙ＋１）、（ｌｘ、ｌｙ－１）から、４つの周囲の中心画素（ｐｘ＝５、ｐｙ＝５）を考慮して定義される。このようにして、５つのプレノプティックカメラ中心視野からの最小収差点（マイクロ画像当たり９×９画素のすべてのマイクロ画像におけるｐｘ＝５、ｐｙ＝５）のみが考慮される。プレノプティックカメラ１００の参照パターンが画定されると、従来のカメラ１３０４のイメージセンサ１４１２において、同数の画素のパターンが画定される。具体的には、ウィンドウ１５１２内の延長線１４０６の各画素に対して１つのパターンが定義される。この基準パターンは、異なるサイズを有することもできるし、１Ｄパターンであってもよい。
【0234】
一実施形態では、従来のカメラ１３０４の画素は、プレノプティックカメラ１００のマイクロレンズよりもはるかに小さく、したがって、単一のマイクロレンズは、従来のカメラ１３０４の単一の画素によって統合されたものよりも、対象ワールドのはるかに大きな部分から来る光を統合している（図１５を参照）。このようなシナリオでは、従来のカメラのイメージセンサ上に画定されたパターンは、同じ空間領域を適切に識別するためにより多くの画素を含まなければならない（プレノプティックカメラ１００の比較的大きなサイズの単一マイクロレンズ１０５上にその光を投影するワールドの領域は、従来のカメラ１３０４のより多くの比較的小さな画素上にその光を投影するので）。
【0235】
もし、両方のカメラ内のセンサが同じサイズ（例えば、両方とも１０メガ画素センサ）であり、マイクロ画像１１２当たりの画素数が、上記の例では、例えば１０×１０（１００画素）ならば、プレノプティックカメラ内のこれらの５つの画素（基準画素（ｌｘ，ｌｙ）およびその４つの接続された隣接画素）によって形成されるパターンを、従来のカメラ内の５００画素のパターン（領域１５１２内の各画素当たり１つのパターン）と一致させなければならないだろう。従来のカメラのこれらのパターンの各々は、各々が１０×１０画素の５つの正方形によって形成される。このように、従来のカメラ１画素数対１０×１０画素数の単なる簡単なる比較に対して、解決策のロバスト性が改善される。しかし、上記の例では、従来のカメラ１３０４のイメージセンサが４０メガ画素センサならば、プレノプティックカメラの中心プレノプティックビューからの５つの中心画素のパターンを、従来のカメラの２０００画素のパターン（従来のカメラ映像センサ１４１２の２０×２０画素の５つの正方形）と一致させなければならず、このビューでは深度結果の精度が改善される。
【0236】
パターン・マッチング・アルゴリズム（エントロピー、相関、ＳＡＤ、。。．）は、最終的に、エピポーラ線１４０４の中心画素に最もよくマッチする従来のカメラ１３０４内の画素を生成する。例えば、前の例でＳＡＤ（絶対差の和）を使用していた場合、プレノプティックカメラの参照パターンの５つの画素の強度値（ｉ，ｊ）は、例えば、従来のカメラの各候補画素の周りに定義されたパターンの５００画素（ｋ、ｌ）の強度値の平均に減算される。これらの減算のすべての絶対値の合計は、ウィンドウ１５１２内のすべての候補画素について計算され、従来のカメラの領域１５１２内のすべての候補画素について一意の値が得られる。最終的に選択される画素は、最小の差（最小のＳＡＤ値）を有する画素であり、プレノプティックカメラのエピポーラ線を延長するために使用される。
【0237】
したがって、対応アルゴリズムを適用することによって、従来のカメラのエッジ画素１４０２が見つけられる。この余分な画素（余分なプレノプティックビューとして機能する）を用いて、延長エピポーラ線１４０８の線形回帰１５０８の勾配は、線形回帰技術（または任意の他のフィッティング方法）を、従来のカメラ画像１４１２において見出されるエッジ画素１４０２の二次導関数のゼロ交差と、プレノプティックカメラ１００のエピポーラ画像４００において見出されるエピポーラ線１４０４を形成する画素の二次導関数のゼロ交差とによって形成される点のセットに適用することによって計算される。プレノプティックカメラ１００のエピポーラ画像４００および従来のカメラ１３０４の画像１４１２において実行される線形回帰およびエッジ検出の両方が、サブ画素精度を使用して計算され得ることに留意されたい。少なくとも１つの実施形態では、延長エピポーラ線１４０８の線形回帰を計算するとき、従来のカメラ１３０４で検出されたエッジ画素１４０２の第２の空間導関数のゼロ交差は、プレノプティックカメラ１００で検出されたエピポーラ線１４０４のエッジ画素の第２の導関数のゼロ交差よりも重要度を割り当てることができる（例えば、エッジ画素１４０２のゼロ交差の重みを、エピポーラ線１４０４の残りのゼロ交差点に割り当てられた重みよりも高い値を割り当てることによって）。
【0238】
少なくとも１つの実施形態では、従来のカメラは、プレノプティックビューと光学的に同等であるように設計することができる。理想的には、これは、水平オフセットＨがゼロであり、プレノプティックビューの空間座標（ｌｘ、ｌｙ）が、従来のカメラの空間座標（ｃｘ，ｃｙ）と直接同等であることを意味する。このシステムは、プレノプティックカメラと、シフトされたプレノプティックビューと機能的に同等である従来のカメラとによって構成されてもよく、すなわち、従来のカメラの画素の数は、プレノプティックカメラのマイクロレンズの数に等しく、従来のカメラの画素のサイズは、プレノプティックカメラのマイクロレンズのサイズと同じである。さらに、プレノプティックカメラ１００の主レンズ１０２とマイクロレンズ配列１０４との間の距離２０１６は、主レンズ２０２０と従来のカメラ１３０４のイメージセンサ１４００との間の距離２０１４と、両方の焦点距離と同じであり、両方のカメラについても同じである。この実施形態では、従来のカメラ画素とプレノプティックカメラマイクロレンズとの間の関係（ｌｘ、ｌｙ）と（ｃｘ、ｃｙ）との間の関係は単純であり、両カメラ間の距離Ｄと、両カメラによって捕捉された視野の差のみが、エピポーラ線を延長する前に考慮されなければならない（従来のカメラは、プレノプティックカメラとはシーンの異なる部分を捕捉することができるので、例えば、先にコメントした図２０Ａおよび２０Ｂの実験に従って、水平方向オフセットＨを計算しなければならない）。
【0239】
本発明はまた、ステレオペアのみ、またはプレノプティックカメラのみを使用して達成することができる再フォーカシング性能を改善する。先に述べたように、任意のイメージング・システムにおいて深度を推定できるようにするための要件は、シーンの関心領域に焦点を合わせなければならず、そうでなければ、ワールド中の異なる空間位置からの情報がセンサ内で混合される。プレノプティックカメラでは、アパーチャが複数の同等のビューに分割されるので（非常に小さいアパーチャ、したがって、フィールドの深度が大きい）、シーンが合焦される深度範囲が効果的に増大される。
【0240】
この要件は、画像を特定の深さ平面に再フォーカスしたい場合にも適用される。再フォーカシングプロセスは、本質的に、システムのセンサが所望の深さの共役距離に配置されているかのようにビューを組み合わせるために、焦点が合っていることが望まれる深さ平面に応じて、シーンの異なる取り込まれたビューを適切に混合することからなる（例えば、プレノプティックカメラの特定の場合、マイクロレンズアレイの仮想フィルムは、マイクロレンズアレイ平面の前または後に「仮想フィルム」を得るために前方および後方の少なくとも何れかに伝播され得る）。したがって、ビューが異なれば異なるほど、再フォーカシング効果をより現実的に達成することができる。再フォーカシング効果を実行するための別の可能性は、所望の深さと同じ深さ平面に位置しないシーンの部分を（例えばガウスフィルタを用いて）ぼかすことである（実際には、これは、我々が焦点を外すことを望む特定の既知の深さで領域をぼかすことによる焦点ずれである）。これは、シーンの既知の深度マップを考慮して簡単に実行することができる。
【0241】
上記から明らかなように、再フォーカス性能は深度推定の性能に直接関連し、距離がより確実に推定されるほど、再フォーカス効果がより良好に達成される。この原理は、任意の撮像システムに対して有効である。
【0242】
図１３Ａ～１３Ｅに示される実施形態は、深度推定性能を改善し（推定深度値の不確実性を大幅に低減する）、また、単一のプレノプティックカメラまたは従来のマルチビューシステムと比較して、より長い距離を推定することを可能にする。また、再フォーカシング性能も向上する。
【0243】
プレノプティックカメラは、カメラから比較的短い距離で深度測定の精度を失い始めるので、プレノプティックカメラにおける再焦点合わせプロセスは、距離が増加するにつれてもはや効果的ではなくなる（スマートフォンの数ｍｍのミニカメラの場合、約１メートルであり、手持ちドカメラの場合、より大きな実用的なレンズでは、それほど効果的ではない）。プレノプティックカメラ１００の隣接するプレノプティックビュー間の比較的小さいベースライン（前の例では１ｍｍの１０分の１）のために、ある距離を超えると、光線は、無限の距離から来た場合には、ほぼ平行にカメラに到着し、したがって、例えば、２メートルまたは３メートルと無限の距離とを区別することは不可能であり、２メートルまたは３メートルを超えると、再フォーカスは不可能になり、１メートル未満の距離に対してのみ充分に機能する。
【0244】
図１３Ａ以降で説明されるマルチビューシステムは、短い距離に対してプレノプティックカメラ１００の良好な性能を効果的に組み合わせ、また、長い距離に対して複数のカメラシステムのより大きなベースラインを利用する。再フォーカシング効果を最大にするために、マルチビューシステムの被写界深度をできるだけ広げることが必要である。
【0245】
これを達成するために、少なくとも１つの実施形態では、従来のカメラ１３０４の過焦点距離は、無限遠と距離Ｔ（通常、過焦点距離の半分、例えば、１メートル）との間で、すべてが許容可能な鮮鋭度を有するように設計され、プレノプティックカメラ１００のＥＦＬ（有効焦点距離）（数ミリメートル）に近づく対象の距離を推定するための限界に到達しても、距離からカメラに非常に近い距離Ｔまでの許容可能な不確実性で距離を測定できるように、プレノプティックカメラ１００を相補的に設計する。
【0246】
一実施形態によれば、本発明は、（非常に近い対象から、対象の距離を徐々に増加させ、最終的にはいくつかの対象について無限遠に到達する）対象ワールドの多くの異なる距離に位置する多くの異なる対象でさえ、シーンの全焦点画像を取得することを可能にする。例であって、限定されるものではないが、一実施形態は、プレノプティックカメラの標準的なリフォーカス方法を適用して、カメラと距離Ｔとの間に位置する対象にフォーカスされた画像を取得する。最終的な全焦点画像は、各再フォーカス画像の最も鮮明な対象を撮影することによって構成され、一方、距離Ｔの範囲及び無限遠内のすべての対象が合焦しているので、距離Ｔよりも遠い範囲に位置する対象については、従来のカメラ１３０４の画像から単にそれらを撮影する。
【0247】
同様に、本発明はまた、単一のプレノプティックカメラまたはステレオペアのような従来のシステムを克服して、撮影された後に、写真を特定の深さ平面に再フォーカシングするために使用され得る。先に説明したように、本発明は、マルチビューシステムを使用することによってプレノプティックカメラの距離特定性能を増大させる。これにより、距離Ｔよりも遠くに位置する対象について精度良く距離を算出することができ、例えば、ＡからＢまでの距離の間の小さな範囲（合焦範囲を定義するためにユーザが選択したＡとＢである）に合焦するような芸術的な写真効果を生成することができる。Ａよりも長くＢよりも短い距離の画像は、プレノプティックカメラ１００の焦点を外すことによって（Ａ及びＢがＴよりも小さい場合）、又は従来のカメラ画像を単にデジタルフィルタリング（ぼかしフィルタ）することによって生成することができ、それは、我々は、長い距離に対しても信頼性のある深度マップを有しているので、マルチビューシステムにおいて可能であり、ユーザによって選択された距離の範囲内で焦点を外すことを選択することができる。
【0248】
記載された全てのアプリケーションはまた、プレノプティックビューの解像度を増加させるために適用され得る超解像方法と互換性がある。さらに、適切な画像処理ルーチンによってプレノプティックカメラと従来のカメラの画像を混合することによって、プレノプティックビューの低解像度を高めることが可能である。
【0249】
既に説明した利点に加えて、本発明は、現代のミクロン・画素・カメラの焦点合わせに必要なモータ（またはＭＥＭＳ）の使用を回避することができる（焦点合わせは、従来のカメラでは長い距離に対して、プレノプティックカメラ・カメラでは短い距離に対してデジタル的に実行されるので）。また、コストを下げ、信頼性を高め、ユーザが、写真が取られた後に、全焦点画像を望む場合には、全焦点画像を提供される。しかし、これは本発明の限定ではなく、可変焦点を有するカメラによっても使用することができる。
【0250】
本発明は、より高品質の３Ｄ画像を可能にするより良好な距離計算と同様に、ステレオペアにおける短距離、長距離、および焦点外領域に対してより良好な再焦点合わせを提供する。
【0251】
簡略化および明確化のために、単一プレノプティックカメラおよびステレオペアの深度推定の性能を向上させるための開示された発明の説明は、プレノプティックカメラと水平に整列された従来のカメラのみを考慮して説明された。それにもかかわらず、当業者は、本発明を、少なくとも１つがプレノプティックカメラである複数のカメラによって形成されるマルチビューシステムに容易に拡張することができる。さらに、これらのカメラの空間分布は、任意であり得（高価な較正または位置合わせ手順を必要とせずに）、本明細書で提案される方法を適応させるためには、小さく簡単な変更のみを行えばよい。
【0252】
先に説明したように、従来のカメラがプレノプティックカメラと水平に位置合わせされる場合、水平エピポーラ画像は、両方のカメラ間の間隔および両方のセンサ画素間の等価性を考慮して、図１４および図１５に示すように延長することができる。両方のカメラが縦軸に整列される場合、同様のプロセスが垂直エピポーラ画像に適用され得ることは明らかである。
【0253】
少なくとも１つの実施形態では、前述の手順は、合計５つのカメラ、１つのプレノプティックカメラ、およびそれを取り囲む４つの従来のカメラによって形成されるシステムを構成する図１３Ｄの例のように、プレノプティックカメラが２つの従来のカメラ（一方はプレノプティックカメラの上にあり、他方はプレノプティックカメラの下にある）と垂直に位置合わせされ、さらに２つの従来のカメラ（一方はプレノプティックカメラの右にあり、他方はプレノプティックカメラの左にある）と水平に位置合わせされるシナリオに、簡単に拡張することができる。この実施形態では、水平エピポーラ画像４００および垂直エピポーラ画像４０２の両方が、前述の方法論を使用して、プレノプティックカメラ１００のエピポーラ画像４００の上の延長線１４０６、および下の別の延長線１４０６で延長される。垂直エピポーラ画像４０２において、延長線１４０６は、垂直に整列された従来のカメラ１３０４の画像１４１２から取得され、水平エピポーラ画像４００は、水平に整列された従来のカメラ１３０４の画像１４１２と共に延長される。この構成の明らかな利点は、プレノプティックカメラ・カメラによってもたらされるカメラの非常に近くの対象に対する利点に加えて、ベースラインを改善し、非常に遠い距離に対する性能を追加する一方で、パターン識別（図１７Ａおよび１７Ｂのウィンドウ処理手順）のための非常に容易な検索で、多数の画像（例示的な実施形態では５つ）からのパターンをマッチングするために従来のカメラによって形成されるマルチビューシステムの重い処理負荷を回避することである。別の簡略化された実施形態は、図１３Ｂに示すように、プレノプティックカメラ、水平方向に整列された従来のカメラ、および垂直方向に整列された第２の従来のカメラを使用してもよく、水平方向４００および垂直方向４０２のエピポーラ画像の両方のベースラインを増加させる。
【0254】
本発明は、より一般的なシナリオに適用することができる。マトリックスの各位置にカメラを配置できるような空間位置のマトリックスを仮定する。図１８は、黒丸は、プレノプティックカメラ、従来のカメラ、またはカメラなしで不明瞭に置換され得る、このマトリックスを示す。本発明は、このマトリックスの任意の可能な構成を使用することができる。当業者には明らかなように、より大きなベースラインを提供する新しい従来のカメラビューでプレノプティックカメラのエピポーラ画像を適切に延長するために、異なる従来のカメラとプレノプティックカメラのセンサ画素間の適切なオフセットおよび等価性を見つけることだけが必要である。プレノプティックカメラ・カメラのエピポーラ画像は、従来のカメラの垂直方向の数と同じ数の線を用いて、垂直方向に延長することができる。例えば、プレノプティックカメラが、水平に位置合わせされた４つの従来のカメラの左側に配置される場合、プレノプティックカメラのエピポーラ画像は、４つの追加の線で延長され、各線は、４つの従来のカメラに対応し、それらの間の物理的間隔に依存する距離だけ互いに分離される。このような構成を使用することによって、深さ推定の冗長性がベースラインと同様に増大し、長い距離に対する深さ測定の不確実性が低減される。
【0255】
これに加えて、いくつかのプレノプティックカメラおよびいくつかの従来のカメラの少なくとも何れかを有するプレノプティックカメラのエピポーラ画像を延長することも可能である。これらの場合、エピポーラ画像は、従来のカメラの単一ラインだけでなく、図２１の例に示されるように、様々なプレノプティックカメラのエピポーラ画像を用いて延長される。延長エピポーラ線１４０８は、第１のプレノプティックカメラ１００ａからのイメージセンサ１０６ａによって取り込まれた画像２１１２aから取得された水平エピポーラ画像４００ａと、従来のカメラ１３０４からの画像センサ１４００によって取得された画像１４１２から取得されたエッジ画素１４０２と、第２のプレノプティックカメラ１００ｂからのイメージセンサ１０６ｂによって取得された画像２１１２ｂから取得された水平エピポーラ画像４００ｂとによって形成され、延長線１４０６は、第１のエピポーラ画像４００ａに対して水平オフセットＨ１および垂直間隔Ｂ１を有し、第２のエピポーラ画像４００ｂは、第１のエピポーラ画像４００ａに対して水平オフセットＨ２および垂直分離Ｂ２を有する。次に、延長エピポーラ線１４０８の線形回帰１５０８、およびその対応する勾配を計算して、高精度距離を推定する。これは、いくつかの第１の勾配推定値（プレノプティックカメラの１つのエピポーラ画像で計算されたもの）を有して、カメラ映像１４１２、２１１２ｂの残りの領域またはウィンドウ１５１２を識別することによって、測定の精度をさらに高めるために使用することができる。前記領域またはウィンドウ１５１２では、従来のカメラ１４０２の対応するエッジ画素および追加のプレノプティックカメラのエピポーラ線１４０４ｂの中心画素の両方の探索が実行される。２つ以上のプレノプティックカメラを含むマルチビューシステムの実施形態では、エピポーラ画像は、（図２１に示される画像２１１２ｂのような）プレノプティックカメラ画像の残りの情報で延長され、第２の段階１６１０は、あるエピポーラ線１４０４ａが、プレノプティックカメラ１００ｂの残りのエピポーラ線１４０４ｂと同じ対象ワールドのエッジに対応することを識別するために実行されなければならない。一実施形態では、この段階は、エピポーラ画像が従来のカメラの情報で延長されるが、追加のプレノプティックカメラ１００ｂの中心プレノプティックビューを考慮する場合に、先に説明した段階と同等である。
【0256】
プレノプティックカメラが水平軸でも垂直軸でも従来のカメラと位置合わせされない構成でも、プレノプティックカメラのエピポーラ画像を延長することが依然として可能である。単に、これらの不整合を補正し、異なる画像を適切に整合させるために、垂直オフセットおよび水平オフセットが適用されなければならない。これは、いくつかの整列していない視界を修正しなければならない場合、マルチビューについての文献において周知の手順である。
【0257】
少なくとも１つの実施形態では、マルチビューシステムは、図１８に示すように、対角位置にあるカメラがすべてプレノプティックカメラであるように等距離に分散されたＭ×Ｎ個のカメラのマトリックスからなる。この実施形態は、従来のカメラと同数の延長線で、すべてのプレノプティックカメラの垂直および水平エピポーラ画像を延長することができるという利点を有する。これは、全てのプレノプティックカメラのエピポーラ画像毎に延びる水平軸及び垂直軸において同じ精度を保証する。
【0258】
少なくとも１つの実施形態では、カメラは、マトリックス内に不規則に分布させることができる。少なくとも１つの実施形態では、カメラは、マトリックスの寸法が十分に高い場合、任意の種類の図形（例えば、円）、または任意の他の分布を形成して分布させることができる。
【0259】
本発明で提案されるエピポーラ画像延長手順は、追加の従来のカメラの助けを借りてプレノプティックカメラの深度推定プロセスを向上させ、最終的により正確な深度マップを生成するために適用される。したがって、本発明の方法は、エピポーラ画像の分析および従来のカメラで支援されるエピポーラ線の勾配の推定に基づくプレノプティックカメラのために存在する任意の深度マップ生成技術に適用することができる。
【0260】
限定とみなすことができないさらに他の実施形態では、例示的な深度マップ生成手順を説明する。この例の構成は、中央のプレノプティックカメラと、右側の従来のカメラと、プレノプティックカメラの上方の別の従来のカメラとからなる。プレノプティックカメラがライトフィールドを捕捉し、従来のカメラが対応する画像１４１２を捕捉すると、ライトフィールド内のプレノプティックカメラのエピポーラ画像が分析される。エピポーラ画像延長手順は、水平エピポーラ画像および垂直エピポーラ画像に適用され、すべてのエピポーラ線について正確な勾配推定を得る。
【0261】
プレノプティックカメラ・カメラでは、いくつかのエピポーラ線が、対象ワールド内の同じ点の情報を含むことができることに留意することが重要である。したがって、同じ空間位置に対応するすべての勾配は、冗長情報を利用し、不確実性をさらに低減して、空間位置（ｄｘ、ｄｙ）ごとの最終的な一意の勾配を得るために組み合わされなければならない。この勾配マップは、センサ内のそれらの位置（ｐｘ、ｐｙ、ｌｘ、ｌｙ）に応じて全ての勾配値を計算することによって、より具体的には、それらのエピポーラ線の点を対象ワールド内の同じ平面に投影し、（ｄｘ、ｄｙ）ペアごとに勾配値を割り当てることによって１つまたはいくつかのエピポーラ線に属する対象ワールド内の点ｄｘおよびｄｙを計算し、（対象ワールド内の同じ点によって生成される）それらのエピポーラ線の点を対象ワールド内の同じ平面に投影し、（ｄｘ、ｄｙ）ペアごとに勾配値を割り当てることによって計算することによって得られる。
【0262】
マルチビューシステムの構成に応じて、プレノプティックカメラ・カメラのすべてのエピポーラ線を従来のカメラの画像１４１２で強調することができるわけではないことが可能である（例えば、システムが２つの従来のカメラと水平に位置合わせされたプレノプティックカメラ・カメラを含むシナリオでは、水平エピポーラ画像だけが、従来のカメラの画像１４１２を追加のビューとして使用し、利用することができる）。したがって、少なくとも１つの実施形態では、組合せプロセス中に、延長されたエピポーラ画像で計算された勾配は、プレノプティックカメラのエピポーラ画像から排他的に得られた勾配よりも大きな重みを有することができる。すなわち、勾配がプレノプティックカメラから排他的に得られ、エピポーラ線がある勾配マップ上の位置（ｄｘ、ｄｙ）に投影され、従来のカメラからの少なくとも１つの画像１４１２を使用することによって精度が高められた勾配も同じ位置（ｄｘ、ｄｙ）に投影される場合、そのような位置の最終勾配値は、重み付けされた、又はされない任意の算術平均値で計算することができる。加重平均が適用される場合、少なくとも１つの実施形態では、増強された勾配は、より正確であるため、より多くの重みを有する。
【0263】
勾配マップが得られると、勾配と深度との間の関係が適用され（プレノプティックカメラの物理的パラメータおよび構成に依存する）、深度マップが得られる。エピポーラ線は対象ワールドのエッジでのみ見つけられるので、この深度マップは完全ではなく、深度値のない位置（ｄｘ、ｄｙ）（疎深度マップ）を含む。密な深度マップを得るために、充填方法を適用することができる。いくつか例を挙げると、画像セグメンテーション（領域成長、分割および併合、およびクラスタリング技術の少なくとも何れか）、３次元散乱点からの表面の補間／近似、またはマルチビューステレオ技法による３次元再構成に基づくものなど、様々な充填ストラテジを文献に見出すことができる。一実施形態では、これらの全ての空の位置に対する対応する深度値は、隣接する位置の深度値を考慮することによって得ることができる。
【0264】
一実施形態では、深度マップの解像度は、エッジ検出段階で得られるサブ画素精度を利用するために、マイクロレンズの総数よりも高くすることができる。前述のように、勾配値は、識別されたエピポーラ画像エッジ（エピポーラ線）でのみ得ることができ、前の段階で得られた疎深度マップは、多数の画素についてだけでなく、現実ワールドの均質性がエピポーラ画像上にエッジを生成しない多数のマイクロレンズについても、多くの空位置（ｄｘ、ｄｙ）を含む。したがって、より解像度が高いこの深度マップでは、高密度の深度マップを得るために、従来からの補完技術が等しく適用される。
【0265】
上記の図５は、有効なエピポーラ線が検出される（ステップ５１０および５１１）深度マップを決定するためのフロー図を示す。１つのプレノプティックカメラ１００のみを考慮する場合、有効なエピポーラ線は、図２２Ａに示すように、前記プレノプティックカメラ１００のエピポーラ画像（４００、４０２）から得られるエピポーラ線６１０（図６Ａ）である。この場合、有効なエピポーラ線を検出するステップ（５１０、５１１）は、プレノプティックカメラ１００からのエピポーラ線の検出するステップ２２０２と、検出されたエピポーラ線を有効なエピポーラ線（それらが有効であると見なされると仮定する）として考慮または割り当てるステップ２２０４とを含む。
【0266】
あるいは、図２２Ｂのフロー図に示されるように、図５の有効なエピポーラ線を検出するステップ（５１０、５１１）は、プレノプティックカメラ１００からの前記エピポーラ画像（４００、４０２）のエピポーラ線１４０４を検出するステップ（２２１２）と、１つ以上の追加の画像取得装置によって捕捉された画像に含まれる追加情報を用いて、これらのエピポーラ線１４０４を延長するステップ（２２１４）と、延長されたエピポーラ線１４０８を得るステップ（２２１６）と、これらの延長したエピポーラ線１４０８を有効なエピポーラ線として割り当てるステップ（２２１８）とを含んでもよい。このように、図１４の延長エピポーラ線１４０８は、図５のステップ５１０および５１１において有効なエピポーラ線とみなされ、図５における有効なエピポーラ線の勾配を決定するステップ（５１２、５１３）、前記延長エピポーラ線１４０８の勾配の計算を含む。
【0267】
前に説明したように（例えば、図２１の例では）、および、図２２Ｂに示すように、プレノプティックカメラ１００のエピポーラ線を延長するために使用される追加情報２２２２は、１つまたは複数の従来のカメラ１３０４によって取り込まれた画像１４１２に含まれるエッジ画素１４０２を含んでもよい。あるいは、追加情報２２２４は、１つまたは複数の追加プレノプティックカメラ１００ｂによって取り込まれた画像２１１２ｂのエピポーラ線１４０４ｂを含んでもよい。追加情報２２２６はまた、１つ以上の従来のカメラ１３０４からのエッジ画素１４０２と、１つ以上の追加のプレノプティックカメラ１００ｂからのエピポーラ線１４０４ｂとの組み合わせであってもよい。
【0268】
好ましい実施形態によれば、マルチビューシステムの方法は、スマートフォン、タブレット、またはラップトップなどの電子モバイル装置で実行される。図２３Ａ、２３Ｂ、および２３Ｃは、本発明のマルチビューシステム２３０２によって捕捉された画像２３０４から勾配および深度マップの少なくとも何れかを取得するために、方法を実行するように構成された処理ユニットまたは処理手段２３０６を有する電子モバイル装置２３００の異なる実施形態を示す。
【0269】
モバイル装置においてリアルタイムで深度マップを取得するために、本方法を極めて効率的な方法で実施することが非常に推奨される。これを達成するために、現在のマルチコアプロセッサ２３０８（図２３Ａ）に含まれる複数のコアを、モバイル装置からのプロセッサにおいてさえも利用することが可能であり、いくつかのアルゴリズム実行スレッドを、それらの各々が異なる動作を実行することを担当するように作成する。一実施形態では、第１のＣＰＵ２３１０（図２３Ｂ）が水平エピポーラ画像について上述したステップを実行する一方で、第２のＣＰＵ２３１０ｂが垂直エピポーラ画像について同じ動作を実行することを担当するように、２つのＣＰＵ実行スレッドが作成される。計算効率を高めるために、より高度な計算技術を使用することができる。例えば、グラフィックス処理ユニット（図２３ＣのＧＰＵ２３１２）は、モバイル装置に含まれるものであっても、ＧＰＵが同時に動作を実行することができる数百または数千のコアを備えているので、使用することができる。したがって、一実施形態では、各エピポーラ画像（垂直および水平）は、（マルチビューシステムに応じて可能な場合）延長され、アルゴリズムの実行をさらに加速するためにＧＰＵ２３１２の異なるコアで同時に処理される。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図6I】
【図6J】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図18】
【図19A】
【図19B】
【図20A】
【図20B】
【図21】
【図22A】
【図22B】
【図23A】
【図23B】
【図23C】