特許 7523492 ライト・フィールドを表すデータを生成する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】ライト・フィールドを表すデータを生成する方法および装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240719BHJP

   H04N 23/55 20230101ALI20240719BHJP

   G03B 15/00 20210101ALI20240719BHJP

   G06T 7/60 20170101ALI20240719BHJP

【ＦＩ】

H04N23/60 500

H04N23/55

G03B15/00 B

G06T7/60 200G

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2022095978

(22)【出願日】2022-06-14

(62)【分割の表示】P 2016180175の分割

【原出願日】2016-09-15

(65)【公開番号】P2022141637

(43)【公開日】2022-09-29

【審査請求日】2022-07-14

(31)【優先権主張番号】15306446.4

(32)【優先日】2015-09-17

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドラジツク，バルター

(72)【発明者】

【氏名】ブロンデ，ローレント

(72)【発明者】

【氏名】シユーベルト，アルノ

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１３－１４５９８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５５

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

光取得システムの瞳を通過する１組の光線と、当該光取得システムのセンサの少なくとも１つの画素の共役とによって占められる、当該光取得システムの物体空間におけるボリュームであって、当該１組の光線によって占められ、画素ビームと称される当該ボリュームを表すデータを生成する、コンピュータにより実施される方法であって、前記方法は、
前記画素ビームを表すライト・フィールド光線と、前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記光取得システムによって捕捉されたライト・フィールド・データから得ることと、
２Ｄ光線図において前記交点データの図式的な表現を規定する２Ｄ光線図パラメータを得ることと、
前記画素ビームを表すデータを提供するために、当該２Ｄ光線図パラメータから、前記画素ビームを規定するパラメータを推定もしくは特定することと、
を含む、前記方法。

【請求項2】

前記画素ビームを表すライト・フィールド光線が、前記画素の中心と前記瞳の中心とを通過する直線であり、前記画素ビームを規定するパラメータが、前記物体空間における前記画素の共役の位置およびサイズである、請求項１に記載の方法。

【請求項3】

前記ライト・フィールド光線に対応する前記交点データが、前記２Ｄ光線図においてデータ・ラインとして図式的に表され、前記２Ｄ光線図パラメータには、
データ・ラインの傾きと、
データ・ラインと前記２Ｄ光線図の軸との交点と、
のうちの少なくとも一方を表すデータが含まれる、請求項２に記載の方法。

【請求項4】

前記データ・ラインは、ラドン変換を適用することによって、前記２Ｄ光線図において検出される、請求項３に記載の方法。

【請求項5】

前記図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、前記デジタル・データ・ラインと軸との交点を表す少なくとも１つの第１のセルと、該デジタル・データ・ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される、請求項３又は４に記載の方法。

【請求項6】

各々の前記デジタル・データ・ラインが、ブレゼンハムのアルゴリズムの適用によって生成される、請求項５に記載の方法。

【請求項7】

前記画素ビームを表すデータが、対応する前記ライト・フィールド光線の色を表す色データを更に備えている、請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記画素ビームを表すデータが、メタデータとして提供され、前記メタデータのヘッダが、２Ｄ光線図において前記交点データの図式的な表現を規定する前記２Ｄ光線図パラメータを備えており、前記メタデータのボディが、光線の色を表すデータと、前記物体空間における前記画素の共役の位置およびサイズを規定するパラメータと、を備えている、請求項７に記載の方法。

【請求項9】

光取得システムの瞳を通過する１組の光線と、当該光取得システムのセンサの少なくとも１つの画素の共役とによって占められる、当該光取得システムの物体空間におけるボリュームであって、当該１組の光線によって占められ、画素ビームと称される当該ボリュームについてのメタデータを提供する装置であって、前記装置は、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・データ生成モジュールとを備え、該ライト・フィールド・データ生成モジュールは、
前記画素ビームを表すライト・フィールド光線と、互いに平行でありかつ前記物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、前記取得されたライト・フィールド・データから得て、
前記取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において前記交点データの図式的な表現を規定する２Ｄ光線図パラメータを得て、
前記画素ビームを表すデータを提供するために、当該２Ｄ光線図パラメータから、前記画素ビームを規定するパラメータを推定もしくは特定する、
ように構成されている、前記装置。

【請求項10】

規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
前記マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、該光センサは複数の画素組を備えており、各々の画素組は、前記マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、前記光センサと、
請求項９に記載のメタデータを提供する装置と、
を備えた、ライト・フィールド・イメージング装置。

【請求項11】

前記取得されたライト・フィールド・データから画像を描画する、請求項９に記載の装置。

【請求項12】

プログラム可能な装置用のコンピュータ・プログラムであって、該プログラム可能な装置にロードされて実行される際に請求項１から８のいずれか１項に記載の請求項に記載された方法を実施する一連の命令を備えた前記コンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ライト・フィールド（light field）を表すデータの生成に関する。

【背景技術】

【0002】

ＥＣＣＶ２００８の会議の会報において公開されたAnat Levin氏その他による論文である「Understanding camera trade-offs through a Bayesian analysis of light field projections（ライト・フィールド・プロジェクションのベイズ解析によるカメラ・トレードオフの理解）」において、４Ｄ（４次元）ライト・フィールドのサンプリングとして、すなわち、光線の記録として見ることのできる４Ｄライト・フィールド・データの取得技術が説明されており、活発な研究課題となっている。

【0003】

カメラから得られる古典的な２Ｄ（２次元）画像と比較して、４Ｄライト・フィールド・データは、ユーザが、画像の描画と、ユーザとのインタラクティビティとを高度化する、より多くの後処理機能を利用することを可能にしている。例えば、４Ｄライト・フィールド・データによって、焦点面の位置を事後的に規定、選択できることを意味する、自由に選択された焦点距離による画像の再合焦（refocusing）と、画像のシーン内での視点の若干の変更とを行うことが可能になる。４Ｄライト・フィールド・データを取得するためには、幾つかの技術を用いることができる。例えば、プレノプティック・カメラが、４Ｄライト・フィールド・データを取得できる。図１Ａには、プレノプティック・カメラの構造の詳細が示されている。図１Ａは、プレノプティック・カメラ１００を概略的に表す図である。プレノプティック・カメラ１００は、メイン・レンズ１０１と、２次元アレイに配置された複数のマイクロレンズ１０３から成るマイクロレンズ・アレイ１０２と、イメージ・センサ１０４と、を備えている。

【0004】

４Ｄライト・フィールド・データを取得するもう１つの方法は、図１Ｂに示されているようなカメラ・アレイを用いることである。図１Ｂは、マルチアレイ・カメラ１１０を表している。マルチアレイ・カメラ１１０は、レンズ・アレイ１１２とイメージ・センサ１１４を備えている。

【0005】

図１Ａに示されたプレノプティック・カメラ１００の例では、メイン・レンズ１０１が、メイン・レンズ１０１のオブジェクト・フィールド（object field）内のオブジェクト（対象物）（図示せず）から光を受けて、その光を、メイン・レンズ１０１のイメージ・フィールド（image field）を通過させる。

【0006】

最後に、４Ｄライト・フィールドを取得する更にもう１つの方法は、同一シーンの一連の２Ｄ画像を種々の焦点面で撮るように構成された従来型カメラを用いることである。例えば、２０１４年１０月に公開された、ＯＰＴＩＣＳ ＥＸＰＲＥＳＳ、Ｖｏｌ.２２、Ｎｏ.２１におけるJ.-H. Park氏その他による文献である「Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays（焦点面掃引による光線フィールド撮像、及び、３Ｄディスプレイによるその光学的復元）」に記載された技術を用いて、従来型カメラによる４Ｄライト・フィールド・データの取得を実現できる。

【0007】

４Ｄライト・フィールド・データを表す方法は、幾つかある。実際、２００６年７月に公開されたRen Ng氏による「Digital Light Field Photography（デジタル・ライト・フィールド写真技術）」という題目の博士号論文の第３.３章においては、４Ｄライト・フィールド・データを表す３つの相異なる方法が説明されている。第一に、４Ｄライト・フィールド・データは、プレノプティック・カメラによって記録する場合、マイクロレンズ画像のコレクション（収集物）によって表せる。その際に表される４Ｄライト・フィールド・データは、生画像（raw image）、或いは、生４Ｄライト・フィールド・データ（raw 4D light-field data）と呼ばれる。第二に、４Ｄライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイによって記録する場合、１組のサブ・アパチャ（sub-aperture）画像によって表せる。サブ・アパチャ画像は、ある視点から撮られた、あるシーンの画像に相当し、この視点は、２つのサブ・アパチャ画像間で少し異なる。これらのサブ・アパチャ画像は、撮像されたシーンの視差と奥行きとについての情報を提供する。第三に、４Ｄライト・フィールド・データは、１組のエピポーラ画像（epipolar image）によって表せるが、これについては、例えば、ＩＳＶＣ２０１１の会議の会報内で公開されたS. Wanner氏その他による「Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera（単一レンズ合焦プレノプティック・カメラによる４Ｄライト・フィールドのＥＰＩ表象の生成）」という表題の論文を参照されたい。

【0008】

ライト・フィールド・データは大量の記憶領域を占めることがあり、これは、記憶（格納）を厄介にし、かつ処理効率を低下させ得る。また、ライト・フィールド取得装置は、極めて異種混交的である。種々のライト・フィールド・カメラは、例えば、プレノプティック、或いは、カメラ・アレイといった互いに異なるタイプである。更に、各々のタイプ内で、例えば、相異なる光学的構成、或いは、相異なる焦点距離のマイクロレンズのような多くの相違点がある。各々のカメラは、自己の固有のファイル・フォーマットを有している。現在のところ、ライト・フィールドが依存する種々のパラメータの包括的な概要について、多次元情報の取得と伝送とをサポートする規格がない。従って、相異なるカメラについて取得されたライト・フィールド・データは、様々なフォーマットを有している。本発明は、これらのことを念頭において、考案された。

【発明の概要】

【0009】

本発明の第１の態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータを生成する、コンピュータにより実施される方法であって、ボリュームは画素ビームと称され、
画素ビームを表すライト・フィールド光線と、物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、光取得システムによって捕捉されたライト・フィールド・データから得ること（Ｓ８０３）と、
４Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得ること（Ｓ８０５，Ｓ８０６）と、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付けることと、
を含む、上記方法が提供される。

【0010】

本発明の一態様によれば、画素ビームを表すライト・フィールド光線は、画素の中心と上記瞳の中心とを通過する直線であり、画素ビームを規定するパラメータは、物体空間における画素の共役の位置およびサイズである。

【0011】

本発明の一態様によれば、ライト・フィールド光線に対応する交点データは、光線図においてデータ・ラインとして図式的に表され、上記光線図パラメータには、
データ・ラインの傾きと、
データ・ラインと光線図の軸との交点と、
のうちの少なくとも一方を表すデータが含まれる。

【0012】

本発明の一態様によれば、データ・ラインは、ラドン変換を適用することによって、２Ｄ光線図において検出される。

【0013】

本発明の一態様によれば、図式的な表現は、デジタル・データ・ラインを提供するセルのマトリクスとして提供され、各々のデジタル・データ・ラインのフォーマットが、ラインと軸との交点を表す少なくとも１つの第１のセルと、ラインの傾きを特定し得る少なくとも１つの第２のセルとの複数のセルによって規定される。

【0014】

本発明の一態様によれば、各々のデジタル・データ・ラインは、ブレゼンハムのアルゴリズムの適用によって生成される。

【0015】

本発明の一態様によれば、画素ビームを表すデータは、対応するライト・フィールド光線の色を表す色データを更に備えている。

【0016】

本発明の一態様によれば、画素ビームを表すデータは、メタデータとして提供され、メタデータのヘッダが、２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを備えており、メタデータのボディが、光線の色を表すデータと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を備えている。

【0017】

本発明のもう１つの対象は、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームについてのメタデータを提供する装置であって、ボリュームは画素ビームと称され、ライト・フィールド・カメラによって捕捉されたライト・フィールド・データを取得するライト・フィールド・データ取得モジュールと、ライト・フィールド・データ生成モジュールとを備え、ライト・フィールド・データ生成モジュールが、
画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定する交点データを、取得されたライト・フィールド・データから得て、
取得されたライト・フィールド・データを表すデータを提供するために２Ｄ光線図において交点データの図式的な表現を規定する光線図パラメータを得て、
画素ビームを表すデータを提供するために、画素ビームを規定するパラメータに光線図パラメータを関連付ける、
ように構成されている、上記装置である。

【0018】

本発明のもう１つの対象は、
規則的な格子構造の状態で配置されたマイクロレンズ・アレイと、
マイクロレンズ・アレイから光センサに投影された光を捕捉するように構成された光センサであって、光センサは複数の画素組を備えており、各々の画素組は、マイクロレンズ・アレイのそれぞれのマイクロレンズと光学的に関連付けられている、上記光センサと、
請求項９に記載のメタデータを提供する装置と、
を備えた、ライト・フィールド・イメージング装置である。

【0019】

本発明のもう１つの対象は、請求項１から８のいずれか１項に記載の方法によって得られたライト・フィールド・データから画像を描画する装置に関する。

【0020】

本発明のもう１つの態様によれば、光取得システムのセンサの少なくとも１つの画素が光取得システムの瞳を介して検出できる１組の光線によって占められる、光取得システムの物体空間におけるボリュームを表すデータについてのデータ・パッケージであって、ボリュームは画素ビームと称され、データ・パッケージは、画素ビームを表す光線の交点データの、２Ｄ光線図における図式的な表現を規定する光線図パラメータであって、交点データは、画素ビームを表すライト・フィールド光線と、互いに平行でありかつ物体空間における相異なる深度に対応する複数の所与の基準平面との交点を規定している、光線図パラメータと、画素ビームを表すライト・フィールド光線の色を規定する色データと、物体空間における画素の共役の位置およびサイズを規定するパラメータと、を有している、上記データ・パッケージが提供される。

【0021】

本発明の要素によって実施される一部の処理は、コンピュータによって実施されることがある。従って、このような要素は、一般的に、ここで「回路」、「モジュール」又は「システム」と称されることがある完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることがある。更に、このような要素は、表現式を備えた任意の有形媒体において具現されるコンピュータ・プログラム製品の形を取ることがあり、その表現式は、その媒体において具現されるコンピュータ使用可能プログラム・コードを有する。

【0022】

本発明の要素がソフトウェアの状態で実施できるので、本発明は、任意の適当な搬送媒体を介してプログラム可能装置に提供されるコンピュータ可読コードとして、具現できる。有形搬送媒体は、例えばフロッピーディスク、ＣＤＲＯＭ、ハードディスク装置、磁気テープ装置、或いは、ソリッド・ステート・メモリ装置などのような記憶媒体で構成されることがある。一時的な搬送媒体には、電気的信号、電子的信号、光学的信号、音響的信号、磁気的信号、或いは、電磁的信号、例えばマイクロ波又はＲＦ信号、のような信号が含まれることがある。

【図面の簡単な説明】

【0023】

以下、下記の図面を参照して、本発明の実施形態を、単に例として、説明する。

【図1A】プレノプティック・カメラを概略的に表す図である。

【図1B】マルチアレイ・カメラを表す図である。

【図2A】本発明の一実施形態によるライト・フィールド・カメラの機能的な図である。

【図2B】本発明の一実施形態によるライト・フィールド・データ・フォーマッタ（formator）とライト・フィールド・データ・プロセッサの機能的な図である。

【図3】光センサ・アレイ上に形成された２Ｄライト・フィールド画像の一例を示す図である。

【図4】カメラ又は光取得システムの光学系の物体空間において１組の光線によって占められるボリュームを表す図である。

【図5】一葉双曲面を表す図である。

【図6A】本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。

【図6B】本発明の１つ又は複数の実施形態によるライト・フィールド・データのパラメータ化のための基準平面の使用を図式的に例示する図である。

【図7】本発明の実施形態による基準平面についてのライト・フィールド光線の表現を概略的に例示する図である。

【図8A】本発明の１つ又は複数の実施形態による方法のステップを例示するフローチャートを示す図である。

【図8B】本発明の１つ又は複数の実施形態による、光データ・フォーマットを提供する装置のモジュールを例示する機能的なブロック図である。

【図9】本発明の実施形態によるライト・フィールド光線の表現のためのパラメータを概略的に例示する図である。

【図10】本発明の実施形態による、交点データを図式的に例示する２Ｄ光線図である。

【図11】本発明の実施形態によって生成された１つのデジタル・ラインを図式的に例示する図である。

【図12】本発明の実施形態によって生成された複数のデジタル・ラインを図式的に例示する図である。

【図13A】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。

【図13B】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。

【図13C】本発明の実施形態によってデジタル・ラインに適用されたラドン変換を図式的に例示する図である。

【図14】本発明の実施形態による、複数のカメラについての交点データを図式的に例示する２Ｄ光線図である。

【発明を実施するための形態】

【0024】

当業者であれば理解できるように、本原理の態様は、システム、方法、或いは、コンピュータ可読媒体として実施できる。従って、本原理の態様は、一般的に、ここで「回路」、「モジュール」又は「システム」と称することができる完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、常駐型ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を取ることができる。更に、本原理の態様は、コンピュータ可読記憶媒体の形態を取ることができる。１つ又は複数のコンピュータ可読記憶媒体の任意の組み合わせを利用してもよい。

【0025】

本発明の実施形態は、例えばフォーマット変換、再合焦、視点変更、及び、３Ｄ画像生成のような更なる処理用途のためのライト・フィールド・データのフォーマット化を提供する。

【0026】

図２Ａは、本発明の一実施形態によるライト・フィールド・カメラ装置のブロック図である。このライト・フィールド・カメラは、図１Ａのライト・フィールド・カメラに合わせて、アパチャ／シャッタ２０２、メイン・レンズ（対物レンズ）２０１、マイクロレンズ・アレイ２１０及び光センサ・アレイ２２０を備えている。一部の実施形態において、ライト・フィールド・カメラには、被写体またはシーンのライト・フィールド画像を撮るために起動されるシャッタ・レリーズが含まれている。これらの機能的特徴が図１Ｂのライト・フィールド・カメラにも適用されることは理解されるであろう。

【0027】

光センサ・アレイ２２０はライト・フィールド画像データを提供し、ＬＦデータ取得モジュール２４０がこのライト・フィールド画像データを取得し、これにより、ライト・フィールド（ＬＦ）データ・フォーマット化モジュール２５０がライト・フィールド・データ・フォーマットを生成し、及び／又は、ライト・フィールド（ＬＦ）データ・プロセッサ２５５がこのライト・フィールド画像データを処理する。ライト・フィールド・データは、取得の後、及び、処理の後にサブ・アパチャ画像として又はサブ・フォーカル・スタック（sub focal stack）として生データ・フォーマットで、或いは、本発明の実施形態による１つのライト・フィールド・データ・フォーマットでメモリ２９０に記憶されてもよい。

【0028】

図示の例では、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５は、ライト・フィールド・カメラ２００内に配置又は組み込まれている。本発明のその他の実施形態において、ライト・フィールド・データ・フォーマット化モジュール２５０及び／又はライト・フィールド・データ・プロセッサ２５５は、このライト・フィールド・キャプチャ・カメラの外部の別個の構成部分内に設けてもよい。この別個の構成部分は、このライト・フィールド・イメージ・キャプチャ装置に対してローカルであっても、或いは、リモートであってもよい。尚、任意の適切な有線又は無線プロトコルを用いてライト・フィールド画像データをフォーマット化モジュール２５０又はライト・フィールド・データ・プロセッサ２５５に送信してもよく、例えば、ライト・フィールド・データ・プロセッサは、取り込まれたライト・フィールド画像データ及び／又はその他のデータを、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介して、伝送してもよいことが理解されるであろう。

【0029】

ライト・フィールド・データ・フォーマット化モジュール２５０は、本発明の実施形態に従って取得されたライト・フィールドを表すデータを生成するように構成されている。ライト・フィールド・データ・フォーマット化モジュール２５０は、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。

【0030】

ライト・フィールド・データ・プロセッサ２５５は、ＬＦデータ取得モジュール２４０から直接受信された生ライト・フィールド画像データを処理して、例えば、本発明の実施形態に従って、フォーカル・スタックを生成する、或いは、ビューのマトリクスを生成するように構成されている。例えば、撮像されたシーンの静止画像、２Ｄビデオ・ストリームなどのような出力データが生成されてもよい。このライト・フィールド・データ・プロセッサは、ソフトウェア、ハードウェア、或いは、それらの組み合わせで実施されてもよい。

【0031】

少なくとも１つの実施形態において、ライト・フィールド・カメラ２００は、ユーザ・インタフェース２６０も備えていることがあり、このユーザ・インタフェース２６０は、ユーザがコントローラ２７０によりカメラ２００の動作を制御するためのユーザ入力を与えることを可能にする。カメラの制御には、例えばシャッタ速度のようなカメラの光学的パラメータの制御が１つ又は複数含まれることがあり、或いは、調節可能ライト・フィールド・カメラの場合、マイクロレンズ・アレイと光センサとの間の相対的な距離、又は、対物レンズとマイクロレンズ・アレイとの間の相対的な距離の制御が含まれることがある。一部の実施形態では、ライト・フィールド・カメラの光学的素子相互間の相対的な距離は、手動で調節されることがある。また、カメラの制御には、カメラのその他のライト・フィールド・データ取得パラメータ、ライト・フィールド・データ・フォーマット化パラメータ、或いは、ライト・フィールド処理パラメータも含まれることがある。ユーザ・インタフェース２６０は、例えばタッチスクリーン、ボタン、キーボード、及び／又は、ポインティング装置などのような任意の適切なユーザ入力装置で構成されてもよい。このようにして、ユーザ・インタフェースによって受信された入力を用いて、ＬＦデータ・フォーマット化モジュール２５０を制御及び／又は環境設定してデータ・フォーマット化を制御でき、また、ＬＦデータ・プロセッサ２５５を制御及び／又は環境設定して取得済みライト・フィールド・データの処理を制御でき、また、コントローラ２７０を制御及び／又は環境設定してライト・フィールド・カメラ２００を制御できる。

【0032】

ライト・フィールド・カメラは、例えば１つ又は複数の交換可能な、或いは、再充電可能なバッテリのような電力供給源２８０を含んでいる。ライト・フィールド・カメラは、取り込まれたライト・フィールド・データ及び／又は描画された最終画像を記憶する、或いは、例えば、本発明の実施形態の方法を実施するためのソフトウェアのようなその他のデータを記憶するためのメモリ２９０を備えている。このメモリには、外部メモリ及び／又は内部メモリが含まれ得る。少なくとも１つの実施形態において、このメモリは、カメラ２００とは別の装置、及び／又は、別の場所に設けることができる。また、一実施形態において、このメモリには、例えばメモリスティックのような取り外し可能／交換可能な記憶装置が含まれる。

【0033】

また、ライト・フィールド・カメラには、カメラの前に在るシーンを撮像前に見るための、及び／又は、以前に撮像された画像及び／又は描画された画像を見るための表示部２６５（例えば、ＬＣＤスクリーン）も含まれることがある。このスクリーン２６５は、ユーザに対して１つ又は複数のメニュー、或いは、その他の情報を表示するために用いられることもある。更に、ライト・フィールド・カメラには、例えば、ＦｉｒｅＷｉｒｅ又はユニバーサル・シリアル・バス（ＵＳＢ）のインタフェースのような、或いは、インターネット、セルラー・データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、及び／又は、その他の任意の適切な手段を介するデータ通信用の有線又は無線通信のインタフェースのような１つ又は複数のＩ／Ｏインタフェース２９５が含まれることがある。Ｉ／Ｏインタフェース２９５は、例えばコンピュータ・システム又は表示装置のような外部装置との間で、描画用途のために、例えばＬＦデータ・フォーマット化モジュールが本発明の実施形態に従って生成したライト・フィールドを表すデータのようなデータと、例えば生ライト・フィールド・データ又はＬＦデータ・プロセッサ２５５が処理したデータのようなライト・フィールド・データと、を送受信するために用いられることがある。

【0034】

図２Ｂは、ライト・フィールド・データ・フォーマット化モジュール２５０とライト・フィールド・データ・プロセッサ２５５の実施可能な特定の実施形態を例示するブロック図である。

【0035】

回路２０００には、メモリ２０９０と、メモリ・コントローラ２０４５と、１つ又は複数の処理装置（ＣＰＵ）から成る処理回路網２０４０と、が含まれている。１つ又は複数の処理装置２０４０は、メモリ２０９０に記憶された種々のソフトウェア・プログラム及び／又は複数組の命令を実行して、ライト・フィールド・データ・フォーマット化とライト・フィールド・データ処理とを含む種々の機能を実施するように構成されている。上記メモリに記憶されたソフトウェア・コンポーネント（ソフトウェア構成要素）には、本発明の実施形態に従って取得済み光データを表すデータを生成するためのデータ・フォーマット化モジュール（１組の命令）２０５０と、本発明の実施形態に従ってライト・フィールド・データを処理するためのライト・フィールド・データ処理モジュール（１組の命令）２０５５と、が含まれている。上記メモリには、ライト・フィールド・カメラ装置のアプリケーションのためにその他のモジュールが含まれていることがあり、例えば、一般的なシステム・タスク（例えば電源管理、メモリ管理）を制御する、及び、装置２０００の種々のハードウェアとソフトウェアの構成要素相互間の通信を容易にするためのオペレーティング・システム・モジュール２０５１と、Ｉ／Ｏインタフェース・ポートを介するその他の装置との通信を制御及び管理するためのインタフェース・モジュール２０５２と、が含まれていることがある。

【0036】

図３には、図１Ａの光センサ・アレイ１０４又は図１Ｂの光センサ・アレイ１１４上に形成された２Ｄ画像の一例が示されている。この２Ｄ画像は、生４Ｄライト・フィールド画像と呼ばれることが多いが、マイクロ画像ＭＩのアレイで構成されており、各々のマイクロ画像は、マイクロレンズ・アレイ１０２，１１２のそれぞれのマイクロレンズ（ｉ，ｊ）によって生成されている。マイクロ画像は、軸ｉと軸ｊによって規定される矩形格子構造のアレイに配置されている。マイクロレンズ画像は、それぞれのマイクロレンズの座標（ｉ，ｊ）によって参照されることがある。また、光センサ１０４，１１４の画素ＰＩは、その空間座標（ｘ，ｙ）によって参照されることがある。所与の画素に関連付けられた４Ｄライト・フィールド・データは、（ｘ，ｙ，ｉ，ｊ）として参照されることがある。

【0037】

４Ｄライト・フィールド画像を表す（又は規定する）方法は、幾つかある。例えば、４Ｄライト・フィールド画像は、図３を参照して説明したようにマイクロレンズ画像の集合によって表せる。また、４Ｄライト・フィールド画像は、プレノプティック・カメラによって記録される場合、１組のサブ・アパチャ画像によっても表せる。各々のサブ・アパチャ画像は、各々のマイクロレンズ画像から選択された同じ位置の画素から構成される。更に、４Ｄライト・フィールド画像は、１組のエピポーラ画像（epipolar image）によっても表せるが、これは画素ビームの場合ではない。

【0038】

本発明の一部の実施形態によれば、ライト・フィールド・データは、画素ビームの概念に基づいて表される。この点で、フォーマット及びライト・フィールド装置における多様性を考慮することがある。実際、光線に基づくフォーマットの１つの欠点は、画素のフォーマット及びサイズを表すために、パラメータ化平面（parametrization plane）をサンプリングする必要がある。それ故、物理的な重要な情報を復元するために、このサンプリングをその他のデータに従って規定する必要がある。

【0039】

図４に示されている画素ビーム４０は、カメラの光学系４１の物体空間（object space）において１組の光線よって占められるボリューム（volume）を表している。この１組の光線は、上記光学系４１の瞳４４を介して、カメラのセンサ４３の画素４２によって感知される。光線とは反対に、画素ビーム４０は、自由にサンプリングしてもよく、その理由は、画素ビームが、それ自体、物理的な光線の断面中のエネルギの保存に相当する「エテンデュ（etendue）」を伝えるためである。

【0040】

光学系の瞳は、アパチャ・ストップ（開口絞り）の前に在る光学系、すなわちカメラのレンズ、を介して見られる該アパチャ・ストップの像として定義される。アパチャ・ストップは、カメラの光学系を通過する光の量を制限する開口である。例えば、カメラ・レンズの前面付近に配置された調節可能ダイアフラム（レンズ絞り）は、そのレンズについてのアパチャ・ストップである。このダイアフラムを通過する光の量は、カメラのユーザが通過させたい光の量に従って適合化され得るダイアフラムの開口の直径によって、制御される。例えば、この開口を小さくすることによって、ダイアフラムを通過する光の量は低減されるが、焦点の深度は増大される。ストップ（絞り）の有効サイズは、レンズの屈折作用のために、そのストップの物理的サイズよりも大きい又は小さいことがある。正式には、瞳は、カメラの光学系の一部を介するアパチャ・ストップの像である。

【0041】

画素ビーム４０は、入射瞳４４を介して光学系４１を伝播して通り抜ける場合に所与の画素４２に到達する光線束として定義される。光は自由空間において直線上を進むので、このような画素ビーム４０の形状は、２つの断面、すなわち、一方が画素４２の共役４５であり、他方が入射瞳４４である、２つの断面によって規定できる。画素４２は、非ヌル（non-null）表面とその感度マップとによって規定される。

【0042】

従って、画素ビームは、図５に示されているように、２つの要素、すなわち、カメラの物体空間における瞳５４と画素４２の共役５５とによってサポートされる一葉双曲面５０によって表されることがある。

【0043】

一葉双曲面は、光線束の概念をサポートでき、且つ、物理的な光ビームの「エテンデュ」の概念と適合する線織面である。

【0044】

本発明の一実施形態において、画素ビーム４０，５０は、４つの独立したパラメータ、すなわち、瞳４４，５４の前方における画素共役４５，５５の位置とサイズとを規定するｚ_Ｐ，θｘ，θｙ，ａによって、規定される。

【0045】

画素ビームを表す一葉双曲面は、次式によって規定されることがある。

【数1】

ここでは、ｔｘ＝ｔａｎθｘ，ｔｙ＝ｔａｎθｙである。

【0046】

画素ビーム４０、５０のパラメータが規定される座標系（ｘ,ｙ,ｚ）の原点Ｏは、図４に示されているように、瞳４４の中心に対応しており、ここで、ｚ軸は、瞳４４，５４の表面に対して垂直な方向を規定している。

【0047】

パラメータθｘ，θｙは、瞳４４の中心の入口に対する主光線の方向を規定している。これらは、センサ４３上の画素４２の位置と光学系４１の光学的要素とに依存する。更に正確に述べると、パラメータθｘ，θｙは、瞳４４の中心から画素４２の共役４５の方向を規定するずれ角（shear angle）を表している。

【0048】

パラメータｚ_Ｐは、ｚ軸に沿う、画素ビーム４０，５０のウエスト（waist）５５、或いは、画素４２の共役４５、の距離を表している。

【0049】

パラメータａは、画素ビーム４０，５０のウエスト５５の半径を表し、ｃは、次式によって与えられる。

【数2】

ここで、ｒは、瞳４４、５４の半径である。

【0050】

パラメータｚ_Ｐ，ａ及びｃの値の算定は、所与のカメラの各々の画素ビームについて、そのカメラのキャリブレーション（calibration）（較正）段階中に、実現される。このキャリブレーション段階は、例えば、カメラの光学系を通り抜ける光線の伝播をモデル化できるプログラムを実行することに本質がある。このようなプログラムは、例えば、Ｚｅｍａｘ（コピーライト）、ＡＳＡＰ（コピーライト）、又は、Ｃｏｄｅ Ｖ（コピーライト）のような光学的設計プログラムである。光学的設計プログラムは、光学系を設計して分析するために用いられる。光学的設計プログラムは、光学系を通り抜ける光線の伝播をモデル化し、例えば、単体レンズ、非球面レンズ、屈折率分布型レンズ（gradient index lens）、ミラー、回折性光学的要素などのような光学的要素の効果をモデル化できる。

【0051】

従って、画素ビーム４０，５０は、その主光線とパラメータｚＰ，ａ及びｃとによって規定されることがある。

【0052】

しかしながら、画素ビーム４０，５０をこのように表したものは、大量の記憶領域を占有することになり、その理由は、光線を記憶するための古典的ファイル・フォーマットの本質が３Ｄ空間における位置と方向とを記憶することにあるためである。

【0053】

必要とする記憶領域がより少ない光線記憶用ファイル・フォーマットを提案するために、ライト・フィールド放射輝度の４つの次元をパラメータ化する（parametrizing）方法が、図６Ａに例示された立方体を基準にすることがある。この立方体の全ての６つの表面を用いてライト・フィールドをパラメータ化することがある。方向をパラメータ化するために、この立方体の表面に対して平行な第２の一組の平面が追加されることがある。このようにして、ライト・フィールドは、軸方向に沿う垂線を

とする６対の平面について規定されることがある。

【0054】

図６Ｂには、パラメータ化用に使用され、互いに平行に配置され、それぞれ、既知の深度ｚ１及びｚ２に位置する２つの基準平面Ｐ１及びＰ２を通過するライト・フィールド光線が例示されている。このライト・フィールド光線は、深度ｚ_１に位置する第１の基準平面Ｐ_１と交点（ｘ_１，ｙ_１）で交差し、深度ｚ_２に位置する第２の基準平面Ｐ_２と交点（ｘ_２，ｙ_２）で交差している。このようにして、ライト・フィールド光線が、４つの座標（ｘ_１，ｙ_１，ｘ_２，ｙ_２）によって識別されることがある。従って、ライト・フィールドは、１対の、ここでパラメータ化平面とも称される、パラメータ化用基準平面Ｐ_１、Ｐ_２によってパラメータ化でき、各々のライト・フィールド光線は、４Ｄ光線空間において点

として表される。

【0055】

例えば、基準座標系の原点が、座標軸系の基底ベクトル

によって生成される平面Ｐ_１の中心に置かれることがある。

軸は、生成された平面Ｐ_１に対して垂直であり、第２の平面Ｐ_２は、簡単明解にするために、平面Ｐ_１から

軸に沿った距離ｚ＝Δに置ける。伝播の６つの相異なる方向を考慮に入れるために、全体のライト・フィールドを６対のそのような平面によって特徴づけることがある。ライト・スラブ（light slab）と呼ばれることの多い１対の平面が、伝播の方向に沿ってライト・フィールド・カメラのセンサ又はセンサ・アレイと相互作用するライト・フィールドを特徴づける。

【0056】

パラメータ化用基準平面の位置は、

【数3】

として与えることができ、ここで、

は垂線であり、ｄは垂線の方向に沿っての３Ｄ座標系の原点からのオフセットである。

【0057】

パラメータ化用基準平面のデカルト方程式（Cartesian equation）は、

【数4】

として与えることができる。

【0058】

ライト・フィールド光線が、既知の位置、すなわち、

と、正規化された伝播ベクトル、すなわち、

とを有する場合、３Ｄにおける光線の一般的な媒介変数方程式は、

【数5】

として与えられることがある。

【0059】

ライト・フィールド光線と基準平面との交点

の座標は、

【数6】

として与えられる。

【0060】

次の条件が満たされない場合、ライト・フィールド光線と基準パラメータ化との交点は無い。

【数7】

【0061】

ライト・フィールドをパラメータ化するために用いられる基準平面のペア（対）が系の軸の１つに対して垂直であるので、光線交点の成分の１つは、各々の平面について常に一定である。従って、ライト・フィールド光線の第１の基準平面との交点

と、該ライト・フィールドの第２の基準平面との交点

と、がある場合、４つの座標が変化し、等式Ａを用いてライト・フィールド光線の４つのパラメータを算出できる。これらの４つのパラメータを用いて、ライト・フィールドの４Ｄ光線図を作ることができる。

【0062】

２つのパラメータ化基準平面を基準とするライト・フィールドのパラメータ化の場合、ライト・フィールドを表すデータは、次のように得られることがある。基準系が、図７に描かれているように設定されると、第１のパラメータ化平面Ｐ１は、ｚ＝ｚ_１においてｚ軸に対して垂直であり、第２のパラメータ化平面Ｐ２は、ｚ＝ｚ_２においてｚ軸に対して垂直に配置されており、ライト・フィールド・パラメータがＬ（ｘ_１；ｙ_１；ｘ_２；ｙ_２）である光線が、ライト・フィールド・カメラの光センサ・アレイが置かれている位置ｚ＝ｚ_３において描画される。等式Ａから

【数8】

が得られる。

【0063】

上記の式を展開すると、

【数9】

が与えられる。

【0064】

両方の組の等式によって、新たな位置における描画されるライト・フィールド光線と同じ点

が与えられるはずである。

と

の関数として、ｕ_ｘ，ｕ_ｙ，ｕ_ｚをそれらの対応する式に置き換えて、上に記したブロックの２番目の組の等式を用いて、ｘ_３とｙ_３とを加算すると、

【数10】

が得られる。

【0065】

これから下記の式が導かれる。

【数11】

【0066】

下付き数字３を有する座標は、ライト・フィールドが描画される既知の点（ｘ_３，ｙ_３，ｚ_３）に関係する。全ての深度座標ｚｉは、既知である。パラメータ化平面は、伝播の、或いは、描画の方向にある。ライト・フィールド・データ・パラメータＬは、（ｘ_１，ｙ_１，ｘ_２，ｙ_２）である。

【0067】

点（ｘ_３，ｙ_３，ｚ_３）において画像を形成するライト・フィールド光線は、

において超平面を規定する式Ｂによって、リンクされる（関連付けられる）。

【0068】

これは、画像が２平面パラメータ化済みライト・フィールドから描画される場合、超平面付近の光線のみを描画すればよく、それらをトレースする要求はない。図８Ａは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成する方法のステップを例示するフローチャートである。図８Ｂは、本発明の１つ又は複数の実施形態に従ってライト・フィールドを表すデータを生成するシステムの主要モジュールを概略的に例示するブロック図である。

【0069】

この方法の準備ステップＳ８０１において、カメラのセンサの画素に関連付けられた相異なる画素ビームを規定するパラメータが、カメラを較正することによって取得されるか、或いは、遠隔サーバに記憶されたデータ・ファイルから、或いは、例えばカメラのメモリ２９０又はカメラに接続されたフラッシュ・ディスクのようなローカル記憶装置に記憶されたデータ・ファイルから、上記パラメータを取り出すことによって取得される。

【0070】

上記パラメータは、相異なる画素ビームの主光線の座標であり、瞳の前方における画素共役の位置とサイズとを規定するパラメータＺｐ及びａは、カメラのキャリブレーション（較正）期間中に、各々の画素ビームについて、得られる。画素ビームの主光線は、その画素ビームをサポートする画素の中心と瞳の中心とを通過する直線である。もう１つの準備ステップＳ８０２において、生ライト・フィールド・データが、ライト・フィールド・カメラ８０１によって取得される。この生ライト・フィールド・データは、例えば、図３を参照して説明したようなマイクロ画像の形態であってもよい。また、このライト・フィールド・カメラは、図１Ａ又は１Ｂと２Ａ及び２Ｂに示されたようなライト・フィールド・カメラ装置であってもよい。

【0071】

ステップＳ８０３において、取得されたライト・フィールド・データが、光線パラメータ・モジュール８０２によって処理され、これによって、画素ビーム４０，５０の主光線に相当する捕捉されたライト・フィールド光線と、それぞれ深度ｚ_１，ｚ_２における１対のパラメータ化用基準平面Ｐ_１，Ｐ_２と、の交点を規定する交点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）とが提供される。

【0072】

カメラのキャリブレーションから、次記のパラメータ、すなわち、投影の中心（ｘ_３，ｙ_３，ｚ_３）と、カメラの光軸の向きと、カメラのピンホールから光センサの平面までの距離ｆと、が特定できる。これらのライト・フィールド・カメラのパラメータが、図９に例示されている。光センサの平面は、深度ｚｐに配置されている。光センサの画素出力は、ライト・フィールド光線の幾何学的表現に変換される。２つの基準平面Ｐ_１とＰ_２を備えるライト・スラブが、それぞれ深度ｚ_１とｚ_２において、ｚ_３を越えて、光センサに対するカメラの投影の中心の向こう側において、配置されている。光線に三角形の原理を適用することによって、マイクロレンズのアレイから投影された光を記録する画素座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）は、次の式の適用により、光線パラメータ、すなわち、基準平面交点（ｘ_１，ｙ_１，ｘ_２，ｙ_２）にマッピングできる。

【数12】

【0073】

上記の計算は、相異なるペア（対）のトリプレット（ｘ_ｐ,ｙ_ｐ,ｚ_ｐ）（ｘ_３,ｙ_３,ｚ_３）を有する複数のカメラに拡張してもよい。

【0074】

プレノプティック・カメラの場合、アパチャを有するカメラ・モデルが用いられ、ライト・フィールド光線が、位相空間において、原点（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）と方向（ｘ'_３，ｙ’_３，１）とを有するものとして記述される。深度ｚ_３における平面（ｘ_３，ｙ_３）へのその伝播は、行列変換として記述できる。レンズが、ＡＢＣＤ行列として作用して光線を屈折させ、もう１つのＡＢＣＤ伝播行列が、光線をライト・スラブ基準平面Ｐ_１とＰ_２に導く。

【0075】

このステップから、ライト・フィールド光線と基準平面Ｐ_１，Ｐ_２との交点を幾何学的に規定する交点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）が得られる。

【0076】

ステップＳ８０４において、交点データ（ｘ_１，ｙ_１，ｘ_２，ｙ_２）をグラフィック的に（図式的に）表す２Ｄ光線図が、光線図生成モジュール８０３によって、得られる。

【0077】

図１０は、カメラによって位置ｘ_３＝２、深度ｚ_３＝２、アパチャ|Ａ|＜０.５で捕捉されたライト・フィールド光線の交点データ（ｘ_１，ｘ_２）を図式的に表す２Ｄ光線図である。パラメータ化に用いられる光線図のデータ・ラインが、２５６×２５６個の画素の画像を提供する２５６個のセルによって、サンプリングされる。

【0078】

図１０に例示された光線図をマトリクス（行列）として解釈すると、その密度が疎らであると分かる。光線を４Ｄ位相空間行列の代わりにファイルに個々に保管しようとするならば、各々の光線について、各々の位置ｘ_ｉ又はｘ_３についての少なくとも２バイト（ｉｎｔ１６）と色についての３バイトとの合計、すなわち、２Ｄスライス・ライト・フィールドについて光線毎に７バイト、そして、そのフル（full）の４Ｄ表現について光線毎に１１バイトを保管する必要がある。たとえそうであっても、光線は、表現を巧みに操作する必要があるアプリケーションにとって不適当であるかもしれないファイルにランダムに記憶されることになる。本発明の発明者は、どのようにして、光線図マトリクスから代表的なデータのみを抽出して、そのデータを構造化された方法でファイルに記憶すべきかを突き止めた。

【0079】

２Ｄスライス・ライト・フィールド光線が２Ｄ光線図のデータ・ラインに沿ってマッピングされるので、ライン値自身ではなく、データ・ラインを規定するパラメータを記憶する方がより効率的である。例えば傾きを規定するパラメータｓと軸交点（切片）ｄのようなデータ・ラインを規定するパラメータが、そのデータ・ラインに属する１組のライト・フィールド光線と共に、記憶されることがある。

【0080】

これによって、例えば、傾きパラメータｓについて僅か２バイト、傾きパラメータｄについて２バイト、従って、光線毎に３バイトのみを必要とすることができる。更に、光線は、ファイル内でラインに沿って配列されることがある。マトリクス・セルを通じてラインを設定するために、最小の誤差で光線ラインに近似する、所謂、デジタル・ラインが生成される。

【0081】

ステップＳ８０５でデータ・ラインの位置を特定し、且つ、傾きパラメータｓと切片パラメータｄとを得るために、ステップＳ８０４で生成された光線図についてラドン変換（Radon transform）がライン検出モジュール８０４によって行われる。

【0082】

ステップＳ８０６において、代表的なデジタル・ラインが、得られた傾きパラメータｓと切片パラメータｄから、デジタル・ライン生成モジュール８０５によって、生成される。このステップにおいて、デジタル・ラインは、例えばブレゼンハムのアルゴリズム（Bresenham's algorithm）を適用して、分析ラインをその最も近くの格子点に近づけることによって、生成される。実際に、ブレゼンハムのアルゴリズムは、最小限の演算で、デジタル・ラインを提供する方法を提供する。ブレゼンハムのアプリケーション（適用）の一例は、次の参考資料、すなわち、http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.htmlから適合化されたものである。

【0083】

デジタル・フォーマットは、格子（０，ｄ）と（Ｎ－１，ｓ）の２点によってデータ・ラインを規定し、ここで、ｄは、ｘ１＝０である時のｘ２の値に対応する交点（切片）であり、ｓは、ｘ１＝Ｎ－１である時のｘ２の値に対応する傾きパラメータである。この生成されたデジタル・フォーマットから、各々の個別のラインの傾きａは、ｄとｓとの関数として、

【数13】

と表されることがあり、ここで、
ｓ∈｛０，１，．．．Ｎ－１｝、ｄ∈｛０，１，．．．Ｎ－１｝
である。

【0084】

図１１には、ブレゼンハムのアルゴリズムの適用によって生成されたデジタル・ラインの一例が例示されている。

【0085】

図１２には、同一の傾きａ（又は、ｓ－ｄ）及び相異なる切片ｄを有し、互いに隣接する一群のデジタル・ライン（データ・ライン）が例示されている。この一群のデータ・ラインは、ここでは「ラインのバンドル（束）（bundle of lines）」と呼ぶが、理想的に精密ではないカメラから得られるビームに相当する。各々のラインは、相異なる画素を取り扱う。換言すれば、１つの画素は、同一の傾き及び相異なる切片を有する１つのバンドルのうちの１つの固有のラインのみに属する。軸交点（切片）ｄの上側及び下側の境界は、それぞれ、ｄ_ｍａｘ及びｄ_ｍｉｎとして与えられる。

【0086】

サンプリングされた（２Ｄにおける）１対のラインによってパラメータ化され、且つ、１つのカメラに属する光線データは、そのデータを表すための位相空間において、デジタ
ル・ラインの１つのファミリー（ビーム）に属する。ビームのヘッダは、単に、傾きａと、軸交点（切片）の上側及び下側の境界ｄ_ｍａｘ及びｄ_ｍｉｎによって規定されるビームの厚さと、で構成できる。光線の値は、ヘッダがｄ及びｓであり得るデジタル・ラインに沿ったＲＧＢ色として、記憶される。サンプリングされた空間における光線図の空のセルは、記憶される必要はない。光線の座標ｘ_１、ｘ_２は、パラメータｄ及びｓと、デジタル・ラインに沿ったセルの位置と、から推定できる。

【0087】

ライト・フィールドから、或いは、カメラのジオメトリ（幾何学的な位置関係）から推定されるパラメータは、傾きａ、デジタル・ライン交点（切片）の下側及び上側の境界（ｄ_ｍｉｎ，ｄ_ｍａｘ）、及び、デジタル・ライン・パラメータ（ｄ_ｉ，ｓ_ｉ）である。離散ラドン変換（discrete Radon transform）は、光線図においてライト・フィールドのサポート位置を測定する手段として、既に述べている。

【0088】

図１３Ｂには、図１３Ａのデータ・ラインのデジタル・ライン・パラメータ空間（ｄ，ｓ）における離散ラドン変換（Discrete Radon Transform）が示されている。図１３Ｃは、図１３Ｂに含まれている対象領域のズーム（zoom）である。デジタル・ラインのビームの位置は、最大値パラメータの検索によって特定される。画像内容に因り、ＤＲＴの幾何学的な対称の中心と最大値の実際の位置との間にある程度のオフセットがあり得るので、後で、最大値の代わりに、１つのアルゴリズムを用いて対称の中心を正確に特定する。次に、図１３Ｃに示されているようなビーム変換のウエストは容易に見つかり、値（ｄ_ｍｉｎ，ｄ_ｍａｘ）が得られる。点（ｄ_ｍｉｎ＝７４，ｓ＝２０１）が、図１３Ａから得られるデジタル・ラインのビームの下側エンベロープ（envelope）であり、点（ｄ_ｍａｘ＝８１，ｓ＝２０８）が、そのデジタル・ラインのビームの上側エンベロープである。

【0089】

等式Ｂから２つの直交する２Ｄスライス空間の等式は、

【数14】

として与えられる。

【0090】

ｘ_ｉ座標についての２Ｄスライスを求める場合、（ｘ_３，ｙ_３，ｚ_３）におけるサイズＡのアパチャを介する光線データが位置するラインのビームの等式は、

【数15】

として与えられる。

【0091】

同様に、２Ｄスライスをｙ_ｉ座標について求める場合は、

【数16】

となる。

【0092】

前述のように、ｍ及び

，

，

，

の値を離散領域において求めて、前述のフォーマットによって規定されるようなライト・フィールドの特徴をローカライズすることがあり、４Ｄ離散ラドン変換を行なう要求はない。２つの直交する２Ｄ ＤＲＴを得る場合、超平面の傾きｍと、全てのデータが４Ｄ光線図において集中するデジタル超平面のビーム幅と、についての測定を行うことができる。

【0093】

このより簡単な位置特定方法は、

，

，

，

が全ての超平面交点を包含するように、且つ、このフォーマットで書かれた一部の値には値が含まれないように、円形入射瞳Ａを前提としている。

【0094】

２Ｄのケースについて提案したものに類似する４Ｄのケースについてのフォーマットを得ることは興味深いであろう。そうする場合、

平面上に在る２Ｄラインを、

平面上に在るラインに、すなわち、対応する超平面と

及び

の２つの直交するスライスとの交差の結果であるラインに、関連付けることは興味深いであろう。式ＤとＥから、対応するラインが同じ傾きｍを有することが分かる。これは、カメラについて、ある深度において、

内の各々のラインを

内のラインに関連付ける第１のパラメータである。複数のカメラが同じ深度にある場合（すなわち、図１３Ａのケース）、

内に３つのラインと

内に３つのラインが、同じ推定された傾きｍで、存在する。そのとき、これらの２つの平面内のライン相互間のライン・オフセットの対応関係が特定される。これを行うために、式ＤとＥにおけるラインの式を利用する。詳しくは、

【数17】

として、オフセットは、

【数18】

及び

【数19】

となる。

【0095】

これらの組の方程式は、ｋ，ｘ_３及びｙ_３について解ける。尚、（ｘ_３，ｙ_３，ｚ_３）は、カメラの座標、換言すれば、対応する光のバンドル（光束）が半径Ａの円にフォーカス（focus）されるボクセル（voxel）の座標に相当する。ｚ_３に位置する平面上のアパチャが円形であると仮定しているので、

【数20】

となり、上記の組の方程式を解くことによって、

【数21】

【数22】

【数23】

【数24】

が得られる。

【0096】

デジタル・ラインは、ブレゼンハムのデジタル・ラインを用いて、

上で、従来通りにスキャンしてもよい。各々の個別の（ｘ_１，ｘ_２）の値について、ライト・フィールドで捕捉された対応する（ｙ_１，ｙ_２）の値が記憶される。これらのような値を求めるために、式Ｃが利用される。ｘ_３，ｙ_３，ｚ_３，ｚ_１及びｚ_２の全ては、既知であるか、或いは、式ＦとＧから推定される。

【0097】

内の各々のラインに関して、各々の

について、（ｙ_１，ｙ_２）における下記の関係が得られる。

【数25】

又は、

【数26】

【0098】

内の各々の点について、

内のラインのコレクションが保管される。ｄ_ｏｆｆは、

についてスキャンされ保管されるラインのオフセットに相当する。尚、

【数27】

である。

【0099】

図１２を参照すると、各々の正方形は、

の点であり、これらの点の各々について、下記の式

【数28】

によって規定され、且つ、４Ｄ空間において図示のデータ・ラインに対して垂直なデジタル・バンドルに沿って図面の平面から出るようにして進む１組のブレゼンハムのデジタル・ラインが存在する。

【0100】

表１には、カメラ毎のデータ・ラインのバンドルについての代表的なデータ・フォーマットが例示されている。

【表1】

【0101】

先ず、４つの軸ｘ_１，ｘ_２，ｙ_１，ｙ_２の境界とそれらの対応するサンプリングとを含む、４Ｄ空間の一般的なメタデータが規定される。カメラ（バンドル）の数も規定される。各々のカメラｊについて、下記のパラメータが保管される。
・アパチャのサイズＡ_ｊ（これは画素ビームの瞳の直径に相当する）
・カメラｃａｍｊのフォーカス点（合焦点）、すなわち、focusPoint = (u₃,u₃,w₃)
・(x1x,2)における最も低い交点（切片）ｄ＝ｄ_ｊ
・（ｘ_１，ｘ_２）におけるデジタル・ライン数 ＝

・（ｙ_１，ｙ_２）におけるデジタル・ライン数 ＝

【0102】

各々のカメラにおいて、各々の

について、スキャンが、式Ｋに関してブレゼンハムのデジタル・ラインを用いて（ｙ_１，ｙ_２）上で開始されて、各々のライト・フィールド光線のＲＧＢ値が保管される。詳しくは、

から

、及び、対応するｄ_ｏｆｆが、式Ｋに従って計算される。

【0103】

ライト・フィールド光線が画素ビームの主光線に相当するので、所与の画素ビームのパラメータｚ_Ｐ、ａの値は、表１に示されているように、対応するライト・フィールド光線のＲＧＢ値と並んで記憶される。

【0104】

復号ステップにおいて、同じ計算が、記憶済みメタデータを用いて行われる。特に、ｋが、等式Ｇを用いて求められる。従って、フォーマットは、コンパクトなままである。系（system）において、各々の光線について、４つのインデックス（指標）を記憶する必要はない。尚、前述の超平面のサンプリングは、４Ｄ光線空間のサンプリングであり、従って、１つのｘ１、ｙ１、ｘ２、ｙ２の位置は、逃されない。これは、全てのデータを非常にコンパクトな形態で保管するための４Ｄ光線空間のシステマティックなスキャンの一例に過ぎない。当然、その他のプロセス（処理工程）を適用してもよい。パラメータ形態は、インタリーブされた空間の探究を可能にするので、超平面を探究するのに適合していると考えられる。

【0105】

幾つかの超平面のバンドル（複数のカメラのためにラドン変換における幾つかの最大値）を含むデータに取り組む複数のカメラの場合、更に複雑なアルゴリズムが用いられることがある。前処理ステップとして、パラメータ（ｍ，ｋ）が、

のラドン変換において、全てのピークについて、求められて、１つの組に入れられる。同じことが（ｙ１，ｙ２）におけるピークについて行われて、パラメータが別の１つの組に入れられる。貪欲なアルゴリズムの各々の繰返しにおいて、最大ピーク強度が、（ｘ_１，ｘ_２）の２Ｄラドン変換において求められて、（ｙ_１，ｙ_２）における対応するピークが、前に求められたパラメータ（ｍ，ｋ）と一致させることによって、求められる。データが前述の如く保管された後に、これらのピークがラドン変換から取り除かれて、ライト・フィールドに重要なものが残らなくなるまで、次の繰返しが開始される。

【0106】

以上、具体的な実施形態を参照して本発明を説明したが、本発明は、これらの具体的な実施形態には限定されず、本発明の有効範囲内に在る修正は、当業者に明らかであろう。

【0107】

上述の実施例を参照すれば、多数の更なる修正と変形が当業者の心にひとりでに浮かぶであろうし、また、これらの実施例は、単に例として記載されており、本発明の有効範囲を制限する意図はなく、本発明の有効範囲は、後述の特許請求の範囲のみによって決定される。特に、相異なる実施形態から得られる相異なる特徴は、適切な場合、入れ替えてもよい。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図14】