知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル シーイー パテント ホールディングスの特許一覧
特許7171169ライトフィールド・コンテンツを表す信号を符号化する方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-07
(45)【発行日】2022-11-15
(54)【発明の名称】ライトフィールド・コンテンツを表す信号を符号化する方法および装置
(51)【国際特許分類】
H04N 19/597 20140101AFI20221108BHJP
H04N 19/46 20140101ALI20221108BHJP
【ＦＩ】
H04N19/597
H04N19/46
【請求項の数】
25
【外国語出願】
(21)【出願番号】P 2017120128
(22)【出願日】2017-06-20
(65)【公開番号】P2018033127
(43)【公開日】2018-03-01
【審査請求日】2020-06-22
(31)【優先権主張番号】16305757.3
(32)【優先日】2016-06-22
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】カービリオウ，ポール
(72)【発明者】
【氏名】ドイエン，デイデイエ
(72)【発明者】
【氏名】ラセール，セバスチアン
【審査官】清山 昂平
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０３０７９３１（ＵＳ，Ａ１）
【文献】Technical report of the joint ad hoc group for digital representations of light/sound fields for immersive media applications， INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG1(JPEG) & WG11(MPEG)，ISO/IEC JTC1/SC29/WG11N16352，2016年06月13日，pp.13-15, 34-35, 44-45
【文献】J. M. Schumpert, et al.，A two-component image coding scheme based on two-dimensional interpolation and the discrete cosine transform，ICASSP '83. IEEE International Conference on Acoustics, Speech, and Signal Processing，1983年04月14日，pp.1232-1235
【文献】Yun Q. et al.，Differential Coding (Chapter 3)，Image and Video Compression for Multimedia Engineering Fundamentals, Algorithms, and Standards，CRC Press，2000年01月01日，pp.63-64
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
プロセッサ及びメモリを有する装置内で実施される方法であって、複数の光線を決定することであって、前記複数の光線の各光線は、３次元空間における軌跡と、関連付けられたカラー情報とを有する、前記複数の光線を決定することと、
各光線について、前記光線の前記軌跡を表す第１の組のパラメータと、前記カラー情報を表す第２の組のパラメータとを決定することと、
前記決定された第１の組のパラメータを第１の複数の画像内に配置することと、
第１のイメージ・コーデック及び第１のビデオ・コーデックのうちの１つを用いて前記第１の複数の画像を圧縮することと、
前記決定された第２の組のパラメータを第２の複数の画像内に配置することと、
第２のイメージ・コーデック及び第２のビデオ・コーデックのうちの１つを用いて前記第２の複数の画像を圧縮することと、
を含む、前記方法。
【請求項2】
前記第１のイメージ・コーデック及び前記第１のビデオ・コーデックのうちの前記１つと、前記第２のイメージ・コーデック及び前記第２のビデオ・コーデックのうちの前記１つとは同一である、請求項１に記載の方法。
【請求項3】
前記決定された第１の組のパラメータの各組は、対応する前記光線と３次元空間内の２つの参照平面との交差ポイントを表すか、又は
前記決定された第１の組のパラメータの各組は、対応する前記光線と３次元空間内の１つの参照平面との交差ポイント、及び前記対応する光線の３次元空間での向きを示すベクトルを表す、請求項１又は２に記載の方法。
【請求項4】
前記複数の光線の各光線は、光学的な取得装置の１つ以上の画素によって感知される光に基づいて決定され、前記軌跡の各々は、前記光学的な取得装置の外部の３次元空間における軌跡である、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記決定された第１の組のパラメータの各組は、複数のパラメータを含み、
前記決定された第１の組のパラメータを第１の複数の画像内に配置することは、前記決定された第１の組のパラメータの各組の前記複数のパラメータを用いて前記第１の複数の画像を形成することを含み、
前記第１の複数の画像の第１の画像は、前記複数の光線の各光線についての前記複数のパラメータの第１のパラメータを含む、請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記決定された第１の組のパラメータは、それぞれの第１のパラメータ、第２のパラメータ、第３のパラメータ及び第４のパラメータを含み、
前記決定された第１の組のパラメータを前記第１の複数の画像内に配置することは、
前記第１のパラメータを前記第１の複数の画像の第１の画像内に配置することと、
前記第２のパラメータを前記第１の複数の画像の第２の画像内に配置することと、
前記第３のパラメータを前記第１の複数の画像の第３の画像内に配置することと、
前記第４のパラメータを前記第１の複数の画像の第４の画像内に配置することと、を含む、請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記第１のイメージ・コーデック及び第１のビデオ・コーデックのうちの１つは、ＪＰＥＧ（joint photographic experts group）イメージ・コーデック、ＪＰＥＧ２０００イメージ・コーデック、ＡＶＣ（advanced video coding）ビデオ・コーデック、ＨＥＶＣ（high efficiency video coding）コーデック、Ｈ．２６５ビデオ・コーデック、及びＨ．２６６ビデオ・コーデックのうちのいずれかを含む、標準イメージ・コーデック及び標準ビデオ・コーデックのうちの１つを含む、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記第１の複数の画像を圧縮することは、
前記第１の複数の画像を合成画像に結合することと、
前記イメージ・コーデック又は前記ビデオ・コーデックのうちの前記１つを用いて前記合成画像を符号化することと、を含む、請求項１～７のいずれか１項に記載の方法。
【請求項9】
復号された前記画像から前記光線を再構築するために必要なパラメータを含む補助拡張情報メッセージと、
前記光線の前記軌跡を表す前記パラメータを生成するために使用される１つ以上の参照平面の位置を特定するパラメータを含む情報メッセージと、のうちの少なくとも１つを符号化することを含む、請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記複数の光線の各光線は、１つ以上のコンピュータ・グラフィックス・イメージに基づいて決定される、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記コンピュータ・グラフィックス・イメージは、所与のシーンの記述に対してコンピュータによって少なくとも部分的にシミュレートされている、請求項１０に記載の方法。
【請求項12】
センサは物理的なセンサ装置であり、前記光学的な取得装置が物理的な光学的取得装置であり、前記複数の光線が前記物理的な光学的取得装置に入射する光から決定されるものであるか、又は、
前記センサがシミュレートされたセンサ装置であり、前記光学的な取得装置がシミュレートされた光学的取得装置であり、前記複数の光線がコンピュータ・グラフィックス・イメージ（ＣＧＩ）モデルから決定されるものであるか、又は、
前記センサが物理的なセンサ装置とシミュレートされたセンサ装置との組み合わせであり、前記光学的な取得装置が物理的な光学的取得装置とシミュレートされた光学的取得装置との組み合わせであり、前記複数の光線が前記物理的な光学的取得装置に入射する光と、コンピュータ・グラフィックス・イメージ（ＣＧＩ）モデルとの組み合わせから決定されるものである、請求項４に記載の方法。
【請求項13】
プロセッサを含む装置であって、前記プロセッサは、複数の光線を決定することであって、前記複数の光線の各光線は、３次元空間における軌跡と、関連付けられたカラー情報とを有する、前記複数の光線を決定することと、
各光線について、前記光線の前記軌跡を表す第１の組のパラメータと、前記カラー情報を表す第２の組のパラメータとを決定することと、
前記決定された第１の組のパラメータを第１の複数の画像内に配置することと、
第１のイメージ・コーデック及び第１のビデオ・コーデックのうちの１つを用いて前記第１の複数の画像を圧縮することと、
前記決定された第２の組のパラメータを第２の複数の画像内に配置することと、
第２のイメージ・コーデック及び第２のビデオ・コーデックのうちの１つを用いて前記第２の複数の画像を圧縮することと、
を行うように構成された、前記装置。
【請求項14】
前記第１のイメージ・コーデック及び前記第１のビデオ・コーデックのうちの前記１つと、前記第２のイメージ・コーデック及び前記第２のビデオ・コーデックのうちの前記１つとは同一である、請求項１３に記載の装置。
【請求項15】
前記決定された第１の組のパラメータの各組は、対応する前記光線と３次元空間内の２つの参照平面との交差ポイントを表すか、又は
前記決定された第１の組のパラメータの各組は、対応する前記光線と３次元空間内の１つの参照平面との交差ポイント、及び前記対応する光線の３次元空間での向きを示すベクトルを表す、請求項１３又は１４に記載の装置。
【請求項16】
前記複数の光線の各光線は、光学的な取得装置の１つ以上の画素によって感知される光に基づいて決定され、前記軌跡の各々は、前記光学的な取得装置の外部の３次元空間における軌跡である、請求項１３～１５のいずれか１項に記載の装置。
【請求項17】
前記決定された第１の組のパラメータの各組は、複数のパラメータを含み、
前記装置が前記決定された第１の組のパラメータを第１の複数の画像内に配置するように構成されていることは、前記装置が、前記決定された第１の組のパラメータの各組の前記複数のパラメータを用いて前記第１の複数の画像を形成するように構成されていることを含み、
前記第１の複数の画像の第１の画像は、前記複数の光線の各光線についての前記複数のパラメータの第１のパラメータを含む、請求項１３～１６のいずれか１項に記載の装置。
【請求項18】
前記決定された第１の組のパラメータは、それぞれの第１のパラメータ、第２のパラメータ、第３のパラメータ及び第４のパラメータを含み、
前記装置が前記決定された第１の組のパラメータを前記第１の複数の画像内に配置するように構成されていることは、前記装置が、
前記第１のパラメータを前記第１の複数の画像の第１の画像内に配置し、
前記第２のパラメータを前記第１の複数の画像の第２の画像内に配置し、
前記第３のパラメータを前記第１の複数の画像の第３の画像内に配置し、
前記第４のパラメータを前記第１の複数の画像の第４の画像内に配置するように構成されていることを含む、請求項１３～１７のいずれか１項に記載の装置。
【請求項19】
前記第１のイメージ・コーデック及び第１のビデオ・コーデックのうちの１つは、ＪＰＥＧ（joint photographic experts group）イメージ・コーデック、ＪＰＥＧ２０００イメージ・コーデック、ＡＶＣ（advanced video coding）ビデオ・コーデック、ＨＥＶＣ（high efficiency video coding）コーデック、Ｈ．２６５ビデオ・コーデック、及びＨ．２６６ビデオ・コーデックのうちのいずれかを含む、標準イメージ・コーデック及び標準ビデオ・コーデックのうちの１つを含む、請求項１３～１８のいずれか１項に記載の装置。
【請求項20】
前記装置が前記第１の複数の画像を圧縮するように構成されていることは、前記装置が、
前記第１の複数の画像を合成画像に結合し、
前記イメージ・コーデック及び前記ビデオ・コーデックのうちの前記１つを用いて前記合成画像を符号化するように構成されていることを含む、請求項１３～１９のいずれか１項に記載の装置。
【請求項21】
前記装置は、
復号された前記画像から前記光線を再構築するために必要なパラメータを含む補助拡張情報メッセージと、
前記光線の前記軌跡を表す前記パラメータを生成するために使用される１つ以上の参照平面の位置を特定するパラメータを含む情報メッセージと、のうちの少なくとも１つを符号化するように構成されている、請求項１３～２０のいずれか１項に記載の装置。
【請求項22】
前記複数の光線の各光線は、１つ以上のコンピュータ・グラフィックス・イメージに基づいて決定される、請求項１３～２１のいずれか１項に記載の装置。
【請求項23】
前記複数の光線の１つ以上及び前記コンピュータ・グラフィックス・イメージの１つ以上のうちのいずれかは、所与のシーンの記述に対してコンピュータによって少なくとも部分的にシミュレートされている、請求項２２に記載の装置。
【請求項24】
センサは物理的なセンサ装置であり、前記光学的な取得装置が物理的な光学的取得装置であり、前記複数の光線が前記物理的な光学的取得装置に入射する光から決定されるものであるか、又は、
前記センサがシミュレートされたセンサ装置であり、前記光学的な取得装置がシミュレートされた光学的取得装置であり、前記複数の光線がコンピュータ・グラフィックス・イメージ（ＣＧＩ）モデルから決定されるものであるか、又は
前記センサが物理的なセンサ装置とシミュレートされたセンサ装置との組み合わせであり、前記光学的な取得装置が物理的な光学的取得装置とシミュレートされた光学的取得装置との組み合わせであり、前記複数の光線が前記物理的な光学的取得装置に入射する光と、コンピュータ・グラフィックス・イメージ（ＣＧＩ）モデルとの組み合わせから決定されるものである、請求項１６に記載の装置。
【請求項25】
コンピュータによって実行可能なプログラムが記録されたコンピュータ可読記録媒体であって、前記コンピュータによって実行可能なプログラムは、コンピュータに、請求項１～１２のいずれか１項に記載の方法を実施させる、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一組のデータおよびメタデータの送信に関し、より具体的には、ライトフィールド・コンテンツの送信に関する。
【背景技術】
【0002】
４次元、または４Ｄライトフィールド・データの取得は、４Ｄライトフィールドのサンプリング、すなわち、光線を記録したものとして視聴することができ、このことは、Ａｎａｔ Ｌｅｖｉｎ氏らの論文「ライトフィールド投影のベイズ分析を通じたカメラ・トレードオフの理解（Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｃａｍｅｒａ ｔｒａｄｅ－ｏｆｆｓ ｔｈｒｏｕｇｈ ａ Ｂａｙｅｓｉａｎ ａｎａｌｙｓｉｓ ｏｆ ｌｉｇｈｔ ｆｉｅｌｄ ｐｒｏｊｅｃｔｉｏｎｓ）」によって説明されている。この論文は、２００８年コンピュータ・ビジョン欧州会議（ＥＣＣＶ２００８）の会議議事録で公開されている。
【0003】
カメラから取得される旧来の二次元または２Ｄ画像画像と比較して、４Ｄライトフィールド・データは、より多くのユーザがポストプロセッシングの機能にアクセスできるようにし、これにより、画像のレンダリングおよびユーザとのインタラクティビティを向上させる。例えば、４Ｄライトフィールド・データを用いて、自由に選択した焦点距離を用いて画像のリフォーカシングを実行することができ、これは、焦点面の位置を事後的に特定／選択できるとともに、画像のシーンにおける視点を僅かに変更できることを意味する。
【0004】
４Ｄライトフィールド・データを表現するための幾つかの方法が存在する。実際、２００６年７月に公開されたＲｅｎ Ｎｇ氏による「ディジタル・ライトフィールド・フォトグラフィ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ）」と題された博士論文の３．３章においては、４Ｄライトフィールド・データを表現するための３つの異なる方法が記載されている。第１に、４Ｄライトフィールド・データは、マイクロ・レンズ画像を集めたものにより、プレノプティック・カメラで記録した際に表現することができる。この表現における４Ｄライトフィールド・データは、生画像、または４Ｄライトフィールド・データと呼ばれる。第２に、４Ｄライトフィールド・データは、一組のサブアパーチャ画像により、プレノプティック・カメラで、または、カメラ・アレイで記録した際に表現することができる。サブアパーチァ画像は、視点からのシーンのキャプチャされた画像に対応する。視点は、２つのサブアパーチァ画像間で僅かに異なる。これらのサブアパーチァ画像は、画像シーンの視差および深度についての情報を与えるものである。第３に、４Ｄライトフィールド・データは、一組のエピポーラ画像によって表現することができる。例えば、２０１１年国際シンポジウム・ビジュアル・コンピューティング（ＩＳＶＣ２０１１）に公開されたＳ． Ｗａｎｎｅｒ氏らの「単一のレンズ焦点プレノプティック・カメラを用いた４ＤライトフィールドのＥＰＩ表現の生成（Ｇｅｎｅｒａｔｉｎｇ ＥＰＩ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｌｅｎｓ Ｆｏｃｕｓｅｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）」と題された論文を参照されたい。
【0005】
ライトフィールド・データは、大容量の記憶スペースを占有するため、記憶が困難であり、処理効率を低下させる。さらに、ライトフィールド取得装置間での違いは大きい。ライトフィールド・カメラには異なるタイプのもの、例えば、プレノプティック・アレイまたはカメラ・アレイがある。各タイプ内で、異なる光学的な構成または異なる焦点距離のマイクロ・レンズなど、多くの差異が存在する。各カメラは、独自のファイル・フォーマットを有する。現在のところ、ライトフィールドが依存する相異なるパラメータを網羅的に取り扱うための、多次元情報の取得および送信を標準的にサポートする規格は存在しない。種々の様々なカメラから取得されるライトフィールド・データが有するフォーマットに多様性があるため、受信機側での処理が複雑となっている。
【0006】
本発明は、上述した内容を考慮して考案されたものである。
【発明の概要】
【0007】
本発明の第１の態様によれば、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法が提供される。この方法は、
センサの少なくとも１つの画素について、この画素によって感知される光線を表す第１の組のパラメータを符号化することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータを符号化することと、を含む。
センサの少なくとも１つの画素について、この画素によって感知される光線を表す第１の組のパラメータを符号化することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータを符号化することと、を含む。
【0008】
本発明の一態様に係る符号化方法に従って送信されるパラメータは、送信され、受信機によって処理されるようにされたライトフィールド・コンテンツを取得するために使用される光学的な取得システムとは独立している。
【0009】
本発明の一態様による方法において、光学的な取得システムのセンサの種々の画素によって感知される光線を表すパラメータ、すなわち、第１の組のパラメータのうちの上記パラメータは、センサにマッピングされる。したがって、これらのパラメータは、ピクチャとみなすことができる。例えば、光学的な取得システムの画素によって感知される光線が４つのパラメータによって表される場合には、光学的な取得システムのセンサの画素によって感知される光線を表すパラメータは、４つのピクチャにグループ化される。
【0010】
このようなピクチャは、ＭＰＥＧ－４ ｐａｒｔ１０ ＡＶＣ（Ｈ．２６４とも呼ばれる）、Ｈ．２６５／ＨＥＶＣ、または、おそらくはその後継規格であると考えられるＨ．２６６などのビデオ規格に従って符号化され、送信することができ、さらに、結合されたビデオ・ビットストリーム内で送信することができる。第２の符号化された組は、補助拡張情報（ＳＥＩ）メッセージを使用して符号化することができる。本発明の一態様による方法において規定されるフォーマットにより、重度のエラーを招くことなく（ロスレス符号化）、または、限定された量のエラーで（ロッシー符号化）、データを高圧縮して送信することができる。
【0011】
本発明の一態様による方法は、光学デバイスによって直接取得されるライトフィールド・データに限定されるものではない。これらのデータは、所与のシーンの記述に対してコンピュータによって完全に、または部分的にシミュレートされるコンピュータ・グラフィックス・イメージ（ＣＧＩ）とすることができる。ライトフィールド・データの別のソースは、変更されたポストプロダクションされたデータ、例えば、カラー・グレーディングされたデータ、光学的装置またはＣＧＩから取得されたライトフィールド・データとすることができる。また、映画業界において、光学的な取得装置を使用して取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが通例である。センサの画素は、コンピュータが生成したシーン・システムによってシミュレートすることができ、拡張により、センサ全体を上記システムによってシミュレートできることが理解されよう。ここで、「センサの画素」または「センサ」と言及する場合、光学的な取得装置に取り付けられた物理的なオブジェクトを指すこともあれば、コンピュータによって生成されたシーン・システムによって取得されたシミュレートされたものを指すこともあると理解される。
【0012】
符号化方法の一態様によれば、この符号化方法は、上記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む。
【0013】
符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、上記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、適合する平面の座標を表す。
【0014】
光線の座標と、センサの種々の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を符号化することにより、算出された距離の種々の値の間の幅は、通常、座標の種々の値の間の幅よりも小さいため、送信されるデータを圧縮することが可能となる。
【0015】
符号化方法の一態様によれば、第１の組のパラメータのうちの少なくとも１つのパラメータは、
上記画素によって感知された光線を表す値と、センサの行における上記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
上記画素がセンサの行の最初の画素である場合の、上記画素によって感知される光線を表す値と、上記画素が属する行に先行する行の最初の画素によって感知される光線を表す値との間の差分を表す。
上記画素によって感知された光線を表す値と、センサの行における上記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
上記画素がセンサの行の最初の画素である場合の、上記画素によって感知される光線を表す値と、上記画素が属する行に先行する行の最初の画素によって感知される光線を表す値との間の差分を表す。
【0016】
光線を表す値は、光線を表す座標、または、センサの種々の画素によって感知される複数の光線の複数の組の座標に適合する座標または平面間の距離とすることができる。
【0017】
これにより、送信されるパラメータの種々の値の間の幅を低減することによって、データを圧縮することが可能となる。
【0018】
符号化方法の一態様によれば、複数の独立したコーデックが第１の組のパラメータのうちのパラメータを符号化するために使用される。
【0019】
符号化方法の一態様によれば、第２の組のパラメータが、第１の組のパラメータの最後の送信の後に第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、上記第２の組のパラメータのみが送信される。
【0020】
これにより、符号化装置に送信されるべきデータの量を低減することができる。
【0021】
符号化方法の一態様によれば、ライトフィールド・データは、ライトフィールド・データの複数のサブセット（組の部分）のシーケンスで構成される。例えば、サブセットは、動的なシーンまたは動きのあるシーンを表すために、時間的にインデックスが付けられる。通常は、シーケンスのエレメント（または、サブセット）は、フレームと呼ばれる。この状態で、ライトフィールド・コンテンツを表す信号の、限定するものではないが、通常、フレーム毎秒で特徴付けられる送信速度は、符号化された第１の組のパラメータおよび符号化された第２の組のパラメータの送信速度よりも高い。
【0022】
これにより、復号装置に送信されるべきデータの量を低減することが可能となる。
【0023】
本発明の他の目的は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置に関する。このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを符号化し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている。
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを符号化し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている。
【0024】
本発明の別の態様は、コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法に関する。この方法は、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、を含む。
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号することと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、を含む。
【0025】
復号方法の一態様によれば、この復号方法は、
第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、をさらに含む。
第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
復号された第１の組のパラメータおよび復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいてライトフィールド・コンテンツを再構築することと、をさらに含む。
【0026】
本発明の他の態様は、プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置に関し、このプロセッサは、
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築するように構成されている。
センサの少なくとも１つの画素について、上記画素によって感知される光線を表す第１の組のパラメータを復号し、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づいてライトフィールド・コンテンツを再構築するように構成されている。
【0027】
本発明の他の態様は、ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す信号を復号する装置に送信される信号に関する。上記信号は、メッセージを搬送し、このメッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
復号する装置によるライトフィールド・コンテンツの再構築は、復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づく。
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
第１の組のパラメータからライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
復号する装置によるライトフィールド・コンテンツの再構築は、復号された第１の組のパラメータおよび復号された第２の組のパラメータに基づく。
【0028】
本発明の要素によって実施される処理の中には、コンピュータによって実施されるものがある。したがって、このような要素は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することがある。さらに、このような要素は、任意の有体物としての媒体であって、内部にコンピュータが使用可能なプログラム・コードが実装された表現を有する媒体において実施されるコンピュータ・プログラム・プロダクトの形態で実施することができる。
【0029】
本発明の要素は、ソフトウェアにおいて実施することができるため、本発明は、任意の適切な担持媒体上でプログラム可能な装置に提供されるコンピュータ読み取り可能コードとして実施することができる。有体物としての担持媒体には、フロッピー・ディスク、ＣＤ－ＲＯＭ、ハードディスク・ドライブ、磁気テープ装置、または、ソリッドステート・メモリ装置などが含まれる。一時的な搬送媒体には、電気信号、電子信号、光学信号、音響信号、磁気信号、電磁信号、例えば、マイクロ波またはＲＦ信号などの信号が含まれる。
【0030】
次に、本発明の実施形態を以下の添付図面を参照して、例示的な目的のみで、説明する。
【図面の簡単な説明】
【0031】
【図1】本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。
【図2】ライトフィールド・データ・フォーマット化モジュールの想定される実施態様の特定の実施形態を例示するブロック図である。
【図3】パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示する図である。
【図4】既知の深度ｚ３に位置する参照平面Ｐ３を通過する光線を例示する図である。
【図5】本発明の一実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。
【図6】本発明の実施形態による、ライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。
【図7】４つの独立したモノクローム・コーデックを使用して受信機に送信される際の、Ｘｉｕ，ｖマップ、Ｘｉ’’’ｕ，ｖマップ、または、ΔＸｉｕ，ｖマップを表す図である。
【図8】単一の画像にグループ化される際のＸｉｕ，ｖマップ、Ｘｉ’’’ｕ，ｖマップ、またはΔＸｉｕ，ｖマップを表す図である。
【発明を実施するための形態】
【0032】
当業者であれば理解できるであろうが、本願の原理の態様は、システム、方法、または、コンピュータ可読媒体として実施することができる。したがって、本願の原理の態様は、完全にハードウェアの実施形態で実施することも、（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）完全にソフトウェアの実施形態で実施することも、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態で実施することもでき、これらは、全て、本明細書において、一般的に、「回路」、「モジュール」、または、「システム」と称することができる。さらに、本願の原理の態様は、コンピュータ可読記憶媒体の形態をとることができる。１つ以上のコンピュータ可読記憶媒体を任意に組み合わせて利用することができる。
【0033】
本発明の実施形態は、フォーマット変換、リフォーカス、視点変更などのような更なる処理用途のためのライトフィールド・データのフォーマット化を提供する。提供されるフォーマット化により、ライトフィールド・データを、処理を行うために、受信機側で適切且つ簡易に再構築することが可能となる。提供されるフォーマットには、ライトフィールド・データを取得するために使用される装置に依存しないという利点がある。
【0034】
図１は、本発明の実施形態によるライトフィールド・カメラ装置のブロック図である。ライトフィールド・カメラは、絞り／シャッタ１０２、主（対物）レンズ１０１、マイクロレンズ・アレイ１１０、およびフォトセンサ・アレイを含む。実施の形態によっては、ライトフィールド・カメラは、被写体またはシーンのライトフィールド画像をキャプチャするように駆動されるシャッタ・リリースを含む。
【0035】
フォトセンサ・アレイ１２０は、ライトフィールド・データ・フォーマット化モジュール１５０によって、かつ／またはライトフィールド・データ・プロセッサ１５５によって、ライトフィールド・データ・フォーマットの生成のために、ＬＦデータ取得モジュール１４０によって取得されたライトフィールド画像データを提供する。ライトフィールド・データは、取得後、そして処理後に、サブアパーチャ（ｓｕｂ－ａｐｅｒｔｕｒｅ）画像またはフォーカル・スタックとして、生データのフォーマットで、または、本発明の実施形態に従ったライトフィールド・データ・フォーマットでメモリ１９０に記憶することができる。
【0036】
示されている例においては、ライトフィールド・フォーマット化モジュール１５０およびライトフィールド・データ・プロセッサ１５５は、ライトフィールド・カメラ１００内に設けられるか、ライトフィールド・カメラ１００内に組み込まれている。本発明の他の実施形態においては、ライトフィールド・フォーマット化モジュール１５０および／またはライトフィールド・データ・プロセッサ１５５を、ライトフィールド・キャプチャ・カメラの外部に別体の部品として設けてもよい。別体の部品は、ライトフィールド画像キャプチャ装置に対して、ローカルに設けられていてもよいし、リモートに設けられていてもよい。フォーマット化モジュール１５０またはライトフィールド・データ・プロセッサ１５５にライトフィールド画像データを送信するために、任意の適切な無線または有線プロトコルを使用できることが理解できよう。例えば、ライトフィールド・データ・プロセッサは、キャプチャされたライトフィールド画像データおよび／または他のデータを、インターネット、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の適切な手段を通じて転送することができる。
【0037】
ライトフィールド・データ・フォーマット化モジュール１５０は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成されている。ライトフィールド・データ・フォーマット化モジュール１５０は、ソフトウェア、ハードウェア、または、ソフトウェアおよびハードウェアを組み合わせたもので実施することができる。
【0038】
ライトフィールド・データ・プロセッサ１５５は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、ライトフィールド（ＬＦ）データ取得モジュール１４０から直接受信した生のライトフィールド画像データに対する処理を行うように構成される。例えば、キャプチャされたシーンの静止画像、２Ｄビデオ・ストリームなどのような他の出力データを生成することができる。ライトフィールド・データは、ソフトウェアで実施することもできるし、ハードウェアで実施することもできるし、ソフトウェアとハードウェアとを組み合わせて実施することもできる。
【0039】
少なくとも一実施形態においては、ライトフィールド・カメラ１００は、ユーザがコントローラ１７０によってカメラ１００の制御動作に対するユーザ入力を行えるようにするユーザ・インタフェース１６０を含んでいてもよい。カメラの制御は、シャッタ速度のようなカメラの光学的パラメータの制御、または、調節可能なライトフィールド・カメラの場合には、マイクロレンズ・アレイとフォトセンサと間の相対距離または対物レンズとマイクロレンズ・アレイとの間の相対距離の制御のうちの１つ以上を含んでいてもよい。実施形態によっては、ライトフィールド・カメラの光学素子間の相対距離を手動で調節することができる。カメラの制御は、他のライトフィールド・データ取得パラメータ、ライトフィールド・データ・フォーマット化パラメータ、またはカメラのライトフィールド処理パラメータの制御を含んでいてもよい。ユーザ・インタフェース１６０は、タッチスクリーン、ボタン、キーボード、ポインティング装置などの、任意の適切なユーザ入力装置を含み得る。このようにして、ユーザ・インタフェースによって受信された入力は、データ・フォーマット化を制御するためのＬＦデータ・フォーマット化モジュール１５０、取得されたライトフィールド・データの処理を制御するためのＬＦデータ・プロセッサ１５５、およびライトフィールド・カメラ１００を制御するためのコントローラ１７０を制御および／または構成設定するために使用することができる。
【0040】
ライトフィールド・カメラは、１つ以上の交換可能または充電可能なバッテリなど、電源１８０を含む。ライトフィールド・カメラは、キャプチャされたライトフィールド・データおよび／または処理されたライトフィールド・データ、または、本発明の実施形態の方法を実施するためのソフトウェアなどの他のデータを記憶するためのメモリ１９０を含む。メモリは、外部メモリおよび／または内部メモリを含み得る。少なくとも１つの実施形態においては、メモリは、カメラ１００とは別個の装置に設けることもできるし、かつ／または、カメラ１００とは別個の位置に設けることもできる。一実施形態においては、メモリは、メモリ・スティックなどの着脱可能な／交換可能な記憶装置を含む。
【0041】
ライトフィールド・カメラは、キャプチャを行う前にカメラの前方のシーンを視聴するための、かつ／または、以前にキャプチャされた画像および／または以前にレンダリングされた画像を視聴するための、表示部（ディスプレイ・ユニット）１６５（例えば、ＬＣＤ画面）を含んでいてもよい。画面１６５は、ユーザに対して１つ以上のメニューまたは他の情報を表示するために使用してもよい。ライトフィールド・カメラは、ファイア・ワイア（ＦｉｒｅＷｉｒｅ）またはユニバーサル・シリアル・バス（ＵＳＢ）・インタフェース、またはインターネットを介したデータ通信のための無線インタフェースまたは有線インタフェース、携帯電話データ・ネットワーク、ＷｉＦｉネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、および／または他の任意の適切な手段など、１つ以上のＩ／Ｏインタフェース１９５をさらに含んでいてもよい。Ｉ／Ｏインタフェース１９５は、レンダリング・アプリケーションのためのコンピュータ・システムまたはディスプレイ・ユニットなどの外部機器との、本発明の実施形態に従ったＬＦデータ・フォーマット化モジュールによって生成されたライトフィールドを表すデータおよび生のライトフィールド・データなどのライトフィールド・データ、または、ＬＦデータ・プロセッサ１５５によって処理されたデータのデータ転送のために使用することができる。
【0042】
図２は、ライトフィールド・データ・フォーマット化モジュール２５０およびライトフィールド・データ・プロセッサ２５３の想定可能な実施態様の特定の実施形態を例示するブロック図である。
【0043】
回路２００は、メモリ２９０、メモリ・コントローラ２４５、および１つ以上の処理ユニット（ＣＰＵ）を含む処理回路２４０を含む。１つ以上の処理ユニット２４０は、メモリ２９０に記憶された様々なソフトウェア・プログラムおよび複数組の命令を実行して、ライトフィールド・データ・フォーマット化およびライトフィールド・データ処理を含む、様々な機能を実行するように構成されている。メモリに記憶されたソフトウェア・コンポーネントは、本発明の実施形態に従って取得されたライト・データを表すデータを生成するデータ・フォーマット化モジュール（または一組の命令）２５０と、本発明の実施形態に従ってライトフィールド・データを処理するライトフィールド・データ処理モジュール（または一組の命令）２５５とを含む。一般的なシステム・タスク（例えば、省電力管理、メモリ管理）を制御し、装置２００の様々なハードウェア・コンポーネントとソフトウェア・コンポーネントとの間の通信を容易にするオペレーティング・システム・モジュール２５１、およびＩ／Ｏインタフェース・ポートを介して他の装置との通信を制御および管理するインタフェース・モジュール２５２など、ライトフィールド・カメラ装置のアプリケーションのためのメモリに他のモジュールを含めることができる。
【0044】
発明の実施形態は、カメラのセンサの画素によって感知される光線に基づいた、または、コンピュータによって生成されたシーンのシステムによってシミュレートされたライトフィールド・データの表現を提供する。実際、ライトフィールド・データの別のソースは、ポストプロダクションによって修正された、例えば、色グレーディングされたデータでもよいし、光学デバイスまたはＣＧＩから取得されたライトフィールド・データでもよい。さらに、現在の映画業界においては、光学的な取得装置によって取得されたデータおよびＣＧＩデータの両方を混合したデータを有することが一般的である。さらに、センサの画素がコンピュータによって生成されるシーンのシステムによってシミュレートされることがあり、拡張により、センサ全体をこのシステムによってシミュレートさせることができる。ここで、「センサの画素」または「センサ」と言及した場合、これは、光学的な取得装置に取り付けられた物理的なオブジェクトであることもあるし、コンピュータによって生成されるシーンのシステムによって取得される、シミュレートされたものであることもある。
【0045】
取得システムのタイプが何であるかが分かると、取得装置の外部空間にある、少なくとも線形の光軌跡、または光線に対応するこの取得システムのセンサの画素に対し、３次元（３Ｄ）空間における光線を表すデータが算出される。
【0046】
第１の実施形態において、図３は、互いに並行に、さらに、既知の深度ｚ１およびｚ２にそれぞれ位置する、パラメータ化のために使用される２つの参照平面Ｐ１およびＰ２を通過する光線を例示している。光線は、交差ポイント（ｘ１，ｙ２）および深度ｚ１で第１の参照平面Ｐ１と交差し、交差ポイント（ｘ２，ｙ２）および深度ｚ２で第２の参照平面Ｐ２と交差する。このように、ｚ１およびｚ２が与えられると、光線が４つの座標（ｘ１，ｙ１，ｘ２，ｙ２）によって特定される。よって、ライトフィールドは、本明細書において、パラメータ化平面としても参照される、一対のパラメータ化のための参照平面Ｐ１，Ｐ２によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント
と表される。
【数1】
【0047】
図４に示されている第２の実施形態においては、光線は、既知の深度Ｚ３に位置する参照平面Ｐ３と光線との交差ポイントによってパラメータ化される。光線は、交差ポイント（ｘ３，ｙ３）で、深度ｚ３の参照平面Ｐ３と交差する。正規化されたベクトルｖは、空間内の光線の方向を規定し、
の座標を有する。
であるため、Ｖｚは、正であると想定され、ｖｘおよびｖｙが分かれば、それを再計算することができる。ベクトルは、その２つの第１の座標（Ｖｘ，Ｖｙ）のみを用いて記述することができる。
【数2】
【数3】
【0048】
第２の実施形態によれば、光線は、４つの座標（Ｘ３，Ｙ３，Ｖｘ，Ｖｙ）によって特定することができる。よって、ライトフィールドは、本明細書中でパラメータ化平面とも参照される、パラメータ化のための参照平面Ｐ３によってパラメータ化することができる。各光線は、４Ｄ光線空間において、ポイント
と表される。
【数4】
【0049】
４Ｄ光空間において光線を表すパラメータは、ライトフィールド・データ・フォーマット化モジュール１５０によって算出される。図５は、本発明の実施形態による、カメラ１００によって取得されたライトフィールド・データをフォーマット化する方法のステップを例示するフローチャートである。この方法は、ライトフィールド・データ・フォーマット化モジュール１５０によって実行される。
【0050】
ライトフィールド取得システムがピンホール・モデルを使用して較正される場合には、歪みのない基本の投影モデルは、以下の式によって与えられる。
ここで、
・ｆは、カメラ１００のメイン・レンズの焦点距離であり、
・ＣｕおよびＣｖは、センサを用いたカメラ１００の光学軸の交差部の座標であり、
・（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔは、カメラによって感知される空間内のポイントのカメラ座標系における位置であり、
・（ｕ，ｖ，１）Ｔは、カメラのセンサのカメラ座標系における座標が（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔである投影ポイントの、センサ座標系における座標である。
【数5】
・ｆは、カメラ１００のメイン・レンズの焦点距離であり、
・ＣｕおよびＣｖは、センサを用いたカメラ１００の光学軸の交差部の座標であり、
・（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔは、カメラによって感知される空間内のポイントのカメラ座標系における位置であり、
・（ｕ，ｖ，１）Ｔは、カメラのセンサのカメラ座標系における座標が（Ｘｃ，Ｙｃ，Ｚｃ，１）Ｔである投影ポイントの、センサ座標系における座標である。
【0051】
ステップ５０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサ座標系における座標が（ｕ，ｖ，１）Ｔであるセンサの画素によって感知される、空間における光線の方向を表すベクトルＶの座標を算出する。センサ座標系においては、ベクトルの座標Ｖは、（ｕ－ｃｕ，ｖ－ｃｖ，ｆ）Ｔである。
【0052】
ピンホール・モデルにおいては、ピンホールからの座標Ｚ１に配置され、かつセンサ平面に対して平行である平面に対する、座標が（ｕ，ｖ，１）Ｔである画素によって感知される光線の交差部の座標は、
となり、ステップ５０２の間に算出される。
【数6】
【0053】
取得されたものが幾つか混合される場合、すなわち、種々のタイプのカメラによってライトフィールド・データが取得される場合には、単一の座標系が使用される。この場合、座標ポイントの変更、ベクトルの変更を相応に行うとよい。
【0054】
本発明の実施形態に従って、カメラのセンサの画素によって感知された、ステップ５０１および５０２で算出された光線を定義する複数組の座標が、マップ内で再度グループ化される。別の実施形態においては、光線は、光線の伝播をシミュレートするコンピュータによって生成されたシーンのシステムによって直接算出される。
【0055】
一実施形態においては、これらのマップは、受信機に送信されるライトフィールドの色マップに関連付けられる。したがって、本実施形態においては、カメラのセンサの各画素（ｕ，ｖ）に対し、所与の画素によって感知される光線に関連付けられた色データを表すパラメータと、ライトフィールドがパラメータ化のための一対の参照平面Ｐ１，Ｐ２によってパラメータ化される場合の（ｘ１，ｙ１，ｘ２，ｙ２）に対応する、または、光線が正規化されたベクトルによってパラメータ化される場合の（ｘ３，ｙ３，ｖｘ，ｖｙ）に対応する浮動小数点値（Ｘ１ Ｘ２ Ｘ３ Ｘ４）のクワドラプレット（ｑｕａｄｒｕｐｌｅｔ）とが求められる。以下の説明において、浮動小数点値（Ｘ１ Ｘ２ Ｘ３ Ｘ４）のクワドラプレットは、以下によって与えられる。
【数7】
【0056】
別の実施形態においては、取得システムは、ピンホール・モデルを用いて較正されるものではなく、従って、２つの平面によるパラメータ化は、モデルから再計算されるものではない。代わりに、２つの平面によるパラメータ化は、カメラの較正処理の間に測定される必要がある。これは例えば、メイン・レンズとカメラのセンサとの間にマイクロレンズ・アレイを含むプレノプティック・カメラの場合である。
【0057】
さらに別の実施形態においては、これらのマップは、コンピュータによって生成されるシーンのシステムによって直接シミュレートされるか、取得されたデータからポストプロダクションによって生成される。
【0058】
カメラのセンサの画素によって感知される光線は、浮動小数点のクワドラプレット（Ｘ１ Ｘ２ Ｘ３ Ｘ４）によって表されるため、これらの４つのパラメータをパラメータの４つのマップに置くことが可能である。例えば、第１のマップは、カメラのセンサの画素によって感知される各光線のパラメータＸ１を含み、第２のマップは、パラメータＸ２を含み、第３のマップは、パラメータＸ３を含み、第４のマップは、パラメータＸ４を含む。上述した４つのマップの各々は、Ｘｉマップと呼ばれ、取得されたライトフィールド画像と同一のサイズを有するが、浮動点小数点の成分を有する。
【0059】
隣接する画素によって感知される光線を表し、かつ光線の数を分布させるパラメータ、したがってそれらを表すパラメータ間の強い相関を考慮するいくつかの適応の後、ビデオ・データを圧縮するツールと同様のツールを用いてこれらの４つのマップを圧縮することができる。
【0060】
浮動小数点の値（Ｘ１ Ｘ２ Ｘ３ Ｘ４）を圧縮するため、したがって、送信されるＸｉマップのサイズを縮小するために、ライトフィールド・データ・フォーマット化モジュール１５０は、ステップ５０３において、各Ｘｉマップに対し、Ｘｉマップに含まれる上記パラメータＸｉの値に適合する平面の式をマッピングする。パラメータＸｉに対する適合平面の式は、以下のように与えられる。
ここで、ｕおよびｖは、カメラのセンサの所与の画素の座標である。
【数8】
【0061】
ステップ５０４において、各Ｘｉマップに対し、誤差を小さくするために、パラメータαｉ，βｉおよびγｉが算出される。
ステップ５０４の算出結果は、以下のパラメータである。
これは、パラメータＸｉの値とこのパラメータの値と適合する平面との間の差分に対応し、結果として、Ｘｉマップに含まれる値の幅の範囲がより小さくなる。
【数9】
【数10】
【0062】
ステップ５０５において、
を算出することによって値
を圧縮することが可能である。
【数11】
【0063】
次に、ステップ５０６において、パラメータの値
が０以上２Ｎ－１以下の範囲となるように、以前のパラメータＸｉの値
を算出する。ここで、Ｎは、送信されるライトフィールド・データの符号化に使用されるようにされた符号化器のキャパシティ（処理能力）に対応するように選定されたビット数である。パラメータ
の値は、以下のように与えられる。
【数12】
【0064】
ステップ５０７において、ライトフィールド・データ・フォーマット化モジュール１５０は、４つのマップとして、
マップ、
マップ、
マップ、
マップを生成する。これらのマップは、カメラのセンサの画素によって感知される光線を表すパラメータ（Ｘ１ Ｘ２ Ｘ３ Ｘ４）の各々に対応する。
【0065】
ステップ５０８において、ライトフィールド・データ・フォーマット化モジュール１５０は、元のＸｉｕ，ｖマップを取得するための受信機側での相互演算（ｒｅｃｉｐｒｏｃａｌ ｃｏｍｐｕｔａｔｉｏｎ）の間に使用するようにされた、以下の固定パラメータ
を含むＳＥＩ（補助拡張情報）メッセージを生成する。これらの４つのパラメータは、ＳＥＩメッセージ内で搬送されるメタデータとみなすことができ、その内容を以下の表に示す。
表１
【数13】
【表1】
【0066】
受信機側において、元のＸｉｕ，ｖマップを取得可能にする相互演算は、以下のように与えられる。
【数14】
【0067】
ステップ５０９において、
マップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、この受信機で、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。
【0068】
受信機への送信の前にライトフィールド・データを表すマップのサイズをさらに削減することが可能である。以下の実施形態は、エラー
を最小限にすることについて、相補的なものである。
【数15】
【0069】
図６に示された第１の実施形態においては、Ｘｉｕ，ｖマップが低い空間周波数の値を含むため、空間内の或る方向における信号から派生したもののみを送信することができる。
【0070】
例えば、座標（０，０）の画素に関連付けられたパラメータＸｉの値であるＸｉ０，０が与えられると、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、座標（１，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ１，０と、座標（０，０）の画素に関連付けられたパラメータＸｉの値Ｘｉ０，０との間の差分ΔＸｉ１，０を算出する。
ΔＸｉ１，０＝Ｘｉ１，０－Ｘｉ０，０
ΔＸｉ１，０＝Ｘｉ１，０－Ｘｉ０，０
【0071】
より一般的には、ステップ６０１において、ライトフィールド・データ・フォーマット化モジュール１５０は、センサの所与の画素に関連付けられたパラメータＸｉの値と、光学的な取得システムまたはコンピュータによって生成されたシーンのシステムのセンサの行における所与の画素に先行する別の画素に関連付けられるパラメータＸｉの値との間の差分を算出する。
ΔＸｉｕ＋１，ｖ＝Ｘｉｕ＋１，ｖ－Ｘｉｕ，ｖ
ΔＸｉｕ＋１，ｖ＝Ｘｉｕ＋１，ｖ－Ｘｉｕ，ｖ
【0072】
所与の画素がセンサの行の最初の画素である場合には、ライトフィールド・フォーマット化モジュール１５０は、所与の画素に関連付けられたパラメータＸｉの値と、所与の画素が属する行に先行する行の最初の画素に関連付けられたパラメータＸｉの値との差分を算出する。
ΔＸｉ０，ｖ＋１＝Ｘｉ０，ｖ＋１－Ｘｉ０，ｖ
ΔＸｉ０，ｖ＋１＝Ｘｉ０，ｖ＋１－Ｘｉ０，ｖ
【0073】
ステップ６０２において、ステップ５０８で生成されたΔＸｉｕ，ｖマップ、色マップ、およびＳＥＩメッセージが少なくとも受信機に送信され、これらのデータは、ライトフィールド・コンテンツをレンダリングするために処理される。
【0074】
第２の実施形態においては、
Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップは、極めて低速な空間周波数を有する値を含むことがあるため、Ｘｉｕ，ｖマップの両方の次元で空間的なダウンサンプリングを実行することができ、そして、上記Ｘｉｕ，ｖマップの送信されたサンプル間で線形補間を行うことによって、受信機側で完全なＸｉｕ，ｖマップを回復することができる。
Ｘｉｕ，ｖマップ、
【0075】
例えば、Ｎ行×Ｍ列のマップのサイズからＮ行／２×Ｍ列／２のマップのサイズに縮小することができる。受信側において、マップを元のサイズに拡張することができる。生成された穴は、補間方法（または、いわゆるアップサンプリング処理）によって埋めることができる。一般的には、単純なバイリニア補間を行うことで十分である。
Ｘｉｕ，ｖ＝（Ｘｉｕ－１，ｖ－１＋Ｘｉｕ＋１，ｖ－１＋Ｘｉｕ－１，ｖ＋１＋Ｘｉｕ＋１，ｖ＋１）／４
Ｘｉｕ，ｖ＝（Ｘｉｕ－１，ｖ－１＋Ｘｉｕ＋１，ｖ－１＋Ｘｉｕ－１，ｖ＋１＋Ｘｉｕ＋１，ｖ＋１）／４
【0076】
図７に示されている第３の実施形態においては、
Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップの各々を、例えば、Ｈ．２６５／ＨＥＶＣなどのような４つの独立したモノクローム・コーデックを使用して受信機に送信することができる。
Ｘｉｕ，ｖマップ、
【0077】
第４の実施形態においては、
Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップは、図８に示されているように、単一の画像内にグループ化することができる。この目的を達成するための１つの方法は、第２の実施形態の場合のように、サブサンプリング法を使用して、ファクタ２によってマップのサイズを縮小し、そして、色マップと同一のサイズを有する画像を四分した象限に各々が存在するＸｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップを結合することである。この方法は、通常、幾つかのフレームを単一のフレームにパッキングするため、「フレーム・パッキング」と呼ばれる。例えば、ＳＥＩメッセージにおいて、復号器がフレームを適切にアンパッキングできるように、フレーム・パッキングが行われた方法を信号によって伝達するために、適切なメタデータを送信すべきである。そして、単一のフレームにパッキングされたマップは、限定するものではないが、例えばＨ．２６５／ＨＥＶＣなどの単一のモノクローム・コーデックを使用して、送信することができる。
Ｘｉｕ，ｖマップ、
【0078】
この場合、表１に示されているＳＥＩメッセージは、フレーム・パッキング法が４つのマップを単一のマップにパッキングするために使用されたことを示すフラグも含んでいなければならない（表１ｂ参照）。
表１ｂ
【表2】
【0079】
幾つかのカメラがグループ化されてリグを形成する場合には、全てのカメラにとって共通である、単一のワールド座標系および２つのパラメータ化平面を規定するとよく、整合性を図ることができる。さらに、記述メッセージ（例えばＳＥＩ）は、表２に示されているように、各カメラに対し、共通情報（表現タイプ、ｚ１およびｚ２）に加え、４つのマップ
（Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップ）の記述パラメータを含めることができる。
（Ｘｉｕ，ｖマップ、
【0080】
その場合、例えば、ＭＰＥＧ多視点映像符号化（ＭＶＣ）またはＭＰＥＧ多視点高効率映像符号化（ＭＶ－ＨＥＶＣ）などのような構成の多視点の態様を考慮したモノクローム・コーデックを使用して、Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップを受信機に送信することができる。
表２
【表3】
【0081】
第５の実施形態においては、特定の長さの時間内にＸｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップの変更が無効である場合には、これらのＸｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップは、スキップされるものとマークされ、受信機に送信されない。この場合、ＳＥＩメッセージは、受信機に対し、Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップに対して最後の送信の時からの変化が存在しないことを示すフラグを含む。このようなＳＥＩメッセージの内容は、表３に示されている。
表３
【表4】
【0082】
第６の実施形態においては、Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップで表される取得システムのパラメータは、時間の経過に伴い徐々に変更されるため、これらのパラメータを制御マップのフレーム・レートよりも低速なフレーム・レートで受信機に送信することが有益である。Ｘｉｕ，ｖマップ、
マップ、または、ΔＸｉｕ，ｖマップの送信周波数は、ＩＤＲフレームのうちの少なくとも１つでなければならない。
【0083】
第７の実施形態においては、色マップは、ＹＵＶまたはＲＧＢフォーマットを使用し、ＭＰＥＧ－４ ＡＶＣ、Ｈ．２６５／ＨＶＥＣ、または、Ｈ２６６などのビデオ・コーダ、または、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＪＥＧなどのイメージ・コーダを使用して符号化される。ライトフィールド・コンテンツを取得するために幾つかのカメラが使用される場合には、カラー・マップを、ＭＶ－ＨＥＶＣコーデックを使用して相対的に符号化してもよい。
【0084】
以上、本発明を特定の実施形態を参照して説明したが、本発明は、この特定の実施形態に限定されるものではなく、当業者にとって、変更を施すことができ、その変更が本発明の範囲の中に包含されることが明らかであろう。
【0085】
上記の例示的な実施形態を参照した当業者にとって、多くの更なる変更例および改変例が示唆されるであろう。これらの実施形態は、例示的な目的のみで与えられており、付随する請求の範囲によってのみ定められる本発明の範囲を限定するように意図されているものではない。特に、適宜、種々の実施形態からの種々の特徴事項を相互に置き換えることができる。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化することと、
を含む、前記方法。
［付記２］
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む、付記１に記載の方法。
［付記３］
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、前記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、前記適合する平面の座標を表す、付記１または２に記載の方法。
［付記４］
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、
前記画素によって感知された光線を表す値と、前記センサの行における前記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
前記画素が前記センサの行の最初の画素である場合の、前記画素によって感知される光線を表す値と、前記画素が属する行に先行する行の最後の画素によって感知される光線を表す値との間の差分を表す、付記１～３のいずれか１に記載の方法。
［付記５］
複数の独立したコーデックが前記第１の組のパラメータのうちのパラメータを符号化するために使用される、付記１～４のいずれか１に記載の方法。
［付記６］
前記第２の組のパラメータが、前記第１の組のパラメータの最後の送信の後に前記第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、前記第２の組のパラメータのみが送信される、付記１～５のいずれか１に記載の方法。
［付記７］
前記ライトフィールド・コンテンツを表す信号の送信速度は、前記符号化された第１の組のパラメータおよび前記符号化された第２の組のパラメータの送信速度よりも高い、付記２に記載の方法。
［付記８］
プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている、前記装置。
［付記９］
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
を含む、前記方法。
［付記１０］
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
をさらに含む、付記９に記載の方法。
［付記１１］
プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築するように構成されている、前記装置。
［付記１２］
ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す前記信号を復号する装置に送信される信号であって、前記信号は、メッセージを搬送し、当該メッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
前記復号する装置による前記ライトフィールド・コンテンツの再構築は、前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づく、前記信号。
［付記１３］
プログラムがプロセッサに実行されたときに付記１～７のいずれか１に記載のライトフィールド・コンテンツを符号化する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
［付記１４］
プログラムがプロセッサに実行されたときに付記９または１０に記載のライトフィールド・コンテンツを復号する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を符号化する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化することと、
を含む、前記方法。
［付記２］
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを符号化することをさらに含む、付記１に記載の方法。
［付記３］
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、前記光線の座標と、光学的な取得システムの複数の画素によって感知される複数の光線の一組の座標に適合する平面との間の距離を表し、第２の組のパラメータのうちの少なくとも１つのパラメータは、前記適合する平面の座標を表す、付記１または２に記載の方法。
［付記４］
前記第１の組のパラメータのうちの少なくとも１つのパラメータは、
前記画素によって感知された光線を表す値と、前記センサの行における前記画素に先行する他の画素によって検知される光線を表す値との間の差分、または、
前記画素が前記センサの行の最初の画素である場合の、前記画素によって感知される光線を表す値と、前記画素が属する行に先行する行の最後の画素によって感知される光線を表す値との間の差分を表す、付記１～３のいずれか１に記載の方法。
［付記５］
複数の独立したコーデックが前記第１の組のパラメータのうちのパラメータを符号化するために使用される、付記１～４のいずれか１に記載の方法。
［付記６］
前記第２の組のパラメータが、前記第１の組のパラメータの最後の送信の後に前記第１の組のパラメータが変更されていないことを示すパラメータを含む場合に、前記第２の組のパラメータのみが送信される、付記１～５のいずれか１に記載の方法。
［付記７］
前記ライトフィールド・コンテンツを表す信号の送信速度は、前記符号化された第１の組のパラメータおよび前記符号化された第２の組のパラメータの送信速度よりも高い、付記２に記載の方法。
［付記８］
プロセッサを含む、ライトフィールド・コンテンツを表す信号を符号化する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを符号化し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを符号化するように構成されている、前記装置。
［付記９］
コンピュータによって実施される、ライトフィールド・コンテンツを表す信号を復号する方法であって、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号することと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
を含む、前記方法。
［付記１０］
前記第１の組のパラメータによって表される光線に関連付けられたカラー・データを表す第３の組のパラメータを復号することと、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータと共に、復号された第３の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築することと、
をさらに含む、付記９に記載の方法。
［付記１１］
プロセッサを含む、ライトフィールド・コンテンツを表す信号を復号する装置であって、前記プロセッサは、
センサの少なくとも１つの画素について、前記画素によって感知される光線を表す第１の組のパラメータを復号し、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２組のパラメータを復号し、
前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づいて前記ライトフィールド・コンテンツを再構築するように構成されている、前記装置。
［付記１２］
ライトフィールド・コンテンツを表す信号を符号化する装置によって、ライトフィールド・コンテンツを表す前記信号を復号する装置に送信される信号であって、前記信号は、メッセージを搬送し、当該メッセージは、
センサの少なくとも１つの画素によって感知される光線を表す第１の組のパラメータと、
前記第１の組のパラメータから前記ライトフィールド・コンテンツを再構築するために使用されるようにされた第２の組のパラメータと、を含み、
前記復号する装置による前記ライトフィールド・コンテンツの再構築は、前記復号された第１の組のパラメータおよび前記復号された第２の組のパラメータに基づく、前記信号。
［付記１３］
プログラムがプロセッサに実行されたときに付記１～７のいずれか１に記載のライトフィールド・コンテンツを符号化する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
［付記１４］
プログラムがプロセッサに実行されたときに付記９または１０に記載のライトフィールド・コンテンツを復号する方法を実施するプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】