知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル ヴイシー ホールディングス， インコーポレイテッドの特許一覧
特許6872533ライトフィールドベース画像を符号化および復号する方法および装置、および対応するコンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6872533
(24)【登録日】2021年4月21日
(45)【発行日】2021年5月19日
(54)【発明の名称】ライトフィールドベース画像を符号化および復号する方法および装置、および対応するコンピュータプログラム製品
(51)【国際特許分類】
H04N 19/597 20140101AFI20210510BHJP
H04N 19/593 20140101ALI20210510BHJP
【ＦＩ】
H04N19/597
H04N19/593
【請求項の数】15
【全頁数】33
(21)【出願番号】特願2018-513479(P2018-513479)
(86)(22)【出願日】2016年9月14日
(65)【公表番号】特表2018-533273(P2018-533273A)
(43)【公表日】2018年11月8日
(86)【国際出願番号】EP2016071717
(87)【国際公開番号】WO2017046176
(87)【国際公開日】20170323
【審査請求日】2019年8月21日
(31)【優先権主張番号】15306409.2
(32)【優先日】2015年9月14日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】トロ，ドミニク
(72)【発明者】
【氏名】アラン，マルタン
(72)【発明者】
【氏名】トゥルカン，メフメット
(72)【発明者】
【氏名】ギヨテル，フィリップ
【審査官】
鉢呂 健
(56)【参考文献】
【文献】
国際公開第２００７／０２６４４０（ＷＯ，Ａ１）
【文献】
国際公開第２０１６／１５８４０３（ＷＯ，Ａ１）
【文献】
米国特許第０５７０３９６１（ＵＳ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
シーンに関連するライトフィールドデータから取得したビューマトリックスに属するビューの少なくとも１つのピクセルブロックを予測する方法であって、
前記方法はプロセッサにより実施され、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、前記第１及び第２のエピポーラ平面画像が、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する、取得することと、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定することと、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定することと、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿することと、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿することと、
前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を決定することと、を含む、方法。
前記方法はプロセッサにより実施され、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、前記第１及び第２のエピポーラ平面画像が、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する、取得することと、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定することと、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定することと、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿することと、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿することと、
前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を決定することと、を含む、方法。
【請求項2】
前記第１の単一方向予測モードを決定すること、又は前記第２の単一方向予測モードを決定することは、前記ピクセルブロックの前記少なくとも１つの予測ピクセルに対して、
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− 各フィルタリング動作を、前記第１の単一方向予測モードの決定についての、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第１のセットと、前記第２の単一方向予測モードの決定についての、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つに適用し、各単一方向予測モードのエネルギーレベルを取得することであって、前記フィルタリング動作は、前記第１のエピポーラ平面画像又は前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの輝度を分析することを含む、適用することと、
− 各単一方向予測モードに対して得られるエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する前記第１の単一方向予測モードと、前記第２の単一方向予測モードの少なくとも１つを選択することとを含む、
請求項１に記載の方法。
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− 各フィルタリング動作を、前記第１の単一方向予測モードの決定についての、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第１のセットと、前記第２の単一方向予測モードの決定についての、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つに適用し、各単一方向予測モードのエネルギーレベルを取得することであって、前記フィルタリング動作は、前記第１のエピポーラ平面画像又は前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの輝度を分析することを含む、適用することと、
− 各単一方向予測モードに対して得られるエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する前記第１の単一方向予測モードと、前記第２の単一方向予測モードの少なくとも１つを選択することとを含む、
請求項１に記載の方法。
【請求項3】
前記ピクセルブロックに、予測ピクセルの少なくとも１つのグループを設けることであって、前記グループは、同じラインの、同じ列の、または前記ピクセルブロックのラインまたは列に対して角方向を示す少なくとも２つのピクセルのセットの少なくとも２つのピクセルを含む、設けることとを含み、
前記第１の単一方向予測モードと、前記第２の単一方向予測モードの少なくとも１つを決定することは、
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− ピクセルグループの少なくとも１つの予測ピクセルに対して、各フィルタリング動作を、前記第１の単一方向予測モードの決定についての、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの前記第１のセットと、前記第２の単一方向予測モードの決定についての、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つに適用し、各単一方向予測モードのエネルギーレベルを取得することと、
− 前記ピクセルグループに属するすべての予測ピクセルに同じ単一方向予測モードを選択することであって、前記同じ単一方向予測モードは、前記ピクセルグループの前記少なくとも１つの予測ピクセルに対して得られたエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する、選択すること、を含む、
請求項１に記載の方法。
前記第１の単一方向予測モードと、前記第２の単一方向予測モードの少なくとも１つを決定することは、
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− ピクセルグループの少なくとも１つの予測ピクセルに対して、各フィルタリング動作を、前記第１の単一方向予測モードの決定についての、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの前記第１のセットと、前記第２の単一方向予測モードの決定についての、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つに適用し、各単一方向予測モードのエネルギーレベルを取得することと、
− 前記ピクセルグループに属するすべての予測ピクセルに同じ単一方向予測モードを選択することであって、前記同じ単一方向予測モードは、前記ピクセルグループの前記少なくとも１つの予測ピクセルに対して得られたエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する、選択すること、を含む、
請求項１に記載の方法。
【請求項4】
１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に、または異なる角度方向エピポーラ平面画像（ＥＰＩ）のセットに対応する場合、
前記第１の単一方向予測モードと前記第２の単一方向予測モードの少なくとも１つを決定することは、前記水平エピポーラ平面画像（ＥＰＩ）について、及び前記垂直エピポーラ平面画像について、又は異なる角度方向のエピポーラ平面画像（ＥＰＩ）について実行され、前記第１の単一方向予測モードと前記第２の単一方向予測モードの少なくとも１つは、エネルギーレベルが各エピポーラ平面画像に対して得られるエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する、
請求項２または３に記載の方法。
前記第１の単一方向予測モードと前記第２の単一方向予測モードの少なくとも１つを決定することは、前記水平エピポーラ平面画像（ＥＰＩ）について、及び前記垂直エピポーラ平面画像について、又は異なる角度方向のエピポーラ平面画像（ＥＰＩ）について実行され、前記第１の単一方向予測モードと前記第２の単一方向予測モードの少なくとも１つは、エネルギーレベルが各エピポーラ平面画像に対して得られるエネルギーレベルの最小値の空間的傾きを有する単一方向予測モードに対応する、
請求項２または３に記載の方法。
【請求項5】
異なるフィルタリング動作を、単一方向予測モードのセットの各単一方向予測モードに関連付けることは、各異なるフィルタリング動作について、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの前記第１のセットと、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つに、作用点を配置することを含む、
請求項２乃至４いずれか一項に記載の方法。
請求項２乃至４いずれか一項に記載の方法。
【請求項6】
前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの前記第１のセットと、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルの前記第２のセットの少なくとも１つのうち、再構成されたピクセルの前記第１のセットの少なくとも１つの再構成ピクセルもビューに属し、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する場合、又は、再構成されたピクセルの前記第２のセットの少なくとも１つの再構成ピクセルもビューに属し、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する場合、
単一方向予測モードのうちの１つは、外挿方向が、前記第１のエピポーラ平面画像と、前記ビューとの両方に属する、前記第１のセットの前記少なくとも１つの再構成ピクセルから、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルへの方向であり、又は、外挿方向が、前記第２のエピポーラ平面画像と、前記ビューとの両方に属する、前記第２のセットの前記少なくとも１つの再構成ピクセルから、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルへの方向である、単一方向予測モードに対応する、
請求項１乃至５いずれか一項に記載の方法。
単一方向予測モードのうちの１つは、外挿方向が、前記第１のエピポーラ平面画像と、前記ビューとの両方に属する、前記第１のセットの前記少なくとも１つの再構成ピクセルから、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルへの方向であり、又は、外挿方向が、前記第２のエピポーラ平面画像と、前記ビューとの両方に属する、前記第２のセットの前記少なくとも１つの再構成ピクセルから、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルへの方向である、単一方向予測モードに対応する、
請求項１乃至５いずれか一項に記載の方法。
【請求項7】
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する方法であって、
− 請求項１乃至６いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定することと、
− シーンに関連するライトフィールドデータから得られる前記ビューマトリックスに属する前記ビューの前記少なくとも１つのピクセルブロックを符号化することであって、前記ピクセルブロックに関連する前記残差誤差を符号化することとを含む、
方法。
− 請求項１乃至６いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定することと、
− シーンに関連するライトフィールドデータから得られる前記ビューマトリックスに属する前記ビューの前記少なくとも１つのピクセルブロックを符号化することであって、前記ピクセルブロックに関連する前記残差誤差を符号化することとを含む、
方法。
【請求項8】
さらに、
− シーンに関連するライトフィールドデータから得たビューマトリックスを表す信号に、符号化された残差誤差を挿入することと、
− ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入することとを含む、
請求項７に記載の方法。
− シーンに関連するライトフィールドデータから得たビューマトリックスを表す信号に、符号化された残差誤差を挿入することと、
− ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入することとを含む、
請求項７に記載の方法。
【請求項9】
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する方法であって、
− 前記信号から、前記ピクセルブロックに関連する残差誤差を復号することと、
− 請求項１乃至６いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成することとを含む、
方法。
− 前記信号から、前記ピクセルブロックに関連する残差誤差を復号することと、
− 請求項１乃至６いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成することとを含む、
方法。
【請求項10】
前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すことであって、前記予測は前記情報を考慮している、ことをさらに含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項11】
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する装置であって、プロセッサを有し、該プロセッサは：
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得するように構成され、前記少なくとも１つのピクセルブロックを予測するように構成されたプロセッサは、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する前記第１及び第２のエピポーラ平面画像を取得し、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定し、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定し、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿し、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿し、
− 前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を外挿し、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定し、
− 前記ピクセルブロックに関連する前記残差誤差を符号化する、ように構成された、
装置。
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得するように構成され、前記少なくとも１つのピクセルブロックを予測するように構成されたプロセッサは、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する前記第１及び第２のエピポーラ平面画像を取得し、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定し、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定し、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿し、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿し、
− 前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を外挿し、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定し、
− 前記ピクセルブロックに関連する前記残差誤差を符号化する、ように構成された、
装置。
【請求項12】
前記プロセッサは、さらに、
− 前記シーンに関連するライトフィールドデータから得た前記ビューマトリックスを表す信号に、前記符号化された残差誤差を挿入し、
− 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入する、ように構成された、
請求項１１に記載の符号化する装置。
− 前記シーンに関連するライトフィールドデータから得た前記ビューマトリックスを表す信号に、前記符号化された残差誤差を挿入し、
− 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入する、ように構成された、
請求項１１に記載の符号化する装置。
【請求項13】
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する装置であって、プロセッサを有し、該プロセッサは：
− 前記ピクセルブロックに関連する残差誤差を復号し、
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得するように構成され、前記少なくとも１つのピクセルブロックを予測するように構成されたプロセッサは、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する前記第１及び第２のエピポーラ平面画像を取得し、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定し、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定し、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿し、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿し、
− 前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を決定し、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成する、ように構成された、
装置。
− 前記ピクセルブロックに関連する残差誤差を復号し、
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得するように構成され、前記少なくとも１つのピクセルブロックを予測するように構成されたプロセッサは、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する第１及び第２のエピポーラ平面画像（ＥＰＩ）を取得することであって、水平エピポーラ平面画像及び垂直エピポーラ平面画像に、または異なる角度方向エピポーラ平面画像のセットに対応する前記第１及び第２のエピポーラ平面画像を取得し、
− 単一方向予測モードのセットのうち、前記第１のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第１のセットから、第１の単一方向予測モードを決定し、
− 単一方向予測モードのセットのうち、前記第２のエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの第２のセットから、第２の単一方向予測モードを決定し、
− 前記第１の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第１の予測値を外挿し、
− 前記第２の単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの第２の予測値を外挿し、
− 前記第１の予測値及び前記第２の予測値の平均に対応する、前記少なくとも１つの予測ピクセルの第３の予測値を決定し、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成する、ように構成された、
装置。
【請求項14】
前記プロセッサは、さらに、前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すように構成され、前記予測は前記情報を考慮している、
請求項１３に記載の復号する装置。
請求項１３に記載の復号する装置。
【請求項15】
通信ネットワークからダウンロード可能であり、及び／又はコンピュータにより読み取り可能な媒体上に記録され、及び／又はプロセッサにより実行可能であり、請求項１乃至１０のいずれか一項に記載の方法を実装するプログラムコード命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ライトフィールドイメージング、およびライトフィールドデータを取得および処理する技術に関する。より詳細には、本開示は、概して、ライトフィールドベース画像を符号化および復号する方法および装置に関し、画像またはビデオの符号化／復号の分野において用途がある。
【背景技術】
【0002】
このセクションは、以下に説明して特許請求する本開示の様々な態様に関連する様々な態様の技術を読者に紹介することを意図するものである。この説明は、本発明の様々な態様の理解を容易にする背景情報を読者に提供する役に立つはずである。従って、言うまでもなく、これらの記載は上記を考慮して読むべきであり、先行技術として認める（ａｄｍｉｓｓｉｏｎｓ ｏｆ ｐｒｉｏｒ ａｒｔ）ものではない。
【0003】
従来の画像キャプチャ装置は、３次元シーンを２次元センサ上にレンダリングする。動作中、従来のキャプチャ装置は、装置内の光センサ（または光検出器）に到達する光の量を表す２次元（２−Ｄ）画像をキャプチャする。しかし、この２−Ｄ画像は、光センサに到達する光線の方向分布に関する情報（これはライトフィールドと呼ばれ得る）を含まない。例えば、深度は撮像中に失われる。したがって、従来のキャプチャ装置は、シーンからの光分布に関する情報の大部分を記憶していない。
【0004】
ライトフィールドキャプチャ装置（「ライトフィールドデータ取得装置」とも呼ばれる）は、そのシーンの様々な視点から光をキャプチャすることによって、シーンの４次元（４Ｄ）ライトフィールドを測定するように設計されている。このように、これらの装置は、光センサと交差する各光ビームに沿って進む光の量を測定することにより、後処理によって新たなイメージングアプリケーションを提供するための追加の光学情報（光束の方向分布に関する情報）をキャプチャすることができる。ライトフィールドキャプチャ装置によって取得される情報は、ライトフィールドデータと呼ばれる。ライトフィールドキャプチャ装置は、本明細書において、ライトフィールドデータをキャプチャすることができる任意の装置として定義される。ライトフィールドキャプチャ装置にはいくつかの種類がある：− 特許文献１に記載されているように、イメージセンサと主レンズとの間に配置されたマイクロレンズアレイを使用するプレノプティック装置；
− カメラアレイ、ここですべてのカメラは単一の共有画像センサ上にイメージングする。
【0005】
ライトフィールドデータは、従来のハンドヘルドカメラの使用によって異なる視点から撮影されたシーンの一連の２Ｄ画像から、コンピュータ生成画像（ＣＧＩ）を用いてシミュレートすることもできる。
【0006】
ライトフィールドデータ処理は、シーンのリフォーカスされた画像を生成すること、シーンの遠近図を生成すること、シーンの深度マップを生成すること、拡張被写界深度（ＥＤＯＦ）画像を生成すること、立体画像を生成すること、および／またはこれらの任意の組み合わせを含むが、特に限定されない。
【0007】
本開示は、より詳しくは、非特許文献１によって開示された図１に示されるようなプレノプティック装置（ｐｌｅｎｏｐｔｉｃ ｄｅｖｉｃｅ）によってキャプチャされるライトフィールドベース画像にフォーカスする。
【0008】
このようなプレノプティック装置は、主レンズ（１１）、マイクロレンズアレイ（１２）、及びフォトセンサ（１３）よりなる。より詳しくは、主レンズは被写体をマイクロレンズアレイ上に（またはその近くに）フォーカスする。マイクロレンズアレイ（１２）は、収束光線を分離して、マイクロレンズアレイの背後にあるフォトセンサ上の画像にする。
【0009】
マイクロイメージは、非特許文献２に開示されており、図２に示すように、マイクロレンズアレイ（１２）の考慮されるマイクロレンズの後ろの光センサ上に形成されたイメージ（１４）である。左側の画像は生データに対応し、右側の画像は特にカモメの頭部を表すマイクロ画像の細部に対応する。マイクロ画像の解像度および数は、センサに対するマイクロレンズのサイズに依存する。より正確には、マイクロイメージの解像度は、デバイスおよびアプリケーションによって大きく異なる（２ｘ２ピクセルから約１００ｘ１００ピクセルまで）。
【0010】
次に、すべてのマイクロ画像から、サブアパーチャ画像が再構成される。このような再構成は、すべての微小画像からコロケートされたピクセル（ｃｏｌｌｏｃａｔｅｄ ｐｉｘｅｌｓ）を収集することからなる。マイクロレンズの数が多いほど、サブアパーチャ画像の分解能は高くなる。より正確には、図３に示すように、１つのマイクロレンズが光センサ（１５）のＮ×Ｎピクセルに重なることを考慮すると、ビューのＮ×Ｎマトリックス（１７）が得られるのは、ｉ番目のビューが全てのＬ×Ｌ個のｉ番目のピクセルであって、ＬｘＬマイクロレンズを含むマイクロレンズアレイ（１６）の各マイクロレンズが重なり合うものを含むことを考慮することによる。ここで「ｘ」は乗算演算子である。
【0011】
より正確には、図３において、Ｌ＝８およびＮ＝４であり、第１のビュー３００は、考えられるマイクロレンズアレイの６４マイクロレンズの各マイクロレンズによってカバーされる１６個のピクセルのうちの第１のものを含む。
【0012】
サブアパーチャ画像再構成には、モザイク除去が必要であった。未処理のプレノプティック材料からのビューのマトリックスを回復する技術は、非特許文献３に開示されたものなどが、現在開発中である。
【0013】
プレノプティック装置とは反対に、Ｐｅｌｉｃａｎ Ｉｍａｇｉｎｇ（登録商標）カメラなどのカメラアレイ装置は、ビューのマトリックスを直接的に（モザイク解除せずに）提供する。
【0014】
このようなライトフィールドベース画像を符号化する従来技術の方法は、標準的な画像またはビデオコーデック（ＪＰＥＧ、ＪＰＥＧ−２０００、ＭＰＥＧ４Ｐａｒｔ１０ＡＶＣ、ＨＥＶＣなど）を使用することにある。しかしながら、そのような標準的なコーデックは、ライトフィールドイメージング（別名、プレノプティックデータ）の特異性を考慮に入れることができない。ライトフィールドは、あらゆる方向の、空間内のあらゆる点における光の量（「放射輝度」）を記録している。
【0015】
実際に、従来の標準画像またはビデオコーデック（ＪＰＥＧ、ＪＰＥＧ−２０００、ＭＰＥＧ４Ｐａｒｔ１０ＡＶＣ、ＨＥＶＣなど）を適用すると、従来のイメージングフォーマットとなる。
【0016】
しかし、これらの豊富なデータ源によって提供される多くの新しいライトフィールドイメージング機能には、コンテンツを、それが捕らえられた後に操作する機能がある。これらの操作には、さまざまな目的があり、特に芸術的、タスクベースおよび犯罪捜査（ｆｏｒｅｎｓｉｃ）がある。例えば、ユーザは、リアルタイムで、焦点、焦点深度、立体視のベースライン、および視点を変更することが可能である。このようなメディアの相互作用および経験は、ライトフィールドベースの画像を符号化／復号化するために従来の標準的な画像またはビデオコーデックを使用することによって得られるだろう従来のイメージングフォーマットでは利用できない。
【0017】
したがって、従来技術のこれらの欠点を示さないライトフィールドベース画像を符号化／復号化する技術を提供することが望ましい。特に、ライトフィールドベース画像から得られた復号画像の関心対象のより細かいレンダリングを可能にするような技術を提供することが望ましいであろう。
【先行技術文献】
【特許文献】
【0018】
【特許文献1】米国特許出願公開第２０１３／０２２２６３３号明細書
【非特許文献】
【0019】
【非特許文献1】Ｒ． Ｎｇ， ｅｔ ａｌ．著「Ｌｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ」（Ｓｔａｎｄｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ ２００５−０２， ｎｏ． １１ （Ａｐｒｉｌ ２００５））
【非特許文献2】ｈｔｔｐ：／／ｗｗｗ．ｔｇｅｏｒｇｉｅｖ．ｎｅｔ／
【非特許文献3】Ｎ． Ｓａｂａｔｅｒ ｅｔ ａｌ．著「Ｌｉｇｈｔ ｆｉｅｌｄ ｄｅｍｕｌｔｉｐｌｅｘｉｎｇ ａｎｄ ｄｉｓｐａｒｉｔｙ ｅｓｔｉｍａｔｉｏｎ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｐｒｏｂｌｅｍｓ ＩＣＣＰ ２０１４）
【発明の概要】
【0020】
以下は、読者に本開示の幾つかの態様に関する基本的な理解を提供するために開示の簡略化された概要を提示する。この要約は本開示の包括的な概要ではない。本開示の重要な又は必須の要素を特定することは意図していない。以下の概要は、より詳細な説明に対する前書きとして、簡単な形式で、単に本開示の幾つかの態様を提示するものである。
【0021】
この開示は、シーンに関連するライトフィールドデータから得られたビューのマトリクスに属するビューのピクセルの少なくとも１つのブロックを予測する方法で、従来技術の欠点の少なくとも１つを解決するものである。
【0022】
かかる方法はプロセッサにより実施され、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を取得することと、
− 単方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単方向予測モードを決定することと、
− 前記少なくとも１つの最適な単方向予測モードを用いて、前記少なくとも１つの予測ピクセルの予測値を外挿することとを含む。
【0023】
本開示は、概して、シーンに関連するライトフィールドデータから取得したビューマトリックスに属するビューの少なくとも１つのピクセルブロックを予測する、新規の発明的な方法に依存する。実際、本開示は、エピポーラ平面画像内の線形構造の特性の利益を享受する。
【0024】
より正確には、Ｂ． Ｇｏｌｄｌｕｅｃｋｅ ｅｔ ａｌ．著「Ｔｈｅ Ｖａｒｉａｔｉｏｎａｌ Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｄｉｓｐａｒｉｔｙ ａｎｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ」（ｐｐ １００３−１０１０ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）に記載されているように、水平（あるいは垂直）エピポーラ平面画像は、２Ｄ画像であり、前記ビューマトリックスのビューのライン（あるいは列）に沿ったビューマトリックスのすべての画像を交互にスタックすることにより構成され、スタックされた各ビューの同じラインに沿った（あるいは、スタックされた各ビューの同じ列に沿った）、得られたスタックを通るカットに対応する。
【0025】
対応するＥＰＩを得るために、水平または垂直とは異なる別の向きを使用することができることに留意されたい。
【0026】
換言すると、本開示によると、前記少なくとも１つのエピポーラ平面画像（ＥＰＩ）は、水平または垂直のエピポーラ平面画像に対して所定の角方向を有する、水平エピポーラ平面画像（ＥＰＩ）、垂直エピポーラ平面画像（ＥＰＩ）（前記角度方向は所定されていてもいなくてもよい）であり得る。
【0027】
前記少なくとも１つのエピポーラ平面画像の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、単方向予測モード（所定のものであってもなくてもよい）から少なくとも１つの最適な単方向予測モードを決定することにより、ビュー間相関を正しく、すなわちピクセル（またはピクセルブロックより小さいピクセルグループ）の解像度で、利用することができる。これは、Ｈ．２６４標準の１つなどの先行技術の予測方法によっては可能ではない。
【0028】
結果として、エピポーラ平面画像に基づく本開示の予測方法により、予測モードを提供することができ、その予測モードは、ビューマトリックスを提供するプレノプティックイメージング（ｐｌｅｎｏｐｔｉｃ ｉｍａｇｉｎｇ）の特異性に関してより最適である。
【0029】
留意点として、Ｂ． Ｇｏｌｄｌｕｅｃｋｅは、「Ｔｈｅ Ｖａｒｉａｔｉｏｎａｌ Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｄｉｓｐａｒｉｔｙ ａｎｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ」において、符号化／復号プロセス中にピクセルの予測を最適化するためにエピポーラ平面画像を用いることを開示も示唆もしておらず、エピポーラ平面画像を用いて、エピポーラ平面画像空間におけるベクトル場における微分制約（ｄｉｆｆｅｒｅｎｔｉａｌ ｃｏｎｓｔｒａｉｎｔｓ）を求め、ライトフィールドの４Ｄ光線空間におけるより一般的なベクトル値関数の制約に関する一貫した視差フィールドを可能にしている。
【0030】
エピポーラ平面画像の使用により、シーンの４次元（４Ｄ）ライトフィールドの特性を利用できる。その構成は、そのシーンの様々な視点からの光を表すビューのスタックに基づくからである。視点とは、すなわち、水平エピポーラ平面画像のビューマトリックスの同じラインの視点、または垂直エピポーラ平面画像のビューマトリックスの同じ列（ｃｏｌｕｍｎ）の視点、または前記ビューマトリックスのラインまたは列に対してある角度方向を有する、前記ビューマトリックスの同じビューのセットの視点である。
【0031】
本開示の第１の実施形態によると、前記最適な単方向予測モードを決定することは、前記ピクセルブロックの前記少なくとも１つの予測ピクセルに対して、− 異なるフィルタリング動作を、前記単方向予測モードのセットの各単方向予測モードに関連付けることと、
− 各フィルタリング動作を、前記少なくとも１つのエピポーラ平面画像の、前記少なくとも１つの予測ピクセルに隣接する前に再構成されたピクセルのセットに適用して、各単方向予測モードのエネルギーレベルを求めることと、
− エネルギーレベルが、各単方向予測モードに対して得られるエネルギーレベルの最小値の、または最大値のアーギュメントである、単方向予測モードに対応する前記最適な単方向予測モードを選択することとを含む。
【0032】
言い換えると、各単方向予測モードは、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、前記少なくとも１つの予測ピクセルの予測値の外挿方向に関連する。
【0033】
実際、ライトフィールドは、光線空間で定義され、リッチ構造（そのエピポーラ平面画像において見えるようになる）におけるシーンジオメトリデータを暗黙的に表す。よって、エピポーラ平面画像は方向的構造を示す。
【0034】
本開示によると、選択される最適な単方向予測モードは、単方向予測モードであって、考慮されるピクセルブロックの予測ピクセルに用いられる、考慮されるエピポーラ平面画像の方向的構造に対して最も適合したものに対応する。
【0035】
第２の実施形態では、本開示の予測方法は、さらに、前記ピクセルブロックに、予測ピクセルの少なくとも１つのグループを設けることであって、前記グループは、同じラインの、同じ列の、または前記ピクセルブロックのラインまたは列に対して角方向を示す少なくとも２つのピクセルのセットの少なくとも２つのピクセルを含む、設けることとを含み、前記最適な単方向予測モードを決定することは、− 異なるフィルタリング動作を、前記単方向予測モードのセットの各単方向予測モードに関連付けることと、
− 前記ピクセルグループの少なくとも１つの予測ピクセルに対して、各フィルタリング動作を、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットに適用することと、
− 前記ピクセルグループに属するすべての予測ピクセルに同じ最適な単方向予測モードを選択することであって、前記最適な単方向予測モードはエネルギーレベルが、最小値、又は最大値、前記ピクセルグループの前記少なくとも１つの予測ピクセルに対して得られたエネルギーレベルのアーギュメントである。
【0036】
かかる一実施形態によれば、実施される選択はロバストである。理由は、単一の最適な単方向予測モードが、前記グループに属するすべての予測ピクセルに対して求まり、かかる最適な単方向予測モードは、各単方向予測モードに対して、及び前記ピクセルグループの少なくとも１つの予測ピクセルに対して求められる最小エネルギーレベルのアーギュメント（ａｒｇｕｍｅｎｔ）である、エネルギーレベルを表す。
【0037】
言うまでもなく、潜在的コンターに直交する方向で計算された傾きで、最大傾きに基づくアプローチも可能である。
【0038】
言い換えると、選択は、前述の実施形態を考慮したものよりも、求めたエネルギーレベルをより考慮して行われる。ここで、最適な単方向予測モードの選択は、最適な単方向予測モードが、予測ピクセルごとに求められ、前記ピクセルグループに属するすべての予測ピクセルに対してではないように行われる。
【0039】
前述の２つの実施形態の第１の変形例によれば、１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に、または異なる角度方向エピポーラ平面画像（ＥＰＩ）のセットに対応する場合、前記最適な単方向予測モードを決定することは、前記水平エピポーラ平面画像（ＥＰＩ）について、及び前記垂直エピポーラ平面画像について、又は異なる角度方向のエピポーラ平面画像（ＥＰＩ）について実行され、前記最適な単方向予測モードは、エネルギーレベルが各エピポーラ平面画像に対して得られるエネルギーレベルの最小値のアーギュメントである単方向予測モードに対応する。
【0040】
前述の２つの実施形態の第２の変形例によれば、１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に、または異なる角度方向エピポーラ平面画像（ＥＰＩ）のセットに対応する場合、最適な単方向予測モードは、各エピポーラ平面画像に対して決定され、前記予測ピクセルの前記予測値は、各エピポーラ平面画像に対して決定される前記最適な単方向予測モードを用いて、それぞれ得られた少なくとも２つの値の平均に対応する。
【0041】
前述の実施形態の他の態様によれば、異なるフィルタリング動作を、単方向予測モードのセットの各単方向予測モードに関連付けることは、各異なるフィルタリング動作について、前記少なくとも１つのエピポーラ平面画像中前記予測ピクセルに隣接する、前に再構成されたピクセルのセットに、作用点を配置することを含む。
【0042】
かかる一態様は、前記少なくとも１つのエピポーラ平面画像の前記予測ピクセルに隣接する、前に再構成されたピクセルのセットに、各フィルタリング動作を適用して、各単方向予測モードのエネルギーレベルを取得するステップの精度を改善する。
【0043】
前述の実施形態の他の態様によると、前記少なくとも１つのエピポーラ平面画像中の前記予測ピクセルに隣接する、前に再構成されたピクセルのセットのうち、少なくとも１つの再構成ピクセルも前記ビューに属し、前記予測ピクセルに隣接する場合、単方向予測モードのうちの１つは、外挿方向が、前記少なくとも１つのエピポーラ平面画像と、前記ビューとの両方に属する、前記少なくとも再構成ピクセルから、前記予測ピクセルへの方向である、単方向予測モードに対応する。
【0044】
本発明は、概して、シーンに関連するライトフィールドデータから取得したビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する方法にも関する。
【0045】
かかる方法はプロセッサにより実施され、：− 上記の通り、予測方法により前記少なくとも１つのピクセルブロックを予測して、予測ピクセルブロックを求めることと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定することと、
− 前記ピクセルブロックに関連する前記残差誤差を符号化することとを含む。
前記符号化の間に実施される予測は、もちろん、前述した本開示の異なる実施形態または変形例による予測方法のさまざまな特徴を有してもよい。
【0046】
前記符号化方法の一態様によれば、前記符号化方法はさらに、− 前記シーンに関連するライトフィールドデータから得た前記ビューマトリックスを表す信号に、符号化された残差誤差を挿入するステップと、
− 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入するステップとを含む。
【0047】
本開示の他の態様は、前記シーンに関連するライトフィールドデータから得られたビューマトリックスの少なくとも１つのピクセルブロックを示す信号に関し、前記信号は、上記の符号化方法により求まり、前記ピクセルブロック内の少なくとも１つの予測ピクセルグループを示す情報が前記信号に挿入される。
【0048】
本開示の他の態様は、上記の信号を担う記録媒体に関する。
【0049】
本開示の他の態様は、シーンに関連するライトフィールドデータから取得したビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する方法にも関する。かかる方法はプロセッサにより実施され、：
− 前記信号から、前記ピクセルブロックに関連する残差誤差を復号することと、
− 上記の通り、予測方法により前記少なくとも１つのピクセルブロックを予測して、予測ピクセルブロックを求めることと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成することとを含む。
【0050】
かかる復号方法は、上記の符号化方法に従って符号化された信号を復号するのに特に適している。
【0051】
このように、同じ予測ステップの実行は、予測残差（信号で送信される）を予測に任意的に負荷することにより、所与のピクセルブロックを再構成するように、符号化時に実行されるように行われる。
【0052】
前記復号方法の態様において、前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すことができ、前記予測は前記情報を考慮している。
【0053】
本開示の他の態様は、シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する装置に関し、該装置はプロセッサを有し、該プロセッサは：− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを求めるモジュールであって、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
ｏ 前記ビューマトリックスから、前記予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を求めるエンティティと、
ｏ 単方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単方向予測モードを決定するエンティティと、
ｏ 前記少なくとも１つの最適な単方向予測モードを用いて、前記予測ピクセルの予測値を外挿する点ティティと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定するモジュールと、
− 前記ピクセルブロックに関連する前記残差誤差を符号化するモジュールとを有する、
かかる符号化装置は、上記の通り、符号化方法を実装するように特に適合されている。
【0054】
本開示の他の態様は、シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する装置に関し、該装置はプロセッサを有し、該プロセッサは：− 前記ピクセルブロックに関連する残差誤差を復号するモジュールとを有する、
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを求めるモジュールであって、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
ｏ 前記ビューマトリックスから、前記予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を求めるエンティティと、
ｏ 単方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単方向予測モードを決定するエンティティと、
ｏ 前記少なくとも１つの最適な単方向予測モードを用いて、前記予測ピクセルの予測値を外挿するエンティティと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成するモジュールとを含む。
【0055】
かかる復号装置は、上記の通り、復号方法を実装するように特に適合されている。
【0056】
本開示は、上記の方法を実装するように構成されたプロセッサを有する装置に関する。
【0057】
その他の態様によれば、本開示は、このプログラムがコンピュータ上で実行されるときに上記方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品と、プロセッサに少なくとも上記の方法のステップを実行させるための命令を記憶したプロセッサ読み取り可能媒体と、前記プログラムがコンピューティングデバイス上で実行されたときに、前記方法のステップを実行するためのプログラムコードの命令を運ぶ非一時的記憶媒体とに関する。
【0058】
本開示の特定の性質、ならびに本開示の他の目的、利点、特徴および使用は、添付の図面と併せた以下の実施形態の説明から明らかになるであろう。
【図面の簡単な説明】
【0059】
図中、本開示の実施形態を例示する。【図1】先行技術に関連して既に示した、プレノプティクカメラを示す概念図である。
【図2】先行技術に関連して既に示した、プレノプティクカメラで撮った写真の一例を示す図である。
【図3】先行技術との関連で既に提示して、それぞれカメラセンサ（１５）、マイクロレンズアレイ（１６）およびビューのマトリックス（１７）を示す。
【図4】ビューのマトリックスから得られたエピポーラ平面画像の構築を示す図である。
【図5】本開示による予測方法の主要ステップを示す概略図である。
【図6a】本開示の２つの実施形態による最適単方向予測モードの決定のサブステップを示す概略図である。
【図6b】本開示の２つの実施形態による最適単方向予測モードの決定のサブステップを示す概略図である。
【図7a】所与のビューにおいて予測するピクセルの予測近傍を示し、次に、考慮するエピポーラ平面画像において予測するピクセルの予測近傍を示す。
【図7b】所与のビューにおいて予測するピクセルの予測近傍を示し、次に、考慮するエピポーラ平面画像において予測するピクセルの予測近傍を示す。
【図8】所定の単方向予測モードのセットの一例を示す図である。
【図11】本開示による符号化方法のステップを示す概略図である。
【図12】本開示による復号方法のステップを示す概略図である。
【図13】本開示の一実施形態による装置のアーキテクチャの例を示す図である。 類似または同一の要素は、同じ参照番号で参照される。
【発明を実施するための最良の形態】
【0060】
＜一般的原理＞本開示は、ビューのマトリックスのエピポーラ平面画像（ＥＰＩ）表現に基づいて新しいタイプの予測を実施するビューのマトリックスの画像を符号化（または復号）するための新しい技術を提案する。
【0061】
より正確には、現在のピクセルに隣接するエピポーラ平面画像（ＥＰＩ）の因果的に再構成されたピクセルから、予測してエンコードするために、一方向性の予測モードの中の最良の方向が見つけられ、次に前記現在のピクセルの予測値を外挿して、予測及び符号化する。
【0062】
したがって、本開示で提案されたアプローチは、エピポーラ平面画像（ＥＰＩ）内部の線形構造の特定の特性に対処することができ、その結果、シーンの４次元（４Ｄ）ライトフィールドの特性を利用するのに適している。
【0063】
以下、本開示の実施形態を示した添付図面を参照して、本開示をより詳しく説明する。しかし、本開示は、多数の代替的な形式で実施でき、ここに開示した実施形態に限定されると解釈してはならない。したがって、本開示はいろいろな一部変更や代替的形体をとりうるが、具体的な実施形態を図面中で例として示し、以下に詳細に説明する。しかし、言うまでもなく、開示した具体的な形式に本開示を限定する意図ではなく、逆に、本開示は請求項で定められた開示の精神と範囲に入るすべての修正、代替物、構成、及び等価物をカバーする。
【0064】
ここで用いる用語は、具体的な実施形態を説明することを目的としており、本開示の限定を意図したものではない。ここで、冠詞「ａ」、「ａｎ」、及び「ｔｈｅ」は、明らかに文脈に反しない限り、複数の場合も含む。さらに、言うまでもなく、「有する」、「含む」との用語は、本明細書で用いるとき、記載した特徴、整数、ステップ、動作、要素及び／又はコンポーネントがあることを示し、その他の特徴、整数、ステップ、動作、要素、コンポーネント及び／またはこれらのグループがあることを排除するものではない。さらに、ある要素は、他の要素に「応答する（ｒｅｓｐｏｎｓｉｖｅ）」または「接続されている（ｃｏｎｎｅｃｔｅｄ）」というとき、その要素に直接的に応答しまたは接続されていてもよいし、媒介する要素があってもよい。対照的に、ある要素が他の要素に「直接応答する（ｄｉｒｅｃｔｌｙ ｒｅｓｐｏｎｓｉｖｅ）」または「直接接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」と言うとき、媒介する要素はない。本明細書で使用される場合、「および／または」という用語は、関連する列挙された項目の１つまたは複数の任意のおよびすべての組み合わせを含み、「／」と省略することがある。
【0065】
言うまでもなく、第１、第２などの用語は、ここでは様々な要素を説明するために使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。本開示の教示から逸脱することなく、例えば、第１の要素を第２の要素と呼んでもよく、同様に、第２の要素を第１の要素と呼んでもよい。
【0066】
幾つかの図には、主要な通信方向を示す矢印を通信パス上に含むが、言うまでもなく、通信は図示した矢印とは反対の方向に行われてもよい。
【0067】
幾つかの実施形態をブロック図と動作フローチャートを参照して説明するが、各ブロックは回路素子、モジュール、またはコードの一部を表す。コードの一部は、指定された論理機能を実装する一以上の実行可能命令を含む。また、他の実施形態では、ブロック内に記されている機能が、記載された順序から外れることがあることにも留意されたい。例えば、順次的に示された２つのブロックは、その機能に応じて、実際には、実質的に同時に実行してもよく、逆の順序で実行してもよい。
【0068】
本明細書において「一実施形態」とは、その実施形態に関して説明する具体的な機能、構造、特徴などが本開示の少なくとも１つの実施形態に含まれ得ることを意味している。本明細書ではいろいろな箇所で「一実施形態とは」または「一実施形態によれば」と記載するが、必ずしも同じ実施形態を指すものではなく、別の、または代替的な実施形態は、必ずしも他の実施形態と互いに排他的なものではない。
【0069】
特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。明示的には説明していないが、本実施形態及び変形は任意の組み合わせやサブコンビネーションで利用できる。
【0070】
この開示は、ビューのマトリックスのビューのピクセルのブロックを符号化／復号するために記載されているが、ビューのマトリックスのシーケンスの符号化／復号（プリオプティック・ビデオ）に拡張される。かかるシーケンスに属するビューの各マトリックスの各ビューは、以下に説明するように順次符号化／復号されるからである。
【0071】
＜予測方法＞図５は、本開示による予測方法（５０）の主なステップを示す概略図であり、前記方法は、予測モジュールによって実行される。
【0072】
本開示によれば、シーンに関連するライトフィールドデータから得られたビューのマトリクス（１７）に属するビューのピクセルの少なくとも１つのブロック（１７０）を、図３に示すように予測する方法（５０）は、プロセッサにより実施され、第１に、前記ピクセルブロックの予測する少なくとも１つのピクセルについて、取得するエンティティを用いることにより、予測する前記少なくとも１つのピクセルに関連する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を取得するステップ（５１）を含む。予測する少なくとも１つのピクセルは、前記少なくとも１つのエピポーラ平面画像（ＥＰＩ）に属する。
【0073】
前記取得するステップ（５１）は、図４に示され、Ｂ． Ｇｏｌｄｌｕｅｃｋｅ ｅｔ ａｌ．著「Ｔｈｅ Ｖａｒｉａｔｉｏｎａｌ Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｄｉｓｐａｒｉｔｙ ａｎｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ４Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄｓ」（ｐｐ １００３−１０１０ ２０１３ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ）に開示されている。
【0074】
ビューのマトリックス（１７）は、カメラの焦点が２Ｄ平面内にあるシーン（４０００）の画像の集合としての４Ｄライトフィールドを表す。
【0075】
エピポーラ平面画像の取得（５１）は、互いに重ね合ったビューポイントのライン（４０）に沿って、すべての画像をスタックすることである。すなわち、ライン（４０）の第１の画像（４１）は、矢印（４１０）によって表されるように、スタックの最上部にあり、ライン（４０）の最後の画像（４２）は、矢印（４２０）により表されるように、スタック（４００）の下にある。次に、このスタック（４００）を通る切断（４０１）が、各ビューの同じライン（４３）に沿って実行される。このようなカットは、水平エピポーラ平面画像（ＥＰＩ）である。
【0076】
言い換えると、行と列のそれぞれのインデックスｖ、ｕのＢ×Ｄビュー（図４のＢ＝Ｄ＝５）からなるビューのマトリックスと、行と列のそれぞれのインデックスｔ、ｓのサイズＬｘＣピクセルの各ビューを考えると、サイズＤ×Ｃ、ｖ＝０，…，Ｂ−１の水平ＥＰＩＥｖ，ｔｈは、図４に示すように、すべてのｖ番目のサブイメージのｔ番目の行をスタックすることにより実現される。言い換えれば、エピポーラ平面画像は、（ライン（４０）に対応するｖ座標を固定して）ビューのマトリックス（１７）の（ｕ、ｖ）平面のラインにそって、すべてのビューからのビューライン（ビューライン（４３）に対応するｔ座標を固定して）を重ね合わせて構築された２Ｄ画像である。
【0077】
同様に、サイズＬ×Ｂ、ｕ＝０、．．．、Ｄ−１の垂直ＥＰＩＥｕ，ｓｖは、すべてのｕ番目のサブ画像のｓ番目の列を積み重ねることによって実現される。
【0078】
対応するＥＰＩを得るために、水平または垂直とは異なる別の向きを使用することができることに留意されたい。
【0079】
このように、提案された開示は、少なくとも１つのエピポーラ平面画像において、所定のビューのマトリックスの予測するピクセルの考慮されたピクセルブロックの少なくとも１つの予測するピクセルを提供する。
【0080】
前記少なくとも１つのエピポーラ平面画像（ＥＰＩ）は、水平または垂直のエピポーラ平面画像に対して所定の角方向を有する、水平エピポーラ平面画像（ＥＰＩ）、垂直エピポーラ平面画像（ＥＰＩ）、またはエピポーラ平面画像（ＥＰＩ）であり得る。考慮中の予測ピクセル（ｐｉｘｅｌ ｔｏ ｐｒｅｄｉｃｔ）は、水平エピポーラ平面画像（ＥＰＩ）および垂直エピポーラ平面画像（ＥＰＩ）に対応する、少なくとも２つのエピポーラ平面画像（ＥＰＩ）に属することができ、または異なる角方向のエピポーラ平面画像（ＥＰＩ）のセットに属することができる。
【0081】
考慮される予測ピクセルのために、少なくとも１つのエピポーラ平面画像が取得されると（５１）、所定の単方向予測モードのセットと、前記少なくとも１つのエピポーラ平面画像（５４）における前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単方向予測モードの決定が、決定のためのエンティティを用いて、実行される。
【0082】
前記決定（５２）の２つの実施形態を、図６ａおよび図６ｂにそれぞれ示す。
【0083】
より詳細には、図６ａに示す第１の実施形態によれば、Ｎピクセルを含む前記ピクセルブロックの少なくとも１つの予測ピクセルに対して、最適な一方向予測モードの選択（６３）が、Ｍ個の所定の単方向予測モードのセットにおいて実行される。
【0084】
特に、本開示によれば、そのような選択の実行は、前記考慮される予測ピクセルが属する少なくとも１つのエピポーラ平面画像中の、前記少なくとも１つの予測ピクセルに隣接する以前に再構築されたピクセルのセット（６００１）を考慮に入れて行われる。
【0085】
所与のビューにおける、及び考慮されるエピポーラ平面画像のみの少なくとも１つの予測ピクセル（ｐｉｘｅｌ ｔｏ ｐｒｅｄｉｃｔ）の予測近傍を、図７ａおよび図７ｂにそれぞれ示した。
【0086】
例えば、図７ａは、図４に示されているように、ビューのマトリックスの（１７）のビューのライン（４０）の最後のビュー（４２）を表している。
【0087】
特に、Ｌ＝６（６ライン）およびＣ＝１３（１３カラム）のサイズＬｘＣピクセルの前記ビュー（４２）において、ピクセルブロック（７０）を考える。このようなブロック（７０）は、例えば、前記ビュー（４２）の予め再構成されたピクセルである、三角形で表されるピクセル（７１）によって囲まれている。
【0088】
さらに、有利には、本開示によれば、予測ピクセルのブロック（７０）のピクセル（７０１）は、水平エピポーラ平面画像内のピクセル（７０００）によって囲まれ、これは、黒点により表された、予め再構成されたピクセルである。そのようなエピポーラ平面画像は、シーンの４次元（４Ｄ）ライトフィールドの特性を利用することを可能にする。
【0089】
エピポーラ平面画像の取得（５１）に関して先に説明したように、異なる水平（あるいは垂直）画像が、考慮されるビューの各ライン（あるいは列）について得られる。すなわち、考慮されるブロック７０の上のラインに位置するピクセル７０２は、水平エピポーラ面画像ｈＥＰＩ０に属し、考慮されるブロック７０の最終ラインに位置するピクセル７０１は、水平エピポーラ面画像ｈＥＰＩ３に属する。
【0090】
本発明の第１の変形によれば、前記ピクセルブロック（７０）に属する各ピクセルに対して、予測値の外挿は、前記少なくとも１つのエピポーラ平面画像中の、前記予測ピクセルに隣接する前の再構成ピクセルのセットから決定された、少なくとも１つの最適単方向予測モードを用いて行われる。したがって、この第１の変形例によれば、ピクセルブロック（７０）のすべての予測ピクセル（ｐｉｘｅｌｓ ｔｏ ｐｒｅｄｉｃｔ）は、エピポーラ平面画像に対応する次元で予測される。
【0091】
第２の変形例によれば、予測値の外挿は、前記ピクセルブロック（７０）に属するピクセルの第１の部分のみについての前記少なくとも１つのエピポーラ平面画像中の、考慮される予測ピクセル（ｐｉｘｅｌ ｔｏ ｐｒｅｄｉｃｔ）に隣接する以前に再構成されたピクセルのセットから決定される少なくとも１つの最適単方向予測モードを用いて行われる。
【0092】
前記ピクセルブロック（７０）に属するピクセルの前記第１の部分に対して、エピポーラ平面画像を用いて、予測値が得られると、前記予測値を用いて、予測値がまだ得られていない、前記ピクセルブロック（７０）に属する他のピクセル部分を予測する。
【0093】
予測値がまだ得られていない、前記ピクセルブロック（７０）に属する他のピクセル部分の予測は、例えば、Ｈ．２６４標準のイントラ予測モードから得られる古典的予測モード（このイントラ予測モードに対応するサイド情報がデコーダに送信される必要があるが）を用いて、またはより簡単に、（サイド情報はより少なくてよく、その理由は、予測ピクセルの一部がエピポーラ平面画像を用いて再構成されると、空間的補間を実行しなければならないことを、デコーダはデフォルトで知っているからである）空間的補間を用いて行われる。
【0094】
より正確には、空間的補間により、予測ピクセル（ｐｉｘｅｌ ｔｏ ｐｒｅｄｉｃｔ）の予測値は、例えば、直接的にまたは非直接的に隣接する二以上のピクセルの値の平均または加重に対応し、前記隣接ピクセルはすでに再構成されている（７１）か、または前記第１の部分に属し、すでに予測値に関連付けられている。
【0095】
例えば、水平（あるいは垂直）空間的補間により、予測ピクセルの予測値は、例えば、二以上のピクセルの値の平均または加重に対応し、すでに予測値に関連付けられ、またはそれに水平に（あるいは垂直に）直接隣接して、すでに再構成されている。
【0096】
この場合、空間的補間が実行され、予測値が、前記ピクセルブロック（７０）に直接隣接する予測ピクセル（例えば、前記ブロック（７０）の真下にある予測ピクセルのラインの予測ピクセル）に対しても得られ、これは、エピポーラ平面画像を用いて、続く空間的補間中に、前記ブロック（７０）の予測ピクセルが、すでに予測値に関連付けられた、またはすでに再構成され、空間的補間を実行する必要があるピクセルに隣接する。
【0097】
このように、この第２の変形例では、ピクセルブロック（７０）の予測ピクセルの一部が、エピポーラ平面画像に対応する次元で最初に予測され、ピクセルの他の部分は、エピポーラ平面画像を用いずに、ビュー内で実行される空間的補間を用いて予測される。
【0098】
例えば、この第２の変形例では、考慮される予測ピクセルブロックについて、２つのピクセルに１つの予測値の取得は、エピポーラ平面画像から決定される単方向予測モードを用いて行われる。
【0099】
このように、ピクセルブロック（７０）の２つのピクセルに１つは、まだ予測されていない。これらの残った予測ピクセルについて、エピポーラ平面画像を用いた予測値の外挿は、考慮されるビューの再構成されたピクセルのセット（７１）と、予測値がエピポーラ平面画像を用いてまだ得られていない、前記ピクセルブロック（７０）のピクセルとを用いて行われる水平空間的補間の使用により置き換え得る。
【0100】
前記ピクセルブロック（７０）の残っている予測ピクセルの幾つかに対して、予測値が得られないことがある。この場合、予測値が得られていない残りのピクセルのうちのピクセルを、前記ブロック（７０）の残りの予測ピクセルを予測する後続の反復で用い、この場合、垂直補間などを用いる。図７ｂは、水平エピポーラ平面画像ｈＥＰＩ３中の前に再構成されたピクセル（７０００）により囲まれた、考慮されるブロック７０の最後のラインの予測ピクセル７０１のみを表す。前述の通り、かかる前に再構成されたピクセル（７０００）のうち、幾つかの再構成されるピクセル７１（三角形で示す）は、予測ピクセル７０１と同じライン中の同じビューに属する。図から分かる通り、予測ピクセル７０１に隣接する、前に再構成されたピクセルのセット（７０００）は、現在の予測ピクセルの左と上のゾーンに対応する。
【0101】
水平エピポーラ平面画像ｈＥＰＩ３中の予測ピクセル７０１のかかる環境に関して、本開示では、エピポーラ平面画像の特定の方向特性を利用する新しい単方向予測モードを用いる。
【0102】
所定の単方向予測モードのセットの一例を図８に示す。エピポーラ平面画像の前に再構成されたピクセルを用いる他の例を容易に求めることもできる。図から分かるように、これらすべての単方向予測モードによれば、予測方向は、大きな点により表されるエピポーラ平面画像中の前に再構成されたピクセルから、予測ピクセルへの矢印により示される。
【0103】
単方向予測モードのかかる例は、Ｈ．２６４標準のイントラ４×４予測により開示されたものと同様であると考えられるが、留意すべき点として、本開示によれば、かかるモードは、エピポーラ平面画像の前に再構成されたピクセルを用いて定められ、これにより、シーンの４次元（４Ｄ）ライトフィールドの特性を利用することが可能である。
【0104】
そうではなく、Ｈ．２６４標準のイントラ４×４予測により用いられる単方向予測モードは、符号化する画像の、前に再構成されたピクセルを用いて確定されるが、これは、シーンの４次元（４Ｄ）ライトフィールド全体の利益を得ることはできない。
【0105】
特に、図から分かるように、図８のモード８は、Ｈ．２６４標準のイントラ４×４予測のモード８とは大きく異なる。その理由は、矢印がエピポーラ平面画像の前に再構成されたピクセル（大きい点で示す）から予測ピクセルまでであり、「水平左下」であり、Ｈ．２６４標準のイントラ４×４予測のモード８に対応する矢印は、エピポーラ平面画像の前に再構成されたピクセルから始まらず、「水平上向き」だからである。
【0106】
また、図から分かるように、Ｈ．２６４のイントラ４×４予測のモード２は、本開示による予測には受け入れられていない（すなわち、ＤＣモード２は本開示により実施されない。本開示の予測は４Ｄライトフィールドの場合に実行される。本開示の一態様では、前記少なくとも１つのエピポーラ平面画像の少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセット（７０００）において、少なくとも１つの再構成されたピクセルは、図７ｂに三角形で示したピクセル７０１のように、前記ビューに属し、前記少なくとも１つの予測ピクセルに隣接する。所定の単方向予測モードの１つは、外挿方向が、前記少なくとも１つのエピポーラ平面画像と前記ビューとの両方に属する前記少なくとも１つの再構成ピクセルから、前記少なくとも１つの予測ピクセルへの方向である単方向予測モードに対応する。かかるモードを図８のモード１により例示する。
【0107】
図６ａに示すように、決定（５２）の第１の実施形態に関して、かかる決定（５２）は、異なるフィルタリング動作（Ｆ＿０ｊ）を、所定の単方向予測モードの前記セットの各単方向予測モードに関連付けることを含む。
【0108】
かかる異なるフィルタリング動作を、例えば、図９に示す。より正確には、図９の例によると、かかるフィルタリング動作はマトリックスまたはマスクであり、それぞれ図８の所定の単方向予測モードのセットのうちの１つの単方向予測モードに対応している。
【0109】
例えば、マスクＤ０において、図８の垂直モード０の矢印の始点は「−１」で示され、その矢印の先端は「１」で示される。
【0110】
マスクの他の多くの例を用いることができ、例えば、垂直モード、すなわちエピポーラ平面画像中の垂直コンターを示すため、次のマスクＤ０を使用できる：
【0111】
【数1】
【0112】
任意的に、精度を向上するため、かかるフィルタリング動作（６１０）はエピポーラ平面画像に適切に配置され、垂直矢印は、図１０に示すように、考慮される予測ピクセルｐ（０，０）の真上にあるようにされる。
【0113】
より正確には、図１０に示すように、ＥＰＩラインの第１の予測ピクセルｐ（０，０）に対してチェックする異なる方向の（図９で例として提案された）畳み込みマスクの対応する中心位置は、次の通りである：Ｄ０ ｏｎ Ｃ０ ＝ ｐ（０， −２）
Ｄ１ ｏｎ Ｃ１ ＝ ｐ（−２， ０）
Ｄ３ ｏｎ Ｃ３ ＝ ｐ（２， −２）
Ｄ４ ｏｎ Ｃ４ ＝ ｐ（−２， −２）
Ｄ５ ｏｎ Ｃ５ ＝ ｐ（−１， −２）
Ｄ６ ｏｎ Ｃ６ ＝ ｐ（−３， −２）
Ｄ７ ｏｎ Ｃ７ ＝ ｐ（１， −２）
Ｄ８ ｏｎ Ｃ８ ＝ ｐ（３， −２）
異なるフィルタリング動作が各単方向予測モードに関連付けられ（６１）、任意的に適切に配置（６１０）されると、各フィルタリング動作（すなわち、マスク）は、少なくとも１つのエピポーラ平面画像の少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセット７００に適用され（６２）、各単方向予測モードに関連するエネルギーレベルを取得する。
【0114】
かかるエネルギーレベルは、各単方向予測モードに関連する各方向（すなわち、矢印）の空間的傾きに対応する。
【0115】
空間的傾きのエネルギーレベルを計算するステップは、図９の２Ｄマスクの少なくとも１つの予測ピクセル（７０１）に連接する、前に再構成されたピクセルに対して、近傍を動き回るウィンドウとして用いられる畳み込みとして、実行される。
【0116】
予測ピクセル（図１０のｐ（０，０）、ここで２つのウィンドウのみが点線で示されている）の近傍の８つのフィルタされたバージョンが生成され、次の式により計算される方向エネルギーレベルＥ０ないしＥ８が決定される：
【0117】
【数2】
（ｋ，ｌ）は、セットＮｄに属する中心の座標に対応する、
Ｙは輝度値である、
ｄは、異なる予測方向に対応するインデックスである、
− ＊は畳み込み演算である、
（ａ，ｏ）は、畳み込みマスクＤｄの各計数の座標に対応する。図９において、かかるマスクＤｄは３×３＝９個の係数を含む、
２ｎ＋１と２ｍ＋１は、畳み込みマスクＤｄのサイズに対応する（すなわち、図９と図１０の３×３フィルタの例では、ｍ＝ｎ＝１）。
｜．｜は、選択された標準演算（ｓｅｌｅｃｔｅｄ ｓｔａｎｄａｒｄ ｏｐｅｒａｔｏｒ）に対応し、
【0118】
【数3】
Ｄｄは、ＥＰＩ空間方向ｄにより定まるＰｒｅｗｉｔｔタイプ畳み込みマスクに対応し、これの例を図９に示した。この例では、Ｎｄは１つだけの中心位置を含む。
【0119】
言い換えると、前記少なくとも１つの予測ピクセルｐ（０，０）に隣接する、前に再構成されたピクセルの前記セット（７０００）に対する、各フィルタリング動作の適用（６２）は、前記少なくとも１つの予測ピクセルが属するエピポーラ平面画像中の考慮されるピクセルの近傍エリアにある近傍信号を分析することを含む。
【0120】
例えば、方向ｄ＝０の場合、すなわち、現在ピクセルｐ（０，０）に隣接するピクセルＣ０（０，−２）を中心とする図８のモード０に対応する図９のマスクＤ０を用いると、すなわち、ラインｋ＝−２、列ｌ＝０を用いると（座標０，０は、予測ピクセル７０１ｐ（０，０）に対応する）、エネルギーレベルＥ０の計算値は、ピクセル（０，−１）の輝度引くピクセル（０，−３）の輝度である。
【0121】
Ｅ０＝Ｙ（０，−１）−Ｙ（０，−３）実際、選択されたマスクＤ０に関して、２つの係数のみがゼロではない。
【0122】
畳み込みマスクＤｄに関連する前記セットＮｄの各位置について計算された値のセットは、エネルギーＥｄを与える。図１０の場合、前記セットＮｄは１つのみの中心位置を含み、それゆえ、ｍ＝ｎ＝１でありサイズ（２ｎ＋１）ｘ（２ｍ＋１）＝９のマスクＤ０には、すべての係数がゼロでなければ、９回の和となる。
【0123】
図９の例によれば、Ｎｄが１つの中心Ｃ０を有し、Ｄ０（０，−１）＝１かつＤ０（０，１）＝−１である場合を考えると、２つの係数のみがゼロではない。（Ｍ個の予測モード、例えば、図８ではＭ＝８）のうちインデックスｊの）各単方向予測モードのエネルギーレベルが得られると（６２）、最適な単方向予測モードを選択する。
【0124】
かかる選択（６３）は、エネルギーレベルがより低い空間方向を有する方向を検出することを含み、かかるエネルギーレベルは、上記の通り、潜在的コンター（ｐｏｔｅｎｔｉａｌ ｃｏｎｔｏｕｒｓ）に共線的（ｃｏｌｌｉｎｅａｒ ｍａｎｎｅｒ）に計算される。
【0125】
換言すると、エネルギーレベルが、各単方向予測モードに対して得られるエネルギーレベルの最小値のアーギュメントｄｏｐｔ＝Ａｒｇ ｍｉｎｄ｛Ｅｄ｝である、単方向予測モードに対応する前記最適な単方向予測モードを選択することとを含む。
【0126】
ここで、ｄ＝０，３，４，５，６，７，８である（前記少なくとも１つのエピポーラ平面画像中の前記予測ピクセルに隣接する、前に再構成されたピクセルのセット（７０００）のうち、少なくとも１つの再構成ピクセルも前記ビューに属し、前記予測ピクセルに隣接する場合、１である）。
【0127】
実際、エピポーラ平面画像の少なくとも１つの予測ピクセルに隣接するコンターが垂直コンターである場合、ピクセル（０，−１）の輝度とピクセル（０，−３）の輝度とは近く、エネルギーＥ０は非常に小さくなる。
【0128】
言うまでもなく、潜在的コンターに直交する方向で計算された傾きで、最大傾きに基づくアプローチも可能である。
【0129】
図６ａの第１の実施形態に関して、（前記ピクセルブロックのＮピクセルのうちのインデックスｉの）少なくとも１つの予測ピクセルに対して、最適な一方向予測モードの選択（６３）が、Ｍ個の所定の単方向予測モードのセットにおいて実行される。
【0130】
図６ｂにより示す第２の実施形態によると、本開示の予測方法は、さらに、ピクセルブロックＢ＿Ｐｉｘの予測ピクセルＧ＿Ｐｉｘの少なくとも１つのグループを設けることを含み、前記ピクセルグループＧ＿Ｐｉｘは、同じラインの、同じ列の、又は前記ピクセルブロックのラインまたは列に対して所定の角度方向を示す少なくとも２つのピクセルのセットの、少なくとも２つのピクセルＰｇを含む。
【0131】
以下、前記ピクセルグループＧ＿ＰｉｘはＧ個のピクセルを含むものとする。例えば、このようなピクセル群Ｇ＿Ｐｉｘは、図７ｂに示すように同じ線の４つの予測ピクセルＰｇ７０１に対応することができる。
【0132】
図６ｂの第２の実施形態は、図６ａの第１の実施形態と、選択ステップ（６３００）が異なる。実際、第２の実施形態によれば、前記ピクセルグループに属するすべての予測ピクセルに同じ最適な単方向予測モードを選択し（６３００）、前記最適な単方向予測モードはエネルギーレベルが、最小値、前記ピクセルグループの前記少なくとも１つの予測ピクセルに対して得られたエネルギーレベルのアーギュメントである。
【0133】
言い換えると、この第２の実施形態では、Ｍ×Ｇエネルギーレベルを考慮に入れて、前記ピクセルグループＧ＿Ｐｉｘに属する全てのピクセルについて最適な単方向予測モードが選択され、一方、第１の実施形態では、Ｍ個のエネルギーレベルを考慮して、予測ピクセル後とに最適単方向予測モードが選択される。
【0134】
図６ａと図６ｂに示すこれらの２つの実施形態の第１の変形例によれば、１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に対応し、または異なる角度方向のエピポーラ平面画像（ＥＰＩ）のセットに対応する場合、前記最適な単方向予測モードを決定することを、前記水平エピポーラ平面画像（ＥＰＩ）及び前記垂直エピポーラ平面画像（ＥＰＩ）に対して、または異なる角度方向のエピポーラ平面画像に対して実行する。前記最適な単方向予測モードは、エネルギーレベルが各エピポーラ平面画像に対して得られるエネルギーレベルの最小値のアーギュメントである、ｄｏｐｔ０＝Ａｒｇ ｍｉｎｄ，ｏ｛Ｅｄ，ｏ｝、ここでｄ＝０，３，４，５，６，７，９かつｏ＝垂直または水平ＥＰＩである、単方向予測モードに対応する。
【0135】
同じ場合に、前記の２つの実施形態の第２の変形例によれば、最適な単方向予測モードが各エピポーラ平面画像に対して決定され、前記少なくとも１つの予測ピクセルの予測値は、各エピポーラ平面画像に対して決定される前記最適な単方向予測モードを用いてそれぞれ得られる少なくとも２つの予測値の平均に対応する。
【0136】
少なくとも１つの最適な単方向予測モードが図６ａと図６ｂに示した２つの実施形態のうちの１つにより決定されると、前記少なくとも１つの予測ピクセルの予測値が、前記少なくとも１つの最適な単方向予測モードを用いて外挿される（５３）。前記外挿は、外挿エンティティにより実行される。
【0137】
これらの外挿は次のように行われる（図８を参照）：モード０（垂直）：ｐ（ｘ，ｙ）＝ｐ０＝ｐ（ｘ，−１）
モード１（水平）：ｐ（ｘ，ｙ）＝ｐ１＝ｐ（ｘ−１，ｙ）
モード３（斜め左下）：ｐ（ｘ，ｙ）＝ｐ３＝（ｐ（ｘ，−１）＋２＊ｐ（ｘ＋１，−１）＋ｐ（ｘ＋２，−１）＋２）＞＞２
モード４（斜め右下）：ｐ（ｘ，ｙ）＝ｐ４＝（ｐ（ｘ−２，−１）＋２＊ｐ（ｘ−１，−１）＋ｐ（ｘ，−１）＋２）＞＞２
モード５（垂直右）：ｐ（ｘ，ｙ）＝ｐ５＝（ｐ（ｘ−１，−１）＋ｐ（ｘ，−１）＋１）＞＞１
モード６（水平右下）：ｐ（ｘ，ｙ）＝ｐ６＝（ｐ（ｘ−１，−１）＋２＊ｐ（ｘ−２，−１）＋ｐ（ｘ−３，−１）＋２）＞＞２
モード７（垂直左）：ｐ（ｘ，ｙ）＝ｐ７＝（ｐ（ｘ，−１）＋ｐ（ｘ＋１，−１）＋１）＞＞１
モード８（水平左下）：ｐ（ｘ，ｙ）＝ｐ８＝（ｐ（ｘ＋１，−１）＋２＊ｐ（ｘ＋２，−１）＋ｐ（ｘ＋３，−１）＋２）＞＞２。
ここで、
「ｐ（ｘ，ｙ）」は、図７ｂの４つのピクセル７０１の各座標（０，０）、（１，０）、（２，０）及び（３，０）の、現在の予測ピクセルである、
「＊」は積の演算子である、
「＞＞ｎ」は２ｎによる整数割り算である。
【0138】
留意点として、本開示による予測方向は、図８に示した８つの方向に限定されない。畳み込みマスクを適合させ、それに応じた外挿の式を用いれば、他の方向を用いることも可能である。第１の実施形態を考慮して、例えば、座標（０，０）、（１，０）、（２，０）及び（３，０）の各予測ピクセルに対して、モード０（ｄｏｐｔ＝０）、３（ｄｏｐｔ＝３）、５（ｄｏｐｔ＝５）及び８（ｄｏｐｔ＝８）が選択される：
ｐ（０，０）＝ｐ０＝ｐ（０，−１），
ｐ（１，０）＝ｐ３＝（ｐ（１，−１）＋２＊ｐ（２，−１）＋ｐ（３，−１）＋２）＞＞２
ｐ（２，０）＝ｐ５＝（ｐ（１，−１）＋ｐ（２，−１）＋１）＞＞１、及び
ｐ（３，０）＝ｐ８＝（ｐ（４，−１）＋２＊ｐ（５，−１）＋ｐ（５，−１）＋２）＞＞２。
【0139】
第２の実施形態を考慮して、例えば、座標（０，０）、（１，０）、（２，０）及び（３，０）の４つの予測ピクセル（ｐｉｘｅｌｓ ｔｏ ｐｒｅｄｉｃｔ）に対してそれぞれ、モード５（ｄｏｐｔ＝５）が選択される。ｐ（０，０）＝ｐ５＝（ｐ（−１，−１）＋ｐ（０，−１）＋１）＞＞１，
ｐ（１，０）＝ｐ５＝（ｐ（０，−１）＋ｐ（１，−１）＋１）＞＞１
ｐ（２，０）＝ｐ５＝（ｐ（１，−１）＋ｐ（２，−１）＋１）＞＞１、及び
ｐ（３，０）＝ｐ５＝（ｐ（２，−１）＋ｐ（３，−１）＋１）＞＞１．
＜符号化方法＞
上記の予測手法は、ビューエンコーダのマトリックスにより用い得る。実際、本開示は、ビューマトリックスの画像を符号化（それぞれを復号）する方法を提供することを目的とし、この目標のため、ビューマトリックスのエピポーラ平面画像（ＥＰＩ）表現に基づく、上記に開示したような、新しいタイプの予測を用いる。
【0140】
エピポーラ平面画像（ＥＰＩ）に基づく新しいタイプの予測は、例えば、Ｔ． Ｗｉｅｇａｎｄ ｅｔ ａｌ．著「Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｓｅｌｅｃｔｉｏｎ ｉｎ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｅｒ Ｃｏｎｔｒｏｌ」（ｐｐ ５４２−５４５ ｖｏｌ．３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ２００１）に開示されたレート歪み最適化（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）基準を用いて、他の古典的なタイプの予測から自動的に選択される。
【0141】
図１１を参照して、一実施形態では、エンコーダは、シーンに関連するライトフィールドデータから得られたビューマトリックスに対して、次のステップを実施する：− 上記の通り、予測方法により前記少なくとも１つのピクセルブロックを予測して、予測ピクセルブロックを求めるステップ、
− 決定モジュールを用いて、前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定するステップ、
− 符号化モジュールを用いて、前記ピクセルブロックに関連する前記残差誤差を符号化するステップ。
【0142】
符号化（１０２）中、残差誤差が変換され、量子化され、最後にエントロピーコーディングされる。任意的に（点線で示したように）、符号化方法はさらに、
− 前記シーンに関連するライトフィールドデータから得た前記ビューマトリックスを表す信号に、符号化された残差誤差を挿入するステップと、
− 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入するステップとを含む。
特に、かかるオプションは、予測方法の第２の実施形態を実行するときに、実施される。 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を含む信号が得られる。
【0143】
＜復号方法＞ここで図１２を参照して、ビューマトリックスを復号するのに適したデコーダにおいて実施される復号の主なステップを説明する。
【0144】
デコーダは、例えば、上記の符号化方法に従って符号化されたビューマトリックスを表す信号を受信するものと仮定する。
【0145】
図１２は、復号方法を示し、これにおいて、信号は任意的に（点線で示したように）、少なくとも１つの予測残差と、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを示す情報とを含む。
【0146】
よって、この実施形態では、本発明による復号方法は、− 前記信号から、復号モジュールを用いて、前記ピクセルブロックに関連する残差誤差を復号（１１１）することと、
− 予測モジュールを用いて、請求項１乃至８いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測（１１２）して、予測されたピクセルブロックを取得することと、
− 再構成モジュールを用いて、前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成（１１３）することと、
前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すことであって、前記予測は前記情報を考慮している、ことをさらに含む。
【0147】
復号（１１１）時、残差誤差は逆量子化され、符号化時に実行されたプロセスとは逆に逆変換される。
【0148】
＜予測モジュール、エンコーダ、及びデコーダの構成＞図５、６ａ及び６ｂ、１１及び１２において、モジュールは機能ユニットであり、これは区別可能な物理的ユニットに関するものであってもなくてもよい。例えば、これらのモジュールは全体を、またはその一部を、１つの部品や回路にまとめてもよいし、またはソフトウェアの機能に貢献してもよい。逆に、幾つかのモジュールは、別の物理的実体により構成されいてもよい。本開示とコンパチブルな装置は、純粋なハードウェア、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などの専用ハードウェアを用いて、または装置に組み込まれた幾つかの集積電子コンポーネントを用いて、またはハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせを用いて、実装される。
【0149】
図１３は、装置１３００のアーキテクチャ例を表し、これは図１−１０を参照して説明した予測方法、図１１を参照して説明した符号化方法、または図１２を参照して説明した復号方法を実装するように構成され得る。装置１３００は、データ及びアドレスバス１３０１によりリンクされた次のよそを含む：
− マイクロプロセッサ１３０３（またはＣＰＵ）、これは例えばＤＳＰ（すなわちＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である；
−ＲＯＭ（すなわちＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０２；
−ＲＡＭ（すなわちＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） １３０４；
− アプリケーションとの間でデータを送受信するＩ／Ｏインターフェース１３０５、及び
− バッテリ１３０６。
【0150】
一変形例では、電源１３０６は装置の外部にある。図１３の各要素は、当業者には周知であり、これ以上は説明しない。上記のメモリの各々において、本明細書で用いる「レジスタ」との用語は、小容量（数ビット）の領域または非常に大きい領域（例えば、プログラム全体または大量の受信または復号データ）に対応し得る。ＲＯＭ１３０２は少なくともプログラムとパラメータを含む。本開示による方法のアルゴリズムは、ＲＯＭ１３０２に格納される。スイッチオンの時に、ＣＰＵ１３０３はＲＡＭにプログラムをアップロードし、対応する命令を実行する。
【0151】
ＲＡＭ１３０４は、レジスタ中に、ＣＰＵ１３０３により実行され、装置１３００のスイッチオン後にアップロードされるプログラム、レジスタ中の入力データ、レジスタ中の方法の様々な状態にある中間データ、レジスタ中の本方法の実行のために用いるその他の変数を含む。
【0152】
ここで説明した実施形態は、方法またはプロセス、装置、またはソフトウェアプログラム、データストリーム、又は信号として実施できる。１つの形式の実施形態の場合で説明した（例えば、方法または装置としてのみ説明した）場合であっても、説明した機能の実施形態は他の形式（例えば、プログラム）でも実施できる。装置は例えば適切なハードウェア、ソフトウェア、及びファームウェアで実施可能である。上記の方法は、例えばプロセッサ等の装置で実施可能である。プロセッサとは、処理装置一般を指し、例えばコンピュータ、マイクロプロセッサ、集積回路、プログラマブル論理装置などを指す。プロセッサは、エンドユーザ間での情報通信を行う、コンピュータ、セルラー電話、ポータブル／パーソナル・デジタル・アシスタント（ＰＤＡ）などの装置、及びその他の通信装置も含む。
【0153】
符号化またはエンコーダの具体的な実施形態によると、前記ビューマトリックス（ｍａｔｒｉｘ ｏｆ ｖｉｅｗｓ）はソースから取得される。例えば、情報源は次を含むセットに属する：− ローカルメモリ（１３０２または１３０４）であって、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわちリードオンリーメモリ）、ハードディスク；
− ストレージインターフェースであって、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気支持体とのインターフェース；
− 通信インターフェース（１３０５）であって、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、及び
− 撮像回路（例えば、ＣＣＤ（すなわちＣｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（すなわちＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのセンサ）。
【0154】
復号またはデコーダの様々な実施形態によると、復号されたビューマトリックスは送り先に送信され、具体的には次のものを含むセットに属する送り先に送信される：− ローカルメモリ（１３０２または１３０４）であって、例えばビデオメモリまたはＲＡＭ（すなわちランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（すなわちリードオンリーメモリ）、ハードディスク；
− ストレージインターフェースであって、例えば大容量記憶装置、ＲＡＭ、フラッシュメモリ、ＲＯＭ、光ディスク、または磁気支持体とのインターフェース；
− 通信インターフェース（１３０５）であって、例えば有線インターフェース（例えば、バスインターフェース、広域ネットワークインターフェース、ローカルエリアネットワークインターフェース）または無線インターフェース（例えば、ＩＥＥＥ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、及び
− ディスプレイ。
【0155】
符号化またはエンコーダの異なる実施形態によると、エンコーダにより配信されるビットストリームは送り先に送信される。一例として、ビットストリームは、ビデオメモリ（１３０４）またはＲＡＭ（１３０４）、ハードディスク（１３０２）などのローカルまたはリモートメモリに格納される。 変形例では、ビットストリームは、例えば、大規模記憶、フラッシュメモリ、ＲＯＭ、光ディスクまたは磁気サポートとのインターフェースなどのストレージインターフェースに送信され、ポイントツーポイントリンク、通信バス、ポイントツーマルチポイントリンクまたはブロードキャストネットワークなどの通信インターフェース（１３０５）を解して送信される。
【0156】
復号またはデコーダの様々な実施形態によると、ビットストリームはソースから取得される。典型的には、ビットストリームは、ビデオメモリ（１３０４）、ＲＡＭ（１３０４）、ＲＯＭ（１３０２）、フラッシュメモリ（１３０２）またはハードディスク（１３０２）などのローカルメモリから読み出される。変形例では、ビットストリームは、ストレージインターフェースから受信され、例えば大容量記憶装置、ＲＡＭ、ＲＯＭ、フラッシュメモリ、光ディスクまたは磁気支持体とのインターフェースから受信され、および／または通信インターフェース（１３０５）から受信され、例えばポイントツーポイントリンク、バス、ポイント・ツー・マルチポイント・リンク、またはブロードキャストネットワークとのインターフェースから受信される。
【0157】
ここに説明した様々なプロセスと特徴の実施形態は、異なるいろいろな装置やアプリケーションで実施できる。かかる装置の例には、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラー電話、ＰＤＡ、ピクチャまたはビデオを処理するその他の任意の装置、またはその他の通信装置が含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。
【0158】
さらに、これらの方法は、プロセッサによって実行される命令によって実施されてもよく、そのような命令（および／または実装によって生成されたデータ値）は、コンピュータ可読記憶媒体に格納されてもよい。コンピュータ読み取り可能記憶媒体は、一以上のコンピュータ読み取り可能媒体に化体され、その上に化体され、コンピュータにより実行可能なコンピュータ読み取り可能プログラムコードを有するコンピュータ読み取り可能プログラム製品の形式を取ることができる。本願のコンピュータ読み取り可能記憶媒体は、情報をその中に記憶する本来的機能、及びそれから情報の読み出しをする本来的機能を与えられた、非一時的記憶媒体である。．コンピュータ読み取り可能記憶媒体は、例えば、電子的、磁気的、光学的、電磁気的、赤外線、又は半導体のシステム、装置、又は装置、又はそれらの任意の好適な組み合わせである。言うまでもなく、次のリストは、本原理を適用できるコンピュータ読み取り可能記憶媒体のよりぐらい的な例を提供するものであるが、当業者には明らかなように、単なる例示であり網羅的なものではない：ポータブルコンピュータディスケット；ハードディスク；リードオンリーメモリ（ＲＯＭ）；消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）；ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）；光学的記憶装置；磁気記憶装置；又はそれらの任意の好適な組み合わせ。
【0159】
上記の命令は、プロセッサ読み取り可能媒体上に化体されたアプリケーションプログラムであってもよい。
【0160】
命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、アプリケーション、又はこれらの組み合わせに見いだすことができる。それゆえ、プロセッサは、プロセスを実行するように構成されたデバイス、及びプロセスを実行する命令を記憶したプロセッサ読み取り可能媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けられる。さらに、プロセッサ読み取り可能媒体は、命令に加えて、又は命令の替わりに、実施形態により生成されたデータ値を記憶することができる。
【0161】
当業者には言うまでもないが、実施形態は、例えば記憶または送信され得る情報を担うようフォーマットされた種々の信号を生成することもできる。情報には、例えば、方法を実行する命令や、説明した実施形態により生成されるデータが含まれ得る。例えば、信号は、データとして、説明した実施形態のシンタックスを書き込み又は読み出しする規則を担うようにフォーマットされてもよいし、又はデータとして、説明した実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされてもよい。かかる信号は、（例えば、無線周波数のスペクトルを用いた）電磁波やベースバンド信号などとしてフォーマットし得る。フォーマット化には、例えば、データストリームの符号化、符号化したデータストリームによるキャリアの変調が含まれる。信号が担う情報は例えばアナログ情報やデジタル情報であってもよい。知られているように、信号は様々な異なる有線リンクまたは無線リンクで送信できる。信号はプロセッサ読み取り可能媒体に記憶してもよい。
【0162】
実施形態を説明した。しかし、言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、本願ではこれらの実施形態及びその他の実施形態を想定している。（付記１）
シーンに関連するライトフィールドデータから取得したビューマトリックスに属するビューの少なくとも１つのピクセルブロックを予測する方法であって、
前記方法はプロセッサにより実施され、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
− 前記ビューマトリックスから、前記少なくとも１つの予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を取得することと、
− 単一方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単一方向予測モードを決定することと、
− 前記少なくとも１つの最適な単一方向予測モードを用いて、前記少なくとも１つの予測ピクセルの予測値を外挿することとを含む、方法。
（付記２）
前記最適な単一方向予測モードを決定することは、前記ピクセルブロックの前記少なくとも１つの予測ピクセルに対して、
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− 各フィルタリング動作を、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成したピクセルのセットに適用し、各単一方向予測モードのエネルギーレベルを取得することであって、前記フィルタリング動作は、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルの輝度を分析することを含む、適用することと、
− エネルギーレベルが、各単一方向予測モードに対して得られるエネルギーレベルの最小値の、または最大値のアーギュメントである、単一方向予測モードに対応する前記最適な単一方向予測モードを選択することとを含む、
付記１に記載の方法。
（付記３）
前記ピクセルブロックに、予測ピクセルの少なくとも１つのグループを設けることであって、前記グループは、同じラインの、同じ列の、または前記ピクセルブロックのラインまたは列に対して角方向を示す少なくとも２つのピクセルのセットの少なくとも２つのピクセルを含む、設けることとを含み、
前記最適な単一方向予測モードを決定することは、
− 異なるフィルタリング動作を、前記単一方向予測モードのセットの各単一方向予測モードに関連付けることと、
− ピクセルグループの少なくとも１つの予測ピクセルに対して、各フィルタリング動作を、前記少なくとも１つのエピポーラ平面画像中の前記予測ピクセルに隣接する、前に再構成されたピクセルのセットに適用することと、
− 前記ピクセルグループに属するすべての予測ピクセルに同じ最適な単一方向予測モードを選択することであって、前記最適な単一方向予測モードはエネルギーレベルが、最小値、又は最大値、前記ピクセルグループの前記少なくとも１つの予測ピクセルに対して得られたエネルギーレベルのアーギュメントである、
付記１に記載の方法。
（付記４）
１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に、または異なる角度方向エピポーラ平面画像（ＥＰＩ）のセットに対応する場合、
前記最適な単一方向予測モードを決定することは、前記水平エピポーラ平面画像（ＥＰＩ）について、及び前記垂直エピポーラ平面画像について、又は異なる角度方向のエピポーラ平面画像（ＥＰＩ）について実行され、前記最適な単一方向予測モードは、エネルギーレベルが各エピポーラ平面画像に対して得られるエネルギーレベルの最小値のアーギュメントである単一方向予測モードに対応する、
付記２または３に記載の方法。
（付記５）
１つの予測ピクセルが属する少なくとも２つのエピポーラ平面画像（ＥＰＩ）が、水平エピポーラ平面画像（ＥＰＩ）及び垂直エピポーラ平面画像（ＥＰＩ）に、または異なる角度方向エピポーラ平面画像（ＥＰＩ）のセットに対応する場合、
最適な単一方向予測モードは、各エピポーラ平面画像に対して決定され、前記予測ピクセルの予測値は、各エピポーラ平面画像に対して決定される前記最適な単一方向予測モードを用いて、それぞれ得られた少なくとも２つの値の平均に対応する、
付記２または３に記載の方法。
（付記６）
異なるフィルタリング動作を、単一方向予測モードのセットの各単一方向予測モードに関連付けることは、各異なるフィルタリング動作について、前記少なくとも１つのエピポーラ平面画像中前記予測ピクセルに隣接する、前に再構成されたピクセルのセットに、作用点を配置することを含む、
付記２ないし５いずれか一に記載の方法。
（付記７）
前記少なくとも１つのエピポーラ平面画像中の前記予測ピクセルに隣接する、前に再構成されたピクセルのセットのうち、少なくとも１つの再構成ピクセルもビューに属し、前記予測ピクセルに隣接する場合、
単一方向予測モードのうちの１つは、外挿方向が、前記少なくとも１つのエピポーラ平面画像と、前記ビューとの両方に属する、前記少なくとも再構成ピクセルから、前記予測ピクセルへの方向である、単一方向予測モードに対応する、
付記１乃至６いずれか一に記載の方法。
（付記８）
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する方法であって、
− 請求項１乃至７いずれか一項に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定することと、
− 前記ピクセルブロックに関連する前記残差誤差を符号化することとを含む、
方法。
（付記９）
さらに、
− シーンに関連するライトフィールドデータから得たビューマトリックスを表す信号に、符号化された残差誤差を挿入することと、
− ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入することとを含む、
付記８に記載の方法。
（付記１０）
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する方法であって、
− 前記信号から、前記ピクセルブロックに関連する残差誤差を復号することと、
− 付記１乃至７いずれか一に記載の予測する方法により、前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを取得することと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成することとを含む、
方法。
（付記１１）
前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すことであって、前記予測は前記情報を考慮している、ことをさらに含む、
付記１０に記載の方法。
（付記１２）
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを符号化する装置であって、プロセッサを有し、該プロセッサは：
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを求めるモジュールであって、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
ｏ 前記ビューマトリックスから、前記予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を求めるエンティティと、
ｏ 単一方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単一方向予測モードを決定するエンティティと、
ｏ 前記少なくとも１つの最適な単一方向予測モードを用いて、前記予測ピクセルの予測値を外挿する点ティティと、
− 前記少なくとも１つのピクセルブロックと、予測されたピクセルブロックとの間の差分に対応する残差誤差を決定するモジュールと、
− 前記ピクセルブロックに関連する前記残差誤差を符号化するモジュールとを有する、
装置。
（付記１３）
さらに、
− 前記シーンに関連するライトフィールドデータから得た前記ビューマトリックスを表す信号に、符号化された残差誤差を挿入するモジュールと、
− 前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を前記信号に挿入するモジュールとを含む、
付記１２に記載の符号化する装置。
（付記１４）
シーンに関連するライトフィールドデータから得られるビューマトリックスに属するビューの少なくとも１つのピクセルブロックを表す信号を復号する装置であって、プロセッサを有し、該プロセッサは：
− 前記ピクセルブロックに関連する残差誤差を復号するモジュールとを有する、
− 前記少なくとも１つのピクセルブロックを予測して、予測されたピクセルブロックを求めるモジュールであって、前記ピクセルブロックの少なくとも１つの予測ピクセルに対して：
ｏ 前記ビューマトリックスから、前記予測ピクセルが属する少なくとも１つのエピポーラ平面画像（ＥＰＩ）を求めるエンティティと、
ｏ 単一方向予測モードのセットのうち、前記少なくとも１つのエピポーラ平面画像中の前記少なくとも１つの予測ピクセルに隣接する、前に再構成されたピクセルのセットから、少なくとも１つの最適な単一方向予測モードを決定するエンティティと、
ｏ 前記少なくとも１つの最適な単一方向予測モードを用いて、前記予測ピクセルの予測値を外挿する点ティティと、
− 前記残差誤差を、予測されたピクセルブロックに加算することにより、前記少なくとも１つのピクセルブロックを再構成するモジュールとを含む、
装置。
（付記１５）
前記信号から、前記ピクセルブロック中の少なくとも１つの予測ピクセルグループを表す情報を取り出すモジュールであって、前記予測は前記情報を考慮している、モジュールをさらに有する、
付記１４に記載の復号する装置。
（付記１６）
通信ネットワークからダウンロード可能であり、及び／又はコンピュータにより読み取り可能な媒体上に記録され、及び／又はプロセッサにより実行可能であり、付記１ないし７、または８−９、または１０−１１いずれか一に記載の方法を実装するプログラムコード命令を含むコンピュータプログラム。