特許 5735181 デュアルレイヤフレームコンパチブルフル解像度立体３Ｄビデオ配信

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5735181

(24)【登録日】2015年4月24日

(45)【発行日】2015年6月17日

(54)【発明の名称】デュアルレイヤフレームコンパチブルフル解像度立体３Ｄビデオ配信

(51)【国際特許分類】

   H04N 13/00 20060101AFI20150528BHJP

   H04N 21/238 20110101ALI20150528BHJP

   H04N 21/438 20110101ALI20150528BHJP

   H04N 19/30 20140101ALI20150528BHJP

   H04N 19/597 20140101ALI20150528BHJP

【ＦＩ】

   H04N13/00 480

   H04N13/00 370

   H04N21/238

   H04N21/438

   H04N19/30

   H04N19/597

【請求項の数】24

【全頁数】38

(21)【出願番号】特願2014-533678(P2014-533678)

(86)(22)【出願日】2012年9月26日

(65)【公表番号】特表2014-532356(P2014-532356A)

(43)【公表日】2014年12月4日

(86)【国際出願番号】US2012057302

(87)【国際公開番号】WO2013049179

(87)【国際公開日】20130404

【審査請求日】2014年5月27日

(31)【優先権主張番号】61/541,005

(32)【優先日】2011年9月29日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チェン，タオ

(72)【発明者】

【氏名】ヒュルヤルカール，サミール エヌ

(72)【発明者】

【氏名】ラクシュミナラヤナン，ゴーピ

【審査官】 益戸 宏

(56)【参考文献】

【文献】 国際公開第２０１０／１２３８６２（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／１２３８５５（ＷＯ，Ａ１）

【文献】 特開２００６−２９５９１３（ＪＰ，Ａ）

【文献】 Anthony Vetro et al，3D-TV Content Storage and Transmission，IEEE TRANSACTIONS ON BROADCASTING，米国，２０１１年 ６月 １日，Vol.57, No.2，P.384-394

【文献】 Heiko Schwarz et al，Overview of the Scalable Video Coding Extension of the H.264/AVC Standard，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，米国，２００７年 ９月，Vol.17, No.9，P.1103-1120

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１５／００

Ｈ０４Ｎ １９／３０

Ｈ０４Ｎ １９／５９７

Ｈ０４Ｎ ２１／２３８

Ｈ０４Ｎ ２１／４３８

(57)【特許請求の範囲】

【請求項1】

入力３Ｄ画像シーケンスの第１入力３Ｄ画像を受信するステップであって、前記第１入力３Ｄ画像は、第１視点の第１入力画像フレームと異なる第２視点の第２入力画像フレームとを有する、受信するステップと、
１以上の判定ファクタに基づき、複数の異なるタイプのデータ構成からエンハンスメントレイヤにより第１エンハンスメントレイヤ（ＥＬ）画像データを送信するのに使用する第１の特定タイプのデータ構成を選択するステップと、
前記第１入力画像フレームと前記第２入力画像フレームとの一方又は双方を利用して、採用されたカラー空間の複数のカラーチャネルの画像データを導出するステップと、
前記第１の特定タイプのデータ構成の前記第１ＥＬ画像データとして前記複数のカラーチャネルに前記画像データを符号化及び出力するステップと、
１以上の判定ファクタに基づき、前記複数の異なるタイプのデータ構成から前記エンハンスメントレイヤにおいて第２ＥＬ画像データを送信するのに使用される第２の特定タイプのデータ構成を選択するステップであって、前記第２の特定タイプのデータ構成は前記第１の特定タイプのデータ構成と異なり、前記第２の特定タイプのデータ構成の第２ＥＬ画像データとして画像データを符号化及び出力することは、前記入力３Ｄ画像シーケンスからの複数の入力３Ｄ画像にわたって前記第１の特定タイプのデータ構成における第１ＥＬ画像データとして画像データを符号化及び出力することから徐々に遷移し、前記判定ファクタは、オーディオ及びビデオ信号特性、異なるタイプのデータ構成の各自の帯域幅要求、アップストリーム装置と受信側装置との間の現在のネットワーク接続に関する帯域幅制約、現在のネットワーク接続によりサポートされる最大、平均又は最小ビットレート、及び現在のネットワーク接続のＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）指標の何れかを含む、選択するステップと、
を有する方法。

【請求項2】

前記第１入力画像フレームと前記第２入力画像フレームとに基づき、前記第１視点と前記第２視点との低解像度画像データを生成するステップと、
前記低解像度画像データをベースレイヤに符号化及び出力するステップと、
を更に有する、請求項１記載の方法。

【請求項3】

前記複数のカラーチャネルの画像データは、前記第１及び第２入力画像フレームの１以上から導出される非フィルタリング高空間周波数コンテンツを有し、
前記低解像度画像データは、前記第１及び第２入力画像フレームから導出されたフィルタリング画像データを有する、請求項２記載の方法。

【請求項4】

前記低解像度画像データとリファレンスパラメータセットとに少なくとも部分的に基づき、複数の予測リファレンス値を生成するステップと、
前記第１及び第２入力画像フレームの少なくとも１つの前記複数のカラーチャネルの複数のピクセル値と前記複数の予測リファレンス値との間の複数の残差値として、前記複数のカラーチャネルの前記画像データを計算するステップと、
前記複数のカラーチャネルに前記画像データと共に前記リファレンスパラメータセットを符号化及び出力するステップと、
を更に有する、請求項２記載の方法。

【請求項5】

前記入力３Ｄ画像シーケンスは、前記第１視点の第３入力画像フレームと前記第２視点の第４入力画像フレームとを有する第２の異なる入力３Ｄ画像を有し、
前記第２の特定タイプのデータ構成の第２ＥＬ画像データとして画像データを符号化及び出力することは、
前記第３入力画像フレームと前記第４入力画像フレームとの一方又は双方から複数の第２カラーチャネルの第２画像データを導出するステップと、
前記第２の特定タイプのデータ構成の第２ＥＬ画像データとして前記複数の第２カラーチャネルに前記第２画像データを符号化及び出力するステップと、
を有する、請求項１記載の方法。

【請求項6】

前記第１ＥＬ画像データの第１の特定タイプのデータ構成を示す第１ＥＬ画像データ記述子は、前記第１ＥＬ画像データと共に前記エンハンスメントレイヤに出力され、
前記第２ＥＬ画像データの第２の特定タイプのデータ構成を示す第２の異なるＥＬ画像データ記述子は、前記第２画像データと共に前記エンハンスメントレイヤに出力される、請求項５記載の方法。

【請求項7】

ＥＬ画像データ記述子シーケンスは、前記入力３Ｄ画像シーケンスから導出される画像データと共に前記エンハンスメントレイヤに出力され、
前記第１ＥＬ画像データ記述子は、前記ＥＬ画像データ記述子シーケンスにおいて前記第２ＥＬ画像データ記述子の直前にあり、
前記第１ＥＬ画像データ記述子は、フレームレベル、シーンレベル又は固定期間レベルの１つにおいて前記ＥＬ画像データ記述子シーケンスにおいて前記第２ＥＬ画像データ記述子に遷移する、請求項６記載の方法。

【請求項8】

前記複数のカラーチャネルは、ＲＧＢカラー空間、ＹＣｂＣｒカラー空間又は他のカラー空間の１つにおける少なくとも１つのカラーチャネルを有する、請求項１記載の方法。

【請求項9】

画像コンテナは、前記複数のカラーチャネルにおける画像データを保持するのに利用され、
前記画像コンテナは、サンプリング方式下でサンプリングされた２以上のデータ部分を有し、
前記画像コンテナは、複数のサンプリング方式に関する複数の画像コンテナから選択され、
前記複数のサンプリング方式は、４−４−４サンプリング方式、４−２−２サンプリング方式、４−２−０サンプリング方式又は他のサンプリング方式を少なくとも有する、請求項１記載の方法。

【請求項10】

前記複数の異なるタイプのデータ構成は、（ａ）ベースレイヤを介し送信されたフィルタリング低解像度画像データを補完する補完的フィルタリング低解像度画像データ、（ｂ）前記第１及び第２視点の１つの非フィルタリングフル解像度画像データ、（ｃ）前記第１視点の完全な非フィルタリングフル解像度ルミナンス画像データ及び前記第２視点の１／２解像度ルミナンス画像データ、（ｄ）前記第１及び第２入力画像フレームの選択された部分から導出された非フィルタリングフル解像度ルミナンス画像データ、（ｅ）前記第１視点の完全な非フィルタリングフル解像度ルミナンスデータ及び前記第２視点のパーシャル非フィルタリングフル解像度ルミナンス画像データ、並びに（ｆ）画像データの少なくとも一部をｐｅｌ値と置換することによって、１以上のフォールバックタイプのデータ構成の１以上を有する、請求項１記載の方法。

【請求項11】

１以上の入力ビデオ信号により表現、受信、送信又は格納される１以上の入力３Ｄ画像を、１以上の出力ビデオ信号により表現、受信、送信又は格納される１以上の出力３Ｄ画像に変換するステップを更に有する、請求項１記載の方法。

【請求項12】

前記第１入力３Ｄ画像と前記第１ＥＬ画像データとの少なくとも１つは、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像フォーマット、ＡＭＰＡＳ（Ａｃａｄｅｍｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ）のＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格に関するＲＧＢカラー空間、Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ ＩｎｉｔｉａｔｉｖｅのＰ３カラー空間規格、ＲＩＭＭ／ＲＯＭＭ（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ）規格、ｓＲＧＢカラー空間又はＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ）のＢＴ．７０９ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関するＲＧＢカラー空間の１つにより符号化される画像データを有する、請求項１記載の方法。

【請求項13】

ベースレイヤにおいて３Ｄ画像の第１視点及び第２の異なる視点の入力低解像度画像データを受信し、エンハンスメントレイヤにおいて前記３Ｄ画像の入力エンハンスメントレイヤ（ＥＬ）画像データ及び入力ＥＬ画像データ記述子を受信するステップであって、前記入力ＥＬ画像データ記述子は、前記エンハンスメントレイヤにおいて前記入力ＥＬ画像データの第１の特定タイプのデータ構成を示し、前記３Ｄ画像は、前記ベースレイヤと前記エンハンスメントレイヤとの双方から画像データが受信される３Ｄ画像シーケンスにある、受信するステップと、
前記入力ＥＬ画像データ記述子により示される前記第１の特定タイプのデータ構成に少なくとも部分的に基づき、前記入力ＥＬ画像データから採用されたカラー空間の複数のカラーチャネルにおける前記３Ｄ画像の画像データを導出するステップと、
前記入力低解像度画像データと共に前記複数のカラーチャネルの画像データに基づき、前記第１視点の第１出力画像フレームと前記第２視点の第２出力画像フレームとを生成するステップと、
前記第１視点の第１出力画像フレームをレンダリングし、前記第２視点の第２出力画像フレームをレンダリングすることによって、前記３Ｄ画像をレンダリングするステップと、
前記エンハンスメントレイヤにおいて第２入力ＥＬ画像データ記述子を受信するステップであって、前記第２入力ＥＬ画像データ記述子は、前記３Ｄ画像シーケンスの第２の３Ｄ画像の前記エンハンスメントレイヤにおける第２ＥＬ画像データの第２の特定タイプのデータ構成を示し、前記第２の特定タイプのデータ構成は前記第１の特定タイプのデータ構成と異なり、前記第２の特定タイプのデータ構成に少なくとも部分的に基づき前記複数のカラーチャネルの画像データを導出することは、前記３Ｄ画像シーケンスからの複数の３Ｄ画像にわたって前記第１の特定タイプのデータ構成に少なくとも部分的に基づき、前記複数のカラーチャネルの画像データを導出することから徐々に遷移する、受信するステップと、
を有する方法。

【請求項14】

前記複数のカラーチャネルの画像データは、非フィルタリングフル解像度ソース画像データから導出される前記複数のカラーチャネルにおける非フィルタリング高空間周波数コンテンツを有し、
前記入力低解像度画像データは、前記非フィルタリングフル解像度ソース画像データから導出されるフィルタリング画像データを有する、請求項１３記載の方法。

【請求項15】

前記エンハンスメントレイヤにおいて入力リファレンスパラメータセットを受信するステップと、
前記入力低解像度画像データと前記入力リファレンスパラメータセットとに少なくとも部分的に基づき、複数の予測リファレンス値を生成するステップと、
前記複数のカラーチャネルの画像データにおける残差値と前記複数の予測リファレンス値とを、前記第１及び第２出力画像フレームの少なくとも１つの前記複数のカラーチャネルにおける複数のピクセル値に合成するステップと、
を更に有する、請求項１３記載の方法。

【請求項16】

当該方法は更に、
前記ベースレイヤにおいて前記第２の３Ｄ画像の前記第１視点及び第２視点の第２入力低解像度画像データを受信し、前記第２の３Ｄ画像の第２入力ＥＬ画像データを受信するステップと、
前記第２入力ＥＬ画像データ記述子により示される前記第２の特定タイプのデータ構成に少なくとも部分的に基づき、前記第２ＥＬ画像データから複数の第２カラーチャネルにおける前記第２の３Ｄ画像の第２画像データを導出するステップと、
前記第２入力低解像度画像データと共に前記複数の第２カラーチャネルの第２画像データに基づき、前記第１視点の第３出力画像フレームと前記第２視点の第４出力画像フレームとを生成するステップと、
前記第１視点の第３出力画像フレームをレンダリングし、前記第２視点の第４出力画像フレームをレンダリングすることによって、前記第２の３Ｄ画像をレンダリングするステップと、
を有する、請求項１３記載の方法。

【請求項17】

入力ＥＬ画像データ記述子シーケンスは、前記３Ｄ画像シーケンスの画像データと共に前記エンハンスメントレイヤにおいて入力され、
前記入力ＥＬ画像データ記述子は、前記入力ＥＬ画像データ記述子シーケンスの第２入力ＥＬ画像データ記述子の直前にあり、
前記入力ＥＬ画像データ記述子は、フレームレベル、シーンレベル又は固定期間レベルの１つにおいて前記入力ＥＬ画像データ記述子シーケンスにおいて前記第２入力ＥＬ画像データ記述子に遷移する、請求項１６記載の方法。

【請求項18】

前記複数のカラーチャネルは、ＲＧＢカラー空間、ＹＣｂＣｒカラー空間又は他のカラー空間の１つにおける少なくとも１つのカラーチャネルを有する、請求項１３記載の方法。

【請求項19】

画像コンテナは、前記複数のカラーチャネルにおける画像データを保持するのに利用され、
前記画像コンテナは、サンプリング方式下でサンプリングされた２以上のデータ部分を有し、
前記画像コンテナは、複数のサンプリング方式に関する複数の画像コンテナから選択され、
前記複数のサンプリング方式は、４−４−４サンプリング方式、４−２−２サンプリング方式、４−２−０サンプリング方式又は他のサンプリング方式を少なくとも有する、請求項１３記載の方法。

【請求項20】

前記複数の異なるタイプのデータ構成は、（ａ）ベースレイヤを介し送信されたフィルタリング低解像度画像データを補完する補完的フィルタリング低解像度画像データ、（ｂ）前記第１及び第２視点の１つの非フィルタリングフル解像度画像データ、（ｃ）前記第１視点の完全な非フィルタリングフル解像度ルミナンス画像データ及び前記第２視点の１／２解像度ルミナンス画像データ、（ｄ）前記第１及び第２入力画像フレームの選択された部分から導出された非フィルタリングフル解像度ルミナンス画像データ、（ｅ）前記第１視点の完全な非フィルタリングフル解像度ルミナンスデータ及び前記第２視点のパーシャル非フィルタリングフル解像度ルミナンス画像データ、並びに（ｆ）画像データの少なくとも一部をｐｅｌ値と置換することによって、１以上のフォールバックタイプのデータ構成の１以上を有する、請求項１３記載の方法。

【請求項21】

１以上の入力ビデオ信号により表現、受信、送信又は格納される１以上の３Ｄ画像を処理するステップを更に有する、請求項１３記載の方法。

【請求項22】

前記入力低解像度画像データ又は前記入力ＥＬ画像データの少なくとも一部は、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像フォーマット、ＡＭＰＡＳ（Ａｃａｄｅｍｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ）のＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格に関するＲＧＢカラー空間、Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ ＩｎｉｔｉａｔｉｖｅのＰ３カラー空間規格、ＲＩＭＭ／ＲＯＭＭ（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ）規格、ｓＲＧＢカラー空間又はＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ）のＢＴ．７０９ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関するＲＧＢカラー空間の１つにより符号化される画像データを有する、請求項１３記載の方法。

【請求項23】

請求項１乃至１２何れか一項記載の方法を実行するエンコーダ。

【請求項24】

請求項１３乃至２２何れか一項記載の方法を実行するデコーダ。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、参照することによりその全体がここに援用される、２０１１年９月２９日に出願された米国仮特許出願第６１／５４１，００５号に対する優先権を主張する。

【0002】

本発明は、一般に画像データに関する。より詳細には、本発明の実施例は、立体３Ｄ画像のための画像データに関する。

【背景技術】

【0003】

３Ｄコンテンツ配信のためのフレームコンパチブルハーフ解像度（ＦＣＨＲ）手段は、ハーフ解像度３Ｄコンテンツがフル解像度３Ｄ画像フレームからサブサンプリングされたハーフ解像度画像フレームを含むのみであるため、劣化した空間解像度となる。

【0004】

フレームコンパチブルフル解像度（ＦＣＨＲ）手段は、ベースレイヤを介しハーフ解像度３Ｄ画像フレームを送信し、エンハンスメントレイヤを介し補完的なハーフ解像度３Ｄ画像フレームを送信することによって、フル解像度３Ｄ画像を生成するのに利用されてもよい。ハーフ解像度３Ｄ画像フレームと補完的なハーフ解像度３Ｄ画像フレームとは、受信装置によってフル解像度による３Ｄ画像フレームに合成されてもよい。

【0005】

しかしながら、デュアルレイヤＦＣＨＲ手段は、ハーフ解像度画像フレームにおけるエイリアシングを低減／削除するためローパスフィルタリングを実装する。画像フレームの高周波数コンテンツがローパスフィルタリングにより削除されるとき、ダウンストリーム装置は高い空間周波数コンテンツにあった細かい詳細及びテクスチャの全てを復元することは不可能である。フル解像度３Ｄ画像フレームは依然として構成されてもよいが、３Ｄ画像フレームのピクセルは、ローパスフィルタリングによって不可逆的に変更され、３Ｄ画像フレームに生じるオリジナル３Ｄコンテンツにおけるオリジナルの解像度及びシャープネスを再生するのに利用できない。

【0006】

本セクションにおいて説明されるアプローチは、追求可能なアプローチであるが、必ずしも以前に想到又は追求されたアプローチである必要はない。従って、特段の断りがない場合、本セクションにおいて説明されるアプローチの何れかは単に本セクションに含まれることによって従来技術としてみなされることが仮定されるべきでない。同様に、１以上のアプローチに関して特定された問題は、特段の断りがない場合、本セクションに基づき従来技術において認識されたと仮定されるべきでない。

【図面の簡単な説明】

【0007】

本発明が、同様の参照番号が同様の要素を参照する添付した図面において限定することなく例示的に説明される。

【図1A】図１Ａは、一例となるマルチレイヤ３Ｄビデオエンコーダを示す。

【図1B】図１Ｂは、一例となるベースレイヤ３Ｄビデオデコーダを示す。

【図1C】図１Ｃは、一例となるマルチレイヤ３Ｄビデオデコーダを示す。

【図2】図２は、カラー空間に関するサンプリング方式における一例となる画像コンテナを示す。

【図3A】図３Ａは、エンハンスメントレイヤ画像データに関する一例となるタイプの画像データ構成を示す。

【図3B】図３Ｂは、エンハンスメントレイヤ画像データに関する一例となるタイプの画像データ構成を示す。

【図3C】図３Ｃは、エンハンスメントレイヤ画像データに関する一例となるタイプの画像データ構成を示す。

【図3D】図３Ｄは、エンハンスメントレイヤ画像データに関する一例となるタイプの画像データ構成を示す。

【図3E】図３Ｅは、エンハンスメントレイヤ画像データに関する一例となるタイプの画像データ構成を示す。

【図4】図４は、エンハンスメントレイヤ画像データに関する一例となるフォールバックデータ構成を示す。

【図5】図５Ａ及び５Ｂは、本発明の実施例による一例となる処理フローを示す。

【図6】図６は、本発明の実施例によるここに説明されるコンピュータ又は計算装置が実現可能な一例となるハードウェアプラットフォームを示す。

【発明を実施するための形態】

【0008】

異なる表示能力に対する知覚ルミナンス非線形ベース画像データ交換に関する実施例が説明される。以下の説明では、説明のために、本発明の完全な理解を提供するため多数の具体的詳細が提供される。しかしながら、本発明がこれらの具体的詳細なしに実現可能であることは明らかであろう。他の例では、周知の構成及び装置が、本発明を不要に閉塞、不明瞭又は混乱させることを回避するため、網羅的な詳細には説明されない。

【0009】

実施例は、以下の概要に従って説明される。
１．全体的な概略
２．マルチレイヤビデオ配信
３．画像コンテナ及び画像データ構成
４．一例となる画像データ構成
４．１．補完的画像データ
４．２．２つの視点の１つに対する非フィルタリングフル解像度画像データ
４．３．解像度非対称非フィルタリングルミナンス画像データ
４．４．非フィルタリングフル解像度画像データの選択部分
４．５．視点の１つに対する非フィルタリングフル解像度ルミナンス画像データの選択部分
４．６．フォールバック又は他の画像データ構成
５．一例となる処理フロー
６．実現機構−ハードウェア概略
７．均等、拡張、代替及びその他
１．全体的な概略
本概略は、本発明の実施例のいくつかの態様の基本的説明を提示する。本概略は実施例の態様の広範な又は網羅的なサマリでないことに留意すべきである。さらに、本概略は実施例の特に重要な態様又は要素を特定するものとして、又は特定の実施例や発明全体の範囲を確定するものとして理解されることを意図していないことに留意すべきである。本概略は、要約及び簡単化されたフォーマットにより実施例に関するコンセプトを単に提供するものであり、以下の実施例のより詳細な説明に対する概念的な準備として理解されるべきである。

【0010】

ビデオデータがインターネットベースコンテンツプロバイダからネットワーク接続を介し配信されるとき、計算装置上の３Ｄディスプレイアプリケーションなどの受信側ディスプレイアプリケーションに割り当てられるビットレートは限定され、特に夕方の時間などのピークのネットワークアクセス時間中、経時的に有意に変動してもよい。

【0011】

最も広い可能な各種の３Ｄ画像レンダリング装置をサポートするため、３Ｄ画像コンテンツは、低減された解像度によりフレームコンパチブルな３Ｄ画像フレーム（又はピクチャ）として配信されてもよい。説明されるように、３Ｄ画像フレームは、フル解像度３Ｄ画像フレームから低減された解像度の３Ｄ画像フレームにサブサンプリングされてもよく、フル解像度３Ｄ画像フレームの高い空間周波数コンテンツは、サブサンプリングされた画像フレームにおけるエイリアシングを防ぐため、ローパスフィルタにより取り除かれてもよい。

【0012】

本発明の実施例は、立体３Ｄビューイングのケースにおける肉眼における知覚的な冗長性及び眼球間マスキング効果を利用する。３Ｄ画像の異なる２つの視点の３Ｄ画像フレームが視聴されるとき（同時に又はフレーム順に）、肉眼は、３Ｄ画像の２つの画像フレームから、他方の画像フレームより多くの画像詳細を有する画像フレームの解像度により３Ｄ画像を知覚する傾向がある。肉眼はまた、クロマ値でなくルミナンスレベルにおける相違を検出するよう調整される。

【0013】

実施例は、マルチレイヤ３Ｄ画像データを符号化し、これをダウンストリーム装置に提供することを含む。いくつかの実施例では、３Ｄ画像のフレームコンパチブルな低減された解像度の左目（ＬＥ）及び右目（ＲＥ）画像フレームがベースレイヤにより受信側装置にに提供され、３Ｄ画像の３Ｄ画像データは、特定の視点及び／又は１以上の特定のカラーチャネルのため、ベースレイヤと別の１以上のエンハンスメントレイヤにより受信側の装置に提供される。追加的な３Ｄ画像データは、出力される３Ｄ画像のクオリティを改善するため、受信側の装置により利用されてもよい。

【0014】

異なるカラー空間及び／又は異なるサンプリングレートに関する複数の異なるタイプの画像コンテナが、エンハンスメントレイヤ画像データを搬送するのに利用されてもよい。複数の異なるタイプの画像コンテナのそれぞれについて、複数の異なるタイプのデータ構成が、エンハンスメントレイヤ（ＥＬ）画像データを搬送するのに利用されてもよい。実施例では、ダウンストリーム装置に、３Ｄ画像のシーケンスの３Ｄ画像のため、ある視点（左目視点又は右目視点であってもよい）及び／又はカラーチャネルのフル解像度非フィルタリング画像データの少なくとも一部を有するＥＬ画像データが提供される。

【0015】

異なる量の非フィルタリング画像データが、採用されるカラー空間（ＲＧＢ、ＹＣｂＣｒなど）の異なるカラーチャネル及び／又は異なる視点について提供されてもよい。非フィルタリング画像データは、１以上のベースレイヤビデオ信号から復号化された画像フレームの解像度を改善するため、マルチレイヤに対応するダウンストリーム装置により利用されてもよい。例えば、出力される３Ｄ画像フレーム（左目画像フレームなど）のカラーチャネル（ルミナンスなど）が、非フィルタリング画像データ（ルミナンス画像データなど）により投入されてもよい。結果としての出力用の３Ｄ画像フレームは、解像度対称的であってもよいし、又はそうでなくてもよい。

【0016】

ここで用いられる“カラーチャネル”という用語は、カラー空間におけるコンポーネントを表す。ＲＧＢカラー空間では、カラーチャネルは、赤色、緑色及び青色のカラーチャネルを有してもよい。ＹＣｂＣｒカラー空間では、カラーチャネルは、ルミナンス及びクロマチャネルを有してもよい。従って、ここで説明されるようなカラーチャネルは、ルミナンスチャネルなどのグレイスケールチャネルを表すものであってもよい。ここで用いられる“フル解像度非フィルタリング画像データの一部”は、あるカラーチャネルにおける非フィルタリングフル解像度画像データを表す。

【0017】

異なるタイプのデータ構成の適応的なスイッチは、ダウンストリーム装置に最良の可能なクオリティのＥＬ画像データを配信するため、アップストリーム装置により利用されてもよい。ここで用いられる“クオリティ”という用語は、出力３Ｄ画像において再生可能な知覚可能な画像詳細により測定されてもよい。

【0018】

実施例では、コンテンツプロバイダサーバなどのアップストリーム装置は、１以上の判定ファクタに基づき、受信側装置にフル解像度非フィルタリング３Ｄ画像データの少なくとも一部を搬送するため、特定タイプのデータ構成を決定するよう構成される。当該判定の一部として、アップストリーム装置は、エンハンスメント例他において最良のクオリティの画像データを送信するため、特定タイプのデータ構成を選択してもよい。ＥＬ画像データは、特定の視点、双方の視点及び／又は１以上の特定のカラーチャネルのためのものであってもよい。ここに説明される判定ファクタの具体例は、限定することなく、異なるタイプのデータ構成の各自の帯域幅要求、アップストリーム装置と受信側装置との間の現在のネットワーク接続に関する帯域幅制約、現在のネットワーク接続によりサポートされる最大、平均又は最小ビットレート及び／又は現在のネットワーク接続のＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）（パケットロス、ビットエラーなど）を含むものであってもよい。

【0019】

ＥＬ画像データ記述子は、エンハンスメントレイヤにおいて特定の視点及び／又は特定のカラーチャネルにおけるＥＬ画像データの有無を通知するため、ＥＬ画像データと共に提供されてもよい。ＥＬ画像データ記述子は、ＥＬ画像データの異なるデータ部分に関する視点を示すパリティ情報と、ＥＬ画像データの異なるデータ部分に関するチャネルを示すチャネル情報とを有してもよい。ＥＬ画像データ記述子は、補完的エンハンスメント情報（ＳＥＩ）の一部として又はビデオビットストリームにおいて利用可能な他の同様のメタデータキャリッジとして送信されてもよい。

【0020】

実施例では、画像レンダリング装置などのダウンストリーム装置は、ここで説明されるようなマルチレイヤ画像データを含むビデオ信号を受信し、受信したＥＬ画像データ記述子に基づき、ＥＬ画像データが特定の視点及び／又は１以上の特定のカラーチャネルについて利用可能であるか判断するよう構成される。このケースである場合、ダウンストリーム装置は、特定の視点及び／又は１以上の特定のカラーチャネルについて１以上の入力ビデオ信号からＥＬ画像データを復号化し、復号化されたＥＬ画像データを利用して、ベースレイヤから構成されたフィルタリングされた低減された解像度の画像フレームにおける対応する部分を改善／置換する。

【0021】

３Ｄ画像のクオリティ及びシャープネスの知覚は、より多くの検出可能な画像詳細を見ている目に対して強く重み付けされるため、ここで説明されるようなビデオ信号に符号化されるＬＥ及びＲＥ画像フレームのための絶対的及び相対的解像度は、特定の視点及び／又は特定のカラーチャネルについて別々に調整されてもよい。解像度の調整は、上述された判定ファクタに基づくものであってもよく、動的に、手動に、プログラム毎などに行われてもよい。

【0022】

ここで説明されるコーデック実現技術は、ベースレイヤ（ＢＬ）画像データとオリジナルの非フィルタリングフル解像度入力画像データとの間の統計的冗長性をフルに利用するためのレイヤ間予測機能を有するよう構成されてもよい。ＥＬ画像データは、異なるレイヤの画像データにおける統計的冗長性を利用することなく、大量のフル解像度非フィルタリング画像データを搬送する代わりに、残差（又は差分）画像データを（おそらくそれのみを）搬送する。エンハンスメントレイヤにおいて提供される残差画像データは、ダウンストリーム装置がフル解像度非フィルタリング画像データの少なくとも一部により画像フレームを効率的に構成することを可能にする。例えば、予測リファレンスフレーム又は予測リファレンス値を生成するための予測パラメータが、残差画像データと共に受信側装置に提供されてもよい。非フィルタリングフル解像度画像データは、受信した予測パラメータ及びＢＬ画像データに少なくとも部分的に基づき再構成された予測リファレンスフレーム又は予測リファレンス値の上に残差画像データを加えることによって、受信側装置において再構成されてもよい。

【0023】

いくつかの実施例では、コーデックは、ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０に説明されるような利用されるビュー間予測機能を有するよう構成されてもよい。いくつかの実施例では、ＲＰＵ（Ｒｅｆｅｒｅｎｃｅ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、エンハンスメントレイヤの圧縮のためレイヤ間予測において効率性を向上させるのに利用されてもよい。

【0024】

いくつかの実施例では、他のアプリケーションに必要とされるデータはまた、フル解像度非フィルタリング画像データと共にエンハンスメントレイヤに含まれてもよい。いくつかの実施例では、カリフォルニア州サンフランシスコのＤｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓから商業的に利用可能なＦＣＦＲ技術により提供されるような機能は、ここで説明されるベースレイヤとエンハンスメントレイヤとによりサポートされてもよい。

【0025】

本発明の実施例は、帯域幅又はビットレートの利用を最小化し、各種テレビ、ディスプレイ及び他の画像レンダリング装置をサポート可能な低減された解像度によるフレームコンパチブル３Ｄ画像データを保持してもよい。さらに、利用可能なシステムコンポーネントの改良機能と再利用及び適応化機能とは、ここで説明されるような技術を利用しない他のアプローチと比較して、相対的に低コストの実現を可能にする。

【0026】

ここで説明されるような技術は、可変的なネットワーク状態下において最良の３Ｄ画像クオリティを実現し、より少ないデータ量しか必要としないが、他の技術の下では左目と右目との双方のフル解像度非フィルタリング画像データを有する解像度対称的３Ｄ画像データを提供するため更に多くのデータを利用するものと同様の主観的なピクチャクオリティを提供するため、ＥＬ画像データの異なるタイプのデータ構成の間で交互に行われる。

【0027】

いくつかの実施例では、ここに説明されるような機構は、限定することなく、携帯装置、ゲーム機、テレビ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、携帯電話、電子書籍リーダ、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ）端末、デスクトップコンピュータ、コンピュータワークステーション、コンピュータキオスク又は他の各種端末及びメディア処理ユニットを含むメディア処理システムの一部を形成する。

【0028】

ここで説明される好適な実施例並びに汎用的な原理及び機能に対する各種改良は、当業者に容易に明らかになるであろう。従って、本開示は、図示される実施例に限定されることを意図するものでなく、ここに説明される原理及び特徴に整合する最も広い範囲が与えられるべきである。

【0029】

２．マルチレイヤビデオ配信
図１Ａは、実施例によるマルチレイヤ３Ｄビデオエンコーダ（１００）を示す。実施例では、マルチレイヤビデオエンコーダ（１００）は、３Ｄ入力画像シーケンスから構成される入力３Ｄビデオシーケンスを符号化するよう構成される。実施例では、３Ｄ画像シーケンスの３Ｄ入力画像は、フル解像度非フィルタリング３Ｄ画像データ（限定することなく、高い空間周波数コンテンツを含む）を有し、少なくともその一部は、マルチレイヤ３Ｄビデオエンコーダ（１００）により生成される１以上の出力ビデオ信号により搬送されてもよい。ここで用いられる“フル解像度”という用語は、画像フレームにおける独立に設定可能なピクセルの総数により最大限サポートされる空間解像度を表すものであってもよい。実施例では、３Ｄ画像シーケンスの３Ｄ入力画像を構成する画像データは、３Ｄ入力画像の入力左目（ＬＥ）画像フレーム（１０２−Ｌ）と入力右目（ＲＥ）画像フレーム（１０２−Ｒ）とに復号化されてもよい。

【0030】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（１００）の１以上のフィルタリング機構（１０４−Ｌ及び１０４−Ｒなど）が、入力ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）に基づきフィルタリングされたＬＥ及びＲＥ画像データ（１０６−Ｌ及び１０６−Ｒ）を生成する。フィルタリングされたＬＥ及びＲＥ画像データ（１０６−Ｌ及び１０６−Ｒ）は、入力ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）から高い空間周波数コンテンツの全て又は有意な部分を削除することによって生成されてもよい。フィルタリングは、フィルタリング機構（１０４−Ｌ及び１０４−Ｒなど）における１以上のローパスフィルタ（ＬＰＦ）により実行されてもよい。実施例では、ここで説明されるようなフィルタリングは、入力ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）によりサポートされるフル解像度の一部（１／２、１／３など）に対応する閾値周波数を超える入力画像の空間周波数コンテンツを削除するか、又は有意に抑える。

【0031】

ここで用いられる“高い空間周波数コンテンツ”という用語は、入力３Ｄビデオシーケンスに存在するが、例えば、アンチエイリアシングのためローパスフィルタなどによってフィルタリングされた画像データから削除される高い空間周波数画像詳細を表すものであってもよい。高い空間周波数コンテンツの削除が行われた場合、ダウンストリーム装置はフィルタリングされた画像データにより高解像度画像詳細を再生することができなくなるという点で不可逆的である。

【0032】

実施例では、フィルタリング機構（１０４−Ｌ及び１０４−Ｒ）の一部として又はこれらに加えて実装されてもよい１以上のサンプラ（下方への矢印による図１Ａの１０４−Ｌ及び１０４−Ｒに示されるようなダウンサンプラなど）は、フィルタリングされたＬＥ及びＲＥ画像データ（１０６−Ｌ及び１０６−Ｒ）の一部としてサンプリング（ダウンサンプリング）を実行する。実施例では、サンプラは、フィルタリングされたＬＥ画像データを２つの１／２したものに分離し、これらの一方はサブサンプリングされたＬＥ画像データ部分を有し（例えば、奇数番目のカラム、奇数番目のロー又は他のカラム及び／又はローのインタリーブ分解など）、他方は補完的なサブサンプリングされたＬＥ画像データ部分を有する（偶数番目のカラム、偶数番目のロー又は他のカラム及び／又はローのインタリーブ分解など）。同様に、サンプラは、フィルタリングされたＲＥ画像データを２つの１／２したものに分離し、これらの一方はサブサンプリングされたＲＥ画像データ部分を有し（例えば、奇数番目のカラム、奇数番目のロー又は他のカラム及び／又はローのインタリーブ分解など）、他方は補完的なサブサンプリングされたＲＥ画像データ部分を有する（偶数番目のカラム、偶数番目のロー又は他のカラム及び／又はローのインタリーブ分解など）。

【0033】

実施例では、マルチプレクサ（Ｍｕｘ１０８−１など）は、フィルタリングされたＬＥ及びＲＥ画像データ（１０６−Ｌ及び１０６−Ｒ）を多重化された３Ｄ画像フレーム（１１２−１）に多重化する。多重化された３Ｄ画像フレーム（１１２−１）は、左目用の（例えば、ダウンサンプリングされた）画像データ部分と、右目用の（例えば、ダウンサンプリングされた）画像データ部分との双方を有する。多重化された３Ｄ画像フレームは、ダウンストリーム装置によってフル解像度の１００％未満の低減された解像度（１／２の解像度など）のＬＥ画像フレームとＲＥ画像フレームとに復号化されてもよい。このような低減された解像度の復号化されたＬＥ及びＲＥ画像フレームは、アップサンプリング処理によって取得されないフル解像度画像より明確でない様相によるフル解像度画像フレームと同数のピクセルを有するようアップサンプリングされてもよい。

【0034】

実施例では、多重化された３Ｄ画像フレーム（１１２−１）は、左目用のフル解像度画像フレームにおけるピクセルの総数の１／２（例えば、１つおきのカラムやローなど）の画像データと、右目用の他方の１／２の画像データとを有する。低減された解像度のＬＥ及びＲＥ画像データ部分は、サイド・バイ・サイド（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）フォーマット、オーバ・アンダー（ｏｖｅｒ−ｕｎｄｅｒ）フォーマット、ｑｕｉｎｃｕｎｘフォーマット、チェッカーボードフォーマット、インタリーブフォーマット、上記フォーマットの組み合わせ又は他の多重化フォーマットにより多重化された３Ｄ画像フレーム（１１２−１など）内に多重化されてもよい。

【0035】

１以上のエンハンスメントレイヤは、ＬＥ及びＲＥ視点の一方又は双方のフィルタリングされていない高い空間周波数コンテンツの少なくとも一部を有する出力ビデオ信号、及び／又はＬＥ及びＲＥ視点の一方又は双方のカラーチャネルの１以上の出力ビデオ信号を搬送するのに利用されてもよい。実施例では、ＢＬエンコーダ（１１０）は、多重化された３Ｄ画像フレーム（１１２−１）に少なくとも部分的に基づき、ベースレイヤフレームコンパチブルビデオストリーム（ＢＬ ＦＣビデオストリーム１１８−１）により搬送されるベースレイヤビデオ信号を生成し、ＥＬエンコーダ（１１６）は、（非フィルタリング）入力ＬＥ画像フレーム（１０２−Ｌ）及び（非フィルタリング）入力ＲＥ画像フレーム（１０２−Ｒ）の一方に少なくとも部分的に基づき、フレームコンパチブルであってもよいし、そうでないくてもよいエンハンスメントレイヤビデオストリーム（ＥＬビデオストリーム１１８−１）により搬送される特定の視点及び／又は特定のチャネルのフィルタリングされていない高い空間周波数コンテンツによるエンハンスメントレイヤビデオ信号を生成する。ＢＬエンコーダ（１１０）及びＥＬエンコーダ（１１６）の一方又は双方は、Ｈ．２６４／ＡＶＣ，ＶＰ８，ＶＣ−１などの複数のコーデックの１以上を用いて実現されてもよい。

【0036】

ここに説明されるエンハンスメントレイヤビデオ信号は、ハイブリッドビデオ符号化方法を用いて生成されてもよい（例えば、ＶＣ−１，Ｈ．２６４／ＡＶＣなどのビデオコーデックなどにより実現される）。非フィルタリングフル解像度画像データの少なくとも一部によるＬＥ又はＲＥ画像フレームの画像データは、同一レイヤに属し、予測リファレンス画像フレームバッファ内に動き補償予測リファレンスとしてバッファリングされる以前の復号化された画像フレーム（インタ予測）からのサンプルから、又は（イントラ予測を用いて）同一画像フレームの近傍サンプルから予測されてもよい。レイヤ間予測はまた、他のレイヤ（ベースレイヤなど）からの復号化された情報に少なくとも部分的に基づくものであってもよい。

【0037】

更に及び／又は任意的に、マルチレイヤ３Ｄビデオエンコーダ（１００）は、予測に関する１以上の処理を実行するリファレンス処理ユニット（ＲＰＵ１１４）を有してもよい。リファレンス処理ユニットにより実現される予測は、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）における非フィルタリングフル解像度画像データの少なくとも一部による画像フレームを構成する際のオーバヘッドを低減する。ＲＰＵ（１１４）は、ＢＬエンコーダ１０からＢＬ画像データを受信し、イントラ又はインタ予測（又は推定、他の方法）を介し予測リファレンス画像フレームを生成してもよい。

【0038】

実施例では、判定メーカ（１２０）が、（非フィルタリング）入力ＬＥ画像フレーム（１０２−Ｌ）及び（非フィルタリング）入力ＲＥ画像フレーム（１０２−Ｒ）からＥＬ画像データを抽出し、ＥＬ画像データをエンハンスメントレイヤ画像フレーム（１１２−２）に格納する。ＥＬ画像フレーム（１１２−２）は、（非フィルタリング）入力ＬＥ画像フレーム（１０２−Ｌ）と（非フィルタリング）入力ＲＥ画像フレーム（１０２−Ｒ）との１つのみからの画像データを有してもよい。あるいは及び／又は任意的には、ＥＬ画像フレーム（１１２−２）は、（非フィルタリング）入力ＬＥ画像フレーム（１０２−Ｌ）と（非フィルタリング）入力ＲＥ画像フレーム（１０２−Ｒ）との一方又は双方における異なるカラーチャネルからの画像データを有してもよい。

【0039】

ＥＬ画像フレーム（１１２−２）は、一部が非フィルタリングフル解像度画像データである画像データの異なる部分にダウンストリーム装置によって復号化されてもよい。ダウンストリーム装置は、ベースレイヤ（１１２−１）のフィルタリング画像データから完全に構成された画像フレームより高い解像度の１以上の出力画像フレームを生成するため、ベースレイヤ（１１２−１）のフィルタリング画像データとエンハンスメントレイヤ（１１２−２）の画像データとを合成してもよい。

【0040】

実施例では、判定メーカ（１２０）は、ＥＬビデオストリーム（１１８−３）のＥＬ画像データ（１１２−２）を記述するＥＬ画像データ記述子を生成するよう構成される。ＥＬ画像データ記述子の１以上のフィールドの値は、ＥＬビデオストリーム（１１８−３）のＥＬ画像データ（１１２−２）の特定の視点及び／又はカラーチャネルなどのデータ構成を示す限り、数値、文字ベースの値、上記の組み合わせ又は他のタイプの表現値であってもよい。判定メーカ（１２０）は、ベースレイヤ画像データ、（非フィルタリング）入力ＬＥ画像フレーム（１０２−Ｌ）及び（非フィルタリング）入力ＲＥ画像フレーム（１０２−Ｒ）の１以上に基づき、ＥＬ画像データ記述子の値を決定するよう構成される。実施例では、判定メーカ（１２０）は、ＥＬ画像データ記述子をＲＰＵ（１１４）に提供する。ＥＬ画像データ記述子と、当該ＥＬ画像データ記述子に関する画像フレームの識別情報とは、ＥＬ ＲＰＵストリーム（１１８−２）を用いてダウンストリーム装置に通知される（ＳＥＩの一部などとして）。実施例では、判定メーカ（１２０）は、ＥＬエンコーダ（１１６）に提供されるＥＬ画像データ（１１２−２）のデータフローパスを設定するよう構成される。ＥＬ画像データ（１１２−２）は、その後、ＥＬエンコーダ（１１６）によって１以上のＥＬビデオ信号に符号化される。

【0041】

このような予測を利用する実施例では、ＥＬエンコーダ（１１６）は、（ａ）非フィルタリング入力ＬＥ画像フレーム（１０２−Ｌ）と非フィルタリング入力ＲＥ画像フレーム（１０２−Ｒ）との一方又は双方と、（ｂ）予測リファレンス画像フレームとに少なくとも部分的に基づき、非フィルタリング画像残差（予測リファレンス画像フレームと、非フィルタリング入力画像フレーム（１０２−Ｌ）の非フィルタリングフル解像度画像データの少なくとも一部と非フィルタリング入力ＬＥ画像フレーム（１０２−Ｌ）との間の差分）をＥＬ画像データ（１１２−２）として生成し、ＥＬビデオストリーム（１１８−３）により搬送するエンハンスメントレイヤビデオ信号にＥＬ画像データ（１１２−２）を符号化する。

【0042】

マルチレイヤ３Ｄビデオエンコーダ（１００）又は判定メーカ（１２０）により行われる判定は、１以上のエンハンスメントレイヤビットストリームの生成をガイドする。従って、当該判定は、ＥＬ画像データにより出力３Ｄ画像フレームを正しく構成するため、ダウンストリーム装置により利用されるように、ダウンストリーム装置に１以上のビデオ信号と共に送信される。このような信号は、ＥＬ ＲＰＵストリーム（１１８−２）により搬送されるか、又は他の同様の方法により送信されてもよい。更に及び／又は任意的に、ダウンストリーム装置により必要土佐えっるフィルタリングを示すためのインデックスは、ビデオデコーダ側においてＬＥ又はＲＥ出力画像フレームを構成するため、ダウンストリーム装置に提供されてもよい。

【0043】

いくつかの実施例では、異なる視点は、異なる時間に非フィルタリングフル解像度画像データの異なる部分（ゼロの量を含む）を搬送してもよく、同じ視点の異なるカラーチャネルはまた、異なる時間に非フィルタリングフル解像度画像データの異なる部分（ゼロの量を含む）を搬送してもよい。ユーザは、異なる視点及び／又はカラーチャネルにより非フィルタリングフル解像度画像データの変更に関する“フリッカ”に気付く可能性がある。いくつかの実施例では、これは、例えば、ＭＥＭＣ（Ｍｏｔｉｏｎ−Ｅｓｔｉｍａｔｉｏｎ−Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｉｏｎ）又は３Ｄ補間技術などの方法を利用して、欠落したピクセルを補間することによって、１以上の先進的な後処理技術を介し受信機／デコーダにおいて改良されてもよい。

【0044】

いくつかの実施例では、エンハンスメントレイヤにおいて異なるタイプのデータ構成の切り替えは、１秒の一部、１秒、複数秒、フレーム、複数フレーム、シーン、複数シーン、プログラム、複数プログラム、又は他の時間インターバルなどの短い遷移期間により実現されてもよい。例えば、非フィルタリングＬＥ画像データを含む第１データ構成がＥＬ画像データ（１１２−２）において非フィルタリングＲＥ画像データを含む第２データ構成と置換されるとき、ここに説明されるマルチレイヤ３Ｄビデオエンコーダ（１００など）は、ベースレイヤにおけるフィルタリングＲＥ画像フレームの解像度に相当する遷移解像度（５又は他の少ないパーセンタイルの範囲内と同じ解像度範囲内に等しい）に非フィルタリングＬＥ画像データのフル解像度を徐々にスケールダウンしてもよい（１つのフレームにおける急激なスイッチを回避するため、連続するフレームにおいて）。遷移解像度がＥＬ画像データ（１１２−２）のスケールダウンされたＬＥ画像データまで到達すると、遷移解像度に相当するスタート解像度にスケールダウンされた非フィルタリングＲＥ画像データは、ＥＬ画像データ（１１２−２）（いくつかの実施例ではＥｌリファレンスレイヤを含む）に符号化される。マルチレイヤ３Ｄビデオエンコーダ（１００）は、スタート解像度から非フィルタリングＲＥ画像データのフル解像度まで、ＥＬ画像データ（１１２−２）においてＲＥ画像データを徐々にスケールアップ（連続するフレームにおいて）してもよい。

【0045】

いくつかの実施例では、エンハンスメントレイヤにおいて異なるタイプのデータ構成を切り替える際に解像度を徐々に遷移することは、ダウンストリーム装置により実行されてもよい。例えば、マルチレイヤ３Ｄビデオエンコーダ（１００など）は、所定のフィルタセットからフィルタを選択してもよい。適用されるとき、フィルタは、エンハンスメントレイヤにおいて搬送される画像データにおいて、一方の目のため解像度を徐々に低減し、他方の目のための解像度を徐々に増加してもよい。実施例では、マルチレイヤ３Ｄビデオエンコーダ（１００）は、ＥＬ ＲＰＵストリームにおいて搬送されるＲＰＵデータにフィルタインデックスを含めてもよい。フィルタインデックスは、所定の利用可能なフィルタセットを検索し、当該所定の利用可能なフィルタセットの何れが異なるタイプのデータ構成の間の画像フレームの解像度を徐々に遷移するため適用されるべきか判断するため、ダウンストリーム装置により利用されてもよい。

【0046】

図１Ｂは、実施例による高い空間周波数コンテンツがオリジナルビデオシーケンス（図１Ａに関して説明された入力ビデオシーケンスであってもよい）から削除された１以上の入力ビデオ信号を処理するベースレイヤビデオデコーダ（１５０−１）を示す。実施例では、ベースレイヤビデオデコーダ（１５０−１）は、ベースレイヤ（図１ＢのＢＬ ＦＣビデオストリーム１１８−１）から受信されるＢＬ入力ビデオ信号を出力３Ｄ画像シーケンスに復号化するよう構成され、他のレイヤのビデオ信号は、デコーダにより受信された物理信号にあってもよいし、又はなくてもよい。実施例では、ベースレイヤビデオデコーダ（１５０−１）は、ＢＬ ＦＣビデオストリーム（１１８−１）以外の他のストリームにおけるビデオ信号の存在を無視するように、予め構成されるか、あるいは動的に若しくは手動により構成される。

【0047】

ベースレイヤビデオデコーダ（１５０−１）により生成される出力３Ｄ画像シーケンスの出力３Ｄ画像は、フル解像度非フィルタリング３Ｄ画像データを有さない。これは、入力ビデオ信号に生じるオリジナルビデオシーケンスの高空間周波数コンテンツが、ベースレイヤビデオデコーダ（１５０−１）により処理される入力ビデオ信号からフィルタリング／排除されており、ベースレイヤビデオデコーダ（１５０−１）により入力ビデオ信号から復元できないためである。

【0048】

実施例では、ＢＬデコーダ（図１Ｂの１５２）は、ＢＬ ＦＣビデオストリーム（図１Ｂの１１８−１）のＢＬ入力ビデオ信号に少なくとも部分的に基づき、多重化された３Ｄ画像フレーム（図１Ｂの１５８−１）を生成する。ＢＬデコーダ（図１Ｂの１５２）は、Ｈ．２６４／ＡＶＣ，ＶＰ８，ＶＣ−１などの何れか利用可能な又は将来的なビデオコーデックを用いて実現されてもよい。

【0049】

実施例では、アップサンプリングユニット（１７４）は、多重化された３Ｄ画像フレーム（１５８−１）を２つの画像データ部分に逆多重化及び／又は分離する。多重化された３Ｄ画像フレーム（１５８−１）は、双方の視点の多重化されたフィルタリング画像データを有するが、画像データ部分は、フィルタリングＬＥ画像データ部分とフィルタリングＲＥ画像データ部分とを有し、それぞれはフル解像度以下の低減された解像度である。実施例では、アップサンプリングユニット（１７４）は、フル解像度以下のアップサンプリングされたＬＥフィルタリング出力画像フレーム（１７２−Ｌ）を形成するため、フィルタリングＬＥ画像データ部分をアップサンプリングする。同様に、アップサンプリングユニット（１７４）は、フル解像度以下のアップサンプリングされたＲＥフィルタリング出力画像フレーム（１７２−Ｒ）を形成するため、フィルタリングＲＥ画像データ部分をアップサンプリングする。アップサンプリングされたＬＥ及びＲＥフィルタリング画像フレーム（１７２−Ｌ及び１７２−Ｒ）のそれぞれがフル解像度画像フレームと同数のピクセルを有したとしても、アップサンプリングされたＬＥ及びＲＥフィルタリング画像フレーム（１７２−Ｌ及び１７２−Ｒ）によるレンダリングされる３Ｄ画像は、アップサンプリング処理により取得されないフル解像度ＬＥ及びＲＥ画像フレームから構成された３Ｄ画像より明確でない様相を有する。更に、アップサンプリングされたＬＥ及びＲＥフィルタリング画像フレーム（１７２−Ｌ及び１７２−Ｒ）は、ベースレイヤにおける入力ビデオ信号の符号化処理において取り除かれる高空間周波数画像詳細を有しない。

【0050】

フル解像度以下のアップサンプリングされたＬＥ及びＲＥフィルタリング画像フレーム（１７２−Ｌ及び１７２−Ｒ）は、出力３Ｄ画像を提供するため、ディスプレイ装置（例えば、ベースレイヤビデオデコーダ１５０−１などを有してもよい）によりレンダリングされてもよい。アップサンプリングされたＬＥ及びＲＥフィルタリング画像フレーム（１７２−Ｌ及び１７２−Ｒ）のレンダリングは、限定することなく、フレームシーケンシャルな方法によるものであってもよい。

【0051】

図１Ｃは、実施例による非フィルタリング高空間周波数コンテンツを有する入力ビデオ信号を処理するマルチレイヤ３Ｄビデオデコーダ（１５０）を示す。実施例では、入力ビデオ信号が、ベースレイヤと１以上のエンハンスメントレイヤとを有する複数のレイヤ（又は複数のビットストリーム）により受信されてもよい。ここで用いられる“マルチレイヤ”又は“複数レイヤ”という用語は、（ビデオ信号）の相互の間の１以上の論理的な依存関係を有するビデオ信号を搬送する２以上のビットストリームを表すものであってもよい。

【0052】

実施例では、マルチレイヤ３Ｄビデオデコーダ（１５０）は、ＢＬ ＦＣビデオストリーム（図１Ｃの１１８−１）、ＥＬ ＲＰＵストリーム（図１Ｃの１１８−２）及びＥＬビデオストリーム（図１Ｃの１１８−３）の１以上の入力ビデオ信号を出力３Ｄ画像シーケンスに復号化するよう構成される。実施例では、出力３Ｄ画像シーケンスの出力３Ｄ画像の画像フレームは、非フィルタリングフル解像度画像データの少なくとも一部を有する。

【0053】

マルチレイヤ３Ｄビデオデコーダ（１５０）は、出力画像フレームを生成するため、ベースレイヤにより受信した画像データ（ＢＬ ＦＣビデオストリーム１１８−１など）と、１以上のエンハンスメントレイヤにより受信した画像データ（ＥＬ ＲＰＵストリーム１１８−２及びＥＬ ＦＣビデオストリーム１１８−３など）とを合成してもよい。

【0054】

実施例では、ＢＬデコーダ（１５２）は、ＢＬ ＦＣビデオストリーム（１１８−１）のＢＬビデオ信号に少なくとも部分的に基づき、多重化された３Ｄ画像フレーム（１５８−１）を生成する。多重化された３Ｄ画像フレーム（１５８−１）は、双方の視点について多重化されたフィルタリング画像データを有する。多重化されたフィルタリング画像データは、第１視点（左目ビューなど）用の第１フィルタリング画像データ部分と、第２視点（右目ビューなど）用の第２フィルタリング画像データ部分とを有する。

【0055】

実施例では、ＥＬデコーダ（１５６）は、ＥＬビデオストリーム（図１Ｃの１１８−３）のＥＬビデオ信号に少なくとも部分的に基づき、オリジナル入力ビデオシーケンス（図１Ａの入力ビデオシーケンスなど）に存在する非フィルタリングフル解像度画像データの少なくとも一部を含むものであってもよいＥＬ画像データを有するＥＬ画像フレーム（１５８−２）を生成する。

【0056】

ＢＬデコーダ（１５２）とＥＬデコーダ（１５６）との一方又は双方は、Ｈ．２６４／ＡＶＣ，ＶＰ８，ＶＣ−１などの何れか利用可能な又は将来的なビデオコーデックを用いて実現されてもよい。

【0057】

実施例では、実施例では、マルチレイヤデマルチプレクサ（１７８）は、ＢＬエンコーダ（１５２）、ＲＰＵ（１５４）及びＥＬデコーダ（１５６）から中間的な画像データを受信するよう構成される。当該中間的な画像データは、（ａ）多重化された３Ｄ画像フレーム（１５８−１）、（ｂ）ＥＬ画像データを有するＥＬ画像フレーム（１５８−２）、（ｃ）予測リファレンス画像フレーム又は予測リファレンス値を生成するための予測パラメータ、及び／又は（ｄ）ＥＬ画像データ記述子を有してもよい。

【0058】

実施例では、マルチレイヤデマルチプレクサ（１７８）は、フル解像度以下の第１視点の第１アップサンプリングされたフィルタリング出力画像フレームと第２視点の第２アップサンプリングされたフィルタリング出力画像フレームとを形成するため、多重化された３Ｄ画像フレーム（１５８−１）における第１及び第２フィルタリング画像データ部分を分離及びアップサンプリングするよう構成される。ここで説明されるアップサンプリングされたフィルタリング画像フレームはフル解像度画像フレームと同数のピクセルを有してもよいが、アップサンプリングされたフィルタリング画像フレームは、アップサンプリング処理により取得されないフル解像度画像フレームより明確でない様相を有する。更に、アップサンプリングされたフィルタリング画像フレームは、マルチレイヤデコーダ（１５０）に対する入力ビデオ信号の符号化処理において取り除かれる高空間周波数画像詳細を有しない。

【0059】

ＥＬ画像フレーム（１５８−２）は、第１視点（左目ビューなど）の第３画像データ部分と、第２視点（右目ビューなど）の第４画像データ部分とを有してもよい。いくつかの実施例では、第３画像データ部分と第４画像データ部分とは、非フィルタリングフル解像度画像データの少なくとも一部を有する。

【0060】

実施例では、マルチレイヤデマルチプレクサ（１７８）は、相互からのＥＬ画像フレーム（１５８−２）の第３及び第４画像データ部分を分離するよう構成される。マルチレイヤデマルチプレクサ（１７８）は、ＲＦＵ（１５４）から受信されるＥＬ画像データ記述子に基づき、第３及び第４画像データ部分を分離してもよい。

【0061】

このような予測を利用する実施例では、マルチレイヤデマルチプレクサ（１７８）は、マルチレイヤデマルチプレクサ（１７８）は、第１及び第３画像データ部分及び予測パラメータに少なくとも部分的に基づき、第１視点（１７６−Ｌなど）の第１出力画像フレームを生成し、第２及び第４画像データ部分及び予測パラメータに基づき、第２視点（１７６−Ｒなど）の第２出力画像フレームを生成してもよい。各種実施例では、第１及び第２出力画像フレームのゼロ、１つ又は双方が、非フィルタリング高空間周波数コンテンツを有する。

【0062】

第１出力画像フレーム（１７６−Ｌ）及び第２出力画像フレーム（１７６−Ｒ）は、出力３Ｄ画像を提供するため、ディスプレイ装置（例えば、マルチレイヤ３Ｄビデオデコーダ１５０などを有してもよい）によりレンダリングされてもよい。ＲＥ及びＬＥ画像フレームのレンダリングは、限定することなく、フレームシーケンシャルなものであってもよい。

【0063】

３．画像制約及び画像データ構成
いくつかの実施例では、ダウンストリーム装置（図１Ｃのマルチレイヤ３Ｄビデオデコーダ１５０を搭載したディスプレイ装置であってもよい）は、ＢＬ及びＥＬビデオストリームの双方がＲＰＵストリームと共に入力ビデオ信号において利用可能であるとき、フル解像度（ＦＲ）画像フレームを生成する。図１Ｃに示されるようなマルチレイヤデコーダ（１５０）は、１以上のエンハンスメントレイヤにより送信されるＥＬ画像データ（図１Ａの１１２−２又は図１Ｃの１５８−２）に少なくとも部分的に基づき、フル解像度画像フレームを再構成するのに利用されてもよい。

【0064】

各種実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００など）は、複数の異なるタイプのＥＬ画像データ（１１２−２など）をダウンストリーム装置に提供する。複数の異なるタイプのＥＬ画像データ（１１２−２）のそれぞれは、ＥＬ画像データの異なるデータ構成を有してもよい。ＥＬ画像データの異なるデータ構成は、ＥＬ画像データにおける非フィルタリングフル解像度画像データの部分の異なる組み合わせに対応する。

【0065】

アップストリーム装置（図１Ａのマルチレイヤ３Ｄビデオエンコーダ１００を有してもよい）は、経時的にＥＬ画像データの異なるデータ構成を切り替えることによって、出力ビデオ信号の画像データコンテンツを適応的にスイッチ／遷移してもよい。非フィルタリングフル解像度画像データの複数部分が、時間領域多重化方法においてＥＬ画像データ内で多重化されてもよい。適応的なコンテンツのスイッチ／遷移は、１秒の一部、１秒、複数秒、１フレーム、複数フレーム、１シーン、複数シーン、１プログラム、複数プログラム又は他の時間インターバルにおいて行われてもよい。信号特性、画像コンテンツ、ビットレート要求、帯域幅制約、ネットワーク状態などに関するものを含む１以上の判定ファクタが、非フィルタリングフル解像度画像データの部分の異なる組み合わせがＥＬレイヤにおいて時間領域多重化方法により搬送されるべきか、又はどの時点で搬送されるべきか判断するための基礎として利用されてもよい。

【0066】

ここで説明されるような技術の下、各種の異なるタイプの画像コンテナがＥＬ画像データを搬送するのに利用されてもよい。ここで用いられる“画像コンテナ”という用語は、ピクセル値及び／又は関連するメタデータを保持するための画像データ構造を表すものであってもよく、画像コンテナは、標準ベース、専用又は標準若しくは専用の仕様からの拡張により定義されてもよい。画像コンテナは、１以上の画像フレームを保持するよう規定されてもよい。実施例では、１つの画像フレームについて規定される画像コンテナは、画像データの多重化されたデータ部分（異なる視点から及び／又は異なるカラーチャネルからなど）を搬送するのに利用されてもよい。ここで用いられる“画像コンテナに画像データを保持する”とは、画像データが画像コンテナの特定の画像データ構造に論理的にマッピングされてもよいことを意味する。

【0067】

一例となる第１タイプの画像コンテナは、ＲＧＢカラー空間（ｓＲＧＢ、ａｄｏｂｅＲＧＢ又は他のＲＧＢカラー空間）における赤色、緑色及び青色カラーチャネル値を保持するよう規定されるものであってもよい。一例となる第２タイプの画像コンテナは、ＹＣｂＣｒカラー空間におけるルミナンス値及びクロマ値を保持するよう規定されるものであってもよい。他のタイプの画像コンテナは、ここで説明されるような技術の下で等価的に利用されてもよい。

【0068】

ここで説明される技術の下、各種の異なるサンプリング方式が、ＥＬ画像データを保持するため画像コンテナと共に利用されてもよい。一例となる第１サンプリング方式は、画像コンテナのカラーチャネル（又はコンポーネント）に対してサブサンプリングが実行されない４−４−４であってもよい。一例となる第２サンプリング方式は、画像コンテナの３つのカラーチャネルからの２つに対してサブサンプリングが実行される４−２−２であってもよい。一例となる第３サンプリング方式は、４−２−２サンプリング方式において実行されるサブサンプリングに加えて追加的なサブサンプリングが実行される４−２−０であってもよい。補完的サンプリング及び共通サンプリングなどの他のサンプリング方式がまた、ここで説明されるような技術の下で利用されてもよい。

【0069】

説明のみのため、ＹＣｂＣｒカラー空間における４−２−０サンプリング方式が、ここで説明されるような技術を説明するのに利用されてもよい。他のサンプリング方式及び／又は他のカラー空間がここで説明されるような技術の下で利用されてもよいことに留意すべきである。

【0070】

図２は、実施例による４−２−０サンプリング方式の下でＹＣｂＣｒカラー空間におけるルミナンス（Ｙ）及びクロマ（Ｃｂ／Ｃｒ）カラーチャネル（又はコンポーネント）の画像データ部分（２００−１〜２００−３）を示す。一例では、ここで説明されるような技術下のマルチレイヤ３Ｄビデオコーデックは、ビデオ圧縮のため、各種ディスプレイアプリケーションによりサポートされる８ビットＹＣｂＣｒ４：２：０データフォーマットをサポートする。図２に示されるように、この画像コンテナフォーマットでは、クロマチャネルのデータ部分（２００−２と２００−３の何れか）は、ルミナンスチャネルのデータ部分（２００−１）のサイズの１／４である。いくつかの実施例では、ビデオ圧縮のため、ＢＬ画像データ又はＥＬ画像データは、マルチレイヤ３Ｄビデオエンコーダ（図１の１００など）によって図２のデータ部分（２００−１〜２００−３）を有する画像コンテナフォーマットに変換される。

【0071】

４．一例となる画像データ構成
４．１．補完的画像データ
実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、非フィルタリングフル解像度ＬＥ画像フレーム（図１Ａの１０２−Ｌ）からフィルタリングＬＥ画像データを生成し、フィルタリングＬＥ画像データを、サブサンプリングされたフィルタリングＬＥ画像データの第１の１／２したもの（奇数番目のカラム又はローなど）と、補完的なサブサンプリングされたフィルタリングＬＥ画像データの第２の１／２したもの（偶数番目のカラム又はローなど）とを有する２つの１／２したものにサブサンプリングする。同様に、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、非フィルタリングフル解像度ＲＥ画像フレーム（図１Ａの１０２−Ｒ）からフィルタリングＲＥ画像データを生成し、フィルタリングＲＥ画像データを、サブサンプリングされたフィルタリングＲＥ画像データの第１の１／２したもの（奇数番目のカラム又はローなど）と、補完的なサブサンプリングされたフィルタリングＲＥ画像データの第２の１／２したもの（偶数番目のカラム又はローなど）とを有する２つの１／２したものにサブサンプリングする。フィルタリングＬＥ及びＲＥ画像データのサブサンプリングは、１以上の異なるサブサンプリング方式の１つに基づくものであってもよい。

【0072】

実施例では、ベースレイヤの画像データ（図１Ａの１１２−１又は図１Ｂ及び１Ｃの１５８−１）は、サブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの第１の１／２したものを有してもよい。

【0073】

実施例では、エンハンスメントレイヤのＥＬ画像データ（図１Ａの１１２−２又は図１Ｃの１５８−２）は、ベースレイヤに搬送された画像データ（図１Ａの１１２−１又は図１Ｂ及び１Ｃの１５８−１）に補完的な１／２の解像度の画像データを搬送してもよい。ＥＬ画像データ（図１Ａの１１２−２又は図１Ｃの１５８−２）における１／２の解像度の画像データは、サブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの第２の１／２したものを有してもよい。

【0074】

図３Ａは、図２に示される一例となる画像コンテナフォーマットに基づくＥＬ画像データの一例となる画像データ構成を示す。実施例では、サブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの第２の１／２のルミナンスｃなえるの画像データは、ＹＣｂＣｒカラー空間のルミナンスチャネルのために指定されたデータ部分（２００−１）に保持され、サブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの第２の１／２のＣｂクロマチャネルの画像データは、ＹＣｂＣｒカラー空間のＣｂクロマチャネルのために指定されたデータ部分（２００−２）に保持され、サブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの第２の１／２のＣｒクロマチャネルの画像データは、ＹＣｂＣｒカラー空間の画像フレームのＣｂクロマチャネルのために指定されたデータ部分（２００−３）に保持される。

【0075】

簡単化のため、ルミナンスチャネルの画像データは“ルミナンス画像データ”又は“ルミナンス値”として参照されてもよく、クロマチャネルの画像データは、“クロマ画像データ”又は“クロマ値”として参照されてもよい。同様に、Ｃｂチャネルの画像データは“Ｃｂ画像データ”又は“Ｃｂ値”として参照され、Ｃｒチャネルの画像データは“Ｃｒ画像データ”又は“Ｃｒ値”として参照されてもよい。

【0076】

異なるカラーチャネルの画像データ部分のサイズは、必要に応じて調整（ダウンサンプリング、アップサンプリング又は他の画像データ圧縮若しくは伸張方法）による採用されたサンプリング方式に指定されたものに限定されてもよい。一例では、４−４−４サンプリング方式では、ルミナンス画像データ部分は、クロマ画像データ部分のものと同じサイズであってもよい。他の例では、図２に示されるような４−２−０サンプリング方式では、ルミナンス画像データ部分（２００−１）は、クロマ画像データ部分（２００−２及び２００−３の何れか）のものにタイして４倍（４×）のサイズであってもよい。

【0077】

エンハンスメントレイヤのサブサンプリングされたフィルタリングＬＥ及びＲＥ画像データの配置は、図３に示されるものと異なって設定されてもよい。例えば、図３Ａに示されるＬＥ及びＲＥサブ部分を配置する代わりに、ルミナンス画像データ部分（２００−１）のＬＥ及びＲＥサブ部分は交換され、ＲＥサブ部分がデータ部分（２００−１）の左半分に配置され、ＬＥサブ部分がデータ部分（２００−１）の右半分に配置される。同様の議論がまた、他のデータ部分（２００−２及び２００−３）に適用される。

【0078】

マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、フル解像度フィルタリングＬＥ及びＲＥ画像フレームを形成するため、ベースレイヤの１／２の解像度の画像データ部分とエンハンスメントレイヤの補完的な１／２の解像度の画像データ（データ部分２００−１〜２００−３などにおける）とを組み合わせてもよい。高空間周波数コンテンツがアップストリーム符号化装置（図１Ａの１００など）によりフィルタリングされたため、合成されたフル解像度フィルタリングＬＥ及びＲＥ画像フレームは、高空間周波数コンテンツに対応する画像詳細を有しない。

【0079】

４．２．２つの視点の一方のための非フィルタリングフル解像度画像データ
実施例では、エンハンスメントレイヤ（図１Ａの１１２−２又は図１Ｃの１５８−２）のＥＬ画像データ（データ部分２００−１〜２００−３などにおける）は、何れか所与の時点におけるＬＥ及びＲＥ視点の一方の非フィルタリングフル解像度画像データを搬送してもよい。具体的には、非フィルタリングフル解像度画像データは、非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ又は１０２−Ｒ）」の一方の画像データを有してもよい。実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、採用されたサンプリング方式に従って非フィルタリングフル解像度画像データをサブサンプリングする。

【0080】

図３Ｂは、図２に示される一例となる画像コンテナフォーマットに基づき、ＬＥ及びＲＥ視点の一方の非フィルタリングフル解像度画像データを有するＥＬ画像データの一例となる画像データ構成を示す。説明のため、図３Ｂの画像データ構成の非フィルタリングフル解像度画像データは、ＬＥ視点のものである。実施例では、必要に応じて採用されたサンプリング方式の下でサブサンプリングされた非フィルタリングフル解像度ＬＥ画像フレーム（１０２−Ｌ）のルミナンス画像データは、ＹＣｂＣｒカラー空間のルミナンスチャネルのために指定されたデータ部分（２００−１など）に保持され、必要に応じて採用されたサンプリング方式の下でサブサンプリングされた非フィルタリングフル解像度ＬＥ画像フレーム（１０２−Ｌ）のＣｂ画像データは、ＹＣｂＣｒカラー空間のＣｂクロマチャネルのために指定されたデータ部分（２００−２など）に保持され、必要に応じて採用されたサンプリング方式の下でサブサンプリングされた非フィルタリングフル解像度ＬＥ画像フレーム（１０２−Ｌ）のＣｒ画像データは、ＹＣｂＣｒカラー空間のＣｂクロマチャネルのために指定されたデータ部分（２００−３）に保持される。

【0081】

異なるカラーチャネルの非フィルタリング画像データ部分のサイズは、必要に応じて調整による採用されたサンプリング方式に指定されたものに限定されてもよい。

【0082】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、ＬＥ視点とＲＥ視点との間でエンハンスメントレイヤにおける非フィルタリングフル解像度画像データを適応的にスイッチする。エンハンスメントレイヤの非フィルタリングフル解像度画像データのキャリッジは、３Ｄ画像間、シーン間、固定期間の間においてＬＥ視点とＲＥ視点との間で交互とされてもよい。実施例では、固定的な期間は、１つのフレーム又は複数のフレームの再生時間であってもよい。実施例では、当該期間の長さは、プログラム毎に可変であってもよい。ＬＥ視点とＲＥ視点との間で非フィルタリングフル解像度画像データを交代で搬送する他の方法が利用されてもよい。他の実施例では、入力３Ｄ画像（又はそれらのＬＥ及びＲＥの構成要素となる画像フレーム）１以上の信号特性（フィンガープリント、統計的ルミナンス値、動き、クロマ特徴、シャープネス、明るさ、カラーなど）が、視点間エンハンスメントレイヤにおけるスイッチ又は遷移が実行されるか、また何れの時点で実行されるか判断するため、ここに説明されるマルチレイヤ３Ｄビデオエンコーダにより利用されてもよい。

【0083】

マルチレイヤ画像データ間の統計的冗長性をフルに利用するためのレイヤ内予測及び／又はレイヤ間予測機能は、エンハンスメントレイヤにおける非フィルタリングフル解像度画像データの搬送のためのビットレート要求を低減するのに利用されてもよい。ＲＰＵ（図１Ａの１１４など）は、ベースレイヤにおける非フィルタリングフル解像度画像フレーム（１０２−Ｌなど）から導出される１／２の解像度の画像データ部分をアップサンプリングし、非フィルタリングフル解像度画像フレーム（１０２−Ｌ）の予測リファレンスフレームを生成してもよい。予測リファレンスフレームと非フィルタリングフル解像度画像フレーム（１０２−Ｌ）との間の残差（又は差分）は、予測リファレンスフレームを生成する際に利用されるリファレンスパラメータセットと共に、エンハンスメントレイヤにおいて搬送されてもよい。

【0084】

マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）から受信したリファレンスパラメータセットを用いてベースレイヤの同一の１／２の解像度の画像データ部分をアップサンプリングし、予測リファレンスフレームを生成し、予測リファレンスフレームの画像データとエンハンスメントレイヤから受信した残差との和によって、第１視点（本例では左目視点など）の非フィルタリングフル解像度画像データにより画像フレームを生成する。更に、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、ベースレイヤの他方の非フィルタリングフル解像度画像フレーム（１０２−Ｒ）から導出された他方の１／２の解像度の画像データ部分に基づき、第２の異なる視点（本例では右目視点など）のフィルタリングされた画像データのみを有するアップサンプリングされた画像フレームを生成してもよい。

【0085】

４．３．解像度−非対称非フィルタリングルミナンス画像データ
実施例では、何れか所与の時点において、エンハンスメントレイヤのＥＬ画像データ（図１Ａの１１２−２又は図１Ｃの１５８−２）は、第１視点（左目視点など）の非フィルタリングフル解像度ルミナンスデータと、異なる第２視点の非フィルタリング１／２解像度ルミナンス画像データとを搬送してもよい。非フィルタリングフル解像度画像データは、第１視点の非フィルタリングフル解像度画像フレーム（図１Ａの１０２−Ｌなど）のルミナンス画像データを有し、非フィルタリング１／２解像度ルミナンス画像データは、第２視点の他方の非フィルタリングフル解像度画像フレーム（本例では図１Ａの１０２−Ｒ）の１／２解像度ルミナンス画像データを有してもよい。実施例では、第２視点の非フィルタリング１／２解像度ルミナンス画像データと、第２視点のＢＬルミナンス画像データ部分とは、他方の非フィルタリングフル解像度画像フレーム（本例では図１Ａの１０２−Ｒ）の同じピクセル部分のルミナンス画像データを搬送する。実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、採用されたサンプリング方式の下でＥＬ画像データをサブサンプリングする。

【0086】

図３Ｃは、（４−２−０などの）サンプリング方式下のＹＣｂＣｒカラー空間における第１視点の非フィルタリングフル解像度ルミナンス画像データと、異なる第２視点のフィルタリング１／２解像度ルミナンス画像データとを有するＥＬ画像データの一例となる画像データ構成を示す。説明のため、画像データ構成の非フィルタリングフル解像度ルミナンス画像データはＬＥ視点のものであり、画像データ構成の非フィルタリング１／２解像度ルミナンス画像データはＲＥ視点のものである。

【0087】

実施例では、必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリングフル解像度ＬＥ画像フレーム（１０２−Ｌ）のルミナンス画像データは、ＹＣｂＣｒカラー空間におけるルミナンスチャネルのために指定されたデータ部分（２００−１）に保持される。必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリング１／２解像度ルミナンス画像データ（により表されるピクセルの上半分など）の第１部分は、ＹＣｂＣｒカラー空間におけるＣｂクロマチャネルのために指定されるデータ部分（２００−２）に保持される。必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリング１／２解像度ルミナンス画像データ（により表されるピクセルの下半分など）の第２部分は、ＹＣｂＣｒカラー空間のＣｂクロマチャネルのために指定されたデータ部分（２００−３）に保持される。

【0088】

異なる視点の非フィルタリング画像データ部分のサイズは、必要に応じて何れかの調整による採用されたサンプリング方式に指定されたものと整合するよう限定されてもよい。

【0089】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、ＬＥ視点とＲＥ視点との間においてエンハンスメントレイヤにおける非フィルタリングフル解像度ルミナンス画像データと対応する非フィルタリング１／２解像度ルミナンス画像データとを適応的にスイッチする。エンハンスメントレイヤによる非フィルタリングフル解像度画像データの搬送波、３Ｄ画像間、シーン間、プログラム間、固定期間の間にＬＥ視点とＲＥ視点との間で交代されてもよい。ＬＥ視点とＲＥ視点との間で非フィルタリングフル解像度ルミナンス画像データを交互に搬送する他の方法がまた利用されてもよい。

【0090】

エンハンスメントレイヤを介し非フィルタリングフル解像度ルミナンス画像データを送信するため、ＲＰＵ（図１Ａの１１４など）は、データ部分２００−１の非フィルタリングフル解像度ルミナンス画像データの予測リファレンス値を生成するため、第１視点（前述した例では左目視点など）のＢＬ１／２解像度ルミナンス画像データ部分をアップサンプリングしてもよい。ＲＰＵ（１１４）は、データ部分２００−２及び２００−３における非フィルタリング１／２解像度ルミナンス画像データの更なる予測リファレンス値を生成するため、異なる第２視点（右目視点）のＢＬ１／２解像度ルミナンス画像データ部分をアップサンプリングしてもよい。１以上の処理が、これらの予測リファレンス値のレイヤ間予測クオリティを向上させるため適用されてもよい。

【0091】

第１視点（１０２−Ｌ）の非フィルタリング画像フレームにおける予測リファレンス値とフル解像度ルミナンス画像データとの間のルミナンス残差（又は差分）が計算されてもよい。ルミナンス残差はデータ部分２００−１に格納される。第２視点（１０２−Ｒ）のための他方の非フィルタリング画像フレームにおける更なる予測リファレンス値と１／２解像度ルミナンス画像データとの更なるルミナンス残差（又は差分）がまた計算されてもよい。更なるルミナンス残差は、データ部分２００−２及び２００−３に格納される。

【0092】

全てのデータ部分２００−１〜２００−３におけるルミナンス残差は、その後、予測リファレンス値と更なる予測リファレンス値とを生成するのに利用されるリファレンスパラメータセットと共に、エンハンスメントレイヤにおいて搬送される。

【0093】

マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、リファレンスパラメータセットを用いて第１視点のためのベースレイヤにおける１／２解像度ルミナンス画像データ部分を受信及びアップサンプリングし、予測リファレンス値を生成し、予測リファレンス値とエンハンスメントレイヤから受信したルミナンス残差（データ部分２００−１における）との和によって、第１視点の出力画像フレームにおける非フィルタリングフル解像度ルミナンス画像データを更に生成してもよい。

【0094】

マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、リファレンスパラメータセットを用いて第２視点のためのベースレイヤにおける１／２解像度ルミナンス画像データ部分を受信及びアップサンプリングし、更なる予測リファレンス値を生成し、更なる予測リファレンス値とエンハンスメントレイヤから受信した更なるルミナンス残差（データ部分２００−２及び２００−３における）との和によって、第２視点の他の出力画像フレームにおける１／２解像度ルミナンス画像データを生成する。

【0095】

実施例では、１以上のエンハンスメントレイヤは、ルミナンス画像データのみを搬送し、クロマ画像データを搬送しない。非フィルタリングフル解像度（ルミナンスなど）画像データの少なくとも一部により３Ｄ画像を生成するため、ベースレイヤのクロマ画像データは、３Ｄ画像のための出力ＬＥ及びＲＥ画像フレームを形成するため、ダウンストリーム装置（図１Ｃのマルチレイヤビデオデコーダ１５０など）によって、必要に応じてアップサンプリングされ、ルミナンス画像データにより補間されてもよい。

【0096】

４．４．非フィルタリングフル解像度画像データの選択された部分
いくつかの実施例では、１以上のエンハンスメントレイヤは、非フィルタリングフル解像度ＬＥ及びＲＥ画像フレームの双方（図１Ａの１０２−Ｌ及び１０２−Ｒなど）における非フィルタリングフル解像度画像データの選択された部分を有してもよい。ここで用いられる“選択された部分”とは、画像フレームにおけるピクセルの総数の１００％未満の何れかの部分を表すものであってもよい。ここで説明されるような選択される部分は、画像フレームのピクセルの総数の０〜１００％、１０〜９０％、２０〜８０％、３０〜７０％、４０〜６０％、５０％又は他のパーセンタイル範囲の１つからなるものであってもよい。

【0097】

実施例では、同じサンプリング方式が、（ａ）非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒなど）と、（ｂ）非フィルタリングフル解像度ＬＥ及びＲＥ画像フレームの選択された部分を有するＥＬ画像データとの双方に適用される。ローパスフィルタリングとサブサンプリングとの何れも、エンハンスメントレイヤにおける非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒ）の選択された部分を保持するのに必要であってもよい。

【0098】

頻繁に、３Ｄ画像の顕著な部分のみが３Ｄ画像のローパスフィルタリングバージョン（図１Ｂの１７２−Ｌ及び１７２−Ｒなど）と３Ｄ画像の非フィルタリングフル解像度バージョン（図１Ａの１０２−Ｌ及び１０２Ｒなど）との間の有意に目立つ差分を示すであろう。この観察は、広範な３Ｄコンテンツにより行われてもよい。いくつかの実施例では、フルサイズの非フィルタリングフル解像度ＬＥ及びＲＥデータの双方の搬送が利用可能でないか、又はサポート可能でないとき、視覚的に顕著なエリア（３Ｄ画像の中央の矩形部分、３Ｄ画像の中央の楕円部分又は３Ｄ画像の他の視覚的に顕著な部分など）のみを送信することが賢明である。

【0099】

図３Ｄは、非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒなど）における非フィルタリングフル解像度画像データの選択された部分を格納するＥＬ画像データにおける一例となる画像データ構成を示す。

【0100】

実施例では、必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリングフル解像度ＬＥ及びＲＥ画像フレームの選択された部分のルミナンス画像データは、ＹＣｂＣｒカラー空間における画像フレームのルミナンスチャネルについて指定されたデータ部分（２００−１）に保持される。必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（１０２−Ｌ又は１０２−Ｒ）の選択された部分のＣｂ画像データは、ＹＣｂＣｒカラー空間における画像フレームのＣｂカラーチャネルについて指定されたデータ部分（２００−２）に保持される。必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（１０２−Ｌ又は１０２−Ｒ）の選択された部分のＣｒ画像データは、ＹＣｂＣｒカラー空間における画像フレームのＣｒカラーチャネルについて指定されたデータ部分（２００−３）に保持される。

【0101】

異なる視点における非フィルタリング及びフィルタリング画像データ部分のサイズは、必要に応じて採用されたサンプリング方式に指定されたものと整合するよう調整されてもよい。

【0102】

限定することなく、選択された部分のポジションを示す情報を含むジオメトリック情報が、例えば、ＲＰＵストリーム（図１Ａ又は１Ｃの１１８−２）における１以上のビデオ信号を介し送信されてもよい。

【0103】

エンハンスメントレイヤを介し非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）の選択された部分の非フィルタリングフル解像度画像データを送信するため、ＲＰＵ（図１Ａの１１４など）は、非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）の選択された部分について予測リファレンス値を生成するため、ＢＬ１／２解像度画像データ部分の選択された部分をアップサンプリングしてもよい。１以上の処理が、これらの予測リファレンス値のレイヤ間予測クオリティを向上させるのに適用されてもよい。

【0104】

非フィルタリングフル解像度ＬＥ及びＲＥ画像フレーム（１０２−Ｌ及び１０２−Ｒ）の選択された部分におけるリファレンス値とフル解像度ルミナンス画像データとの間の残差（又は差分）が計算されてもよい。当該残差は、その後にデータ部分２００−１〜２００−３に配置される。

【0105】

データ部分２００−１〜２００−３における残差は、予測リファレンス値を生成するのに利用されるリファレンスパラメータセットと共に、エンハンスメントレイヤにより受信側装置に送信される。

【0106】

実施例では、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、アップサンプリングされたＬＥ及びＲＥ画像フレームを形成するため、ベースレイヤにおける画像データ部分を受信及びアップサンプリングする。マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、リファレンスパラメータセットを用いてアップサンプリングされたＬＥ及びＲＥ画像フレームの選択された部分を利用して、リファレンスパラメータセットを計算し、エンハンスメントレイヤから受信した残差（データ部分２００−１〜２００−３における）と予測リファレンス値との和によって、出力ＬＥ及びＲＥ画像フレーム（図１Ｃの１７６−Ｌ及び１７６−Ｒなど）の選択された部分を更に生成／置換する。

【0107】

４．５．視点の１つにタイする非フィルタリングフル解像度ルミナンス画像データの選択された部分
実施例では、何れか所与の時点において、エンハンスメントレイヤのＥＬ画像データ（図１Ａの１１２−２又は図１Ｃの１５８−２）が、第１視点（左目視点など）の非フィルタリングフル解像度ルミナンス画像データと、異なる第２視点の非フィルタリングフル解像度ルミナンス画像データの選択された部分とを提供してもよい。第１視点の非フィルタリングフル解像度ルミナンス画像データは、第１視点の非フィルタリングフル解像度画像フレーム（図１Ａの１０２−Ｌなど）のルミナンス画像データを有し、第２視点の非フィルタリングフル解像度画像データの選択された部分は、第２視点の他方の非フィルタリングフル解像度画像フレーム（本例では図１Ａの１０２−Ｒ）の選択された部分のルミナンス画像データを有してもよい。

【0108】

図３Ｅは、第１視点（左目視点など）の非フィルタリングフル解像度ルミナンス画像データと、異なる第２視点（右目視点など）の非フィルタリングフル解像度ルミナンス画像データの選択された部分とを有するＥＬ画像データの一例となる画像データ構成を示す。

【0109】

実施例では、必要に応じて採用されたサンプリング方式下でサブサンプリングされた非フィルタリングフル解像度ＬＥ画像フレーム（１０２−Ｌ）のルミナンス画像データは、ＹＣｂＣｒカラー空間における画像フレームのルミナンスチャネルについて指定されるデータ部分（２００−１）に保持される。いくつかのサンプリング方式下では、残りのデータ部分はデータ部分（２００−１）より小さい。例えば、４−２−０サンプリング方式では、残りのデータ部分は合計するとデータ部分（２００−１）の１／２に達するものであってもよい。従って、残りのデータ部分は、第２視点のルミナンス画像データを搬送するのに十分なデータキャパシティを有しなくてもよい。代わりに、必要に応じて採用されたサンプリング方式下でサブサンプリングされた第２視点の非フィルタリングフル解像度ルミナンス画像データの選択された部分（５０％など）（により表されるピクセルの上半分など）の第１部分は、ＹＣｂＣｒカラー空間における画像フレームのＣｂクロマチャネルについて指定されたデータ部分（２００−２）に保持される。必要に応じて採用されたサンプリング方式下でサブサンプリングされた第２視点の非フィルタリングフル解像度ルミナンス画像データの選択された部分（により表されるピクセルの下半分など）の第２部分は、ＹＣｂＣｒカラー空間における画像フレームのＣｂクロマチャネルについて指定されるデータ部分（２００−３）に保持される。

【0110】

異なる視点における非フィルタリング画像データ部分のサイズは、必要に応じて何れかの調整による採用されたサンプリング方式に指定されたものに整合するよう限定されてもよい。

【0111】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００）は、ＬＥ視点とＲＥ視点との間においてエンハンスメントレイヤにおける非フィルタリングフル解像度ルミナンス画像データと対応する非フィルタリングフル解像度ルミナンス画像データの選択された部分とをスイッチする。エンハンスメントレイヤにおける非フィルタリングフル解像度画像データの搬送波、３Ｄ画像間、シーン間、固定期間の間にＬＥ視点とＲＥ視点との間で切り替えられてもよい。ＬＥ視点とＲＥ視点との間で非フィルタリングフル解像度画像データを交互に搬送する他の方法がまた利用されてもよい。

【0112】

エンハンスメントレイヤを介し非フィルタリングフル解像度ルミナンス画像データを送信するため、ＲＰＵ（図１Ａの１１４など）は、データ部分２００−１における非フィルタリングフル解像度画像データの予測リファレンス値を生成するため、第１視点（前述の例では左目視点など）のＢＬ１／２解像度ルミナンス画像データをアップサンプリングしてもよい。ＲＰＵ（１１４）は、データ部分２００−２及び２００−３における非フィルタリングフル解像度画像データの更なる予測リファレンス値を生成するため、異なる第２視点（右目視点）のＢＬ１／２解像度ルミナンス画像データの選択された部分をアップサンプリングしてもよい。１以上の処理が、これらの予測リファレンス値のレイヤ間予測クオリティを向上させるため適用されてもよい。

【0113】

第１視点の非フィルタリング画像フレーム（１０２−Ｌ）におけるフル解像度ルミナンス画像データと予測リファレンス値との間のルミナンス残差（又は差分）が計算されてもよい。ルミナンス残差がデータ部分２００−１に格納される。第２視点（１０２−Ｒ）の非フィルタリングフル解像度ルミナンス画像データの選択された部分と更なる予測リファレンス値との間の更なるルミナンス残差（又は差分）がまた計算されてもよい。更なるルミナンス残差はデータ部分２００−２及び２００−３に格納される。

【0114】

データ部分２００−１〜２００−３におけるルミナンス残差は、予測リファレンス値と更なる予測リファレンス値とを生成する際に利用されるリファレンスパラメータセットと共に、エンハンスメントレイヤにおいて出力される。限定することなく、選択された部分のポジションを示す情報を含むジオメトリック情報が、ＲＰＵストリーム（図１Ａ又は１Ｃの１１８−２）により１以上のビデオ信号を介し送信されてもよい。

【0115】

マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、リファレンスパラメータセットを用いて第１視点のベースレイヤにおける１／２解像度ルミナンス画像データ部分を受信してアップサンプリングし、予測リファレンス値を生成し、エンハンスメントレイヤから受信したルミナンス残差（データ部分２００−１における）と予測リファレンス値との和によって、第１視点の出力画像フレームにおいて非フィルタリングフル解像度ルミナンス画像データを更に生成する。

【0116】

実施例では、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、第２視点のアップサンプリングされた画像フレームを形成するため、ベースレイヤにおいて１／２解像度ルミナンス画像データ部分を受信してアップサンプリングする。マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、リファレンスパラメータセットを用いてアップサンプリングされた画像フレームの選択された部分を用いて予測リファレンス値を計算し、エンハンスメントレイヤから受信した残差（データ部分２００−１〜２００−３における）と予測リファレンス値との和によって、出力画像フレーム（図１Ｃの１７６−Ｒなど）の選択された部分を更に生成／置換する。

【0117】

実施例では、ベースレイヤにおけるクロマ画像データは、３Ｄ画像の出力ＬＥ及びＲＥ画像フレームを形成する一部として、ダウンストリーム装置（図１Ｃのマルチレイヤビデオデコーダ１５０など）によってアップサンプリングされ、ルミナンス画像データにより補間されてもよい。

【0118】

４．６．フォールバック又は代替的な画像データ構成
説明のため、一例となるＥＬデータ構成は、ルミナンス画像データと非ルミナンス画像データとの双方を含むか、又は一方の視点のルミナンス画像データと他方の視点のパーシャルルミナンス画像データとの双方を含むことが説明された。フォールバックとして、これらの例示的なＥＬデータ構成は、例えば、現在のネットワーク状態に動的に基づき、より少ない画像データを搬送するよう構成されてもよい。いくつかの実施例では、ルミナンス画像データのみが、一方又は双方の視点について受信側装置に送信される。例えば、図２のデータ部分２００−２及び２００−３は、スタブ値（ｓｔｕｂ ｖａｌｕｅ）によるフラット画像のみを搬送してもよく、当該スタブ値は、８ビット画像データのケースにおいてそれぞれが１２８に設定されるｐｅｌ値（ｐｅｌ ｖａｌｕｅ）（又はフォールバック）であってもよい。

【0119】

図４は、一例となるフォールバックデータ構成を示す。図４（ａ）に示されるような例では、データ部分２００−１は、図３Ａに示されるものと同様に、ＬＥ視点とＲＥ視点との双方のフィルタリング１／２解像度ルミナンス画像データを伝送するのに利用されてもよい。しかしながら、図４のデータ部分２００−２及び２００−３は、Ｃｂ／Ｃｒ画像データの代わりに、ｐｅｌ値（１２８など）のみを含む。図４（ｂ）に示されるような他の例では、データ部分２００−１は、図３Ｂ、３Ｃ及び３Ｅに示されるものと同様に、第１視点の非フィルタリングフル解像度ルミナンス画像データを搬送してもよい。しかしながら、図４のデータ部分２００−２及び２００−３は、Ｃｂ／Ｃｒ画像データ又は他のルミナンス画像データの代わりに、ｐｅｌ値（１２８など）のみを含む。図４（ｃ）に示されるような更なる例では、データ部分２００−１は、図３Ｄに示されるものと同様に、ＬＥ視点とＲＥ視点との双方について非フィルタリングフル解像度ルミナンス画像データの選択された部分を伝送するのに利用されてもよい。しかしながら、図４のデータ部分２００−２及び２００−３は、Ｃｂ／Ｃｒ画像データの代わりに、ｐｅｌ値（１２８など）のみを含む。

【0120】

これらの例のＥＬデータ構成においてｐｅｌ値を利用することは、ビデオ圧縮において無視しうるビット数しか使用しない。

【0121】

説明のため、ＥＬ画像データの複数のフォールバック及び非フォールバックデータ構成が示された。他のタイプのデータ構成が、本発明の範囲内において利用されてもよい。更に、上述したデータ構成の組み合わせは、１以上のエンハンスメントレイヤにおいて画像データを搬送するのに利用されてもよい。実施例では、データ部分２００−１は、図３Ｄに示されるようなＥＬルミナンスデータを搬送するのに利用されてもよく、データ部分２００−２及び２００−３は、非フィルタリングフル解像度ＬＥ及びＲＥルミナンス画像データの残りのピクセルの一部を搬送するのに利用されてもよい。

【0122】

実施例では、画像フレーム（図１Ａの１１２−２又は図１Ｃの１５８−２）のルミナンスチャネルは、１以上のエンハンスメントレイヤを介しオリジナルの非フィルタリングフル解像度入力ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒなど）における非フィルタリングルミナンス画像データのサブセットを伝送するのに利用され、画像フレーム（図１Ａの１１２−２又は図１Ｃの１５８−２）のクロマチャネルは、（ａ）オリジナルの非フィルタリングフル解像度入力ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒ）の残りのルミナンスデータのサブセット、（ｂ）オリジナルの非フィルタリングフル解像度入力ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒ）から導出される補完的なフィルタリング画像データ（図１Ａの１１２−１又は図１Ｃの１５８−１）のサブセット、又は（ｃ）オリジナルの非フィルタリングフル解像度入力ＬＥ及びＲＥ画像フレーム（図１Ａの１０２−Ｌ及び１０２−Ｒ）における非フィルタリングクロマデータのサブセットを搬送するのに利用される。

【0123】

実施例では、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）が、１以上のデータ部分におけるｐｅｌ値によりＥＬ画像データを処理するよう構成されてもよい。例えば、データ部分（２００−１〜２００３−の１つなど）は、基礎となるネットワーク状態により３Ｄ画像データの配信を徴するため、ｐｅｌ値によって可変的、部分的又は全体的に占有されてもよい。マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０）は、出力ＬＥ及びＲＥ画像フレームを生成する一部としてｐｅｌ値により置換された欠落した画像データをアップサンプリング及び／又は補間してもよい。

【0124】

これらの例示的なデータ構成は、エンハンスメントレイヤが限定的な帯域幅に割り当てられるとき、又は割り当てられた場合に利用されてもよい。ここに説明されるように技術の下、特に利用可能な帯域幅が低く、クオリティ３Ｄ画像を生成するためのビットレート要求が高いとき、出力３Ｄ画像のクオリティがクロマ画像データよりルミナンス画像データに大きく依存するため、ルミナンス画像データは、エンハンスメントレイヤの他の画像データにタイして最大程度まで優先化される。

【0125】

いくつかの実施例では、アップストリーム装置（図１Ａの１００などのマルチレイヤ３Ｄビデオエンコーダを有してもよい）は、複数の異なるタイプのデータ構成をサポートし、複数の異なるタイプのデータ構成の何れによりＥＬ画像データを送信してもよい。異なるタイプのデータ構成は、限定することなく、図３及び４に示されるようなデータ構成の具体例を含むものであってもよい。実施例では、アップストリーム装置は、１つのフレーム、複数のフレーム、１つのシーン、複数のシーン、１秒、複数秒、１つのプログラム、複数のプログラムなどの１以上のデータ構成を利用するため、予め設定されるか、ランタイム中に動的に設定されるか、又はユーザにより手動により設定されてもよい。更に及び／又は任意的に、異なるタイプのデータ構成の間のＥＬ画像データの搬送を切り替える他の方法が利用されてもよい。例えば、入力３Ｄ画像（又はそれらのＬＥ及びＲＥ構成要素の画像フレーム）の１以上の信号特性（フィンガープリント、統計的ルミナンス値、動き、クロマ特徴、シャープネス、明るさ、カラーなど）が、特定タイプのデータ構成がＥＬ画像データを送信するのに利用されるべきか、また何れの時点で利用されるべきか判断するため、ここに説明されるマルチレイヤ３Ｄビデオエンコーダにより利用されてもよい。

【0126】

いくつかの実施例では、ダウンストリーム装置（図１Ｃの１５０などのマルチレイヤ３Ｄビデオデコーダを有してもよい）は、１以上の異なるタイプのデータ構成をサポートし、１以上の異なるタイプのデータ構成の何れによりＥＬ画像データを受信してもよい。実施例では、ダウンストリーム装置は、１以上の異なるタイプのデータ構成によりビデオ信号を選択的に受信するため、予め設定されるか、ランタイム中に動的に設定されるか、又はユーザにより手動により設定されてもよい。

【0127】

いくつかの実施例では、アップストリーム装置は、現在のネットワーク状態及び／又は受信側装置の特性に基づき、１以上の特定タイプのデータ構成によりＥＬ画像データを送信してもよい。いくつかの実施例では、ダウンストリーム装置は、現在のネットワーク状態及び／又は同一のメディアコンテンツの異なるタイプのデータ構成の可用性に基づき、１以上の特定タイプのデータ構成のＥＬ画像データにより１以上のビデオ信号を選択してもよい。いくつかの実施例では、ここで説明されるような画像処理装置は、可能な最良のステレオ３Ｄ視聴体感を提供する１以上の異なるタイプのデータ構成により動作するよう構成される。

【0128】

更に及び／又は任意的には、変換、量子化、エントロピー符号化、画像バッファリング、サンプルフィルタリング、ダウンサンプリング、アップサンプリング、補間、多重化、逆多重化、インタリーブ、アップスケーリング、ダウンスケーリング、動き補償、ディスパリティ推定、ディスパリティ補償、デプス推定、デプス補償、符号化、復号化などの１以上が、ここに説明されるようなビデオエンコーダ又はデコーダにより実行されてもよい。

【0129】

ここに説明されるような技術は、知覚された立体３Ｄにおいてより良好な空間解像度を生成する。いくつかの実施例では、ＢＬ ３Ｄ画像を復号化可能なデコーダとの後方互換性と、補完的なフィルタリングＥＬ ３Ｄ画像データを復号化可能なデコーダとの後方互換性との１以上が維持される。従って、いくつかの実施例では、ここで説明されるビデオ信号は、３Ｄコンテンツ配信のための既存のフレームコンパチブルシステムと後方互換的であり、現在のＦＣＦＲフレームワークと共に利用されてもよい。更に、ここに説明される技術は、３Ｄ視覚的クオリティの最良の再生を生成するため、エンハンスメントレイヤにおいて異なるタイプの画像データ構成間の切り替えのフレキシビリティを提供する。

【0130】

５．一例となる処理フロー
図５Ａは、本発明の実施例による一例となる処理フローを示す。いくつかの実施例では、１以上の計算装置又はコンポーネントが、当該処理フローを実行してもよい。ブロック５０２において、マルチレイヤ３Ｄビデオエンコーダ（図１Ａの１００など）は、入力３Ｄ画像シーケンスにおける第１入力３Ｄ画像を受信する。第１入力３Ｄ画像は、第１視点の第１入力画像フレームと異なる第２視点の第２入力画像フレームとを有する。

【0131】

ブロック５０４において、マルチレイヤ３Ｄビデオエンコーダ（１００）は、１以上の判定ファクタに基づき、複数の異なるタイプのデータ構成から１以上のエンハンスメントレイヤにおいてエンハンスメントレイヤ（ＥＬ）画像データを送信するのに利用される特定タイプのデータ構成を選択する。

【0132】

ブロック５０６において、マルチレイヤ３Ｄビデオエンコーダ（１００）は、第１及び第２入力画像フレームの１以上を用いて１以上のカラーチャネルにおける画像データを導出する。

【0133】

ブロック５０８において、マルチレイヤ３Ｄビデオエンコーダ（１００）は、特定タイプのデータ構成においてＥＬ画像データとして１以上のカラーチャネルにおいて画像データを符号化及び出力する。

【0134】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（１００）は、第１及び第２入力画像フレームに基づき、第１及び第２視点の低減された解像度の画像データを生成し、ベースレイヤに低減された解像度の画像データを符号化及び出力する。実施例では、１以上のカラーチャネルにおける画像データは、第１及び第２入力画像フレームの１以上から導出される非フィルタリング高空間周波数コンテンツを有し、低減された解像度の画像データは、第１及び第２入力画像フレームから導出されるフィルタリング画像データを有する。

【0135】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（１００）は、低減された解像度の画像データとリファレンスパラメータセットとに少なくとも部分的に基づき複数の予測リファレンス値を生成し、第１及び第２入力画像フレームの少なくとも１つの１以上のカラーチャネルにおける複数のピクセル値と複数の予測リファレンス値との間の複数の残差値として、１以上のカラーチャネルの画像データを計算し、１以上のカラーチャネルにおける画像データと共にリファレンスパラメータセットを符号化及び出力する。

【0136】

実施例では、入力３Ｄ画像シーケンスは、第１視点の第３入力画像フレームと第２視点の第４入力画像フレームとを有する第２の異なる入力３Ｄ画像を有する。マルチレイヤ３Ｄビデオエンコーダ（１００）は、１以上の判定ファクタに基づき、複数の異なるタイプのデータ構成から１以上のエンハンスメントレイヤにより第２ＥＬ画像データを送信するのに利用される第２の特定タイプのデータ構成を選択し、第３及び第４入力画像フレームの１以上から、１以上の第２カラーチャネルの第２画像データを導出し、第２の特定タイプのデータ構成における第２ＥＬ画像データとして１以上の第２カラーチャネルの第２画像データを符号化及び出力する。実施例では、ＥＬ画像データの特定タイプのデータ構成を示す第１ＥＬ画像データ記述子は、ＥＬ画像データと共にエンハンスメントレイヤにより出力され、第２ＥＬ画像データの第２の特定タイプのデータ構成を示す異なる第２ＥＬ画像データ記述子は、第２画像データと共にエンハンスメントレイヤにおいて出力される。実施例では、ＥＬ画像データ記述子シーケンスは、入力３Ｄ画像シーケンスから導出された画像データと共にエンハンスメントレイヤにおいて出力される。第１ＥＬ画像データ記述子は、ＥＬ画像データ記述子シーケンスにおいて第２ＥＬ画像データ記述子の直前にあり、第１ＥＬ画像データ記述子は、フレームレベル、シーンレベル又は固定期間レベルにおいてＥＬ画像データ記述子シーケンスの第２ＥＬ画像データ記述子に遷移する。

【0137】

実施例では、１以上のカラーチャネルは、ＲＧＢカラー空間、ＹＣｂＣｒカラー空間又は他のカラー空間の１つによる少なくとも１つのカラーチャネルを有する。

【0138】

実施例では、画像コンテナは、１以上のカラーチャネルにより画像データを保持するのに利用され、画像コンテナは、サンプリング方式下でサンプリングされた２以上のデータ部分を有し、画像コンテナは、複数のサンプリング方式に関する複数の画像コンテナから選択される。いくつかの実施例では、複数のサンプリング方式は、４−４−４サンプリング方式、４−２−２サンプリング方式、４−２−０サンプリング方式又は他のサンプリング方式を少なくとも有する。

【0139】

いくつかの実施例では、複数の異なるタイプのデータ構成は、（ａ）ベースレイヤを介し送信されるフィルタリングされた低減された解像度の画像データを補完する補完的フィルタリング低解像度画像データ、（ｂ）第１及び第２視点の一方の非フィルタリングフル解像度画像データ、（ｃ）第１視点の非フィルタリングフル解像度ルミナンス画像データ及び第２視点の１／２解像度ルミナンス画像データ、（ｄ）第１及び第２入力画像フレームの選択された部分から導出される非フィルタリングフル解像度ルミナンス画像データ、（ｅ）第１視点の非フィルタリングフル解像度ルミナンス画像データと第２視点のパーシャル非フィルタリングフル解像度ルミナンス画像データ、及び（ｄ）画像データの一部をｐｅｌ値と少なくとも置換することによる１以上のフォールバックタイプのデータ構成の１以上を有する。

【0140】

実施例では、１以上の判定ファクタは、オーディオ及びビデオ信号特性、複数の異なるタイプのデータ構成の各自の帯域幅要求、アップストリーム装置と受信側装置との間の現在のネットワーク接続に関する帯域幅制約、現在のネットワーク接続によりサポートされる最大、平均又は最小ビットレート、及び／又は現在のネットワーク接続の１以上のＱｏＳ指標の１以上を有する。

【0141】

実施例では、マルチレイヤ３Ｄビデオエンコーダ（１００）は、１以上の入力ビデオ信号により表現、受信、送信又は格納される１以上の入力３Ｄ画像を、１以上の出力ビデオ信号により表現、受信、送信又は格納された１以上の出力３Ｄ画像に変換する。

【0142】

いくつかの実施例では、第１入力３Ｄ画像とＥＬ画像データとの少なくとも１つは、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像フォーマット、ＡＭＰＡＳ（Ａｃａｄｅｍｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ）のＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格に関するＲＧＢカラー空間、Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ ＩｎｉｔｉａｔｉｖｅのＰ３カラー空間規格、ＲＩＭＭ／ＲＯＭＭ（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ）規格、ｓＲＧＢカラー空間又はＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ）のＢＴ．７０９ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関するＲＧＢカラー空間の１つにより符号化される画像データを有する。

【0143】

図５Ｂは、本発明の実施例による一例となる処理フローを示す。実施例では、１以上の計算装置又はコンポーネントが当該処理フローを実行してもよい。ブロック５５２において、マルチレイヤ３Ｄビデオデコーダ（図１Ｃの１５０など）は、３Ｄ画像のベースレイヤ及び入力エンハンスメントレイヤ（ＥＬ）画像データにおける３Ｄ画像の第１視点と異なる第２視点との入力された低減された解像度の画像データを受信し、１以上のエンハンスメントレイヤにおいて入力ＥＬ画像データ記述子を受信する。入力ＥＬ画像データ記述子は、１以上のエンハンスメントレイヤにおいて入力ＥＬ画像データの特定タイプのデータ構成を示す。

【0144】

ブロック５５４において、マルチレイヤ３Ｄビデオデコーダ（１５０）は、入力ＥＬ画像データから当該入力ＥＬ画像データ記述子により示される特定タイプのデータ構成に少なくとも部分的に基づき、１以上のカラーチャネルにおける３Ｄ画像の画像データを導出する。

【0145】

ブロック５５６において、マルチレイヤ３Ｄビデオデコーダ（１５０）は、入力低解像度画像データにによる１以上のカラーチャネルの画像データに基づき、第１視点の第１出力画像フレームと第２視点の第２出力画像フレームとを生成する。

【0146】

ブロック５５８において、マルチレイヤ３Ｄビデオデコーダ（１５０）は、第１視点の第１出力画像フレームをレンダリングし、第２視点の第２出力画像フレームをレンダリングすることによって、３Ｄ画像をレンダリングする。

【0147】

実施例では、１以上のカラーチャネルの画像データは、非フィルタリングフル解像度ソース画像データから導出された１以上のカラーチャネルにおける非フィルタリング高空間周波数コンテンツを有し、入力低解像度画像データは、非フィルタリングフル解像度ソース画像データから導出されたフィルタリング画像データを有する。

【0148】

実施例では、マルチレイヤ３Ｄビデオデコーダ（１５０）は、１以上のエンハンスメントレイヤにおける入力リファレンスパラメータセットを受信し、入力低解像度画像データと入力リファレンスパラメータセットとに少なくとも部分的に基づき、複数の予測リファレンス値を生成し、１以上のカラーチャネルの画像データの残差値及び複数の予測リファレンス値とを、第１及び第２出力画像フレームの少なくとも１つの１以上のカラーチャネルの複数の画素値に合成する。

【0149】

実施例では、３Ｄ画像は、画像データがベースレイヤと１以上のエンハンスメントレイヤとの双方から受信される３Ｄ画像シーケンス内にある。３Ｄ画像シーケンスは異なる第２の３Ｄ画像を有し、マルチレイヤ３Ｄビデオデコーダ（１５０）は更に、ベースレイヤにおいて第２の３Ｄ画像の第１視点及び第２視点の第２の入力低解像度画像データと、１以上のエンハンスメントレイヤにおいて第２の３Ｄ画像の第２入力ＥＬ画像データ及び第２入力ＥＬ画像データ記述子とを受信し、第２ＥＬ画像データ記述子は、１以上のエンハンスメントレイヤにおける第２ＥＬ画像データの第２の特定タイプのデータ構成を示し、第２ＥＬ画像データから第２ＥＬ画像データ記述子に示されるような第２の特定タイプのデータ構成に少なくとも部分的に基づき、１以上の第２カラーチャネルにおいて第２の３Ｄ画像の第２画像データを導出し、第２入力低解像度画像データによる１以上の第２カラーチャネルの第２画像データに基づき、第１視点の第３出力画像フレームと第２視点の第４出力画像フレームとを生成し、第１視点の第３出力画像フレームをレンダリングし、第２視点の第４出力画像フレームをレンダリングすることによって、第２の３Ｄ画像をレンダリングするよう構成される。

【0150】

実施例では、入力ＥＬ画像データ記述子シーケンスは、３Ｄ画像シーケンスの画像データと共にエンハンスメントレイヤにおいて入力され、第１入力ＥＬ画像データ記述子は、入力ＥＬ画像データ記述子シーケンスの第２入力ＥＬ画像データ記述子の直前にあり、第１入力ＥＬ画像データ記述子は、フレームレベル、シーンレベル又は固定期間レベルの１つにおいてＥＬ画像データ記述子シーケンスの入力第２ＥＬ画像データ記述子に遷移する。

【0151】

実施例では、１以上のカラーチャネルは、ＲＧＢカラー空間、ＹＣｂＣｒカラー空間又は他のカラー空間の１つにおいて少なくとも１つのカラーチャネルを有する。
実施例では、画像コンテナは、１以上のカラーチャネルの画像データを保持するのに利用され、画像コンテナは、サンプリング方式の下でサンプリングされた２以上のデータ部分を有し、画像コンテナは、複数のサンプリング方式に関する複数の画像コンテナからのものであり、複数のサンプリング方式は、４−４−４サンプリング方式、４−２−２サンプリング方式、４−２−０サンプリング方式又は他のサンプリング方式を少なくとも有する。

【0152】

実施例では、複数の異なるタイプのデータ構成は、（ａ）ベースレイヤを介し送信されたフィルタリング低解像度画像データを補完する補完的フィルタリング低解像度画像データ、（ｂ）第１及び第２視点の１つの非フィルタリングフル解像度画像データ、（ｃ）第１視点の完全な非フィルタリングフル解像度ルミナンス画像データ及び第２視点の１／２解像度ルミナンス画像データ、（ｄ）第１及び第２入力画像フレームの選択された部分から導出される非フィルタリングフル解像度ルミナンス画像データ、（ｅ）第１視点の完全な非フィルタリングフル解像度ルミナンス画像データ及び第２視点のパーシャル非フィルタリングフル解像度ルミナンス画像データ、及び（ｄ）画像データの少なくとも一部をｐｅｌ値により置換することによって、１以上のフォールバックタイプのデータ構成の１以上を有する。

【0153】

実施例では、マルチレイヤ３Ｄビデオデコーダ（１５０）は、１以上の入力ビデオ信号により表現、受信、送信又は格納された１以上の３Ｄ画像を処理する。

【0154】

実施例では、入力低解像度画像データ又は入力ＥＬ画像データの少なくとも一部は、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像フォーマット、ＡＭＰＡＳ（Ａｃａｄｅｍｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ａｒｔｓ ａｎｄ Ｓｃｉｅｎｃｅｓ）のＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｉｎｇ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格に関するＲＧＢカラー空間、Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ ＩｎｉｔｉａｔｉｖｅのＰ３カラー空間規格、ＲＩＭＭ／ＲＯＭＭ（Ｒｅｆｅｒｅｎｃｅ Ｉｎｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ／Ｒｅｆｅｒｅｎｃｅ Ｏｕｔｐｕｔ Ｍｅｄｉｕｍ Ｍｅｔｒｉｃ）規格、ｓＲＧＢカラー空間又はＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ）のＢＴ．７０９ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ規格に関するＲＧＢカラー空間の１つにより符号化される画像データを有する。

【0155】

各種実施例では、エンコーダ、デコーダ、システム、装置又は１以上の他の計算装置は、上述された方法の何れか又は一部を実行する。

【0156】

６．実現機構−ハードウェア概略
一実施例によると、ここに説明された技術は、１以上の特定用途計算装置により実現される。特定用途計算装置は、当該技術を実行するよう配線化されてもよく、又は当該技術を実行するよう永続的にプログラムされた１以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのデジタル電子装置を含むものであってもよく、あるいは、ファームウェア、メモリ、他のストリーム又は組み合わせにおける命令をプログラムするのに準拠した技術を実行するようプログラムされた１以上の汎用ハードウェアプロセッサを有してもよい。このような特定用途計算装置はまた、当該技術を実現するためのカスタムプログラミングとカスタム配線ロジック、ＡＳＩＣ又はＦＰＧＡとを組み合わせてもよい。特定用途計算装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯装置、ネットワーキング装置又は当該技術を実現するための配線化及び／又はプログラムロジックを搭載した他の何れかの装置であってもよい。

【0157】

例えば、図６は、本発明の実施例が実現されるコンピュータシステム６００を示すブロック図である。コンピュータシステム６００は、情報を通信するためのバス６０２又は他の通信機構と、情報を処理するためバス６０２に接続されたハードウェアプロセッサ６０４とを有する。ハードウェアプロセッサ７０４は、例えば、汎用マイクロプロセッサであってもよい。

【0158】

コンピュータシステム６００はまた、プロセッサ６０４により実行される命令及び情報を格納するため、バス６０２に接続されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又は他のダイナミックストレージ装置などのメインメモリ６０６を有する。メインメモリ６０６はまた、プロセッサ６０４により実行される命令の実行中に一時的な変数又は他の中間情報を格納するのに利用されてもよい。当該命令は、プロセッサ６０４にアクセス可能な非一時的記憶媒体に格納されると、当該命令に指定された処理を実行するようカスタマイズされた特定用途マシーンにコンピュータシステム６００をする。

【0159】

コンピュータシステム６００は更に、プロセッサ６０４の静的情報及び命令を格納するため、バス６０２に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０８又は他のスタティックストレージ装置を含む。磁気ディスクや光ディスクなどのストレージ装置６１０が備えられ、情報及び命令を格納するためバス６０２に接続される。

【0160】

コンピュータシステム６００は、コンピュータユーザに情報を表示するため、液晶ディスプレイなどのディスプレイ６１２にバス６０２を介し接続されてもよい。英数字又は他のキーを含む入力装置６１４は、プロセッサ６０４に情報及び命令の選択を通信するため、バス６０２に接続される。他のタイプのユーザ入力装置は、プロセッサ６０４に方向情報及び命令の選択を通信し、ディスプレイ６１２上のカーソルの動きを制御するため、マウス、トラックボール又はカーソル方向キーなどのカーソルコントロール６１６である。当該入力装置は、典型的には、当該装置が平面上の位置を指定することを可能にする第１軸（ｘなど）及び第２軸（ｙなど）の２つの軸の２つの自由度を有する。

【0161】

コンピュータシステム６００は、コンピュータシステムと一緒になって、コンピュータシステム６００を特定用途マシーンにする又はプログラムするカスタマイズされたカスタマイズされた配線ロジック、１以上のＡＳＩＣ若しくはＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、ここに説明された技術を実現してもよい。一実施例によると、ここでの技術は、プロセッサ６０４がメインメモリ６０６に含まれる１以上の命令シーケンスを実行することに応答して、コンピュータシステム６００により実行される。当該命令は、ストレージ装置６１０などの他の記憶媒体からメインメモリ６０６に読み込まれてもよい。メインメモリ６０６に含まれる命令シーケンスの実行は、プロセッサ６０４にここに説明される処理ステップを実行させる。他の実施例では、配線化回路が、ソフトウェア命令の代わりに又は一緒に利用されてもよい。

【0162】

ここで用いられる“記憶媒体”という用語は、マシーンに具体的な方法により動作させる命令及び／又はデータを格納する何れかの非一時的媒体を表す。当該記憶媒体は、不揮発性媒体及び／又は揮発性媒体を有してもよい。不揮発性媒体は、例えば、ストレージ装置６１０などの光又は磁気ディスクを含む。揮発性媒体は、メインメモリ６０６などのダイナミックメモリを含む。記憶媒体のための一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくは他の何れかの磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の何れかの光データ記憶媒体、ホールパターンによる何れかの物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＡＳＨ−ＥＰＲＯＭ、ＮＶＲＡＭ、他の何れかのメモリチップ又はカートリッジなどを含む。

【0163】

記憶媒体は、伝送媒体と別であるが、これと共に利用されてもよい。伝送媒体は、記憶媒体間で情報を伝送することに関与する。例えば、伝送媒体は、バス６０２を有する配線を含む同軸ケーブル、導線及び光ファイバを含む。伝送媒体はまた、無線波及び赤外線データ通信中に生成されるものなど、音響又は光波の形態をとることが可能である。

【0164】

各種形態の媒体が、実行のためプロセッサ６０４に１以上の命令シーケンスを搬送することに関与してもよい。例えば、命令は、初期的にはリモートコンピュータの磁気ディスク又はソリッドステートドライブに搬送されてもよい。リモートコンピュータは、それのダイナミックメモリに命令をロードし、モデムを用いて電話線を介し命令を送信可能である。コンピュータシステム６００にローカルなモデムは、電話線上でデータを受信し、赤外線送信機を用いて当該データを赤外線信号に変換可能である。赤外線検出装置は、赤外線信号に搬送されたデータを受信し、適切な回路がバス６０２上にデータを配置可能である。バス６０２は、データをメインメモリ６０６に搬送し、当該メモリからプロセッサ６０４は命令を抽出及び実行する。メインメモリ６０６により受信された命令は、任意的にはプロセッサ６０４による実行前又は実行後にストレージ装置６１０に格納されてもよい。

【0165】

コンピュータシステム６００はまた、バス６０２に接続される通信インタフェース６１８を有する。通信インタフェース６１８は、ローカルネットワーク６２２に接続されるネットワークリンク６２０に双方向データ通信接続を提供する。例えば、通信インタフェース６１８は、対応するタイプの電話線とのデータ通信接続を提供するためのＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）カード、ケーブルモデム、衛星モデム又はモデムであってもよい。他の例として、通信インタフェース６１８は、互換的なＬＡＮとのデータ通信接続を提供するため、ローカルエリアネットワーク（ＬＡＮ）カードであってもよい。当該実現形態では、通信インタフェース６１８は、各種タイプの情報を表すデジタルデータストリームを搬送する電気、電磁気又は光信号を送受信する。

【0166】

ネットワークリンク６２０は、典型的には、１以上のネットワークを介し他のデータ装置とのデータ通信を提供する。例えば、ネットワークリンク６２０は、インターネットサービスプロバイダ（ＩＳＰ）６２６により運営されるホストコンピュータ６２４又はデータ装置とのローカルネットワーク６２２を介した接続を提供してもよい。ＩＳＰ６２６は更に、現在一般に“インターネット”と呼ばれるワールドワイドパケットデータ通信ネットワークを介しデータ通信サービスを提供する。ローカルネットワーク６２２及びインターネット６２８は共に、デジタルデータストリームを搬送する電気、電磁気又は光信号を利用する。各種ネットワークを介した信号と、ネットワークリンク６２０及び通信インタフェース６１８を介した信号とは、コンピュータシステム６００との間でデジタルデータを搬送し、伝送媒体の具体的な形態である。

【0167】

コンピュータシステム６００は、プログラムコードを含むデータ及びメッセージをネットワーク、ネットワークリンク６２０及び通信インタフェース６１８を介し送受信可能である。インターネットの具体例では、サーバ６３０は、インターネット６２８、ＩＳＰ６２６、ローカルネットワーク６２２及び通信インタフェース６１８を介しアプリケーションプログラムのための要求されたコードを送信してもよい。

【0168】

受信したコードは、受信されると、及び／又は以降の実行のためストレージ装置６１０又は他の不揮発性ストレージに格納されると、プロセッサ６０４により実行されてもよい。

【0169】

７．均等、拡張、代替及びその他
上記明細書では、本発明の実施例が、実現形態毎に変化しうる多数の具体的な詳細を参照して説明された。従って、本発明が何であって、出願人により発明であると意図される唯一の排他的な指標は、何れか以降の訂正を含む請求項が発行する特定の形態において本出願から発行した請求項群である。当該請求項に含まれる用語についてここに明示的に提供される何れかの定義は、当該請求項に用いられるような用語の意味を支配する。従って、請求項に明示的に記載されない限定、要素、性質、特徴、効果又は属性は、当該請求項の範囲を何れかの方法に限定すべきでない。従って、明細書及び図面は、限定的でなく例示的であるとみなされるべきである。

【図1A】

【図1B】

【図1C】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】

【図5】

【図6】