知財求人 - 知財ポータルサイト「IP Force」
特表2024-528567クロス成分パラメータ計算のための装置、方法、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-30
(54)【発明の名称】クロス成分パラメータ計算のための装置、方法、およびコンピュータプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20240723BHJP
H04N 19/136 20140101ALI20240723BHJP
【ＦＩ】
H04N19/105
H04N19/136
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024500116
(86)(22)【出願日】2022-06-22
(85)【翻訳文提出日】2024-01-04
(86)【国際出願番号】 FI2022050452
(87)【国際公開番号】W WO2023281158
(87)【国際公開日】2023-01-12
(31)【優先権主張番号】20215786
(32)【優先日】2021-07-06
(33)【優先権主張国・地域又は機関】FI
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100176418
【弁理士】
【氏名又は名称】工藤 嘉晃
(72)【発明者】
【氏名】ライネマ ヤニ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159TA31
5C159TB08
5C159TC00
5C159TC02
5C159TC42
(57)【要約】
第１の色成分（Ｙ）から第２の色成分（Ｃｂ／Ｃｒ）へのマッピングを定義する少なくとも２つのパラメータ（ａ，ｂ）を計算することであり、少なくとも２つのパラメータ（ａ，ｂ）が少なくとも勾配パラメータ（ａ）およびオフセットパラメータ（ｂ）を含む、計算することと、勾配パラメータ（ａ）に対する更新項（ｕ）を決定することと、更新項（ｕ）を勾配パラメータ（ａ）の値に加えることによって更新項（ｕ）を勾配パラメータ（ａ）に適用して、更新された勾配パラメータ（ａ）を生成することと、第１の色成分（Ｙ）の参照値を決定することと、第１の色成分（Ｙ）の参照値（ｙｒ）と、更新された勾配パラメータ（ａ’）とに基づいて、更新されたオフセットパラメータ（ｂ）を計算することとを含む方法。
【選択図】図５ｂ
【選択図】図５ｂ
【特許請求の範囲】
【請求項1】
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算するための手段であり、前記少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算するための手段と、前記勾配パラメータに対する更新項を決定するための手段と、
前記更新項を前記勾配パラメータの値に加えることによって前記更新項を前記勾配パラメータに適用して、更新された勾配パラメータを生成するための手段と、
第１の色成分の参照値を決定するための手段と、
前記第１の色成分の前記参照値と、前記更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算するための手段と
を含む装置。
【請求項2】
前記第１の色成分および前記第２の色成分の値ペアからなる参照点を決定するための手段と、前記更新項および前記参照点に基づいて前記勾配パラメータおよび前記オフセットパラメータを更新するための手段と
をさらに含む、請求項１に記載の装置。
【請求項3】
前記勾配パラメータおよび前記オフセットパラメータによって決定されたラインから制御点を選択するための手段をさらに含む、請求項１または２に記載の装置。
【請求項4】
前記勾配パラメータおよび前記オフセットパラメータによって決定されたラインの外側の制御点を選択するための手段をさらに含む、請求項１または２に記載の装置。
【請求項5】
前記第１の色成分の追加の参照値を決定するための手段と、前記追加の参照値をさらに使用して、前記オフセットパラメータを更新するための手段と
をさらに含む、請求項１～４のいずれかに記載の装置。
【請求項6】
マッピングを定義する少なくとも２つのパラメータを計算するための前記手段が、前記第１の色成分および前記第２の色成分の複数の値ペアを使用して、前記勾配パラメータおよび前記オフセットパラメータを決定するように構成され、追加の参照値を決定するための前記手段が、前記値ペアの前記第１の色成分の２つ以上の値の組合せを使用するように構成される、請求項５に記載の装置。
【請求項7】
事前決定された更新項のセットと、前記更新項をビットストリームで信号通知するための手段と
をさらに含む、請求項１～６のいずれかに記載の装置。
【請求項8】
前記ビットストリームで信号通知され得る前記更新項のセットが、サンプルのブロックの特性に依存する、請求項７に記載の装置。
【請求項9】
前記第１の色成分がルマ成分であり、前記第２の色成分が１つの彩度成分であり、さらに、
現在のブロックに対してマッピングを定義する少なくとも２つのパラメータを計算するための前記手段が、前記オフセット項ｂ’を、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算するように構成され、ここで、
ａは、前記勾配パラメータであり、ｋは、シフトパラメータであり、
ｃrは、前記現在のブロックの左の境界彩度値の平均であり、ｙrは、前記現在のブロックの左の境界ルマ値の平均であり、または
ｃrは、前記現在のブロックの上の境界彩度値の平均であり、ｙrは、前記現在のブロックの上の境界ルマ値の平均であり、または
ｃrは、前記現在ブロックの左および上の境界彩度値の平均であり、ｙrは、前記現在のブロックの左および上の境界ルマ値の平均である、請求項１～８のいずれかに記載の装置。
【請求項10】
以下のこと、すなわち、前記ｃrおよびｙrパラメータを計算するための前記参照ルマおよび彩度値のセットを、前記勾配パラメータａを計算するための前記参照ルマおよび彩度値のセットよりも大きくなるように選択すること、
前記オフセットパラメータｂ’を決定するために前記ｃrおよびｙrパラメータを計算するための前記参照ルマおよび彩度値のセットを、前記勾配パラメータａを計算するための前記参照ルマおよび彩度値のセットのスーパーセットとなるように選択すること
のうちの１つまたは複数を実行するように構成される、請求項９に記載の装置。
【請求項11】
前記更新項と、実際の更新項と前記予測された更新項との間の差とを予測するための手段をさらに含む、請求項１０に記載の装置。
【請求項12】
前記予測するための手段が、前記現在のブロックの空間的にもしくは時間的に隣接するブロック、同じもしくは異なるピクチャ内の他のブロック、または異なる色成分もしくはチャネルのブロックの更新項または他のパラメータから前記予測された更新項を決定する
ように構成される、請求項１１に記載の装置。
【請求項13】
前記更新項をビットストリームから受け取るための手段を含む、請求項１～１２のいずれかに記載の装置。
【請求項14】
ルマ値を彩度値にマッピングするための線形モデルマッピングを使用して、デコードされたルマ値に基づいて、予測された彩度値を生成するための手段を含む、請求項１～１３のいずれかに記載の装置。
【請求項15】
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、前記少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、前記勾配パラメータに対する更新項を決定することと、
前記更新項を前記勾配パラメータの値に加えることによって前記更新項を前記勾配パラメータに適用して、更新された勾配パラメータを生成することと、
第１の色成分の参照値を決定することと、
前記第１の色成分の前記参照値と、前記更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することと
を含む方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオコーディングおよびデコーディングにおけるクロス成分パラメータ計算のための装置、方法、およびコンピュータプログラムに関する。
【背景技術】
【0002】
ビデオコーディングでは、ビデオおよび画像サンプルは、一般に、１つの輝度（ルマ）チャネルおよび２つのクロミナンス（彩度）チャネルからなるＹＵＶまたはＹＣｂＣｒなどの色表現を使用してエンコードされる。これらの場合、主としてシーンの照度を表す輝度チャンネルは、一般に、特定の解像度でコード化され、一方、一般に特定の色成分間の差を表すクロミナンスチャネルは、多くの場合、輝度信号の解像度よりも低い第２の解像度でコード化される。この種の差分表現の意図は、色成分を無相関化し、データをより効率的に圧縮できるようにすることである。
【0003】
多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）規格では、クロス成分線形モデル（ＣＣＬＭ）が、彩度チャネル（例えば、ＣｂおよびＣｒ）におけるサンプルを予測するための線形モデルとして使用される。このプロセスは、ルマサンプル値を彩度サンプル値にマッピングするために使用することができる線形モデルを生成する。線形モデルのパラメータは、予測ブロックの境界の外側の利用可能な再構成されたルマおよび彩度参照サンプルを使用して構成される。パラメータが構成されると、それらのパラメータによって指定された線形モデルが、予測ブロックの内側の彩度サンプル値を予測するために使用される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
彩度サンプルを予測するためにクロス成分線形モデル予測を適用することは、ルマチャネルと彩度チャネルとの間に強い線形相関がある場合、再構成されたルマブロックのテクスチャが、時には、彩度テクスチャのための非常に良好な予測子を生成することがあるので、イントラ成分空間予測と比較して効率的であり得る。しかしながら、線形モデルパラメータを生成するために使用される再構成された参照サンプルは、ノイズが多い場合があり、または実際の予測ブロックの内側のコンテンツを十分に表さない場合がある。これらの場合には、予測は失敗し、プロセスはコンテンツに対して最適とはいえないコーディング効率をもたらす。
【0005】
そこで、上述の問題を少なくとも軽減するために、ルマチャネルと彩度チャネルとの間のより良好な相関を達成するための改良された方法が本明細書において導入される。
【課題を解決するための手段】
【0006】
いくつかの態様によれば、線形モードパラメータのうちの１つまたは複数の更新が信号通知される方法が提供される。別の態様によれば、線形モードパラメータのうちの１つまたは複数に対する信号通知された更新が受け取られ、残りのパラメータは、信号通知された更新に基づいて調節される。更新の粒度は、有利には、ブロックのサイズなどの予測ブロックの特性に適応させることができる。更新、または更新情報の存在の表示が、様々な色成分を表す多数のブロックに対して、どのように一緒にコード化またはデコードされ得るかも説明される。
【0007】
第１の態様による装置が、
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算するための手段であり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算するための手段と、
勾配パラメータに対する更新項を決定するための手段と、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成するための手段と、
第１の色成分の参照値を決定するための手段と、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算するための手段と
を含む。
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算するための手段であり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算するための手段と、
勾配パラメータに対する更新項を決定するための手段と、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成するための手段と、
第１の色成分の参照値を決定するための手段と、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算するための手段と
を含む。
【0008】
一実施形態によれば、この装置は、
第１の色成分および第２の色成分の値ペアからなる参照点を決定するための手段と、
更新項および参照点に基づいて勾配パラメータおよびオフセットパラメータを更新するための手段と
をさらに含む。
第１の色成分および第２の色成分の値ペアからなる参照点を決定するための手段と、
更新項および参照点に基づいて勾配パラメータおよびオフセットパラメータを更新するための手段と
をさらに含む。
【0009】
一実施形態によれば、この装置は、
勾配パラメータおよびオフセットパラメータによって決定されたラインから制御点を選択するための手段
をさらに含む。
勾配パラメータおよびオフセットパラメータによって決定されたラインから制御点を選択するための手段
をさらに含む。
【0010】
一実施形態によれば、この装置は、
勾配パラメータおよびオフセットパラメータによって決定されたラインの外側の制御点を選択するための手段
をさらに含む。
勾配パラメータおよびオフセットパラメータによって決定されたラインの外側の制御点を選択するための手段
をさらに含む。
【0011】
一実施形態によれば、この装置は、第１の色成分の追加の参照値を決定するための手段と、 追加の参照値をさらに使用して、オフセットパラメータを更新するための手段とをさらに含む。
【0012】
この装置の一実施形態によれば、マッピングを定義する少なくとも２つのパラメータを計算するための前記手段が、第１の色成分および第２の色成分の複数の値ペアを使用して、勾配パラメータおよびオフセットパラメータを決定するように構成され、追加の参照値を決定するための前記手段が、値ペアの第１の色成分の２つ以上の値の組合せを使用するように構成される。
【0013】
一実施形態によれば、この装置は、事前決定された更新項のセットと、更新項をビットストリームで信号通知するための手段とをさらに含む。
【0014】
この装置の一実施形態によれば、ビットストリームで信号通知され得る更新項のセットが、サンプルのブロックの特性に依存する。
【0015】
この装置の一実施形態によれば、
第１の色成分はルマ成分であり、第２の色成分は１つの彩度成分であり、
さらに、
現在のブロックに対してマッピングを定義する少なくとも２つのパラメータを計算するための前記手段が、オフセット項ｂ’を、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算するように構成され、ここで、
ａは、勾配パラメータであり、ｋは、シフトパラメータであり、
ｃrは、現在のブロックの左の境界彩度値の平均であり、ｙrは、現在のブロックの左の境界ルマ値の平均であり、または
ｃrは、現在のブロックの上の境界彩度値の平均であり、ｙrは、現在のブロックの上の境界ルマ値の平均であり、または
ｃrは、現在ブロックの左および上の境界彩度値の平均であり、ｙrは、現在のブロックの左および上の境界ルマ値の平均である。
第１の色成分はルマ成分であり、第２の色成分は１つの彩度成分であり、
さらに、
現在のブロックに対してマッピングを定義する少なくとも２つのパラメータを計算するための前記手段が、オフセット項ｂ’を、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算するように構成され、ここで、
ａは、勾配パラメータであり、ｋは、シフトパラメータであり、
ｃrは、現在のブロックの左の境界彩度値の平均であり、ｙrは、現在のブロックの左の境界ルマ値の平均であり、または
ｃrは、現在のブロックの上の境界彩度値の平均であり、ｙrは、現在のブロックの上の境界ルマ値の平均であり、または
ｃrは、現在ブロックの左および上の境界彩度値の平均であり、ｙrは、現在のブロックの左および上の境界ルマ値の平均である。
【0016】
一実施形態によれば、この装置は、以下のこと、すなわち、
ｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットよりも大きくなるように選択すること、
オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットのスーパーセットとなるように選択すること
のうちの１つまたは複数を実行するように構成される。
ｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットよりも大きくなるように選択すること、
オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットのスーパーセットとなるように選択すること
のうちの１つまたは複数を実行するように構成される。
【0017】
一実施形態によれば、この装置は、
更新項と、実際の更新項と予測された更新項との間の差とを予測するための手段
をさらに含む。
更新項と、実際の更新項と予測された更新項との間の差とを予測するための手段
をさらに含む。
【0018】
この装置の一実施形態によれば、予測するための前記手段が、現在のブロックの空間的にもしくは時間的に隣接するブロック、同じもしくは異なるピクチャ内の他のブロック、または異なる色成分もしくはチャネルのブロックの更新項または他のパラメータから、予測された更新項を決定するように構成される。
【0019】
一実施形態によれば、この装置は、更新項をビットストリームから受け取るための手段をさらに含む。
【0020】
一実施形態によれば、この装置は、ルマ値を彩度値にマッピングするための線形モデルマッピングを使用して、デコードされたルマ値に基づいて、予測された彩度値を生成するための手段をさらに含む。
【0021】
第２の態様による方法は、
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、
勾配パラメータに対する更新項を決定することと、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成することと、
第１の色成分の参照値を決定することと、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することと
を含む。
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、
勾配パラメータに対する更新項を決定することと、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成することと、
第１の色成分の参照値を決定することと、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することと
を含む。
【0022】
一実施形態によれば、この方法は、
第１の色成分および第２の色成分の値ペアからなる参照点を決定することと、
更新項および参照点に基づいて勾配パラメータおよびオフセットパラメータを更新することと
をさらに含む。
第１の色成分および第２の色成分の値ペアからなる参照点を決定することと、
更新項および参照点に基づいて勾配パラメータおよびオフセットパラメータを更新することと
をさらに含む。
【0023】
一実施形態によれば、この方法は、勾配パラメータおよびオフセットパラメータによって決定されたラインから制御点を選択することをさらに含む。
【0024】
一実施形態によれば、この方法は、勾配パラメータおよびオフセットパラメータによって決定されたラインの外側の制御点を選択することをさらに含む。
【0025】
一実施形態によれば、この方法は、
第１の色成分の追加の参照値を決定することと、
追加の参照値をさらに使用して、オフセットパラメータを更新することと
をさらに含む。
第１の色成分の追加の参照値を決定することと、
追加の参照値をさらに使用して、オフセットパラメータを更新することと
をさらに含む。
【0026】
この方法の一実施形態によれば、マッピングを定義する少なくとも２つのパラメータを前記計算することが、第１の色成分および第２の色成分の複数の値ペアを使用して、勾配パラメータおよびオフセットパラメータを決定し、追加の参照値を前記決定することが、値ペアの第１の色成分の２つ以上の値の組合せを使用する。
【0027】
一実施形態によれば、この方法は、事前決定された更新項のセットと、更新項をビットストリームで信号通知することとをさらに含む。
【0028】
この方法の一実施形態によれば、ビットストリームで信号通知され得る更新項のセットが、サンプルのブロックの特性に依存する。
【0029】
この方法の一実施形態によれば、第１の色成分はルマ成分であり、第２の色成分は１つの彩度成分であり、
さらに、
現在のブロックに対してマッピングを定義する少なくとも２つのパラメータを前記計算することが、オフセット項ｂ’を、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算し、ここで、
ａは、勾配パラメータであり、ｋは、シフトパラメータであり、
ｃrは、現在のブロックの左の境界彩度値の平均であり、ｙrは、現在のブロックの左の境界ルマ値の平均であり、または
ｃrは、現在のブロックの上の境界彩度値の平均であり、ｙrは、現在のブロックの上の境界ルマ値の平均であり、または
ｃrは、現在ブロックの左および上の境界彩度値の平均であり、ｙrは、現在のブロックの左および上の境界ルマ値の平均である。
さらに、
現在のブロックに対してマッピングを定義する少なくとも２つのパラメータを前記計算することが、オフセット項ｂ’を、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算し、ここで、
ａは、勾配パラメータであり、ｋは、シフトパラメータであり、
ｃrは、現在のブロックの左の境界彩度値の平均であり、ｙrは、現在のブロックの左の境界ルマ値の平均であり、または
ｃrは、現在のブロックの上の境界彩度値の平均であり、ｙrは、現在のブロックの上の境界ルマ値の平均であり、または
ｃrは、現在ブロックの左および上の境界彩度値の平均であり、ｙrは、現在のブロックの左および上の境界ルマ値の平均である。
【0030】
一実施形態によれば、この方法は、以下のこと、すなわち、
ｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットよりも大きくなるように選択すること、
オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットのスーパーセットとなるように選択すること
のうちの１つまたは複数をさらに実行する。
ｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットよりも大きくなるように選択すること、
オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットを、勾配パラメータａを計算するための参照ルマおよび彩度値のセットのスーパーセットとなるように選択すること
のうちの１つまたは複数をさらに実行する。
【0031】
一実施形態によれば、この方法は、更新項と、実際の更新項と予測された更新項との間の差とを予測することをさらに含む。
【0032】
この方法の一実施形態によれば、前記予測することが、現在のブロックの空間的にもしくは時間的に隣接するブロック、同じもしくは異なるピクチャ内の他のブロック、または異なる色成分もしくはチャネルのブロックの更新項または他のパラメータから予測された更新項を決定する。
【0033】
一実施形態によれば、この方法は、更新項をビットストリームから受け取ることをさらに含む。
【0034】
一実施形態によれば、この方法は、ルマ値を彩度値にマッピングするための線形モデルマッピングを使用して、デコードされたルマ値に基づいて、予測彩度値を生成することをさらに含む。
【0035】
第３の態様による装置が、少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、前記少なくとも１つのメモリにはコードが格納され、コードは、前記少なくとも１つのプロセッサによって実行されると、装置に、少なくとも、
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、
勾配パラメータに対する更新項を決定することと、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成することと、
第１の色成分の参照値を決定することと、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することと
を実行させる。
第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、
勾配パラメータに対する更新項を決定することと、
更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成することと、
第１の色成分の参照値を決定することと、
第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することと
を実行させる。
【0036】
したがって、上述のように、コードが格納された装置およびコンピュータ可読ストレージ媒体は、上述の方法、およびそれに関連する実施形態のうちの１つまたは複数を実行するように構成される。
【0037】
本発明のよりよい理解のために、次に、添付の図面が例として参照される。
【図面の簡単な説明】
【0038】
【図1】本発明の実施形態を利用する電子デバイスを概略的に示す図である。
【図2】本発明の実施形態を利用するのに適するユーザ機器を概略的に示す図である。
【図3】無線および有線ネットワークの接続を使用して接続された本発明の実施形態を利用する電子デバイスを概略的にさらに示す図である。
【図4a】本発明の実施形態を実施するのに適するエンコーダおよびデコーダを概略的に示す図である。
【図4b】本発明の実施形態を実施するのに適するエンコーダおよびデコーダを概略的に示す図である。
【図5a】本開示の一実施形態による、ルマ値から彩度値への線形モデルマッピングを示す図である。
【図5b】更新されたマッピングを示す図である。
【図5c】決定された初期マッピングラインの外側の制御点ｐｒを選択し、そのような点に関して勾配更新を実行することを示す図である。
【図5d】決定された初期マッピングラインの外側の制御点ｐｒを使用し、勾配を変えないままでオフセットパラメータｂの更新のみを実行することを示す図である。
【図6a】本開示の一実施形態による、ブロックＢの上の参照サンプルＲの異なる選択を示す図である。
【図6b】本開示の一実施形態による、ブロックＢの上の参照サンプルＲの異なる選択を示す図である。
【図6c】本開示の一実施形態による、ブロックＢの上の参照サンプルＲの異なる選択を示す図である。
【図7a】本発明の一実施形態による方法の流れ図である。
【図7b】本発明の別の実施形態による方法の流れ図である。
【図8】様々な実施形態が実施され得る例示のマルチメディア通信システムの概略図である。
【発明を実施するための形態】
【0039】
以下は、視点切替えを開始するための適切な装置および可能な機構をさらに詳細に説明する。これに関して、図１および図２が最初に参照され、図１は、例示の実施形態によるビデオコーディングシステムのブロック図を、本発明の一実施形態に従ってコーデックを組み込むことができる例示的な装置または電子デバイス５０の概略ブロック図として示す。図２は、例示の実施形態による装置のレイアウトを示す。図１および図２の要素が、次に説明される。
【0040】
電子デバイス５０は、例えば、無線通信システムの携帯端末またはユーザ機器であり得る。しかしながら、本発明の実施形態は、ビデオ画像のエンコーディングおよびデコーディング、あるいはエンコーディングまたはデコーディングを必要とし得る電子デバイスまたは装置内に実装することができることを理解されよう。
【0041】
装置５０は、デバイスの組込みおよび保護のためにハウジング３０を含むことができる。装置５０は、さらに、液晶ディスプレイの形態のディスプレイ３２を含むことができる。本発明の他の実施形態では、ディスプレイは、画像またはビデオを表示するのに適する任意の好適なディスプレイ技術とすることができる。装置５０は、キーパッド３４をさらに含むことができる。本発明の他の実施形態では、任意の好適なデータまたはユーザインタフェース機構を利用することができる。例えば、ユーザインタフェースは、タッチセンシティブディスプレイの一部としてバーチャルキーボードまたはデータエントリシステムとして実装することができる。
【0042】
装置は、マイクロホン３６、またはデジタルもしくはアナログ信号入力部とすることができる任意の適切なオーディオ入力部を含むことができる。装置５０は、本発明の実施形態では、イヤホン３８、スピーカ、またはアナログオーディオもしくはデジタルオーディオ出力接続部のうちの任意の１つとすることができるオーディオ出力デバイスをさらに含むことができる。装置５０は、バッテリをさらに含むことができる（または本発明の他の実施形態では、デバイスは、太陽電池、燃料電池、またはクロックワーク発電機などの任意の適切な携帯エネルギーデバイスによって電力供給されてもよい）。装置は、画像および／またはビデオを記録または捕捉することができるカメラをさらに含むことができる。装置５０は、他のデバイスとの短距離見通し線通信のための赤外線ポートをさらに含むことができる。他の実施形態では、装置５０は、任意の適切な短距離通信ソリューション、例えば、ブルートゥース無線接続、ＵＳＢ／ファイヤワイヤ有線接続などをさらに含むことができる。
【0043】
装置５０は、装置５０を制御するためのコントローラ５６、プロセッサ、またはプロセッサ回路を含むことができる。コントローラ５６は、本発明の実施形態では、画像およびオーディオデータの形態の両方のデータを格納することができる、および／またはさらにコントローラ５６での実施のための命令を格納することができるメモリ５８に接続することができる。コントローラ５６は、さらに、オーディオおよび／またはビデオデータのコーディングおよびデコーディングを実行する、またはコントローラによって実行されるコーディングおよびデコーディングを支援するのに適するコーデック回路５４に接続することができる。
【0044】
装置５０は、カードリーダ４８およびスマートカード４６、例えば、ユーザ情報を提供し、ネットワークでのユーザの認証および認定のための認証情報を提供するのに適するＵＩＣＣおよびＵＩＣＣリーダをさらに含むことができる。
【0045】
装置５０は、コントローラに接続され、例えば、セルラ通信ネットワーク、無線通信システム、または無線ローカルエリアネットワークとの通信のための無線通信信号を生成するのに適する無線インタフェース回路５２を含むことができる。装置５０は、無線インタフェース回路５２で生成された無線周波数信号を他の装置に送信し、他の装置からの無線周波数信号を受信するために無線インタフェース回路５２に接続されたアンテナ４４をさらに含むことができる。
【0046】
装置５０は、個々のフレームを記録または検出することができるカメラを含むことができ、個々のフレームは、次いで、処理のためにコーデック５４またはコントローラに渡される。装置は、送信および／または格納の前に、別のデバイスからの処理のためのビデオ画像データを受信することができる。装置５０は、さらに、無線でまたは有線接続によって、コーディング／デコーディングのための画像を受信することができる。上述の装置５０の構造要素は、対応する機能を実行するための手段の例を示す。
【0047】
図３に関して、本発明の実施形態を利用することができるシステムの一例が示される。システム１０は、１つまたは複数のネットワークを通して通信することができる多数の通信デバイスを含む。システム１０は、限定はしないが無線セルラ電話ネットワーク（ＧＳＭ、ＵＭＴＳ、ＣＤＭＡネットワークなどのような）、ＩＥＥＥ ８０２．ｘ規格のうちのいずれかによって定義されているものなどの無線ローカルエリアネットワーク（ＷＬＡＮ）、ブルートゥースパーソナルエリアネットワーク、イーサネットローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、およびインターネットを含む有線ネットワークまたは無線ネットワークの任意の組合せを含むことができる。
【0048】
システム１０は、本発明の実施形態を実施するのに適する有線および無線の通信デバイスおよび／または装置５０の両方を含むことができる。
【0049】
例えば、図３に示されるシステムは、携帯電話ネットワーク１１と、インターネット２８の表現とを示す。インターネット２８への接続は、限定はしないが、長距離無線接続と、短距離無線接続と、限定はしないが、電話線、ケーブル線、電力線、および同様の通信経路を含む様々な有線接続とを含むことができる。
【0050】
システム１０に示された例示の通信デバイスは、限定はしないが、電子デバイスまたは装置５０、携帯情報端末（ＰＤＡ）と携帯電話１４の組合せ、ＰＤＡ１６、統合メッセージングデバイス（ＩＭＤ）１８、デスクトップコンピュータ２０、ノートブックコンピュータ２２を含むことができる。装置５０は、固定式であってもよく、または移動している人によって携帯される携帯式であってもよい。装置５０はまた、限定はしないが、自動車、トラック、タクシー、バス、列車、船、飛行機、自転車、オートバイまたは同様の適切な輸送手段を含む輸送手段に配置することができる。
【0051】
実施形態はまた、セットトップボックス、すなわち、ディスプレイまたは無線機能があることもあり／ないこともあるデジタルＴＶレシーバに、エンコーダ／デコーダ実装のハードウェア、ソフトウェア、または組合せを有するタブレットまたは（ラップトップ）パーソナルコンピュータ（ＰＣ）に、様々なオペレーティングシステムに、およびハードウェア／ソフトウェアベースコーディングを提供するチップセット、プロセッサ、ＤＳＰ、および／または組込みシステムに実装することができる。
【0052】
いくつかのまたはさらなる装置は、通話およびメッセージを送受信し、基地局２４への無線接続２５を介してサービスプロバイダと通信することができる。基地局２４は、携帯電話ネットワーク１１とインターネット２８との間の通信を可能にするネットワークサーバ２６に接続され得る。システムは、追加の通信デバイスと、様々なタイプの通信デバイスとを含むことができる。
【0053】
通信デバイスは、限定はしないが、符号分割多元接続（ＣＤＭＡ）、移動通信用グローバルシステム（ＧＳＭ）、ユニバーサル移動通信システム（ＵＭＴＳ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、送信制御プロトコル－インターネットプロトコル（ＴＣＰ－ＩＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、電子メール、インスタントメッセージサービス（ＩＭＳ）、ブルートゥース、ＩＥＥＥ８０２．１１および同様の無線通信技術を含む様々な送信技術を使用して通信することができる。本発明の様々な実施形態の実施に関わる通信デバイスは、限定はしないが、無線、赤外線、レーザ、ケーブル接続、および任意の適切な接続を含む様々な媒体を使用して通信することができる。
【0054】
電気通信およびデータネットワークにおいて、チャネルは、物理チャネルまたは論理チャネルのいずれかを参照することができる。物理チャネルは、ワイヤなどの物理的伝送媒体を参照することができ、一方、論理チャネルは、いくつかの論理チャネルを搬送することができる多重媒体を介した論理的接続を参照することができる。チャネルは、１つまたはいくつかのセンダ（または送信器）から１つまたはいくつかの受信器に情報信号、例えば、ビットストリームを搬送するために使用することができる。
【0055】
ＩＳＯ／ＩＥＣ １３８１８－１または同等のＩＴＵ－Ｔ勧告Ｈ．２２２．０で指定されたＭＰＥＧ－２トランスポートストリーム（ＴＳ）は、オーディオ、ビデオ、および他のメディア、ならびにプログラムメタデータまたは他のメタデータを多重化ストリームで搬送するためのフォーマットである。パケット識別子（ＰＩＤ）が、ＴＳ内のエレメンタリストリーム（別名、パケット化エレメンタリストリーム）を識別するために使用される。したがって、ＭＰＥＧ－２ ＴＳ内の論理チャネルは、特定のＰＩＤ値に対応すると考えることができる。
【0056】
利用可能なメディアファイルフォーマット標準は、ＩＳＯベースメディアファイルフォーマット（ＩＳＯ／ＩＥＣ １４４９６－１２、ＩＳＯＢＭＦＦと省略されることがある）、およびＩＳＯＢＭＦＦから派生したＮＡＬユニット構造化ビデオのファイルフォーマット（ＩＳＯ／ＩＥＣ１４４９６－１５）を含む。
【0057】
ビデオコーデックは、入力ビデオをストレージ／伝送に適した圧縮表現に変換するエンコーダと、圧縮されたビデオ表現を解凍して表示可能形式に戻すデコーダとからなる。ビデオエンコーダおよび／またはビデオデコーダはまた、互いに別個であってもよく、すなわち、コーデックを形成する必要はない。一般に、エンコーダは、ビデオをよりコンパクトな形式で（すなわち、より低いビットレートで）表すために、オリジナルビデオシーケンスの一部の情報を廃棄する。
【0058】
典型的なハイブリッドビデオエンコーダ、例えば、ＩＴＵ－Ｔ Ｈ．２６３およびＨ．２６４の多くのエンコーダ実施態様は、ビデオ情報を２つのフェーズでエンコードする。第１に、特定のピクチャ区域（または「ブロック」）のピクセル値が、例えば、動き補償手段（以前にコード化されたビデオフレームのうちの１つにおいて、コード化されているブロックに密接に対応する区域を見いだし示すこと）によって、または空間的手段（指定された方法でコード化されているブロックのまわりのピクセル値を使用すること）によって予測される。第２に、予測誤差、すなわち、ピクセルの予測されたブロックとピクセルのオリジナルのブロックとの間の差がコード化される。これは、一般に、指定された変換（例えば、離散コサイン変換（ＤＣＴ）またはその変形）を使用してピクセル値の差を変換し、係数を量子化し、量子化係数をエントロピーコード化することによって行われる。量子化プロセスの忠実度を変更することによって、エンコーダは、ピクセル表現の精度（ピクチャ品質）と、結果として生じるコード化ビデオ表現のサイズ（ファイルサイズまたは送信ビットレート）との間のバランスを制御することができる。
【0059】
時間予測では、予測のソースは、以前にデコードされたピクチャ（別名、参照ピクチャ）である。イントラブロックコピー（ＩＢＣ；別名、イントラブロックコピー予測）では、予測は、時間予測と同様に適用されるが、参照ピクチャは、現在のピクチャであり、以前にデコードされたサンプルのみが予測プロセスおいて参照され得る。インターレイヤまたはインタービュー予測が、時間予測と同様に適用され得るが、参照ピクチャは、それぞれ、別のスケーラブルレイヤまたは別のビューからのデコードされたピクチャである。ある場合には、インター予測は、時間予測のみを参照することができるが、他の場合には、インター予測は、時間予測と、時間予測と同じまたは同様のプロセスで実行されるという条件でイントラブロックコピー、インターレイヤ予測、およびインタービュー予測のうちのいずれかとをまとめて参照することができる。インター予測または時間予測は、時には、動き補償または動き補償予測と呼ばれることがある。
【0060】
動き補償は、フルサンプル精度またはサブサンプル精度のいずれかで実行することができる。フルサンプルの正確な動き補償の場合、動きは、水平および垂直変位に対して整数値の動きベクトルとして表すことができ、動き補償プロセスは、それらの変位を使用して、参照ピクチャからサンプルを効果的にコピーする。サブサンプルの正確な動き補償の場合、動きベクトルは、動きベクトルの水平および垂直成分に対して小数値または１０進数値で表される。動きベクトルが参照ピクチャ内で非整数位置を指している場合、一般に、サブサンプル補間プロセスを呼び出して、参照サンプルと選択されたサブサンプル位置とに基づいて予測サンプル値を計算する。サブサンプル補間プロセスは、一般に、フルサンプル位置に対する水平オフセットを補償する水平フィルタリングと、それに続く、フルサンプル位置に対する垂直オフセットを補償する垂直フィルタリングとからなる。しかしながら、垂直処理は、環境によっては、水平処理の前に行うこともできる。
【0061】
時間予測、動き補償、または動き補償予測と呼ばれることもあるインター予測は、時間的冗長性を低減する。インター予測では、予測のソースは、以前にデコードされたピクチャである。イントラ予測は、同じピクチャ内の隣接するピクセルが相関している可能性が高いことを利用する。イントラ予測は空間ドメインまたは変換ドメインで実行することができる、すなわち、サンプル値または変換係数のいずれかが予測され得る。イントラ予測は、一般に、インター予測が適用されないイントラコーディングで利用される。
【0062】
コーディング手順の１つの結果は、動きベクトルおよび量子化された変換係数などのコーディングパラメータのセットである。多くのパラメータは、最初に空間的にまたは時間的に隣接するパラメータから予測される場合、より効率的にエントロピーコード化することができる。例えば、動きベクトルを空間的に隣接する動きベクトルから予測することができ、動きベクトル予測子に対する差のみをコード化することができる。コーディングパラメータの予測と、イントラ予測とは、まとめて、インピクチャ予測と呼ばれることがある。
【0063】
図４ａおよび図４ｂは、本発明の実施形態を使用するのに適するエンコーダおよびデコーダを示す。ビデオコーデックは、入力ビデオをストレージ／伝送に適した圧縮表現に変換するエンコーダと、圧縮されたビデオ表現を解凍して表示可能形式に戻すことができるデコーダとからなる。一般に、エンコーダは、ビデオをよりコンパクトな形式で（すなわち、より低いビットレートで）表すために、オリジナルビデオシーケンスの一部の情報を廃棄するかつ／または失う。エンコーディングプロセスの一例が図４ａに示される。図４ａは、エンコードされるべき画像（Ｉｎ）、画像ブロックの予測表現（Ｐ’ｎ）、予測誤差信号（Ｄｎ）、再構成予測誤差信号（Ｄ’ｎ）、予備再構成画像（Ｉ’ｎ）、最終再構成画像（Ｒ’ｎ）、変換（Ｔ）および逆変換（Ｔ－１）、量子化（Ｑ）および逆量子化（Ｑ－１）、エントロピーエンコーディング（Ｅ）、参照フレームメモリ（ＲＦＭ）、インター予測（Ｐｉｎｔｅｒ）、イントラ予測（Ｐｉｎｔｒａ）、モード選択（ＭＳ）、およびフィルタリング（Ｆ）を示す。
【0064】
デコーディングプロセスの一例が図４ｂに示される。図４ｂは、画像ブロックの予測表現（Ｐ’ｎ）、再構成予測誤差信号（Ｄ’ｎ）、予備再構成画像（Ｉ’ｎ）、最終再構成画像（Ｒ’ｎ）、逆変換（Ｔ－１）、逆量子化（Ｑ－１）、エントロピーデコーディング（Ｅ－１）、参照フレームメモリ（ＲＦＭ）、予測（インターまたはイントラのいずれか）（Ｐ）、およびフィルタリング（Ｆ）を示す。
【0065】
多くのハイブリッドビデオエンコーダは、ビデオ情報を２つのフェーズでエンコードする。第１に、特定のピクチャ区域（または「ブロック」）のピクセル値が、例えば、動き補償手段（以前にコード化されたビデオフレームのうちの１つにおいて、コード化されているブロックに密接に対応する区域を見いだし示す）によって、または空間的手段（指定された方法でコード化されているブロックのまわりのピクセル値を使用する）によって予測される。第２に、予測誤差、すなわち、ピクセルの予測されたブロックとピクセルのオリジナルのブロックとの間の差がコード化される。これは、一般に、指定された変換（例えば、離散コサイン変換（ＤＣＴ）またはその変形）を使用してピクセル値の差を変換し、係数を量子化し、量子化係数をエントロピーコード化することによって行われる。量子化プロセスの忠実度を変更することによって、エンコーダは、ピクセル表現の正確度（ピクチャ品質）と、結果として生じるコード化ビデオ表現のサイズ（ファイルサイズまたは送信ビットレート）との間のバランスを制御することができる。ビデオコーデックはまた、エンコーダが使用することを選ぶことができる変換スキップモードを提供することができる。変換スキップモードでは、予測誤差は、例えば、特定の隣接するサンプルに対するサンプルごとの差分値を導出し、エントロピーコーダによりサンプルごとの差分値をコード化することによって、サンプルドメインにおいてコード化される。
【0066】
エントロピーコーディング／デコーディングは、多くの方法で実行することができる。例えば、コンテキストベースコーディング／デコーディングを適用することができ、エンコーダとデコーダの両方は、前にコード化／デコード化されたコーディングパラメータに基づいてコーディングパラメータのコンテキスト状態を変更する。コンテキストベースコーディングは、例えば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）またはコンテキストベース可変長コーディング（ＣＡＶＬＣ）または任意の類似のエントロピーコーディングとすることができる。エントロピーコーディング／デコーディングは、代替としてまたは追加として、ハフマンコーディング／デコーディングまたは指数ゴロムコーディング／デコーディングなどの可変長コーディングスキームを使用して実行され得る。エントロピーコード化ビットストリームまたはコードワードからのコーディングパラメータのデコーディングは、構文解析と呼ばれることがある。
【0067】
ビットストリームに沿ったという（例えば、ビットストリームに沿ったことを示す）フレーズは、帯域外データがビットストリームに関連づけられる方法で帯域外送信、信号通知、またはストレージを参照するように定義することができる。ビットストリームに沿ったデコーディングなどのフレーズは、ビットストリームに関連する言及された帯域外データ（帯域外送信、信号通知、またはストレージから取得され得る）のデコーディングを参照することができる。例えば、ビットストリームに沿った表示は、ビットストリームをカプセル化するコンテナファイル内のメタデータを参照することができる。
【0068】
Ｈ．２６４／ＡＶＣ規格は、国際電気通信連合（ＩＴＵ－Ｔ）の電気通信標準化部門のビデオコーディングエキスパートグループ（ＶＣＥＧ）と国際標準化機構（ＩＳＯ）／国際電気標準会議（ＩＥＣ）のムービングピクチャエクスパーツグループ（ＭＰＥＧ）の合同ビデオチーム（ＪＶＴ）によって開発された。Ｈ．２６４／ＡＶＣ規格は、両方の標準化母体によって公開されており、ＩＴＵ－Ｔ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣの国際規格１４４９６－１０と呼ばれ、ＭＰＥＧ－４パート１０アドバンスドビデオコーディング（ＡＶＣ）としても知られている。本仕様の新しい拡張または特徴を統合したＨ．２６４／ＡＶＣ規格の多数のバージョンが存在している。これらの拡張は、スケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）を含む。
【0069】
高効率ビデオコーディング（Ｈ．２６５／ＨＥＶＣ、別名、ＨＥＶＣ）規格のバージョン１は、ＶＣＥＧおよびＭＰＥＧの合同協力チーム－ビデオコーディング（ＪＣＴ－ＶＣ）によって開発された。この規格は、両方の標準化母体によって公開されており、ＩＴＵ－Ｔ勧告Ｈ．２６５およびＩＳＯ／ＩＥＣ国際規格２３００８－２と呼ばれ、ＭＰＥＧ－Ｈパート２高効率ビデオコーディング（ＨＥＶＣ）としても知られている。Ｈ．２６５／ＨＥＶＣのそれ以降のバージョンには、それぞれ、ＳＨＶＣ、ＭＶ－ＨＥＶＣ、ＲＥＸＴ、３Ｄ－ＨＥＶＣ、およびＳＣＣと略記されることがあるスケーラブル、マルチビュー、忠実度範囲、３次元、およびスクリーンコンテンツコーディングの拡張が含まれている。
【0070】
バーサタイルビデオコーディング（ＶＶＣ）（ＭＰＥＧ－Ｉパート３）、別名ＩＴＵ－Ｔ Ｈ．２６６は、ムービングピクチャエクスパーツグループ（ＭＰＥＧ）のジョイントビデオエキスパートチーム（ＪＶＥＴ）（正式にはＩＳＯ／ＩＥＣ ＪＴＣ１ ＳＣ２９ ＷＧ１１）と、国際電気通信連合（ＩＴＵ）のビデオコーディングエキスパートグループ（ＶＣＥＧ）とによって開発されたビデオ圧縮標準であり、ＨＥＶＣ／Ｈ．２６５の後継である。
【0071】
Ｈ．２６４／ＡＶＣのいくつかの重要な定義、ビットストリームおよびコーディング構造、概念、ならびにＨＥＶＣが、この節において、実施形態を実施できるビデオエンコーダ、デコーダ、エンコーディング方法、デコーディング方法、およびビットストリーム構造の一例として説明される。Ｈ．２６４／ＡＶＣの重要な定義、ビットストリームおよびコーディング構造、ならびに概念の一部は、ＨＥＶＣのものと同じであり、したがって、それらは、以下でまとめて説明される。本発明の態様は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣに限定されず、むしろ、本発明を部分的にまたは完全に実現することができる１つの可能な基礎の説明が与えられる。
【0072】
多くの初期のビデオコーディング標準と同様に、ビットストリームシンタックスおよびセマンティクスならびにエラーのないビットストリームのデコーディングプロセスは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣで指定されている。エンコーディングプロセスは、指定されていないが、エンコーダは、準拠するビットストリームを生成しなければならない。ビットストリームおよびデコーダの適合性は、仮想参照デコーダ（ＨＲＤ）を用いて検証することができる。標準は、伝送エラーおよび損失に対処するのに役立つコーディングツールを含むが、エンコーディングでのツールの使用はオプションであり、デコーディングプロセスは、誤ったビットストリームについては指定されていない。
【0073】
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダへの入力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの出力の基本ユニットは、それぞれ、ピクチャである。エンコーダへの入力として与えられるピクチャは、ソースピクチャと呼ばれることもあり、デコーダによってデコードされたピクチャは、デコードされたピクチャと呼ばれることがある。
【0074】
ソースピクチャおよびデコードされたピクチャは、各々、１つまたは複数のサンプルアレイ、例えば、サンプルアレイの以下のセットのうちの１つなどで構成される。
－ ルマ（Ｙ）のみ（単色）。
－ ルマおよび２つの彩度（ＹＣｂＣｒまたはＹＣｇＣｏ）。
－ 緑、青、および赤（ＧＢＲ、ＲＧＢとしても知られる）。
－ 他の指定されていない単色または三刺激色サンプリング（例えば、ＹＺＸ、ＸＹＺとしても知られる）を表すアレイ。
－ ルマ（Ｙ）のみ（単色）。
－ ルマおよび２つの彩度（ＹＣｂＣｒまたはＹＣｇＣｏ）。
－ 緑、青、および赤（ＧＢＲ、ＲＧＢとしても知られる）。
－ 他の指定されていない単色または三刺激色サンプリング（例えば、ＹＺＸ、ＸＹＺとしても知られる）を表すアレイ。
【0075】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、ピクチャは、フレームまたはフィールドのいずれかとすることができる。フレームは、ルマサンプルと、場合によっては対応する彩度サンプルとのマトリクスを含む。フィールドは、ソース信号がインターレースされる場合、フレームの交互のサンプル行のセットであり、エンコーダ入力として使用することができる。彩度サンプルアレイはなくてもよく、（したがって、単色のサンプリングが使用されてもよく）、または彩度サンプルアレイは、ルマサンプルアレイと比較される場合、サブサンプリングされてもよい。彩度フォーマットは、以下のように要約することができる。
－ 単色サンプリングでは、１つのサンプルアレイのみが存在し、それは名目上ルマアレイと考えることができる。
－ ４：２：０サンプリングでは、２つの彩度アレイの各々が、ルマアレイの半分の高さおよび半分の幅を有する。
－ ４：２：２サンプリングでは、２つの彩度アレイの各々が、ルマアレイと同じの高さおよびルマアレイの半分の幅を有する。
－ ４：４：４サンプリングでは、別個の色平面が使用されない場合、２つの彩度アレイの各々が、ルマアレイと同じ高さおよび幅を有する。
－ 単色サンプリングでは、１つのサンプルアレイのみが存在し、それは名目上ルマアレイと考えることができる。
－ ４：２：０サンプリングでは、２つの彩度アレイの各々が、ルマアレイの半分の高さおよび半分の幅を有する。
－ ４：２：２サンプリングでは、２つの彩度アレイの各々が、ルマアレイと同じの高さおよびルマアレイの半分の幅を有する。
－ ４：４：４サンプリングでは、別個の色平面が使用されない場合、２つの彩度アレイの各々が、ルマアレイと同じ高さおよび幅を有する。
【0076】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、サンプルアレイを別個の色平面としてビットストリームにコード化し、別個にコード化された色平面をビットストリームからそれぞれデコードすることが可能である。別個の色平面が使用される場合、それらの各々は、単色サンプリングによるピクチャとして別々に処理される（エンコーダおよび／またはデコーダによって）。
【0077】
パーティショニングは、セットの各要素がサブセットのうちの正確に１つに存在するように、セットをサブセットに分割することとして定義することができる。
【0078】
ＨＥＶＣエンコーディングおよび／またはデコーディングの動作を説明するとき、以下の用語を使用することができる。コーディングブロックは、コーディングツリーブロックのコーディングブロックへの分割がパーティショニングとなるように、ある値のＮについてサンプルのＮ×Ｎブロックとして定義することができる。コーディングツリーブロック（ＣＴＢ）は、成分のコーディングツリーブロックへの分割がパーティショニングとなるように、ある値のＮに対するサンプルのＮ×Ｎブロックとして定義することができる。コーディングツリーユニット（ＣＴＵ）は、ルマサンプルのコーディングツリーブロック、３つのサンプルアレイを有するピクチャの彩度サンプルの２つの対応するコーディングツリーブロック、または単色ピクチャ、もしくはサンプルをコード化するために使用される３つの別個の色平面およびシンタックス構造を使用してコード化されたピクチャのサンプルのコーディングツリーブロックとして定義することができる。コーディングユニット（ＣＵ）は、ルマサンプルのコーディングブロック、３つのサンプルアレイを有するピクチャの彩度サンプルの２つの対応するコーディングブロック、または単色ピクチャ、もしくはサンプルをコード化するために使用される３つの別個の色平面およびシンタックス構造を使用してコード化されたピクチャのサンプルのコーディングブロックとして定義することができる。最大許容サイズのＣＵは、ＬＣＵ（最大コーディングユニット）またはコーディングツリーユニット（ＣＴＵ）と名前をつけることができ、ビデオピクチャはオーバーラップしないＬＣＵに分割される。
【0079】
ＣＵは、ＣＵ内のサンプルの予測プロセスを定義する１つまたは複数の予測ユニット（ＰＵ）と、前記ＣＵ内のサンプルの予測誤差コーディングプロセスを定義する１つまたは複数の変換ユニット（ＴＵ）とからなる。一般に、ＣＵは、可能なＣＵサイズの事前定義されたセットから選択可能なサイズをもつサンプルの正方形ブロックからなる。各ＰＵおよびＴＵは、それぞれ、予測プロセスおよび予測誤差コーディングプロセスの粒度を高めるために、より小さいＰＵおよびＴＵにさらにスプリットされ得る。各ＰＵは、そのＰＵ内のピクセルにどの種類の予測が適用されるべきかを定義する、各ＰＵに関連する予測情報（例えば、インター予測ＰＵでは動きベクトル情報、およびイントラ予測ＰＵではイントラ予測方向情報）を有する。
【0080】
各ＴＵは、前記ＴＵ内のサンプルに対する予測誤差デコーディングプロセスを記述する情報（例えば、ＤＣＴ係数情報を含む）に関連づけることができる。ＣＵごとに予測誤差コーディングが適用されるか否かが、一般に、ＣＵレベルで信号通知される。ＣＵに関連する予測誤差残差がない場合には、前記ＣＵにはＴＵがないと考えることができる。画像のＣＵへの分割と、ＣＵのＰＵおよびＴＵへの分割とは、一般に、ビットストリームで信号通知され、それにより、デコーダは、これらのユニットの意図された構造を再現することができる。
【0081】
ＨＥＶＣにおいて、ピクチャは、タイルにパーティションすることができ、タイルは長方形であり、整数のＬＣＵを含む。ＨＥＶＣにおいて、タイルへのパーティショニングは、規則的なグリッドを形成し、タイルの高さおよび幅は、最大で１ＬＣＵだけ互いに異なる。ＨＥＶＣにおいて、スライスは１つの独立スライスセグメントと、同じアクセスユニット内の次の独立スライスセグメント（もしあれば）に先行するすべての後続の従属スライスセグメント（もしあれば）とに含まれる整数のコーディングツリーユニットであると定義される。ＨＥＶＣにおいて、スライスセグメントは、タイルスキャンで連続的に順序づけられ、単一のＮＡＬユニットに含まれる整数のコーディングツリーユニットであると定義される。各ピクチャのスライスセグメントへの分割は、パーティショニングである。ＨＥＶＣにおいて、独立スライスセグメントは、スライスセグメントヘッダのシンタックス要素の値が前のスライスセグメントの値から推測されないスライスセグメントであると定義され、従属スライスセグメントは、スライスセグメントヘッダのいくつかのシンタックス要素の値がデコーディング順序での先行する独立スライスセグメントの値から推測されるスライスセグメントであると定義される。ＨＥＶＣにおいて、スライスヘッダは、現在のスライスセグメントであるか、または現在の従属スライスセグメントに先行する独立スライスセグメントである独立スライスセグメントのスライスセグメントヘッダであると定義され、スライスセグメントヘッダは、スライスセグメント内で表される最初のまたはすべてのコーディングツリーユニットに関連するデータ要素を含むコード化スライスセグメントの一部であると定義される。ＣＵは、タイル内で、またはタイルが使用されない場合にはピクチャ内でＬＣＵのラスタスキャン順序でスキャンされる。ＬＣＵ内では、ＣＵは、特定のスキャン順序を有する。
【0082】
デコーダは、ピクセルブロックの予測表現を形成する（エンコーダによって作り出され、圧縮表現で格納された動きまたは空間情報を使用して）するためのエンコーダと同様の予測手段と、予測誤差デコーディング（空間ピクセルドメインにおける量子化された予測誤差信号を回復する予測誤差コーディングの逆操作）とを適用することによって出力ビデオを再構築する。予測および予測誤差復号化手段を適用した後、デコーダは、予測および予測誤差信号（ピクセル値）を合計して、出力ビデオフレームを形成する。デコーダ（およびエンコーダ）は、さらに、追加のフィルタリング手段を適用して出力ビデオの品質を改善し、その後、それを表示のために送り、および／またはそれをビデオシーケンスの来たるフレームの予測参照として格納することができる。
【0083】
フィルタリングは、例えば、以下のデブロッキング、サンプル適応オフセット（ＳＡＯ）、および／または適応ループフィルタリング（ＡＬＦ）のうちの１つまたは複数を含むことができる。Ｈ．２６４／ＡＶＣはデブロッキングを含み、一方、ＨＥＶＣはデブロッキングとＳＡＯの両方を含む。
【0084】
一般的なビデオコーデックでは、動き情報は、予測ユニットなどの各動き補償済み画像ブロックに関連する動きベクトルで示される。これらの動きベクトルの各々は、コード化されるべき（エンコーダ側で）またはデコードされるべき（デコーダ側で）ピクチャの画像ブロックと以前にコード化またはデコードされたピクチャのうちの１つの予測ソースブロックとの変位を表す。動きベクトルを効率的に表すために、それらは、一般に、ブロック特有の予測動きベクトルに対して差分的にコード化される。一般的なビデオコーデックでは、予測動きベクトルは、事前定義された方法で、例えば、隣接するブロックのエンコードまたはデコードされた動きベクトルの中央値を計算することで作り出される。動きベクトル予測を作り出す別の方法は、時間参照ピクチャ内の隣接するブロックおよび／または同じ場所に配置されたブロックから候補予測のリストの生成し、選ばれた候補を動きベクトル予測量として信号通知することである。動ベクトル値の予測に加えて、どの参照ピクチャが動き補償予測に使用されるかを予測することができ、この予測情報は、例えば、以前にコード化／デコードされたピクチャの参照インデクスで表すことができる。参照インデクスは、一般に、時間参照ピクチャ内の隣接するブロックおよび／または同じ場所に配置されたブロックから予測される。その上、一般的な高効率ビデオコーデックは、多くの場合、マージングモード／マージモードと呼ばれる追加の動き情報コーディング／デコーディング機構を利用し、利用可能な参照ピクチャリストごとに動きベクトルおよび対応する参照ピクチャインデクスを含むすべての動きフィールド情報が予測され、いかなる変形／修正もなしに使用される。同様に、動きフィールド情報の予測は、時間参照ピクチャ内の隣接するブロックおよび／または同じ場所に配置されたブロックの動きフィールド情報を使用して実行され、使用された動きフィールド情報は、利用可能な隣接するブロック／同じ場所に配置されたブロックの動きフィールド情報で満たされた動きフィールド候補リストのリスト間で信号通知される。
【0085】
一般的なビデオコーデックでは、動き補償の後の予測残差は、最初に、変換カーネル（ＤＣＴのような）で変換され、次いで、コード化される。この理由は、多くの場合、残差間に依然として若干の相関が存在しており、変換が、多くの場合、この相関を低減し、より効率的なコーディングを行うのに役立つことができるからである。
【0086】
ビデオコーディング標準および仕様は、エンコーダがコード化ピクチャをコード化スライスなどに分割することを可能にすることができる。インピクチャ予測は、一般に、スライス境界を越えては無効にされる。したがって、スライスは、コード化ピクチャを独立にデコード可能なピースにスプリットする方法と見なすことができる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、インピクチャ予測はスライス境界を越えては無効にされ得る。したがって、スライスは、コード化ピクチャを独立にデコード可能なピースにスプリットする方法と見なすことができ、それゆえに、スライスは、しばしば、送信の基本ユニットと見なされる。多くの場合、エンコーダは、どのタイプのインピクチャ予測がスライス境界を越えて停止されたかをビットストリーム内で示すことができ、デコーダ動作は、例えば、どの予測ソースが利用可能であるかを結論するとき、この情報を考慮する。例えば、隣接するＣＵが異なるスライスに存在する場合、隣接するＣＵからのサンプルは、イントラ予測には利用不可能であると見なすことができる。
【0087】
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダの出力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの入力の基本ユニットは、それぞれ、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットである。パケット指向ネットワークによる移送または構造化ファイルへの格納では、ＮＡＬユニットは、パケットまたは同様の構造にカプセル化され得る。バイトストリームフォーマットが、フレーミング構造を提供しない送信またはストレージ環境のためにＨ．２６４／ＡＶＣおよびＨＥＶＣで指定されている。バイトストリームフォーマットは、各ＮＡＬユニットの前に開始コードを付けることによってＮＡＬユニットを互いに分離する。ＮＡＬユニット境界の誤検出を避けるために、エンコーダは、開始コードが違ったふうに発生した場合にエミュレーション防止バイトをＮＡＬユニットペイロードに追加するバイト指向開始コードエミュレーション防止アルゴリズムを実行する。パケット指向システムとストリーム指向システムと間の直接のゲートウェイ操作を可能にするために、開始コードエミュレーション防止は、バイトストリームフォーマットが使用されているか否かにかかわらず常に実行され得る。ＮＡＬユニットは、後に続くデータのタイプの表示と、必要に応じてエミュレーション防止バイトを割り込ませたＲＢＳＰの形態でそのデータを含むバイトを含むシンタックス構造として定義することができる。生のバイトシーケンスペイロード（ＲＢＳＰ）は、ＮＡＬユニットにカプセル化された整数のバイトを含むシンタックス構造として定義することができる。ＲＢＳＰは、空であるか、またはシンタックス要素を含むデータビットと、それに続くＲＢＳＰストップビットと、さらにそれに続く０に等しい０個以上の後続のビットのストリングの形式を有する。
【0088】
ＮＡＬユニットは、ヘッダとペイロードとからなる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、ＮＡＬユニットヘッダは、ＮＡＬユニットのタイプを示す。
【0089】
ＨＥＶＣでは、２バイトＮＡＬユニットヘッダが、すべての指定されたＮＡＬユニットタイプに使用される。ＮＡＬユニットヘッダは、１つの予約ビット、６ビットのＮＡＬユニットタイプ表示、時間レベルでの３ビットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１（１以上であることが必要とされることがある）、および６ビットのｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素を含む。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１シンタックス要素は、ＮＡＬユニットの時間識別子と見なすことができ、ゼロベースのＴｅｍｐｏｒａｌＩｄ変数は、以下のように導出することができ、ＴｅｍｐｏｒａｌＩｄ＝ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１ － １である。略語ＴＩＤは、ＴｅｍｐｏｒａｌＩｄ変数と交換可能に使用することができる。０に等しいＴｅｍｐｏｒａｌＩｄは、最も低い時間レベルに対応する。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１の値は、２つのＮＡＬユニットヘッダバイトを含む開始コードエミュレーションを避けるために非ゼロであることが必要とされる。選択された値以上のＴｅｍｐｏｒａｌＩｄを有するすべてのＶＣＬ ＮＡＬユニットを排除し、すべての他のＶＣＬ ＮＡＬユニットを含めることによって作り出されたビットストリームは、適合したままである。その結果、ｔｉｄ＿ｖａｌｕｅに等しいＴｅｍｐｏｒａｌＩｄを有するピクチャは、ｔｉｄ＿ｖａｌｕｅよりも大きいＴｅｍｐｏｒａｌＩｄを有するピクチャをインター予測参照として使用しない。サブレイヤまたは時間サブレイヤは、ＴｅｍｐｏｒａｌＩｄ変数の特定の値をもつＶＣＬ ＮＡＬユニットと、関連する非ＶＣＬ ＮＡＬユニットとからなる時間スケーラブルビットストリームの時間スケーラブル層（または時間層、ＴＬ）であると定義することができる。ｎｕｈ＿ｌａｙｅｒ＿ｉｄは、スケーラビリティ層識別子として理解することができる。
【0090】
ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと、非ＶＣＬ ＮＡＬユニットとに分類することができる。ＶＣＬ ＮＡＬユニットは、一般に、コード化されたスライスＮＡＬユニットである。ＨＥＶＣでは、ＶＣＬ ＮＡＬユニットは、１つまたは複数のＣＵを表すシンタックス要素を含む。
【0091】
非ＶＣＬ ＮＡＬユニットは、例えば、以下のタイプのシーケンスパラメータセット、ピクチャパラメータセット、補足エンハンスメント情報（ＳＥＩ）ＮＡＬユニット、アクセスユニットデリミタ、シーケンス終了ＮＡＬユニット、ビットストリーム終了ＮＡＬユニット、またはフィラーデータＮＡＬユニットのうちの１つとすることができる。パラメータセットが、デコードされたピクチャの再構築に必要とされることがあるが、他の非ＶＣＬ ＮＡＬユニットの多くは、デコードされたサンプル値の再構築に必要ではない。
【0092】
コード化ビデオシーケンスを通して変更されないままのパラメータは、シーケンスパラメータセットに含まれ得る。デコーディングプロセスによって必要とされることがあるパラメータに加えて、シーケンスパラメータセットは、オプションとして、ビデオユーザビリティ情報（ＶＵＩ）を含むことができ、ビデオユーザビリティ情報（ＶＵＩ）は、バッファリング、ピクチャ出力タイミング、レンダリング、およびリソース予約に重要であり得るパラメータを含む。ＨＥＶＣでは、シーケンスパラメータセットＲＢＳＰは、１つまたは複数のピクチャパラメータセットＲＢＳＰ、またはバッファリング期間ＳＥＩのメッセージを含む１つまたは複数のＳＥＩ ＮＡＬユニットによって参照され得るパラメータを含む。ピクチャパラメータセットは、いくつかのコード化ピクチャでは変更されない可能性が高いそのようなパラメータを含む。ピクチャパラメータセットＲＢＳＰは、１つまたは複数のコード化ピクチャのコード化スライスＮＡＬユニットによって参照され得るパラメータを含むことができる。
【0093】
ＨＥＶＣでは、ビデオパラメータセット（ＶＰＳ）は、各スライスセグメントヘッダにおいて見いだされるシンタックス要素によって参照されるＰＰＳにおいて見いだされるシンタックス要素によって参照されるＳＰＳにおいて見いだされるシンタックス要素のコンテンツによって決定される０個以上のコード化ビデオシーケンス全体に適用されるシンタックス要素を含むシンタックス構造として定義することができる。
【0094】
ビデオパラメータセットＲＢＳＰは、１つまたは複数のシーケンスパラメータセットＲＢＳＰによって参照され得るパラメータを含むことができる。
【0095】
ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、およびピクチャパラメータセット（ＰＰＳ）の間の関係および階層は、以下のように記述することができる。ＶＰＳは、パラメータセット階層において、およびスケーラビリティおよび／または３Ｄビデオのコンテキストにおいて、ＳＰＳより１レベル上に存在する。ＶＰＳは、すべての（スケーラビリティまたはビュー）レイヤにわたるすべてのスライスに共通のパラメータを、コード化ビデオシーケンス全体に、含むことができる。ＳＰＳは、特定の（スケーラビリティまたはビュー）レイヤのすべてのスライスに共通のパラメータを、コード化ビデオシーケンス全体に、含み、多数の（スケーラビリティまたはビュー）レイヤによって共有され得る。ＰＰＳは、特定のレイヤ表現（１つのアクセスユニットの１つのスケーラビリティまたはビューレイヤの表現）でのすべてのスライスに共通であり、多数のレイヤ表現でのすべてのスライスによって共有される可能性があるパラメータを含む。
【0096】
ＶＰＳは、ビットストリームにおけるレイヤの依存性関係に関する情報を、ならびにコード化ビデオシーケンス全体におけるすべての（スケーラビリティまたはビュー）レイヤにわたるすべてのスライスに適用可能な多くの他の情報を提供することができる。ＶＰＳは、２つの部分、すなわち、基本ＶＰＳおよびＶＰＳ拡張を含むと考えることができ、ＶＰＳ拡張は、オプションとして存在することができる。
【0097】
帯域外送信、信号通知、またはストレージは、追加としてまたは代替として、送信エラーに対する耐性以外の目的、例えば、アクセスまたはセッションネゴシエーションをしやすくすることなどに使用することができる。例えば、ＩＳＯベースメディアファイルフォーマットに準拠するファイル内のトラックのサンプルエントリは、パラメータセットを含むことができ、一方、ビットストリーム内のコード化データは、ファイルまたは別のファイルの他のところに格納される。ビットストリームに沿ったというフレーズ（例えば、ビットストリームに沿ったという表示）またはビットストリームのコード化ユニットに沿ったというフレーズ（例えば、コード化タイルに沿ったという表示）は、特許請求の範囲および記載の実施形態において、帯域外データが、それぞれ、ビットストリームまたはコード化ユニットに関連づけられるように、帯域外送信、信号通知、またはストレージを参照するために使用され得る。ビットストリームに沿ったデコーディングまたはビットストリームのコード化ユニットに沿ったデコーディングなどのフレーズは、ビットストリームまたはコード化ユニットにそれぞれ関連づけられた、言及した帯域外データ（帯域外送信、信号通知、またはストレージから取得され得る）のデコーディングを参照することができる。
【0098】
ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含むことができ、
それは、出力ピクチャのデコーディングには必要とされないが、
ピクチャ出力タイミング、レンダリング、エラー検出、エラー隠蔽、およびリソース予約などの関連プロセスを支援することができる。
それは、出力ピクチャのデコーディングには必要とされないが、
ピクチャ出力タイミング、レンダリング、エラー検出、エラー隠蔽、およびリソース予約などの関連プロセスを支援することができる。
【0099】
コード化ピクチャは、ピクチャのコード化表現である。
【0100】
ＨＥＶＣでは、コード化ピクチャは、ピクチャのコーディングツリーユニットのすべてを含むピクチャのコード化表現として定義することができる。ＨＥＶＣでは、アクセスユニット（ＡＵ）は、ＮＡＬユニットのセットとして定義することができ、ＮＡＬユニットのセットは、指定された分類ルールに従って互いに関連づけられ、デコーディング順序で連続しており、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの特定の値をもつ多くても１つのピクチャを含む。コード化ピクチャのＶＣＬ ＮＡＬユニットを含むことに加えて、アクセスユニットは、さらに、非ＶＣＬ ＮＡＬユニットを含むことができる。前記指定された分類ルールは、例えば、同じ出力時間またはピクチャ出力カウント値をもつピクチャを同じアクセスユニットに関連づけることができる。
【0101】
ビットストリームは、１つまたは複数のコード化ビデオシーケンスを形成するコード化ピクチャおよび関連データの表現を形成するＮＡＬユニットストリームまたはバイトストリームの形態のビットのシーケンスとして定義することができる。同じファイル内、または通信プロトコルの同じ接続内などの同じ論理チャネル内で、第１のビットストリームは、その後に、第２のビットストリームが続くことができる。エレメンタリストリーム（ビデオコーディングのコンテキストの）は、１つまたは複数のビットストリームのシーケンスとして定義することができる。第１のビットストリームの終了は、特定のＮＡＬユニットで示すことができそれは、ビットストリーム終了（ＥＯＢ）ＮＡＬユニットと呼ばれることがあり、ビットストリームの最後のＮＡＬユニットである。ＨＥＶＣおよびその最新のドラフト拡張では、ＥＯＢ ＮＡＬユニットは、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有することが必要とされる。
【0102】
Ｈ．２６４／ＡＶＣでは、コード化ビデオシーケンスは、ＩＤＲアクセスユニット（それ自体を含む）から、次のＩＤＲアクセスユニットまでまたはビットストリームの終了（それ自体を含まない）までのどちらか早く現れる方まで、デコーディング順序で連続するアクセスユニットのシーケンスであると定義される。
【0103】
ＨＥＶＣでは、コード化ビデオシーケンス（ＣＶＳ）は、例えば、デコーディング順序で、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しいＩＲＡＰアクセスユニットと、その後に続く、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しいＩＲＡＰアクセスユニットである後続のアクセスユニットまでの（しかしそれを含まない）すべての後続のアクセスユニットを含む、ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇが１に等しいＩＲＡＰアクセスユニットではない０個以上のアクセスユニットとからなるアクセスユニットのシーケンスとして定義することができる。ＩＲＡＰアクセスユニットは、ベースレイヤピクチャがＩＲＡＰピクチャであるアクセスユニットとして定義することができる。ＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇの値は、デコーディング順序のビットストリームにおけるその特定のレイヤの第１のピクチャである各ＩＤＲピクチャ、各ＢＬＡピクチャ、および各ＩＲＡＰピクチャに対して１に等しく、デコーディング順序においてｎｕｈ＿ｌａｙｅｒ＿ｉｄの同じ値を有するシーケンス終了ＮＡＬユニットに続く第１のＩＲＡＰピクチャに対して１に等しい。デコーダを制御することができるプレーヤまたはレシーバなどの外部エンティティからデコーダにＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇの値を提供するための手段があってもよい。ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇは、例えば、ビットストリーム内の新しい位置をシークするかまたはブロードキャストにチューニングし、デコーディングを開始し、次いで、ＣＲＡピクチャからデコーディングを開始するプレーヤによって、１に設定され得る。ＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇがＣＲＡのピクチャに対して１に等しい場合、ＣＲＡのピクチャは、ＢＬＡピクチャであるかのように扱われデコードされる。
【0104】
ＨＥＶＣでは、コード化ビデオシーケンスは、追加としてまたは代替として（上述の仕様に対して）、シーケンス終了（ＥＯＳ）ＮＡＬユニットと呼ぶことができる特定のＮＡＬユニットがビットストリームに現れ、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するときに終了するように規定されてもよい。
【0105】
ピクチャのグループ（ＧＯＰ）およびその特性は、以下のように定義することができる。ＧＯＰは、以前のピクチャがデコードされたかどうかにかかわらずデコードすることができる。オープンＧＯＰは、デコーディングがオープンＧＯＰの最初のイントラピクチャから始まる場合、出力順序が最初のイントラピクチャより前のピクチャを正しくデコードできないことがあるそのようなピクチャのグループである。言い換えれば、オープンＧＯＰのピクチャは、前のＧＯＰに属するピクチャを参照する（インター予測において）場合がある。特定のＮＡＬユニットタイプのＣＲＡ ＮＡＬユニットタイプはコード化スライスに使用することができるので、ＨＥＶＣデコーダはオープンＧＯＰを開始するイントラピクチャを認識することができる。クローズドＧＯＰは、デコーディングがクローズドＧＯＰの最初のイントラピクチャから始まる場合、すべてのピクチャを正しくデコードすることができるそのようなピクチャのグループである。言い換えれば、クローズドＧＯＰのピクチャは、前のＧＯＰのピクチャを参照しない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、クローズドＧＯＰは、ＩＤＲピクチャから開始することができる。ＨＥＶＣでは、クローズドＧＯＰは、ＢＬＡ＿Ｗ＿ＲＡＤＬまたはＢＬＡ＿Ｎ＿ＬＰピクチャから開始することもできる。オープンＧＯＰコーディング構造は、潜在的に、参照ピクチャの選択のより大きい柔軟性のために、クローズドＧＯＰコーディング構造と比較して圧縮がより効率的である。
【0106】
デコード化ピクチャバッファ（ＤＰＢ）が、エンコーダおよび／またはデコーダで使用されてもよい。デコードされたピクチャをバッファするのには、インター予測での参照のため、およびデコード化ピクチャを出力順序に並べ替えるためという２つの理由がある。Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、参照ピクチャマーキングと出力順序並べ替えの両方に多くの柔軟性を提供するので、参照ピクチャバッファリングおよび出力ピクチャバッファリングのための別個のバッファは、メモリリソースを無駄にする可能性がある。したがって、ＤＰＢは、参照ピクチャと出力順序並べ替えとのための統一されたデコード化ピクチャバッファリングプロセスを含むことができる。デコード化ピクチャがもはや参照として使用されず、出力に必要とされない場合、デコード化ピクチャはＤＰＢから取り除くことができる。
【0107】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣの多くのコーディングモードでは、インター予測のための参照ピクチャは、参照ピクチャリストへのインデクスで示される。インデクスは、可変長コーディングでコード化することができ、それにより、通常、インデクスが小さいほど、対応するシンタックス要素の値が短くなる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、２つの参照ピクチャリスト（参照ピクチャリスト０および参照ピクチャリスト１）が、各双予測（Ｂ）スライスに対して生成され、１つの参照ピクチャリスト（参照ピクチャリスト０）が、各インターコード化（Ｐ）スライスに対して形成される。
【0108】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くのコーディング標準は、参照ピクチャリストへの参照ピクチャインデクスを導出するためのデコーディングプロセスを有することができ、それを使用して、多数の参照ピクチャのうちのどれが特定のブロックに対するインター予測に使用されるかを示すことができる。参照ピクチャインデクスは、エンコーダによって、いくつかのインターコーディングモードでビットストリームにコード化されてもよく、または、例えば、いくつかの他のインターコーディングモードで隣接するブロックを使用して導出されてもよい（エンコーダおよびデコーダによって）。
【0109】
動きパラメータタイプまたは動き情報は、限定はしないが、以下のタイプのうちの１つまたは複数を含むことができる。
－ 予測タイプ（例えば、イントラ予測、片予測、双予測）および／またはいくつかの参照ピクチャの表示、
－ インター（別名、時間）予測、インターレイヤ予測、インタービュー予測、ビュー合成予測（ＶＳＰ）、およびインター成分予測などの予測方向の表示（それらは、参照ピクチャごとにおよび／または予測タイプごとに示すことができ、実施形態によっては、インタービュー予測およびビュー合成予測は、一緒に、１つの予測方向として考えることができる）、および／または
－ 短期参照ピクチャおよび／または長期参照ピクチャおよび／またはインターレイヤ参照ピクチャなどの参照ピクチャタイプの表示（それらは、例えば、参照ピクチャごとに表示することができる）、
－ 参照ピクチャリストへの参照インデクスおよび／または参照ピクチャの他の識別子
（それは、例えば、参照ピクチャごとに示すことができ、そのタイプは、予測方向および／または参照ピクチャタイプに依存することができ、それは、参照インデクスが適用される参照ピクチャリストなどのような他の関連する情報が付随してもよい）、
－ 水平動きベクトル成分（それは、例えば、予測ブロックごとにまたは参照インデクスごとになどで示すことができる）、
－ 垂直動きベクトル成分（それは、例えば、予測ブロックごとにまたは参照インデクスごとになどで示すことができる）、
－ １つまたは複数の動きベクトル予測プロセスにおける水平動きベクトル成分および／または垂直動きベクトル成分のスケーリングのために使用することができる、動きパラメータを含むかまたは動きパラメータに関連するピクチャと、その参照ピクチャと間のピクチャ順序カウント差および／または相対的カメラ離隔などの１つまたは複数のパラメータ（前記１つまたは複数のパラメータは、例えば、各参照ピクチャごともまたは参照インデクスごとになどで示すことができる）、
－ 動きパラメータおよび／または動き情報が適用されるブロックの座標、例えば、ルマサンプルユニットでのブロックの左上サンプルの座標、
－ 動きパラメータおよび／または動き情報が適用されるブロックの範囲（例えば、幅および高さ）。
－ 予測タイプ（例えば、イントラ予測、片予測、双予測）および／またはいくつかの参照ピクチャの表示、
－ インター（別名、時間）予測、インターレイヤ予測、インタービュー予測、ビュー合成予測（ＶＳＰ）、およびインター成分予測などの予測方向の表示（それらは、参照ピクチャごとにおよび／または予測タイプごとに示すことができ、実施形態によっては、インタービュー予測およびビュー合成予測は、一緒に、１つの予測方向として考えることができる）、および／または
－ 短期参照ピクチャおよび／または長期参照ピクチャおよび／またはインターレイヤ参照ピクチャなどの参照ピクチャタイプの表示（それらは、例えば、参照ピクチャごとに表示することができる）、
－ 参照ピクチャリストへの参照インデクスおよび／または参照ピクチャの他の識別子
（それは、例えば、参照ピクチャごとに示すことができ、そのタイプは、予測方向および／または参照ピクチャタイプに依存することができ、それは、参照インデクスが適用される参照ピクチャリストなどのような他の関連する情報が付随してもよい）、
－ 水平動きベクトル成分（それは、例えば、予測ブロックごとにまたは参照インデクスごとになどで示すことができる）、
－ 垂直動きベクトル成分（それは、例えば、予測ブロックごとにまたは参照インデクスごとになどで示すことができる）、
－ １つまたは複数の動きベクトル予測プロセスにおける水平動きベクトル成分および／または垂直動きベクトル成分のスケーリングのために使用することができる、動きパラメータを含むかまたは動きパラメータに関連するピクチャと、その参照ピクチャと間のピクチャ順序カウント差および／または相対的カメラ離隔などの１つまたは複数のパラメータ（前記１つまたは複数のパラメータは、例えば、各参照ピクチャごともまたは参照インデクスごとになどで示すことができる）、
－ 動きパラメータおよび／または動き情報が適用されるブロックの座標、例えば、ルマサンプルユニットでのブロックの左上サンプルの座標、
－ 動きパラメータおよび／または動き情報が適用されるブロックの範囲（例えば、幅および高さ）。
【0110】
以前のビデオコーディング規格と比較して、多用途ビデオコーデック（Ｈ．２６６／ＶＶＣ）は、以下のものなどの複数の新しいコーディングツールを導入している。
・イントラ予測
－ 広角度モード拡張による６７個のイントラモード
－ ブロックサイズおよびモード依存４タップ補間フィルタ
－ 位置依存イントラ予測組合せ（ＰＤＰＣ）
－ クロス成分線形モデルイントラ予測（ＣＣＬＭ）
－ マルチ参照ラインイントラ予測
－ イントラサブパーティション
－ 行列乗算を用いた重み付きイントラ予測
・インターピクチャ予測
－ 空間的、時間的、履歴ベース、およびペアワイズ平均マージ候補によるブロック動きコピー
－ アフィン動きインター予測
－ サブブロックベース時間的動きベクトル予測
－ 適応動きベクトル解像度
－ 時間的動き予測のための８×８のブロックベース動き圧縮
－ ルマ成分のための８タップ補間フィルタと、彩度成分のための４タップ補間フィルタとを用いた高精度（１／１６ペル）動きベクトルストレージおよび動き補償
－ 三角形パーティション
－ イントラ予測およびインター予測の組合せ
－ ＭＶＤによるマージ（ＭＭＶＤ）
－ 対称ＭＶＤコーディング
－ 双方向オプティカルフロー
－ デコーダ側動きベクトルリファインメント
－ Ｃｕレベル重みを用いた双予測
・変換、量子化、および係数コーディング
－ ＤＣＴ２、ＤＳＴ７、およびＤＣＴ８を用いた多数の一次変換選択
－ 低周波数ゾーンの二次変換
－ インター予測残差のサブブロック変換
－ 最大ＱＰが５１から６３に増加した依存量子化
－ 符号データ隠蔽による変換係数コーディング
－ 変換スキップ残差コーディング
・エントロピーコーディング
－ 適応ダブルウィンドウ確率更新を用いた算術コーディングエンジン
・インループフィルタ
－ インループリシェイピング
－ 強力なより長いフィルタを有するデブロッキングフィルタ
－ サンプル適応オフセット
－ 適応ループフィルタ
・スクリーンコンテンツコーディング
－ 参照領域制限による現ピクチャ参照
・３６０度ビデオコーディング
－ 水平ラップアラウンド動き補償
・高レベルシンタックスおよび並列処理
－ 直接参照ピクチャリスト信号通知を用いた参照ピクチャ管理
・長方形形状タイルグループを有するタイルグループ
・イントラ予測
－ 広角度モード拡張による６７個のイントラモード
－ ブロックサイズおよびモード依存４タップ補間フィルタ
－ 位置依存イントラ予測組合せ（ＰＤＰＣ）
－ クロス成分線形モデルイントラ予測（ＣＣＬＭ）
－ マルチ参照ラインイントラ予測
－ イントラサブパーティション
－ 行列乗算を用いた重み付きイントラ予測
・インターピクチャ予測
－ 空間的、時間的、履歴ベース、およびペアワイズ平均マージ候補によるブロック動きコピー
－ アフィン動きインター予測
－ サブブロックベース時間的動きベクトル予測
－ 適応動きベクトル解像度
－ 時間的動き予測のための８×８のブロックベース動き圧縮
－ ルマ成分のための８タップ補間フィルタと、彩度成分のための４タップ補間フィルタとを用いた高精度（１／１６ペル）動きベクトルストレージおよび動き補償
－ 三角形パーティション
－ イントラ予測およびインター予測の組合せ
－ ＭＶＤによるマージ（ＭＭＶＤ）
－ 対称ＭＶＤコーディング
－ 双方向オプティカルフロー
－ デコーダ側動きベクトルリファインメント
－ Ｃｕレベル重みを用いた双予測
・変換、量子化、および係数コーディング
－ ＤＣＴ２、ＤＳＴ７、およびＤＣＴ８を用いた多数の一次変換選択
－ 低周波数ゾーンの二次変換
－ インター予測残差のサブブロック変換
－ 最大ＱＰが５１から６３に増加した依存量子化
－ 符号データ隠蔽による変換係数コーディング
－ 変換スキップ残差コーディング
・エントロピーコーディング
－ 適応ダブルウィンドウ確率更新を用いた算術コーディングエンジン
・インループフィルタ
－ インループリシェイピング
－ 強力なより長いフィルタを有するデブロッキングフィルタ
－ サンプル適応オフセット
－ 適応ループフィルタ
・スクリーンコンテンツコーディング
－ 参照領域制限による現ピクチャ参照
・３６０度ビデオコーディング
－ 水平ラップアラウンド動き補償
・高レベルシンタックスおよび並列処理
－ 直接参照ピクチャリスト信号通知を用いた参照ピクチャ管理
・長方形形状タイルグループを有するタイルグループ
【0111】
スケーラブルビデオコーディングは、１つのビットストリームが、例えば、様々なビットレート、解像度、またはフレームレートのコンテンツの多数の表現を含むことができるコーディング構造を指すことができる。これらの場合、レシーバは、その特性に応じて所望の表現（例えば、ディスプレイデバイスに最もよく整合する解像度）を抽出することができる。代替として、サーバまたはネットワーク要素が、例えば、ネットワーク特性またはレシーバの処理能力に応じて、レシーバに送信されるべきビットストリームの一部を抽出することができる。意味のあるデコード化表現は、スケーラブルビットストリームの特定の部分のみをデコードすることによって作成することができる。スケーラブルビットストリームは、一般に、利用可能な最も低い品質のビデオを提供する「ベースレイヤ」と、下位レイヤと一緒に受け取られデコードされたときビデオ品質を強化する１つまたは複数のエンハンスメントレイヤとからなる。エンハンスメントレイヤのコーディング効率を改善するには、そのレイヤのコード化表現は、一般に、下位レイヤに依存する。例えば、エンハンスメントレイヤの動きおよびモード情報は、下位レイヤから予測することができる。同様に、下位レイヤのピクセルデータを使用して、エンハンスメントレイヤの予測を作り出すことができる。
【0112】
いくつかのスケーラブルビデオコーディングスキームでは、ビデオ信号は、ベースレイヤおよび１つまたは複数のエンハンスメントレイヤにエンコードすることができる。エンハンスメントレイヤは、例えば、時間分解能（すなわち、フレームレート）、空間解像度、または単に別のレイヤもしくはその一部によって表されるビデオコンテンツの品質を強化することができる。各レイヤは、そのすべての従属レイヤと一緒に、例えば、特定の空間解像度、時間分解能、および品質水準でのビデオ信号の１つの表現である。本明細書では、スケーラブルレイヤをその従属レイヤのすべてと一緒に「スケーラブルレイヤ表現」と呼ぶ。スケーラブルレイヤ表現に対応するスケーラブルビットストリームの一部を抽出およびデコードして、特定の忠実度でオリジナル信号の表現を作成することができる。
【0113】
スケーラビリティモードまたはスケーラビリティ次元は、限定はしないが、以下のものを含むことができる。
－ 品質スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャよりも低い品質でコード化され、それは、例えば、エンハンスメントレイヤよりもベースレイヤでは大きい量子化パラメータ値（すなわち、変換係数量子化に関して大きい量子化ステップサイズ）を使用して達成され得る。品質スケーラビリティは、さらに、以下で説明するように、微粒または細粒度スケーラビリティ（ＦＧＳ）、中粒または中粒度スケーラビリティ（ＭＧＳ）、および／または粗粒または粗粒度スケーラビリティ（ＣＧＳ）に分類することができる。
－ 空間スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャよりも低い解像度でコード化される（すなわち、より少ないサンプルを有する）。空間スケーラビリティおよび品質スケーラビリティ、特に、その粗粒スケーラビリティタイプは、時には、同じタイプのスケーラビリティと考えることができる。
－ ビット深度スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャ（例えば、１０または１２ビット）よりも低いビット深度（例えば、８ビット）でコード化される。
－ ダイナミックレンジスケーラビリティ： スケーラブルレイヤは、異なるトーンマッピング関数および／または異なる光学伝達関数を使用して取得された異なるダイナミックレンジおよび／または画像を表す。
－ 彩度フォーマットスケーラビリティ： ベースレイヤピクチャは、彩度サンプルアレイ（例えば、４：２：０彩度フォーマットでコード化された）において、エンハンスメントレイヤピクチャ（例えば、４：４：４フォーマット）よりも低い空間解像度を提供する。
－ 色域スケーラビリティ： エンハンスメントレイヤピクチャは、ベースレイヤピクチャよりも豊富な／広い色彩表現範囲を有する、例えば、エンハンスメントレイヤはＵＨＤＴＶ（ＩＴＵ－Ｒ ＢＴ．２０２０）色域を有することができ、ベースレイヤはＩＴＵ－Ｒ ＢＴ．７０９色域を有することができる。
－ ビュースケーラビリティ、それは、マルチビューコーディングと呼ぶこともできる。ベースレイヤは第１のビューを表し、一方、エンハンスメントレイヤは第２のビューを表す。ビューは、１つのカメラまたは視点を表すピクチャのシーケンスとして定義することができる。立体ビデオまたは２ビュービデオでは、１つのビデオシーケンスまたはビューは左眼に提示され、一方、パラレルビューは右眼に提示されると考えることができる。
－ 深度スケーラビリティ、それは、深度強化コーディングと呼ぶこともできる。
ビットストリームの１つまたは複数のレイヤは、テクスチャビューを表すことができ、一方、他の１つまたは複数のレイヤは、深度ビューを表すことができる。
－ 関心領域スケーラビリティ（以下で説明する）。
－ インターレース・ツー・プログレッシブスケーラビリティ（フィールド・ツー・フレーム・スケーラビリティとしても知られている）： ベースレイヤのコード化インターレースソースコンテンツ材料をエンハンスメントレイヤで強化して、プログレシブソースコンテンツを表す。ベースレイヤにおけるコード化インターレースソースコンテンツは、コード化フィールド、フィールドペアを表すコード化フレーム、またはそれらの混合物を含むことができる。インターレース・ツー・プログレッシブスケーラビリティでは、ベースレイヤピクチャは、１つまたは複数のエンハンスメントレイヤピクチャの好適な参照ピクチャになるように再サンプリングすることができる。
－ ハイブリッドコーデックスケーラビリティ（コーディング標準スケーラビリティとしても知られている）： ハイブリッドコーデックスケーラビリティでは、ベースレイヤおよびエンハンスメントレイヤのビットストリームシンタックス、セマンティクス、およびデコーディングプロセスは、異なるビデオコーディング標準で規定される。したがって、ベースレイヤピクチャは、エンハンスメントレイヤピクチャとは異なるコーディング標準またはフォーマットに従ってコード化される。例えば、ベースレイヤはＨ．２６４／ＡＶＣでコード化することができ、エンハンスメントレイヤはＨＥＶＣ多層拡張でコード化することができる。
－ 品質スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャよりも低い品質でコード化され、それは、例えば、エンハンスメントレイヤよりもベースレイヤでは大きい量子化パラメータ値（すなわち、変換係数量子化に関して大きい量子化ステップサイズ）を使用して達成され得る。品質スケーラビリティは、さらに、以下で説明するように、微粒または細粒度スケーラビリティ（ＦＧＳ）、中粒または中粒度スケーラビリティ（ＭＧＳ）、および／または粗粒または粗粒度スケーラビリティ（ＣＧＳ）に分類することができる。
－ 空間スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャよりも低い解像度でコード化される（すなわち、より少ないサンプルを有する）。空間スケーラビリティおよび品質スケーラビリティ、特に、その粗粒スケーラビリティタイプは、時には、同じタイプのスケーラビリティと考えることができる。
－ ビット深度スケーラビリティ： ベースレイヤピクチャは、エンハンスメントレイヤピクチャ（例えば、１０または１２ビット）よりも低いビット深度（例えば、８ビット）でコード化される。
－ ダイナミックレンジスケーラビリティ： スケーラブルレイヤは、異なるトーンマッピング関数および／または異なる光学伝達関数を使用して取得された異なるダイナミックレンジおよび／または画像を表す。
－ 彩度フォーマットスケーラビリティ： ベースレイヤピクチャは、彩度サンプルアレイ（例えば、４：２：０彩度フォーマットでコード化された）において、エンハンスメントレイヤピクチャ（例えば、４：４：４フォーマット）よりも低い空間解像度を提供する。
－ 色域スケーラビリティ： エンハンスメントレイヤピクチャは、ベースレイヤピクチャよりも豊富な／広い色彩表現範囲を有する、例えば、エンハンスメントレイヤはＵＨＤＴＶ（ＩＴＵ－Ｒ ＢＴ．２０２０）色域を有することができ、ベースレイヤはＩＴＵ－Ｒ ＢＴ．７０９色域を有することができる。
－ ビュースケーラビリティ、それは、マルチビューコーディングと呼ぶこともできる。ベースレイヤは第１のビューを表し、一方、エンハンスメントレイヤは第２のビューを表す。ビューは、１つのカメラまたは視点を表すピクチャのシーケンスとして定義することができる。立体ビデオまたは２ビュービデオでは、１つのビデオシーケンスまたはビューは左眼に提示され、一方、パラレルビューは右眼に提示されると考えることができる。
－ 深度スケーラビリティ、それは、深度強化コーディングと呼ぶこともできる。
ビットストリームの１つまたは複数のレイヤは、テクスチャビューを表すことができ、一方、他の１つまたは複数のレイヤは、深度ビューを表すことができる。
－ 関心領域スケーラビリティ（以下で説明する）。
－ インターレース・ツー・プログレッシブスケーラビリティ（フィールド・ツー・フレーム・スケーラビリティとしても知られている）： ベースレイヤのコード化インターレースソースコンテンツ材料をエンハンスメントレイヤで強化して、プログレシブソースコンテンツを表す。ベースレイヤにおけるコード化インターレースソースコンテンツは、コード化フィールド、フィールドペアを表すコード化フレーム、またはそれらの混合物を含むことができる。インターレース・ツー・プログレッシブスケーラビリティでは、ベースレイヤピクチャは、１つまたは複数のエンハンスメントレイヤピクチャの好適な参照ピクチャになるように再サンプリングすることができる。
－ ハイブリッドコーデックスケーラビリティ（コーディング標準スケーラビリティとしても知られている）： ハイブリッドコーデックスケーラビリティでは、ベースレイヤおよびエンハンスメントレイヤのビットストリームシンタックス、セマンティクス、およびデコーディングプロセスは、異なるビデオコーディング標準で規定される。したがって、ベースレイヤピクチャは、エンハンスメントレイヤピクチャとは異なるコーディング標準またはフォーマットに従ってコード化される。例えば、ベースレイヤはＨ．２６４／ＡＶＣでコード化することができ、エンハンスメントレイヤはＨＥＶＣ多層拡張でコード化することができる。
【0114】
例えば、上記の空間フォーマット、ビット深度フォーマット、および彩度フォーマットのスケーラビリティの場合、ベースレイヤ情報を使用してエンハンスメントレイヤをコード化し、それにより、追加のビットレートオーバーヘッドを最小化することができる。
【0115】
スケーラビリティは、少なくとも２つの基本的な方法で、すなわち、スケーラブル表現の下位レイヤからピクセル値またはシンタックスの予測を実行するために新しいコーディングモードを導入することによる方法、または上位レイヤの参照ピクチャバッファ（デコード化ピクチャバッファ、ＤＰＢ）に下位レイヤピクチャを配置することによる方法で可能にすることができる。第１の手法は、より柔軟であり得、それにより、ほとんどの場合により良好なコーディング効率を提供することができる。しかしながら、第２の参照フレームベースのスケーラビリティ手法は、利用可能なコーディング効率利得の大部分を依然として達成しながら、シングルレイヤコーデックへの最小の変更で非常に効率的に実施することができる。ある手法によれば、参照フレームベースのスケーラビリティコーデックは、すべてのレイヤに対して同じハードウェアまたはソフトウェア実施を利用することによって実施し、ＤＰＢ管理にだけ外部手段で対処することができる。
【0116】
並列処理を利用できるようにするために、画像は、独立して、コード化可能およびデコード可能画像セグメント（スライスまたはタイル）に分割することができる。スライスは、一般に、デフォルトコーディングまたはデコーディング順序で処理される特定の数の基本コーディングユニットから構成された画像セグメントを参照し、一方、タイルは、一般に、少なくともある程度個々のフレームとして処理される長方形画像領域として定義された画像セグメントを参照する。
【0117】
一般に、ビデオは、ＹＵＶまたはＹＣｂＣｒ色空間でエンコードされ、その理由は、それは、人間の視覚系のいくつかの特性を反映することが分かっており、ＣｂおよびＣｒチャネルが表すクロミナンス忠実度に人間の知覚がそれほど敏感でないのでＣｂおよびＣｒチャネルに対してより低い品質の表現を使用することができるからである。
【0118】
クロス成分線形モデル予測は、例えば、ＶＶＣ／Ｈ．２６６ビデオコーデックにおいて使用される。その変形では、クロス成分線形モデル予測を使用する３つの彩度予測モードがある。それらのうちの１つは、エンコーダによって彩度予測ブロックのための予測モードとして選択され、デコーダにビットストリームで信号通知され得る。３つのモードの間の差は、線形モデルのためのパラメータを生成するために使用される参照サンプルのセットである。モードのうちの１つは、予測ブロックの上のサンプルのみを使用し、モデルのうちの１つは、予測ブロックの左のサンプルのみを使用し、モードのうちの１つは、予測ブロックの上と左の両方のサンプルを使用する。パラメータ生成の複雑さを低く保つために、パラメータは、ブロック境界で利用可能な参照サンプルのサブセットのみを使用して計算される。
【0119】
ＶＶＣ／Ｈ．２６６のクロス成分線形モデル予測は、以下の式を適用して、ルマサンプル値ｌｕｍａＶａｌの予測彩度サンプル値ｃｈｒｏｍａＶａｌへの予測（またはマッピング）を実行する。
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ）＞＞ｋ）＋ｂ
ここで、パラメータａおよびｋは、線形モデルの勾配を決定し、ｂは、線形モデルのオフセット値を決定する。「＞＞」という表記は、２の冪乗による除算に対応する右へのビットシフト操作を表すために使用される。パラメータａ、ｋ、およびｂは、利用可能な参照サンプルの決定されたセットを使用して決定される。
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ）＞＞ｋ）＋ｂ
ここで、パラメータａおよびｋは、線形モデルの勾配を決定し、ｂは、線形モデルのオフセット値を決定する。「＞＞」という表記は、２の冪乗による除算に対応する右へのビットシフト操作を表すために使用される。パラメータａ、ｋ、およびｂは、利用可能な参照サンプルの決定されたセットを使用して決定される。
【0120】
線形モデルパラメータを計算するために線形回帰を使用する一例が、ＪＶＥＴ（共同ビデオエキスパートチーム）寄稿ＪＶＥＴ－Ｄ０１１０に与えられている。その実施では、ルマスペクトルの異なる範囲で動作する２つの線形モデルがあり得る。
【0121】
以下では、本開示のいくつかの例示の実施形態がより詳細に説明される。
【0122】
最初に、エンコーダのいくつかの動作が説明される。エンコーダは、エンコードされるべき画像のピクセルの輝度成分およびクロミナンス成分を受け取る。画像は、より小さいブロックに分割されており、１つの画像の輝度成分およびクロミナンス成分は、ブロックごとに処理することができる。以前にエンコードされ、その後、デコードされた画像のブロックまたはその一部の情報は、エンコーダによって参照フレームメモリ（ＲＦＭ）に格納されており、例えば、後続の画像の予測で使用することができる。
【0123】
ルマ値を彩度値にマッピングするための線形モデルを使用して、デコードされたルマ値に基づいて、予測された彩度値を生成することができる。この種のモデルは、勾配パラメータ「ａ」およびオフセットパラメータ「ｂ」を使用して以下のように与えることができる。
ｃｈｒｏｍａＶａｌ＝ｌｕｍａＶａｌ＊ａ＋ｂ
ｃｈｒｏｍａＶａｌ＝ｌｕｍａＶａｌ＊ａ＋ｂ
【0124】
エンコーダは、勾配パラメータ「ａ」およびオフセットパラメータ「ｂ」をビットストリームにエンコードすることができ、デコーダは、それらのパラメータをビットストリームから取得することができ、またはデコーダは、それらのパラメータを最初に知ることができ、それらのパラメータへの変更のみがデコーダに信号通知されてもよい。
【0125】
図５ａは、本開示の一実施形態によるマッピングを示している。各有効ルマサンプル値は、モデルを使用して彩度サンプル値にマッピングすることができる。この例では、ルマ値ｙ０およびｙ１と彩度値ｃ０およびｃ１とを有する２つの点または２つのルマ－彩度ペアｐ０およびｐ１が、マッピング関数の勾配パラメータａおよびオフセットパラメータｂを定義する。整数演算を使用する実際の実施態様では、式は、勾配パラメータａの基準または精度を定義するスケーリングパラメータ「ｋ」をさらに含むことができる。
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ）＞＞ｋ）＋ｂ
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ）＞＞ｋ）＋ｂ
【0126】
スケーリングパラメータｋは、例えばエンコーダによって、モデルのパラメータを生成するプロセスの間に選択されてもよく、またはスケーリングパラメータｋはまた、異なる方法でデコーダに示されてもよく、または固定されたｋが、エンコーダが実行するすべてのマッピングに使用されてもよい。パラメータｋは、ルマ－彩度値空間に到達するために、ｌｕｍａＶａｌと勾配パラメータａとの間の乗算の結果を、ビット単位の右シフト演算＞＞を使用して、何ビットシフトダウンさせるかを決定している。言い換えれば、結果は、２kで除算される。
【0127】
一実施形態では、勾配パラメータａの更新項「ｕ」は、エンコーダによってビットストリームにエンコードされ、デコーダによってビットストリームから受け取られ、ルマ－彩度値ペアからなる参照点が決定され、パラメータａ、ｋ、およびｂが、更新項および参照点に基づいてデコーダによって更新される。
【0128】
一実施形態では、勾配パラメータａの更新項ｕは、エンコーダによってビットストリームにエンコードされ、デコーダによってビットストリームから受け取られ、参照ルマ値が決定され、パラメータａ、ｋ、およびｂが、更新項および参照ルマ値に基づいてデコーダによって更新される。
【0129】
更新項ｕは、勾配パラメータａに対して決定された基底（ｂａｓｉｓ）または精度ｋとは異なる基底または精度「ｓ」を有することができる。例えば、更新項ｕは、受け取った更新項ｕを３ビットだけシフトダウンする（またはそれを２3＝８で除算する）ことに対応する３の基底を有することができる。別の例として、更新項ｕは、受け取った更新項ｕを４ビットだけシフトダウンする（またはそれを２4＝１６で除算する）ことに対応する４の基底を有することができる。この基底は、固定されてもよく、またはビットストリームで信号通知されてもよく、または予測もしくは処理されるべきブロックのサイズの関数としてデコーダによって適応的に決定されてもよい。一例として、基底ｓは、予測ブロックサイズが閾値を上回る場合、より細かい精度の更新項に対応してより大きくすることができ、予測ブロックサイズが閾値を下回る場合、より小さくすることができる。
【0130】
更新項ｕを勾配パラメータａに加えるには、これらのパラメータの基底が等しくされなければならない。これは、ｋがｓよりも大きい場合、ｕの基底がｋの基底と一致するまでｕをビット単位でシフトシフトアップするか、ｋがｓよりも小さい場合、ｕの基底がｋの基底と一致するまでａをシフトシフトアップすることによって達成することができる。
【0131】
この例では、パラメータａ’、ｋ’、およびｂ’を有する更新された線形モデルは、
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ’）＞＞ｋ’）＋ｂ’
として書くことができる。
ｃｈｒｏｍａＶａｌ＝（（ｌｕｍａＶａｌ＊ａ’）＞＞ｋ’）＋ｂ’
として書くことができる。
【0132】
更新された線形モデルパラメータは、例えば、以下の疑似コードを使用して計算することができる。
ａ，ｂ，ｋ，ｒｅｆＬｕｍａ＝ｅｓｔｉｍａｔｅＬｉｎｅａｒＭｏｄｅｌ（参照サンプルのセット）
ｕ＝ｄｅｃｏｄｅＵｐｄａｔｅＴｅｒｍ（ビットストリーム）
ｋ’＝ｋ
ｉｆ（ｋ＜ｓ）
｛
／／最終シフトを、少なくとも更新の精度のサイズにする
ａ＝ａ＜＜（ｓ－ｋ）
ｋ’＝ｓ
｝
ｅｌｓｅ ｉｆ（ｋ＞ｓ）
｛
／／最終シフトが更新の精度よりも大きい：更新を最終精度までスケールアップする
ｕ＝ｕ＜＜（ｋ－ｓ）
｝
ａ’＝ａ＋ｕ
ｂ’＝ｂ－（（ｕ＊ｙr）＞＞ｋ’）
ａ，ｂ，ｋ，ｒｅｆＬｕｍａ＝ｅｓｔｉｍａｔｅＬｉｎｅａｒＭｏｄｅｌ（参照サンプルのセット）
ｕ＝ｄｅｃｏｄｅＵｐｄａｔｅＴｅｒｍ（ビットストリーム）
ｋ’＝ｋ
ｉｆ（ｋ＜ｓ）
｛
／／最終シフトを、少なくとも更新の精度のサイズにする
ａ＝ａ＜＜（ｓ－ｋ）
ｋ’＝ｓ
｝
ｅｌｓｅ ｉｆ（ｋ＞ｓ）
｛
／／最終シフトが更新の精度よりも大きい：更新を最終精度までスケールアップする
ｕ＝ｕ＜＜（ｋ－ｓ）
｝
ａ’＝ａ＋ｕ
ｂ’＝ｂ－（（ｕ＊ｙr）＞＞ｋ’）
【0133】
オリジナルの線形モデルパラメータａ、ｂ、およびｋは、Ｈ．２６６／ＶＶＣ仕様で決定されたプロセスに従ってｅｓｔｉｍａｔｅＬｉｎｅａｒＭｏｄｅｌ関数によって、または線形回帰の使用などの代替の方法で計算することができる。オリジナルのパラメータａ、ｂ、およびｋに加えて、追加の参照ルマパラメータｙrが、決定され、更新オフセットパラメータｂ’を計算するときに参照値として使用される。ｙrパラメータは、様々な方法で決定することができる。例えば、線形モデルを計算するために２つのルマ－彩度ペアが使用される場合、ｙrは、それらのペアのルマ値の平均に設定することができる。線形モデルを計算するために４つのルマ－彩度ペアが使用される場合、ｙrは、例えば、それらのペアの最も大きいルマ値と最も小さいルマ値の平均に設定することができ、またはｙrは、それらのペアの２番目に大きいルマ値と３番目に大きいルマ値の平均に設定することができ、またはｙrは、それらの４つのペアのルマ値の平均に設定することができる。さらなる例として、ｙrは、参照ルマ－彩度ペアもしくはルマ参照値の決定されたセット内のルマ値の平均、それらの値の中央値、またはそれらの値の最大値および最小値の平均として、あるいは他の方法で計算することができる。ｙrが計算される方法はまた、ビットストリーム信号通知に基づいて決定されてもよい。例えば、決定されたルマ参照サンプルの平均がｙrとして使用されているかどうか、またはｙrが参照ルマ値のセットの加重平均として計算されているかどうか、およびそれらの重みが何であるかが信号通知されてもよい。ブロック境界の外側から取得された従来の参照値を使用することに加えてまたはその代わりに、ｙrパラメータの決定は、予測ブロックまたは予測ユニットの内側の再構成されたルマ値を含むことができる。
【0134】
図５ｂは、更新されたマッピングを示している。更新項ｕは、マッピングが回転される制御点としてルマ値ｙrに対する参照点ｐｒを使用して、マッピングの勾配に適用される。更新された勾配パラメータａ’および更新されたオフセットパラメータｂ’が、今では、新しいマッピングを定義している。スケールパラメータｋおよびｓは、図を簡単にするために省略されている。
【0135】
図５ｃは、決定された初期のマッピングラインの外側の制御点ｐｒを選択し、そのような点に関して勾配更新を実行することを示す。この場合、オフセットパラメータｂは、それに応じて、更新されるべきである。例えば、ｐｒがマッピングラインの上の特定の量の彩度値である場合、ｂ’は同じ量だけ上げられるべきである。代替として、ｂ’は、更新された勾配パラメータａ’と制御点ｐｒの座標とを使用して計算することができる。これは、例えば、制御点ｐｒのルマ値ｙrおよび彩度値ｃrを使用して、以下のように行うことができる。
ｂ’＝ｃr－（（ａ’＊ｙr）＞＞ｋ’）
ｂ’＝ｃr－（（ａ’＊ｙr）＞＞ｋ’）
【0136】
図５ｄは、決定された初期マッピングラインの外側の制御点ｐｒを使用し、勾配を変えないままでオフセットパラメータｂへの更新のみを実行することを示す。この代替では、勾配パラメータは、２つ以上のルマ－彩度値ペア、または制御点に基づいて計算される。加えて、追加の制御点ｐｒが、参照ルマ－彩度ペアの異なるまたは同じセットを使用することによって計算される。例えば、参照ルマ値のセットの平均ルマ値を制御点ｐｒのルマ値ｙrとして使用することができ、参照彩度値のセットの平均彩度値を制御点ｐｒの彩度値ｃrとして使用することができる。参照彩度値のセットは、一例として、ブロックのすぐ上およびブロックのすぐ左の再構成された境界彩度サンプルのすべての値を含むことができる。参照ルマ値のセットは、彩度解像度とルマ解像度とが異なる場合、例えば補間によって取得され得る対応するルマサンプル値とすることができる。境界彩度サンプルは、ブロックの真上および左のサンプルを含むことができるが、それらのアレイの拡張されたものをさらに含むことができる。例えば、幅がｗであるブロックの上の境界サンプルのセットは、ブロックに隣接するｗ個のサンプルを含むことができ、またはブロックのすぐ上の第１のｗ個のサンプルの同じ行でのｗ個の追加のサンプルをさらに含む２＊ｗ個のサンプルを含むことができる。次いで、更新されるオフセット値ｂ’が、以下のように、参照ルマ値ｙrおよび参照彩度値ｃrを使用して計算することができる。
ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）
ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）
【0137】
有利には、勾配パラメータａを計算するための参照ルマおよび彩度値のセットは、オフセットパラメータｂ’を生成するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットよりも小さくなるように選択される。この選択により、一次勾配パラメータａを計算する計算の複雑さを低く保つことができるとともに、ｃrおよびｙrの比較的単純な計算が、例えば、ｃrを生成するために参照彩度値を平均化することおよびｙrを生成するために参照ルマ値を平均化することによりｃrおよびｃｙを決定することによって、より正確に実行され得る。
【0138】
線形モデルのバイアス項ｂ’を計算するための参照ルマおよび彩度値のセットは、有利には、線形モデルの勾配パラメータａを計算するために使用される参照ルマおよび彩度値のスーパーセットとなるように選択することができる。これは、既に生成またはフェッチされた参照サンプルがバイアス項ｂ’を決定する際に使用することができるので、線形モデルの決定に関連する計算の複雑さを低下させるとともに、参照サンプルのより大きいセットがそれを計算するのに利用可能にされるので、オフセットパラメータｂ’の正確度および安定性を改善することができる。
【0139】
図６ａ～図６ｃは、ブロックＢの上の参照サンプルＲに対する様々な選択を示す。図６ａは、ブロックのすぐ上に選択された参照サンプルのセットを示す。図６ｂの例は、ブロックの右上に追加のサンプルをさらに含むように参照サンプルのセットを延ばしたものを示し、図６ｃは、１つのサンプルだけ左に参照サンプルアレイを延ばしたものを示す。当然、例えば２＊ｗ＋１つのサンプルをセットに含める他の選択を行うこともできる。同様の選択が、ブロックＢの左側で行われてもよく、さらに、ブロックの左および上からサンプルまたはサンプルアレイの組合せが使用されてもよい。
【0140】
一実施形態では、ビデオまたは画像デコーダは、図７ａの流れ図に関連して以下のステップを実行する。
【0141】
デコーダは、ある色成分から別の色成分へのマッピングを定義する少なくとも２つのパラメータを計算し、少なくとも２つのパラメータは、少なくとも勾配パラメータおよびオフセットパラメータを含む（７０２）。そして、デコーダは、勾配パラメータに対する更新項を決定する（７０４）。次いで、デコーダは、更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成し（７０６）、その後、デコーダは、参照ルマ値を決定する（７０８）。参照ルマ値および更新された勾配パラメータに基づいて、デコーダは、更新されたオフセットパラメータを計算する（７１０）。
【0142】
一実施形態では、ビデオまたは画像デコーダは、図７ｂの流れ図に関連して以下のステップを実行する。
【0143】
デコーダは、ある色成分から別の色成分へのマッピングを定義する少なくとも２つのパラメータを計算し、少なくとも２つのパラメータは、少なくとも勾配パラメータおよびオフセットパラメータを含む（７２２）。そして、デコーダは、勾配パラメータに対する更新項を決定する（７２４）。次いで、デコーダは、更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成し（７２６）、マッピングにおける参照点を決定する（７２８）。参照点および更新された勾配パラメータに基づいて、デコーダは、更新されたオフセットパラメータを計算する（７３０）。
【0144】
ある色成分の値から他の色成分の値へのマッピングを定義するパラメータの計算は、様々な方法で行うことができる。例えば、線形回帰または他の統計的方法を使用して、モデルが参照サンプルのセットに対して作り出すことがある誤差を最小化することができる。参照サンプルは、予測することができるブロックの境界から、またはデータの別のセットを使用して取得することができる。さらに、多数の候補参照セットがある場合があり、エンコーダはそこから１つを選び、その選択をデコーダにビットストリームで示す。境界サンプルまたは他のサンプルセットのサブセットを使用することもできる。そのような場合、例えば、利用可能な参照サンプルから選択された４つのサンプルペアがあり得、各サンプルペアは、ルマサンプルおよび対応する彩度サンプルからなる。４つのペアのうちの最も低いルマ値をもつ２つのペアが、第１のセットを形成することができ、最も高いルマ値をもつ２つのペアが、第２のセットを形成することができる。第１のセットのルマ値を平均化して、第１の平均ルマ値を形成することができ、第１のセットの彩度値を平均化して、第１の平均彩度値を形成することができる。同様に、第２のセットのルマ値を平均化して、第２の平均ルマ値を形成することができ、第２のセットの彩度値を平均化して、第２の平均彩度値を形成することができる。今では、Ｈ．２６６／ＶＶＣ規格におけるように、２つの平均ルマ値および２つの平均彩度値から線形モデルパラメータを計算することができる。
【0145】
勾配値に対する更新項は、様々な方法で決定することができる。例えば、ビデオエンコーダは、レート歪最適化技法を使用して、勾配値に対する適切な更新項を決定することができる。ビデオデコーダは、勾配値に対する更新項を、それをビットストリームから解析し、それを予測することによって、もしくは予測およびビットストリーム信号通知を組み合わせることによって、または他の手段によって決定することができる。
【0146】
勾配値に対する更新項は、計算された勾配値ａと同じ基準にスケーリングすることができ、または計算された勾配値ａは、更新項と同じ基準にスケーリングすることができ、または両方の値は、第３の基準にスケーリングすることができ、またはスケーリングは省略することができる。第３の基準は、例えば、更新項および勾配パラメータに使用される基準の許容される最大値によって決定することができる。
【0147】
更新項は、特定の範囲に限定することができる。例えば、更新項は、－３～３、または－４～４、または－Ｎ～Ｎ、またはＮ～Ｍの範囲の整数値を有するように定義することができる。ここで、ＮおよびＭは、定数であってもよく、または様々な手段によって決定されてもよい。例えば、それらは、予測される、コード化される、またはデコードされるブロックの特性、例えばブロックのサイズなどに基づいて決定されてもよい。
【0148】
一実施形態では、ビットストリームで信号通知され、デコーダによってデコードされ得る更新項の事前決定されたセットがある。
【0149】
一実施形態ではビットストリームで信号通知され、デコーダによってデコードされ得る更新項のセットは、サンプルのブロックの特性、例えばブロックのサイズなどに依存する。
【0150】
一実施形態では、線形モードにおけるオフセット項ｂ’は、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算され、ここで、ｃrは、ブロックの上の境界彩度値の平均であり、ｙrは、ブロックの上の境界ルマ値の平均であり、ａは、勾配パラメータであり、ｋは、シフトパラメータである。
【0151】
一実施形態では、線形モードにおけるオフセット項ｂ’は、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算され、ここで、ｃrは、ブロックの左の境界彩度値の平均であり、ｙrは、ブロックの左の境界ルマ値の平均であり、ａは、勾配パラメータであり、ｋは、シフトパラメータである。
【0152】
一実施形態では、線形モードにおけるオフセット項ｂ’は、ｂ’＝ｃr－（（ａ＊ｙr）＞＞ｋ）として計算され、ここで、ｃrは、ブロックの左および上の境界彩度値の平均であり、ｙrは、ブロックの左および上の境界ルマ値の平均であり、ａは、勾配パラメータであり、ｋは、シフトパラメータである。
【0153】
一実施形態では、オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットは、勾配パラメータａを計算するための参照ルマおよび彩度値のセットよりも大きくなるように選択される。
【0154】
一実施形態では、オフセットパラメータｂ’を決定するためにｃrおよびｙrパラメータを計算するための参照ルマおよび彩度値のセットは、勾配パラメータａを計算するための参照ルマおよび彩度値のセットのスーパーセットとなるように選択される。
【0155】
更新項は、様々な手段によって予測することができ、実際の更新項と予測された更新項との間の差は、ビットストリームにエンコードしたり、またはビットストリームからデコードしたりすることができる。そのような予測手段は、空間的にもしくは時間的に隣接するブロック、同じもしくは異なるピクチャ内の他のブロック、または異なる色成分もしくはチャネルのブロックの更新項または他のパラメータからの予測された更新項の決定を含むことができる。
【0156】
異なる色成分に対する更新項は、別々にまたは一緒に示すことができる。それらはまた、例えば、彩度成分のいずれかに非ゼロ更新項があるかどうかを示す結合ビットストリームフラグを有することによって、部分的に一緒に示すことができる。この表示が彩度成分に更新項が存在することを示唆する場合、一方または両方の彩度成分が非ゼロの更新項を有するかどうか、および、一方のみが非ゼロの更新項を有する場合、非ゼロ更新項が成分のうちのどちらであるかをさらに示すことができる。代替として、彩度成分に更新項が存在することを表示が示唆する場合、第１の彩度成分が非ゼロの更新項を有するかどうかをさらに示すことができ、信号通知が第１の彩度成分について非ゼロの更新項を示唆していることを条件として、第２の彩度成分も非ゼロの更新項を有するかどうかをさらに示すことができる。この例では、第２の彩度成分に更新項が存在することの表示は、第１の彩度成分がそれに関連する非ゼロの更新項を有していない場合、省略することができる。
【0157】
参照ルマ値または参照点の決定は、様々な方法で行うことができる。例えば、参照ルマ値は、線形モデルの勾配パラメータを決定する際に使用される２つのルマ値の平均とすることができる、またはそのようなルマ値の加重平均とすることができる、または他の方法で決定することができる。
【0158】
ルマから彩度値へのマッピングを形成する多数の線形モデルが存在し得る。例えば、ルマ値が閾値を下回る場合、第１の線形モデルを使用することができ、ルマ値が閾値以上である場合、第２のモデルを使用することができる。そのような場合、線形モデルの各々は、ビットストリーム信号通知に基づいて、それらの独立した更新項を受け取ることができる。さらに、線形モデルの特定のサブセットのみが、信号通知された１つまたは複数の更新項を使用して更新されることを信号通知することができる。さらに、同じ更新項が、ビットストリーム信号通知または他の手段に基づいて多数のモデルで使用されるように決定することができる。そのような場合、信号通知された更新項を様々なモデルに適用する方法をさらに決定することができる。例えば、同じ更新項を２つのモデルに使用することができ、または更新項の負のバージョンを一方のモデルに使用することができ、更新項の正のバージョンを他方のモデルに使用することができる。
【0159】
マッピングプロセスおよびパラメータ更新処理は、ここでは、入力としてルマ値および出力として彩度値を有するとして説明されるが、入力および出力は、そのような色成分に制限されない。例えば、同じプロセスは、入力としてのＣｂチャネルなどの１つの彩度チャネル、および出力としてのＣｒチャネルなどの別の彩度チャネルを有する彩度チャネル間に適用することができる。さらなる例として、入力チャネルは、ルマチャネルとすることができ、出力チャネルは、例えば、深度、距離、視差、透明度、または他のタイプの値からなる補助情報チャネルとすることができる。
【0160】
一実施形態によれば、彩度ブロックはまた、ＲＧＢ色空間の赤、緑、または青の色成分のうちのいずれかに対応することができる。
【0161】
一態様による装置は、第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算するための手段であり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算するための手段と、勾配パラメータに対する更新項を決定するための手段と、更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成するための手段と、第１の色成分の参照値を決定するための手段と、第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算するための手段とを含む。
【0162】
さらなる態様として、少なくとも１つのプロセッサと少なくとも１つのメモリとを含む装置が提供され、前記少なくとも１つのメモリにはコードが格納され、コードは、前記少なくとも１つのプロセッサによって実行されると、装置に、少なくとも、第１の色成分から第２の色成分へのマッピングを定義する少なくとも２つのパラメータを計算することであり、少なくとも２つのパラメータが少なくとも勾配パラメータおよびオフセットパラメータを含む、計算することと、勾配パラメータに対する更新項を決定することと、更新項を勾配パラメータの値に加えることによって更新項を勾配パラメータに適用して、更新された勾配パラメータを生成することと、第１の色成分の参照値を決定することと、第１の色成分の参照値と、更新された勾配パラメータとに基づいて、更新されたオフセットパラメータを計算することとを実行させる。
【0163】
【0164】
そのような装置は、前記少なくとも１つのメモリに格納されたコードをさらに含み、コードが前記少なくとも１つのプロセッサによって実行されると、コードにより、装置は、本明細書で開示される実施形態のうちの１つまたは複数を実行する。
【0165】
図８は、様々な実施形態を実施することができる例示のマルチメディア通信システムのグラフィカル表示である。データソース１５１０は、アナログ、非圧縮デジタル、または圧縮デジタルフォーマット、またはこれらのフォーマットの任意の組合せのソース信号を提供する。エンコーダ１５２０は、ソース信号のデータフォーマット変換および／またはフィルタリングなどの前処理を含むかまたはそれに関連することができる。エンコーダ１５２０は、ソース信号をコード化メディアビットストリームにエンコードする。デコードされるべきビットストリームは、事実上任意のタイプのネットワーク内に配置されたリモートデバイスから直接または間接的に受け取ることができることに留意されたい。追加として、ビットストリームは、ローカルハードウェアまたはソフトウェアから受け取ることができる。エンコーダ１５２０は、オーディオおよびビデオなどの２つ以上のメディアタイプをエンコードすることができる可能性があり、または２つ以上のエンコーダ１５２０は、異なるメディアタイプのソース信号をコード化するのに必要とされることがある。エンコーダ１５２０はまた、グラフィックスおよびテキストなどの合成的に作成された入力を得ることができ、合成媒体のコード化されたビットストリームを生成することができる可能性がある。以下では、１つのメディアタイプの１つのコード化メディアビットストリームの処理のみが、説明を簡単にするために考慮される。しかしながら、一般に、実時間ブロードキャストサービスは、いくつかのストリーム（一般に、少なくとも１つのオーディオ、ビデオ、およびテキストサブタイトル付きストリーム）を含むことに留意されたい。システムは多くのエンコーダを含むことができるが、図では、一般性を失うことなく説明を簡単にするために１つのエンコーダ１５２０のみが示されていることにも留意されたい。本明細書に含まれるテキストおよび例はエンコーディングプロセスを具体的に説明し得るが、当業者は同じ概念および原理が、対応するデコーディングプロセスにも適用され、逆の場合も同じであることを理解するであろうことをさらに理解されたい。
【0166】
コード化メディアビットストリームは、ストレージ１５３０に転送され得る。ストレージ１５３０は、コード化メディアビットストリームを格納するための任意のタイプのマスメモリを含むことができる。ストレージ１５３０内のコード化メディアビットストリームのフォーマットは、基本的な自己完結型ビットストリームフォーマットとすることができ、または１つまたは複数のコード化メディアビットストリームは、コンテナファイルにカプセル化することができ、またはコード化メディアビットストリームは、ＤＡＳＨ（または同様のストリーミングシステム）に適し、セグメントのシーケンスとして格納されるセグメントフォーマットにカプセル化することができる。１つまたは複数のメディアビットストリームがコンテナファイルにカプセル化される場合、ファイル発生器（図に示されていない）を使用して、１つまたは複数のメディアビットストリームをファイルに格納し、ファイルフォーマットメタデータを作り出すことができ、ファイルフォーマットメタデータは、さらに、ファイルに格納され得る。エンコーダ１５２０またはストレージ１５３０は、ファイル発生器を含むことができ、またはファイル発生器は、エンコーダ１５２０またはストレージ１５３０のいずれかに動作可能に取り付けられる。いくつかのシステムは、「ライブで」動作し、すなわち、ストレージを省略し、エンコーダ１５２０からのコード化メディアビットストリームをセンダ１５４０に直接転送する。次いで、コード化メディアビットストリームは、必要に応じて、サーバとも呼ばれるセンダ１５４０に転送され得る。送信に使用されるフォーマットは、基本的な自己完結型ビットストリームフォーマット、パケットストリームフォーマット、ＤＡＳＨ（または同様のストリーミングシステム）に適するセグメントフォーマットとすることができ、または１つまたは複数のコード化メディアビットストリームは、コンテナファイルにカプセル化され得る。エンコーダ１５２０、ストレージ１５３０、およびサーバ１５４０は、同じ物理デバイスに存在してもよく、または別個のデバイスに含まれてもよい。エンコーダ１５２０およびサーバ１５４０は、ライブ実時間コンテンツで動作することができ、その場合、コード化メディアビットストリームは、一般に、恒久的に格納されるのではなく、むしろ、コンテンツエンコーダ１５２０および／またはサーバ１５４０に短期間バッファされて、処理遅延、転送遅延、およびコード化メディアビットレートにおける変動を平滑化する。
【0167】
サーバ１５４０は、通信プロトコルスタックを使用してコード化メディアビットストリームを送る。スタックは、限定はしないが、リアルタイムトランスポートプロトコル（ＲＴＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、伝送制御プロトコル（ＴＣＰ）、およびインターネットプロトコル（ＩＰ）のうちの１つまたは複数を含むことができる。通信プロトコルスタックがパケット指向である場合、サーバ１５４０は、コード化メディアビットストリームをパケットにカプセル化する。例えば、ＲＴＰが使用される場合、サーバ１５４０は、コード化メディアビットストリームを、ＲＴＰペイロードフォーマットに従ってＲＴＰパケットにカプセル化する。一般に、各メディアタイプは、専用のＲＴＰペイロードフォーマットを有する。システムは２つ以上のサーバ１５４０を含むことができるが、簡単さのために、以下の説明は１つのサーバ１５４０のみを考慮することに再度留意されたい。
【0168】
メディアコンテンツが、ストレージ１５３０のためにまたはデータをセンダ１５４０に入力するためにコンテナファイルにカプセル化される場合、センダ１５４０は、「送信ファイルパーサ」（図に示されていない）を含むことができ、またはそれに動作可能に取り付けられ得る。特に、コンテナファイルがそのように送信されるのではなく、含まれるコード化メディアビットストリームのうちの少なくとも１つが、通信プロトコルを介した移送のためにカプセル化される場合、送信ファイルパーサは、通信プロトコルを介して搬送されるべきコード化メディアビットストリームの適切な部分を捜し出す。送信ファイルパーサはまた、パケットヘッダおよびペイロードなどの通信プロトコルの正しいフォーマットを作り出す際に役立つことができる。マルチメディアコンテナファイルは、含まれているメディアビットストリームのうちの少なくとも１つを通信プロトコルに基づいてカプセル化するために、ＩＳＯＢＭＦＦにおけるヒントトラックなどのカプセル化命令を含むことができる。
【0169】
サーバ１５４０は、例えば、ＣＤＮ、インターネット、および／または１つまたは複数のアクセスネットワークの組合せとすることができる通信ネットワークを通してゲートウェイ１５５０に接続される場合もされない場合もある。ゲートウェイは、さらにまたは代替として、ミドルボックスと呼ばれることがある。ＤＡＳＨでは、ゲートウェイは、エッジサーバ（ＣＤＮの）またはウェブプロキシとすることができる。システムは、一般に、任意の数のゲートウェイなどを含むことができるが、簡単のために、以下の説明は、１つのゲートウェイ１５５０のみを考慮することに留意されたい。ゲートウェイ１５５０は、ある通信プロトコルスタックによるパケットストリームの別の通信プロトコルスタックへの変換、データストリームのマージングおよびフォーキング、および現行のダウンリンクネットワーク状態に応じた転送ストリームのビットレートの制御などのダウンリンクおよび／またはレシーバ能力に応じたデータストリームの操作などの様々なタイプの機能を実行することができる。ゲートウェイ１５５０は、様々な実施形態のサーバエンティティとすることができる。
【0170】
システムは、一般に、送信された信号を受信し、復調し、コード化メディアビットストリームにカプセル開放することができる１つまたは複数のレシーバ１５６０を含む。コード化メディアビットストリームは、記録ストレージ１５７０に転送され得る。記録ストレージ１５７０は、コード化メディアビットストリームを格納するために任意のタイプのマスメモリを含むことができる。記録ストレージ１５７０は、代替としてまたは付加的に、ランダムアクセスメモリなどの計算メモリを含むことができる。記録ストレージ１５７０内のコード化メディアビットストリームのフォーマットは、基本的な自己完結型ビットストリームフォーマットとすることができ、または１つまたは複数のコード化メディアビットストリームは、コンテナファイルにカプセル化され得る。互いに関連するオーディオストリームおよびビデオストリームなどの多数のコード化メディアビットストリームがある場合、コンテナファイルが、一般に、使用され、レシーバ１５６０は、入力ストリームからコンテナファイルを生成するコンテナファイル発生器を含むかまたはそれに取り付けられる。いくつかのシステムは、「ライブで」動作し、すなわち、記録ストレージ１５７０を省略し、レシーバ１５６０からのコード化メディアビットストリームをデコーダ１５８０に直接転送する。いくつかのシステムでは、記録されたストリームのうちの最新の部分のみ、例えば、記録されたストリームの最新の１０分の抜粋のみが、記録ストレージ１５７０に維持され、一方、前の記録データは、記録ストレージ１５７０から廃棄される。
【0171】
コード化メディアビットストリームは、記録ストレージ１５７０からデコーダ１５８０に転送され得る。互いに関連し、コンテナファイルにカプセル化されたオーディオストリームおよびビデオストリームなどの多くのコード化メディアビットストリームがあるか、または単一のメディアビットストリームが、例えば、より容易なアクセスのためにコンテナファイルにカプセル化される場合、ファイルパーサ（図に示されていない）を使用して、コンテナファイルからの各コード化メディアビットストリームをカプセル開放する。記録ストレージ１５７０またはデコーダ１５８０は、ファイルパーサを含むことができ、またはファイルパーサは、記録ストレージ１５７０またはデコーダ１５８０のいずれかに取り付けられる。システムは多くのデコーダを含むことができるが、ここでは、１つのデコーダ１５７０のみが、一般性を欠くことなく説明を簡単にするために論じられることにも留意されたい。
【0172】
コード化メディアビットストリームは、デコーダ１５７０によってさらに処理することができ、デコーダの出力は、１つまたは複数の非圧縮メディアストリームである。最後に、レンダラ１５９０は、例えば、ラウドスピーカまたはディスプレイにより非圧縮メディアストリームを再生することができる。レシーバ１５６０、記録ストレージ１５７０、デコーダ１５７０、およびレンダラ１５９０は、同じ物理デバイスに存在してもよく、または別個のデバイスに含まれてもよい。
【0173】
センダ１５４０および／またはゲートウェイ１５５０は、例えば、３６０度のビデオコンテンツの異なるビューポート間の切替え、ビュー切替え、ビットレート適合、および／または高速起動のために異なる表現間の切替えを実行するように構成することができ、および／またはセンダ１５４０および／またはゲートウェイ１５５０は、送信される表現を選択するように構成することができる。異なる表現間の切替えは、レシーバ１５６０の要求にまたはビットストリームが搬送されるネットワークのスループットなどの一般の条件に応答することなどの多くの理由で行うことができる。言い換えれば、レシーバ１５６０は、表現間の切替えを開始することができる。レシーバからの要求は、例えば、以前と違う表現によるセグメントまたはサブセグメントの要求、送信されたスケーラビリティレイヤおよび／またはサブレイヤの変更の要求、または以前のものと比較して異なる機能を有するレンダリングデバイスへの変更であり得る。セグメントの要求は、ＨＴＴＰ ＧＥＴ要求であり得る。サブセグメントの要求は、バイト範囲をもつＨＴＴＰ ＧＥＴ要求であり得る。追加としてまたは代替として、ビットレート調節またはビットレート適合は、例えば、ストリーミングサービスにおいていわゆる高速起動を提供するために使用することができ、送信されるストリームのビットレートは、再生を直ちに開始するために、および時折のパケット遅延および／または再送信を許容するバッファ占有レベルを達成するために、ストリーミングの開始またはランダムアクセスの後のチャネルビットレートよりも低い。ビットレート適合は、多数の表現またはレイヤアップ切替えと表現またはレイヤダウン切替え操作とが様々な順序で行われることを含むことができる。
【0174】
デコーダ１５８０は、例えば、３６０度のビデオコンテンツの異なるビューポート間の切替え、ビュー切替え、ビットレート適合、および／または高速起動のために異なる表現間の切替えを実行するように構成することができ、および／またはデコーダ１５８０は、送信された表現を選択するように構成することができる。異なる表現間の切替えは、より高速のデコーディング動作を達成すること、または送信されたビットストリームを、例えばビットレートに関して、ビットストリームが搬送されるネットワークのスループットなどの一般の条件に適合させることなどの多くの理由で行うことができる。例えば、デコーダ１５８０を含むデバイスがマルチタスキングであり、ビデオビットストリームのデコーディング以外の目的でコンピューティングリソースを使用する場合、より速いデコーディング動作が必要とされることがある。別の例では、コンテンツが通常の再生速度よりも速いペースで、例えば、従来の実時間再生レートの２倍または３倍の速さで再生されるとき、より速いデコーディング動作が必要とされることがある。
【0175】
上述では、いくつかの実施形態は、ＨＥＶＣおよび／またはＶＶＣの用語を参照しておよび／またはそれを使用して説明された。実施形態は、同様に、任意のビデオエンコーダおよび／またはビデオデコーダを用いて実現され得ることを理解する必要がある。
【0176】
上述では、例示の実施形態がエンコーダを参照して説明された場合、結果として生じるビットストリームおよびデコーダは、対応する要素をそれら中に有することができることを理解する必要がある。同様に、例示の実施形態がデコーダを参照して説明された場合、エンコーダが、デコーダによってデコードされるべきビットストリームを生成するための構造および／またはコンピュータプログラムを有することができることを理解する必要がある。例えば、いくつかの実施形態は、エンコーディングの一部として予測ブロックを生成することに関連して説明された。実施形態は、水平オフセットおよび垂直オフセットなどのコーディングパラメータがエンコーダによって決定されたよりもビットストリームからデコードされるという差を伴って、デコーディングの一部として予測ブロックを生成することによって同様に実現することができる。
【0177】
上述の本発明の実施形態は、必要とされるプロセスの理解を助けるために別個のエンコーダ装置およびデコーダ装置の点からコーデックを説明している。しかしながら、装置、構造、および動作は、単一のエンコーダ－デコーダ装置／構造／動作として実施されてもよいことを理解されよう。さらに、コーダーおよびデコーダは、一部またはすべての共通要素を共有することができることが可能である。
【0178】
上述の例は、本発明の実施形態が電子デバイス内のコーデック内で動作することを説明しているが、特許請求の範囲に定義されるような本発明は任意のビデオコーデックの一部として実施されてもよいことを理解されよう。したがって、例えば、本発明の実施形態は、固定または有線通信経路を介してビデオコーディングを実施することができるビデオコーデックで実施され得る。
【0179】
したがって、ユーザ機器は、上述の本発明の実施形態で説明されたものなどのビデオコーデックを含むことができる。ユーザ機器という用語は、携帯電話、ポータブルデータ処理デバイス、または携帯ウェブブラウザなどの任意の適切なタイプの無線ユーザ機器を包含するように意図されることを理解されたい
【0180】
さらに、公衆陸上移動通信網（ＰＬＭＮ）の要素は、上述のようなビデオコーデックを含むことができる。
【0181】
一般に、本発明の様々な実施形態は、ハードウェアまたは専用回路、ソフトウェア、論理、またはそれらの任意の組合せで実施することができる。例えば、ある態様は、ハードウェアで実施することができ、一方、他の態様は、コントローラ、マイクロプロセッサ、または他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実施することができるが、本発明はそれらに限定されない。本発明の様々な態様がブロック図、流れ図、または他の図形表現の使用として図示および説明され得るが、本明細書に記載されたこれらのブロック、装置、システム、技法、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、専用回路もしくは論理、汎用ハードウェアもしくはコントローラもしくは他のコンピューティングデバイス、またはそれらの組合せで実施することができることをよく理解されよう。
【0182】
本発明の実施形態は、プロセッサエンティティ内などの携帯デバイスのデータプロセッサによって実行可能なコンピュータソフトウェアによって、またはハードウェアによって、またはソフトウェアとハードウェアの組合せによって実施され得る。さらに、これに関して、図におけるような論理フローの任意のブロックが、プログラムステップ、または相互接続されたロジック回路、ブロック、および機能、またはプログラムステップとロジック回路、ブロック、および機能との組合せを表すことができることに留意されたい。ソフトウェアは、メモリチップ、またはプロセッサ内に実装されたメモリブロックなどの物理媒体、ハードディスクまたはフロッピーディスクなどの磁気媒体、および例えばＤＶＤ、およびそのデータ変形のＣＤなどの光学媒体に格納され得る。
【0183】
メモリは、ローカル技術環境に適する任意のタイプのものとすることができ、半導体ベースメモリデバイス、磁気メモリデバイスおよびシステム、光メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。データプロセッサは、ローカル技術環境に適する任意のタイプのものとすることができ、非限定の例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、およびマルチコアプロセッサアーキテクチャに基づくプロセッサのうちの１つまたは複数を含むことができる。
【0184】
本発明の実施形態は、集積回路モジュールなどの様々な構成要素で実践することができる。集積回路の設計は、概して、高度に自動化されたプロセスである。論理レベル設計を、半導体基板にエッチングおよび形成される準備ができた半導体回路設計に変換するために利用可能な複雑で強力なソフトウェアツールが利用可能である。
【0185】
カリフォルニア州マウンテンビューのＳｙｎｏｐｓｙｓ， Ｉｎｃ．およびカリフォルニア州サンノゼのＣａｄｅｎｃｅ Ｄｅｓｉｇｎによって提供されるプログラムは、よく確立された設計ルールならびに事前格納された設計モジュールのライブラリを使用して、半導体チップ上で自動的に導体をルーティングし構成要素を配置する。半導体回路の設計が完了した後、標準電子フォーマット（例えば、Ｏｐｕｓ、ＧＤＳＩＩなど）の結果として生じた設計は、製造のために半導体製造設備または「ｆａｂ」に送られ得る。
【0186】
前述の説明は、例示的および非限定的な例として、本開示の例示的な実施形態の完全で有益な説明を提供した。しかしながら、前述の説明に鑑みて、添付の図面および添付の特許請求の範囲とともに読むとき、様々な変更および改変が当業者には明らかになるであろう。しかしながら、本開示の教示のすべてのそのようなおよび類似する変更は、依然として、本開示の範囲内にあることになる。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図5d】
【図6a】
【図6b】
【図6c】
【図7a】
【図7b】
【図8】
【国際調査報告】