特許 7012048 マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-19

(45)【発行日】2022-01-27

(54)【発明の名称】マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理

(51)【国際特許分類】

   H04N 19/30 20140101AFI20220120BHJP

【ＦＩ】

H04N19/30

【請求項の数】 24

(21)【出願番号】P 2019136698

(22)【出願日】2019-07-25

(62)【分割の表示】P 2018032293の分割

【原出願日】2014-10-07

(65)【公開番号】P2020010341

(43)【公開日】2020-01-16

【審査請求日】2019-08-26

(31)【優先権主張番号】61/887,782

(32)【優先日】2013-10-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/045,495

(32)【優先日】2014-09-03

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514041959

【氏名又は名称】ヴィド スケール インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】イエン イエ

(72)【発明者】

【氏名】ジエ ドン

(72)【発明者】

【氏名】ユーウェン ホー

(72)【発明者】

【氏名】ラルフ ネフ

【審査官】坂東 大五郎

(56)【参考文献】

【文献】Yuwen He et al.，Non-SCE4/AHG14: Combined bit-depth and color gamut conversion with 3D LUT for SHVC color gamut scalability，Joint Collaborative Team on Video Coding (JCT-VC)，2013年10月24日，[JCTVC-O0161] (version 4)

【文献】Ohji Nakagami et al.，AHG5: Luma-chroma prediction for different bitdepth，Joint Collaborative Team on Video Coding (JCT-VC)，2014年01月09日，[JCTVC-P0066] (version 2)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ信号を復号化する方法であって、
ピクチャを再構成するステップと、
輝度成分および彩度成分が同一の調整されたビット深度を有するように、前記ピクチャの前記輝度成分および前記ピクチャの前記彩度成分にビット深度アラインメントを実行するステップと、
前記ピクチャの前記ビット深度の調整された輝度成分および彩度成分へ、カラーマッピングを実行するステップと
を備えることを特徴とする方法。

【請求項2】

ビット深度アラインメントを実行する前記ステップは、
前記輝度成分の第１のビット深度を前記彩度成分の第２のビット深度へ調整するステップ
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

ビット深度アラインメントを実行する前記ステップは、
前記彩度成分の第１のビット深度を前記輝度成分の第２のビット深度へ調整するステップ
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項4】

ビット深度アラインメントを実行する前記ステップは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最大色成分ビット深度を決定するステップと、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最大色成分ビット深度に調整するステップと
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記最大色成分ビット深度は、前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度の大きい方であることを特徴とする請求項４に記載の方法。

【請求項6】

ビット深度アラインメントを実行する前記ステップは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最小色成分ビット深度を決定するステップと、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最小色成分ビット深度に調整するステップと
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項7】

前記最小色成分ビット深度は、前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度の小さい方であることを特徴とする請求項６に記載の方法。

【請求項8】

前記ビデオ信号は、ベースレイヤ（ＢＬ）およびエンハンスメントレイヤ（ＥＬ）を含み、前記ピクチャはＢＬピクチャであり、前記ＢＬピクチャの前記ビット深度の調整された輝度成分および彩度成分へカラーマッピングを実行する前記ステップは、
色成分間モデルを前記調整された輝度成分および彩度成分に適用して、レイヤ間参照ピクチャを生成するステップであって、前記レイヤ間参照ピクチャは、前記ビデオ信号の前記ＥＬからの少なくとも１つのＥＬピクチャを推定するのに使用されるステップをさらに含むことを特徴とする請求項１に記載の方法。

【請求項9】

前記ビデオ信号は、ベースレイヤ（ＢＬ）およびエンハンスメントレイヤ（ＥＬ）を含み、前記ピクチャはＢＬピクチャであり、前記ピクチャは前記ＢＬからのＢＬピクチャであることを特徴とする請求項１に記載の方法。

【請求項10】

ビット深度アラインメントを実行する前記ステップは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度の間のビット深度差分を決定するステップと、
より小さいビット深度の色成分に対するサンプル値を、より高いビット深度の色成分のビット深度に一致させるように、スケーリングするステップと
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項11】

ビデオ復号化装置であって、
ピクチャを再構成し、
輝度成分および彩度成分が同一の調整されたビット深度を有するように、前記ピクチャの前記輝度成分および前記ピクチャの前記彩度成分にビット深度アラインメントを実行し、
前記ピクチャの前記ビット深度の調整された輝度成分および彩度成分へカラーマッピングを実行するよう構成されたプロセッサ
を備えたことを特徴とする復号化装置。

【請求項12】

前記プロセッサは、
前記輝度成分の第１のビット深度を前記彩度成分の第２のビット深度へ調整すること
によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項13】

前記プロセッサは、
前記彩度成分の第１のビット深度を前記輝度成分の第２のビット深度へ調整すること
によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項14】

前記プロセッサは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最大色成分ビット深度を決定することと、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最大色成分ビット深度に調整することと
によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項15】

前記最大色成分ビット深度は、前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度の大きい方であることを特徴とする請求項１４に記載の復号化装置。

【請求項16】

前記プロセッサは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最小色成分ビット深度を決定することと、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最小色成分ビット深度に調整することと
によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項17】

前記最小色成分ビット深度は、前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度の小さい方であることを特徴とする請求項１６に記載の復号化装置。

【請求項18】

前記プロセッサは、
ベースレイヤ（ＢＬ）およびエンハンスメントレイヤ（ＥＬ）を含むビデオ信号を受信し、前記ピクチャは前記ＢＬからのＢＬピクチャであり、
色成分間モデルを前記調整された輝度成分および彩度成分に適用して、レイヤ間参照ピクチャを生成し、前記レイヤ間参照ピクチャは、前記ビデオ信号の前記ＥＬからの少なくとも１つのＥＬピクチャを推定するのに使用される
ようさらに構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項19】

前記プロセッサは、
ベースレイヤ（ＢＬ）およびエンハンスメントレイヤ（ＥＬ）を含むビデオ信号を受信し、前記ピクチャは前記ＢＬからのＢＬピクチャである
ようさらに構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項20】

前記プロセッサは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度の間のビット深度差分を決定することと、
より小さいビット深度の色成分に対するサンプル値を、より高いビット深度の色成分のビット深度に一致させるように、スケーリングすること
によって、ビット深度アラインメントを実行するよう構成されたことを特徴とする請求項１１に記載の復号化装置。

【請求項21】

ビデオエンコード化装置であって、
輝度成分および彩度成分が同一の調整されたビット深度を有するように、ピクチャの前記輝度成分および前記ピクチャの前記彩度成分にビット深度アラインメントを実行し、
前記ピクチャの前記ビット深度の調整された輝度成分および彩度成分へカラーマッピングを実行するよう構成されたプロセッサ
を備えたことを特徴とするビデオエンコード化装置。

【請求項22】

前記プロセッサは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最大色成分ビット深度を決定し、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最大色成分ビット深度に調整する
ようさらに構成されたことを特徴とする請求項２１に記載のビデオエンコード化装置。

【請求項23】

前記プロセッサは、
前記輝度成分の第１のビット深度および前記彩度成分の第２のビット深度に基づいて、最小色成分ビット深度を決定し、
前記輝度成分の前記第１のビット深度および前記彩度成分の前記第２のビット深度を、前記最小色成分ビット深度に調整する
ようさらに構成されたことを特徴とする請求項２２に記載のビデオエンコード化装置。

【請求項24】

ビデオエンコード化方法であって、
輝度成分および彩度成分が同一の調整されたビット深度を有するように、ピクチャの前記輝度成分および前記ピクチャの前記彩度成分にビット深度アラインメントを実行するステップと、
前記ピクチャの前記ビット深度の調整された輝度成分および彩度成分へカラーマッピングを実行するステップと
を備えることを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチレイヤビデオコーディングのコンバインドスケーラビリティ処理に関する。

【0002】

（相互参照）
本特許出願は、２０１３年１０月７日に出願された米国特許仮出願第６１／８８７，７８２号明細書および２０１４年９月３日に出願された米国特許仮出願第６２／０４５，４９５号明細書の利益を主張し、その開示内容は、参照により完全に記載されているかのように本明細書に組み込まれる。

【背景技術】

【0003】

デジタルディスプレイ技術が発展するにつれて、ディスプレイ解像度が上がり続けている。例えば、利用可能な最適な商業用ディスプレイ解像度を具体化したばかりの高精細度（ＨＤ）デジタルビデオストリームは、超高精細度（ＵＨＤ）ディスプレイ（例えば、４Ｋディスプレイ、８Ｋディスプレイなど）によって影を潜めた状態にある。

【0004】

ビデオコーディングシステムは、デジタルビデオ信号を圧縮するため、例えば、消費される記憶空間を削減するおよび／またはそのようなビデオ信号と関連付けられた伝送帯域幅の消費を削減するために使用されることが多い。スケーラブルビデオコーディング（ＳＶＣ）は、異種ネットワークを通じて異なる能力を有するデバイス上で稼働するビデオアプリケーションの体感品質（Quality of Experience）を改善することが知られている。スケーラブルビデオコーディングは、スケーラブルでないビデオコーディング技術と比較する場合、リソース（例えば、通信ネットワーク帯域幅、記憶域など）をより少なく消費できる。

【0005】

周知のＳＶＣビデオコーディングの実装（例えば、空間スケーラビリティを用いる実装）は、ＨＤビデオ信号のコーディングに効果的であることが証明されているが、ＨＤ解像度を上回るデジタルビデオ信号、例えば、ＵＨＤビデオ信号を処理する時に欠陥が出る。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許仮出願第６１／８８７，７８２号明細書

【文献】米国特許仮出願第６２／０４５，４９５号明細書

【発明の概要】

【0007】

ビデオコーディングシステムは、レイヤ間処理を遂行できる。ビデオコーディングシステムは、逆トーンマッピング（inverse tone mapping）と色域変換のスケーラビリティ処理をビデオ信号のビデオ信号レイヤで同時に遂行できる。ビデオコーディングシステムは、ビデオ信号レイヤでアップサンプリングを遂行できる。例えば、アップサンプリング処理は、組み合わされた（combined）逆トーンマッピングと色域変換のスケーラビリティ処理の後で遂行される。本明細書で用いられるコーディングは、符号化および／または復号化を含む。

【0008】

例えば、コンバインド（combined）処理モジュールを使用して逆トーンマッピングと色域変換のスケーラビリティ処理をベースレイヤなどの下位レイヤで同時に遂行できる。コンバインド処理モジュールは、入力輝度（luma）成分のサンプルビット深度および入力彩度（chroma）成分（複数）のサンプルビット深度を入力と見なし、そしてその入力に基づいて出力輝度成分のサンプルビット深度および出力彩度成分（複数）のサンプルビット深度を計算する。出力（例えば、出力輝度成分および出力彩度成分を備えるビデオ）、および／または出力の表示（例えば、出力輝度および彩度成分のサンプルビット深度を示す１または複数のパラメータ）、および／またはコンバインド処理モジュールの出力の表示は、アップサンプリングのためのアップサンプリング処理モジュールに送信される。処理されたベースレイヤを使用してエンハンスメント（enhancement）レイヤをコード化することができる。処理されたベースレイヤを使用してエンハンスメントレイヤを予測できる。

【0009】

ビデオコーディングシステムは、第１の色空間から第２の色空間への色変換を遂行できる。例えば、輝度成分および／または彩度成分（複数）など、ピクセルの色成分値が読み出される。色成分値は、異なるビット深度で表される。ビット深度はアラインメントされ、そして色成分値は、色間成分モデル（cross color component model）を使用して第１の色空間から第２の色空間に変換される。アラインメントは、入力輝度ビット深度、入力彩度ビット深度、最小入力ビット深度、および／または最大入力ビット深度に基づく。ビット深度は、ビット深度のより大きい値にアラインメントされる場合もあり、および／またはビット深度のより小さい値にアラインメントされる場合もある。ビデオ信号の彩度成分の色マッピングを遂行すると、ビデオ信号の輝度成分のビット深度は、彩度成分のビット深度にアラインメントされる。ビデオ信号の輝度成分の色マッピングを遂行すると、ビデオ信号の彩度成分のビット深度は、輝度成分のビット深度にアラインメントされる。

【図面の簡単な説明】

【0010】

【図1】例示的なマルチレイヤスケーラブルビデオコーディングシステムを示す図である。

【図2】立体ビデオコーディングの時間およびレイヤ間予測の例を示す図である。

【図3】ビデオコーディングにおいて遂行できる例示的なスケーラビリティのタイプのテーブルである。

【図4】超高精細度テレビ（ＵＨＤＴＶ）と高精細度テレビ（ＨＤＴＶ）の技術仕様のテーブルである。

【図5】超高精細度テレビ（ＵＨＤＴＶ）と高精細度テレビ（ＨＤＴＶ）の色空間の比較を示す図である。

【図6】ＨＤがＵＨＤのスケーラビリティを有するようにサポートすることができるビットストリームレイヤの例を示すテーブルである。

【図7】ＨＤがＵＨＤのスケーラビリティを有するようにサポートすることができるビットストリームレイヤの別の例を示すテーブルである。

【図8】ＨＤがＵＨＤのスケーラビリティを遂行するように構成することができる、例示的な２レイヤスケーラブルビデオエンコーダを示す簡略化されたブロック図である。

【図9】ＨＤがＵＨＤのスケーラビリティを遂行するように構成することができる、例示的な２レイヤスケーラブルビデオデコーダを示す簡略化されたブロック図である。

【図10】複数の処理モジュールを使用したレイヤ間処理の例を示す図である。

【図11】レイヤ間処理および／またはレイヤ間処理モジュールの選択および処理順序をシグナルする例を示すシンタックステーブルである。

【図12】図１１の例示的なシンタックステーブルを用いて使用できる例示的な値のテーブルである。

【図13】組み合わされた逆トーンマッピングとアップサンプリング処理モジュールを使用したレイヤ間処理の例を示す図である。

【図14】組み合わされた逆トーンマッピングと色域変換処理モジュールを使用したレイヤ間処理の例を示す図である。

【図15】組み合わされた色域変換と逆トーンマッピング処理の例を示すシンタックステーブルである。

【図16】図１１の例示的なシンタックステーブルを用いて使用できる例示的な値のテーブルである。

【図17A】開示された１または複数の実施形態を実装することができる例示的な通信システムのシステム図である。

【図17B】図１７Ａに示した通信システム内で使用できる例示的な無線送信／受信ユニット（ＷＴＲＵ）のシステム図である。

【図17C】図１７Ａに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【図17D】図１７Ａに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【図17E】図１７Ａに示した通信システム内で使用できる例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

【発明を実施するための形態】

【0011】

図１は、例示的なブロックベースのハイブリッドのスケーラブルビデオコーディング（ＳＶＣ）システムを示す簡略化されたブロック図である。レイヤ１（例えば、ベースレイヤ）によって表される空間および／または時間信号分解能は、入力ビデオ信号のダウンサンプリングによって生成される。後続の符号化ステージにおいて、Ｑ１などの量子化器の設定は、基本情報の品質レベルを導くことができる。１または複数の後続の上位レイヤ（複数）は、上位レイヤの分解能レベルの近似値を表す、ベースレイヤの再構成Ｙ１を使用して符号化および／または復号化される。アップサンプリングユニットは、ベースレイヤの再構成信号のアップサンプリングをレイヤ２の分解能に遂行できる。ダウンサンプリングおよび／またはアップサンプリングは、複数のレイヤ（例えば、Ｎレイヤの場合、レイヤ１，２，…Ｎ）にわたって遂行できる。ダウンサンプリングおよび／またはアップサンプリング比は、例えば、２つレイヤ間のスケーラビリティの次元に応じて異なるようにすることができる。

【0012】

図１の例示的なスケーラブルビデオコーディングシステムにおいて、所与の上位レイヤｎ（例えば、２≦ｎ≦Ｎ、Ｎはレイヤの総数である）の場合、差分信号は、アップサンプリングされた下位レイヤの信号（例えば、レイヤｎ－１の信号）を現在のレイヤｎの信号から差し引くことによって生成される。この差分信号を符号化することができる。２つのレイヤ、ｎ１およびｎ２によって表されるそれぞれのビデオ信号が同じ空間分解能を有していれば、対応するダウンサンプリングおよび／またはアップサンプリングの動作はバイパスされる。上位レイヤからの復号化された情報を使用せずに、所与のレイヤｎ（例えば、１≦ｎ≦Ｎ）または複数のレイヤを復号化することができる。

【0013】

例えば、図１の例示的なＳＶＣシステムを使用して、ベースレイヤ以外のレイヤが残差信号（例えば、２つのレイヤ間の差分信号）のコーディングに依存することによって、視覚的アーチファクトが生じる場合がある。このような視覚的アーチファクトは、例えば、残差信号のダイナミックレンジを制限するための残差信号の量子化および／または正規化、および／または残差のコード化中に遂行される量子化に起因する場合がある。１または複数の上位レイヤのエンコーダは、動き推定および／または動き補償予測をそれぞれの符号化モードとして採用することができる。残差信号の動き推定および／または補償が従来の動き推定とは異なる恐れがあり、視覚的アーチファクトが起こりやすい。視覚的アーチファクトの発生を削減する（例えば、最小限にする）ために、より高度な残差量子化を、例えば、残差信号のダイナミックレンジを制限するための残差信号の量子化および／または正規化と、残差のコード化中に遂行される量子化との両方を含むことができるジョイント（joint）量子化プロセスと共に実装することができる。

【0014】

スケーラブルビデオコーディングによって、部分的ビットストリームの伝送および復号化が可能になる。これによりＳＶＣが、相対的に高い再構成品質（例えば、部分的ビットストリームのそれぞれの所与のレート）を保持しながら、より低い時間および／または空間分解能または低下した忠実度でビデオサービスを提供することを可能にする。ＳＶＣデコーダが、復号化されるレイヤにおいて１つの動き補償ループを起動することができ、且つ１または複数の他の下位レイヤにおいて動き補償ループを起動しなくてよいように、シングルループ復号化を用いてＳＶＣを実装することができる。例えば、ビットストリームは、ベースレイヤとなり得る第１のレイヤ（例えば、レイヤ１）とエンハンスメントレイヤとなり得る第２のレイヤ（例えば、レイヤ２）を含む、２つのレイヤを含むことができる。このようなＳＶＣデコーダがレイヤ２のビデオを再構成する場合、復号化ピクチャバッファおよび動き補償予測の起動はレイヤ２に限定される。このようなＳＶＣの実装において、下位レイヤからのそれぞれの参照ピクチャは、完全に再構成されなくてもよく、これによりデコーダの計算の複雑性および／またはメモリ消費を削減できる。

【0015】

シングルループ復号化は、制約されたレイヤ間テクスチャ予測によって実現され、そこで所与のレイヤの現在のブロックに対し、下位レイヤからの空間テクスチャ予測は、対応する下位レイヤブロックがイントラモードでコード化されていれば許可される。これは、制限付きイントラ予測と呼ばれることもある。下位レイヤブロックがイントラモードでコード化されると、動き補償動作および／または復号化ピクチャバッファを用いずに再構成される。

【0016】

ＳＶＣは、１または複数の下位レイヤからの動きベクトル予測、残差予測、モード予測などの１または複数の付加的なレイヤ間予測技術を用いることができる。これによりエンハンスメントレイヤのレート歪み効率を改善することができる。シングルループ復号化を用いたＳＶＣの実装は、デコーダにおける削減された計算の複雑性および／または削減されたメモリ消費を示す場合もあれば、例えば、ブロックレベルのレイヤ間予測への依存に起因して、増大した実装の複雑性を示す場合もある。シングルループ復号化制約を課すことによって受ける恐れのある性能ペナルティを補償するために、所望の性能を実現するためにエンコーダの設計および計算の複雑性が増大する恐れがある。インタレースされるコンテンツのコーディングは、ＳＶＣでサポートされない。

【0017】

マルチビュービデオコーディング（ＭＶＣ）は、ビュースケーラビリティを提供することができる。ビュースケーラビリティの例において、ベースレイヤのビットストリームを復号化して従来の二次元（２Ｄ）ビデオを再構成することができ、そして１または複数の付加的なエンハンスメントレイヤを復号化して同じビデオ信号の他のビュー表現を再構成することができる。このようなビューが組み合わされて三次元（３Ｄ）ディスプレイで表示されると、適正な奥行き知覚を有する３Ｄビデオが作り出される。

【0018】

図２は、ＭＶＣを使用して左ビュー（例えば、レイヤ１）と右ビュー（例えば、レイヤ２）を有する立体ビデオをコード化するための例示的な予測構造を示している。Ｉ－Ｂ－Ｂ－Ｐ予測構造を用いて左ビューのビデオをコード化することができ、Ｐ－Ｂ－Ｂ－Ｂ予測構造を用いて右ビューのビデオをコード化することができる。図２に示すように、右ビューにおいて、左ビューの第１のピクチャＩと配列（collocate）された第１のピクチャをＰピクチャとしてコード化することができ、右ビューの時間参照に由来する第１の予測と左ビューのレイヤ間参照に由来する第２の予測を用いて、右ビューの後続ピクチャをＢピクチャとしてコード化することができる。ＭＶＣは、シングルループ復号化特性をサポートしなくてよい。例えば、図２に示すように、右ビュー（例えば、レイヤ２）のビデオの復号化は、各レイヤ（例えば、ビュー）がそれぞれの補償ループを有する、左ビュー（レイヤ１）のすべてのピクチャの可用性に条件付けられる。ＭＶＣの実装は、ハイレベルシンタックスの変更を含むことができ、ブロックレベルの変更を含まなくてよい。これによりＭＶＣの実装を容易にすることができる。例えば、ＭＶＣは、参照ピクチャをスライスおよび／またはピクチャレベルで構成することによって実装することができる。ＭＶＣは、例えば、図２に示した例を拡張することによって、複数のビューにわたってレイヤ間予測を遂行する３以上のビューのコーディングをサポートすることができる。

【0019】

ＭＰＥＧフレームコンパチブル（ＭＦＣ）ビデオコーディングは、スケーラブルな拡張を３Ｄビデオコーディングに提供することができる。例えば、ＭＦＣは、フレームコンパチブルなベースレイヤビデオ（例えば、同じフレームにパックされた２つのビュー）にスケーラブルな拡張を提供することができ、そして１または複数のエンハンスメントレイヤを提供してフル解像度のビューに回復することができる。立体３Ｄビデオは、左ビューと右ビューを含む、２つのビューを有することができる。２つのビューを１つのフレームにパック（pack）するおよび／または多重化することによって、そしてパックされたビデオを圧縮および送信することによって立体３Ｄコンテンツを配信することができる。受信機側において、復号化の後、フレームをアンパック（unpack）して２つのビューとして表示することができる。ビューのこのような多重化を時間領域または空間領域で遂行できる。空間領域で遂行される場合、同じピクチャサイズを維持するために、２つのビューを（例えば、２つの因子によって）空間的にダウンサンプリングし、そして１または複数の配置に従ってパックすることができる。例えば、サイドバイサイド配置は、ダウンサンプリングされた左ビューをピクチャの左半分に置き、ダウンサンプリングされた右ビューをピクチャの右半分に置くことができる。他の配置は、トップアンドボトム配置、ラインバイライン配置、格子配置などを含むことができる。フレームコンパチブル３Ｄビデオを実現するために使用される配置を、例えば、１または複数のフレームパッキング配置のＳＥＩメッセージによって伝達することができる。このような配置は、３Ｄ配信を最小限の帯域幅消費で実現できる。

【0020】

図３は、ビデオコーディングに遂行できる例示的なスケーラビリティのタイプのテーブルである。例示的なスケーラビリティの１または複数のタイプをレイヤ間予測処理モードとして実装することができる。これによりビデオコーディングシステム（例えば、高効率ビデオコーディングのスケーラブル拡張規格（ＳＨＶＣ）に従ったビデオコーディングシステム）の圧縮効率を改善することができる。ビット深度スケーラビリティ、色域スケーラビリティ、および／または彩度フォーマットスケーラビリティをベースレイヤ（ＢＬ）とエンハンスメントレイヤ（ＥＬ）のビデオフォーマットと関係付けることができる。ビット深度スケーラビリティの場合、例えば、ＢＬビデオは、８ビットとなる一方、ＥＬビデオは、８ビットよりも高くなる。色域スケーラビリティの場合、例えば、ＢＬビデオは、ＢＴ．７０９色域にカラーグレーディングされる一方、ＥＬビデオは、ＢＴ．２０２０色域にカラーグレーディングされる。彩度フォーマットスケーラビリティの場合、例えば、ＢＬビデオは、ＹＵＶ４：２：０フォーマットとなる一方、ＥＬビデオは、ＹＵＶ４：２：２またはＹＵＶ４：４：４フォーマットとなる。

【0021】

図４は、例示的な超高精細度テレビ（ＵＨＤＴＶ）と高精細度テレビ（ＨＤＴＶ）の技術仕様のテーブルである。図４に示すように、（例えば、ＩＴＵ－Ｒ ＢＴ．７０９で定義されるような）ＨＤＴＶビデオフォーマットと比較して、（例えば、ＩＴＵ－Ｒ ＢＴ．２０２０で定義されるような）ＵＨＤＴＶビデオフォーマットは、より大きい空間分解能（例えば、４Ｋ×２Ｋ（３８４０×２１６０）および８Ｋ×４Ｋ（７６８０×４３２０）解像度）、より高いフレームレート（例えば、１２０Ｈｚ）、より高いサンプルビット深度（例えば、１０ビットまたは１２ビット）、およびより広い色域をサポートすることができる。

【0022】

図５は、ＣＩＥ色定義におけるＨＤＴＶ色域とＵＨＤＴＶ色域のそれぞれの比較を示している。図示されるように、ＵＨＤＴＶ色域によってカバーされている色ボリュームは、ＨＤＴＶ色域によってカバーされている色ボリュームよりもずっと広範である。

【0023】

ビデオコーディングシステム（例えば、高効率ビデオコーディングのスケーラブル拡張規格（ＳＨＶＣ）に従ったビデオコーディングシステム）は、ビデオコーディングを遂行するように構成されている１または複数のデバイスを含むことができる。ビデオコーディング（例えば、ビデオ信号を符号化するおよび／または復号化する）を遂行するように構成されているデバイスは、ビデオコーディングデバイスと呼ばれることがある。このようなビデオコーディングデバイスは、ビデオ対応デバイス、例えば、テレビ、デジタルメディアプレーヤ、ＤＶＤプレーヤ、Ｂｌｕ－ｒａｙ（商標）プレーヤ、ネットワークメディアプレーヤデバイス、デスクトップコンピュータ、ラップトップパーソナルコンピュータ、タブレットデバイス、携帯電話、ビデオ会議システム、ハードウェアおよび／またはソフトウェアベースのビデオ符号化システムなどを含むことができる。このようなビデオコーディングデバイスは、無線送信／受信ユニット（ＷＴＲＵ）、基地局、ゲートウェイ、または他のネットワーク要素などの無線通信ネットワーク要素を含むことができる。

【0024】

ビデオコーディングシステムは、ＵＨＤＴＶディスプレイフォーマットとＨＤＴＶディスプレイフォーマットをサポートするように構成することができる。例えば、１または複数のビデオビットストリームを、例えば、ＨＤＴＶディスプレイによって消費されるＨＤＴＶビデオ信号を表すベースレイヤと、ＵＨＤＴＶディスプレイによって消費されるＵＨＤＴＶビデオ信号を表すエンハンスメントレイヤの２つのレイヤを使用する階層化方法によって符号化することができる。図４に示すように、ＨＤＴＶフォーマットとＵＨＤＴＶフォーマットとの間の技術仕様の差は、空間および時間分解能の差を超える範囲に広がる場合があり、例えば、サンプルビット深度および色域の差を含む。ＵＨＤＴＶをサポートするように構成されたビデオコーディングシステムは、空間スケーラビリティ、時間スケーラビリティ、ビット深度スケーラビリティ（ＢＤＳ）、および色域スケーラビリティ（ＣＧＳ）のサポートを含むことができる。ビデオコーディングシステムは、複数のスケーラビリティ（例えば、空間、時間、ビット深度、および色域スケーラビリティ）を同時にサポートするように構成することができる。

【0025】

ビデオコーディングシステムは、例えば、３レイヤ以上を含むスケーラブルなビットストリームを使用して複数のスケーラビリティタイプをサポートするように構成することができる。このようなビデオコーディングシステムは、各エンハンスメントレイヤが１つのビデオパラメータを強化する（enhance）ように構成することができる。例えば、図６は、ＨＤビデオ信号をＵＨＤビデオ信号にスケール（scale）するために使用することができる例示的なビットストリームレイヤ構成を示している。図示されたように、例示的なビットストリームは、ベースレイヤ（レイヤ０）、および３つのエンハンスメントレイヤ（それぞれレイヤ１、レイヤ２、およびレイヤ３）を含む４つのレイヤを有することができる。ベースレイヤ（レイヤ０）は、例えば、１０８０ｐ６０ ＨＤビデオ信号を含むことができる。第１のエンハンスメントレイヤ（例えば、レイヤ１）において、空間分解能を、例えば、４Ｋ×２Ｋ（３８４０×２１６０）にスケールアップすることができる。第２のエンハンスメントレイヤ（例えば、レイヤ２）において、サンプルビット深度を、例えば、８ビットから１０ビットにスケールアップすることができる。第３のエンハンスメントレイヤ（例えば、レイヤ３）において、色域を、例えば、ＢＴ．７０９からＢＴ．２０２０にスケールアップすることができる。図６に示したビットストリームレイヤ処理の順序は例示的な処理順序であること、および他のビットストリームレイヤの処理順序を実装してもよいことを認識されたい。図示された例示的なビットストリームレイヤ構成は、ビデオ信号のフレームレートを増加することを含んでいない。しかしながら、例えば、レイヤのうちの１または複数においてフレームレートを、例えば、１２０ｆｐｓにスケールアップするように時間スケーラビリティを実装することができる。エンハンスメントレイヤは、２以上のビデオパラメータを強化することができる。

【0026】

ビデオコーディングシステムは、マルチループ復号化を遂行するように構成することができる。マルチループ復号化において、現在のエンハンスメントレイヤを復号化するために、現在のエンハンスメントレイヤの１または複数の依存レイヤ（例えば、全ての依存レイヤ）を完全に復号化することができる。依存レイヤのうちの１または複数（例えば、それぞれの依存レイヤ）において復号化ピクチャバッファ（ＤＰＢ（decoded picture buffer））を作成することができる。レイヤの数が増加するにつれて、復号化の複雑性（例えば、計算の複雑性および／またはメモリ消費）が増加することもある。所望のビデオフォーマットをサポートするために使用されるレイヤの数は、例えば、復号化の複雑性の増加に従って制限されることもある。例えば、ＨＤとＵＨＤ間のスケーラビリティの場合、２つのレイヤを有するスケーラブルなビットストリーム（例えば、図７に示した例示的なビットストリームレイヤ構成）を実装することができる。

【0027】

図８は、例示的なエンコーダ（例えば、ＳＨＶＣエンコーダ）を示す簡略化されたブロック図である。図示された例示的なエンコーダを使用して、（例えば、図７に示すような）ＨＤとＵＨＤ間の２レイヤスケーラブルなビットストリームを生成することができる。図８に示すように、ベースレイヤ（ＢＬ）ビデオ入力８３０はＨＤビデオ信号となり、エンハンスメントレイヤ（ＥＬ）ビデオ入力８０２はＵＨＤビデオ信号となる。ＨＤビデオ信号８３０とＵＨＤビデオ信号８０２は、例えば、以下のうちの１または複数：１または複数のダウンサンプリングパラメータ（例えば、空間スケーラビリティ）、１または複数の色域パラメータ（例えば、色域スケーラビリティ）、または１または複数のトーンマッピングパラメータ（例えば、ビット深度スケーラビリティ）８２８によって互いに対応することができる。

【0028】

ＢＬエンコーダ８１８は例えば、高効率ビデオコーディング（ＨＥＶＣ）ビデオエンコーダまたはＨ．２６４／ＡＶＣビデオエンコーダを含むことができる。ＢＬエンコーダ８１８は、予測のための（例えば、ＢＬ ＤＰＢ８２０に記憶された）１または複数のＢＬ再構成ピクチャを使用してＢＬビットストリーム８３２を生成するように構成することができる。ＥＬエンコーダ８０４は、例えば、ＨＥＶＣエンコーダを含むことができる。ＥＬエンコーダ８０４は、例えば、レイヤ間参照ピクチャをＥＬ ＤＰＢ８０６に付加することによってレイヤ間予測をサポートする、１または複数のハイレベルシンタックスの変更を含むことができる。ＥＬエンコーダ８０４は、予測のための（例えば、ＥＬ ＤＰＢ８０６に記憶された）１または複数のＥＬ再構成ピクチャを使用してＥＬビットストリーム８０８を生成するように構成することができる。

【0029】

ＢＬ ＤＰＢ８２０の１または複数の再構成ＢＬピクチャを、レイヤ間処理（ＩＬＰ）ユニット８２２において（例えば、空間スケーラビリティのための）アップサンプリング、（例えば、色域スケーラビリティのための）色域変換、または（例えば、ビット深度スケーラビリティのための）逆トーンマッピングのうちの１または複数を含む、１または複数のピクチャレベルのレイヤ間処理技術を使用して処理することができる。１または複数の処理された再構成ＢＬピクチャをＥＬコーディングのための参照ピクチャとして使用することができる。ＥＬエンコーダ８０４から受信されたエンハンスメントビデオ情報８１４および／またはＢＬエンコーダ８１８から受信されたベースビデオ情報８１６に基づいてレイヤ間処理を遂行できる。

【0030】

８２６において、ＥＬビットストリーム８０８、ＢＬビットストリーム８３２、およびＩＬＰ情報８２４などのレイヤ間処理で使用されるパラメータを一緒に多重化してスケーラブルビットストリーム８１２にすることができる。例えば、スケーラブルビットストリーム８１２は、ＳＨＶＣビットストリームを含むことができる。

【0031】

図９は、図８に示した例示的なエンコーダに対応することができる例示的なデコーダ（例えば、ＳＨＶＣデコーダ）を示す簡略化されたブロック図である。図示された例示的なデコーダを使用して例えば、（例えば、図７に示すような）ＨＤとＵＨＤ間の２レイヤビットストリームを復号化することができる。

【0032】

図９に示すように、逆多重化モジュール９１２は、スケーラブルビットストリーム９０２を受信することができ、そしてスケーラブルビットストリーム９０２を逆多重化してＩＬＰ情報９１４、ＥＬビットストリーム９０４、ＢＬビットストリーム９１８を生成することができる。スケーラブルビットストリーム９０２は、ＳＨＶＣビットストリームを含むことができる。ＥＬビットストリーム９０４をＥＬデコーダ９０６で復号化することができる。ＥＬデコーダ９０６は、例えば、ＨＥＶＣデコーダを含むことができる。ＥＬデコーダ９０６は、予測のための（例えば、ＥＬ ＤＰＢ９０８に記憶された）１または複数のＥＬ再構成ピクチャを使用してＵＨＤビデオ信号９１０を生成するように構成することができる。ＢＬビットストリーム９１８をＢＬデコーダ９２０で復号化することができる。ＢＬデコーダ９２０は例えば、ＨＥＶＣビデオデコーダまたはＨ．２６４／ＡＶＣビデオデコーダを含むことができる。ＢＬデコーダ９２０は、予測のための（例えば、ＢＬ ＤＰＢ９２２に記憶された）１または複数のＢＬ再構成ピクチャを使用してＨＤビデオ信号９２４を生成するように構成することができる。ＵＨＤビデオ信号９１０および／またはＨＤビデオ信号９２４などの再構成されたビデオ信号を使用して表示デバイスを駆動することができる。

【0033】

ＢＬ ＤＰＢ９２２の１または複数の再構成ＢＬピクチャを、ＩＬＰユニット９１６において１または複数のピクチャレベルのレイヤ間処理技術を使用して処理することができる。このようなピクチャレベルのレイヤ間処理技術は、（例えば、空間スケーラビリティのための）アップサンプリング、（例えば、色域スケーラビリティのための）色域変換、または（例えば、ビット深度スケーラビリティのための）逆トーンマッピングのうちの１または複数を含むことができる。１または複数の処理された再構成ＢＬピクチャをＥＬ復号化のための参照ピクチャとして使用することができる。レイヤ間処理で使用されるＩＬＰ情報９１４などのパラメータに基づいてレイヤ間処理を遂行できる。予測情報は、予測ブロックサイズ、１または複数の動きベクトル（例えば、動きの方向および量を示すことができる）、および／または１または複数の参照インデックス（どの参照ピクチャから予測信号が取得されるかを示すことができる）を備えることができる。これによりＥＬ復号化効率を改善することができる。

【0034】

ビデオコーディングシステムは、組み合わされたレイヤ間スケーラビリティ処理を遂行できる。ビデオコーディングシステムは、レイヤ間予測を遂行する時に複数のレイヤ間処理モジュールを使用することができる。１または複数のレイヤ間処理モジュールを組み合わせることができる。ビデオコーディングシステムは、レイヤ間処理モジュールのカスケード構成に従ってレイヤ間処理を遂行できる。組み合わされたレイヤ間スケーラビリティ処理および／または対応するモデルパラメータをシグナルすることができる。

【0035】

例示的なビデオコーディングプロセスは、ビデオ信号のベースレイヤにレイヤ間処理を遂行することを含むことができる。第１のスケーラビリティ処理と第２のスケーラビリティ処理を同時に遂行する、コンバインド処理モジュールを使用してレイヤ間処理の第１部分を遂行できる。例示的なビデオコーディングプロセスは、処理されたベースレイヤをビデオ信号のエンハンスメントレイヤに適用することを含むことができる。レイヤ間処理の第１部分は、逆トーンマッピング処理および色域変換処理を含むことができる。アップサンプリング処理モジュールを使用してレイヤ間処理の第２部分を遂行できる。

【0036】

ビデオコーディングシステムは、レイヤ間処理のステップを固有の順序で例えば、レイヤ間処理モジュールのうちの１または複数を固有の順序で実行させることによって遂行するように構成することができる。レイヤ間処理モジュールは、特定のレイヤ間プロセスを実行することに関与することができる。レイヤ間処理モジュールが２以上のレイヤ間プロセスを同時に遂行できるように、１または複数のレイヤ間プロセスを１または複数の対応するレイヤ間処理モジュールに組み合わせることができる。これらのモジュール構成をそれぞれの実装の複雑性、計算の複雑性、および／またはスケーラブルコーディング性能の測定と関連付けることができる。レイヤ間処理モジュールは、複数のレイヤ間プロセスを実行することに関与することができる。

【0037】

ビデオコーディングシステムは、組み合わされたスケーラビリティに従ってレイヤ間処理を遂行するように構成することができる。例えば、組み合わされたスケーラビリティを、（例えば、図８に示したＩＬＰユニット８２２のような）ビデオエンコーダのＩＬＰユニットおよび／または（例えば、図９に示したＩＬＰユニット９１６のような）ビデオデコーダのＩＬＰユニットに実装することができる。組み合わされたスケーラビリティを実装するために複数の処理モジュールを使用することができる。

【0038】

組み合わされたスケーラビリティ処理の構成の例において、各処理モジュールは、それぞれのスケーラビリティタイプと関連付けられたプロセスを遂行するように構成することができる。図１０は、ビデオコーディングをカスケード化方法で遂行するように構成された複数の処理モジュールを使用する例示的なレイヤ間ビデオコーディングプロセスを示している。図示されたように、各処理モジュールは、特定のスケーラビリティタイプの処理を遂行するように構成することができる。例示的なレイヤ間ビデオコーディングプロセスを使用して、例えば、ＨＤとＵＨＤ間のスケーラブルコーディングを遂行できる。処理モジュールは、複数のスケーラビリティタイプの処理を遂行するように構成することができる。

【0039】

図１０に示すように、逆トーンマッピングモジュール１０２０は、８ビットビデオ１０１０を１０ビットビデオ１０３０に変換することができる。色域変換モジュール１０４０は、ＢＴ．７０９ビデオ１０３０をＢＴ．２０２０ビデオ１０５０に変換することができる。アップサンプリングモジュール１０６０を使用して１９２０×１０８０空間分解能１０５０のビデオを３８４０×２１６０空間分解能１０７０のビデオに変換することができる。組み合わせ中、これらの処理モジュールは、図８および図９に示したＩＬＰユニットの処理を履行することができる。図１０に示した処理順序（例えば、処理モジュールの順序）（逆トーンマッピング、その後に色域変換、その後にアップサンプリングが続く）は例示的な処理順序であること、および他の処理順序を実装してもよいことを認識されたい。例えば、ＩＬＰユニットの処理モジュールの順序は置き換え可能であってもよい。

【0040】

１または複数のレイヤ間処理モジュール（例えば、各レイヤ間処理モジュール）は、サンプル毎の動作のために構成することができる。例えば、８ビットビデオを１０ビットビデオに変換する逆トーンマッピングモジュール１０２０をビデオピクチャの各サンプルに適用することができる。サンプル毎の動作を色域変換モジュール１０４０によって遂行できる。ビデオピクチャのサンプル数は、アップサンプリングモジュール１０６０が適用された後、（例えば、著しく）増加することがある（例えば、２×空間比率の場合、サンプル数はアップサンプリングの後に４倍になる）。

【0041】

組み合わされたスケーラビリティ処理の例示的な実装において、ＩＬＰユニットは、アップサンプリングモジュール１０６０による処理を（例えば、図１０に示したような）レイヤ間処理の最後に遂行できるように構成することができる。

【0042】

スケーラブルビデオコーディングシステムを複数のレイヤに実装することができる。１または複数のレイヤ（例えば、各レイヤ）の場合、カスケードされたレイヤ間処理フローのそれぞれのプロセスの可用性、選択、および／または適用を異なるようにすることができる。例えば、１または複数のレイヤの場合、処理を色域変換プロセスとアップサンプリングプロセスに限定することができる。例えば、逆トーンマッピングプロセスを省略することができる。（例えば、図１０に示すような）スケーラビリティ変換プロセスのそれぞれの選択および／または処理順序を、各レイヤに対して、（例えば、図１１に示したサンプルシンタックステーブルに従った）処理順序でシグナルすることができる。この情報を、例えば、レイヤのビデオパラメータセット（ＶＰＳ）および／またはシーケンスパラメータセット（ＳＰＳ）にカプセル化することができる。デコーダによる１または複数のプロセスの適用を、各それぞれのプロセスが使用可能でありおよび／または処理するために選択されたかどうかを示すことによって限定することができる。これを、例えば、プロセス可用性および／またはプロセス選択情報で示すことができる。レイヤ間処理のプロセスの順序を、例えば、ビットストリームでシグナルすることができる。実施形態において、処理順序を事前定義することができる。実施形態において、レイヤ間処理のプロセスの順序をビットストリームでシグナルすることができる。

【0043】

１または複数の適用可能なプロセスに対応するプロセスインデックスを指定することができる。プロセスインデックスは、プロセスまたはプロセスの組み合わせに対応することができ、それぞれのプロセス（複数）を示すことができる。例えば、図１２は、図１１に示したｐｒｏｃｅｓｓ＿ｉｎｄｅｘフィールドに使用することができるインデックスを定義する例示的なシンタックステーブルを示している。エンコーダは、例えば、図１０に示すようなカスケードされた処理に従って、処理モジュールの選択および／または順序をシグナルする１または複数のインデックスを送信することができる。選択は任意の選択であってもよい。デコーダは、このシグナリングを受信および復号化することができ、そしてシグナリングに応答して、（例えば、ＩＬＰユニットを使用して）レイヤ間処理を遂行する時に、選択されたプロセスを指定された順序に適用することができる。

【0044】

１または複数の付加的なパラメータをシグナリングおよび／またはビットストリームに含めてそれぞれのモジュールの定義を指定することができる。例えば、それぞれの処理モジュールがどのように適用されるかをシグナルすることができる。１または複数の付加的なパラメータは、個々のおよび／または組み合わされたモジュールの定義を指定することができる。このようなパラメータを、例えば、ＩＬＰ情報の一部としてシグナルすることができる。

【0045】

例示的なアップサンプリングプロセスにおいて、シグナリングは例えば、アップサンプリングモジュールによって適用されるアップサンプリングフィルタの形式、形状、サイズまたは係数のうちの１または複数を定義することができる。シグナリングは、例えば、分離できる２Ｄフィルタまたは分離できない２Ｄフィルタを指定することができる。シグナリングは、複数のフィルタを指定することができる。例えば、そのようなフィルタを輝度ピクチャ成分および／または彩度ピクチャ成分をアップサンプリングために定義することができる。フィルタを別個にまたは一緒に定義することができる。逆トーンマッピングプロセスと組み合わされる場合、シグナリングは、それぞれの入力ビット深度および／または出力ビット深度間の差を反映することができる。

【0046】

例示的な色域変換プロセスにおいて、シグナリングは例えば、色変換装置（例えば、３Ｄルックアップテーブル（３Ｄ－ＬＵＴ））、区分線形モデル、成分間共通の（cross-component）線形モデル、線形利得および／またはオフセットモデルなどのうちの１または複数を定義することができる。選択されたモデルに対して、形式、サイズ、係数または他の定義パラメータのうちの１または複数をシグナルすることができる。逆トーンマッピングプロセスと組み合わされる場合、シグナリングは、それぞれの入力ビット深度および／または出力ビット深度間の差を反映することができる。

【0047】

例示的な逆トーンマッピングプロセスにおいて、シグナリングは例えば、入力ビット深度および／または出力ビット深度を定義することができる。複数の入力および／または出力ビット深度をシグナルすることができる。例えば、入力ビット深度と出力ビット深度のそれぞれの定義を輝度ピクチャ成分および１または複数の彩度ピクチャ成分のためにシグナルすることができる。シグナリングは、区分線形モデル、多項式モデルなどといった、逆トーンマッピング装置のパラメータを指定することができ、および／または定義することができる。

【0048】

図１２の例示的なシンタックステーブルは、エンコーダ（例えば、図８のスケーラブルビデオエンコーダ）でシグナルすることができる使用可能なレイヤ間処理モジュールのパレットの例を与えている。１または複数のプロセスインデックス値をシグナルすることができる。プロセスインデックス値は、（例えば、スケーラビリティの他のモードの）１または複数のレイヤ間処理モジュール（複数）に対応することができる。デコーダ（例えば、図９のスケーラブルビデオデコーダ）は、エンコーダからのシグナリングを介して１または複数のプロセスインデックスを受信することができ、そして受信したプロセスインデックスに対応することができるレイヤ間処理モジュール（複数）を適用することができる。

【0049】

例えば、空間リサンプリング（resampling）プロセスは、アスペクト比スケーラビリティをサポートすることができる。空間リサンプリングプロセスに対応するインデックスを図１２のテーブルに付加することができる。例において、彩度リサンプリングプロセスは、彩度フォーマットスケーラビリティをサポートすることができる。彩度リサンプリングプロセスに対応するインデックスを図１２のテーブルに付加することができる。図１１および図１２のテーブルで定義されるシンタックスは、任意の数のレイヤ間処理モジュールをサポートすることができる。

【0050】

組み合わされたスケーラビリティ処理の例示的な実装において、複数のレイヤ間処理モジュールの適用の順序を既定する（例えば、エンコーダとデコーダ間で同意して固定する）ことができる。図１１のテーブルのシグナリングは、処理順序を定義しなくてよく、デコーダは、固定された順序付けを１または複数の選択されたおよび／またはシグナルされたプロセスに適用することができる。

【0051】

組み合わされたスケーラビリティ処理の例示的な実装において、複数のレイヤ間処理モジュールの適用の選択および／または順序は、（例えば、経時的に）変更することができる。このような実装において、レイヤ間処理モジュールの選択、レイヤ間処理モジュールの適用の順序、またはそれぞれのモジュールの定義（例えば、それぞれのモジュールを定義するパラメータ）のうちの１または複数を指定するシグナリングを、１または複数のスケーラブルレイヤの（例えば、ピクチャレベルにおいて）送信するおよび／または動的に更新することができる。例えば、図１１および図１２のテーブルで定義されたシグナリングを使用して、レイヤ間処理をピクチャからピクチャへと変更することができる。例えば、色域変換モジュールと関連付けられた３Ｄ－ＬＵＴの定義は、（例えば、コンテンツプロバイダによって適用される色差調整を反映するために）経時的に変更することができる。

【0052】

図１０に従った組み合わされたスケーラビリティ処理の例示的な実装において、レイヤ間処理関数は別個に実装されてもよいし、一緒にカスケードされてもよい。例えば、レイヤ間処理関数を任意の順序でカスケードすることができる。サンプル値（例えば、各サンプル値）に対する反復されたアクセスは、例えば、実装（例えば、パイプラインおよび並列化設計）に基づくと（例えば、メモリアクセスに関する）高いリソースコストを負担する恐れがある。ビデオコーディングおよび／または処理は、固定小数点演算を使用することができる。例えば、三次元ルックアップテーブル（３Ｄ ＬＵＴ）プロセスを色域変換に使用することができる。

【0053】

スケーラブル処理を一度に履行することができるように処理モジュールを単一の処理モジュールに組み合わせることができる。組み合わされたスケーラビリティ処理の例示的な実装において、図１０に示した処理モジュールを単一の処理モジュールに組み合わせることができる。このような一体化実装(all-in-one implementation)において、入力のピクセルにアクセスして一度に（または別個のアップサンプリングが遂行される場合は二度）処理して出力の１または複数の対応するピクセルを生成することができる。

【0054】

一部の処理モジュールは線形処理で十分である一方、他の処理モジュールは非線形処理が（例えば、ＥＬコーディング性能の改善に関して）より効果的である場合もある。例えば、線形フィルタを使用するアップサンプリングが効果的である一方、色域変換の場合は非線形モデル（例えば、３Ｄ ＬＵＴ）が線形モデルよりも効率的である場合もある。ビデオコンテンツが生成される時に使用されるトーンマッピングのタイプに応じて、逆トーンマッピングモジュールは線形であってもよいし、非線形であってもよい。非線形処理と線形処理の組み合わせは非自明的であってよいし、組み合わされたモジュールは本質的に非線形であってよい。

【0055】

一部の処理モジュールを他のモジュールよりも広域に使用することができる。例えば、空間スケーラビリティをビデオ会議などのアプリケーションに使用し、そこで入力ビデオのサンプルビット深度および色域を同等に（例えば、１サンプル当たり８ビットおよびＢＴ．７０９色域に）保つことができる。空間スケーラビリティに限定されるアプリケーションの場合、レイヤ間処理は、アップサンプリング処理モジュールを含むことができる。このようなアプリケーションにおいて、アップサンプリング処理モジュールをＩＬＰユニットの１または複数の他のモジュールと別個に保持することができる。処理がアップサンプリング処理モジュールによって単独で実行される場合、１または複数の他の処理モジュール（例えば、逆トーンマッピングモジュールおよび／または色域変換処理モジュール）はバイパスされる。

【0056】

レイヤ間処理ユニットの１または複数の関数をビデオコーデックの１または複数の他の部分とアラインメントすることができる。例えば、ＳＨＶＣの実装に従って、１／２と１／４のピクセルポジションのアップサンプリングフィルタは、ＨＥＶＣの動き補償予測に使用される対応するフェーズの補間フィルタと同様に保つことができる。

【0057】

図１３は、組み合わされたスケーラビリティ処理の例示的な実装を示している。１または複数の処理モジュールを組み合わせることができる。図示したように、アップサンプリング処理モジュールを逆トーンマッピング処理モジュールと組み合わせることができ、そして色域変換処理モジュールを（例えば、組み合わされたアップサンプリングと逆トーンマッピング処理モジュールの前に順序付けて）別個に保つことができる。

【0058】

図１３に示したように、色域変換モジュール１３２０は、ＢＴ．７０９ビデオ１３１０をＢＴ．２０２０ビデオ１３３０に変換することができる。組み合わされた逆トーンマッピングとアップサンプリングモジュール１３４０は、８ビットの１９２０×１０８０空間分解能ＢＴ．２０２０ビデオ１３３０を１０ビットの３８４０×２１６０空間分解能ビデオ１３５０に変換することができる。

【0059】

１または複数のアップサンプリングフィルタは、フィルタリングの後に右シフトの数を削減することができる。ＳＨＶＣの例示的な実装を示すために、以下の式でアップサンプリングのステップ（例えば、垂直フィルタリング）を表す。

【0060】

【数1】

【0061】

フィルタリングステップは、例えば、ＢＬとＥＬとの間のサンプルビット深度の差を示すことができるｄｅｌｔａ＿ｂｉｔ＿ｄｅｐｔｈの値に応じて右シフトの数を削減することができる。

【0062】

【数2】

【0063】

実施形態において、非線形トーンマッピングを使用してＢＬおよびＥＬビデオコンテンツを生成することができる。多項式モデル、区分線形モデルなどといった非線形モデルを使用して、組み合わされたアップサンプリングと逆トーンマッピング処理を実現することができる。これによりコーディング効率を上げることができる。

【0064】

図１に示したビデオコーディングシステムなどのビデオコーディングデバイス、図８に示したビデオエンコーダおよび／または図９に示したビデオデコーダは、ビデオ信号をコード化することができる。ビデオコーディングデバイスは、逆トーンマッピングと色域変換のスケーラビリティプロセスを同時遂行するコンバインド処理モジュールを使用して、第１のレイヤ間処理をビデオ信号の下位レイヤで遂行できる。ビデオコーディングデバイスは、アップサンプリング処理モジュールを使用して第２のレイヤ間処理をビデオ信号のレイヤで遂行できる。

【0065】

図１４は、少なくとも１つのコンバインド処理モジュールを有する組み合わされたスケーラビリティ処理の例示的な実装を示している。図示したように、逆トーンマッピング処理モジュールを色域変換処理モジュールと組み合わせることができ、そしてアップサンプリング処理モジュールを別個に保つことができる。組み合わされた逆トーンマッピングと色域変換処理をアップサンプリング処理の前に適用することができる。

【0066】

図１４に示すように、組み合わされた逆トーンマッピングと色域変換モジュール１４２０は、８ビットのＢＴ．７０９ビデオ１４１０を１０ビットのＢＴ．２０２０ビデオ１４３０に変換することができる。ビデオの空間分解能は、１９２０×１０８０空間分解能など同じ状態を保つことができる。組み合わされた逆トーンマッピングと色域変換モジュール１４２０は、入力輝度成分のサンプルビット深度と入力彩度成分（複数）のサンプルビット深度に基づいて出力輝度成分のサンプルビット深度と出力彩度成分（複数）のサンプルビット深度を計算することができる。組み合わされた逆トーンマッピングと色域変換モジュール１４２０は、シグナリング例えば、ビデオビットストリームで受信されたパラメータに基づいて出力サンプルビット深度を計算および／または判定できる。組み合わされた逆トーンマッピングと色域変換モジュール１４２０は、その結果をアップサンプリング処理モジュール１４４０に送信することができる。例えば、出力輝度成分のサンプルビット深度の表示および出力彩度成分（複数）のサンプルビット深度の表示をアップサンプリング処理モジュール１４４０に送信することができる。組み合わされた逆トーンマッピングと色域変換モジュール１４２０は、（例えば、変換された）出力輝度成分および出力彩度成分を備えるビデオをアップサンプリング処理モジュール１４４０に送信することができる。アップサンプリング処理モジュール１４４０は、１９２０×１０８０空間分解能ＢＴ．２０２０ビデオ１４３０内の１０ビットを受信し且つ３８４０×２１６０空間分解能ＢＴ．２０２０ビデオ１４５０内の１０ビットに変換することができる。組み合わされた逆トーンマッピングと色域変換モジュール１４２０から受信した出力輝度成分のサンプルビット深度および出力彩度成分（複数）のサンプルビット深度に基づいて、アップサンプリングプロセスを遂行できる。

【0067】

非線形モデルを使用して逆トーンマッピングおよび色域変換をより効果的にできる。例えば、３Ｄ ＬＵＴを色域変換に使用することができる。変更された３Ｄ ＬＵＴ（例えば、８ビット入力および１０ビット出力を有する）を、例えば、図１４に示した例示的な実装の組み合わされた逆トーンマッピング処理と色域変換処理モジュールで使用することは、別個の非線形モデルを（例えば、図１０に示した例示的な実装に従った）それぞれの別個の処理モジュールで使用することと同様に効果的にできる。

【0068】

図１３および図１４に示した組み合わされたスケーラビリティ処理の例示的な実装を使用してテストシーケンスが遂行された。例えば、図１３に従った例示的な実装の場合、８ビット入力および８ビット出力を有する３Ｄ ＬＵＴ技術は、色域変換処理モジュールに使用され、および技術は組み合わされた逆トーンマッピング処理とアップサンプリング処理モジュールで使用された。図１４に従った例示的な実装の場合、８ビット入力および１０ビット出力を有する強化された３Ｄ ＬＵＴ技術は、組み合わされた色域変換処理と逆トーンマッピング処理モジュールで使用され、およびアップサンプリング処理モジュールは、ＳＨＶＣの実装に従った。

【0069】

組み合わされたスケーラビリティ処理の両方の例示的な実装のテストシーケンスの場合、３Ｄ ＬＵＴのモデルパラメータは、最小二乗（ＬＳ）法とＢＬおよびＥＬ（分解能が異なればダウンサンプリングする）ビデオをトレーニングシーケンスとして使用して推定された。シミュレーション結果は、両方の例示的な実装の強化されたスケーラブルコーディング効率では図１４の例示的な実装が図１３の例示的な実装をわずかに凌ぐことを示した。より高いコーディング効率は、強化された３Ｄ ＬＵＴが逆トーンマッピングプロセスに内在する非線形性を吸収できるという事実に起因する。コンバインド処理モジュール（例えば、図１４に示した例示的な実装の組み合わされた逆トーンマッピング処理と色域変換処理モジュール）で使用することができる強化された３Ｄ ＬＵＴの１または複数のモデルパラメータの推定および／またはトレーニングは、例えば、コンバインド処理モジュールによって遂行される逆トーンマッピングプロセスの入力ビット深度および／または出力ビット深度を反映することができるトレーニングコンテンツに基づくことができる。

【0070】

成分独立線形、成分間共通の（cross-component）線形、区分線形、および／または多項式を異なる順序で使用して、逆トーンマッピング処理と色域変換処理を組み合わせることができる。エンコーダは、あるレイヤのソースコンテンツと別のレイヤのターゲットコンテンツに基づく最小二乗トレーニング技術を用いてモデルパラメータを導いて、削減された（例えば、最小限の）マッチングエラーを実現することができる。

【0071】

組み合わされたレイヤ間スケーラビリティ処理および／または対応するモデルパラメータをシグナルすることができる。例えば、組み合わされたスケーラビリティ処理のプロセスをビットストリームでシグナルすることができ、そこでシンタックス要素は、どの組み合わされたスケーラビリティ処理のプロセス（例えば、図１３に示すようなまたは図１４に示すようなプロセス）が使用されるかを示すことができる。このシンタックス要素をシーケンスレベルで、例えば、ＶＰＳの一部としておよび／またはＳＰＳの一部としてシグナルすることができる。シンタックス要素をピクチャレベルで、例えば、スライスセグメントヘッダのピクチャパラメータセット（ＰＰＳ）の一部として、または適応パラメータセット（ＡＰＳ）の一部としてシグナルすることができる。組み合わされたスケーラビリティ処理のプロセスを選択するエンコーダは、例えば、ビデオ入力に基づく。エンコーダは、組み合わされたスケーラビリティ処理のプロセスをデコーダに示すことができる。

【0072】

組み合わされたレイヤ間スケーラビリティ処理の例示的な実装において、組み合わされたスケーラビリティ処理のプロセスを事前定義することができる。例えば、図１４に示した組み合わされたスケーラビリティ処理のプロセスを選択することができる。エンコーダとデコーダは、付加的なシグナリング用いずに、特定の組み合わされたスケーラビリティ処理のプロセスを反復的に使用することができる。

【0073】

組み合わされたレイヤ間スケーラビリティ処理で使用される色域変換技術は、利得およびオフセット、成分間共通の（cross-component）線形、区分線形、または３Ｄ ＬＵＴのうちの１または複数を含むことができる。図１５に示した例示的なシンタックステーブルは、組み合わされたスケーラビリティ処理のプロセス、および組み合わされた色域変換処理と逆トーンマッピング処理に使用されるパラメータをシグナリングする例を示している。図１５に示した例示的なシンタックスは、図１４に示した例示的な実装に従った例に使用され得る。

【0074】

図１５に示すように、入力および出力ビット深度値を色マッピングプロセスのパラメータとして含むことができる。色マッピングプロセスは、色マッピングプロセスの入力輝度成分のサンプルビット深度を示すパラメータを処理の基準にすることができる。例えば、入力輝度成分のサンプルビット深度をエイト（８）からのデルタとしてシグナルすることができる。例えば、入力輝度成分のサンプルビット深度を示すパラメータを、図１５に示すようにｂｉｔ＿ｄｅｐｔｈ＿ｉｎｐｕｔ＿ｌｕｍａ＿ｍｉｎｕｓ８と呼ぶことができる。他のパラメータ名を使用してもよい。

【0075】

色マッピングプロセスは、色マッピングプロセスの入力彩度成分（複数）のサンプルビット深度を示すパラメータを処理の基準にすることができる。例えば、入力彩度成分（複数）のサンプルビット深度をエイト（８）からのデルタとしてシグナルすることができる。例えば、入力彩度ビット深度を入力輝度ビット深度からのデルタとしてシグナルすることができる。例えば、入力彩度成分のサンプルビット深度を示すパラメータを、図１５に示すようにｂｉｔ＿ｄｅｐｔｈ＿ｉｎｐｕｔ＿ｃｈｒｏｍａ＿ｄｅｌｔａと呼ぶことができる。他のパラメータ名を使用してもよい。これは、コード化されるシンタックス要素の値（例えば、小さいデルタ値）の削減によってシグナリングコストを削減することができる。他のビット深度のシグナリング技術を使用してもよい

【0076】

色マッピングプロセスは、色マッピングプロセスの出力輝度成分のサンプルビット深度を示すパラメータを出力することができる。例えば、出力輝度成分のサンプルビット深度をエイト（８）からのデルタとしてシグナルすることができる。例えば、出力輝度成分のサンプルビット深度を入力輝度ビット深度からのデルタとしてシグナルすることができる。この出力パラメータを、図１５に示すようにｂｉｔ＿ｄｅｐｔｈ＿ｏｕｔｐｕｔ＿ｌｕｍａ＿ｄｅｌｔａと呼ぶことができる。他のパラメータ名を使用してもよい。

【0077】

色マッピングプロセスは、色マッピングプロセスの出力彩度成分（複数）のサンプルビット深度を示すパラメータを出力することができる。例えば、出力彩度成分（複数）のサンプルビット深度をエイト（８）からのデルタとしてシグナルすることができる。例えば、出力彩度成分（複数）のサンプルビット深度を入力彩度ビット深度からのデルタとしてシグナルすることができる。この出力パラメータを、図１５に示すようにｂｉｔ＿ｄｅｐｔｈ＿ｏｕｔｐｕｔ＿ｃｈｒｏｍａ＿ｄｅｌｔａと呼ぶことができる。他のパラメータ名を使用してもよい。

【0078】

使用されるＣＧＳ技術を示すシンタックス要素ＣＧＳ＿ｍｅｔｈｏｄを、図１５の例示的なシンタックステーブルに含めることができる。ＣＧＳ＿ｍｅｔｈｏｄの例は、利得および／またはオフセット、成分間共通の（cross-component）線形、区分線形、３Ｄ ＬＵＴ、カスタマイズされたＣＧＳ方法などを含む。ＣＧＳ＿ｍｅｔｈｏｄが送信された後、対応する１または複数のモデルパラメータを（例えば、それぞれのＣＧＳ技術に従って）シグナルすることができる。図１５に示した例示的なシンタックステーブルをシーケンスレベルのシグナリングに（ＶＰＳ、ＳＰＳ、またはＰＰＳなどのうちの１または複数に）含めることができる。図１５に示した例示的なシンタックステーブルをピクチャレベルのシグナリングに（１または複数のスライスヘッダまたはＡＰＳなど）含めることができる。

【0079】

輝度および／または彩度ビット深度をＶＰＳまたはＳＰＳのシンタックス要素から推定することができる。例えば、図８と図９のそれぞれ例示的な２レイヤスケーラブルなビデオエンコーダとデコーダにおいて、（例えば、コンバインド処理モジュールの入力ビット深度に等しい）ＢＬビット深度と（例えば、コンバインド処理モジュールの出力ビット深度に等しい）ＥＬビット深度を、例えば、ＳＰＳのｂｉｔ＿ｄｅｐｔｈ＿ｌｕｍａ／ｃｈｒｏｍａ＿ｍｉｎｕｓ８などのシンタックス要素から読み出すことができる。色域変換パラメータをＰＰＳに送信することができる。パラメータセット（例えば、ＶＰＳ、ＳＰＳ、およびＰＰＳ）を解析して独立に復号化することができる。図１５に示した例示的なシンタックステーブルを使用してビット深度値をシグナリングすることは、組み合わされた色域変換と逆トーンマッピングプロセスのモデルパラメータの解析および復号化を簡略化することができる。

【0080】

図１５のテーブルに示した例示的なシグナリングは、例えば、図１４の例示的な実装で示した組み合わされた逆トーンマッピング処理と色域変換処理モジュールに対応する、第１の組み合わされたレイヤ間処理モジュールのプロセス定義として機能することができる。この第１の組み合わされたレイヤ間処理モジュールを、図１４に示した例示的な実装の形式で固定された構成に使用することができる。第１の組み合わされたレイヤ間処理モジュールは、（例えば、図１０に示すような）カスケード処理構成で使用可能な１つのレイヤ間処理モジュールを含むことができる。第１の組み合わされたレイヤ間処理モジュールの選択および適用を、例えば、図１１および図１２の例示的なシンタックステーブルを使用してシグナルすることができる。第１の組み合わされたレイヤ間処理モジュールの適用を示すのに適したｐｒｏｃｅｓｓ＿ｉｎｄｅｘを図１２の例示的なシンタックステーブルに付加することができる。

【0081】

組み合わされたレイヤ間処理モジュール（例えば、図１３の例示的な実装で示した組み合わされた逆トーンマッピング処理とアップサンプリング処理モジュール）を定義することができる。組み合わされたレイヤ間処理モジュールに適したプロセス定義を定義することができる。例えば、プロセス定義は、空間スケーラビリティアップサンプリングのアップサンプリングフィルタの形式、サイズ、形状、または係数のうちの１または複数を定義することができ、そして１または複数の入力ビット深度および／または１または複数の出力ビット深度をさらに定義することができる。第２の組み合わされたレイヤ間処理モジュールの適用を示すのに適したｐｒｏｃｅｓｓ＿ｉｎｄｅｘを図１２の例示的なシンタックステーブルに付加することができる。第２の組み合わされたレイヤ間処理モジュールは、（例えば、図１０に示すような）カスケード処理構成で使用可能な別のレイヤ間処理モジュールであってよい。

【0082】

組み合わされたレイヤ間処理モジュールの任意の数を定義するおよび／または例えば、図１１および図１２の例示的なシンタックステーブルで定義されるシグナリングフレームワークを使用して、図１０に示したカスケードフレームワークに組み込むことができる。

【0083】

図１６は、プロセスインデックスの定義を示す例示的なシンタックステーブルを示している。図示したように、プロセスインデックスは、組み合わされた逆トーンマッピングと色域変換に対応することができる。例えば、ｐｒｏｃｅｓｓ＿ｉｎｄｅｘ＝３は、第１の組み合わされたレイヤ間処理モジュールに対応することができる。図示したように、プロセスインデックスは、組み合わされた逆トーンマッピングとアップサンプリングに対応することができる。例えば、ｐｒｏｃｅｓｓ＿ｉｎｄｅｘ＝４は、第２の組み合わされたレイヤ間処理モジュールに対応することができる。

【0084】

ビット深度は、色域変換モジュールに考慮される。色域変換プロセスは、信号をある色空間から別の色空間へと変換することができる。色間成分関係（cross color component relationships）を色域変換関数に適用することができる。例えば、ＨＥＶＣのスケーラブル拡張規格の最終バージョンで採用された色域変換プロセスなどの色域変換に基づく３Ｄ ＬＵＴにおいて、３Ｄ色空間を複数のオクタントにパーティションすることができる。１または複数のオクタントにおいて、色間成分線形モデル（cross color component linear model）を以下のように適用することができる。

【0085】

【数3】

【0086】

パラメータｏｕｔｐｕｔＳａｍｐｌｅＸは、色域変換後の色成分Ｘ（例えば、ＸはＹ、ＵまたはＶであってよい）の出力サンプル値を示す。パラメータＬｕｔＸ［ｙＩｄｘ］［ｕＩｄｘ］［ｖＩｄｘ］［ｉ］は、色成分Ｘ（ｙＩｄｘ，ｕＩｄｘ，ｖＩｄｘ）によって指定されるオクタントのｉ番目のＬＵＴパラメータを示す。ここに０＜＝ｉ＜＝３である。パラメータｎＭａｐｐｉｎｇＳｈｉｆｔとｎＭａｐｐｉｎｇＯｆｆｓｅｔは、色域変換中に固定小数点演算の精度を制御し、パラメータｉｎｐｕｔＳａｍｐｌｅＹ、ｉｎｐｕｔＳａｍｐｌｅＵ、およびｉｎｐｕｔＳａｍｐｌｅＶは、色域変換前の色成分Ｙ、ＵおよびＶのそれぞれの入力値を含む。

【0087】

実施形態において、輝度サンプルと彩度サンプルのそれぞれのビット値は異なる場合がある。これらのビット深度値を、例えば、図１５のｂｉｔ＿ｄｅｐｔｈ＿ｉｎｐｕｔ＿ｌｕｍａ＿ｍｉｎｕｓ８とｂｉｔ＿ｄｅｐｔｈ＿ｉｎｐｕｔ＿ｃｈｒｏｍａ＿ｄｅｌｔａによって指定することができる。ビット深度値を、例えば、ＶＰＳ、ＳＰＳ、および／またはＰＰＳなどのパラメータセットを介して指定することができる。入力輝度ビット深度をＩｎｐｕｔＬｕｍａＢｉｔＤｅｐｔｈと示すことができ、入力彩度ビット深度をＩｎｐｕｔＣｈｒｏｍａＢｉｔＤｅｐｔｈと示すことができる。入力輝度ビット深度と入力彩度ビット深度を導くことができる。例えば、図１５に示したシグナリングに基づいて入力輝度ビット深度と入力彩度ビット深度を導くことができる。入力輝度ビット深度と入力彩度ビット深度を以下に従って導くことができる。

【0088】

【数4】

【0089】

【数5】

【0090】

Ｈ．２６４／ＡＶＣおよびＨＥＶＣなどのビデオ規格は、輝度成分と彩度成分のビットのそれぞれの深度が異なるようにすることができる。色間成分モデルが使用される場合、色間成分線形モデルが適用されると、それぞれの色成分のビット深度はアラインメントされる。例えば、式（１）が適用されると、それぞれの色成分のビット深度はアラインメントされる。例示的な色域変換プロセスに従って、輝度および／または彩度サンプルビット深度は、式（１）などの色間成分モデルが適用される前に、
ＭａｘＢｉｔＤｅｐｔｈ＝ｍａｘ（ＩｎｐｕｔＬｕｍａＢｉｔＤｅｐｔｈ，ＩｎｐｕｔＣｈｒｏｍａＢｉｔＤｅｐｔｈ）
と示される、輝度および／または彩度のそれぞれのより大きいビット深度値にアラインメントされる。例えば、ＤｅｌｔａＭａｘＬｕｍａＢｉｔＤｅｐｔｈとＤｅｌｔａＭａｘＣｈｒｏｍａＢｉｔＤｅｐｔｈは以下のように定義される。

【0091】

【数6】

【0092】

【数7】

【0093】

色間成分線形モデルは以下のように適用される。

【0094】

【数8】

【0095】

輝度および／または彩度ビット深度は、色変換プロセス中に
ＭｉｎＢｉｔＤｅｐｔｈ＝ｍｉｎ（ＩｎｐｕｔＬｕｍａＢｉｔＤｅｐｔｈ，ＩｎｐｕｔＣｈｒｏｍａＢｉｔＤｅｐｔｈ）
と示される、輝度および／または彩度のそれぞれのより小さいビット深度値にアラインメントされる。例えば、ＤｅｌｔａＭｉｎＬｕｍａＢｉｔＤｅｐｔｈとＤｅｌｔａＭｉｎＣｈｒｏｍａＢｉｔＤｅｐｔｈは以下のように定義される。

【0096】

【数9】

【0097】

【数10】

【0098】

色間成分線形モデルは以下のように適用される。

【0099】

【数11】

【0100】

【0101】

色マッピングの１または複数の乗算演算の複雑性が削減されるように色間成分線形モデルを適用することができる。式（３）の乗算演算の第２の項のビット深度はより小さくなる。これにより、例えば、ＡＳＩＣ設計を使用する実装の複雑性を削減することができる。

【0102】

輝度ビット深度と彩度ビット深度との間の可能性のある差を考慮する上記の例示的なプロセスは、３Ｄ ＬＵＴベースの色域変換関数の実装に限定されないこと、および上記の例示的なプロセスは、色間成分モデルを使用する任意の色域変換および／またはトーンマッピング関数に実装されてもよいことを認識されたい。

【0103】

ｎＭａｐｐｉｎｇＳｈｉｆｔおよび／またはｎＭａｐｐｉｎｇＯｆｆｓｅｔの各値は、色域変換中に固定小数点演算の精度を制御することができる。例えば、ｎＭａｐｐｉｎｇＳｈｉｆｔとｎＭａｐｐｉｎｇＯｆｆｓｅｔの値は以下のように計算される。

【0104】

【数12】

【0105】

【数13】

【0106】

ここにＩｎｐｕｔＢｉｔＤｅｐｔｈＸとＯｕｔｐｕｔＢｉｔＤｅｐｔｈＸはそれぞれ、色変換プロセスの色成分Ｘ（例えば、ＸはＹ、ＵまたはＶであってよい）の入力ビット深度と出力ビット深度を含む。

【0107】

例えば、式（１ａ）と（１ｂ）を使用して、輝度と彩度のそれぞれのＩｎｐｕｔＢｉｔＤｅｐｔｈＸの値を導くことができる。例えば、以下の式を使用して、輝度と彩度のそれぞれのＯｕｔｐｕｔＢｉｔＤｅｐｔｈＸの値を導くことができる。

【0108】

【数14】

【0109】

【数15】

【0110】

実施形態において、色成分の出力ビット深度がその色成分の入力ビット深度よりも大きいまたは等しい色域変換プロセスを遂行できる。値（ＩｎｐｕｔＢｉｔＤｅｐｔｈＸ－ＯｕｔｐｕｔＢｉｔＤｅｐｔｈＸ）が負となるように、低品質のＢＬから高品質のＥＬまでの色変換プロセスを遂行できる。値ｎＭａｐｐｉｎｇＳｈｉｆｔは、入力ビット深度と出力ビット深度との間の差が増加するにつれてより小さくなる。これは、それに応じて固定小数点計算の精度を下げる。

【0111】

輝度成分の入力と出力との間のビット深度デルタ値（ＩｎｐｕｔＢｉｔＤｅｐｔｈＹ－ＯｕｔｐｕｔＢｉｔＤｅｐｔｈＹ）が、彩度成分の入力と出力との間のビット深度デルタ値（ＩｎｐｕｔＢｉｔＤｅｐｔｈＣ－ＯｕｔｐｕｔＢｉｔＤｅｐｔｈＣ）と異なる場合、輝度および／または彩度に対し、ｎＭａｐｐｉｎｇＳｈｉｆｔおよび／またはｎＭａｐｐｉｎｇＯｆｆｓｅｔを計算する技術が使用される。例えば、ｎＭａｐｐｉｎｇＳｈｉｆｔは、（ＩｎｐｕｔＢｉｔＤｅｐｔｈＹ－ＯｕｔｐｕｔＢｉｔＤｅｐｔｈＹ）を使用して計算されて、輝度と彩度のうちの１つまたは両方に適用される。またはｎＭａｐｐｉｎｇＳｈｉｆｔは、（ＩｎｐｕｔＢｉｔＤｅｐｔｈＣ－ＯｕｔｐｕｔＢｉｔＤｅｐｔｈＣ）を使用して計算されて、輝度と彩度のうちの１つまたは両方に適用される。別の例において、ｎＭａｐｐｉｎｇＳｈｉｆｔおよび／またはｎＭａｐｐｉｎｇＯｆｆｓｅｔは、以下の式を使用して計算される。

【0112】

【数16】

【0113】

【数17】

【0114】

これらの値は、色変換プロセスの輝度成分と彩度成分のうちの１つまたは両方に適用される。例えば、それらの値は、式（２）および／または式（３）のｎＭａｐｐｉｎｇＳｈｉｆｔとｎＭａｐｐｉｎｇＯｆｆｓｅｔ、例えば、｛Ｙ，Ｕ，Ｖ｝の各色成分Ｘに使用される。

【0115】

上記のプロセスは、大量の精度を保存することができる。例えば、これにより色域変換プロセスの高い（例えば、最大限の）固定小数点の精度が可能となる。

【0116】

本明細書で説明した、例えば、組み合わされたスケーラビリティ処理を用いるビデオコーディング技術は、図１７Ａから図１７Ｅまでに示した例示的な無線通信システム１００、およびそれらのコンポーネントなどの無線通信システムで移送するビデオに従って実装することができる。

【0117】

図１７Ａは、開示された１または複数の実施形態を実装することができる例示的な通信システム１００の図である。通信システム１００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する、多元接続システムにすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にできる。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）などの、１または複数のチャネルアクセス方法を用いることができる。

【0118】

図１７Ａに示すように、通信システム１００は、複数のＷＴＲＵ、例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および１０２ｄなど少なくとも１つの無線送信／受信ユニット、無線アクセスネットワーク（ＲＡＮ）１０４、コアネットワーク１０６、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含むことができるが、開示された実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図することを認識されたい。それぞれのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線環境で動作および／または通信するように構成された任意のタイプのデバイスであってよい。一例として、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成することができ、そしてユーザ機器（ＵＥ）、移動局、固定式または移動式加入者ユニット、ページャ、セルラー電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電製品などを含むことができる。

【0119】

通信システム１００はまた、基地局１１４ａと基地局１１４ｂを含むこともできる。それぞれの基地局１１４ａ、１１４ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つとワイヤレスにインタフェースして、コアネットワーク１０６、インターネット１１０、および／またはネットワーク１１２など１または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスであってよい。一例として、基地局１１４ａ、１１４ｂは、ベーストランシーバ基地局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどであってよい。基地局１１４ａ、１１４ｂはそれぞれ、単一要素として示されているが、基地局１１４ａ、１１４ｂは、相互接続された任意の数の基地局および／またはネットワーク要素を含んでもよいことを認識されたい。

【0120】

基地局１１４ａは、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどといった他の基地局および／またはネットワーク要素（図示せず）を含むこともできる、ＲＡＮ１０４の一部にすることができる。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と呼ぶことができる特定の地理的領域内で無線信号を送信するおよび／または受信するように構成することができる。セルをセルセクタにさらに分割することができる。例えば、基地局１１４ａと関連付けられたセルを３つのセクタに分割することができる。従って、一実施形態において、基地局１１４ａは、３つのトランシーバ、即ち、セルの各セクタに１トランシーバを含むことができる。別の実施形態において、基地局１１４ａは、ＭＩＭＯ(multiple-input multiple output)技術を用いることができ、従って、セルの各セクタに複数のトランシーバを利用することができる。

【0121】

基地局１１４ａ、１１４ｂは、適した任意の無線通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光線など）であってよい、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１または複数と通信することができる。エアインタフェース１１６は、適した任意の無線アクセス技術（ＲＡＴ）を使用して確立することができる。

【0122】

より詳細には、上記のように、通信システム１００は、多元接続システムにすることができ、そして、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなど１または複数のチャネルアクセススキームを用いることができる。例えば、ＲＡＮ１０４の基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＷＣＤＭＡ（広域帯ＣＤＭ）を使用してエアインタフェース１１６を確立することができる、ＵＴＲＡ(ユニバーサル移動体通信システム（ＵＭＴＳ）地上波無線アクセス）などの無線技術を実装することができる。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）など通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含むことができる。

【0123】

別の実施形態において、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＬＴＥ（ロングタームエボリューション）および／またはＬＴＥ－Ａ（ＬＴＥアドバンスト）を使用してエアインタフェース１１６を確立することができる、Ｅ－ＵＴＲＡ（発展型ＵＭＴＳ地上波無線アクセス）など無線技術を実装することができる。

【0124】

他の実施形態において、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（即ち、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)、ＣＤＭＡ２０００、ＣＤＭＡ２０００１Ｘ、ＣＤＭＡ２０００ＥＶ－ＤＯ、ＩＳ－２０００(Interim Standard 2000)、ＩＳ－９５(Interim Standard 95)、ＩＳ－８５６(Interim Standard 856)、ＧＳＭ(Global System for Mobile communications)、ＥＤＧＥ(Enhanced Data rates for GSM Evolution)、ＧＥＲＡＮ(GSM EDGE)などといった無線技術を実装することができる。

【0125】

図１７Ａの基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅノードＢ、またはアクセスポイントにすることができ、職場、自宅、車、キャンパスなど局所的な場所で無線接続性を容易にするために適した任意のＲＡＴを利用することができる。一実施形態において、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するＩＥＥＥ８０２．１１など無線技術を実装することができる。別の実施形態において、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するＩＥＥＥ８０２．１５など無線技術を実装することができる。さらに別の実施形態において、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、セルベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａなど）を利用して、ピコセルまたはフェムトセルを確立することができる。図１７Ａに示すように、基地局１１４ｂは、インターネット１１０に直接接続できる。従って、基地局１１４ｂは、コアネットワーク１０６経由でインターネット１１０にアクセスする必要がない。

【0126】

ＲＡＮ１０４は、音声、データ、アプリケーション、および／またはＶｏＩＰ（ボイスオーバーインターネットプロトコル）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１または複数に提供するように構成された任意のタイプのネットワークであってよい、コアネットワーク１０６と通信することができる。例えば、コアネットワーク１０６は、呼制御、課金サービス、モバイルロケーションベースのサービス、プリペイド電話、インターネット接続性、ビデオ配信などを提供し、および／またはユーザ認証などハイレベルのセキュリティ機能を遂行できる。図１７Ａに示していないが、ＲＡＮ１０４および／またはコアネットワーク１０６は、ＲＡＮ１０４と同じＲＡＴまたは異なるＲＡＴを用いる、他のＲＡＴとの直接または間接通信であってもよいことを認識されたい。例えば、Ｅ－ＵＴＲＡ無線技術を利用することができるＲＡＮ１０４に接続されることに加えて、コアネットワーク１０６はまた、ＧＳＭ無線技術を用いる別のＲＡＮ（図示せず）と通信することもできる。

【0127】

コアネットワーク１０６はまた、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとして機能することもできる。ＰＳＴＮ１０８は、旧来の音声電話サービス（ＰＯＳＴ）を提供する回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイートにおける伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）およびインターネットプロトコル（ＩＰ）など共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有されるおよび／または運用される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０４と同じＲＡＴまたは異なるＲＡＴを用いることができる１または複数のＲＡＮに接続された別のコアネットワークを含むことができる。

【0128】

通信システム１００のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの一部またはすべては、マルチモード能力を含むことができる。即ち、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信する複数のトランシーバを含むことができる。例えば、図１７Ａに示したＷＴＲＵ１０２ｃは、セルベースの無線技術を用いることができる基地局１１４ａと、ＩＥＥＥ８０２無線技術を用いることができる基地局１１４ｂとの通信を行うように構成することができる。

【0129】

図１７Ｂは、例示的なＷＴＲＵ１０２のシステム図である。図１７Ｂに示すように、ＷＴＲＵ１０２は、プロセッサ１１８、トランシーバ１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、ノンリムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、および他の周辺機器１３８を含むことができる。ＷＴＲＵ１０２は、実施形態と整合性を保った上で、上述の要素の任意の組み合わせを含んでもよいことを認識されたい。

【0130】

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと協働する１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、現場プログラム可能ゲートアレイ（ＦＰＧＡ）回路、その他のタイプの集積回路（ＩＣ）、ステートマシンなどであってよい。プロセッサ１１８は、信号コーディング、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にするその他の機能性を遂行できる。プロセッサ１１８をトランシーバ１２０に結合することができ、そのトランシーバを送信／受信要素１２２に結合することができる。図１７Ｂは、プロセッサ１１８とトランシーバ１２０とを別個のコンポーネントとして示しているが、プロセッサ１１８とトランシーバ１２０とを電子パッケージまたはチップに統合できることを認識されたい。

【0131】

送信／受信要素１２２は、エアインタフェース１１６を介して基地局（例えば、基地局１１４ａ）に信号を送信するまたは基地局から信号を受信するように構成することができる。例えば、一実施形態において、送信／受信要素１２２は、ＲＦ信号を送信するおよび／または受信するように構成されたアンテナにすることができる。別の実施形態において、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光線信号を送信するおよび／または受信するように構成されたエミッタ／検出器にすることができる。さらに別の実施形態において、送信／受信要素１２２は、ＲＦ信号と光信号との両方を送受信するように構成することができる。送信／受信要素１２２は、無線信号の任意の組み合わせを送信するおよび／または受信するように構成することができることを認識されたい。

【0132】

さらに、送信／受信要素１２２を単一要素として図１７Ｂに示しているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より詳細には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を用いることができる。従って、一実施形態において、ＷＴＲＵ１０２は、エアインタフェース１１６を介して無線信号を送信するおよび受信するための２以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。

【0133】

トランシーバ１２０は、送信／受信要素１２２によって送信される信号を変調して、送信／受信要素１２２によって受信される信号を復調するように構成することができる。上記のように、ＷＴＲＵ１０２は、マルチモード能力を有することができる、従って、トランシーバ１２０は、ＷＴＲＵ１０２が、例えば、ＵＴＲＡおよびＩＥＥＥ８０２．１１など複数のＲＡＴ経由で通信することを可能にする複数のトランシーバを含むことができる。

【0134】

ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーバッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、そしてそれらからユーザ入力データを受信することができる。プロセッサ１１８はまた、スピーカ／マイクロフォン１２４、キーバッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。さらに、プロセッサ１１８は、ノンリムーバブルメモリ１３０および／またはリムーバブルメモリ１３２などの適した任意のタイプのメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。ノンリムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスク、またはその他のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ１３２は、契約者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態において、プロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）など、物理的にＷＴＲＵ１０２に置かれていないメモリからの情報にアクセスして、それらのメモリにデータを記憶することができる。

【0135】

プロセッサ１１８は、電源１３４から電力を受信することができ、その電力をＷＴＲＵ１０２の他のコンポーネントに分散および／または制御するように構成することができる。電源１３４は、ＷＴＲＵ１０２に電力供給するのに適した任意のデバイスであってよい。例えば、電源１３４は、１または複数の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含むことができる。

【0136】

プロセッサ１１８はまた、ＧＰＳチップセット１３６を、ＷＴＲＵ１０２の現在のロケーションに関するロケーション情報（例えば、経緯度）を提供するように構成することができる、ＧＰＳチップセット１３６にも結合され得る。ＧＰＳチップセット１３６からの情報の追加または代替として、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインタフェース１１６を介してロケーション情報を受信し、および／または２以上の近隣の基地局から受信される信号のタイミングに基づいてＷＴＲＵのロケーションを判定することができる。ＷＴＲＵ１０２は、実施形態と整合性を保った上で、適した任意のロケーション判定方法によってロケーション情報を獲得できることを認識されたい。

【0137】

プロセッサ１１８は、付加的な特徴、機能性および／または有線または無線接続性を提供する、１または複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含むことができる、他の周辺機器１３８にさらに結合され得る。例えば、周辺機器１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含むことができる。

【0138】

図１７Ｃは、ＲＡＮ１０４ａとコアネットワーク１０６ａの例示的な実装をそれぞれ備えるＲＡＮ１０４ａとコアネットワーク１０６ａを含む通信システム１００の実施形態のシステム図である。上記のように、ＲＡＮ１０４、例えば、ＲＡＮ１０４ａは、ＵＴＲＡ無線技術を用いてエアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信することができる。ＲＡＮ１０４ａはまた、コアネットワーク１０６ａと通信することもできる。図１７Ｃに示すように、ＲＡＮ１０４ａは、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる、ノードＢ１４０ａ、１４０ｂ、１４０ｃを含むことができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃのそれぞれをＲＡＮ１０４ａ内の特定のセル（図示せず）と関連付けることができる。ＲＡＮ１０４ａはまた、ＲＮＣ１４２ａ、１４２ｂを含むこともできる。ＲＡＮ１０４ａは、実施形態と整合性を保った上で、任意の数のノードＢおよびＲＮＣを含んでもよいことを認識されたい。

【0139】

図１７Ｃに示すように、ノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信することができる。さらに、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信することができる。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインタフェース経由でそれぞれのＲＮＣ１４２ａ、１４２ｂと通信することができる。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインタフェース経由で互いに通信することができる。それぞれの１４２ａ、１４２ｂは、接続されているそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成することができる。さらに、それぞれのＲＮＣ１４２ａ、１４２ｂは、外ループ電力制御、読み込み制御、許可制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ関数、データ暗号化などといった他の機能性を実行するまたはサポートするように構成することができる。

【0140】

図１７Ｃに示したコアネットワーク１０６ａは、メディアゲートウェイ（ＭＧＷ）１４４、モバイル交換センター（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含むことができる。それぞれの上述した要素をコアネットワーク１０６ａの一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび／または運用されてもよいことを認識されたい。

【0141】

ＲＡＮ１０４ａのＲＮＣ１４２ａをＩｕＣＳインタフェース経由でコアネットワーク１０６ａのＭＳＣ１４６に接続することができる。ＭＳＣ１４６をＭＧＷ１４４に接続することができる。ＭＳＣ１４６およびＭＧＷ１４４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８など回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。

【0142】

ＲＡＮ１０４ａのＲＮＣ１４２ａをＩｕＰＳインタフェース経由でコアネットワーク１０６ａのＳＧＳＮ１４８に接続することもできる。ＳＧＳＮ１４８をＧＧＳＮ１５０に接続することができる。ＳＧＳＮ１４８およびＧＧＳＮ１５０は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応(IP-enabled)デバイスとの間の通信を容易にすることができる。

【0143】

上記のように、コアネットワーク１０６ａを他のサービスプロバイダによって所有されるおよび／または運用される他の有線または無線ネットワークを含むことができる、ネットワーク１１２に接続することもできる。

【0144】

図１７Ｄは、ＲＡＮ１０４とコアネットワーク１０６ａの例示的な実装をそれぞれ備えるＲＡＮ１０４ｂとコアネットワーク１０６ｂを含む通信システム１００の実施形態のシステム図である。上記のように、ＲＡＮ１０４、例えば、ＲＡＮ１０４ｂは、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するＥ－ＵＴＲＡ無線技術を用いることができる。ＲＡＮ１０４はまた、コアネットワーク１０６ｂと通信することもできる。

【0145】

ＲＡＮ１０４ｂは、ｅノードＢ１７０ａ、１７０ｂ、１７０ｃを含むことができるが、ＲＡＮ１０４ｂは、実施形態と整合性を保った上で、任意の数のｅノードＢを含んでもよいことを認識されたい。ｅノードＢ１７０ａ、１７０ｂ、１７０ｃはそれぞれ、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる。一実施形態において、ｅノードＢ１７０ａ、１７０ｂ、１７０ｃは、ＭＩＭＯ技術を実装することができる。従って、ｅノードＢ１７０ａは、例えば、ＷＴＲＵ１０２ａに無線信号を送信し、そしてそのＷＴＲＵから無線信号を受信するための複数のアンテナを使用することができる。

【0146】

それぞれのｅノードＢ１７０ａ、１７０ｂ、１７０ｃを特定のセル（図示せず）と関連付けることができ、そして無線リソース管理決定、ハンドオーバー決定、アップリンクおよび／またはダウンリンクのユーザのスケジューリングなどを処理するように構成することができる。図１７Ｄに示すように、ｅノードＢ１７０ａ、１７０ｂ、１７０ｃは、Ｘ２インタフェースを介して互いに通信することができる。

【0147】

図１７Ｄに示したコアネットワーク１０６ｂは、モビリティ管理ゲートウェイ（ＭＭＥ）１７２、サービングゲートウェイ１７４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１７６を含むことができる。それぞれの上述した要素をコアネットワーク１０６ｂの一部として示しているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび／または運用されてもよいことを認識されたい。

【0148】

ＭＭＥ１７２をＳ１インタフェース経由でＲＡＮ１０４ｂのそれぞれのｅノードＢ１７０ａ、１７０ｂ、１７０ｃに接続することができ、制御ノードとして機能することができる。例えば、ＭＭＥ１７２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラのアクティブ化／非アクティブ化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの初期接続(initial attach)中に特定のサービングゲートウェイを選択することなどに関与することができる。ＭＭＥ１７２はまた、ＲＡＮ１０４ｂと、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を用いる他のＲＡＮ（図示せず）とを切り替える制御プレーン機能を提供することもできる。

【0149】

サービングゲートウェイ１７４をＳ１インタフェース経由でＲＡＮ１０４ｂのそれぞれのｅノードＢ１７０ａ、１７０ｂ、１７０ｃに接続することができる。サービングゲートウェイ１７４は一般に、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃへの／からのユーザデータパケットをルーティングして転送することができる。サービングゲートウェイ１７４はまた、ｅノードＢ間のハンドオーバー中にユーザプレーンをアンカーすること、ダウンリンクデータがＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに使用可能になった時にページングをトリガすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理して記憶することなどといった他の機能を遂行することもできる。

【0150】

サービングゲートウェイ１７４はまた、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などのパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応(IP-enabled)デバイスとの間の通信を容易にすることができる、ＰＤＮゲートウェイ１７６に接続されることもできる。

【0151】

コアネットワーク１０６ｂは、他のネットワークとの通信を容易にすることもできる。例えば、コアネットワーク１０６ｂは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８など回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話回線による通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク１０６ｂは、コアネットワーク１０６ｂとＰＳＴＮ１０８との間のインタフェースとして機能するＩＰゲートウェイ（例えば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含むことができるか、またはこれと通信することができる。さらに、コアネットワーク１０６ｂは、他のサービスプロバイダによって所有されるおよび／または運用される他の有線または無線通信ネットワークを含むことができる、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することができる。

【0152】

図１７Ｅは、ＲＡＮ１０４とコアネットワーク１０６の例示的な実装をそれぞれ備えるＲＡＮ１０４ｃとコアネットワーク１０６ｃを含む通信システム１００の実施形態のシステム図である。ＲＡＮ１０４、例えば、ＲＡＮ１０４ｃは、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するＩＥＥＥ８０２．１６無線技術を用いるアクセスサービスネットワーク（ＡＳＮ）にすることができる。本明細書に記載の通り、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの異なる機能エンティティとＲＡＮ１０４ｃとコアネットワーク１０６ｃとの間の通信リンクを参照ポイントとして定義することができる。

【0153】

図１７Ｅに示したように、ＲＡＮ１０４ｃは、基地局１８０ａ、１８０ｂ、１８０ｃおよびＡＳＮゲートウェイ１８２を含むことができるが、ＲＡＮ１０４ｃは、実施形態と整合性を保った上で、任意の数の基地局およびＡＳＮゲートウェイを含んでもよいことを認識されたい。基地局１８０ａ、１８０ｂ、１８０ｃをそれぞれ、ＲＡＮ１０４ｃの特定のセル（図示せず）と関連付けることができ、そしてそれぞれは、エアインタフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するための１または複数のトランシーバを含むことができる。一実施形態において、基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実装することができる。従って、基地局１８０ａは、例えば、ＷＴＲＵ１０２ａに無線信号を送信する、およびそのＷＴＲＵから無線信号を受信するための複数のアンテナを使用することができる。基地局１８０ａ、１８０ｂ、１８０ｃはまた、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシー強制などといったモビリティ管理機能を提供することもできる。ＡＳＮゲートウェイ１８２は、トラフィック集合ポイントとして機能することができ、そしてページング、加入者プロファイルのキャッシング、コアネットワーク１０６ｃへのルーティングなどに関与することができる。

【0154】

ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０４ｃとの間のエアインタフェース１１６を、ＩＥＥＥ８０２．１６仕様を実装するＲ１参照ポイントとして定義することができる。さらに、それぞれのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、コアネットワーク１０６ｃとの論理インタフェース（図示せず）を確立することができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０６ｃとの間の論理インタフェースを、認証、承認、ＩＰホスト構成管理、および／またはモビリティ管理に使用することができる、Ｒ２参照ポイントとして定義することができる。

【0155】

それぞれの基地局１８０ａ、１８０ｂ、１８０ｃ間の通信リンクを、ＷＴＲＵハンドオーバーおよび基地局間のデータ転送を容易にするためのプロトコルを含むＲ８参照ポイントとして定義することができる。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクをＲ６参照ポイントとして定義することができる。Ｒ６参照ポイントは、それぞれのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと関連付けられるモビリティイベントに基づいてモビリティ管理を容易にするためのプロトコルを含むことができる。

【0156】

図１７Ｅに示すように、ＲＡＮ１０４ｃをコアネットワーク１０６ｃに接続できる。ＲＡＮ１０４ｃとコアネットワーク１０６ｃとの間の通信リンクを、例えば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含むＲ３参照ポイントとして定義することができる。コアネットワーク１０６ｃは、モバイルＩＰホームエージェント（ＭＩＰ－ＨＡ）１８４、認証、承認、アカウンティング（ＡＡＡ）サーバ１８６、およびゲートウェイ１８８を含むことができる。上述したそれぞれの要素はコアネットワーク１０６ｃの一部として示されているが、これらの要素のいずれもコアネットワークオペレータ以外のエンティティによって所有されるおよび／または運用されてもよいことを認識されたい。

【0157】

ＭＩＰ－ＨＡ１８４は、ＩＰアドレス管理に関与することができ、そしてＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが異なるＡＳＮおよび／または異なるコアネットワーク間でローミングできるようにする。ＭＩＰ－ＨＡ１８４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応の(IP-enabled)デバイスとの間の通信を容易にすることができる。ＡＡＡサーバ１８６は、ユーザ認証およびユーザサービスをサポートすることに関与することができる。ゲートウェイ１８８は、他のネットワークとの相互作用を容易にすることができる。例えば、ゲートウェイ１８８は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８などの回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の固定電話回線の通信デバイスとの間の通信を容易にすることができる。さらに、ゲートウェイ１８８は、他のサービスプロバイダによって所有されるおよび／または運用される他の有線または無線ネットワークを含むことができる、ネットワーク１１２へのアクセスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供することができる。

【0158】

図１７Ｅに示していないが、ＲＡＮ１０４ｃを他のＡＳＮに接続でき、およびコアネットワーク１０６ｃを他のコアネットワークに接続できることを認識されたい。ＲＡＮ１０４ｃと他のＡＳＮとの間の通信リンクを、ＲＡＮ１０４ｃと他のＡＳＮとの間のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのモビリティを調整するためのプロトコルを含むことができる、Ｒ４参照ポイントとして定義することができる。コアネットワーク１０６ｃと他のコアネットワークとの間の通信リンクを、ホームコアネットワークと移動してきた(visited)コアネットワークとの間の相互作用を容易にするためのプロトコルを含むことができる、Ｒ５参照ポイントとして定義することができる。

【0159】

特徴および要素を特定の組み合わせにおいて上記に説明しているが、各特徴または要素は、単独で、または他の特徴および要素との任意の組み合わせにおいて使用されもよいことが当業者には認識されよう。さらに、本明細書で説明される方法は、コンピュータまたはプロセッサによって実行されるコンピュータ可読媒体に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアに実装されてもよい。コンピュータ可読媒体の例は、（有線または無線接続を介して送信される）電子信号およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、およびＣＤ－ＲＯＭディスク、およびデジタル多用途ディスク（ＤＶＤ）などの光媒体を含むが、これらに限定されない。ソフトウェアと協働するプロセッサを使用して、ＷＴＲＵ、端末機、基地局、ＲＮＣ、または任意のホストコンピュータで使用される無線周波数トランシーバを実装することができる。本明細書で説明した１または複数の例示的な実施形態に従った特徴および／または要素は、本明細書で説明した１または複数の他の例示的な実施形態に従った特徴および／または要素との組み合わせにおいて使用されてよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図17D】

【図17E】