特許 6592145 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6592145

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント

(51)【国際特許分類】

   H04N 19/30 20140101AFI20191007BHJP

   H04N 19/513 20140101ALI20191007BHJP

   H04N 19/59 20140101ALI20191007BHJP

   H04N 19/597 20140101ALI20191007BHJP

   H04N 19/52 20140101ALI20191007BHJP

【ＦＩ】

   H04N19/30

   H04N19/513

   H04N19/59

   H04N19/597

   H04N19/52

【請求項の数】20

【全頁数】49

(21)【出願番号】特願2018-118039(P2018-118039)

(22)【出願日】2018年6月21日

(62)【分割の表示】特願2016-506630(P2016-506630)の分割

【原出願日】2014年4月4日

(65)【公開番号】特開2018-174566(P2018-174566A)

(43)【公開日】2018年11月8日

【審査請求日】2018年7月23日

(31)【優先権主張番号】61/812,687

(32)【優先日】2013年4月16日

(33)【優先権主張国】US

(31)【優先権主張番号】61/809,115

(32)【優先日】2013年4月5日

(33)【優先権主張国】US

(31)【優先権主張番号】61/845,318

(32)【優先日】2013年7月11日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】514041959

【氏名又は名称】ヴィド スケール インコーポレイテッド

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ホー ユーウェン

(72)【発明者】

【氏名】イエ イエン

【審査官】 冨田 高史

(56)【参考文献】

【文献】 Xiang Li, et al.，Non-TE3: Extension of Test 4.6.2.1 on Generalized Resdual Prediction，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Incheon, Korea, 18-26 Apr. 2013，ITU/ISO/IEC，２０１３年 １月 ８日，JCTVC-L0190，pp. 1-3，学術文献等DB

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

第２の時間インスタンスによって特徴付けられた第２のベースレイヤ画像のブロックに関連付けられたベースレイヤ動き情報に基づいて、第１の時間インスタンスによって特徴付けられた第１のベースレイヤ画像のブロックを決定し、
前記第１の時間インスタンスによって特徴付けられた前記第１のベースレイヤ画像の前記ブロック上で動き補償を実行し、
前記第２のベースレイヤ画像の前記ブロックから前記第１のベースレイヤ画像の前記動き補償されたブロックを差し引いて残差ブロックを生成し、
前記残差ブロック、および、前記第１の時間インスタンスによって特徴付けられたエンハンスメントレイヤ画像の動き補償されたブロックを使用して、前記第２の時間インスタンスによって特徴付けられたエンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）ブロックを生成する
ように構成されたプロセッサを備えたことを特徴とするビデオデバイス。

【請求項2】

前記第１のベースレイヤ画像の前記ブロックは前記第１のベースレイヤ画像のアップサンプリングされたブロックであり、および前記第２のベースレイヤ画像の前記ブロックは前記第２のベースレイヤ画像のアップサンプリングされたブロックであることを特徴とする請求項１に記載のビデオデバイス。

【請求項3】

前記ベースレイヤ動き情報は、アップサンプリングされたベースレイヤ動き情報であることを特徴とする請求項１に記載のビデオデバイス。

【請求項4】

前記プロセッサは、前記第２の時間インスタンスによって特徴付けられた前記Ｅ−ＩＬＲブロックを生成する前に、前記残差ブロックに重みを適用するように構成されたことを特徴とする請求項１に記載のビデオデバイス。

【請求項5】

前記プロセッサは、前記残差ブロックにオフセットを追加するように構成されたことを特徴とする請求項１に記載のビデオデバイス。

【請求項6】

前記プロセッサは、前記残差ブロックに前記重みを適用する前に、前記残差ブロックにオフセットを追加するように構成されたことを特徴とする請求項４に記載のビデオデバイス。

【請求項7】

前記オフセットは、単予測に基づいて、前記残差ブロックに追加されることを特徴とする請求項６に記載のビデオデバイス。

【請求項8】

前記オフセットは、双予測に基づいて、前記残差ブロックに追加されることを特徴とする請求項６に記載のビデオデバイス。

【請求項9】

前記プロセッサは、前記重みのインジケーション、および、オフセットを１つのパラメータセットとして受信するように構成されたことを特徴とする請求項６に記載のビデオデバイス。

【請求項10】

前記プロセッサは、
前記Ｅ−ＩＬＲブロックを含む、前記第２の時間インスタンスによって特徴付けられたＥ−ＩＬＲ画像を生成し、
前記Ｅ−ＩＬＲ画像を使用して、前記第２の時間インスタンスによって特徴付けられたエンハンスメントレイヤ画像を予測する
ように構成されたことを特徴とする請求項１に記載のビデオデバイス。

【請求項11】

第２の時間インスタンスによって特徴付けられた第２のベースレイヤ画像のブロックに関連付けられたベースレイヤ動き情報に基づいて、第１の時間インスタンスによって特徴付けられた第１のベースレイヤ画像のブロックを決定するステップと、
前記第１の時間インスタンスによって特徴付けられた前記第１のベースレイヤ画像の前記ブロック上で動き補償を実行するステップと、
前記第２のベースレイヤ画像の前記ブロックから前記第１のベースレイヤ画像の前記動き補償されたブロックを差し引いて残差ブロックを生成するステップと、
前記残差ブロック、および、前記第１の時間インスタンスによって特徴付けられたエンハンスメントレイヤ画像の動き補償されたブロックを使用して、前記第２の時間インスタンスによって特徴付けられたエンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）ブロックを生成するステップと
を備えたことを特徴とする方法。

【請求項12】

前記第１のベースレイヤ画像の前記ブロックは前記第１のベースレイヤ画像のアップサンプリングされたブロックであり、および前記第２のベースレイヤ画像の前記ブロックは前記第２のベースレイヤ画像のアップサンプリングされたブロックであることを特徴とする請求項１１に記載の方法。

【請求項13】

前記ベースレイヤ動き情報は、アップサンプリングされたベースレイヤ動き情報であることを特徴とする請求項１２に記載の方法。

【請求項14】

前記残差ブロックにオフセットを追加するステップをさらに備えたことを特徴とする請求項１１に記載の方法。

【請求項15】

前記第２の時間インスタンスによって特徴付けられた前記Ｅ−ＩＬＲブロックを生成する前に、前記残差ブロックに重みを適用するステップをさらに備えたことを特徴とする請求項１１に記載の方法。

【請求項16】

前記残差ブロックに前記重みを適用する前に、前記残差ブロックにオフセットを追加するステップをさらに備えたことを特徴とする請求項１５に記載の方法。

【請求項17】

前記オフセットは、単予測に基づいて、前記残差ブロックに追加されることを特徴とする請求項１６に記載の方法。

【請求項18】

前記オフセットは、双予測に基づいて、前記残差ブロックに追加されることを特徴とする請求項１６に記載の方法。

【請求項19】

前記重みのインジケーション、および、オフセットを１つのパラメータセットとして受信するステップをさらに備えたことを特徴とする請求項１６に記載の方法。

【請求項20】

前記Ｅ−ＩＬＲブロックを含む、前記第２の時間インスタンスによって特徴付けられたＥ−ＩＬＲ画像を生成するステップと、
前記Ｅ−ＩＬＲ画像を使用して、前記第２の時間インスタンスによって特徴付けられたエンハンスメントレイヤ画像を予測するステップと
をさらに備えたことを特徴とする請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメントに関する。

【背景技術】

【0002】

過去２０年間にわたって、デジタルビデオ圧縮技術は、効率的なデジタルビデオ通信、分配、および、消費を可能にするために、開発および標準化されてきた。商業的に広く配備されている大部分の標準、ＭＰＥＧ−２およびＨ．２６４（ＭＰＥＧ−４パート１０）などは、ＩＳＯ／ＩＥＣおよびＩＴＵ−Ｔにより開発されている。ビデオ圧縮技術の台頭および成熟に起因して、高効率ビデオコーディング（ＨＥＶＣ）が開発され得る。

【0003】

分解能および計算能力の両方での、スマートフォンおよびタブレットの成長によって、ビデオチャット、移動ビデオ記録および共有、ならびに、ビデオストリーミングなどの追加的なビデオアプリケーションは、異種環境でのビデオ送信を要する場合がある。様々な消費者デバイス（たとえば、ＰＣ、スマートフォン、タブレット、ＴＶなど）を考慮する、３スクリーンおよびＮスクリーンなどのシナリオは、計算能力、メモリ／記憶サイズ、ディスプレイ解像度、ディスプレイフレームレートなどの点から、多種多様な能力を有するデバイス上でのビデオ消費に対処し得る。ネットワークおよび送信チャネルは、パケット損失レート、利用可能なチャネル帯域幅、バーストエラーレートなどの点から、多種多様な特性を有し得る。ビデオデータは、ワイヤードネットワークおよびワイヤレスネットワークの組み合わせによって送信され得、そのことが、基礎となる送信チャネル特性をさらに複雑にする場合がある。

【0004】

スケーラブルビデオコーディングは、異種ネットワークにわたる、異なる能力を有するデバイス上で動作するビデオアプリケーションに対する体感の品質を改善するための解を提供し得る。スケーラブルビデオコーディングは、最も高い表現（たとえば、時間的分解能、空間的分解能、品質など）で１回信号を符号化し得、クライアントデバイス上で動作するアプリケーションにより必要とされる特定のレートおよび表現に依存する、ビデオストリームのサブセットからの復号を可能にし得る。スケーラブルビデオコーディングは、非スケーラブル解と比較されると、帯域幅およびストレージを節約し得る。ＭＰＥＧ−２ビデオ、Ｈ．２６３、ＭＰＥＧ４ビジュアル、および、Ｈ．２６４などの、ただしそれらに制限されないビデオ標準は、スケーラビリティの何らかのモードをサポートするツールおよび／またはプロファイルを有し得る。

【発明の概要】

【0005】

ビデオコーディング方法を実装するためのシステム、方法、および、手段が提供される。ビデオデバイス（たとえば、符号化器および／または復号器を含み得る）は、たとえば、スケーラブルビットストリームのエンハンスメントレイヤ（ＥＬ：enhancement layer）画像（たとえば、および／または、ＥＬブロック）を予測する助けとなるように、１または複数のエンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ：enhanced inter-layer reference）ブロックを含むＥ−ＩＬＲ画像を生成し得る。ビデオデバイスは、たとえば、復号器に、Ｅ−ＬＩＲ処理を実行することを指示し得る、Ｅ−ＩＬＲ対応のフラグを受信し得る。たとえばビデオデバイスは、差分エンハンスメント方法を使用してＥ−ＩＬＲブロックを生成し得る。ビデオデバイスは、以下の１または複数を実行するように構成され得るプロセッサを含み得る。プロセッサは、第１の時間インスタンスを、第２の時間インスタンスにより特徴付けられる第２のベースレイヤ画像に関連付けられたベースレイヤ動き情報に基づいて決定し得る。ベースレイヤ動き情報は、ダウンサンプリングされたベースレイヤブロック、および／または、アップサンプリングされたベースレイヤブロックの、動き情報クラスおよび／または動きベクトルを含み得る。

【0006】

プロセッサは、第１の時間インスタンスにより特徴付けられる第１のベースレイヤ画像のブロックを、第１の時間インスタンスにより特徴付けられるエンハンスメントレイヤ画像のブロックから差し引いて、第１の時間インスタンスにより特徴付けられる差分ブロックを生成し得る。第１のベースレイヤ画像のブロックは、第１のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。プロセッサは、動き補償（motion compensation）を差分ブロック上で実行し得る。動き補償は、差分ブロック上で、たとえば、ベースレイヤとエンハンスメントレイヤとの間の空間的比率による、第２のベースレイヤ画像のブロックに関連付けられたベースレイヤ動き情報（たとえば、スケーリングされたベースレイヤ動き情報）を使用して実行され得る。

【0007】

プロセッサは、動き補償された差分ブロックに重みを掛け合わせ得る。重みは、０以上、かつ１以下であり得る。プロセッサは、オフセットを、動き補償された差分ブロックに追加し得る。プロセッサは、動き補償された差分画像を、第２の時間インスタンスにより特徴付けられる第２のベースレイヤ画像のブロックに追加して、第２の時間インスタンスにより特徴付けられるＥ−ＩＬＲブロックを生成し得る。第２のベースレイヤ画像のブロックは、第２のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。プロセッサは、Ｅ−ＩＬＲブロックを備える、第２の時間インスタンスにより特徴付けられるＥ−ＩＬＲ画像を生成し得る。プロセッサは、第２の時間インスタンスにより特徴付けられるエンハンスメントレイヤ画像を、第２の時間インスタンスにより特徴付けられる、Ｅ−ＩＬＲ画像、および／または、アップサンプリングされたベースレイヤ画像を使用して予測し得る。

【0008】

ビデオデバイスは、Ｅ−ＩＬＲブロックを、残差（residual）エンハンスメント方法を使用して生成し得る。ビデオデバイスは、以下の１または複数を実行するように構成され得るプロセッサを含み得る。プロセッサは、第１の時間インスタンスを、第２の時間インスタンスにより特徴付けられる第２のベースレイヤ画像に関連付けられたベースレイヤ動き情報に基づいて決定し得る。

【0009】

プロセッサは、第１の時間インスタンスにより特徴付けられる第１のベースレイヤ画像のブロックを、第２のベースレイヤ画像のブロックから差し引いて、残差を生成し得る。プロセッサは、動き補償を残差上で実行し得る。動き補償は、残差上で、第２のベースレイヤ画像のブロックに関連付けられたベースレイヤ動き情報を使用して実行され得る。プロセッサは、残差に重みを掛け合わせ得る。プロセッサは、オフセットを残差に追加し得る。

【0010】

プロセッサは、残差を、第１の時間インスタンスにより特徴付けられるエンハンスメントレイヤ画像のブロックに追加して、第２の時間インスタンスにより特徴付けられる、エンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）ブロックを生成し得る。プロセッサは、Ｅ−ＩＬＲブロックを備える、第２の時間インスタンスにより特徴付けられるＥ−ＩＬＲ画像を生成し得る。プロセッサは、第２の時間インスタンスにより特徴付けられるエンハンスメントレイヤ画像を、第２の時間インスタンスにより特徴付けられる、Ｅ−ＩＬＲ画像、および／または、アップサンプリングされたベースレイヤ画像を使用して予測し得る。第１のベースレイヤ画像のブロックは、第１のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。第２の第１のベースレイヤ画像のブロックは、第２のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。

【0011】

ビデオデバイスは、インターレイヤ基準ブロック（たとえば、Ｅ−ＩＬＲブロック）を、双予測（bi-prediction）を使用して生成し得る。ビデオデバイスは、以下の１または複数を実行するように構成され得るプロセッサを含み得る。プロセッサは、第１の時間インスタンスを、第３の時間インスタンスにより特徴付けられる第３のベースレイヤ画像に関連付けられた第１のベースレイヤ動き情報に基づいて決定し得る。プロセッサは、第２の時間インスタンスを、第３の時間インスタンスにより特徴付けられる第３のベースレイヤ画像に関連付けられた第２のベースレイヤ動き情報に基づいて決定し得る。プロセッサは、第３の時間インスタンスにより特徴付けられる、エンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）ブロックを、第１の時間インスタンスにより特徴付けられる第１のベースレイヤ画像のブロック、および、第２の時間インスタンスにより特徴付けられる第２のベースレイヤ画像のブロックを使用して生成し得る。第１のベースレイヤ画像のブロックは、第１のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。第２の第１のベースレイヤ画像のブロックは、第２のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。

【0012】

プロセッサは、第１のベースレイヤ画像のブロックを、第２のベースレイヤ画像のブロックに追加して、組み合わされたベースレイヤブロックを作成することにより、Ｅ−ＩＬＲブロックを生成するように構成され得る。プロセッサは、組み合わされたベースレイヤブロックを２により分割して、平均化されたベースレイヤブロックを生成し得る。プロセッサは、第１の時間インスタンスにより特徴付けられる第１のエンハンスメントレイヤ画像のブロックを、第２の時間インスタンスにより特徴付けられる第２のエンハンスメントレイヤ画像のブロックに追加して、組み合わされたエンハンスメントレイヤブロックを作成し得る。プロセッサは、組み合わされたエンハンスメントレイヤブロックを２により分割して、平均化されたエンハンスメントレイヤブロックを生成し得る。プロセッサは、平均化されたベースレイヤブロックを、平均化されたエンハンスメントレイヤブロックから差し引いて、差分ブロックを生成し得る。プロセッサは、動き補償を差分ブロック上で実行し得る。プロセッサは、動き補償された差分ブロックに重みを掛け合わせ得る。プロセッサは、動き補償された差分ブロックを、第３の時間インスタンスにより特徴付けられるベースレイヤ画像のブロックに追加して、Ｅ−ＩＬＲブロックを生成し得る。第３の第１のベースレイヤ画像のブロックは、第３のベースレイヤ画像のアップサンプリングされたブロック、または、ダウンサンプリングされたブロックであり得る。

【図面の簡単な説明】

【0013】

【図1】Ｎ個のレイヤを伴う例示的なスケーラブルビデオコーディングシステムの線図である。

【図2】多重レイヤビデオコーディングを使用する立体（たとえば、２ビュー）ビデオコーディングに対する、時間的およびインターレイヤ予測の例の線図である。

【図3】例示的な単一レイヤ符号化器の線図である。

【図4】例示的な単一レイヤ復号器の線図である。

【図5】例示的な２レイヤスケーラブル符号化器の線図である。

【図6】例示的な２レイヤスケーラブル復号器の線図である。

【図7】インターレイヤ画像（ＩＬＰ）処理および管理ユニットの例の線図である。

【図8】インターレイヤ基準画像の例示的な配置の線図である。

【図9】単予測（uni-prediction）コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。

【図10】差分画像、および、単予測コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。

【図11】双予測コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。

【図12】単予測モードに対する、基準インデックスを、重みリストでのインデックスにマッピングするルックアップ表に対するセットアップの例のフローチャートである。

【図13】双予測モードに対する、基準インデックスを、重みリストでのインデックスにマッピングするルックアップ表に対するセットアップの例のフローチャートである。

【図14】単予測モードに対する、重み推定を算出することの例のフローチャートである。

【図15】双予測モードに対する、重み推定を算出することの例のフローチャートである。

【図16】ＩＬＲエンハンスメントに対する、領域に基づく重みの例の線図である。

【図17】基準画像リスト内のエンハンスされたＩＬＲ画像の例示的な配置の線図である。

【図18】ブロックモード符号化に対するスキャンパターンの例の線図である。

【図19】水平スキャンによってコーディングされる２Ｄマップの例の線図である。

【図20A】１または複数の開示される実施形態が実装され得る、例示的な通信システムのシステム線図である。

【図20B】図２０Ａで例示的な通信システムの内部で使用され得る、例示的なワイヤレス送受信ユニット（ＷＴＲＵ）のシステム線図である。

【図20C】図２０Ａで例示的な通信システムの内部で使用され得る、例示的な無線アクセスネットワーク、および、例示的なコアネットワークのシステム線図である。

【図20D】図２０Ａで例示的な通信システムの内部で使用され得る、別の例示的な無線アクセスネットワーク、および、別の例示的なコアネットワークのシステム線図である。

【図20E】図２０Ａで例示的な通信システムの内部で使用され得る、別の例示的な無線アクセスネットワーク、および、別の例示的なコアネットワークのシステム線図である。

【発明を実施するための形態】

【0014】

例示的実施形態の詳細に述べられる説明が、次に、様々な図への参照によって説明されることになる。本説明は、可能な実装の詳細に述べられる例を提供するが、詳細は、例示的なものであることが意図され、用途の範囲を決して制限しないということに留意されたい。さらに、図は、例示的なものとするフローチャートを示す場合がある。他の実施形態が使用される場合がある。メッセージの順序は、適切である場合は変動させられ得る。メッセージは、必要とされないならば除外され得、追加的なフローが追加され得る。

【0015】

ＭＰＥＧ−２ビデオ、Ｈ．２６３、ＭＰＥＧ４ビジュアル、および、Ｈ．２６４などのビデオ標準は、スケーラビリティモードをサポートし得るツールおよび／またはプロファイルを有し得る。高効率ビデオコーディング（ＨＥＶＣ）スケーラブル拡張は、空間的スケーラビリティ（たとえば、スケーラブルビットストリームは、１つより多い空間的分解能での信号を含み得る）、および／または、品質スケーラビリティ（たとえば、スケーラブルビットストリームは、１つより多い品質レベルでの信号を含み得る）をサポートし得る。ＭＰＥＧは、ビュースケーラビリティをサポートし得る（たとえば、スケーラブルビットストリームは、２Ｄおよび３Ｄビデオ信号を含み得る）。

【0016】

図１は、Ｎ個のレイヤを伴う例示的なスケーラブルビデオコーディングシステム１００の線図である。レイヤ１（たとえば、ベースレイヤ）により表されることになる、空間的および／または時間的信号分解能は、ダウンサンプラ１０１での入力ビデオ信号１２０のダウンサンプリングにより生成され得る。符号化器１２１での符号化ステージでは、量子化器（たとえば、Ｑ₁）の適切なセッティングが、符号化されたベースレイヤビットストリーム１２２の或る品質レベルにつながり得る。１または複数のより高いレイヤ、たとえば、ベースレイヤ再構築（たとえば、Ｙ₁）を符号化するために、より高いレイヤ分解能レベルの近似が、より高いレイヤの符号化および／または復号で使用され得る。符号化されたベースレイヤは、復号器１２３により、ベースレイヤ再構築信号を作成するために復号され得る。アップサンプリングユニット１１０は、レイヤ２の分解能へのベースレイヤ再構築信号のアップサンプリングを実行し得る。アップサンプリングされたベースレイヤ再構築信号は、次いで、入力ビデオ信号１２０のダウンサンプリングされたバージョンから差し引かれ得る。たとえば入力ビデオ信号１２０は、ダウンサンプラ１０２でダウンサンプリングされ得、次いで、アップサンプリングされたベースレイヤ再構築信号が、ダウンサンプリングされた入力ビデオ信号から、１２４で、差信号を生成するために差し引かれ得る。差信号は、レイヤ２符号化器１２５で、レイヤ２ビットストリーム１２６を作成するために符号化され得る。ダウンサンプリングおよびアップサンプリングは、レイヤ（たとえば、レイヤ１、２、…Ｎ）の各々で全体を通して実行され得る。ダウンサンプリングおよびアップサンプリング比率は、２つの与えられるレイヤ間のスケーラビリティの規模に依存して異なり得る。

【0017】

図１で示すように、より高いレイヤｎ（たとえば、２≦ｎ≦Ｎ）に対して、差分信号が、アップサンプリングされた、より低いレイヤ信号（たとえば、レイヤｎ−１信号）を、現在のレイヤｎ信号から差し引くことにより生成され得、差信号は符号化され得る。２つのレイヤ（たとえば、ｎ１およびｎ２）により表されるビデオ信号が同じ空間的分解能を有するならば、対応するダウンサンプリングおよびアップサンプリング動作は回避され得る。レイヤｎ（たとえば、１≦ｎ≦Ｎ）または複数のレイヤは、より高いレイヤからの復号情報を使用することなく復号され得る。図１でのシステムにより使用され得るような、ベースレイヤを除くレイヤの各々に対する、残差信号（たとえば、２つのレイヤ間の差信号）のコーディングに依拠することが、ビジュアルアーチファクトを引き起こす場合がある。ビジュアルアーチファクトは、残差信号を、その動的範囲を限定するように量子化および／もしくは正規化するプロセス、残差のコーディングの間に実行される追加的な量子化により、ならびに／または、残差信号での動き推定は従来型の動き推定と異なり得るので、引き起こされ得る。

【0018】

スケーラブルビデオコーディング（ＳＶＣ）は、Ｈ．２６４の拡張であり得、それは、部分的ビットストリームの符号化、送信、および／または、復号が、部分的ビットストリームのレートを与えられると、たとえば、より低い時間的分解能、より低い空間的分解能、低減される忠実度、および／または類するものを伴い、一方で、相対的な高い再構築品質を保持する、ビデオサービスを提供することを可能にし得る。ＳＶＣの設計特徴は、単一ループ復号と呼ばれ得る。単一ループ復号ではＳＶＣ復号器は、動き補償ループを、復号されているレイヤでセットアップし得、動き補償ループを、他のより低いレイヤでセットアップする必要はない場合がある。たとえば、ビットストリームが２つのレイヤ、レイヤ１（たとえば、ベースレイヤ）およびレイヤ２（たとえば、エンハンスメントレイヤ）を含み、復号器がレイヤ２ビデオを再構築するならば、復号された画像バッファおよび／または動き補償された予測は、レイヤ２に対して（たとえば、および、レイヤ２が依存するレイヤ１、ベースレイヤに対してではなく）セットアップされ得る。ＳＶＣは、フルに再構築されることになる、より低いレイヤからの基準画像を有する必要はない場合がある。そのようなセットアップは、復号器での計算的複雑度および／またはメモリ複雑度を低減し得る。単一ループ復号は、制約されるインターレイヤテクスチャ予測により実現され得、その場合たとえば、与えられるレイヤでの現在のブロックに対して、より低いレイヤからの空間的テクスチャ予測は、対応する、より低いレイヤブロックが、限定されるイントラモードでコーディングされるならば許され得る。より低いレイヤブロックがイントラモードでコーディングされるとき、それは、動き補償動作、および／または、復号された画像バッファなしで再構築され得る。

【0019】

ＳＶＣは、より低いレイヤからの、動きベクトル予測、残差予測、モード予測などの追加的なインターレイヤ予測を使用して、たとえば、エンハンスメントレイヤのレート歪み効率を改善し得る。インターレイヤ予測は、画像レベルＩＬＰ、ブロックレベルＩＬＰ、および／または類するものを指し得る。単一ループ復号は、復号器での計算的複雑度および／またはメモリ複雑度を低減し得るが、単一ループ復号は、満足のゆく性能を実現するためにブロックレベルインターレイヤ予測方法に重く依拠することにより、実装複雑度を増大し得る。単一ループ復号制約を課すことにより招かれる性能不利に対して補償するために、符号化器設計および計算複雑度が、所望される性能が実現され得るように増大され得る。

【0020】

マルチビュービデオコーディング（ＭＶＣ：multi-view video coding）は、Ｈ．２６４の拡張である。ＭＶＣは、ビュースケーラビリティを提供し得る。ビュースケーラビリティではベースレイヤビットストリームは、従来型の２Ｄビデオを再構築するために復号され得る。追加的なエンハンスメントレイヤは、同じビデオ信号の他のビュー表現を再構築するために復号され得る。ビューの各々が、一体で組み合わされ、適正な３Ｄディスプレイにより表示されるとき、ユーザは、３Ｄビデオを、たとえば適正な深度知覚を伴って体感し得る。

【0021】

図２は、ＭＶＣを使用して、左ビュー（たとえば、レイヤ１）２０１、および、右ビュー（たとえば、レイヤ２）２０２を伴う立体ビデオをコーディングする、例示的な予測構造２００の線図である。図２での左ビュービデオ２０１は、ＩＢＢＰ予測構造によってコーディングされ得る。右ビュービデオ２０２は、ＩＢＢＰ予測構造によってコーディングされ得る。右ビュー２０２では、左ビュー２０１での第１のＩ画像２０４と並置される第１の画像２０３は、Ｐ画像として符号化され得る。右ビュー２０２での他の画像は、Ｂ画像として符号化され得、たとえば、第１の予測は、右ビュー２０２での時間的基準から発生し、第２の予測は、左ビュー２０１でのインターレイヤ基準から発生する。立体３Ｄ ＴＶ（たとえば、３Ｄメガネを使用する）は、３Ｄコンテンツ（たとえば、映画、ライブのスポーツなど）を表示し得る。ＳＶＣとは違い、ＭＶＣは、単一ループ復号特徴をサポートしない場合がある。右ビュー（たとえば、レイヤ２）ビデオ２０２の復号は、たとえば図２に示されるような、利用可能であることになる左ビュー（たとえば、レイヤ１）ビデオ２０１での画像を使用し得る。したがって動き補償ループが、両方のビュー／レイヤで実行され得る。ＭＶＣは、Ｈ．２６４／ＡＶＣに対して、高レベル構文変化を含み得、および／または、何らのブロックレベル変化も内包し得ない。ＭＶＣは、図２での例を拡張して、多重のビューにわたるインターレイヤ予測を実行することにより、２つより多いビューのコーディングをサポートし得る。

【0022】

３Ｄビデオ（たとえば、立体３Ｄビデオ）は、２つのビュー、たとえば左ビューおよび右ビューを含み得る。立体３Ｄビデオコンテンツ配信は、２つのビューを１つのフレームにパックおよび／または多重化すること（たとえば、フレーム互換と呼ばれ得る）、ならびに、パックされたビデオを標準（たとえば、Ｈ．２６４／ＡＶＣ）によって圧縮および送信することにより実現され得る。受信器側では、復号の後、フレームはアンパックされ、２つのビューとして表示され得る。ビューの多重化は、時間的ドメインおよび／または空間的ドメインで実行され得る。空間的ドメインで実行されるとき、２つのビューは、２の因子により空間的にダウンサンプリングされ、たとえば同じ画像サイズを維持するために、様々な配置構成によりパックされ得る。たとえばサイドバイサイド配置構成は、ダウンサンプリングされた左ビューを画像の左半分上に、および、ダウンサンプリングされた右ビューを画像の右半分上に置き得る。他の配置構成は、トップアンドボトム、ラインバイライン、チェッカーボード、および類するものを含み得る。特定の配置構成が、フレーム互換３Ｄビデオを実現するために使用され得、フレームパッキング配置構成ＳＥＩメッセージにより伝達され得る。そのような配置構成は、帯域幅所要量での最小量の増大を伴う（たとえば、パックされたフレームは圧縮するのが困難であり得るので、多少の増大は存在し得る）３Ｄ配信を実現し得るが、空間的ダウンサンプリングは、エイリアシングをビューで引き起こし得、３Ｄビデオのビジュアル品質およびユーザ体感を低減し得る。スケーラブル拡張は、フレーム互換（たとえば、同じフレーム内にパックされる２つのビュー）ベースレイヤビデオに提供され得、１または複数のエンハンスメントレイヤは、改善される３Ｄ体感のためのフル分解能ビューを復元するために提供され得る。フル分解能ＭＦＣを可能にするための基礎となる技術は、空間的スケーラビリティ技術に関係付けられ得る。

【0023】

３ＤＶと呼ばれ得る、３Ｄスケーラブルビデオコーディングが提供され得る。自動立体ディスプレイおよびアプリケーションは、メガネなしの３Ｄ体感を可能とし得る。メガネなしの３Ｄ体感を実現するために、２つより多いビューが必要とされ得る。いくつかのビュー（たとえば、９つのビューまたは１０個のビュー）をコーディングすることは不経済であり得る。相対的に大きな視差を伴う、より少ないビュー（たとえば、２つまたは３つのビュー）を、ビューの深度情報を提供する深度マップと一体でコーディングするハイブリッド手法が提供され得る。ディスプレイ側では、コーディングされたビューおよび深度マップが復号され得、残るビューは、復号されたビューおよびそれらの深度マップを使用して、ビュー合成技術を使用して生成され得る。３ＤＶは、様々な方法を使用して、たとえば、Ｈ．２６４／ＡＶＣ、ＭＶＣ、および／または、ＨＥＶＣ標準の組み合わせを使用して、ビューおよび深度マップをコーディングし得る。ベースレイヤは、１つの標準（たとえば、Ｈ．２６４／ＡＶＣ）によってコーディングされ得、１または複数のエンハンスメントレイヤは、別の標準（たとえば、ＨＥＶＣ）によってコーディングされ得る。

【0024】

表１は、本明細書で論考されるスケーラビリティのタイプ、および、これらのスケーラビリティをサポートし得る対応する標準を示す。表１で示すように、ビット深度スケーラビリティおよびクロマフォーマットスケーラビリティは、ビデオフォーマット（たとえば、８ビットビデオより高い、および、ＹＵＶ４：２：０より高いクロマサンプリングフォーマット）に結び付けられ得る。

【0025】

【表1】

【0026】

様々な設計が、ＨＥＶＣスケーラブル拡張に対して提供され得る。たとえばＨＥＶＣスケーラブル拡張は、インターレイヤ基準（ＩＬＲ）画像に基づく（たとえば、ＲｅｆＩｄｘと呼ばれ得る）、および／または、ＩＬＲブロックに基づく（たとえば、ＩｎｔｒａＢＬと呼ばれ得る）ものであり得る。ＲｅｆＩｄｘは、インターレイヤ予測（ＩＬＰ）プロセスを追加して、インターレイヤ基準画像を生成し得る。ＲｅｆＩｄｘは、エンハンスメントレイヤ（ＥＬ）符号化および／または復号プロセスに対して低レベル変化を使用しない場合がある。ＥＬコーデック設計は、たとえば、何らかの高レベル変化（たとえば、基準リスト構築）を伴って、単一レイヤＨＥＶＣコーデックの設計を再使用し得る。ＩｎｔｒａＢＬは、コーディングブロックレベルでのコーディングモードを追加して、再構築された画像および動きを含むベースレイヤからの情報を活用し得る。

【0027】

インターレイヤ予測に基づくプロセス（たとえば、ＲｅｆＩｄｘのプロセスであり得る）では、１または複数のインターレイヤ基準（ＩＬＲ）画像が、１または複数のベースレイヤ（ＢＬ）再構築された画像から生成され得る。ＩＬＲ画像は、ＥＬ符号化および復号に対して使用される長期基準画像として特色付けられ得る。ＩＬＰプロセスは、ＢＬ再構築された画像を、ＥＬの分解能にアップサンプリングすることを含み得る。ＩＬＰプロセスは、（たとえば、時間的に並置されるＢＬ画像の）ＢＬ動き情報を、ＩＬＲ画像のそれにマッピングすることを含み得る。クロスプレーンフィルタリング、エッジガイデッド（edge guided）処理、および類するものなどの、ただしそれらに制限されない様々な技術が、アップサンプリングされたＩＬＲ画像品質を改善するために使用され得る。動きマッピング技術が、ＥＬの動き予測に対して使用され得るＩＬＲ画像の動き情報を改善するために使用され得る。ＩＬＲ画像が、ＥＬ画像の、たとえば、並置される（たとえば、時間的に並置される）ＥＬ画像の予測に対して使用され得る。

【0028】

ＩＬＲ画像の高周波数信号が、アップサンプリングされたＢＬ再構築された画像（たとえば、ＢＬ再構築された画像のみ）を使用することにより回復されることは、たとえば、ＢＬで欠落している場合があり、したがって、アップサンプリングされたＢＬ基準画像に含まれ得ない高周波数情報のために、行われ得ない。欠落している高周波数情報は、たとえば、２つのレイヤが異なる空間的分解能を有し得るときの、ＢＬソース画像を（たとえば、符号化器側で）生成するときの、高分解能信号からベースレイヤの分解能への入力ビデオストリームのダウンサンプリングに起因するものであり得る。欠落している高周波数情報は、ＢＬを入力ビデオストリームからコーディングするときに実行される量子化に起因するものであり得る。ＥＬでの時間的再構築された画像は、高周波数情報（たとえば、高周波数情報の小部分）を有し得る。したがって高周波数情報は、ＥＬ時間的再構築された画像を使用して回復され得る。

【0029】

ＲｅｆＩｄｘ枠組での差分コーディングが使用され得る。差分画像は、アップサンプリングされたＢＬ画像を、再構築されたＥＬ画像（たとえば、並置される再構築されたＥＬ画像）から差し引くことにより生成され得る。差分画像は、ＥＬ基準画像リストに挿入され得る。差分コーディングは、たとえば本明細書で説明されるような、重み付けされる予測を使用し得る。差分画像は、ベースレイヤ画像をＥＬの分解能にアップサンプリングすることにより生成される基準画像とは異なり得る。差分画像は、差分コーディングモードに対して（たとえば、差分コーディングモードに対してのみ）使用され得る。基準リストのサイズ制限のために、符号化器は、それが適用し得る差分画像の数に制限され得る。インターレイヤ予測およびＥＬインター予測を組み合わせる予測方法が使用され得る。インターレイヤ予測およびＥＬインター予測を組み合わせる予測方法は、ＩｎｔｒａＢＬ体系に基づき得、および／または、ＥＬコーディングに対するブロックレベル変化を要し得る。

【0030】

方法、システム、および、手段は、たとえば、アップサンプリングされたＢＬ画像、および、時間的再構築されたＥＬ画像を、動き補償によって組み合わせることによる、インターレイヤ基準画像のエンハンスメントを提供する。ＲｅｆＩｄｘ枠組は、エンハンスされたインターレイヤ基準画像が、たとえば、それを長期基準として特色付けることにより、正規基準画像として扱われ得るように使用され得る。

【0031】

図３は、例示的なブロックに基づく単一レイヤビデオ符号化器３００の線図である。単一レイヤ符号化器３００は、空間的予測（たとえば、イントラ予測）および／または時間的予測（たとえば、インター予測、および／または、動き補償された予測）を用いて、入力ビデオ信号を予測して、たとえば、効率的な圧縮を実現し得る。符号化器３００は、入力ビデオストリーム３０２を、たとえばブロック単位で受信し得る。たとえば符号化器は、入力ビデオストリーム３０２の１または複数の画像をブロックに区画し、１または複数のブロックを、たとえば１つずつ符号化し得る。符号化器３００は、入力ビデオ３０２のビデオブロックを、モード判断および他の符号化器制御論理ユニット３４０、空間的予測ユニット３３０、ならびに／または、動き予測ユニット３３２に送出し得る。モード判断論理ユニット３４０は、予測の最も適した形式を、たとえば、レートおよび／または歪み考慮などの或る判定基準に基づいて決定するために使用され得る。

【0032】

符号化器３００は、予測残差３１８を、加算器３１６で、入力ビデオストリーム３０２のビデオブロック、および、予測信号３３８（たとえば、予測ブロック）を使用して生成し得る。予測信号３３８は、モード判断論理ユニット３４０により、たとえば、現在のブロックに対する予測の決定された形式に基づいて決定され得る。予測残差３１８は、入力信号３０２と予測信号３３８との間の差信号であり得る。

【0033】

符号化器３００は、予測残差３１８を、変換ユニット３０４および量子化ユニット３０６でそれぞれ、変換および量子化し得る。予測残差３１８を量子化することを変換することにより、符号化器３００は、残差係数ブロック３２４を生成し得る。残差係数ブロック３２４は、量子化された残差と呼ばれ得る。残差係数ブロック３２４は、エントロピーコーダ３０８で、モード情報（たとえば、イントラまたはインター予測）、動き情報、および／または、予測情報（たとえば、動きベクトル、基準画像インデックス、イントラ予測モードなど）３２８と組み合わされ、圧縮され得る。動き情報は、ブロックの動き情報クラス（たとえば、動き情報が関連付けられる基準画像のインデックス）、および、ブロックの動きベクトル（たとえば、動きの量）を含み得る。エントロピーコーダ３０８は、残差係数ブロック３２４、ならびに、コーディングモード、動き情報、および／または、予測情報３２８を使用して、出力ビデオビットストリーム３２０を生成し得る。出力ビデオビットストリーム３２０は、複数の画像のコーディングされた情報を含み得る。画像は、１もしくは複数のブロック、または、１もしくは複数のサイズを含み得る。ブロックは、任意のサイズ、たとえば６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。

【0034】

符号化器３００は、逆量子化を３１０で、および、逆変換を３１２で、量子化された残差３２４に適用して、再構築された残差を取得し、再構築された残差を加算器３２２で予測信号３２６（たとえば、予測ブロック）に追加することにより、再構築されたビデオ信号３４２（たとえば、再構築されたビデオブロック）を生成し得る。再構築されたビデオ信号３４２は、フィルタリングされない再構築された信号と呼ばれ得る。再構築されたビデオ信号３４２は、空間的予測ユニット３３０に提供され得る。再構築されたビデオ信号３４２は、ループフィルタプロセス（たとえば、デブロッキングフィルタ、サンプル適応オフセット、適応ループフィルタ、および／または類するもの）をループフィルタユニット３３６で受け得る。フィルタリングされた再構築されたビデオ信号３４４は、たとえば、後来ビデオ信号を予測するために使用されるように、基準画像ストア３３４に記憶され得る。基準画像ストア３３４は、復号された画像バッファ（ＤＰＢ）を指し得る。基準画像ストア３３４は、フィルタリングされた再構築されたビデオ信号３４４を、動き予測ユニット３３２に、たとえば、入力ビデオ３０２の後続のブロックの予測のために提供し得る。

【0035】

図４は、例示的なブロックに基づく単一レイヤ復号器４００の線図である。復号器４００は、たとえば、図３の符号化器３００により生み出され得た（たとえば、ビットストリーム３２０であり得る）、ビデオビットストリーム４０２を受信し得る。ビデオビットストリーム４０２は、複数の画像のコーディングされた情報を含み得る。画像は、１もしくは複数のブロック、または、１もしくは複数のサイズを含み得る。ブロックは、任意のサイズ、たとえば６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。復号器４００は、表示されることになるビデオ信号を再構築し得る。ビデオ復号器４００でビットストリーム４０２は、エントロピー復号器４０４により、残差係数４０６、ならびに／または、コーディングモード、予測モード、および、動き情報４０８に関係する情報を生成するためにパースされ得る。残差係数４０６は、再構築された残差４２６を取得するために、４１０で逆量子化され、４１２で逆変換され得る。

【0036】

コーディングモード、予測モード、および、動き情報４０８は、ビットストリーム４０２のビデオブロック（たとえば、同じまたは異なるビデオブロック）の、空間的予測ユニット４２４による空間的予測、および／または、時間的予測ユニット４２２による時間的予測を使用して予測信号４３０を取得するために使用され得る。予測信号４３０、および、再構築された残差４２６は、加算器４１４で、再構築されたビデオ信号４２８を生成するために追加され得る。再構築されたビデオ信号４２８は、空間的予測ユニット４２４に提供され得る。再構築されたビデオは、ループフィルタリングユニット４１６により、フィルタリングされた再構築ビデオ信号４１８を生成するためにフィルタリングされ得る。フィルタリングされた再構築されたビデオ信号４１８は、基準画像ストア４２０に記憶され得る。フィルタリングされた再構築されたビデオ信号４１８は、表示され得、および／または、ビデオ信号（たとえば、ビットストリーム４０２）のブロックを復号するために使用され得る。

【0037】

図５は、例示的な２レイヤスケーラブルビデオ符号化器５００の線図である。２レイヤスケーラブルビデオ符号化器５００は、インターレイヤ予測を含み得る。インターレイヤ予測は、画像レベルＩＬＰ、ブロックレベルＩＬＰ、および／または類するものを指し得る。図５では、エンハンスメントレイヤビデオ入力５０２が受信され得る。エンハンスメントレイヤビデオ入力５０２は、ダウンサンプリングユニット５０４で、ベースレイヤビデオ入力５０６を作成するためにダウンサンプリングされ得る。ベースレイヤ符号化器５０８（たとえば、ＨＥＶＣ符号化器）は、ベースレイヤビデオ入力５０６を（たとえば、ブロック単位で、画像単位でなどで）符号化し得、ベースレイヤビットストリーム５１０を生成し得る。ビデオ符号化器３００は、ベースレイヤ符号化器５０８の例であり得る。ベースレイヤ符号化器５０８は、ベースレイヤ情報５１２（たとえば、コーディングモード情報、予測モード情報、および／または、動き情報）を、インターレイヤ予測処理および管理ユニット５１４に送出し得る。ベースレイヤ符号化器５０８は、ベースレイヤ再構築された画像（たとえば、ビットストリームの１または複数の画像）を、ベースレイヤ復号された画像バッファ５２２に記憶し得る。ベースレイヤ符号化器５０８は、復号された画像バッファ５２２から取り出される画像、および／または、ベースレイヤ情報５１２を使用して、ベースレイヤ入力５０６を符号化し、ベースレイヤビットストリーム５１０を生成し得る。

【0038】

エンハンスメントレイヤ符号化器５１６は、エンハンスメントレイヤビデオ入力５０２を受信し得る。エンハンスメントレイヤビデオ入力５０２は、ベースレイヤビデオ入力５０６より高い空間的分解能、および／または、他のビデオパラメータのより高い値でのものであり得る。エンハンスメントレイヤ符号化器５１６は、エンハンスメントレイヤビデオ入力５０２を使用してエンハンスメントレイヤビットストリーム５１８を生成し得る。エンハンスメントレイヤ符号化器５１６は、ＥＬビットストリーム５１８を、ベースレイヤビデオ符号化器５０８と実質的に同様の様式で、たとえば、空間的予測および／または時間的予測を使用して圧縮を実現することにより生み出し得る。エンハンスメントレイヤ符号化器５１６は、エンハンスメントレイヤ情報５２０（たとえば、コーディングモード情報、予測モード情報、および／または、動き情報）を、インターレイヤ予測処理および管理ユニット５１４に送出し得る。エンハンスメントレイヤ符号化器５１６は、エンハンスメントレイヤ再構築された画像（たとえば、ビットストリームの１または複数の画像）、および／または、エンハンスメントレイヤ情報５２０を、エンハンスメントレイヤ復号された画像バッファ５２４に記憶し得る。エンハンスメントレイヤ符号化器５１６は、復号された画像バッファ５２４から取り出される画像、および／または、エンハンスメントレイヤ情報５２０を使用して、エンハンスメントレイヤ入力５０２を符号化し、エンハンスメントレイヤビットストリーム５１８を生成し得る。

【0039】

エンハンスメントレイヤ符号化器５１６は、インターレイヤ予測（ＩＬＰ）を実行して、そのコーディング性能を改善し得る。エンハンスメントレイヤ符号化器５１６は、ＩＬＰを、インターレイヤ予測処理および管理ユニット５１４からの援助によって実行し得る。たとえばインターレイヤ予測処理および管理ユニット５１４は、ベースレイヤビデオ入力５０６を使用して生成される１または複数の基準画像を提供して、基準画像を、復号された画像バッファ５２４に提供し得る。予測信号を、現在のエンハンスメントレイヤでのコーディングされたビデオ信号に基づいて導出する空間的および時間的予測とは違い、インターレイヤ予測は、予測信号を、ベースレイヤ入力５０６（たとえば、および／または、２つより多いレイヤがスケーラブルシステムに存在するときは、他のより低いレイヤ）からのコーディングされたビデオ信号に基づいて導出し得る。画像レベルＩＬＰおよび／またはブロックレベルＩＬＰが、符号化器５００により使用され得る。ビットストリーム多重化器５２８は、ベースレイヤビットストリーム５１０およびエンハンスメントレイヤビットストリーム５１８を組み合わせて、スケーラブルビットストリーム５３０を生成し得る。スケーラブルビットストリーム５３０は、複数の画像を含み得る。画像は、１もしくは複数のブロック、または、１もしくは複数のサイズを含み得る。ブロックは、任意のサイズ、たとえば６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。

【0040】

図６は、例示的な２レイヤスケーラブルビデオ復号器６００の線図である。復号器６００は、スケーラブル符号化器５００に対応し得る。復号器６００は、スケーラブルビットストリーム６０２を受信し得る。スケーラブルビットストリーム６０２は、複数の画像を含み得る。画像は、１もしくは複数のブロック、または、１もしくは複数のサイズを含み得る。ブロックは、任意のサイズ、たとえば６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。復号器６００は、スケーラブルビットストリーム６０２を逆多重化器６０４に提供し得る。逆多重化器６０４は、スケーラブルビットストリーム６０２を、ベースレイヤビットストリーム６０６およびエンハンスメントレイヤビットストリーム６１０に分離し得る。逆多重化器６０４はさらには、インターレイヤ予測情報６１４を、インターレイヤ予測処理および管理ユニット６１６に送出し得る。

【0041】

ベースレイヤ復号器６０８は、ベースレイヤビットストリーム６０６を受信し得る。復号器４００は、ベースレイヤ復号器６０８の例であり得る。ベースレイヤ復号器６０８は、ベースレイヤビットストリーム６０６を復号し、再構築するベースレイヤビデオ６２２を生成し得る。ベースレイヤ復号された画像バッファ６１８は、ベースレイヤビデオ６２２の１または複数の画像を記憶して、たとえば、ベースレイヤ復号器６０８を、ベースレイヤビットストリーム６０６を復号する際に援助し得る。ベースレイヤ復号された画像バッファ６１８は、ベースレイヤビデオ６２２に関係する情報（たとえば、アップサンプリングされたベースレイヤ画像）を、インターレイヤ予測処理および管理ユニット６１６に提供し得る。

【0042】

エンハンスメントレイヤ復号器６１２は、エンハンスメントレイヤビットストリーム６１０を受信し得る。エンハンスメントレイヤ復号器６１２は、現在のレイヤ、および／または、その依存性レイヤ（たとえば、ベースレイヤ）の１もしくは複数からの情報を使用して、たとえばＩＬＰによって、エンハンスメントレイヤビットストリーム６１０を復号し得る。エンハンスメントレイヤ復号器は、エンハンスメントレイヤビットストリーム６１０を復号して、再構築されたエンハンスメントレイヤビデオ６２４を生成し得る。エンハンスメントレイヤ復号された画像バッファ６２０は、エンハンスメントレイヤビデオ６２４の１もしくは複数の画像、ならびに／または、インターレイヤ予測処理および管理ユニット６１６からの１もしくは複数のインターレイヤ画像を記憶して、たとえば、エンハンスメントレイヤ復号器６１２を、エンハンスメントレイヤビットストリーム６１０を復号する際に援助し得る。

【0043】

図７は、例示的なインターレイヤ予測処理および管理ユニット７００の線図である。ＩＬＰ処理および管理ユニット５１４および６１６は、ＩＬＰ処理および管理ユニット７００の例であり得る。ＩＬＰ処理および管理ユニット７００は、エンハンスメントレイヤビデオ入力７０２を受信し得る。エンハンスメントレイヤビデオ入力７０２は、ＩＬＰ処理ユニット７０４の最適化対象として使用され得る。ＩＬＰ処理および管理ユニット７００は、エンハンスメントレイヤビデオ７０２を、ＩＬＰ処理ユニット７０４および／またはＩＬＰ管理ユニット７０６に提供し得る。ＩＬＰ処理ユニット７０４は、ベースレイヤＤＰＢ７０８からのベースレイヤ画像、および／または、エンハンスメントレイヤ画像７１０を受信し得る。

【0044】

ＩＬＰ処理ユニット７０４は、１または複数の（たとえば、２つの）インターレイヤ基準（ＩＬＲ）画像７１２を生成し得る。ＩＬＲ画像は、符号化器および／または復号器により、現在のＥＬ画像を符号化および／または復号するために使用され得る。ＩＬＲ画像は、並置されるＢＬ再構築された画像７１６をアップサンプリングすることにより生成されるＩＬＲ画像であり得る。並置されるＢＬ再構築された画像をアップサンプリングすることにより生成されるＩＬＲ画像は、正規ＩＬＲ画像と呼ばれ得る。ＩＬＲ画像は、エンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）画像であり得る。Ｅ−ＩＬＲ画像は、時間的ＥＬ再構築された画像、および、正規ＩＬＲ画像を組み合わせることにより生成され得る。ＩＬＲ（たとえば、Ｅ−ＩＬＲ）画像は、ＥＬ ＤＰＢ７１４内に挿入され得る。挿入位置は、ＩＬＰ管理ユニット７０６により管理され得る。ＥＬ ＤＰＢ７１４は、ＩＬＲ画像の１または複数を、ＥＬ符号化器および／またはＥＬ復号器に提供し得る（７２０）。

【0045】

図８は、基準画像リスト内のＩＬＲ画像および／またはＥ−ＩＬＲ画像の配置の例の線図８００である。ＩＬＲ画像８０２および／またはＥ−ＩＬＲ画像８０４は、符号化器および／または復号器により識別され得る。図８で示すように、Ｅ−ＩＬＲ画像８０４は、（たとえば、リストＬ０および／またはＬ１の）異なる位置に配置され得る。たとえばＥ−ＩＬＲ画像８０４は、ＢスライスのリストＬ０内に、または、ＢスライスのリストＬ１内に配置され得る。Ｅ−ＩＬＲ画像８０４は、ＰスライスのリストＬ０内のＩＬＲ画像８０２の後に、または、ＰスライスのリストＬ０内のＩＬＲ画像８０２の前に配置され得る。Ｅ−ＩＬＲ画像は、再順序付け情報をシグナリングすることにより再順序付けされ得る。フラグは、復号器に、ＥＩＬＲ処理を実行することを指示し得る。表２は、本明細書で使用されるシンボルのリストを示す。

【0046】

【表2】

【0047】

インターレイヤ（ＩＬ）は、ＥＬコーディングに対する基準画像を提供し得る、仮想的な画像レイヤであり得る。ＢＬ画像のインターコーディングされるブロックの動き情報は、並置されるＢＬ動きが、ＩＬに、動きフィールドマッピングを使用してマッピングされる後に、ＩＬブロックに対する時間的対応を指示し得る。インターレイヤ動きベクトルが提供され得る。たとえばインターレイヤ動きベクトルは、式（１）により提供され得る。
ＭＶ_ILx＝ＭＦＭ（ＭＶ_BLx） （１）

【0048】

正規インターレイヤ基準画像が提供され得る。たとえば正規ＩＬＲ画像は、式（２）によって生成され得る。
Ｂ（ＩＬ_T）＝Ｕｐｓ（Ｂ（ＢＬ_T）） （２）

【0049】

図９は、単予測コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。図９は、Ｅ−ＩＬＲブロックを生成する残差方法および／または差分方法を解説するために使用され得る。線図９００は、時間Ｔでのベースレイヤ（ＢＬ）画像ＢＬ_T９０８、時間Ｔでのインターレイヤ（ＩＬ）基準画像ＩＬ_T９１０、および、時間Ｔでのエンハンスメントレイヤ（ＥＬ）画像ＥＬ_T９１２の例を示す。ブロックＢ（ＢＬ_T）９２６は、ＢＬ画像ＢＬ_T９０８の内部に配置されるブロックであり得る。ブロックＢ（ＩＬ_T）９２８は、ＩＬ画像ＩＬ_T９１０の内部に配置されるブロックであり得る。ブロックＢ（ＥＬ_T）９３０は、ＥＬ画像ＥＬ_T９１２の内部に配置されるブロックであり得る。動きベクトルＭＶ_BLX９３２は、ブロックＢ（ＢＬ_T）９２６に関連付けられた動きベクトルであり得る。動きベクトルＭＶ_ILX９３４は、ブロックＢ（ＩＬ_T）９２８に関連付けられた動きベクトルであり得る。動きベクトルＭＶ_ELX９３６は、ブロックＢ（ＥＬ_T）９３０に関連付けられた動きベクトルであり得る。

【0050】

線図９００は、時間ＸでのＢＬ画像ＢＬ_X９０２、時間ＸでのＩＬ基準画像ＩＬ_X９０４、および、時間ＸでのＥＬ画像ＥＬ_X９０６の例を示す。ブロックＢ（ＢＬ_X）９２０は、ＢＬ画像ＢＬ_X９０２の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、ＩＬ画像ＩＬ_X９０４の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＥＬ_X，ＭＶ_ELX）９２４は、ＥＬ画像ＥＬ_X９０６の内部に配置されるブロックであり得る。ＢＬ基準画像９１４、ＩＬ基準画像９１６、および、ＥＬ基準画像９１８は、それぞれの画像９０２、９０４、および、９０６の例示的なイメージであり得る。時間Ｘでの画像（たとえば、または、ブロック）は、時間Ｔでの画像（たとえば、または、ブロック）の前に符号化され得る。したがって、時間Ｘにより特徴付けられる画像９０２、９０４、９０６は、時間ＴでのＥＬ画像９１２に対する基準画像として使用され得る。画像９０２、９０４、９０６、９０８、９１０、および／または、９１２は、画素ドメインでの画像であり得る。

【0051】

ＩＬ基準画像ＩＬ_T９１０は、ＢＬ画像ＢＬ_T９０８をアップサンプリングすることにより生成され得る。ブロックＢ（ＩＬ_T）９２８は、ブロックＢ（ＢＬ_T）９２６をアップサンプリングすることにより生成され得る。ＩＬ基準画像ＩＬ_X９０４は、ＢＬ画像ＢＬ_X９０２をアップサンプリングすることにより生成され得る。動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、ブロックＢ（ＢＬ_X）９２０をアップサンプリングすることにより生成され得る。したがって、ＩＬ基準画像ＩＬ_T９１０、および／または、ブロックＢ（ＩＬ_T）９２８は、アップサンプリングされたＢＬ画像９１０、および／または、アップサンプリングされたＢＬブロック９２８と、それぞれ呼ばれ得る。ＩＬ基準画像ＩＬ_X９０４、および／または、動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、アップサンプリングされたＢＬ画像９０４、および／または、アップサンプリングされたＢＬブロック９２２と、それぞれ呼ばれ得る。

【0052】

ブロックＢ（ＢＬ_T）９２６は、ＩＬブロックＢ（ＩＬ_T）９２８の並置されるブロックであり得る。Ｂ（ＢＬ_T）９２６がインターモードブロックとして符号化されるならば、Ｅ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、ＩＬブロックＢ（ＩＬ_T）９２８を使用して生成され得る（たとえば、ＩＬブロックＢ（ＩＬ_T）９２８がエンハンスされ得る）。たとえばＥ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、式（３）によって（たとえば、単予測モードに対して）生成され得る。
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋ω（ＩＬ_x）＊（ＭＣ_ILP（ＥＬ_X，ＭＶ_ILx）−ＭＣ_ILP（ＩＬ_X，ＭＶ_ILx））） （３）

【0053】

Ｂ（ＢＬ_T）９２６がインターモードブロックとして符号化されるならば、Ｅ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、ＩＬブロックＢ（ＩＬ_T）９２８を使用して生成され得る（たとえば、ＩＬブロックＢ（ＩＬ_T）９２８がエンハンスされ得る）。たとえばＥ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、式（４）によって（たとえば、双予測モードに対して）生成され得る。
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋ω（ＩＬ₀，ＩＬ₁）＊（（ＭＣ_ILP（ＥＬ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＥＬ₁，ＭＶ_IL1））／２−（ＭＣ_ILP（ＩＬ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＩＬ₁，ＭＶ_IL1））／２）） （４）

【0054】

高周波数信号を含むＥ−ＩＬＲブロックが、画像ＥＬ_X９０６および／またはＩＬ_X９０４による動き補償を使用して、たとえば、式（３）および／または式（４）を使用して生成され得る。

【0055】

重みωが、Ｅ−ＩＬＲブロックを生成するときに使用され得る。重みωは、０以上、かつ１以下であり得る。重みω（ＩＬ_x）（たとえば、０≦ω≦１）は、１または複数の（たとえば、各々の）基準画像に対して変化させられ得る（たとえば、適応的に変化させられ得る）。たとえば重みは、最小二乗方法を使用して推定され得る。最適化対象は、ＥＬブロックＢ（ＥＬ_T）９３０と、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）９２８との間の差であり得る。観測値は、時間インスタンスＸでの、ＥＬの再構築されたブロックＭＣ（ＥＬ_X，ＭＶ_ELx）９２４と、ブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２との間の差であり得る。重みは、対象と重み付けされた観測値との間の差を最小化することにより推定される、対象と観測値との間の比率（たとえば、最適な比率）であり得る。

【0056】

重みωは、異なる分類方法に基づいて推定され得る。たとえば重みは、ｌｉｓｔ０およびｌｉｓｔ１などのリストに関連付けられ得る。重みは、２つのリストからの一意的な基準画像組み合わせに関連付けられ得る。重みは、たとえば整数動きベクトル、半画素動きベクトル、４分の１画素動きベクトル、および／または類するものなどの、動きベクトルの精度に関連付けられ得る。重みは、たとえば単予測、双予測などの、予測モードに関連付けられ得る。より細かな分類は、より正確な重み、および／または、より良好なエンハンスメント品質を、重みのシグナリングオーバヘッドのコストによって、結果として生じさせ得る。符号化器は、いつ、推定された重みをシグナリングにより適用すべきかを決定し得る。決定は、ＲＤ最適化、ＲＤ複雑度最適化、および／または類するものに基づいて、たとえば用途に基づいて行われ得る。ＲＤ複雑度最適化では符号化器は、ＲＤ性能が、増大される計算複雑度に対して十分に改善されないならば、重みを適用しないことに判断し得る。ＩＬＲ画像で動き補償で使用される補間フィルタは、ＢＬおよび／またはＥＬ復号でのそれとは異なり得る。たとえばフィルタは、たとえば複雑度を低減するために、ＢＬコーディングおよび／またはＥＬコーディングに対して、正規補間フィルタ（たとえば、双線形補間フィルタ）より短いものであり得る。

【0057】

ＥＬの残差は、インターレイヤ差を使用して予測され得る。Ｅ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、ＩＬブロックＢ（ＩＬ_T）９２８を使用して生成され得る（たとえば、ＩＬブロックＢ（ＩＬ_T）９２８がエンハンスされ得る）。たとえばＥ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、式（５）および／または式（６）によって生成され得る。
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（ＭＣ_ILP（ＥＬ_X，ＭＶ_ILx）＋ω（ＩＬ_x）＊（Ｂ（ＩＬ_T）−ＭＣ_ILP（ＩＬ_X，ＭＶ_ILx））） （５）
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（（ＭＣ_ILP（ＥＬ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＥＬ₁，ＭＶ_IL1））／２＋ω（ＩＬ₀，ＩＬ₁）＊（Ｂ（ＩＬ_T）−（ＭＣ_ILP（ＩＬ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＩＬ₁，ＭＶ_IL1））／２）） （６）

【0058】

式（３）および（４）は、動き補償を差分画像と組み合わせることにより簡略化され得る。差分画像の例は、式（７）により定義される。ＩＬ_Xは、時間ＸでのＩＬ差分画像であり得る。Ｉ_offsetは、２^BitDepth-1であり得るオフセット値であり得る。たとえばＩ_offsetは、８ビットビデオコンテンツに対して１２８である。
ＩＬＤ_X＝Ｃｌｉｐ（ＥＬ_X−ＩＬ_X＋Ｉ_offset） （７）

【0059】

１または複数の基準画像は、たとえば、ＥＬ画像ＥＬ_T９１２の予測の助けとなるように生成され得る。たとえば正規ＩＬ基準画像は、並置されるＢＬ画像ＢＬ_T９０８をアップサンプリングすることにより、アップサンプリングされたＢＬ画像（または、ＩＬ基準画像）ＩＬ_T９１０を生成するために生成され得る。ＥＬ画像ＥＬ_T９１２に対するエンハンスされたインターレイヤ基準（Ｅ−ＩＬＲ）画像が生成され得る。たとえばＥ−ＩＬＲ画像は、１または複数のブロックを含み得る。ブロックは、様々なサイズのものであり得る。たとえばブロックは、６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。Ｅ−ＩＬＲ画像のブロックは、１もしくは複数のＥ−ＩＬＲブロック、および／または、１もしくは複数の正規ＩＬＲブロック（たとえば、並置されるＢＬブロックをアップサンプリングすることにより生成されるブロック）を含み得る。Ｅ−ＩＬＲブロックは、本明細書で説明される技法（たとえば、残差、差分、単予測、双予測、および／または類するもの）の１または複数を使用して生成され得る。

【0060】

Ｅ−ＩＬＲ画像のＥ−ＩＬＲブロックは、残差ブロックを使用して、たとえば式（５）および／または（６）によって生成され得る。Ｅ−ＩＬＲ画像のＥ−ＩＬＲブロックは、以下の１または複数によって生成され得る。Ｅ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T９１２のブロックＢ（ＥＬ_T）９３０を予測するために使用され得る。並置されるブロックＢ（ＢＬ_T）９２６がインターコーディングされるか、それともイントラコーディングされるかが決定され得る。ブロックＢ（ＢＬ_T）９２６がインターコーディングされるということが決定されるならば、ブロックに対する動き情報が決定され得る。動き情報は、動き情報クラス（たとえば、動き情報が関連付けられる基準画像のインデックス）、および／または、ブロックの動きベクトル（たとえば、動きのサイズ）を含み得る。残差を生成するための時間インスタンスは、ブロックＢ（ＢＬ_T）９２６に関係する動き情報を使用して決定され得る。たとえば、ブロックＢ（ＢＬ_T）９２６の動き情報（たとえば、動きベクトルＭＶ_BLX９３２）は、時間インスタンスＸ（たとえば、基準ブロックＢ（ＢＬ_X）９２０および／またはＢＬ画像ＢＬ_X９０２）を決定するために使用され得る。

【0061】

時間ＸでのＢＬブロックは、時間ＴでのＢＬブロックから、残差を生成するために差し引かれ得る。たとえば、動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）９２８から、残差を生成するために差し引かれ得る。残差は、時間Ｔにより特徴付けられ得る。ＭＣブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２を使用して、残差を、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）９２８に関連付けられた動き情報（たとえば、ＭＶ_ILX９３４）に基づいて生成することが決定され得る。

【0062】

残差に重みωを掛け合わせ得る。重みωは、０以上、かつ１以下であり得る。オフセットが、たとえば、異なる時間インスタンス間の残差信号のＤＣ変動に対して補償するために、残差に追加され得る。たとえばオフセットは、単予測モードに対しては式（１０）によって、および／または、双予測モードに対しては（１１）によって、残差に追加され得る。オフセットは、重みに関連付けられ、および／または、重みによって推定され得る。重みおよびオフセットは、重みおよびオフセットが使用されるならば、１つのパラメータセットとしてシグナリングされ得る。残差は、時間Ｔにより特徴付けられるＥ−ＩＬＲブロック（たとえば、Ｅｎｈ（Ｂ（ＩＬ_T）））を生成するために、ＥＬブロックＭＣ（ＥＬ_X，ＭＶ_ELX）９２４に追加され得る。ＥＬブロックＭＣ（ＥＬ_X，ＭＶ_ELX）９２４を使用して、Ｅ−ＩＬＲブロックを、ＥＬブロックＢ（ＥＬ_T）９３０に関連付けられた動き情報（たとえば、ＭＶ_ELX９３６）に基づいて生成することが決定され得る。時間ＴでのＥ−ＩＬＲブロックは、ＥＬブロックＢ（ＥＬ_T）９３０を予測するために使用され得る。たとえばＥ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T９１２を予測するために使用され得る、時間Ｔにより特徴付けられるＥ−ＩＬＲ画像を作成するために使用され得る。

【0063】

Ｅ−ＩＬＲ画像のＥ−ＩＬＲブロックは、差分ブロックを使用して、たとえば式（３）および／または（４）への参照によって説明されるように生成され得る。ＥＬ画像ＥＬ_T９１２に対するＥ−ＩＬＲ画像は、以下の１または複数によって生成され得る。Ｅ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T９１２のブロックＢ（ＥＬ_T）９３０を予測するために使用され得る。並置されるブロックＢ（ＢＬ_T）９２６がインターコーディングされるか、それともイントラコーディングされるかが決定され得る。ブロックＢ（ＢＬ_T）９２６がインターコーディングされるということが決定されるならば、ブロックに対する動き情報が決定され得る。動き情報は、動き情報クラス（たとえば、どこから動きが発生するか）、および／または、ブロックの動きベクトル（たとえば、動きのサイズ）を含み得る。差分を生成するための時間インスタンスは、ブロックＢ（ＢＬ_T）９２６に関係する動き情報を使用して決定され得る。たとえば、ブロックＢ（ＢＬ_T）９２６の動き情報（たとえば、動きベクトルＭＶ_BLX９３２）は、時間インスタンスＸ（たとえば、基準ブロックＢ（ＢＬ_X）９２０および／またはＢＬ画像ＢＬ_X９０２）を決定するために使用され得る。

【0064】

時間ＸでのＢＬブロックは、時間ＸでのＥＬブロックにより、差分ブロックを生成するために差し引かれ得る。たとえば、動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）９２８に関係する動き情報ＭＶ_ILX９３４を使用して決定され得る。動き情報ＭＶ_ILX９３４は、たとえば、エンハンスメントレイヤとベースレイヤとの間の空間的比率によって、動き情報ＭＶ_BLX９３２をスケーリングすることにより決定され得る。動き補償されたエンハンスメントレイヤブロックＭＣ（ＥＬ_X，ＭＶ_ELX）９２４は、アップサンプリングされたＢＬブロックＢ（ＥＬ_T）９３０に関係する動き情報ＭＶ_ELX９３６を使用して決定され得る。動き補償されたブロックＭＣ（ＩＬ_X，ＭＶ_ILX）９２２は、動き補償されたエンハンスメントレイヤブロックＭＣ（ＥＬ_X，ＭＶ_ELX）９２４から、差分ブロックを生成するために差し引かれ得る。差分ブロックは、時間Ｘにより特徴付けられ得る。

【0065】

差分ブロックに重みωを掛け合わせ得る。重みωは、０以上、かつ１以下であり得る。オフセットが、差分ブロックに追加され得る。たとえばオフセットは、式（１０）および／または（１１）によって差分ブロックに追加され得る。オフセットは、重みに関連付けられ、および／または、重みによって推定され得る。重みおよびオフセットは、重みおよびオフセットが使用されるならば、１つのパラメータセットとしてシグナリングされ得る。

【0066】

差分ブロックは、時間Ｔにより特徴付けられるＥ−ＩＬＲブロックを生成するために、ＢＬ画像のアップサンプリングされたブロックに追加され得る。たとえば差分ブロックは、時間Ｔにより特徴付けられるＥ−ＩＬＲブロック（たとえば、Ｅｎｈ（Ｂ（ＩＬ_T）を生成するために、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）９２８に追加され得る。時間ＴでのＥ−ＩＬＲブロックは、ＥＬブロックＢ（ＥＬ_T）９３０を予測するために使用され得る。たとえばＥ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T９１２を予測するために使用され得る、時間Ｔにより特徴付けられるＥ−ＩＬＲ画像を作成するために使用され得る。

【0067】

空間的スケーラビリティにより特徴付けられるＢＬおよびＥＬへの参照によって説明されるが、Ｅ−ＩＬＲブロックは、他のタイプのスケーラビリティ（たとえば、ＳＮＲスケーラビリティ、標準スケーラビリティなど）がＢＬとＥＬとの間に存在するときに生成され得る。図９への参照によって説明されるものと同様の残差方法が、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、Ｅ−ＩＬＲブロックを生成するために実行され得る。たとえば、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、（たとえば、時間ＸでのＭＣブロックと対比させられるような）時間ＸでのＭＣ ＢＬブロックは、残差ブロックを、たとえば再サンプリングプロセスなしで生成するために、（たとえば、時間ＴでのアップサンプリングされたＢＬブロックと対比させられるような）時間ＴでのＢＬブロックから差し引かれ得る（たとえば、それから直接差し引かれ得る）。図９への参照によって説明されるものと同様の差分方法が、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、Ｅ−ＩＬＲブロックを生成するために実行され得る。たとえば、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、（たとえば、時間ＸでのＭＣブロックと対比させられるような）時間ＸでのＭＣ ＢＬブロックは、差分ブロックを生成するために、時間ＸでのＭＣ ＥＬブロックから差し引かれ得る（たとえば、それから直接差し引かれ得る）ものであり、および／または、差分ブロックは、Ｅ−ＩＬＲブロックを生成するために、（たとえば、時間ＴでのアップサンプリングされたＢＬブロックと対比させられるような）時間ＴでのＢＬブロックに追加され得る。

【0068】

式（３）、（４）は、式（８）および（９）に、たとえば差分画像を使用して変換され得る。動き補償動作の数は、半分により（たとえば、２つの動き補償動作から１つの動き補償動作に）低減され得る。Ｅ−ＩＬＲブロックＥｎｈ（Ｂ（ＩＬ_T））は、式（８）および／または式（９）を使用して生成され得る。
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋ω（ＩＬ_x）＊（ＭＣ_ILP（ＩＬＤ_X，ＭＶ_ILx）−Ｉ_offset）） （８）
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋ω（ＩＬ₀，ＩＬ₁）＊（（ＭＣ_ILP（ＩＬＤ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＩＬＤ₁，ＭＶ_IL1））／２−Ｉ_offset）） （９）

【0069】

図１０は、差分ブロック、および、単予測コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。たとえば、図１０との関係で説明される差分方法は、式（７）、（８）を（たとえば、単予測に対して）、および／または、（９）を（たとえば、双予測に対して）使用して、Ｅ−ＩＬＲブロックを、差分ブロックを使用して生成し得る。線図１０００は、時間ＴでのＢＬ画像ＢＬ_T１００８、時間ＴでのＩＬ基準画像ＩＬ_T１０１０、および、時間ＴでのＥＬ画像ＥＬ_T１０１２の例を示す。ブロックＢ（ＢＬ_T）１０２６は、ＢＬ画像ＢＬ_T１００８の内部に配置されるブロックであり得る。ブロックＢ（ＩＬ_T）１０２８は、ＩＬ画像ＩＬ_T１０１０の内部に配置されるブロックであり得る。ブロックＢ（ＥＬ_T）１０３０は、ＥＬ画像ＥＬ_T１０１２の内部に配置されるブロックであり得る。動きベクトルＭＶ_BLX１０３２は、ブロックＢ（ＢＬ_T）１０２６に関連付けられた動きベクトルであり得る。動きベクトルＭＶ_ILX１０３４は、ブロックＢ（ＩＬ_T）１０２８に関連付けられた動きベクトルであり得る。

【0070】

線図１０００は、時間ＸでのＢＬ画像ＢＬ_X１００２、時間ＸでのＩＬ差分画像ＩＬＤ_X１００４、および、時間ＸでのＥＬ画像ＥＬ_X１００６の例を示す。ブロックＢ（ＢＬ_X）１０２０は、ＢＬ画像ＢＬ_X１００２の内部に配置されるブロックであり得る。動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２は、ＩＬ差分画像ＩＬＤ_X１００４の内部に配置されるブロックであり得る。ＥＬブロックＢ（ＥＬ_X）１０２４は、ＥＬ画像ＥＬ_X１００６の内部に配置されるブロックであり得る。ＢＬ基準画像１０１４およびＥＬ基準画像１０１８は、それぞれの画像１００２および１００６の例示的なイメージであり得る。ＩＬ差分画像１０１６は、時間ＸでのＩＬ差分画像ＩＤＬ_X１００４の例であり得る。ＩＬ差分画像ＩＬＤ_X１００４は、ＢＬ画像ＢＬ_X１００２のアップサンプリングされたバージョンを、エンハンスメントレイヤ画像ＥＬ_X１００６から、（たとえば、空間的分解能がＢＬおよびＥＬに対して同じでないならば）たとえば式（７）によって差し引くことにより生成され得る。ＩＬ差分画像ＩＬＤ_X１００４は、ＢＬ画像ＢＬ_X１００２を、エンハンスメントレイヤ画像ＥＬ_X１００６から、たとえば、空間的分解能が２つのレイヤに対して同じであるならば、差し引くことにより生成され得る。時間Ｘでの画像（たとえば、または、ブロック）は、時間Ｔでの画像（たとえば、または、ブロック）の前に符号化され得る。したがって、時間Ｘにより特徴付けられる画像１００２、１００４、１００６は、時間ＴでのＥＬ画像１０１２に対する基準画像として使用され得る。ブロックレベル実装では、たとえばＥ−ＩＬＲブロックが生成され得、画像１００４は基準画像として使用され得る。画像レベル実装では、たとえば画像１００４は、Ｅ−ＩＬＲ画像を生成するために使用され得る。

【0071】

ＩＬ基準画像ＩＬ_T１０１０は、ＢＬ画像ＢＬ_T１００８をアップサンプリングすることにより生成され得る。ブロックＢ（ＩＬ_T）１０２８は、ブロックＢ（ＢＬ_T）１０２６をアップサンプリングすることにより生成され得る。したがって、ＩＬ基準画像ＩＬ_T１０１０、および／または、ブロックＢ（ＩＬ_T）１０２８は、アップサンプリングされたＢＬ画像１０１０、および／または、アップサンプリングされたＢＬブロック１０２８と、それぞれ呼ばれ得る。

【0072】

ＩＬ差分画像１０１６は、差分画像の例である。差分画像によって、Ｅ−ＩＬＲブロックおよび／または画像の生成が、式（８）および／または（９）を使用して実行され得る。動き補償が実行される回数の数は、図９への参照によって説明される差分方法と対比させられるように、図１０への参照によって説明される差分方法を使用すると低減され得る（たとえば、動き補償は、図９への参照によって説明される差分方法によって２回、および、図１０への参照によって説明される差分方法によって１回実行され得る）。フィルタリングプロセスが、たとえば、差分画像は、ノイズを含み得る高周波数信号を含み得るので、適用され得る。たとえばノイズ除去フィルタリングが、差分ブロック（たとえば、ＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２）および／または画像に、それがＥ−ＩＬＲブロックおよび／または画像の生成に対して使用される前に適用され得る。

【0073】

１または複数の基準画像は、たとえば、ＥＬ画像ＥＬ_T１０１２の予測の助けとなるように生成され得る。たとえば正規ＩＬ基準画像は、並置されるＢＬ画像ＢＬ_T１００８をアップサンプリングすることにより、アップサンプリングされたＢＬ画像（または、ＩＬ基準画像）ＩＬ_T１０１０を生成するために生成され得る。ＥＬ画像ＥＬ_T１０１２に対するＥ−ＩＬＲ画像が生成され得る。たとえばＥ−ＩＬＲ画像は、１または複数のブロックを含み得る。ブロックは、様々なサイズのものであり得る。たとえばブロックは、６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。Ｅ−ＩＬＲ画像のブロックは、１もしくは複数のＥ−ＩＬＲブロック、および／または、１もしくは複数の正規ＩＬＲブロック（たとえば、並置されるＢＬブロックをアップサンプリングすることにより生成されるブロック）を含み得る。Ｅ−ＩＬＲブロックは、本明細書で説明される技法（たとえば、残差、差分、単予測、双予測、および／または類するもの）の１または複数を使用して生成され得る。

【0074】

Ｅ−ＩＬＲ画像のＥ−ＩＬＲブロックは、差分ブロックを使用して、たとえば式７〜９への参照によって説明されるように生成され得る。ＥＬ画像ＥＬ_T１０１２に対するＥ−ＩＬＲ画像は、以下の１または複数によって生成され得る。Ｅ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T１０１２のブロックＢ（ＥＬ_T）１０３０を予測するために使用され得る。並置されるブロックＢ（ＢＬ_T）１０２６がインターコーディングされるか、それともイントラコーディングされるかが決定され得る。ブロックＢ（ＢＬ_T）１０２６がインターコーディングされるということが決定されるならば、ブロックに対する動き情報が決定され得る。動き情報は、動き情報クラス（たとえば、動き情報が関連付けられる基準画像のインデックス）、および／または、ブロックの動きベクトル（たとえば、動きのサイズ）を含み得る。差分画像／ブロックを生成するための時間インスタンスは、ブロックＢ（ＢＬ_T）１０２６に関係する動き情報を使用して決定され得る。たとえば、ブロックＢ（ＢＬ_T）１０２６の動き情報（たとえば、動きベクトルＭＶ_BLX１０３２）は、時間インスタンスＸ（たとえば、基準ブロックＢ（ＢＬ_X）１０２０および／またはＢＬ画像ＢＬ_X１００２）を決定するために使用され得る。

【0075】

時間ＸでのＢＬブロックは、時間ＸでのＥＬブロックから、差分ブロックを生成するために差し引かれ得る。たとえば、ＢＬブロックＢ（ＢＬ_X）１０２０のアップサンプリングされたバージョンは、ＥＬブロックＢ（ＥＬ_X）１０２４から、差分ブロックを生成するために差し引かれ得る。差分ブロックは、時間Ｘにより特徴付けられ得る。ＢＬブロックＢ（ＢＬ_X）１０２０のアップサンプリングされたバージョンを使用して、差分ブロックを、ＩＬブロックＢ（ＩＬ_T）１０２８に関連付けられた動き情報（たとえば、ＭＶ_ILX１０３４）、および／または、ＢＬブロックＢ（ＢＬ_T）１０２６に関連付けられた動き情報（たとえば、ＭＶ_BLX１０３２）に基づいて生成することが決定され得る。

【0076】

動き補償が、差分ブロック上で、動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２を生成するために実行され得る。たとえば動き補償は、差分ブロック上で、ベースレイヤ動き情報を使用して実行され得る。ベースレイヤ動き情報は、スケーリングされたベースレイヤ動き情報であり得る。たとえばベースレイヤ動き情報は、ベースレイヤとエンハンスメントレイヤとの間の空間的比率に基づいてスケーリングされ得る。ベースレイヤ動き情報は、動き情報ＭＶ_ILX１０３４であり得、そのＭＶ_ILX１０３４は、動き情報ＭＶ_BLX１０３２を、エンハンスメントレイヤとベースレイヤとの間の空間的比率によってスケーリングすることにより決定され得る。したがって動き補償は、差分ブロック上で、動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２を、スケーリングされた動き情報ＭＶ_ILX１０３４を使用して生成するために実行され得る。

【0077】

動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２に重みωを掛け合わせ得る。重みωは、０以上、かつ１以下であり得る。オフセットが、動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２に追加され得る。たとえばオフセットは、式（７）、（１０）、および／または、（１１）によって、動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２に追加され得る。オフセットＩ_offsetは、差分ブロック／画像の動的範囲を、動き補償が（たとえば、式（７）によって）使用され得る画像の動的範囲にシフトさせるために追加され得る。差分ブロックの動き補償の後で、Ｉ_offsetは、（たとえば、式（１０）および／または（１１）に示されるように）差分信号を回復するために差し引かれ得る。たとえば、オフセットＯ（ＩＬ_x）および／またはＯ（ＩＬ₀，ＩＬ₁）は、（たとえば、式（１０）および／または（１１）に示されるように）重み付けの後に追加され得る。オフセットＯ（ｘ）は、モデルパラメータ（Ｗ，Ｏ）のセットを形成する重みに関連付けられ得る。

【0078】

動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２は、時間Ｔにより特徴付けられるＥ−ＩＬＲブロックを生成するために、時間ＴでのＢＬブロックに追加され得る。たとえば、動き補償された差分ブロックＭＣ（ＩＬＤ_X，ＭＶ_ILDX）１０２２は、時間Ｔにより特徴付けられるＥ−ＩＬＲブロック（たとえば、Ｅｎｈ（Ｂ（ＩＬ_T）を生成するために、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）１０２８に追加され得る。時間ＴでのＥ−ＩＬＲブロックは、ＥＬブロックＢ（ＥＬ_T）１０３０を予測するために使用され得る。たとえばＥ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T１０１２を予測するために使用され得る、時間Ｔにより特徴付けられるＥ−ＩＬＲ画像を作成するために使用され得る。

【0079】

空間的スケーラビリティにより特徴付けられるＢＬおよびＥＬへの参照によって説明されるが、Ｅ−ＩＬＲブロックは、他のタイプのスケーラビリティ（たとえば、ＳＮＲスケーラビリティ、標準スケーラビリティなど）がＢＬとＥＬとの間に存在するときに生成され得る。図１０への参照によって説明されるものと同様の差分方法が、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、Ｅ−ＩＬＲブロックを生成するために実行され得る。たとえば、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、（たとえば、時間ＸでのアップサンプリングされたＢＬブロックと対比させられるような）時間ＸでのＢＬブロックは、時間Ｘでの差分ブロックを生成するために、時間ＸでのＥＬブロックから差し引かれ得る（たとえば、それから直接差し引かれ得る）ものであり、および／または、動き補償された差分ブロックは、Ｅ−ＩＬＲブロックを生成するために、（たとえば、時間ＴでのアップサンプリングされたＢＬブロックと対比させられるような）時間ＴでのＢＬブロックに追加され得る。さらに動き補償は、差分ブロック上で、（たとえば、時間ＴでのアップサンプリングされたＢＬブロックと対比させられるような）時間ＴでのＢＬブロックに関連付けられた動き情報を使用して、動き補償された差分を生成するために実行され得る。

【0080】

ＩＬＲブロック（たとえば、正規ＩＬＲブロックおよび／またはＥ−ＩＬＲブロック）は、双予測を使用して生成され得る。Ｅ−ＩＬＲブロックは、双予測を使用して、たとえば式（４）、（６）、および／または、（９）によって生成され得る。たとえばＥ−ＩＬＲブロックは、１つの時間インスタンスに対して、２つの、またはより多い他の時間インスタンスからのブロックを使用して生成され得る。１つの例は、図１１への参照によって提供されるが、双予測を使用するＥ−ＩＬＲブロックの生成は、他の様式（たとえば、残差方法、（たとえば、図１０への参照で説明されるような）単一の動き補償を使用する差分方法、（たとえば、図９への参照で説明されるような）２つの動き補償動作を使用する差分方法など）で実行され得る。

【0081】

図１１は、差分および双予測コーディングされるブロックを使用するＥ−ＩＬＲブロックの生成の例の線図である。線図１１００は、時間Ｒ₀でのＢＬ画像ＢＬ₀ １１０２、時間Ｒ₀でのＩＬ基準画像ＩＬ₀ １１０４、および、時間Ｒ₀でのＥＬ画像ＥＬ₀ １１０６の例を提供する。線図１１００は、時間Ｐ_TでのＢＬ画像ＢＬ_T１１０８、時間Ｐ_TでのＩＬ画像ＩＬ_T１１１０、および、時間Ｐ_TでのＥＬ画像ＥＬ_T１１１２の例を提供する。線図１１００は、時間Ｒ₁でのＢＬ画像ＢＬ₁ １１１４、時間Ｒ₁でのＩＬ基準画像ＩＬ₁ １１１６、および、時間Ｒ₁でのＥＬ画像ＥＬ₁ １１１８の例を提供する。

【0082】

ブロックＢ（ＢＬ₀）１１２８は、ＢＬ画像ＢＬ₀ １１０２の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０は、ＩＬ画像ＩＬ₀ １１０４の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＥＬ₀，ＭＶ_EL0）１１４２は、ＥＬ画像ＥＬ₀ １１０６の内部に配置されるブロックであり得る。ブロックＢ（ＢＬ_T）１１３２は、ＢＬ画像ＢＬ_T１１０８の内部に配置されるブロックであり得る。ブロックＢ（ＩＬ_T）１１３４は、ＩＬ画像ＩＬ_T１１１０の内部に配置されるブロックであり得る。ブロックＢ（ＥＬ_T）１１３６は、ＥＬ画像ＥＬ_T１１１２の内部に配置されるブロックであり得る。ブロックＢ（ＢＬ₁）１１３８は、ＢＬ画像ＢＬ₁ １１１４の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０は、ＩＬ画像ＩＬ₀ １１１６の内部に配置されるブロックであり得る。動き補償されたブロックＭＣ（ＥＬ₁，ＭＶ_EL1）１１４４は、ＥＬ画像ＥＬ₀ １１１８の内部に配置されるブロックであり得る。時間Ｒ₀での画像（たとえば、または、ブロック）、および／または、時間Ｒ₁での画像（たとえば、または、ブロック）は、時間Ｐ_Tでの画像（たとえば、または、ブロック）の前に符号化され得る。したがって、時間Ｒ₀により特徴付けられる画像１１０２、１１０４、１１０６、および／または、時間Ｒ₁により特徴付けられる画像１１１４、１１１６、１１１８は、時間Ｐ_TでのＥＬ画像ＥＬ_T１１１２に対する基準画像として使用され得る。

【0083】

ＩＬ基準画像ＩＬ_T１１１０は、ＢＬ画像ＢＬ_T１１０８をアップサンプリングすることにより生成され得る。ブロックＢ（ＩＬ_T）１１３４は、ブロックＢ（ＢＬ_T）１１３２をアップサンプリングすることにより生成され得る。ＩＬ基準画像ＩＬ₀ １１０４は、ＢＬ画像ＢＬ₀ １１０２をアップサンプリングすることにより生成され得る。動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０は、ブロックＢ（ＢＬ₀）１１２８をアップサンプリングすることにより生成され得る。ＩＬ基準画像ＩＬ₁ １１１６は、ＢＬ画像ＢＬ₁ １１１４をアップサンプリングすることにより生成され得る。動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０は、ブロックＢ（ＢＬ₁）１１３８をアップサンプリングすることにより生成され得る。したがって、ＩＬ基準画像ＩＬ_T１１１０、および／または、ブロックＢ（ＩＬ_T）１１３４は、アップサンプリングされたＢＬ画像１１１０、および／または、アップサンプリングされたＢＬブロック１１３４と、それぞれ呼ばれ得る。ＩＬ基準画像ＩＬ₀ １１０４、および／または、動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０は、アップサンプリングされたＢＬ画像１１０４、および／または、アップサンプリングされたＢＬブロック１１３０と、それぞれ呼ばれ得る。ＩＬ基準画像ＩＬ₁ １１１６、および／または、動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０は、アップサンプリングされたＢＬ画像１１１６、および／または、アップサンプリングされたＢＬブロック１１４０と、それぞれ呼ばれ得る。

【0084】

１または複数の基準画像は、たとえば、ＥＬ画像ＥＬ_T１１１２の予測の助けとなるように生成され得る。たとえば正規ＩＬ基準画像は、並置されるＢＬ画像ＢＬ_T１１０８をアップサンプリングすることにより、アップサンプリングされたＢＬ画像（または、ＩＬ基準画像）ＩＬ_T１１１０を生成するために生成され得る。ＥＬ画像ＥＬ_T１１１２に対するＥ−ＩＬＲ画像が生成され得る。たとえばＥ−ＩＬＲ画像は、１または複数のブロックを含み得る。ブロックは、様々なサイズのものであり得る。たとえばブロックは、６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４、矩形などであり得る。Ｅ−ＩＬＲ画像のブロックは、１もしくは複数のＥ−ＩＬＲブロック、および／または、１もしくは複数の正規ＩＬＲブロック（たとえば、並置されるＢＬブロックをアップサンプリングすることにより生成されるブロック）を含み得る。Ｅ−ＩＬＲブロックは、本明細書で説明される技法（たとえば、残差、差分、単予測、双予測、および／または類するもの）の１または複数を使用して生成され得る。

【0085】

Ｅ−ＩＬＲ画像のＥ−ＩＬＲブロックは、差分および双予測モードを使用して生成され得る。ＥＬ画像ＥＬ_T１１１２に対するＥ−ＩＬＲ画像は、以下の１または複数によって生成され得る。Ｅ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T１１１２のブロックＢ（ＥＬ_T）１１３６を予測するために使用され得る。並置されるブロックＢ（ＢＬ_T）１１３２がインターコーディングされるか、それともイントラコーディングされるかが決定され得る。ブロックＢ（ＢＬ_T）１１３２がインターコーディングされるということが決定されるならば、ブロックに対する動き情報が決定され得る。たとえば、ブロックＢ（ＢＬ_T）１１３２が双予測されるならば、ブロックＢ（ＢＬ_T）１１３２は、動き情報の２つのセットを含み得る。動き情報は、動き情報クラス（たとえば、どこから動きが発生するか）、および／または、ブロックの動きベクトル（たとえば、動きのサイズ）を含み得る。差分を生成するための２つの時間インスタンスは、ブロックＢ（ＢＬ_T）１１３２に関係する動き情報を使用して決定され得る。たとえば、ブロックＢ（ＢＬ_T）１１３２の第１の動き情報（たとえば、動きベクトルＭＶ_BL0 １１２０）は、時間インスタンスＲ₀（たとえば、基準ブロックＢ（ＢＬ₀）１１２８および／またはＢＬ画像ＢＬ₀ １１０２）を決定するために使用され得、ブロックＢ（ＢＬ_T）１１３２の第２の動き情報（たとえば、動きベクトルＭＶ_BL1 １１２２）は、時間インスタンスＲ₁（たとえば、基準ブロックＢ（ＢＬ₁）１１３８および／またはＢＬ画像ＢＬ₀ １１１４）を決定するために使用され得る。

【0086】

時間Ｒ₀でのＢＬブロックは、時間Ｒ₁でのＢＬブロックに、組み合わされたＢＬブロックを生成するために追加され得る。たとえば、組み合わされたＢＬブロックは、平均化されたＢＬブロックを生成するために、２により分割され得る。たとえば、動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０は、動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０に、組み合わされたＢＬブロックを生成するために追加され得る。組み合わされたＢＬブロックは、平均化されたＢＬブロックを生成するために、２により分割され得る。動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０は、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）１１３４に関連付けられた動き情報ＭＶ_IL0 １１２４を使用して決定され得る。動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０は、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）１１３４に関連付けられた動き情報ＭＶ_IL1 １１２６を使用して決定され得る。

【0087】

平均化されたＢＬブロックは、重み付けされた平均を使用して生成され得る。たとえば、平均化されたＢＬブロックは、Ｐ＝（ｐ０＊ｗ０＋ｐ１＊ｗ１）／（ｗ０＋ｗ１）によって、重み付けされた平均を使用して生成され得る。たとえば、動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０を、動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０に追加して、組み合わされたＢＬブロックを生成する前に、動き補償されたブロックＭＣ（ＩＬ₀，ＭＶ_IL0）１１３０に第１の重みを掛け合わせ得、動き補償されたブロックＭＣ（ＩＬ₁，ＭＶ_IL1）１１４０に第２の重みを掛け合わせ得る。第１の重みおよび第２の重みは異なり得る。組み合わされたブロックは、平均化されたＢＬブロックを生成するために、組み合わされた第１の重みおよび第２の重みにより分割され得る。

【0088】

時間Ｒ₀でのＥＬブロックは、時間Ｒ₁でのＥＬブロックに、組み合わされたＥＬブロックを生成するために追加され得る。組み合わされたＥＬブロックは、平均化されたＥＬブロックを生成するために、２により分割され得る。たとえば、動き補償されたＥＬブロックＭＣ（ＥＬ₀，ＭＶ_EL0）１１４２は、動き補償されたＥＬブロックＭＣ（ＥＬ₁，ＭＶ_EL1）１１４４に、組み合わされたＥＬブロックを生成するために追加され得る。組み合わされたＥＬブロックは、平均化されたＥＬブロックを生成するために、２により分割され得る。動き補償されたＥＬブロックＭＣ（ＥＬ₀，ＭＶ_EL0）１１４２は、ＥＬブロックＢ（ＥＬ_T）１１３６に関連付けられた動き情報ＭＶ_EL0 １１４６を使用して決定され得る。動き補償されたＥＬブロックＭＣ（ＥＬ₁，ＭＶ_EL1）１１４４は、ＥＬブロックＢ（ＥＬ_T）１１３６に関連付けられた動き情報ＭＶ_EL0 １１４８を使用して決定され得る。動きＭＶ_EL0 １１４６およびＭＶ_EL1 １１４８は、たとえば、ＩＬおよびＥＬが同じ空間的分解能を有し得るので、ＭＶ_IL0およびＭＶ_IL1からそれぞれ決定され得る。

【0089】

平均化されたＥＬブロックは、重み付けされた平均を使用して生成され得る。たとえば、平均化されたＢＬブロックは、Ｐ＝（ｐ０＊ｗ０＋ｐ１＊ｗ１）／（ｗ０＋ｗ１）によって、重み付けされた平均を使用して生成され得る。たとえば、動き補償されたＥＬブロックＭＣ（ＥＬ₀，ＭＶ_EL0）１１４２を、動き補償されたＥＬブロックＭＣ（ＥＬ₁，ＭＶ_EL1）１１４４に追加して、組み合わされたＢＬブロックを生成する前に、動き補償されたＥＬブロックＭＣ（ＥＬ₀，ＭＶ_EL0）１１４２に第１の重みを掛け合わせ得、動き補償されたＥＬブロックＭＣ（ＥＬ₁，ＭＶ_EL1）１１４４に第２の重みを掛け合わせ得る。第１の重みおよび第２の重みは異なり得る。組み合わされたブロックは、平均化されたＥＬブロックを生成するために、組み合わされた第１の重みおよび第２の重みにより分割され得る。

【0090】

平均化されたＢＬブロックは、平均化されたＥＬブロックから、差分ブロックを生成するために差し引かれ得る。差分ブロックに重みωを掛け合わせ得る。重みωは、０以上、かつ１以下であり得る。オフセットが、差分ブロックに追加され得る。たとえばオフセットは、式（７）、（１０）、および／または、（１１）によって差分ブロックに追加され得る。差分ブロックは、時間Ｐ_Tにより特徴付けられるＢＬ画像のブロックに追加され得る。たとえば差分ブロックは、時間Ｔにより特徴付けられるＥ−ＩＬＲブロック（たとえば、Ｅｎｈ（Ｂ（ＩＬ_T）））を生成するために、アップサンプリングされたＢＬブロックＢ（ＩＬ_T）１１３４に追加され得る。時間Ｐ_TでのＥ−ＩＬＲブロックは、ＥＬブロックＢ（ＥＬ_T）１１３６を予測するために使用され得る。たとえばＥ−ＩＬＲブロックは、ＥＬ画像ＥＬ_T１１１２を予測するために使用され得る、時間Ｐ_Tにより特徴付けられるＥ−ＩＬＲ画像を作成するために使用され得る。

【0091】

空間的スケーラビリティにより特徴付けられるＢＬおよびＥＬへの参照によって説明されるが、Ｅ−ＩＬＲブロックは、他のタイプのスケーラビリティ（たとえば、ＳＮＲスケーラビリティ、標準スケーラビリティなど）がＢＬとＥＬとの間に存在するときに生成され得る。たとえば、空間的スケーラビリティがＢＬとＥＬとの間に存在しないならば、（たとえば、時間Ｒ₀でのアップサンプリングされたＢＬブロックと対比させられるような）時間Ｒ₀でのＢＬブロック、および、（たとえば、時間Ｒ₁でのアップサンプリングされたＢＬブロックと対比させられるような）時間Ｒ₁でのＢＬブロックは、差分ブロックを生成するために使用され得、ならびに／または、（たとえば、時間Ｐ_TでのアップサンプリングされたＢＬブロックと対比させられるような）時間Ｐ_TでのＢＬブロックは、Ｅ−ＩＬＲブロックを生成するために差分ブロックに追加され得る。

【0092】

オフセットが、Ｅ−ＩＬＲ画像に対するＥ−ＩＬＲブロックを生成するときに、重み付けパラメータを使用することの代わりに、またはそのことへの追加で使用され得る。オフセットＯ（ｘ）は、ＤＣエラーに対して補償するために使用され得る。重みおよび／またはオフセットは、パラメータの対を含み得る。重みおよび／またはオフセットは、線形モデルを描写し得る。オフセットＯ（ｘ）なしでは、重みパラメータは線形モデルを描写し得ない。パラメータ推定では、重みおよび／またはオフセットは、たとえば最小二乗方法などの最適化プロセスを使用して共同で推定され得る。たとえばオフセットは、重みωへの追加で使用され得る。式（８）および（９）は、式（１０）および（１１）に、オフセットを使用して変換され得る。
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋Ｗ（ＩＬ_x）＊（ＭＣ_ILP（ＩＬＤ_X，ＭＶ_ILx）−Ｉ_offset）＋Ｏ（ＩＬ_x）） （１０）
Ｅｎｈ（Ｂ（ＩＬ_T））＝Ｃｌｉｐ（Ｂ（ＩＬ_T）＋Ｗ（ＩＬ₀，ＩＬ₁）＊（（ＭＣ_ILP（ＩＬＤ₀，ＭＶ_IL0）＋ＭＣ_ILP（ＩＬＤ₁，ＭＶ_IL1））／２−Ｉ_offset）＋Ｏ（ＩＬ₀，ＩＬ₁）） （１１）

【0093】

Ｏ（ＩＬ_x）およびＯ（ＩＬ₀，ＩＬ₁）は、元の画像と、エンハンスされたＩＬＲ画像との間のエラーに対して補償するために使用され得るオフセットであり得る。Ｏ（ＩＬ_x）およびＯ（ＩＬ₀，ＩＬ₁）は、単予測動きに対しては基準画像に、および／または、双予測動きに対しては基準画像の対に関連付けられ得る。

【0094】

Ｅ−ＩＬＲブロックを（たとえば、式（８）および／または（９）によって）生成するときに適用される重みは、１または複数の基準画像に関連付けられ得る。ＨＥＶＣスケーラブル拡張では、たとえば基準画像は両方のリストに現れ得る。ルックアップ表が、基準画像インデックスを、重みリストでのインデックスにマッピングするために使用され得る。たとえば単予測モードに対するｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉを含む、多重の（たとえば、２つの）ルックアップ表が存在し得、そのｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉは、単予測の基準リストおよび基準インデックスを、単予測に対する重みリストｗｅｉｇｈｔ＿ｕｎｉ＿ｌｉｓｔのインデックスにマッピングし得る。別の表は、双予測モードに対するものであり得、双予測のｌｉｓｔ０の基準インデックス、および／または、ｌｉｓｔ１の基準インデックスを、双予測に対する重みリストｗｅｉｇｈｔ＿ｂｉ＿ｌｉｓｔのインデックスにマッピングし得る。
ｗｅｉｇｈｔ＿ｕｎｉ＿ｌｉｓｔ＿ｉｄｘ＝ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉ［ｌｉｓｔ＿ｘ］［ｒｅｆ＿ｉｄｘ］
ｗｅｉｇｈｔ＿ｂｉ＿ｌｉｓｔ＿ｉｄｘ＝ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉ［ｒｅｆ＿ｉｄｘ０］［ｒｅｆ＿ｉｄｘ１］

【0095】

図１２は、単予測モードに対する、基準インデックスを、重みリストでのインデックスにマッピングするルックアップ表に対するセットアップの例のフローチャートである。図１３は、双予測モードに対する、基準インデックスを、重みリストでのインデックスにマッピングするルックアップ表に対するセットアップの例のフローチャートである。単予測に対する、および／または、双予測に対する、重みリスト内のエントリ（たとえば、各々のエントリ）に対して、最小二乗方法が、重みを、重みリストでの同じインデックスを有するブロックの１または複数（たとえば、各々）に基づいて推定するために使用され得る。元のＥＬ画像のブロックは、式（８）および（９）の最適化対象として使用され得、そのことは、（８）（９）でのＥｎｈ（Ｂ（ＩＬ_T））は、パラメータ推定での元のＥＬ画像の並置されるブロックに等しくあり得るということを意味する。

【0096】

重みパラメータシグナリングは、基準画像に関連付けられ得る。２つの、またはより多いルックアップ表が、重みマッピングに対して存在し得る。表は、たとえば式（３）、（５）、（８）、および／または、（１０）などの、単予測モード使用法に対するものであり得る。表は、たとえば式（４）、（６）、（９）、および／または、（１１）などの、双予測モード使用法に対するものであり得る。単予測モードに対しては、重みは、画像順序カウント（ＰＯＣ）により識別される基準画像に関連付けられ得る。双予測モードに対しては、重みは、基準画像対に関連付けられ得る。基準対では、１つの基準画像はｌｉｓｔ０からのものであり得、他の基準画像はｌｉｓｔ１からのものであり得る。たとえば基準画像の対（ｒ０（ＰＯＣ０），ｒ１（ＰＯＣ１））（たとえば、第１のエントリがｌｉｓｔ０からのものであり、第２のエントリがｌｉｓｔ１からのものである）は、ｒ０およびｒ１が両方のリスト内にあるならば、（ｒ１（ＰＯＣ１），ｒ０（ＰＯＣ０））と同じに扱われ得る。２つの、またはより多いリスト（たとえば、ｌｉｓｔ０およびｌｉｓｔ１）で生じる同じ基準画像が存在し得る。したがってＰＯＣのリストは、複製された基準画像を取り外すようにすでに処理されたそれらの基準画像のＰＯＣを記憶するために使用され得る。重みは、ルックアップ表を使用して基準画像に関連付けられ得る。

【0097】

図１２は、単予測マッピングをセットアップするために使用され得る。手順１２００は、以下の１または複数を含み得る。手順１２００は、１２０２で始まり得、ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉのサイズがリセットされ得、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉは０に等しくあり得、ｐｏｃ＿ｌｉｓｔがリセットされ得、および／または、ｐｏｃ＿ｌｉｓｔは空になるようにセットされ得る。１２０４で、ｌｉｓｔ＿０およびｌｉｓｔ＿１が処理されるかどうかが決定され得る。そうであるならば、手順１２００は１２０６で終了し得る。そうでないならば、リスト、ｌｉｓｔ＿ｘ（たとえば、ｌｉｓｔ＿０またはｌｉｓｔ＿１）が、１２０８で、０に等しいｒｅｆ＿ｉｄｘを伴って、処理するために選択され得る。たとえばｌｉｓｔ＿０は、手順が１２０８に入る第１の時間に選択され得、ｌｉｓｔ＿１は、手順が１２０８に入る第２の時間に選択され得る。１２１０で、ｌｉｓｔ＿ｘ内の基準画像が処理されたかどうかが決定され得る。そうであるならば、手順は１２０４に戻り得る。たとえば、ｌｉｓｔ＿０内の基準画像のすべてが処理されたならば、手順１２００は１２０４に戻って、たとえば、ｌｉｓｔ＿１内の基準画像のすべてがさらに処理されたかどうかをチェックし得る。そうでないならば、手順１２００は１２１２へと継続し得る。１２１２で、ｒｅｆ＿ｉｄｘを伴う基準画像Ｒが、ｌｉｓｔ＿ｘから選択され得る。１２１４で、基準画像Ｒがｐｏｃ＿ｌｉｓｔ内にあるかどうかが決定され得る。そうであるならば、ｒｅｆ＿ｉｄｘが、１２１８で、たとえば１により増大され得、手順１２００は１２１０に戻り得る。そうでないならば、ルックアップ表およびｐｏｃ＿ｌｉｓｔが、１２１６で、それに応じて更新され得る。たとえば、ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉ［ｌｉｓｔ＿ｘ］［ｒｅｆ＿ｉｄｘ］が、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉに等しいようにセットされ得、ｐｏｃ＿ｌｉｓｔ［ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉ］が、ｐｏｃ（Ｒ）に等しいようにセットされ得、および／または、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｕｎｉが、たとえば１により増大され得る。１２１６の後で、手順１２００は１２１８へと継続し得、ｒｅｆ＿ｉｄｘが、たとえば１により増大され得る。１２１８の後で、手順１２００は１２１０に戻り得る。手順１２００は、ループ１２１０〜１２１８を、ｌｉｓｔ＿ｘ内の基準画像のすべてが処理されるまで継続し得る。

【0098】

図１３は、双予測マッピングをセットアップするために使用され得る。手順１３００は、以下の１または複数を含み得る。手順１３００は、１３０２で始まり得、ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉのサイズがリセットされ得、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉは０に等しくあり得、ｐｏｃ＿ｌｉｓｔがリセットされ得、ｐｏｃ＿ｌｉｓｔは空になるようにセットされ得、および／または、ｒｅｆ＿ｉｄｘ０は０に等しくあり得る。１３０４で、ｌｉｓｔ＿０が処理されるかどうかが決定され得る。そうであるならば、手順１３００は１３０６で終了し得る。そうでないならば、１３０８で、ｒｅｆ＿ｉｄｘ０を伴う基準画像Ｒ０がｌｉｓｔ＿０から選択され得、および／または、ｒｅｆ＿ｉｄｘ１が１に等しくあり得る。１３１０で、ｌｉｓｔ＿１内の基準画像が処理されるかどうかが決定され得る。そうであるならば、ｒｅｆ＿ｉｄｘ０が、１３１２で、たとえば１により増大され得、手順は１３０４に戻り得る。そうでないならば、ｒｅｆ＿ｉｄｘ１を伴う基準画像Ｒ１が、１３１４で、ｌｉｓｔ＿１から選択され得る。１３１６で、（Ｒ０，Ｒ１）または（Ｒ１，Ｒ０）がｐｏｃ＿ｌｉｓｔ内にあるかどうかが決定され得る。そうであるならば、ｒｅｆ＿ｉｄｘ１が、１３２０で、たとえば１により増大され得、手順１３００は１３１０に戻り得る。そうでないならば、ルックアップ表およびｐｏｃ＿ｌｉｓｔが、１３１８で、それに応じて更新され得る。たとえば、ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉ［ｒｅｆ＿ｉｄｘ０］［ｒｅｆ＿ｉｄｘ１］が、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉに等しいようにセットされ得、ｐｏｃ＿ｌｉｓｔ［（ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉ）＊２］が、ｐｏｃ（Ｒ０）に等しいようにセットされ得、ｐｏｃ＿ｌｉｓｔ［（ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉ）＊２＋１］が、ｐｏｃ（Ｒ１）に等しいようにセットされ得、および／または、ｓｉｚｅ＿ｌｕｔ＿ｗｅｉｇｈｔ＿ｂｉが、たとえば１により増大され得る。１３１８の後で、手順１３００は１３２０へと継続し得、ｒｅｆ＿ｉｄｘ１が、たとえば１により増大され得る。１３２０の後で、手順１３００は１３１０に戻り得る。手順１３００は、ループ１３１０〜１３２０を、ｌｉｓｔ＿１内の基準画像のすべてが処理されるまで継続し得る。

【0099】

対象信号Ｔおよび観測値信号Ｏを与えられると、最適な重みに対する最小二乗による解は、おそらくはＣｏｒ（Ｔ，Ｏ）／Ｃｏｒ（Ｏ）に等しいものであり、Ｃｏｒ（Ｔ，Ｏ）は、ＴとＯとの間の相関であり得、Ｃｏｒ（Ｏ）は、Ｏの自己相関であり得る。図１４は、最小二乗方法による、単予測モードに対する、重み推定を算出することの例のフローチャートである。図１４では、同じ重みを有する、単予測モードコーディングされるブロックが、重み推定に対して相互相関および自己相関を収集するためにトラバースされ得る。図１５は、最小二乗による、双予測モードに対する、重み推定を算出することの例のフローチャートである。図１５では、同じ重みを有する、双予測モードコーディングされるブロックが、重み推定に対して相互相関および自己相関を収集するためにトラバースされ得る。

【0100】

手順１４００は、以下の１または複数を含み得る。手順１４００は、１４０２で始まり得、単予測重みリストが、２つの基準画像リストからセットアップされ得る。１４０４で、単予測重みリスト内の画像が完了しているかどうかが決定される。そうであるならば、手順１４００は１４２０で終了し得る。そうでないならば、１４０６で、画像Ｐが、重み推定に対して重みリストから選択され得、ＡＯが０にセットされ得、および／または、ＡＳが０にセットされ得る。１４０８で、現在の画像内のブロックが処理されるかどうかが決定され得る。そうであるならば、１４１０で、画像Ｐに対する重みが、たとえばＷ（Ｐ）＝Ａ_O／Ａ_Sによって算出され得、手順１４００は１４０４に戻り得る。そうでないならば、１４１２で、現在のブロックが単予測を使用するかどうか、および、基準画像がＰであるかどうかが決定され得る。そうでないならば、手順１４００は、１４１８で、次のブロックに移り、次いで１４０６に戻り得る。そうであるならば、１４１４で、差ブロックＤ、および、動き補償されたブロックＳが、たとえば、Ｄ＝Ｂ（ＥＬ_T）−Ｂ（ＩＬ_T）、および／または、Ｓ＝ＭＣ（ＩＬＤ_X，ＭＶ_IL）によって算出され得る。１４１６で、ＤとＳとの間の画素の相関（Ｄ（ｉ）＊Ｓ（ｉ））、および、ブロックの内部のＳの自己相関（Ｓ（ｉ）＊Ｓ（ｉ））が、たとえば、Ａ_O＋＝ｓｕｍ（Ｄ（ｉ）＊Ｓ（ｉ））、および／または、Ａ_S＋＝ｓｕｍ（Ｓ（ｉ）＊Ｓ（ｉ））によって、Ａ_OおよびＡ_Sに累算され得る。１４１８で、手順１４００は、次のブロックに移り、次いで１４０６に戻り得る。

【0101】

手順１５００は、以下の１または複数を含み得る。手順１５００は、１５０２で始まり得、双予測重みリストが、２つの基準画像リストからセットアップされ得る。１５０４で、双予測重みリスト内の画像が完了しているかどうかが決定される。そうであるならば、手順１５００は１５２０で終了し得る。そうでないならば、１５０６で、エントリ（Ｐ₀，Ｐ₁）が、重み推定に対して重みリストから選択され得、ＡＯが０にセットされ得、および／または、ＡＳが０にセットされ得る。１５０８で、現在の画像内のブロックが処理されるかどうかが決定され得る。そうであるならば、１５１０で、（Ｐ₀，Ｐ₁）に対する重みが、たとえばＷ（Ｐ₀，Ｐ₁）＝Ａ_O／Ａ_Sによって算出され得、手順１５００は１５０４に戻り得る。そうでないならば、１５１２で、現在のブロックが双予測を使用するかどうか、および、基準画像が（Ｐ₀，Ｐ₁）または（Ｐ₁，Ｐ₀）であるかどうかが決定され得る。そうでないならば、手順１５００は、１５１８で、次のブロックに移り、次いで１５０６に戻り得る。そうであるならば、１５１４で、差ブロックＤ、および、動き補償されたブロックＳが、たとえば、Ｄ＝Ｂ（ＥＬ_T）−Ｂ（ＩＬ_T）、および／または、Ｓ＝（ＭＣ（ＩＬＤ_X0，ＭＶ⁰_IL）＋ＭＣ（ＩＬＤ_X1，ＭＶ¹_IL））／２によって算出され得る。１５１６で、Ａ_O＋＝ｓｕｍ（Ｄ（ｉ）＊Ｓ（ｉ））、および／または、Ａ_S＋＝ｓｕｍ（Ｓ（ｉ）＊Ｓ（ｉ））である。１５１８で、手順１５００は、次のブロックに移り、次いで１５０６に戻り得る。

【0102】

符号化器は、画像（たとえば、各々の画像）の重みおよび／またはオフセット情報を、復号器に、たとえばＩＬＰエンハンスメント処理のためにシグナリングし得る。ルーマコンポーネントおよびクロマコンポーネントに対する、重みおよび／またはオフセットは異なり得る。ルーマコンポーネントおよびクロマコンポーネントに対する、重みおよび／またはオフセットは、たとえば別々にシグナリングされ得る。たとえば復号器側での複雑度を低減するために、クロマに対する重みは１にセットされ得、および／または、クロマに対するオフセットは０にセットされ得る。重みおよび／またはオフセットは、固定されたポイントでコーディングされ得る。重みおよびオフセットパラメータに対するシグナリングの例が、表３で提供され得る。

【0103】

【表3】

【0104】

図１６は、ＩＬＲエンハンスメントに対する、領域に基づく重みの例の線図である。図１６で示すように、重みおよび／またはオフセットは、領域（たとえば、ブロック）に基づくものであり得る。線図１６００は、どのように重みが、画像の１つより多い領域に割り当てられ得るかの例を示す。画像は、多重の領域に異なるように区画され得る。たとえば画像は、均等に区画される、物体によって区画される、動きによって区画されるなどの場合がある。図１６は、均等な区画の例を示す。領域（たとえば、各々の領域）は、それ自体の重みおよび／またはオフセットを有し得る。たとえば、Ｅ−ＩＬＲ画像のブロック（たとえば、各々のブロック）は、それ自体の重みおよび／またはオフセットを有し得る。単予測および／または双予測ブロックは、重みおよび／またはオフセットを同じ領域で、たとえば、重みおよびオフセットコーディングのオーバヘッドを低減するために共有し得る。予測コーディングが、領域に基づく重みおよび／またはオフセット情報を符号化するために適用され得る。重みおよび／またはオフセット情報は、スライスのＮＡＬ、ＨＥＶＣでの適応パラメータセット（ＡＰＳ）のＮＡＬ、および／または類するもので伝達され得る。

【0105】

インターレイヤ基準画像エンハンスメントで使用される動き情報は、動きフィールドマッピングプロセスからのものであり得る、インターレイヤ動きからのものであり得、ならびに／または、ＢＬ圧縮される、および／もしくは、圧縮されない動き情報から導出され得る（たとえば、直接導出され得る）。ＩＬＲエンハンスメントプロセスでの動き補償に対するブロックサイズは、たとえば、ＩＬＲエンハンスメントが動きをＢＬから導出するならば、１６ｘ１６ブロックサイズで整列させられない場合がある。圧縮されない動きは、圧縮される動きと比較される際に、動き情報（たとえば、より正確な動き情報）を提供し得る。マルチステージ動き圧縮方法が、ＥＬコーディングを改善するために提供され得る。この方法は、ＩＬＲエンハンスメントに対して適用され得る。圧縮されない動きのブロックサイズは、たとえば４ｘ４であり得る。圧縮される動きのブロックサイズは、たとえば１６ｘ１６であり得る。ＢＬは、８ｘ８サイズ設定される動きをＩＬＲエンハンスメントに対して提供し得る。８ｘ８サイズ設定される動きは、４ｘ４サイズ設定される圧縮されない動きと比較される際に、メモリ節約を提供し得、および／または、１６ｘ１６サイズ設定される圧縮される動きと比較される際に、より正確であり得る。８ｘ８サイズ設定される動きは、１６ｘ１６動きを、たとえば、ＢＬの後来画像の符号化に対して得るように圧縮され得る。

【0106】

ＤＰＢ内のＢＬ動きは、たとえば、メモリサイズを節約するために圧縮され得る。この圧縮されるＢＬ動きは、インターレイヤ動きを粗い粒度で行い得る。ＢＬ動きのスケーリングは、２つのレイヤの分解能が異なるならば、精度を失い得る。たとえばＢＬ動きは、２ｘ空間的スケーラビリティに対して、２ｘによりアップでスケーリングされ得る。元のＢＬ動きが１／４ペル精度であるならば、動き精度は１／２ペル精度であり得る。式（８）および（９）で使用されるインターレイヤ動き正確度を改善することが、ＩＬＰを改善し得る。

【0107】

動き精密化は、マッピングされる動きを精密化のセンタとして適用し、その隣接物（たとえば、最も近い隣接物）の１または複数を検索し得る。動きは、デルタ動きを、たとえば式（１２）を使用して受信するように精密化され得る。

【0108】

【数1】

【0109】

ＭＶ_ILxは、ＢＬ動きから導出される動きであり得る。歪みが、二乗エラーの和（ＳＳＥ）、絶対変換差の和（ＳＡＴＤ）、および／または類するものを使用して評価され得る。並置されるブロックがＢＬでイントラコーディングされるならば、ＭＶ_ILxは利用不可能であり得る。動きは、１または複数の空間的隣接ブロックの動きから導出され得る。最小量の歪みが、たとえば式（１３）を使用して決定され得る。エンハンスメントレイヤ時間的動きは、時間的距離によるスケーリングを使用して決定され得る。

【0110】

【数2】

【0111】

ＢＬから導出される動きは、インターレイヤ基準画像エンハンスメントに対して効率的であり得る。ＢＬでの動きは、ＢＬ符号化器により、レートオーバヘッドを考慮し得るレート歪みコストを使用して決定され得る。ＢＬ符号化器は、ＩＬＲエンハンスメントプロセスでのレートを考慮し得る。動き情報は、ＢＬから導出され得る。双予測モードに対しては、ＢＬ符号化器は、動き情報の２つのセット、たとえばｌｉｓｔ０およびｌｉｓｔ１を提供し得る。ＩＬＲエンハンスメントは、ｌｉｓｔ０、ｌｉｓｔ１、または両方を使用することを決定し得る。決定は、歪みに基づくものであり得る。ｌｉｓｔ０および／またはｌｉｓｔ１の動きに対する歪みは、たとえば、式（１４）（１５）、それぞれを使用して決定され得る。式１６は、ｌｉｓｔ０およびｌｉｓｔ１の動きを使用する双予測に対して使用され得る。符号化器および／または復号器は、ＩＬＲエンハンスメントに対する最小量の歪みにより特徴付けられるリストを使用することを決定し得る。
Ｄｉｓｔ_list0＝Ｄｉｓｔ（Ｂ（ＩＬ_T），ＭＣ_ILP（ＩＬ_{ref_idx(list0)}，ＭＶ_list0）） （１４）
Ｄｉｓｔ_list1＝Ｄｉｓｔ（Ｂ（ＩＬ_T），ＭＣ_ILP（ＩＬ_{ref_idx(list1)}，ＭＶ_list1）） （１５）
Ｄｉｓｔ_list0,list1＝Ｄｉｓｔ（Ｂ（ＩＬ_T），（ＭＣ_ILP（ＩＬ_{ref_list(list0)}，ＭＶ_list0）＋ＭＣ_ILP（ＩＬ_{ref_list(list1)}，ＭＶ_list1））／２） （１６）

【0112】

動き精密化および／または選択プロセスは、明示的または暗示的であり得る。明示的な動き精密化および／または選択は、符号化器で履行され得、符号化器は、精密化および／または選択情報を復号器にシグナリングし得る。精密化および／または選択情報をシグナリングすることにより、復号複雑度は、オーバヘッドを増大することにより低減され得る。暗示的なモードでは、符号化器および復号器が、精密化および／または選択を実行し得る。符号化器が動き情報を復号器にシグナリングすることの必要性が存在しない場合がある。そうすることにより、オーバヘッドビットは、たとえば、復号複雑度を増大することにより節約され得る。

【0113】

Ｅ−ＩＬＲ画像の１または複数のブロックは、（たとえば、式３、４、７、８、９、および、１０への参照によって説明されるような）差分に基づく方法、（たとえば、式５、６への参照によって説明されるような）残差に基づく方法、正規ＩＬＲブロック生成方法（たとえば、並置されるＢＬブロックをアップサンプリングすること）、単予測に基づく方法、双予測に基づく方法、別のＥ−ＩＬＲブロック生成方法、および／または組み合わせを使用して生成され得る。エンハンスメント方法は、たとえば多重のエンハンスメント方法が使用されるならば、領域（たとえば、各々の領域）に対して、明示的または暗示的に合図され得る。モードは、動き（たとえば、大きな動き、小さな動き、０動き）、テクスチャ（たとえば、連続階調、不連続階調、色の数）、エッジ強度（たとえば、強い、中間、弱い）、および／または類するものなどの、１または複数のローカル特性によって判断され得る。Ｅ−ＩＬＲ画像のブロックは、異なる特性を、たとえば、使用される生成方法に基づいて有し得る。Ｅ−ＩＬＲブロックは、エンハンスされた、および／もしくは増大された高周波数情報、ベースレイヤ圧縮からの補償された低周波数エネルギー損失、ならびに／または、ベースレイヤ符号化での軽減された圧縮アーチファクト（たとえば、リンギング、ブロッキング）により特徴付けられ得る。Ｅ−ＩＬＲブロック生成方法（たとえば、差分に基づく、残差に基づく、単予測に基づく、双予測に基づくなど）は、Ｅ−ＩＬＲ画像を生成するために組み合わされ得る。Ｅ−ＩＬＲブロック生成方法が一体に組み合わされるならば、圧縮効率は改善され得る。現在の画像の符号化のために符号化器により使用されるＥ−ＩＬＲブロック生成方法は、たとえば、復号複雑度を低減するためにシグナリングされ得る（たとえば、明示的にシグナリングされ得る）。復号器は、符号化器によりシグナリングされるＥ−ＩＬＲブロック生成方法を、たとえば、Ｅ−ＩＬＲブロック生成方法の各々を試行することの代わりに適用し得る。復号器は、たとえば、生成方法が暗示的にシグナリングされるならば、Ｅ−ＩＬＲブロック生成方法を、オンラインで、各々のブロックのローカル特性によって導出し得る。

【0114】

２つの、またはより多いＥ−ＩＬＲブロック生成方法は、たとえば、基準画像リストのサイズを増大し、Ｅ−ＩＬＲ画像を基準画像リストに挿入することにより、Ｅ−ＩＬＲ画像のブロックを生成するために組み合わされ得る。Ｅ−ＩＬＲ画像は、ｌｉｓｔ０、ｌｉｓｔ１、または両方に挿入され得る。図１７は、基準画像リスト内へのＥ−ＩＬＲ画像の例示的な配置の線図である。線図１７００では、１または複数のＩＬＲ画像１７０２が、Ｂスライスのｌｉｓｔ０内に配置され得、１または複数のＥ−ＩＬＲ画像が、Ｂスライスのｌｉｓｔ１内に配置され得る。Ｐスライスでは、１または複数のＥ−ＩＬＲ画像１７０４が、ｌｉｓｔ０内の１または複数のＩＬＲ画像１７０２の後に配置され得る。

【0115】

Ｅ−ＩＬＲブロック生成方法は、たとえば、ブロックに基づく組み合わせ（たとえば、明示的な組み合わせ）を使用して、Ｅ−ＩＬＲ画像を生成するために組み合わされ得る。Ｅ−ＩＬＲ画像のブロック（たとえば、各々のブロック）は、異なるＥ−ＩＬＲブロック生成方法を使用して生成され得る。符号化器および復号器は、Ｅ−ＩＬＲ画像を生成し、および／または、Ｅ−ＩＬＲ画像を基準画像リストに挿入し得る。符号化器は、Ｅ−ＩＬＲ画像のブロック（たとえば、各々のブロック）に対して使用されるＥ−ＩＬＲブロック生成方法を決定し得る。たとえばＥ−ＩＬＲブロック生成方法は、レート歪み最適化判定基準に基づいて選択され得る。符号化器は、ブロックの生成方法を復号器にシグナリングし得る。情報は、たとえば適応パラメータセット（ＡＰＳ）などの、インターレイヤ処理パラメータセットを伝達するために使用されるＮＡＬユニット内に埋め込まれ得る。可変ブロックサイズに基づくコーディング（たとえば、四分木に基づくコーディング）が、Ｅ−ＩＬＲブロック生成方法情報を符号化するために使用され得る。ブロック（たとえば、各々のブロック）のＥ−ＩＬＲブロック生成方法情報は、ランレングスコーディングによって符号化され得る。

【0116】

図１８は、ランレングスコーディングに対する異なるスキャンパターンの例の線図である。たとえば、ランレングスコーディングに対するスキャンパターンは、水平１８０２、垂直１８０４、水平ジグザグ１８０６、垂直ジグザグ１８０８、水平ラスタ１８１０、垂直ラスタ１８１２、および／または類するものを含み得る。２Ｄデータマップは、たとえば、異なるスキャンパターンによって符号化するために、１Ｄマップに転換され得る。ランは、データの再現する回数と呼ばれ得る。２Ｄマップのランレングスコーディングに対する、１または複数の（たとえば、２つの）タイプのランが、たとえば、情報をより効率的に圧縮するために提供され得る。ランは、符号化データを、転換された１Ｄ順序でのすぐの隣接物と比較することにより導出され得る。ランは、従来型のランレングスコーディングで使用され得る。ランは、データを空間的隣接物と比較することにより導出され得る。

【0117】

図１９は、水平スキャンによって符号化される２Ｄマップ１９００の例の線図である。スキャニングの後で符号化されることになるシンボルは、１または複数のパラメータ（たとえば、たとえばラン、タイプ、および／または、値を含む３つのパラメータ）として表され得る。ランは、再現する回数の数を指し得る。たとえばランは、値を変化させることなく進行させられる距離を指し得る。タイプは、ランのタイプを指し得る。値は、再現された値の後のすぐのデータを指し得る。方向は、進行の方向を指し得る。図１９で示すように、Ｈは、ランが水平スキャニング順序で導出され得るということを指示し得る。Ｔは、ランがその上部隣接物から導出されるということを指示し得る。バイナリマップに対しては、値は、それは以前のデータから導出され得るので、コーディングされない場合がある。圧縮比率は、データの異なる分配のために、異なるスキャニングパターンによって変動し得る。符号化器は、スキャンパターンをマップ（たとえば、各々のマップ）に対して判断し得、および／または、スキャンパターンを復号器にシグナリングし得る。

【0118】

ブロックに基づく組み合わせ（たとえば、暗示的な組み合わせ）が提供され得る。符号化器および／または復号器は、Ｅ−ＩＬＲ画像を生成し、Ｅ−ＩＬＲ画像を基準画像リストに挿入し得る。符号化器および／または復号器は、たとえば、ブロックの生成方法情報を（たとえば、明示的に）やり取りすることの代わりに、導出プロセス（たとえば、同じ導出プロセス）を適用して、ブロックの生成方法情報を、１または複数の特性に基づいて決定し得る。たとえばブロックは、（たとえば、ブロックが平坦であるならば、または、ブロックがエッジブロックであるならば）たとえばテクスチャを含み得る、１または複数のローカルイメージ統計的特徴に基づいて、１または複数のタイプに分類され得る。Ｅ−ＩＬＲブロック生成方法は、ブロックタイプに基づいて適用され得る。

【0119】

図２０Ａは、１または複数の開示される実施形態が実装され得る、例示的な通信システム２０００の線図である。通信システム２０００は、ボイス、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを、多重のワイヤレスユーザに提供する多元接続システムであり得る。通信システム２０００は、多重のワイヤレスユーザが、そのようなコンテンツに、ワイヤレス帯域幅を含むシステムリソースの共有によってアクセスすることを可能にし得る。たとえば通信システム２０００は、符号分割多元接続（ＣＤＭＡ：code division multiple access）、時分割多元接続（ＴＤＭＡ：time division multiple access）、周波数分割多元接続（ＦＤＭＡ：frequency division multiple access）、直交ＦＤＭＡ（ＯＦＤＭＡ：orthogonal FDMA）、シングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ：single-carrier FDMA）、および類するものなどの、１または複数のチャネルアクセス方法を用い得る。

【0120】

図２０Ａに示されるように通信システム２０００は、ワイヤレス送受信ユニット（ＷＴＲＵ）２００２ａ、２００２ｂ、２００２ｃ、および／または、２００２ｄ（全体的または集合的に、ＷＴＲＵ２００２と呼ばれ得る）、無線アクセスネットワーク（ＲＡＮ）２００３／２００４／２００５、コアネットワーク２００６／２００７／２００９、公衆交換電話ネットワーク（ＰＳＴＮ：public switched telephone network）２００８、インターネット２０１０、ならびに、他のネットワーク２０１２を含み得るが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／または、ネットワーク要素を企図するということが認識されよう。ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄの各々は、ワイヤレス環境で動作および／または通信するように構成される、任意のタイプのデバイスであり得る。例として、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄは、ワイヤレス信号を送信および／または受信するように構成され得、ワイヤレス送受信ユニット（ＷＴＲＵ）、移動局、固定された、または移動の加入者ユニット、ページャ、セルラー電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、消費者電子機器、および類するものを含み得る。

【0121】

通信システム２０００はさらには、基地局２０１４ａおよび基地局２０１４ｂを含み得る。基地局２０１４ａ、２０１４ｂの各々は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄの少なくとも１つとワイヤレスでインターフェイス接続して、コアネットワーク２００６／２００７／２００９、インターネット２０１０、および／または、ネットワーク２０１２などの、１または複数の通信ネットワークへのアクセスを容易にするように構成される、任意のタイプのデバイスであり得る。例として、基地局２０１４ａ、２０１４ｂは、基地トランシーバ局（ＢＴＳ）、ノードＢ、ｅノードＢ、ホームノードＢ、ホームｅノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ワイヤレスルータ、および類するものであり得る。基地局２０１４ａ、２０１４ｂは各々、単一の要素として描写されるが、基地局２０１４ａ、２０１４ｂは、任意の数の相互接続される基地局および／またはネットワーク要素を含み得るということが認識されよう。

【0122】

基地局２０１４ａは、ＲＡＮ２００３／２００４／２００５の部分であり得、そのＲＡＮ２００３／２００４／２００５はさらには、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ：radio network controller）、中継ノードなどの、他の基地局および／またはネットワーク要素（図示せず）を含み得る。基地局２０１４ａおよび／または基地局２０１４ｂは、セル（図示せず）と呼ばれ得る個別の地理的領域の内部でワイヤレス信号を送信および／または受信するように構成され得る。セルは、セルセクタにさらに分割され得る。たとえば、基地局２０１４ａに関連付けられたセルは、３つのセクタに分割され得る。したがって、１つの実施形態では基地局２０１４ａは、３つのトランシーバを、たとえば、セルの各々のセクタに対して１つを含み得る。実施形態では基地局２０１４ａは、多重入力多重出力（ＭＩＭＯ：multiple-input multiple output）技術を用い得、したがって、多重のトランシーバをセルの各々のセクタに対して利用し得る。

【0123】

基地局２０１４ａ、２０１４ｂは、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄの１または複数と、エアインターフェイス２０１５／２０１６／２０１７によって通信し得、そのエアインターフェイス２０１５／２０１６／２０１７は、任意の適したワイヤレス通信リンク（たとえば、無線周波数（ＲＦ）、マイクロウェーブ、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であり得る。エアインターフェイス２０１５／２０１６／２０１７は、任意の適した無線アクセス技術（ＲＡＴ：radio access technology）を使用して確立され得る。

【0124】

より具体的には、上記で記載されたように、通信システム２０００は、多元接続システムであり得、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡ、および類するものなどの、１または複数のチャネルアクセス体系を用い得る。たとえば、ＲＡＮ２００３／２００４／２００５内の基地局２０１４ａ、および、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標）：wideband CDMA）を使用してエアインターフェイス２０１５／２０１６／２０１７を確立し得る、ユニバーサル移動電気通信システム（ＵＭＴＳ：Universal Mobile Telecommunications System）地上無線アクセス（ＵＴＲＡ：UMTS Terrestrial Radio Access）などの無線技術を実装し得る。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ：High-Speed Packet Access）および／またはＥｖｏｌｖｅｄ ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含み得る。

【0125】

実施形態では、基地局２０１４ａ、および、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃは、長期進化（ＬＴＥ）および／またはＬＴＥ−アドバンスト（ＬＴＥ−Ａ）を使用してエアインターフェイス２０１５／２０１６／２０１７を確立し得る、Ｅｖｏｌｖｅｄ ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実装し得る。

【0126】

実施形態では、基地局２０１４ａ、および、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃは、ＩＥＥＥ８０２．１６（たとえば、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ：Worldwide Interoperability for Microwave Access））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ−ＤＯ、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、移動通信用グローバルシステム（ＧＳＭ（登録商標））、ＧＳＭ進化用エンハンスされたデータレート（ＥＤＧＥ：Enhanced Data rates for GSM Evolution）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）、および類するものなどの無線技術を実装し得る。

【0127】

図２０Ａでの基地局２０１４ｂは、たとえば、ワイヤレスルータ、ホームノードＢ、ホームｅノードＢ、または、アクセスポイントであり得、仕事の場、ホーム、乗物、構内、および類するものなどの局限されたエリアでワイヤレス接続性を容易にするために、任意の適したＲＡＴを利用し得る。１つの実施形態では、基地局２０１４ｂ、および、ＷＴＲＵ２００２ｃ、２００２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）を確立し得る。実施形態では、基地局２０１４ｂ、および、ＷＴＲＵ２００２ｃ、２００２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）を確立し得る。さらに実施形態では、基地局２０１４ｂ、および、ＷＴＲＵ２００２ｃ、２００２ｄは、セルラーに基づくＲＡＴ（たとえば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａなど）を利用して、ピコセルまたはフェムトセルを確立し得る。図２０Ａに示されるように、基地局２０１４ｂは、インターネット２０１０への直接接続を有し得る。したがって基地局２０１４ｂは、コアネットワーク２００６／２００７／２００９によってインターネット２０１０にアクセスすることを必要とされ得ない。

【0128】

ＲＡＮ２００３／２００４／２００５は、コアネットワーク２００６／２００７／２００９との通信の状態にあり得、そのコアネットワーク２００６／２００７／２００９は、ボイス、データ、アプリケーション、および／または、ボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスを、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄの１または複数に提供するように構成される、任意のタイプのネットワークであり得る。たとえばコアネットワーク２００６／２００７／２００９は、呼制御、ビリングサービス、移動場所に基づくサービス、プリペイド呼、インターネット接続性、ビデオ分配などを提供し、および／または、ユーザ認証などの高レベルセキュリティ機能を実行し得る。図２０Ａには示されないが、ＲＡＮ２００３／２００４／２００５、および／または、コアネットワーク２００６／２００７／２００９は、ＲＡＮ２００３／２００４／２００５と同じＲＡＴを、または異なるＲＡＴを用いる他のＲＡＮとの、直接または間接の通信の状態にあり得るということが認識されよう。たとえば、Ｅ−ＵＴＲＡ無線技術を利用している場合があるＲＡＮ２００３／２００４／２００５に接続されていることへの追加で、コアネットワーク２００６／２００７／２００９はさらには、ＧＳＭ無線技術を用いるＲＡＮ（図示せず）との通信の状態にあり得る。

【0129】

コアネットワーク２００６／２００７／２００９はさらには、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄが、ＰＳＴＮ２００８、インターネット２０１０、および／または、他のネットワーク２０１２にアクセスするためのゲートウェイとしてサービングし得る。ＰＳＴＮ２００８は、基本電話サービス（ＰＯＴＳ：plain old telephone service）を提供する回線交換電話ネットワークを含み得る。インターネット２０１０は、相互接続されるコンピュータネットワークおよびデバイスのグローバルシステムを含み得、それらのコンピュータネットワークおよびデバイスは、送信制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および、インターネットプロトコル（ＩＰ）などの、ＴＣＰ／ＩＰインターネットプロトコルスイートの形での共通通信プロトコルを使用するものである。ネットワーク２０１２は、他のサービスプロバイダにより所有される、および／または動作させられる、ワイヤードまたはワイヤレス通信ネットワークを含み得る。たとえばネットワーク２０１２は、ＲＡＮ２００３／２００４／２００５と同じＲＡＴを、または異なるＲＡＴを用い得る、１または複数のＲＡＮに接続されるコアネットワークを含み得る。

【0130】

通信システム２０００内のＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄの一部またはすべては、マルチモード能力を含み得、たとえば、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、２００２ｄは、異なるワイヤレスリンクによって異なるワイヤレスネットワークと通信するための多重のトランシーバを含み得る。たとえば、図２０Ａに示されるＷＴＲＵ２００２ｃは、セルラーに基づく無線技術を用い得る基地局２０１４ａと、および、ＩＥＥＥ８０２無線技術を用い得る基地局２０１４ｂと通信するように構成され得る。

【0131】

図２０Ｂは、例示的なＷＴＲＵ２００２のシステム線図である。図２０Ｂに示されるようにＷＴＲＵ２００２は、プロセッサ２０１８、トランシーバ２０２０、送受信要素２０２２、スピーカ／マイクロホン２０２４、キーパッド２０２６、ディスプレイ／タッチパッド２０２８、取り外し不能メモリ２０３０、取り外し可能メモリ２０３２、パワーソース２０３４、グローバルポジショニングシステム（ＧＰＳ）チップセット２０３６、および、他の周辺装置２０３８を含み得る。ＷＴＲＵ２００２は、前述の要素の任意の副組み合わせを含むことが、実施形態と矛盾しないまま可能であるということが認識されよう。さらには、実施形態は、基地局２０１４ａおよび２０１４ｂ、ならびに／または、中でも、トランシーバ局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、ｅｖｏｌｖｅｄホームノードＢ（ｅノードＢ）、ホームｅｖｏｌｖｅｄノードＢ（ＨｅＮＢ）、ホームｅｖｏｌｖｅｄノードＢゲートウェイ、および、プロキシノードなどの、ただしそれらに制限されない、基地局２０１４ａおよび２０１４ｂが表し得るノードが、図２０Ｂで描写される、および、本明細書で説明される、要素の一部または各々を含み得るということを企図する。

【0132】

プロセッサ２０１８は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアとの関連の状態にある１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械、および類するものであり得る。プロセッサ２０１８は、信号コーディング、データ処理、パワー制御、入力／出力処理、および／または、ＷＴＲＵ２００２がワイヤレス環境で動作することを可能にする任意の他の機能性を実行し得る。プロセッサ２０１８はトランシーバ２０２０に結合され得、そのトランシーバ２０２０は送受信要素２０２２に結合され得る。図２０Ｂはプロセッサ２０１８およびトランシーバ２０２０を別々のコンポーネントとして描写するが、プロセッサ２０１８およびトランシーバ２０２０は、電子パッケージまたはチップ内に一体に集積され得るということが認識されよう。

【0133】

送受信要素２０２２は、エアインターフェイス２０１５／２０１６／２０１７によって、信号を基地局（たとえば、基地局２０１４ａ）に送信し、または、信号をその基地局から受信するように構成され得る。たとえば、１つの実施形態では送受信要素２０２２は、ＲＦ信号を送信および／または受信するように構成されるアンテナであり得る。実施形態では送受信要素２０２２は、たとえばＩＲ信号、ＵＶ信号、または、可視光信号を、送信および／または受信するように構成される放射器／検出器であり得る。さらに実施形態では送受信要素２０２２は、ＲＦ信号および光信号の両方を、送信および受信するように構成され得る。送受信要素２０２２は、ワイヤレス信号の任意の組み合わせを送信および／または受信するように構成され得るということが認識されよう。

【0134】

さらに、送受信要素２０２２は、単一の要素として図２０Ｂで描写されるが、ＷＴＲＵ２００２は、任意の数の送受信要素２０２２を含み得る。より具体的にはＷＴＲＵ２００２は、ＭＩＭＯ技術を用い得る。したがって、１つの実施形態ではＷＴＲＵ２００２は、エアインターフェイス２０１５／２０１６／２０１７によってワイヤレス信号を送信および受信するための、２つの、またはより多い送受信要素２０２２（たとえば、多重のアンテナ）を含み得る。

【0135】

トランシーバ２０２０は、送受信要素２０２２により送信されることになる信号を変調するように、および、送受信要素２０２２により受信される信号を復調するように構成され得る。上記で記載されたようにＷＴＲＵ２００２は、マルチモード能力を有し得る。したがってトランシーバ２０２０は、ＷＴＲＵ２００２が、たとえばＵＴＲＡおよびＩＥＥＥ８０２．１１などの多重のＲＡＴによって通信することを可能にするための多重のトランシーバを含み得る。

【0136】

ＷＴＲＵ２００２のプロセッサ２０１８は、スピーカ／マイクロホン２０２４、キーパッド２０２６、および／または、ディスプレイ／タッチパッド２０２８（たとえば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニット、または、有機光放射ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合され得、ユーザ入力データを、それらのスピーカ／マイクロホン２０２４、キーパッド２０２６、および／または、ディスプレイ／タッチパッド２０２８から受信し得る。プロセッサ２０１８はさらには、ユーザデータを、スピーカ／マイクロホン２０２４、キーパッド２０２６、および／または、ディスプレイ／タッチパッド２０２８に出力し得る。さらに、プロセッサ２０１８は、取り外し不能メモリ２０３０および／または取り外し可能メモリ２０３２などの、任意のタイプの適したメモリからの情報にアクセスし、データをそのメモリに記憶し得る。取り外し不能メモリ２０３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、または、任意の他のタイプのメモリ記憶デバイスを含み得る。取り外し可能メモリ２０３２は、加入者識別モジュール（ＳＩＭ）カード、ｍｅｍｏｒｙ ｓｔｉｃｋ、ｓｅｃｕｒｅ ｄｉｇｉｔａｌ（ＳＤ）メモリカード、および類するものを含み得る。実施形態ではプロセッサ２０１８は、サーバまたはホームコンピュータ（図示せず）上など、ＷＴＲＵ２００２上に物理的に配置されないメモリからの情報にアクセスし、データをそのメモリに記憶し得る。

【0137】

プロセッサ２０１８は、パワーソース２０３４からパワーを受信し得、ＷＴＲＵ２００２内の他のコンポーネントに対するパワーを分配および／または制御するように構成され得る。パワーソース２０３４は、ＷＴＲＵ２００２にパワー供給するための任意の適したデバイスであり得る。たとえばパワーソース２０３４は、１または複数のドライセルバッテリ（たとえば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉイオン）など）、ソーラーセル、燃料セル、および類するものを含み得る。

【0138】

プロセッサ２０１８はさらには、ＧＰＳチップセット２０３６に結合され得、そのＧＰＳチップセット２０３６は、ＷＴＲＵ２００２の現在の場所に関する場所情報（たとえば、経度および緯度）を提供するように構成され得る。ＧＰＳチップセット２０３６からの情報への追加で、またはその情報の代わりに、ＷＴＲＵ２００２は、基地局（たとえば、基地局２０１４ａ、２０１４ｂ）からエアインターフェイス２０１５／２０１６／２０１７によって場所情報を受信し、および／または、２つの、もしくはより多い付近の基地局から受信されている信号のタイミングに基づいてその場所を決定し得る。ＷＴＲＵ２００２は、任意の適した場所決定方法により場所情報を入手することが、実施形態と矛盾しないまま可能であるということが認識されよう。

【0139】

プロセッサ２０１８は、他の周辺装置２０３８にさらに結合され得、それらの他の周辺装置２０３８は、追加的な特徴、機能性、および／または、ワイヤードもしくはワイヤレス接続性を提供する、１または複数のソフトウェアおよび／またはハードウェアモジュールを含み得る。たとえば周辺装置２０３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタル音楽プレイヤ、メディアプレイヤ、ビデオゲームプレイヤモジュール、インターネットブラウザ、および類するものを含み得る。

【0140】

図２０Ｃは、実施形態によるＲＡＮ２００３およびコアネットワーク２００６のシステム線図である。上記で記載されたようにＲＡＮ２００３は、ＵＴＲＡ無線技術を用いて、エアインターフェイス２０１５によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信し得る。ＲＡＮ２００３はさらには、コアネットワーク２００６との通信の状態にあり得る。図２０Ｃに示されるようにＲＡＮ２００３は、ノードＢ２０４０ａ、２０４０ｂ、２０４０ｃを含み得、それらのノードは各々、エアインターフェイス２０１５によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信するための１または複数のトランシーバを含み得る。ノードＢ２０４０ａ、２０４０ｂ、２０４０ｃは各々、ＲＡＮ２００３の内部の個別のセル（図示せず）に関連付けられ得る。ＲＡＮ２００３はさらには、ＲＮＣ２０４２ａ、２０４２ｂを含み得る。ＲＡＮ２００３は、任意の数のノードＢおよびＲＮＣを含むことが、実施形態と矛盾しないまま可能であるということが認識されよう。

【0141】

図２０Ｃに示されるように、ノードＢ２０４０ａ、２０４０ｂは、ＲＮＣ２０４２ａとの通信の状態にあり得る。追加的に、ノードＢ２０４０ｃは、ＲＮＣ２０４２ｂとの通信の状態にあり得る。ノードＢ２０４０ａ、２０４０ｂ、２０４０ｃは、ＩｕｂインターフェイスによってそれぞれのＲＮＣ２０４２ａ、２０４２ｂと通信し得る。ＲＮＣ２０４２ａ、２０４２ｂは、Ｉｕｒインターフェイスによって互いとの通信の状態にあり得る。ＲＮＣ２０４２ａ、２０４２ｂの各々は、それが接続されるそれぞれのノードＢ２０４０ａ、２０４０ｂ、２０４０ｃを制御するように構成され得る。さらに、ＲＮＣ２０４２ａ、２０４２ｂの各々は、アウターループパワー制御、負荷制御、受付制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化、および類するものなどの、他の機能性を履行またはサポートするように構成され得る。

【0142】

図２０Ｃに示されるコアネットワーク２００６は、メディアゲートウェイ（ＭＧＷ：media gateway）２０４４、移動交換センタ（ＭＳＣ：mobile switching center）２０４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ：serving GPRS support node）２０４８、および／または、ゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ：gateway GPRS support node）２０５０を含み得る。前述の要素の各々は、コアネットワーク２００６の部分として描写されるが、これらの要素の任意のものは、コアネットワークオペレータ以外のエンティティにより所有される、および／または動作させられる場合があるということが認識されよう。

【0143】

ＲＡＮ２００３内のＲＮＣ２０４２ａは、ＩｕＣＳインターフェイスによってコアネットワーク２００６内のＭＳＣ２０４６に接続され得る。ＭＳＣ２０４６は、ＭＧＷ２０４４に接続され得る。ＭＳＣ２０４６およびＭＧＷ２０４４は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、ＰＳＴＮ２００８などの回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、従前の陸線通信デバイスとの間の通信を容易にし得る。

【0144】

ＲＡＮ２００３内のＲＮＣ２０４２ａはさらには、ＩｕＰＳインターフェイスによってコアネットワーク２００６内のＳＧＳＮ２０４８に接続され得る。ＳＧＳＮ２０４８は、ＧＧＳＮ２０５０に接続され得る。ＳＧＳＮ２０４８およびＧＧＳＮ２０５０は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、インターネット２０１０などのパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、ＩＰ対応のデバイスとの間の通信を容易にし得る。

【0145】

上記で記載されたようにコアネットワーク２００６はさらには、他のサービスプロバイダにより所有される、および／または動作させられる、他のワイヤードまたはワイヤレスネットワークを含み得るネットワーク２０１２に接続され得る。

【0146】

図２０Ｄは、実施形態によるＲＡＮ２００４およびコアネットワーク２００７のシステム線図である。上記で記載されたようにＲＡＮ２００４は、Ｅ−ＵＴＲＡ無線技術を用いて、エアインターフェイス２０１６によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信し得る。ＲＡＮ２００４はさらには、コアネットワーク２００７との通信の状態にあり得る。

【0147】

ＲＡＮ２００４は、ｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃを含み得るが、ＲＡＮ２００４は任意の数のｅノードＢを含むことが、実施形態と矛盾しないまま可能であるということが認識されよう。ｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃは各々、エアインターフェイス２０１６によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信するための１または複数のトランシーバを含み得る。１つの実施形態では、ｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃは、ＭＩＭＯ技術を実装し得る。したがってｅノードＢ２０６０ａは、たとえば、多重のアンテナを使用して、ＷＴＲＵ２００２ａにワイヤレス信号を送信し、ＷＴＲＵ２００２ａからワイヤレス信号を受信し得る。

【0148】

ｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃの各々は、個別のセル（図示せず）に関連付けられ得、無線リソース管理判断、ハンドオーバ判断、アップリンクおよび／またはダウンリンクでのユーザのスケジューリング、ならびに類するものに対処するように構成され得る。図８Ｄに示されるようにｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃは、Ｘ２インターフェイスによって互いに通信し得る。

【0149】

図８Ｄに示されるコアネットワーク２００７は、モビリティ管理ゲートウェイ（ＭＭＥ：mobility management gateway）２０６２、サービングゲートウェイ２０６４、および、パケットデータネットワーク（ＰＤＮ）ゲートウェイ２０６６を含み得る。前述の要素の各々は、コアネットワーク２００７の部分として描写されるが、これらの要素の任意のものは、コアネットワークオペレータ以外のエンティティにより所有される、および／または動作させられる場合があるということが認識されよう。

【0150】

ＭＭＥ２０６２は、Ｓ１インターフェイスによってＲＡＮ２００４内のｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃの各々に接続され得、制御ノードとしてサービングし得る。たとえばＭＭＥ２０６２は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃのユーザを認証すること、ベアラアクティブ化／非アクティブ化、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃの初期アタッチの間に個別のサービングゲートウェイを選択すること、および類するものに対して責任を負う場合がある。ＭＭＥ２０６２はさらには、ＲＡＮ２００４と、ＧＳＭまたはＷＣＤＭＡなどの他の無線技術を用いる他のＲＡＮ（図示せず）との間で交換するための制御プレーン機能を提供し得る。

【0151】

サービングゲートウェイ２０６４は、Ｓ１インターフェイスによってＲＡＮ２００４内のｅノードＢ２０６０ａ、２０６０ｂ、２０６０ｃの各々に接続され得る。サービングゲートウェイ２０６４は、全体的には、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃへの／からのユーザデータパケットを、ルーティングおよびフォワーディングし得る。サービングゲートウェイ２０６４はさらには、インターｅノードＢハンドオーバの間にユーザプレーンをアンカリングすること、ダウンリンクデータがＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに対して利用可能であるときにページングをトリガリングすること、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃのコンテキストを管理および記憶すること、ならびに類することなどの、他の機能を実行し得る。

【0152】

サービングゲートウェイ２０６４はさらには、ＰＤＮゲートウェイ２０６６に接続され得、そのＰＤＮゲートウェイ２０６６は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、インターネット２０１０などのパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、ＩＰ対応のデバイスとの間の通信を容易にし得る。

【0153】

コアネットワーク２００７は、他のネットワークとの通信を容易にし得る。たとえばコアネットワーク２００７は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、ＰＳＴＮ２００８などの回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、従前の陸線通信デバイスとの間の通信を容易にし得る。たとえばコアネットワーク２００７は、コアネットワーク２００７とＰＳＴＮ２００８との間のインターフェイスとしてサービングする、ＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み得る、または、そのＩＰゲートウェイと通信し得る。さらに、コアネットワーク２００７は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、ネットワーク２０１２へのアクセスを提供し得、それらのネットワーク２０１２は、他のサービスプロバイダにより所有される、および／または動作させられる、他のワイヤードまたはワイヤレスネットワークを含み得る。

【0154】

図２０Ｅは、実施形態によるＲＡＮ２００５およびコアネットワーク２００９のシステム線図である。ＲＡＮ２００５は、ＩＥＥＥ８０２．１６無線技術を用いて、エアインターフェイス２０１７によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信する、アクセスサービスネットワーク（ＡＳＮ：access service network）であり得る。下記でさらに論考されることになるように、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃ、ＲＡＮ２００５、および、コアネットワーク２００９の異なる機能エンティティ間の通信リンクは、基準ポイントとして定義され得る。

【0155】

図２０Ｅに示されるようにＲＡＮ２００５は、基地局２０８０ａ、２０８０ｂ、２０８０ｃ、および、ＡＳＮゲートウェイ２０８２を含み得るが、ＲＡＮ２００５は、任意の数の基地局およびＡＳＮゲートウェイを含むことが、実施形態と矛盾しないまま可能であるということが認識されよう。基地局２０８０ａ、２０８０ｂ、２０８０ｃは各々、ＲＡＮ２００５内の個別のセル（図示せず）に関連付けられ得、各々、エアインターフェイス２０１７によってＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと通信するための１または複数のトランシーバを含み得る。１つの実施形態では、基地局２０８０ａ、２０８０ｂ、２０８０ｃは、ＭＩＭＯ技術を実装し得る。したがって基地局２０８０ａは、たとえば、多重のアンテナを使用して、ＷＴＲＵ２００２ａにワイヤレス信号を送信し、ＷＴＲＵ２００２ａからワイヤレス信号を受信し得る。基地局２０８０ａ、２０８０ｂ、２０８０ｃはさらには、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、サービスの品質（ＱｏＳ）ポリシー強制、および類するものなどのモビリティ管理機能を提供し得る。ＡＳＮゲートウェイ２０８２は、トラフィック集約ポイントとしてサービングし得、ページング、加入者プロファイルのキャッシング、コアネットワーク２００９へのルーティング、および類するものに対して責任を負う場合がある。

【0156】

ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、ＲＡＮ２００５との間のエアインターフェイス２０１７は、ＩＥＥＥ８０２．１６仕様を実装するＲ１基準ポイントとして定義され得る。さらに、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃの各々は、コアネットワーク２００９との論理インターフェイス（図示せず）を確立し得る。ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、コアネットワーク２００９との間の論理インターフェイスは、認証、許可、ＩＰホスト構成管理、および／または、モビリティ管理に対して使用され得る、Ｒ２基準ポイントとして定義され得る。

【0157】

基地局２０８０ａ、２０８０ｂ、２０８０ｃの各々の間の通信リンクは、ＷＴＲＵハンドオーバ、および、基地局間のデータの転送を容易にするためのプロトコルを含む、Ｒ８基準ポイントとして定義され得る。基地局２０８０ａ、２０８０ｂ、２０８０ｃと、ＡＳＮゲートウェイ２０８２との間の通信リンクは、Ｒ６基準ポイントとして定義され得る。Ｒ６基準ポイントは、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃの各々に関連付けられたモビリティイベントに基づくモビリティ管理を容易にするためのプロトコルを含み得る。

【0158】

図２０Ｅに示されるようにＲＡＮ２００５は、コアネットワーク２００９に接続され得る。ＲＡＮ２００５とコアネットワーク２００９との間の通信リンクは、たとえば、データ転送およびモビリティ管理能力を容易にするためのプロトコルを含む、Ｒ３基準ポイントとして定義され得る。コアネットワーク２００９は、移動ＩＰホームエージェント（ＭＩＰ−ＨＡ：mobile IP home agent）２０８４、認証、許可、アカウンティング（ＡＡＡ：authentication, authorization, accounting）サーバ２０８６、および、ゲートウェイ２０８８を含み得る。前述の要素の各々は、コアネットワーク２００９の部分として描写されるが、これらの要素の任意のものは、コアネットワークオペレータ以外のエンティティにより所有される、および／または動作させられる場合があるということが認識されよう。

【0159】

ＭＩＰ−ＨＡは、ＩＰアドレス管理に対して責任を負う場合があり、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃが、異なるＡＳＮおよび／または異なるコアネットワークの間でローミングすることを可能にし得る。ＭＩＰ−ＨＡ２０８４は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、インターネット２０１０などのパケット交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、ＩＰ対応のデバイスとの間の通信を容易にし得る。ＡＡＡサーバ２０８６は、ユーザ認証に対して、および、ユーザサービスをサポートすることに対して責任を負う場合がある。ゲートウェイ２０８８は、他のネットワークとのインターワーキングを容易にし得る。たとえばゲートウェイ２０８８は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、ＰＳＴＮ２００８などの回線交換ネットワークへのアクセスを提供して、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃと、従前の陸線通信デバイスとの間の通信を容易にし得る。さらに、ゲートウェイ２０８８は、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃに、ネットワーク２０１２へのアクセスを提供し得、それらのネットワーク２０１２は、他のサービスプロバイダにより所有される、および／または動作させられる、他のワイヤードまたはワイヤレスネットワークを含み得る。

【0160】

図２０Ｅには示されないが、ＲＡＮ２００５は他のＡＳＮに接続され得、コアネットワーク２００９は他のコアネットワークに接続され得るということが認識されよう。ＲＡＮ２００５と他のＡＳＮとの間の通信リンクは、Ｒ４基準ポイントとして定義され得、そのＲ４基準ポイントは、ＲＡＮ２００５と他のＡＳＮとの間の、ＷＴＲＵ２００２ａ、２００２ｂ、２００２ｃのモビリティを調和させるためのプロトコルを含み得る。コアネットワーク２００９と他のコアネットワークとの間の通信リンクは、Ｒ５基準として定義され得、そのＲ５基準は、ホームコアネットワークと、訪問されるコアネットワークとの間のインターワーキングを容易にするためのプロトコルを含み得る。

【0161】

上記で説明されたプロセスは、コンピュータまたはプロセッサによる実行のためにコンピュータ可読メディアに組み込まれる、コンピュータプログラム、ソフトウェア、または、ファームウェアの形で実装され得る。コンピュータ可読メディアの例は、電子信号（ワイヤードまたはワイヤレス接続によって送信される）、および、コンピュータ可読記憶メディアを含む。コンピュータ可読記憶メディアの例は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取り外し可能ディスクなどの磁気メディア、磁気光学メディア、ならびに、ＣＤ−ＲＯＭディスクおよびデジタルバーサタイルディスク（ＤＶＤ）などの光学メディアを含むが、それらに制限されない。ソフトウェアとの関連の状態にあるプロセッサは、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または、任意のホストコンピュータでの使用のための無線周波数トランシーバを実装するために使用され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20A】

【図20B】

【図20C】

【図20D】

【図20E】