特開2022-23856複数レイヤビデオ符号化のためのコーデックアーキテクチャ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022023856
(43)【公開日】2022-02-08
(54)【発明の名称】複数レイヤビデオ符号化のためのコーデックアーキテクチャ
(51)【国際特許分類】
H04N 19/46 20140101AFI20220201BHJP
H04N 19/30 20140101ALI20220201BHJP
【ＦＩ】
H04N19/46
H04N19/30
【審査請求】有
【請求項の数】27
【出願形態】ＯＬ
(21)【出願番号】P 2021166188
(22)【出願日】2021-10-08
(62)【分割の表示】P 2019149152の分割
【原出願日】2013-07-09
(31)【優先権主張番号】61/734,264
(32)【優先日】2012-12-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/669,356
(32)【優先日】2012-07-09
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】イエ イエン
(72)【発明者】
【氏名】ジョージ ダブリュ．マクレラン
(72)【発明者】
【氏名】ヨン ホー
(72)【発明者】
【氏名】シウ シアオユー
(72)【発明者】
【氏名】ホー ユーウェン
(72)【発明者】
【氏名】ドン ジエ
(72)【発明者】
【氏名】ツァン バル
(72)【発明者】
【氏名】リュウ ウン
(57)【要約】
【課題】ビデオ符号化システム（ＶＣＳ）を実装するためのシステムを提供する。
【解決手段】ＶＣＳは、１または複数のレイヤ（たとえば、ベースレイヤ（ＢＬ）および／または１もしくは複数のエンハンスメントレイヤ（ＥＬ））を含むビデオ信号を受信し、たとえばピクチャレベルのレイヤ間予測プロセスを使用して、ＢＬピクチャを処理し、レイヤ間参照（ＩＬＲ）ピクチャにするように構成される。ＶＣＳは、処理されたＩＬＲピクチャまたはエンハンスメントレイヤ（ＥＬ）参照ピクチャの一方または両方を選択するように構成される。選択された（１または複数の）参照ピクチャはＥＬ参照ピクチャまたはＩＬＲピクチャのうちの一方を含む。ＶＣＳは、選択されたＩＬＲピクチャまたはＥＬ参照ピクチャのうちの１または複数を使用して現在のＥＬピクチャを予測し、処理されたＩＬＲピクチャをＥＬ復号済みピクチャバッファ内に記憶するように構成される（ＤＰＢ）。
【選択図】図１２
【解決手段】ＶＣＳは、１または複数のレイヤ（たとえば、ベースレイヤ（ＢＬ）および／または１もしくは複数のエンハンスメントレイヤ（ＥＬ））を含むビデオ信号を受信し、たとえばピクチャレベルのレイヤ間予測プロセスを使用して、ＢＬピクチャを処理し、レイヤ間参照（ＩＬＲ）ピクチャにするように構成される。ＶＣＳは、処理されたＩＬＲピクチャまたはエンハンスメントレイヤ（ＥＬ）参照ピクチャの一方または両方を選択するように構成される。選択された（１または複数の）参照ピクチャはＥＬ参照ピクチャまたはＩＬＲピクチャのうちの一方を含む。ＶＣＳは、選択されたＩＬＲピクチャまたはＥＬ参照ピクチャのうちの１または複数を使用して現在のＥＬピクチャを予測し、処理されたＩＬＲピクチャをＥＬ復号済みピクチャバッファ内に記憶するように構成される（ＤＰＢ）。
【選択図】図１２
【特許請求の範囲】
【請求項1】
ベースレイヤ（ＢＬ）符号化データ、エンハンスメントレイヤ（ＥＬ）符号化データ、およびレイヤ間予測（ＩＬＰ）情報を受信することであって、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別のネットワーク抽象化ユニットにおいてパケット化されている、ことと、
前記ＢＬ符号化データに基づいてＢＬピクチャを再構築することと、
前記ＩＬＰ情報に基づいてレイヤ間参照（ＩＬＲ）ピクチャを取得することと、
前記ＩＬＲピクチャおよび前記ＥＬ符号化データに基づいてＥＬピクチャを再構築することと
を備える方法。
前記ＢＬ符号化データに基づいてＢＬピクチャを再構築することと、
前記ＩＬＰ情報に基づいてレイヤ間参照（ＩＬＲ）ピクチャを取得することと、
前記ＩＬＲピクチャおよび前記ＥＬ符号化データに基づいてＥＬピクチャを再構築することと
を備える方法。
【請求項2】
前記ＩＬＰ情報は、アップサンプリングフィルタ情報を含む、請求項１の方法。
【請求項3】
前記ＩＬＰ情報は、ＩＬＰパラメータデータを含む、請求項１の方法。
【請求項4】
前記ＩＬＰ情報は、複数のネットワーク抽象化ユニットにおいてパケット化されており、前記ネットワーク抽象化ユニットのそれぞれは、ユニットタイプに関連付けられている、請求項１の方法。
【請求項5】
前記ＩＬＰ情報は、第１のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されているアップサンプリングフィルタ情報、第２のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の視差補償パラメータ、または第３のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の逆トーンマッピングパラメータのうちの少なくとも１つを含む、請求項１の方法。
【請求項6】
ビデオ信号を逆多重化し、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含む前記ネットワーク抽象化ユニットから前記ＩＬＰ情報を含む前記ネットワーク抽象化ユニットを分離することをさらに備える、請求項１の方法。
【請求項7】
前記再構築されたＥＬピクチャおよび前記ＩＬＲピクチャは、同じ時間インスタンスに対応する、請求項１の方法。
【請求項8】
前記ＩＬＲピクチャは、参照ＥＬピクチャをさらに含む参照ピクチャのセットに含まれており、前記ＥＬピクチャを再構築することは、
前記ＩＬＲピクチャを使用して前記ＥＬピクチャの第１の部分を予測することと、
前記参照ＥＬピクチャを使用して前記ＥＬピクチャの第２の部分を予測することと
を含む、請求項１の方法。
前記ＩＬＲピクチャを使用して前記ＥＬピクチャの第１の部分を予測することと、
前記参照ＥＬピクチャを使用して前記ＥＬピクチャの第２の部分を予測することと
を含む、請求項１の方法。
【請求項9】
ベースレイヤ（ＢＬ）符号化データ、エンハンスメントレイヤ（ＥＬ）符号化データ、およびレイヤ間予測（ＩＬＰ）情報を含むビデオ信号を受信し、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別のネットワーク抽象化ユニットにおいてパケット化されており、
前記ＢＬ符号化データに基づいてＢＬピクチャを再構築し、
前記ＩＬＰ情報に基づいてレイヤ間参照（ＩＬＲ）ピクチャを取得し、
前記ＩＬＲピクチャおよび前記ＥＬ符号化データに基づいてＥＬピクチャを再構築する ように構成されたプロセッサ
を備えたシステム。
前記ＢＬ符号化データに基づいてＢＬピクチャを再構築し、
前記ＩＬＰ情報に基づいてレイヤ間参照（ＩＬＲ）ピクチャを取得し、
前記ＩＬＲピクチャおよび前記ＥＬ符号化データに基づいてＥＬピクチャを再構築する ように構成されたプロセッサ
を備えたシステム。
【請求項10】
前記ＩＬＰ情報は、アップサンプリングフィルタ情報を含む、請求項９のシステム。
【請求項11】
前記ＩＬＰ情報は、ＩＬＰパラメータデータを含む、請求項９のシステム。
【請求項12】
前記再構築されたＥＬピクチャおよび前記ＩＬＲピクチャは、同じ時間インスタンスに対応する、請求項９のシステム。
【請求項13】
前記ＩＬＰ情報を含む前記ネットワーク抽象化ユニットは、第１のモードであり、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含む前記ネットワーク抽象化ユニットは、第２のモードである、請求項９のシステム。
【請求項14】
前記プロセッサに通信可能なように結合されたメモリをさらに備えた、請求項９のシステム。
【請求項15】
請求項１乃至８のいずれか一項に記載された方法をコンピュータシステムに実行させる命令を格納したコンピュータ可読記憶媒体。
【請求項16】
ビデオデータに関連付けられるエンハンスメントレイヤ（ＥＬ）符号化データを判定することと、
前記ビデオデータに関連付けられるベースレイヤ（ＢＬ）符号化データを判定することと、
前記ビデオデータに関連付けられるレイヤ間予測（ＩＬＰ）情報を判定することと、
前記ＢＬ符号化データ、前記ＥＬ符号化データおよび前記ＩＬＰ情報をビットストリームに含むビットストリームを生成することであって、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別の１または複数のネットワーク抽象化ユニットにおいてパケット化されている、ことと
を備える方法。
前記ビデオデータに関連付けられるベースレイヤ（ＢＬ）符号化データを判定することと、
前記ビデオデータに関連付けられるレイヤ間予測（ＩＬＰ）情報を判定することと、
前記ＢＬ符号化データ、前記ＥＬ符号化データおよび前記ＩＬＰ情報をビットストリームに含むビットストリームを生成することであって、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別の１または複数のネットワーク抽象化ユニットにおいてパケット化されている、ことと
を備える方法。
【請求項17】
前記ＩＬＰ情報は、アップサンプリングフィルタ情報を含む、請求項１６の方法。
【請求項18】
前記ＩＬＰ情報は、ＩＬＰパラメータデータを含む、請求項１６の方法。
【請求項19】
前記ＩＬＰ情報は、複数のネットワーク抽象化ユニットにおいてパケット化されており、前記複数のネットワーク抽象化ユニットのそれぞれは、ユニットタイプに関連付けられている、請求項１６の方法。
【請求項20】
前記ＩＬＰ情報は、第１のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されているアップサンプリングフィルタ情報、第２のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の視差補償パラメータ、または第３のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の逆トーンマッピングパラメータのうちの少なくとも１つを含む、請求項１６の方法。
【請求項21】
ビデオデータに関連付けられるエンハンスメントレイヤ（ＥＬ）符号化データを判定し、
前記ビデオデータに関連付けられるベースレイヤ（ＢＬ）符号化データを判定し、
前記ビデオデータに関連付けられるレイヤ間予測（ＩＬＰ）情報を判定し、
前記ＢＬ符号化データ、前記ＥＬ符号化データおよび前記ＩＬＰ情報をビットストリームに含むビットストリームを生成し、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別の１または複数のネットワーク抽象化ユニットにおいてパケット化されている
ように構成されたプロセッサ
を備えたシステム。
前記ビデオデータに関連付けられるベースレイヤ（ＢＬ）符号化データを判定し、
前記ビデオデータに関連付けられるレイヤ間予測（ＩＬＰ）情報を判定し、
前記ＢＬ符号化データ、前記ＥＬ符号化データおよび前記ＩＬＰ情報をビットストリームに含むビットストリームを生成し、前記ＩＬＰ情報は、前記ＢＬ符号化データおよび前記ＥＬ符号化データを含むネットワーク抽象化ユニットとは別の１または複数のネットワーク抽象化ユニットにおいてパケット化されている
ように構成されたプロセッサ
を備えたシステム。
【請求項22】
前記ＩＬＰ情報は、アップサンプリングフィルタ情報を含む、請求項２１のシステム。
【請求項23】
前記ＩＬＰ情報は、ＩＬＰパラメータデータを含む、請求項２１のシステム。
【請求項24】
前記ＩＬＰ情報は、複数のネットワーク抽象化ユニットにおいてパケット化されており、前記複数のネットワーク抽象化ユニットのそれぞれは、ユニットタイプに関連付けられている、請求項２１のシステム。
【請求項25】
前記ＩＬＰ情報は、第１のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されているアップサンプリングフィルタ情報、第２のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の視差補償パラメータ、または第３のユニットタイプのネットワーク抽象化ユニットにおいてパケット化されている１つもしくは複数の逆トーンマッピングパラメータのうちの少なくとも１つを含む、請求項２１のシステム。
【請求項26】
前記プロセッサに通信可能なように結合されたメモリをさらに備えた、請求項２１のシステム。
【請求項27】
請求項１６乃至２０のいずれか一項に記載された方法をコンピュータシステムに実行させる命令を格納したコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ符号化システム（ＶＣＳ）を実装するためのシステムおよび方法に関し、特に複数レイヤビデオ符号化のためのコーデックアーキテクチャに関する。
【0002】
（関連出願の相互参照）
本願は、２０１２年７月９日に出願された米国特許仮出願第６１／６９９，３５６号、および２０１２年１２月６日に出願された米国特許仮出願第６１／７３４，２６４号の利益を主張し、それらの内容を参照により本明細書に組み込む。
本願は、２０１２年７月９日に出願された米国特許仮出願第６１／６９９，３５６号、および２０１２年１２月６日に出願された米国特許仮出願第６１／７３４，２６４号の利益を主張し、それらの内容を参照により本明細書に組み込む。
【背景技術】
【0003】
マルチメディア技術および移動通信は、近年、大規模な成長と市場の成功を経験した。無線通信技術は、無線帯域幅を劇的に増大し、移動ユーザのためのサービス品質を改善した。たとえば、第３世代パートナーシッププロジェクト（３ＧＰＰ）ロングタームエボリューション（ＬＴＥ）標準は、第２世代（２Ｇ）および／または第３世代（３Ｇ）に比べてサービス品質を改善した。
【0004】
無線ネットワーク上で高い帯域幅が使用可能になったので、有線ウェブ上で使用可能なビデオおよびマルチメディアコンテンツは、ユーザが異なるサイズ、品質、および／または接続性（ｃｏｎｎｅｃｔｉｖｉｔｙ）能力を有する多種多様な移動デバイスからそのコンテンツに対する同等のオンデマンドアクセスを望むことを余儀なくしている。
【0005】
様々なビデオコンテンツをネットワーク上で使用可能にするために、１または複数のビデオ符号化および圧縮機構が使用される。ビデオ符号化システムは、デジタルビデオ信号を圧縮し、たとえばそのような信号の記憶の必要および／または送信帯域幅を削減するために使用される。１または複数のビデオ符号化標準に基づく様々なタイプのビデオ圧縮技術が使用される。これらの標準は、たとえばＨ．２６１、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６３、ＭＰＥＧ－４パート２、およびＨ．２６４／ＭＰＥＧ－４パート１０ ＡＶＣ、高効率映像符号化（ＨＥＶＣ）などを含む。ビデオ符号化標準の拡張、たとえばＨ．２６４（スケーラブルビデオ符号化（ＳＶＣ））、および／またはスケーラブルＨＥＶＣが使用される。
空間スケーラビリティ又はアスペクト比スケーラビリティの他の例として、ＢＬビデオのリターゲティングが実行される。リターゲティングは、２つのレイヤ間の空間スケーラビリティを確立するために使用される。例えば、リターゲティグは、ＥＬビデオの１つのピクチャ（ただし、必ずしも全部のピクチャを必要としない）に関連付けられた１つの空間領域に対する、ＢＬビデオの１つのピクチャ（ただし、必ずしも全部のピクチャを必要としない）に関連付けられた１つの空間領域に対応する。例えば、ＥＬビデオが拡大スクリーンＴＶ上に表示されるべきより高い解像度であり、および、ＢＬビデオが限定されたスクリーン解像度を伴ったモバイルデバイス上に表示されるべきより低い解像度であるとき、ＢＬビデオは、ＥＬビデオの一部（例えば、ＥＬピクチャの興味ある１つの領域）を表わす。水平スケーリングおよび／又は垂直スケーリングの量を変更することは、ＢＬ内の、例えばＢＬサンプルがＢＬ領域内に位置することに依存する、空間領域に適用されることである。リターゲティングは、アスペクト比スケーラビリティに利用される。例えば、ＢＬが４：３のアスペクト比であるときは、ＥＬが１６：９のアスペクト比である。ＢＬ領域内の主要オブジェクトジェクト（例えば、新しいアンカー）は、周囲領域がＥＬ内で１６：９のアスペクト比に整合するように水平方向にストレッチ（ｓｔｒｅｔｃｈ）されるようなときでも、水平方向および垂直方向に均一（例えば、等分）スケーリングを適用することによって４：３のアスペクト比に保存される。
空間スケーラビリティ又はアスペクト比スケーラビリティの他の例として、ＢＬビデオのリターゲティングが実行される。リターゲティングは、２つのレイヤ間の空間スケーラビリティを確立するために使用される。例えば、リターゲティグは、ＥＬビデオの１つのピクチャ（ただし、必ずしも全部のピクチャを必要としない）に関連付けられた１つの空間領域に対する、ＢＬビデオの１つのピクチャ（ただし、必ずしも全部のピクチャを必要としない）に関連付けられた１つの空間領域に対応する。例えば、ＥＬビデオが拡大スクリーンＴＶ上に表示されるべきより高い解像度であり、および、ＢＬビデオが限定されたスクリーン解像度を伴ったモバイルデバイス上に表示されるべきより低い解像度であるとき、ＢＬビデオは、ＥＬビデオの一部（例えば、ＥＬピクチャの興味ある１つの領域）を表わす。水平スケーリングおよび／又は垂直スケーリングの量を変更することは、ＢＬ内の、例えばＢＬサンプルがＢＬ領域内に位置することに依存する、空間領域に適用されることである。リターゲティングは、アスペクト比スケーラビリティに利用される。例えば、ＢＬが４：３のアスペクト比であるときは、ＥＬが１６：９のアスペクト比である。ＢＬ領域内の主要オブジェクトジェクト（例えば、新しいアンカー）は、周囲領域がＥＬ内で１６：９のアスペクト比に整合するように水平方向にストレッチ（ｓｔｒｅｔｃｈ）されるようなときでも、水平方向および垂直方向に均一（例えば、等分）スケーリングを適用することによって４：３のアスペクト比に保存される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
提供されているスケーラブル符号化機構は欠点を有しており、不十分である。
【0007】
そこで、本発明では、複数レイヤビデオ符号化のための改善されたコーデックアーキテクチャを提供する。
【課題を解決するための手段】
【0008】
ビデオ符号化システム（ＶＣＳ）を実装するためのシステム、方法、および手段が提供される。たとえば、ベースレイヤ（ＢＬ）コーダ、エンハンスメントレイヤ（ＥＬ）コーダ、レイヤ間予測（ＩＬＰ）処理、および管理ユニットなどを含むＶＣＳが、ビデオ信号を受信するために構成される。ビデオ信号は、１または複数のレイヤ（たとえば、ベースレイヤ（ＢＬ）および／または１または複数のエンハンスメントレイヤ（ＥＬ））を含む。ＶＣＳは、たとえばピクチャレベルのレイヤ間予測プロセスを使用して、ＢＬピクチャを処理してレイヤ間参照（ＩＬＲ）ピクチャにする。処理されたＩＬＲピクチャは、非コロケーテッドＩＬＲピクチャである。
【0009】
ＢＬピクチャを処理してＩＬＲピクチャにすることは、現在のＥＬピクチャの予測に適したフォーマットにＢＬピクチャをフォーマットすることを含む。このフォーマットは、ＢＬコーデックとＥＬコーデックの間のスケーラビリティのタイプに依存する。ＢＬコーデックとＥＬコーデックとの間のスケーラビリティのタイプは、空間スケーラビリティ、クロマフォーマットスケーラビリティ、品質スケーラビリティ、空間スケーラビリティ、ビュースケーラビリティ、またはビット深さスケーラビリティのうちの１または複数を含む。フォーマットすることは、アップサンプリング、ノイズ除去、復元、またはリターゲティング、視差補償、または逆トーンマッピングのうちの１または複数を含む。
【0010】
ＶＣＳは、処理されたＩＬＲピクチャまたはエンハンスメントレイヤ（ＥＬ）参照ピクチャの一方または両方を選択する。選択された（１または複数の）参照ピクチャは、ＥＬ参照ピクチャまたはＩＬＲピクチャのうちの一方を含む。複数の選択された参照ピクチャは、共通の時間インスタンスに対応する。
【0011】
ＶＣＳは、選択されたＩＬＲピクチャまたはＥＬ参照ピクチャのうちの１または複数を使用して現在のＥＬピクチャを予測する。ＶＣＳは、処理されたＩＬＲピクチャをＥＬ復号済みピクチャバッファ内に記憶する。ＶＣＳは、ＢＬからＢＬ情報を抽出する。ＢＬ情報は、ＢＬモード情報またはＢＬ動き情報のうちの１または複数を含む。ＶＣＳは、抽出されたＢＬ情報を含む情報に基づいてＢＬピクチャを処理する。ＶＣＳは、ＢＬ情報を第１のフォーマットから第２のフォーマットに変換し、変換されたＢＬ情報をＥＬ符号化において使用する。第１のフォーマットはＢＬコーデックに関し、第２のフォーマットはＥＬコーデックに関し、第１のフォーマットは第２のフォーマットとは異なる。
【0012】
ＶＣＳは、ＩＬＰ情報をパケット化し、そのＩＬＰ情報を、たとえばネットワーク抽象化レイヤ（ＮＡＬ）ユニットを介して送る。ＩＬＰ情報は、たとえば、アップサンプリングフィルタ情報、アップサンプリングのための１または複数の係数、ノイズ除去のための１または複数の係数、視差補償パラメータの１または複数、逆トーンマッピングパラメータの１または複数などを含む。
【図面の簡単な説明】
【0013】
より詳細な理解を、添付の図面と共に、例として与えられている以下の説明から得ることができる。
【0014】
【図1】スケーラブルビデオエンコーディングシステムの一例を示す図である。
【図2】たとえば左眼ビューおよび右眼ビューを有する立体ビデオを符号化するためにマルチビュービデオ符号化（ＭＶＣ）を使用する予測構造の一例を示す図である。
【図3】２レイヤスケーラブルビデオエンコーダのアーキテクチャの一例を示す図である。
【図4】２レイヤスケーラブルビデオデコーダのアーキテクチャの一例を示す図である。
【図5】ブロックベースの単一レイヤビデオエンコーダの一例を示す図である。
【図6】ブロックベースの単一レイヤビデオデコーダの一例を示す図である。
【図7】ピクチャレベルのレイヤ間予測（ＩＬＰ）サポートを有する２レイヤスケーラブルエンコーディングシステムの一例を示す図である。
【図8】ピクチャレベルのＩＬＰサポートを有する２レイヤスケーラブル復号システムの一例を示す図である。
【図9】エンハンスメントレイヤ符号化に対応した時間予測およびレイヤ間予測を有する２レイヤシステムの一例を示す図である。
【図10】ＩＬＰ処理および管理ユニットの一例を示す図である。
【図11】レイヤ間動きベクトル予測を使用する例示的な予測構造の図である。
【図12】拡張ＩＬＰ処理および管理ユニットを使用するスケーラブル符号化システムの一例を示す図である。
【図13A】１または複数の開示されている実施形態が実装される例示的な通信システムのシステム図である。
【発明を実施するための形態】
【0015】
次に、例示的な実施形態の詳細な説明について、様々な図を参照して述べる。この説明は、可能な実装の詳細な例を提供するが、これらの詳細は、例示的なものであり、本願の範囲を決して限定しないものとすることに留意されたい。さらに、これらの図は流れ図を示すことがあるが、流れ図は例示的なものとする。他の実施形態が使用されることがある。メッセージの順序は、適切な場合、変わることがある。メッセージは、必要とされない場合省略されることがあり、追加のフローが追加されることがある。
【0016】
スケーラブルビデオ符号化は、異種ネットワークの上で、異なる能力を有するデバイス上で動作するビデオアプリケーションについて、体験の品質を改善する。スケーラブルビデオ符号化は、最高の表現（たとえば、時間分解能、空間分解能、品質など）で一度に信号をエンコードするが、クライアントデバイス上で動作するいくつかのアプリケーションによって必要とされる特定のレートおよび表現に応じて、ビデオストリームのサブセットから復号することを可能にする。スケーラブルビデオ符号化は、非スケーラブルな解決策に比べて帯域幅および／またはストレージを節約する。国際ビデオ標準、たとえばＭＰＥＧ－２ビデオ、Ｈ．２６３、ＭＰＥＧ４ビジュアル、Ｈ．２６４などは、スケーラビリティのモードをサポートするツールおよび／またはプロファイルを有する。
【0017】
図１は、ブロックベースのハイブリッド（ｈｙｂｒｉｄ）スケーラブルビデオエンコーディングシステムの一例を示す図である。レイヤ１（たとえば、ベースレイヤ）によって表される空間／時間信号分解能は、入力ビデオ信号をダウンサンプリングすることによって生成される。量子化器の適切な設定（たとえば、Ｑ１）が、ベース情報のある品質レベルに通じる。より高いレイヤ分解能レベルの１または複数（たとえば全部）の近似であるベースレイヤ再構築Ｙ１は、たとえば後続のより高いレイヤをより効率的に符号化するために後続のレイヤをエンコーディング／復号する際に使用される。アップサンプリングユニット１０１０および／または１０１２は、レイヤ２の分解能へのベースレイヤ再構築信号のアップサンプリングを実施する。ダウンサンプリングおよびアップサンプリングは、レイヤのそれぞれ（たとえば、１、２．．．Ｎ）全体を通じて実施される。ダウンサンプリング比およびアップサンプリング比は、２つの所与のレイヤ間のスケーラビリティの次元に応じて異なる。
【0018】
図１に示されているように、任意の所与のより高いレイヤｎ（２≦ｎ≦Ｎ）について、アップサンプリングされた、より低いレイヤ信号（たとえば、レイヤｎ－１信号）を現在のレイヤｎ信号から減算することによって、差分信号が生成される。得られたこの差信号がエンコードされる。２つのレイヤ（たとえば、ｎ１およびｎ２）によって表されるビデオ信号が同じ空間分解能を有する場合、対応するダウンサンプリング動作およびアップサンプリング動作がバイパスされる。任意の所与のレイヤｎ（１≦ｎ≦Ｎ））または複数のレイヤが、より高いレイヤから復号された情報を使用することなしに復号される。たとえば、図１のシステムによって使用される、ベースレイヤを除くレイヤについての残差信号（たとえば、２つのレイヤ間の差信号）の符号化に依拠することは、視覚的アーチファクトを引き起こす。視覚的アーチファクトは、残差信号を量子化および正規化しそのダイナミックレンジを制限したいと望むこと、ならびに／または残差信号の符号化中に実施される追加の量子化による。より高いレイヤのエンコーダの１または複数が、エンコーディングモードとして動き推定および／または動き補償予測を採用する。残差信号における動き推定および／または動き補償は、従来の動き推定とは異なるものであり、たとえば視覚的アーチファクトをより受けやすい。より洗練された残差量子化、ならびに残差信号を量子化および正規化しそのダイナミックレンジを制限したいと望むことと、残差の符号化中に実施される追加の量子化との間の統合量子化が使用され、たとえばそのような視覚的アーチファクトを最小限に抑えるためにシステムの複雑さを増大する。図１のシステムは、他のレイヤ間予測モードを考慮せず、これは達成される圧縮効率のレベルを制限する。
【0019】
スケーラブルビデオ符号化（ＳＶＣ）は、部分的なビットストリームの送信および復号を可能にし、たとえば部分的なビットストリームのレートを与えられた場合、再構築品質（たとえば、より高い再構築品質）を保持しながら時間分解能もしくは空間分解能がより低い、または忠実度が低減されたビデオサービスを提供するＨ．２６４の拡張である。ＳＶＣは、ＳＶＣデコーダが復号されるレイヤで１つの動き補償ループをセットアップし、他のより低いレイヤで動き補償ループをセットアップしないシングルループ復号を含む。たとえば、ビットストリームが２つのレイヤ、すなわちレイヤ１（たとえば、ベースレイヤ）およびレイヤ２（たとえば、エンハンスメントレイヤ）を含む場合、デコーダは、復号済みピクチャバッファおよび動き補償予測を設定することによってレイヤ２ビデオを再構築する（たとえば、レイヤ１のためにではなくレイヤ２のために、すなわちレイヤ２はレイヤ１に依存する）。ＳＶＣは、より低いレイヤからの参照ピクチャが完全に再構築されることを必要とせず、これは計算量、およびデコーダで使用されるメモリを削減する。シングルループ復号は、制約されたレイヤ間テクスチャ予測によって達成される。所与のレイヤ内のブロック（たとえば、現在のブロック）について、対応する低いレイヤブロックがイントラモード（たとえば、制限されたイントラ予測）で符号化される場合、より低いレイヤからの空間テクスチャ予測が使用される。より低いレイヤブロックは、イントラモードで符号化されるとき、動き補償動作および復号済みピクチャバッファなしで再構築される。ＳＶＣは、追加のレイヤ間予測技法、たとえば動きベクトル予測、残差予測、モード予測などを使用する。ＳＶＣのシングルループ復号機能が、計算量および／またはデコーダで使用されるメモリを削減する。シングルループ復号は、十分な性能を達成するためにブロックレベルのレイヤ間予測実装に依拠するところが大きいことにより、実装の複雑さを増大する。エンコーダ設計および計算の複雑さは、たとえばシングルループ復号の制約を課すことによって受ける性能の犠牲を補償するために、所望の性能が達成されるように増大される。インターレースされたコンテンツのスケーラブルな符号化は、十分な性能でＳＶＣによってサポートされず、これは、放送業界によるその採用に影響を及ぼす。
【0020】
マルチビュービデオ符号化（ＭＶＣ）は、ビュースケーラビリティを提供するＨ．２６４の例示的な拡張である。ビュースケーラビリティは、従来の２Ｄビデオを再構築するためにベースレイヤビットストリームが復号され、同じビデオ信号の他のビュー表現を再構築するために追加のエンハンスメントレイヤが復号されることを意味する。１または複数のビュー（たとえば、すべてのビュー）が共に組み合わされ、適正な３Ｄディスプレイによって表示されたとき、ユーザは、適正な奥行き知覚で３Ｄビデオを体験する。図２は、左眼ビュー（たとえば、レイヤ１）および右眼ビュー（たとえば、レイヤ２）を有する立体ビデオを符号化するためにＭＶＣを使用する予測構造の一例を示す図である。図２における例によって示されているように、左眼ビュービデオは、ＩＢＢＰ予測構造で符号化される。右眼ビュービデオは、ＰＢＢＰ予測構造で符号化される。たとえば、右眼ビューでは、左眼ビューにおける第１のＩピクチャ２００２と共に第１のコロケーテッドピクチャが、Ｐピクチャ２００４として符号化される。右眼ビューにおける他のピクチャのそれぞれは、たとえば右眼ビューにおける時間参照からの第１の予測、および左眼ビューにおけるレイヤ間参照からの第２の予測で、Ｂピクチャとして符号化される。ＭＶＣは、シングルループ復号をサポートしない。たとえば、図２に示されているように、右眼ビュー（たとえば、レイヤ２）ビデオの復号は、左眼ビュー（たとえば、レイヤ１）におけるピクチャ全体が使用可能であることを必要とし、これは、両ビュー／レイヤにおける動き補償ループをサポートする。
【0021】
ＭＶＣは、高レベルのシンタックス変更を含み（たとえば、含むにすぎず）、Ｈ．２６４／ＡＶＣに対するブロックレベル変更を含まない。たとえば、基礎となるＭＶＣエンコーダ／デコーダ論理が同じままであり、重複するので、スライス／ピクチャレベルでの参照ピクチャ（たとえば、参照ピクチャだけ）がＭＶＣを可能にするように正しく構成される。ＭＶＣは、複数のビューにわたってレイヤ間予測を実施するように図２の例を拡張することによって、２つ以上のビューの符号化をサポートする。
【0022】
カラー動画像データ圧縮標準規格（ＭＰＥＧ）フレーム互換（ＭＦＣ）符号化が符号化技法として使用される。３Ｄコンテンツは、１または複数のビュー、たとえば左眼ビューおよび右眼ビューを含む立体３Ｄビデオである。立体３Ｄコンテンツの送達は、２つのビューを１つのフレームにパック／多重化し、パックされたビデオをコーデック（たとえば、Ｈ．２６４／ＡＶＣ）で圧縮および送信することによって達成される。受信機側では、復号後、フレームが開けられ、２つのビューとして表示される。これらのビューは、時間領域および／または空間領域内で多重化される。ビューが空間領域内で多重化されるとき、２つのビューは、ある係数（たとえば、２倍）によって空間的にダウンサンプリングされ、たとえば同じピクチャサイズを維持するために、様々な配置によってパックされる。たとえば、ダウンサンプリングされた左眼ビューをピクチャの左半分に、ダウンサンプリングされた右眼ビューをピクチャの右半分にして、ピクチャが配置される。他の配置は、上下、ラインごと、市松模様などを含む。フレーム互換３Ｄビデオを達成するために使用される特定の配置は、配置ＳＥＩメッセージをパックするフレームによって搬送される。空間ダウンサンプリングは、ビュー内にエイリアシングを引き起こし、３Ｄビデオの視覚的品質およびユーザ体験を低減する。フレーム互換（たとえば、同じフレーム内にパックされた２つのビュー）ベースレイヤビデオに対するスケーラブルな拡張を提供すること、および／または１または複数のエンハンスメントレイヤを提供し、改善された３Ｄ体験のために完全な分解能を回復することに重点が置かれる。それは３Ｄビデオ送達を提供することを対象とするが、完全分解能ＭＦＣを可能にする基礎となる技術は、空間スケーラビリティ技術に関連付けられる。
【0023】
ＨＥＶＣのスケーラブルなエンハンスメントが提供される。標準スケーラビリティは、ベースレイヤがある標準、たとえばＨ．２６４／ＡＶＣまたはＭＰＥＧ２でエンコードされ、一方、その１または複数のエンハンスメントレイヤは、別の標準、たとえばＨＥＶＣ標準を使用して符号化されるときのスケーラビリティのタイプを指す。標準スケーラビリティは、以前の標準を使用してエンコードされたレガシコンテンツのための上位互換性を提供し、１または複数のエンハンスメントレイヤを有するレガシコンテンツの品質を向上する。
【0024】
３Ｄビデオ符号化（３ＤＶ）が提供される。３ＤＶは、自動立体アプリケーションを標的とする１または複数の異なるビュー機能を提供する。自動立体ディスプレイおよびアプリケーションは、人が面倒な眼鏡なしに３Ｄを体験することを可能にする。眼鏡なしに良好な３Ｄ体験を達成するために、２つ以上のビューが使用される。２つ以上のビュー（たとえば、９個のビューまたは１０個のビュー）を符号化することはコストがかかる。３ＤＶは、数個のビュー（たとえば、２つまたは３つのビュー）を共に比較的大きな視差で、および／またはビューの奥行き情報を提供する１または複数の奥行きマップで符号化するハイブリッド（ｈｙｂｒｉｄ）手法を使用する。これは、マルチビュープラス奥行き（ＭＶＤ）と呼ばれる。ディスプレイ側では、符号化されたビューおよび奥行きマップが復号される。残りのビューは、ビュー合成技術を使用して、復号されたビューおよびそれらの奥行きマップを使用して生成される。３ＤＶは、様々な実装を使用し、これらのビューおよび奥行きマップを符号化し、たとえば、それだけには限らないがＨ．２６４／ＡＶＣ、ＭＶＣ、ＨＥＶＣなど異なる標準の組合せを使用してそれらを符号化する。３ＤＶは、ある標準（たとえば、Ｈ．２６４／ＡＶＣ）でベースレイヤを符号化し、別の標準（たとえば、ＨＥＶＣ）でエンハンスメントレイヤの１または複数を符号化する。
【0025】
表１は、異なるタイプのスケーラビリティの一例を、それらをサポートする対応する標準と共に提供する。ビット深さスケーラビリティおよびクロマフォーマットスケーラビリティが、主に専門家用のビデオアプリケーションによって使用されるビデオフォーマット（たとえば、８ビットビデオより高いもの、およびＹＵＶ４：２：０より高いクロマサンプリングフォーマット）に結び付けられる。アスペクト比スケーラビリティが提供されてもよい。
【0026】
【表1】
【0027】
スケーラブルビデオ符号化は、ベースレイヤビットストリームを使用してビデオパラメータの第１のセットに関連付けられた第１のレベルのビデオ品質を提供する。スケーラブルビデオ符号化は、１または複数のエンハンスメントレイヤビットストリームを使用して拡張パラメータの１または複数のセットに関連付けられた１または複数のレベルのより高い品質を提供する。ビデオパラメータのセットは、空間分解能、フレームレート、再構築されたビデオ品質（たとえば、ＳＮＲ、ＰＳＮＲ、ＶＱＭ、視覚的品質などの形態）、３Ｄ機能（たとえば、２つ以上のビューを有する）、輝度およびクロマビット深さ、クロマフォーマット、および基礎となる単一レイヤ符号化標準のうちの１または複数を含む。表１に示されているように、異なるユースケースで異なるタイプのスケーラビリティが必要とされる。本明細書で論じられているように、スケーラビリティ符号化アーキテクチャは、１または複数のスケーラビリティをサポートするように構成される共通の構造を提供する。スケーラブル符号化アーキテクチャは、最小限の構成努力で異なるスケーラビリティをサポートするように柔軟である。スケーラブル符号化アーキテクチャは、ブロックレベルの動作への変更を必要としない少なくとも１つの好ましい動作モードを含み、その結果、符号化論理（たとえば、エンコーディングおよび／または復号論理）は、スケーラブル符号化システム内で最大限に再使用される。たとえば、ピクチャレベルのレイヤ間処理および管理ユニットに基づくスケーラブル符号化アーキテクチャが提供され、この場合、レイヤ間予測がピクチャレベルで実施される。
【0028】
図３は、２レイヤスケーラブルビデオエンコーダの例示的なアーキテクチャの図である。たとえば、エンハンスメントレイヤビデオ入力およびベースレイヤビデオ入力は、空間スケーラビリティを達成するダウンサンプリングプロセスによって互いに対応する。図３に示されているように、エンハンスメントレイヤビデオは、ダウンサンプラ３００２を使用してダウンサンプリングされる。ベースレイヤエンコーダ３００６（たとえば、この例ではＨＥＶＣエンコーダ）は、ベースレイヤビデオ入力をブロックごとにエンコードし、ベースレイヤビットストリームを生成する。図５は、図３のベースレイヤエンコーダとして使用される例示的なブロックベースの単一レイヤビデオエンコーダを示す図である。図５に示されているように、空間予測５０２０（たとえば、イントラ予測と呼ばれる）および／または時間予測５０２２（たとえば、インター予測および／または動き補償予測と呼ばれる）などの技法を使用し、効率的な圧縮を達成し、および／または入力ビデオ信号を予測する。エンコーダは、予測の最も適切な形態を選ぶモード判断論理５００２を有する。エンコーダ判断論理は、レートと歪みの考慮すべき点の組合せに基づく。エンコーダは、変換ユニット５００４および量子化ユニット５００６を使用して、予測残差（たとえば、入力信号と予測信号との差信号）をそれぞれ変換および量子化する。量子化された残差は、モード情報（たとえば、イントラ予測またはインター予測）および予測情報（たとえば、動きベクトル、参照ピクチャインデックス、イントラ予測モードなど）と共に、エントロピーコーダ５００８でさらに圧縮され、出力ビデオビットストリームにパックされる。また、エンコーダは、量子化された残差に（例えば、逆量子化ユニット５０１０を使用して）逆量子化および（例えば、逆変換ユニット５０１２を使用して）逆変換を適用し、再構築された残差を得る。エンコーダは、再構築されたビデオ信号を予測信号５０１４に加算する。再構築されたビデオ信号は、ループフィルタプロセス５０１６（たとえば、デブロッキングフィルタ、サンプル適応オフセット、および／または適応ループフィルタを使用する）を通じて、将来のビデオ信号を予測するために使用されるように参照ピクチャストア５０１８内に記憶される。
【0029】
本明細書では、参照ピクチャストアという用語は、復号済みピクチャバッファまたはＤＰＢという用語と交換可能に使用される。図６は、図５のエンコーダによって生成されたビデオビットストリームを受信し、表示するべきビデオ信号を再構築する例示的なブロックベースの単一レイヤデコーダのブロック図である。このビデオデコーダでは、ビットストリームは、エントロピーデコーダ６００２によってパースされる。残差係数が（例えば、逆量子化ユニット６００４を使用して）逆量子化および（例えば、逆変換ユニット６００６を使用して）逆変換され、再構築された残差を得る。符号化モードおよび予測情報を使用し、予測信号を得る。これは、空間予測６０１０および／または時間予測６００８を使用して達成される。予測信号と再構築された残差は共に加算され、再構築されたビデオを得る。さらに、再構築されたビデオは、ループフィルタリング（例えば、ループフィルタ６０１４を使用して）を通る。次いで、再構築されたビデオは、表示されるように、および／または将来のビデオ信号を復号するために使用されるように、参照ピクチャストア６０１２内に記憶される。
【0030】
図３の例示的なスケーラブルエンコーダに示されているように、エンハンスメントレイヤでは、エンハンスメントレイヤ（ＥＬ）エンコーダ３００４が、より高い空間分解能（および／またはより高い値の他のビデオパラメータ）のＥＬ入力ビデオ信号を取る。ＥＬエンコーダ３００４は、ベースレイヤビデオエンコーダ３００６と実質的に同様に、たとえば圧縮を達成するために空間予測および／または時間予測を使用して、ＥＬビットストリームを生成する。本明細書ではレイヤ間予測（ＩＬＰ）（たとえば、図３における陰影付き矢印によって示されているもの）と呼ばれる追加の形態の予測が、エンハンスメントレイヤエンコーダにおいて、その符号化性能を改善するために使用可能である。現在のエンハンスメントレイヤ内の符号化されたビデオ信号に基づいて予測信号を導出する空間予測および時間予測とは異なり、レイヤ間予測は、ベースレイヤ（および／または、スケーラブルシステム内に２つ以上のレイヤがあるとき他のより低いレイヤ）からの符号化されたビデオ信号に基づいて予測信号を導出する。少なくとも２つの形態のレイヤ間予測、すなわちピクチャレベルのＩＬＰおよびブロックレベルのＩＬＰが、スケーラブルシステム内に存在する。ピクチャレベルのＩＬＰおよびブロックレベルのＩＬＰについては本明細書で論じられている。ビットストリームマルチプレクサ（たとえば、図３におけるＭＵＸ３０１４）が、ベースレイヤビットストリームとエンハンスメントレイヤビットストリームを共に組み合わせ、１つのスケーラブルなビットストリームを生成する。
【0031】
図４は、２レイヤスケーラブルビデオデコーダの例示的なアーキテクチャのブロック図である。図４の２レイヤスケーラブルビデオデコーダのアーキテクチャは、図３におけるスケーラブルエンコーダに対応する。たとえば、デマルチプレクサ（たとえば、ＤＥＭＵＸ４００２）は、スケーラブルなビットストリームをベースレイヤビットストリームとエンハンスメントレイヤビットストリームに分離する。ベースレイヤデコーダ４００６は、ベースレイヤビットストリームを復号し、ベースレイヤビデオを再構築する。エンハンスメントレイヤデコーダ４００４は、エンハンスメントレイヤビットストリームを復号する。エンハンスメントレイヤデコーダは、現在のレイヤからの情報、および／または１または複数の従属レイヤ（たとえば、ベースレイヤ）からの情報を使用してそれを行う。たとえば、１または複数の従属レイヤからのそのような情報は、レイヤ間処理を通り、レイヤ間処理は、ピクチャレベルのＩＬＰおよび／またはブロックレベルのＩＬＰが使用されるとき行われる。図３および図４に示されていないが、ＭＵＸ３０１４でベースレイヤビットストリームおよびエンハンスメントレイヤビットストリームと共に追加のＩＬＰ情報が多重化されてもよい。ＩＬＰ情報は、ＤＥＭＵＸ４００２によって逆多重化される。
【0032】
図７は、ピクチャレベルのＩＬＰサポートを有する例示的な２レイヤスケーラブル符号化システムである。図７におけるＢＬエンコーダ７００６（たとえば、ＨＥＶＣエンコーダ）は、それだけには限らないが図５を参照して論じたものなど、空間予測および／または時間予測の組合せを使用してＢＬビデオ入力を復号する。ＢＬエンコーダは、再構築されたピクチャを記憶するためにベースレイヤＤＰＢ７０１０を確立し、たとえば時間動き補償予測を通じて、入力ビデオ信号の予測を実施する。エンハンスメントレイヤでは、ＥＬエンコーダ７００４は、ＢＬエンコーダ７００６と実質的に同様に動作する。ＥＬエンコーダによる入力ＥＬビデオの予測のための参照ピクチャを提供するエンハンスメントレイヤＤＰＢ７００８は、現在のエンハンスメントレイヤからの参照ピクチャ、および／または１または複数の従属レイヤ（たとえば、図７に示されているＢＬ ＤＰＢ７０１０）からの参照ピクチャを含む。ＢＬ ＤＰＢからの参照ピクチャは、ＥＬビデオを予測するために使用される前にレイヤ間予測処理および管理ユニット７０１２によって処理される。レイヤ間予測処理および管理ユニット７０１２は、それらを使用してＥＬビデオを予測する前にＢＬ ＤＰＢ７０１０からのピクチャを処理する。ＩＬＰ処理および管理ユニット７０１２は、ＢＬ ＤＰＢ７０１０内に記憶された１または複数の参照ピクチャを処理し、エンハンスメントレイヤビデオの予測に適したフォーマットにする。ＩＬＰ処理および管理ユニット７０１２は、処理された参照ピクチャを管理し、処理されたピクチャのどれがＥＬエンコーダ７００４によってＥＬビデオのための予測として使用されるか適応的に判断する。
【0033】
ＩＬＰ処理および管理ユニットは、ＢＬ ＤＰＢ内に記憶された参照ピクチャを処理し、エンハンスメントレイヤビデオの予測に適したフォーマットにする。この処理の性質は、ＢＬとＥＬの間のスケーラビリティのタイプに基づく。たとえば、ＢＬビデオとＥＬビデオが異なる空間分解能のものである場合、この処理は、ＢＬとＥＬの空間分解能を位置合わせするためにアップサンプリングを含む。この処理は、アップサンプリングプロセスで使用されるパラメータを搬送する。たとえば、ＩＬＰ処理および管理ユニット７０１２は、アップサンプリングフィルタの事前定義されたセットを確立する。ＩＬＰ処理および管理ユニット７０１２は、ＢＬ ＤＰＢ内のピクチャをアップサンプリングするために事前定義されたアップサンプリングフィルタの１または複数を選び、ビットストリーム内で１または複数の対応するフィルタインデックスを送る。たとえば、デコーダは、同じアップサンプリングプロセスを実施する。ＩＬＰ処理および管理ユニットは、（たとえば、ＥＬビデオをより効果的に予測し、より好ましいレート歪み特性を生成するためにアップサンプリングされた参照が使用されるという意味で）使用するのに有利である１または複数のアップサンプリングフィルタを導出する（たとえば、適応的に導出する）。適応アップサンプリングフィルタが使用されるとき、フィルタ係数およびフィルタタップサイズがビットストリームに含まれる。
【0034】
ＳＮＲまたは品質スケーラビリティの別の例では、ＢＬビデオとＥＬビデオは、同じ分解能を有する。ＢＬビデオは、より粗い量子化（たとえば、より低い品質を有するより低いビットレート）で符号化され、一方、ＥＬビデオは、より細かい分解能（たとえば、より高い品質を有するより高いビットレート）で符号化される。ＩＬＰ処理および管理ユニット７０１２は、ＢＬ ＤＰＢ７０１０内の参照ピクチャに対してノイズ除去および／または画像復元タイプの操作を実施する。そのようなノイズ除去または復元操作は、それだけには限らないが適応フィルタ（例えば、最小２乗またはＬＳ技法に基づく）、サンプル適応オフセット（ＳＡＯ）（例えば、ＨＥＶＣによってサポートされる）、および／または、たとえば量子化ノイズを低減することを対象とする他のタイプのノイズ除去フィルタを含む。ノイズ除去または復元操作で使用される対応するパラメータは、デコーダに対してシグナリングされる。そのようなノイズ除去または復元技法は、空間スケーラビリティの場合について予測の有効性を改善するために、アップサンプリングプロセスと組み合わされる。図７に示されているように、符号化されたＥＬビットストリーム、符号化されたＢＬビットストリーム、およびＩＬＰ情報は、スケーラブルなＨＥＶＣビットストリームに多重化される（たとえば、ＭＵＸ７０１４）。
【0035】
ビュースケーラビリティの一例として、ＢＬビデオとＥＬビデオは、立体３Ｄビデオの２つのビューを表す。ＢＬビデオが一方のビューを表し、ＥＬビデオは、他方の相補的なビューを表す。ＩＬＰ処理および管理ユニットは、視差補償をＢＬ ＤＰＢ内の参照ピクチャに対して適用し、それらがＥＬビデオのための効果的な予測信号になるようにする。デコーダが同じ視差補償処理を実施するために、視差補償中に使用されたパラメータ（たとえば、アフィン変換が使用される場合、アフィン変換パラメータ、および／またはワーピングが使用される場合、ワーピングパラメータ）がビットストリーム内でシグナリングされる。
【0036】
表２は、ＩＬＰ処理および管理ユニットが実施する機能の例、および特定の機能が使用される対応するスケーラビリティタイプのリストを示す。
【0037】
【表2】
【0038】
ＩＬＰ処理および管理ユニットは、処理された参照ピクチャを管理し、参照ピクチャのどれがＥＬエンコーダによって予測として使用されるか判断する（たとえば、適応的に判断する）。ＩＬＰ処理および管理ユニットは、処理されたＩＬＲピクチャをいくつ、どれを現在のエンハンスメントレイヤピクチャの予測のために使用するか決定する。図９は、エンハンスメントレイヤ符号化に対応した時間予測およびレイヤ間予測を有する２レイヤシステムの一例を示す図である。時間予測については、図９における予測構造は、階層Ｂ予測と呼ばれる。ＥＬピクチャについては、その参照ピクチャは、時間領域内の参照ピクチャ、ＢＬ内のそのコロケーテッドピクチャ、および／またはコロケーテッドＢＬピクチャの時間参照ピクチャの組合せである。たとえば、ピクチャＥＬ２ ９００は、時間参照（たとえば、ＥＬ０ ９００４および／またはＥＬ４ ９００８）および／またはレイヤ間参照（ＢＬ２ ９０１０、ＢＬ０ ９００２、ＢＬ４ ９０１２）から予測される。レイヤ間参照（ＢＬ２、ＢＬ０、ＢＬ４）の集まりが、ＥＬ２ピクチャ９００６を予測するために使用される前にＩＬＰ処理および管理ユニットによって処理される。本明細書に記載されているように、ＩＬＰ処理は、ＢＬ参照ピクチャを処理し、ＥＬに適したフォーマット（たとえば、適した空間分解能、ビット深さなど）にし、および／または、たとえばノイズ除去および／または復元をベースレイヤピクチャに対して適用することによってＩＬＰ参照の予測品質を改善する。
【0039】
処理されたＩＬＲピクチャは、効果的な予測信号を提供する。エンハンスメントレイヤ内のより多くの参照から選ぶことは、問題を引き起こす。たとえば、ブロックレベルでは、予測信号を得るためにどの参照ピクチャが選択されるかを示すためのシグナリングオーバーヘッドが増大する。また、参照ピクチャの広範囲のセット上の動き推定が実施されるとき、エンコーディングの複雑さが増大する。参照ピクチャの選択および管理により、複雑さの増大なしに効率的なスケーラブル符号化がもたらされる。
【0040】
図１０は、例示的なＩＬＰ処理および管理ユニットの図である。時間インスタンス「ｔ」では、ベースレイヤコロケーテッドピクチャＢＬｔ１０５４は、ＢＬ ＤＰＢ１０５６からのその参照ピクチャＢＬｔ－１、ＢＬｔ－２、およびＢＬｔ＋１が処理され、ＩＬＰｔ、ＩＬＰｔ－１、ＩＬＰｔ－２、ＩＬＰｔ＋１になる。時間参照ＥＬｔ－１、ＥＬｔ－２、およびＥＬｔ＋１を有するこれらのＩＬＰ参照は、ＩＬＰ管理ユニット１０６４によって調べられる。サブセットが選択されてもよい。図１０の例では、選択された参照ピクチャは、非コロケーテッドレイヤ間参照ピクチャ（たとえば、ＩＬＰｔ＋１ １０７０）を含む。他の例として、選択された参照ピクチャは、同じ時間インスタンスに対応する複数の参照ピクチャ（たとえば、ＩＬＰｔ＋１ １０７０およびＥＬｔ＋１ １０６８）を含んでもよい。
【0041】
たとえば、ＩＬＰ管理ユニット１０６４は、現在のＥＬピクチャＥＬｔと、時間参照およびレイヤ間参照（ＥＬｔ－１、ＥＬｔ－２、ＥＬｔ＋１、ＩＬＰｔ、ＩＬＰｔ－１、ＩＬＰｔ－２、ＩＬＰｔ＋１）の組み合わされたセット内の参照の１または複数との間で動き推定（たとえば、整数画素動き推定）を実施する。ＩＬＰ管理ユニット１０６４は、現在のピクチャと調べられる参照ピクチャの１または複数との間で動き推定歪み（例えば、２乗和誤差、平均２乗誤差、および／または絶対変換歪み和）を収集する。ＩＬＰ管理ユニット１０６４は、事前定義された閾値より低い動き推定歪みをもたらす参照ピクチャのサブセットを選択する。ＩＬＰ処理および管理ユニット１０６４は、参照ピクチャのサブセットを、事前定義された数の参照が選択されるまで、歪みの増大する順で選択する。ＩＬＰ管理動作を実施するために、マルチパスエンコーディングが使用される。たとえば、第１のエンコーディングパスは、参照ピクチャのサブセットを選択するのに適したビデオ符号化統計を取得するために使用され、１または複数の後続のエンコーディングパスは、符号化性能が（例えば、そのレート歪み特性の点で）十分なものと考えられるまで、現在のＥＬピクチャを符号化するために。図１０に示されているように、ＩＬＰ管理ユニット１０６４は、どの参照ピクチャを使用するか決定するとき、エンハンスメントレイヤビデオをその入力の１つとして取る。
【0042】
ピクチャレベルのＩＬＰを実施することは、基礎となる低レベルのエンコーディングおよび復号論理が単一レイヤ非スケーラブルシステムで使用されるものと実質的に同じままであることを可能にする。たとえば、図７に示されているように、エンハンスメントレイヤエンコーダ（たとえば、ＨＥＶＣエンコーダ）は、（たとえば、レイヤ間参照ピクチャを含むための）ピクチャまたはスライスレベルでの最小限の再構成をおそらくは例外として、ベースレイヤエンコーダ（たとえば、ＨＥＶＣエンコーダ）と実質的に同じように動作する。ＩＬＰ処理および管理ユニットは、スケーラブル符号化を可能にする。ＩＬＰ処理および管理ユニットは、システム内の追加のブロックとして動作する。そのような特徴は、単一レイヤエンコーダおよびデコーダ設計を最大限に再使用することができ、したがって実装の複雑さを著しく低減するので、多くのアプリケーションにとって非常に望ましい。
【0043】
図７におけるＥＬエンコーダ７００４は、同じレイヤ間参照を構築可能、使用可能にするように、図８におけるＥＬデコーダ８００４のためにＩＬＰ処理およびＩＬＰ管理中に使用される様々なパラメータをシグナリングする。本明細書ではＩＬＰ情報と呼ばれるそのような情報は、スケーラブルなビットストリームの一部として送られる。図７に示されているように、ＩＬＰ処理および管理ユニット７０１２は、ＩＬＰ情報を、ＢＬおよびＥＬビデオの符号化されたビデオデータを含むパケットとは別々にパケット化する。ＩＬＰ情報は、ＩＬＰ処理および管理ユニットをスタンドアロンで実装するために、また実装の複雑さを低減するために、ビデオパケットとは別々に送られる。たとえば、ＨＥＶＣおよびＨ．２６４では、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットがパケット化ユニットとして使用される。ＨＥＶＣおよびＨ．２６４を基礎となる単一レイヤコーデックとして使用するスケーラブルシステムについては、ＩＬＰ処理および管理ユニットは、ＩＬＰ情報を別個のＮＡＬユニット内で送る。図７では、たとえばＭＵＸ７０１４は、ＩＬＰ情報を担持するＮＡＬユニットをＥＬビットストリームおよびＢＬビットストリームと多重化する。たとえば、図８に示されているように、ＤＥＭＵＸユニット８００２は、ＢＬ符号化済みスライス／ピクチャ、ＥＬ符号化済みスライス／ピクチャ、およびＩＬＰ情報に対応するＮＡＬユニットを含むスケーラブルなビットストリームを受信する。ＤＥＭＵＸユニットは、そのビットストリームを逆多重化し、ＢＬ符号化済みスライス／ピクチャに対応するＮＡＬユニットをＢＬデコーダに、ＥＬ符号化済みスライス／ピクチャに対応するＮＡＬユニットをＥＬデコーダに、ＩＬＰ情報に対応するＮＡＬユニットをＩＬＰ処理および管理ユニットに送る。
【0044】
スケーラブルビデオ符号化システムは、ＨＥＶＣにおける適応パラメータセット（ＡＰＳ）を使用し、ＩＬＰ処理および管理ユニットによって必要とされるＩＬＰ情報を搬送する。ＡＰＳパケットは、たとえば特定のＮＡＬユニットタイプを有する別個のＮＡＬユニットである。ＡＰＳ ＮＡＬユニットは、単一レイヤ符号化において使用される符号化パラメータ、たとえば適応ループフィルタリング（ＡＬＦ）パラメータ、および／またはデブロッキングフィルタパラメータを含む。各ＡＰＳ ＮＡＬユニットにはａｐｓ＿ｉｄが割り当てられ、このａｐｓ＿ｉｄは、符号化済みスライスによってどのＡＰＳからこれらの符号化パラメータを得るかを識別するために使用される。ＨＥＶＣにおけるＡＰＳシンタックスは、１ビットフラグのａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇを含む。たとえば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが１に設定されているとき、追加のＡＰＳデータが続く。本明細書で開示されているスケーラブルシステムは、ＩＬＰ情報をＡＰＳ拡張の一部として搬送する。ＩＬＰ情報は、ＩＬＰ処理パラメータ（たとえば、空間スケーラビリティが可能である場合はアップサンプリングフィルタ、ビュースケーラビリティが可能である場合は視差補償パラメータ、ビット深さスケーラビリティが可能である場合は逆トーンマッピングなど）を含む。ＩＬＰ情報は、ＩＬＰ管理パラメータを含む。ＩＬＰ管理パラメータは、現在のＥＬピクチャを予測するために時間参照および／またはレイヤ間参照のサブセットを指定し、他の参照ピクチャシグナリングと組み合わされる。ＩＬＰ管理パラメータはＡＰＳ拡張の一部でなくてもよく、スライスセグメントヘッダの一部としてシグナリングされてもよい。
【0045】
レイヤ間処理は、再構築されたテクスチャをベースレイヤＤＰＢから取り出し、先進のフィルタリング技法を適用し、たとえばエンハンスメントレイヤにおける符号化効率を改善するために、レイヤ間処理中にベースレイヤビットストリームからのあるモードおよび動き情報に依拠する。ＩＬＰは、ＢＬ ＤＰＢからの再構築されたテクスチャデータ以外にベースレイヤ情報を使用する。イントラモード依存方向性フィルタ（ＩＭＤＤＦ）が提供される。たとえば、イントラ符号化ベースレイヤブロックのイントラ予測モードを使用し、ベースレイヤの再構築されたピクチャに対して、エンハンスメントレイヤ符号化中にレイヤ間予測のためにそれらを使用する前に適用すべき適切な方向性フィルタを選ぶ。動きフィールドマッピング（ＭＦＭ）が提供される。ベースレイヤビットストリームからのブロック動き情報（たとえば、これは参照ピクチャインデックスおよび動きベクトルを含む）が、ＩＬＲピクチャのための「仮想」動きフィールドを形成するようにマッピングされる。マッピングされた仮想動きフィールドは、たとえばＨＥＶＣによってサポートされる時間動きベクトル予測（ＴＭＶＰ）を通じてエンハンスメントレイヤの動きを予測するために使用される。
【0046】
ベースレイヤビットストリームからのモードおよび動き情報は、ＢＬデコーダの特定の実装に応じて使用可能であることも又は使用可能でないこともある。たとえば、図８におけるスケーラブル復号システムがそのＢＬデコーダとしてＨＥＶＣのＡＳＩＣ実装を使用する場合、そのＢＬデコーダは、オープンなアプリケーションプログラミングインターフェース（ＡＰＩ）を通じてＩＬＰ処理および管理ユニットにモードおよび動き情報を提供しないことがある。先進のＩＬＰ処理は、（たとえば、図８に示されている）ベースレイヤからの追加のモードおよび動き情報が使用可能でないとき、使用不能にされてもよい。
【0047】
標準スケーラビリティは、ＢＬコーデックおよびＥＬコーデック、たとえば図７および図８のコーデックが、異なるコーデックであることを可能にする。たとえば、ＢＬコーデックはＨ．２６４／ＡＶＣ標準を使用し、ＥＬコーデックはＨＥＶＣ標準を使用する。ＢＬコーデックとＥＬコーデックが異なるとき、ＥＬコーデックに有用なある情報がＢＬコーデック内に自動的に存在しないことがある。たとえば、ＨＥＶＣ標準は、ＤＰＢ管理を達成するために、参照ピクチャセット（ＲＰＳ）を使用する。Ｈ．２６４／ＡＶＣ標準では、ＲＰＳに似た機能が、スライディングウィンドウＤＰＢ管理およびメモリ管理コマンドオプション（ＭＭＣＯ）の組合せによって提供される。ＥＬコーデックが、たとえば本明細書に記載の実装の１または複数に従ってレイヤ間予測を実施する場合、かつＢＬコーデックがＨ．２６４／ＡＶＣに基づくためにＲＰＳ情報を生成しない場合、レイヤ間予測は、簡単には適用されない。場合によっては、ＥＬコーデックに有用な１または複数のタイプの情報が、たとえばＢＬコーデックがＥＬコーデックとは異なる標準を使用する場合、使用可能でないことがある。
【0048】
たとえば、ベースレイヤ（ＢＬ）ビデオビットストリーム情報が、実装制約により使用可能にされない、および／または効率的なＥＬビデオ符号化のために使用するべき適切なフォーマットでないことがある。本明細書に記載の実装は、拡張ＩＬＰ処理および管理ユニットを含む。拡張ＩＬＰユニットは、追加の機能を実施し、符号化効率を改善し、および／またはスケーラブル符号化システムに最大限の設計柔軟性を提供する。
【0049】
拡張ＩＬＰユニットが提供される。拡張ＩＬＰユニットは、スケーラブル符号化の効率を低下させることなしに制限（たとえば、実装制限）を克服するために使用される。拡張ＩＬＰユニットは、ＢＬ ＤＰＢ内に記憶された参照ピクチャを処理し、エンハンスメントレイヤビデオの予測に適したフォーマットにする。拡張ＩＬＰユニットは、処理された参照ピクチャを管理し、および／または処理されたピクチャのどれがＥＬエンコーダによってＥＬビデオのための予測として使用されるか判断する（たとえば、適応的に判断する）。拡張ＩＬＰユニットは、ベースレイヤビットストリームからレイヤ間予測に使用されるモードおよび動き情報を抽出する。たとえば、拡張ＩＬＰユニットは、抽出されたモードおよび動き情報を使用し、ＢＬ ＤＰＢ内に記憶された参照ピクチャを処理し、エンハンスメントレイヤビデオの予測に適したフォーマットにする。拡張ＩＬＰユニットは、ベースレイヤビットストリームからの情報を、たとえば、エンハンスメントレイヤ符号化で使用するべき適切なフォーマットに変換する。たとえば、拡張ＩＬＰユニットは、Ｈ．２６４／ＡＶＣ ＢＬコーデックで使用されるスライディングウィンドウＤＰＢ管理およびＭＭＣＯを、ＥＬにおけるＨＥＶＣコーデックによって使用されるＲＰＳに変換する。
【0050】
図１２は、拡張ＩＬＰユニット１２０２を使用するスケーラブル復号システムの一例を示す図である。図１２に示されているように、拡張ＩＬＰユニット１２０２は、たとえば、処理、管理、抽出、または変換情報を含めて、１または複数の機能を実施する。拡張ＩＬＰユニット１２０２は、ＢＬ再構築済みピクチャを使用し、ビットストリームデマルチプレクサ（ＤＥＭＵＸ）によって提供されるＩＬＰ情報に従ってレイヤ間処理技法を適用し、処理されたＢＬ再構築済みピクチャを生成する。ＢＬデコーダ１２１２がレイヤ間処理に使用される情報を提供することができない（たとえば、ＢＬデコーダ１２１２は再構築されたＢＬピクチャを提供するが、ＢＬビットストリームのモードおよび動き情報を提供しない）場合、拡張ＩＬＰユニット１２０２は、その情報を（たとえば、拡張ＩＬＰユニットの抽出機能、たとえば本明細書に記載のものを介して）導出する。１または複数の処理されたＢＬ再構築済みピクチャが、エンハンスメントレイヤ符号化のためにＥＬ ＤＰＢ１２１４に挿入される。
【0051】
拡張ＩＬＰユニット１２０２は、ＤＥＭＵＸ１２１６によって提供されるＩＬＰ情報を使用し、１または複数の処理されたＢＬ再構築済みピクチャのどれがＥＬ ＤＰＢ１２１４に挿入されるか決定する。拡張ＩＬＰユニットは、処理されたＢＬ再構築済みピクチャの順序を決定する。ＢＬ情報は、拡張ＩＬＰユニットのための（たとえば、拡張ＩＬＰユニットの管理機能のための）適切なフォーマットでないことがある。たとえば、ＢＬ情報は、ＥＬコーデックによって使用されるものとは異なる標準を使用してＢＬビットストリームが符号化される場合、適切なフォーマットでないことがある。ＢＬ情報が拡張ＩＬＰユニット１２０２のための適切なフォーマットでない場合、拡張ＩＬＰユニット１２０２は、ＢＬ情報を（たとえば、拡張ＩＬＰユニット１２０２の変換機能、たとえば本明細書に記載のものを介して）適切なフォーマットに再フォーマットおよび／または変換する。図５における例によって示されているように、拡張ＩＬＰユニット１２０２は、変換されたＢＬ情報を使用し、適切な参照ピクチャバッファ管理を実施する。
【0052】
拡張ＩＬＰユニット１２０２は、ＢＬ情報を抽出する。たとえば、ＢＬビデオ情報を（たとえば、拡張ＩＬＰユニットの処理機能のために）拡張ＩＬＰユニットによって使用することができるがＢＬデコーダから使用可能でない場合には、拡張ＩＬＰユニットは、ＢＬビットストリームをパースし、その情報（例えば、それだけには限らないがＢＬモードおよび動き情報など）を抽出する。パースされ抽出された情報は、拡張ＩＬＰユニットによって（例えば、拡張ＩＬＰユニットの処理機能によって）使用される。例えば、ＢＬモード情報は、それだけには限らないが、ベースレイヤブロックがインター符号化されているか又はイントラ符号化されているか、イントラ符号化されたベースレイヤブロックのための方向性イントラ予測モードなどを含む。ＢＬ動き情報は、それだけには限らないが、ベースレイヤブロック区画、ベースレイヤブロック予測方向情報（例えば、ユニ予測またはバイ予測）、ベースレイヤブロック動きベクトル、ベースレイヤブロック参照ピクチャインデックスなどを含む。
【0053】
拡張ＩＬＰユニットは、ＢＬ情報を変換する。たとえば、ＢＬビデオ情報がエンハンスメントレイヤ符号化によって使用するべき適切なフォーマットでない場合には、拡張ＩＬＰユニットは、ＢＬビデオ情報をエンハンスメントレイヤ符号化のために使用するのに適したフォーマットに再フォーマットおよび変換する。たとえば、拡張ＩＬＰユニットは、スケーラブルシステム（たとえば、図７および図８で例示されているもの）が異なるＢＬコーデックとＥＬコーデックを使用するとき、ＢＬ情報を再フォーマットおよび変換する。スケーラブルシステム内でハイブリッドコーデックが使用されるとき、拡張ＩＬＰユニットは、ＢＬコーデックからの情報をＥＬコーデックによって使用される適切なフォーマットに変換および準備する。たとえば、Ｈ．２６４／ＡＶＣベースレイヤコーデックからのスライディングウィンドウおよびＭＭＣＯコマンドに基づくＤＰＢ管理情報は、エンハンスメントレイヤコーデックがＨＥＶＣを使用するときＥＬ符号化のためのＲＰＳに変換される。拡張ＩＬＰユニットは、任意のＢＬコーデックからのＢＬ情報を、任意のエンハンスメントレイヤコーデックによって使用可能な情報に再フォーマットおよび変換する。図１２に示されているように、拡張ＩＬＰユニットの出力は、たとえば、効率的なレイヤ間予測のためにＥＬ復号済みピクチャバッファ（ＤＰＢ）に挿入される処理されたＢＬピクチャを含む。拡張ＩＬＰユニットは、ＢＬモードおよび動き情報、変換されたＲＰＳ情報などを出力する。
【0054】
拡張ＩＬＰユニット１２０２は、効率的なスケーラブルビデオ符号化を達成するために使用される情報を、たとえばそのような追加の情報がベースレイヤコーデックから容易に入手可能でないとき提供する。拡張ＩＬＰユニット１２０２は、単一レイヤコーデック実装の使用を最大限にするように設計される。拡張ＩＬＰユニット１２０２は、たとえば単一レイヤコーデック実装が実施しない機能を吸収することによって、ＢＬコーデックとＥＬコーデックとの間のシームレスかつ効率的なインターフェースを提供する。たとえば、拡張ＩＬＰユニット１２０２は、ベースレイヤコーデックおよびエンハンスメントレイヤコーデックのより低いレベルの機能（たとえば、イントラ予測、インター予測、変換、量子化、逆変換、逆量子化、ループフィルタリング、ブロック再構築など）に影響を及ぼすことなしに効率的なスケーラブル符号化を可能にする。拡張ＩＬＰユニット１２０２は、高い符号化効率を有しおよびハイブリッドコーデックアーキテクチャ（たとえば、ベースレイヤエンコーダおよび／またはデコーダ、ならびにエンハンスメントレイヤエンコーダおよび／またはデコーダが異なるコーデックを使用する）をサポートすることができるスケーラブルシステム内で使用される。拡張ＩＬＰユニットは、実装コストを削減し、スケーラブル符号化効率を維持する。
【0055】
図３および図４を参照すると、スケーラブル符号化性能をさらに改善するために、ブロックレベルＩＬＰが使用される。ブロックレベルＩＬＰは、エンハンスメントレイヤエンコーダおよびデコーダが、ベースレイヤエンコーダおよびデコーダのものとは異なる、（たとえば、追加の符号化モード、算術符号化のための追加のコンテキストなどの形態での）基礎となる論理を有することを必要とするが、ブロックレベルＩＬＰは、エンコーダがレート歪みの考慮すべき点に基づいて動作モードの広範囲のセットから選ぶことを可能にする。追加の選択項目は、より高いスケーラブル符号化性能の形態で現れる。たとえば、ビデオ符号化標準は、ブロック図が図５および図６に示されているハイブリッドブロックベースのビデオ符号化システムである。
【0056】
ＨＥＶＣの場合には、ビデオブロックは、予測に使用されるとき予測ユニット（ＰＵ）、符号化ユニットとして使用されるとき符号化ツリーブロック（ＣＴＢ）、変換および逆変換に使用されるとき変換ユニット（ＴＵ）と呼ばれる。ＨＥＶＣは、４分木（ＱＴ）に基づく区分を使用する。ベースレイヤおよびエンハンスメントレイヤビデオ信号は相関されるので、対応するブロック符号化モードおよびサイズ（それだけには限らないが、ＰＵ、ＴＵ、およびＣＴＢを含む）が相関される。そのような相関は、エンハンスメントレイヤエンコーダおよびデコーダによって、ＱＴ分割の符号化、エンハンスメントレイヤ内のＰＵ、ＴＵおよびＣＴＢモードおよび／またはサイズを改善するために使用される。これは、シグナリングオーバーヘッドを低減する。２つのレイヤ間で空間スケーラビリティが可能であるとき、まずブロックサイズ調整が適用される。例えば、ＥＬビデオとＢＬビデオが２：１の空間比である（たとえば、ＥＬビデオが各寸法において２倍大きい）場合には、ベースレイヤＰＵ、ＴＵ、およびＣＴＢサイズが、エンハンスメントレイヤブロックサイズを予測するために使用される前に各寸法において２倍に乗算される。ベースレイヤブロックモードおよび／またはサイズは、エンハンスメントレイヤブロックモードおよび／またはサイズを符号化するために、追加のバイナリ算術コーダのコンテキストとして使用される。ビデオ符号化システムは、ブロック（たとえば、ＰＵ、ＴＵ、またはＣＴＢ）の導出された情報（たとえば、モードおよび／またはサイズ）をピクチャレベルのレイヤ間参照ピクチャに割り当てる。ビデオ符号化デバイスは、ブロックのこれらの導出された情報を使用し、レイヤ、たとえばＥＬレイヤでブロックを予測する。
【0057】
動き補償予測が、ベースレイヤおよびエンハンスメントレイヤピクチャおよび／またはスライスについて同じ時間インスタンスｔで可能であるとき、ベースレイヤからの動きベクトルを使用し、エンハンスメントレイヤ内の動きベクトルを予測する。たとえば、空間スケーラビリティが可能であるとき、ベースレイヤからの動きベクトルは、適宜スケーリングされる。たとえば、図１１における例によって示されているように、ＢＬ１１０２における時間インスタンスｔでは、水平にハッシュされたブロック１１０４が、動きベクトルＭＶａ１１０６で、時間インスタンス（ｔ－１）でＢＬ参照から予測される。ＥＬにおけるスケーリングされた水平にハッシュされたブロックは、時間インスタンス（ｔ－１）１１０８でのＥＬ参照から予測される場合、その値がＲ＊ＭＶａに近い動きベクトルを有し、ここでＲは空間スケーリング比率である。ＥＬにおける垂直にハッシュされたブロック１１１０については、対応するベースレイヤの垂直にハッシュされたブロック１１１２が、動きベクトルＭＶｂで、時間インスタンス（ｔ－２）１１１４から予測される。ＥＬにおけるスケーリングされた垂直にハッシュされたブロックは、時間インスタンス（ｔ－２）でのＥＬ参照１１１６から予測される場合、その値が実質的にＲ＊ＭＶｂに近い動きベクトルを有する。ビュースケーラビリティが可能であるとき、第１のビューを表すベースレイヤからの動きベクトルが、第２のビューを表すエンハンスメントレイヤ内の動きベクトルとそれらが最大限に相関されるように、ワーピングおよび／またはアフィン変換されてビュー視差を補償する。レイヤ間動きベクトル間のそのような強い相関を利用するために、スケーリングされたベースレイヤ動きベクトル（または、ビュースケーラビリティの場合、ワーピング／変換された動きベクトル）が、動きベクトルプレディクタとして使用され、エンハンスメントレイヤ動きベクトル符号化ビットを削減する。
【0058】
ブロックレベルのレイヤ間予測は、ベースレイヤ残差からエンハンスメントレイヤ内の残差信号を予測することを含む。たとえば、残差予測は、エンハンスメントレイヤ残差エネルギー、およびそれを符号化するために必要とされるビット数をさらに低減するために、（たとえば、必要な場合、適切な寸法にアップサンプリングされた後）ベースレイヤからのブロック残差がエンハンスメントレイヤ残差から減算される場合に実施される。ブロックレベルのレイヤ間予測技法は、ＳＶＣで使用されるものと同様にしてＥＬテクスチャ（たとえば、画素値）を符号化するために使用される。上記で論じたスケーラブルシステムでは、ピクチャレベルのＩＬＰの形態で、テクスチャ予測が提供される。
【0059】
表１にリストされた異なるタイプのスケーラビリティのいずれかをサポートするように、マルチレイヤビデオ符号化のためのスケーラブルアーキテクチャ（たとえば、柔軟なスケーラブルアーキテクチャ）が再構成される。たとえば、１つの動作モードは、ピクチャレベルのＩＬＰに重点を置く。たとえば、ＩＬＰ処理および管理ユニットは、ベースレイヤ参照ピクチャセットが、適切なフォーマットにありおよびエンハンスメントレイヤビデオ符号化のために正確かつ効果的な予測信号を提供するように、ベースレイヤ参照ピクチャを処理する。たとえば、ＩＬＰ処理および管理ユニットは、任意の好ましいレート、歪み、および／または計算量の兼ね合いを達成するように、時間参照および処理されたレイヤ間参照の組合せからサブセットを選択する。たとえば、ＩＬＰ処理および管理ユニットは、レイヤ間予測動作がベースレイヤおよびエンハンスメントレイヤのエンコーダおよびデコーダ動作との最小限の干渉で実施されるように、ＩＬＰ情報を別個のＮＡＬユニットにパケット化する。ピクチャレベルのＩＬＰを含むことは、スケーラブルシステムが、ベースレイヤおよびエンハンスメントレイヤで単一レイヤエンコーダおよびデコーダ論理を最大限に再使用することを可能にすることによって、実装の複雑さを低減する。
【0060】
図１３Ａは、１または複数の開示されている実施形態が実装される例示的な通信システム１００の図である。通信システム１００は、音声、データ、映像、メッセージング、ブロードキャストなど、コンテンツを複数の無線ユーザに提供する多元接続システムである。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通じてそのようなコンテンツにアクセスすることを可能にする。たとえば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）など、１または複数のチャネルアクセス方法を使用する。
【0061】
図１３Ａに示されているように、通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、および／または１０２ｄ（これらは、全体的に、またはまとめてＷＴＲＵ１０２と呼ばれる）、無線アクセスネットワーク（ＲＡＮ）１０３／１０４／１０５、コアネットワーク１０６／１０７／１０９、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含むが、開示されている実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解される。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境で動作および／または通信するように構成された任意のタイプのデバイスである。たとえば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信および／または受信するように構成され、無線送信／受信ユニット（ＷＴＲＵ）、移動局、固定型もしくは移動型加入者ユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、家電などを含む。
【0062】
また、通信システム１００は、基地局１１４ａおよび基地局１１４ｂを含む。基地局１１４ａ、１１４ｂのそれぞれは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの少なくとも１つと無線でインターフェースし、コアネットワーク１０６／１０７／１０９、インターネット１１０、および／またはネットワーク１１２など、１または複数の通信ネットワークへのアクセスを容易にするように構成された任意のタイプのデバイスである。たとえば、基地局１１４ａ、１１４ｂは、ベーストランシーバ基地局（ＢＴＳ）、ノードＢ、高度化ノードＢ（ｅＮｏｄｅＢ）、ホームノードＢ、ホーム高度化ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどである。基地局１１４ａ、１１４ｂは、それぞれが単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含むことが理解される。
【0063】
基地局１１４ａは、ＲＡＮ１０３／１０４／１０５の一部であり、ＲＡＮ１０３／１０４／１０５もまた、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなど、他の基地局および／またはネットワーク要素（図示せず）を含む。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と呼ばれる特定の地理的領域内で無線信号を送信および／または受信するように構成される。さらに、セルは、セルセクタに分割される。たとえば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割される。したがって、一実施形態では、基地局１１４ａは、３つ、すなわちセルの各セクタごとに１つ、トランシーバを含む。他の実施形態では、基地局１１４ａは、多重入力多重出力（ＭＩＭＯ）技術を使用し、したがって、セルの各セクタについて複数のトランシーバを使用する。
【0064】
基地局１１４ａ、１１４ｂは、任意の好適な無線通信リンク（たとえば、無線周波数（ＲＦ）、マイクロ波、赤外（ＩＲ）、紫外（ＵＶ）、可視光など）であるエアインターフェース１１５／１１６／１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数と通信する。エアインターフェース１１５／１１６／１１７は、任意の好適な無線アクセス技術（ＲＡＴ）を使用して確立される。
【0065】
より具体的には、上記で指摘したように、通信システム１００は、多元接続システムであり、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなど、１または複数のチャネルアクセス方式を使用する。たとえば、ＲＡＮ１０３／１０４／１０５内の基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインターフェース１１５／１１６／１１７を確立するユニバーサル移動体通信システム（ＵＭＴＳ）地上波無線アクセス（ＵＴＲＡ）など無線技術を実装する。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）など、通信プロトコルを含む。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含む。
【0066】
一実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／または拡張ＬＴＥ（ＬＴＥ－Ａ）を使用してエアインターフェース１１５／１１６／１１７を確立する拡張ＵＭＴＳ地上波無線アクセスネットワーク（Ｅ－ＵＴＲＡＮ）など無線技術を実装する。
【0067】
一実施形態では、基地局１１４ａ、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１６（すなわち、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ＥＶ－ＤＯ、暫定標準２０００（ＩＳ－２０００）、暫定標準９５（ＩＳ－９５）、暫定標準８５６（ＩＳ－８５６）、グローバル移動体通信システム（ＧＳＭ（登録商標））、ＧＳＭエボリューション用の拡張データ転送速度（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）など、無線技術を実装する。
【0068】
図１３Ａにおける基地局１１４ｂは、たとえば、無線ルータ、ホームノードＢ、ホーム高度化ノードＢ、またはアクセスポイントであり、および事業所、自宅、乗物、キャンパスなど、局所的な領域での無線コネクティビティを容易にするための任意の好適なＲＡＴを使用する。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するために、ＩＥＥＥ８０２．１１など無線技術を実装する。一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するために、ＩＥＥＥ８０２．１５など無線技術を実装する。さらに一実施形態では、基地局１１４ｂ、およびＷＴＲＵ１０２ｃ、１０２ｄは、ピコセルまたはフェムトセルを確立するために、セルラベースのＲＡＴ（たとえば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａなど）を使用する。図１３Ａに示されているように、基地局１１４ｂは、インターネット１１０に対する直接接続を有する。したがって、基地局１１４ｂは、コアネットワーク１０６／１０７／１０９を介してインターネット１１０にアクセスすることが必要でない。
【0069】
ＲＡＮ１０３／１０４／１０５は、コアネットワーク１０６／１０７／１０９と通信し、コアネットワーク１０６／１０７／１０９は、音声、データ、アプリケーション、および／またはボイスオーバーインターネットプロトコル（ＶｏＩＰ）サービスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの１または複数に提供するように構成された任意のタイプのネットワークである。たとえば、コアネットワーク１０６／１０７／１０９は、呼制御、支払い請求サービス、移動体位置をベースとするサービス、プリペイド呼、インターネットコネクティビティ、映像配信などを提供することができ、および／またはユーザ認証などハイレベルセキュリティ機能を実施する。図１３Ａには示されていないが、ＲＡＮ１０３／１０４／１０５および／またはコアネットワーク１０６／１０７／１０９は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを使用する他のＲＡＮと直接または間接的に通信することを理解されたい。たとえば、Ｅ－ＵＴＲＡ無線技術を使用しているＲＡＮ１０３／１０４／１０５に接続されることに加えて、コアネットワーク１０６／１０７／１０９はまたＧＳＭ無線技術を使用するＲＡＮ（図示せず）と通信する。
【0070】
また、コアネットワーク１０６／１０７／１０９は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとして働く。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含む。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイートにおける伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、インターネットプロトコル（ＩＰ）など、一般的な通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含む。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運営される有線もしくは無線通信ネットワークを含む。たとえば、ネットワーク１１２は、ＲＡＮ１０３／１０４／１０５と同じＲＡＴまたは異なるＲＡＴを使用する、１または複数のＲＡＮに接続されたコアネットワークを含む。
【0071】
通信システム１００におけるＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの一部または全部がマルチモード機能を含む。すなわち、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するために複数のトランシーバを含む。たとえば、図１３Ａに示されているＷＴＲＵ１０２ｃは、セルラベースの無線技術を使用する基地局１１４ａ、およびＩＥＥＥ８０２無線技術を使用する基地局１１４ｂと通信するように構成される。
【0072】
図１３Ｂは、例示的なＷＴＲＵ１０２のシステム図である。図１３Ｂに示されているように、ＷＴＲＵ１０２は、プロセッサ１１８、トランシーバ１２０、送信／受信エレメント１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非取外し式メモリ１３０、取外し式メモリ１３２、電源１３４、全世界測位システム（ＧＰＳ）チップセット１３６、および他の周辺機器１３８を含む。ＷＴＲＵ１０２は、一実施形態と一貫したまま前述の要素の任意のサブコンビネーションを含むことが理解される。また、実施形態は、基地局１１４ａ、１１４ｂ、および／または、それだけには限らないがとりわけトランシーバ基地局（ＢＴＳ）、ノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、ホームノードＢ、高度化ホームノードＢ（高度化ノードＢ）、ホーム高度化ノードＢ（ＨｅＮＢ）、ホーム高度化ノードＢゲートウェイ、およびプロキシノードなど、基地局１１４ａ、１１４ｂが表すノードが、図１３Ｂに示され本明細書に記載されている要素の一部またはそれぞれを含むことを企図する。
【0073】
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられた１または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械などである。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境で動作することを可能にする任意の他の機能を実施する。プロセッサ１１８はトランシーバ１２０に結合され、トランシーバ１２０は送信／受信エレメント１２２に結合される。図１３Ｂは、プロセッサ１１８とトランシーバ１２０を別個の構成要素として示しているが、プロセッサ１１８とトランシーバ１２０は電子パッケージまたはチップ内で共に集積されてもよいことが理解される。
【0074】
送信／受信エレメント１２２は、エアインターフェース１１５／１１６／１１７上で基地局（たとえば、基地局１１４ａ）に信号を送信する、または基地局から信号を受信するように構成される。たとえば、一実施形態では、送信／受信エレメント１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナである。一実施形態では、送信／受信エレメント１２２は、たとえばＩＲ信号、ＵＶ信号、または可視光信号を送信および／または受信するように構成されたエミッタ／ディテクタである。さらに一実施形態では、送信／受信エレメント１２２は、ＲＦ信号と光信号を共に送信および受信するように構成される。送信／受信エレメント１２２は、任意の組合せの無線信号を送信および／または受信するように構成されることを理解されたい。
【0075】
さらに、送信／受信エレメント１２２は、図１３Ｂに単一のエレメントとして示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信エレメント１２２を含む。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を使用する。したがって、一実施形態では、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７上で無線信号を送信および受信するために２つ以上の送信／受信エレメント１２２（たとえば、複数のアンテナ）を含む。
【0076】
トランシーバ１２０は、送信／受信エレメント１２２によって送信しようとする信号を変調するように、また送信／受信エレメント１２２によって受信される信号を復調するように構成される。上記で指摘したように、ＷＴＲＵ１０２は、マルチモード機能を有する。したがって、トランシーバ１２０は、たとえばＵＴＲＡおよびＩＥＥＥ８０２．１１など複数のＲＡＴを介してＷＴＲＵ１０２が通信することを可能にするために複数のトランシーバを含む。
【0077】
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（たとえば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニット、または有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合され、およびそれらからユーザ入力データを受け取る。また、プロセッサ１１８は、ユーザデータをスピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８に出力する。さらに、プロセッサ１１８は、非取外し式メモリ１３０および／または取外し式メモリ１３２など、任意のタイプの好適なメモリからの情報にアクセスし、それらにデータを記憶させる。非取外し式メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶装置を含む。取外し式メモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含む。一実施形態では、プロセッサ１１８は、サーバ上または家庭用コンピュータ（図示せず）上など、物理的にＷＴＲＵ１０２上に位置しないメモリからの情報にアクセスし、それらにデータを記憶させる。
【0078】
プロセッサ１１８は、電源１３４から電力を受け取り、ＷＴＲＵ１０２内の他の構成要素に電力を分配し、かつ／またはその電力を制御するように構成される。電源１３４は、ＷＴＲＵ１０２に給電するための任意の好適なデバイスである。たとえば、電源１３４は、１または複数の乾電池（たとえば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含む。
【0079】
また、プロセッサ１１８は、ＷＴＲＵ１０２の現在位置に関する位置情報（たとえば、経度および緯度）を提供するように構成されるＧＰＳチップセット１３６に結合される。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、エアインターフェース１１５／１１６／１１７の上で基地局（たとえば、基地局１１４ａ、１１４ｂ）から位置情報を受信し、かつ／または近くの２つ以上の基地局から受信される信号のタイミングに基づいてその位置を決定する。ＷＴＲＵ１０２は、一実施形態と一貫したまま任意の好適な位置決定方法により位置情報を獲得することを理解されたい。
【0080】
さらに、プロセッサ１１８は他の周辺機器１３８に結合され、それらの周辺機器１３８は、追加の特徴、機能、および／または有線もしくは無線コネクティビティを提供する１または複数のソフトウェアおよび／またはハードウェアモジュールを含む。たとえば、周辺機器１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンドフリー用ヘッドセット、ブルーツース（Ｂｌｕｅｔｏｏｔｈ（登録商標））モジュール、周波数変換（ＦＭ）無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含む。
【0081】
図１３Ｃは、一実施形態によるＲＡＮ１０３およびコアネットワーク１０６のシステム図である。上記で指摘したように、ＲＡＮ１０３は、ＵＴＲＡ無線技術を使用し、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する。また、ＲＡＮ１０３は、コアネットワーク１０６と通信する。図１３Ｃに示されているように、ＲＡＮ１０３はノードＢ１４０ａ、１４０ｂ、１４０ｃを含み、ノードＢ１４０ａ、１４０ｂ、１４０ｃは、それぞれが、エアインターフェース１１５上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために１または複数のトランシーバを含む。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、それぞれがＲＡＮ１０３内の特定のセル（図示せず）に関連付けられる。また、ＲＡＮ１０３は、ＲＮＣ１４２ａ、１４２ｂを含む。ＲＡＮ１０３は、一実施形態と一貫したまま任意の数のノードＢおよびＲＮＣを含むことを理解されたい。
【0082】
図１Ｃに示されているように、ノードＢ１４０ａ、１４０ｂは、ＲＮＣ１４２ａと通信する。さらに、ノードＢ１４０ｃは、ＲＮＣ１４２ｂと通信する。ノードＢ１４０ａ、１４０ｂ、１４０ｃは、Ｉｕｂインターフェースを介して、それぞれのＲＮＣ１４２ａ、１４２ｂと通信する。ＲＮＣ１４２ａ、１４２ｂは、Ｉｕｒインターフェースを介して互いに通信する。ＲＮＣ１４２ａ、１４２ｂのそれぞれは、接続されているそれぞれのノードＢ１４０ａ、１４０ｂ、１４０ｃを制御するように構成される。さらに、ＲＮＣ１４２ａ、１４２ｂのそれぞれは、外部ループ電力制御、負荷制御、許可制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバシティ、セキュリティ機能、データ暗号化など、他の機能を実施する、またはサポートするように構成される。
【0083】
図１３Ｃに示されているコアネットワーク１０６は、メディアゲートウェイ（ＭＧＷ）１４４、移動交換センタ（ＭＳＣ）１４６、サービングＧＰＲＳサポートノード（ＳＧＳＮ）１４８、および／またはゲートウェイＧＰＲＳサポートノード（ＧＧＳＮ）１５０を含む。前述の要素のそれぞれはコアネットワーク１０６の一部として示されているが、これらの要素のいずれか１つがコアネットワークオペレータ以外のエンティティ（ｅｎｔｉｔｙ）によって所有および／または運営されてもよいことを理解されたい。
【0084】
ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＣＳインターフェースを介してコアネットワーク１０６内のＭＳＣ１４６に接続される。ＭＳＣ１４６は、ＭＧＷ１４４に接続される。ＭＳＣ１４６およびＭＧＷ１４４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８など回線交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にする。
【0085】
また、ＲＡＮ１０３内のＲＮＣ１４２ａは、ＩｕＰＳインターフェースを介してコアネットワーク１０６内のＳＧＳＮ１４８に接続される。ＳＧＳＮ１４８は、ＧＧＳＮ１５０に接続される。ＳＧＳＮ１４８およびＧＧＳＮ１５０は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などパケット交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にする。
【0086】
上記で指摘したように、コアネットワーク１０６はまた、他のサービスプロバイダによって所有および／または運営される他の有線もしくは無線ネットワークを含むネットワーク１１２に接続される。
【0087】
図１３Ｄは、一実施形態によるＲＡＮ１０４およびコアネットワーク１０７のシステム図である。上記で指摘したように、ＲＡＮ１０４は、Ｅ－ＵＴＲＡ無線技術を使用し、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信する。また、ＲＡＮ１０４は、コアネットワーク１０７と通信する。
【0088】
ＲＡＮ１０４は高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃを含むが、ＲＡＮ１０４は、一実施形態と一貫したまま任意の数の高度化ノードＢを含むことを理解されたい。高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃは、それぞれが、エアインターフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために１または複数のトランシーバを含む。一実施形態では、高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃは、ＭＩＭＯ技術を実装する。したがって、たとえば高度化ノードＢ１６０ａは、複数のアンテナを使用し、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。
【0089】
高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれは、特定のセル（図示せず）に関連付けられ、無線リソース管理判断、ハンドオーバ判断、アップリンクおよび／またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成される。図１３Ｄに示されているように、高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃは、Ｘ２インターフェースの上で互いに通信する。
【0090】
図１３Ｄに示されているコアネットワーク１０７は、無線通信移動管理装置（ＭＭＥ）１６２、サービングゲートウェイ１６４、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイ１６６を含む。前述の要素のそれぞれはコアネットワーク１０７の一部として示されているが、これらの要素のいずれか１つがコアネットワークオペレータ以外のエンティティによって所有および／または運営されてもよいことを理解されたい。
【0091】
ＭＭＥ１６２は、Ｓ１インターフェースを介してＲＡＮ１０４内の高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続され、制御ノードとして働く。たとえば、ＭＭＥ１６２は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのユーザを認証すること、ベアラの活動化／非活動化、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの最初のアタッチ中に特定のサービングゲートウェイを選択することなどの責任を担う。また、ＭＭＥ１６２は、ＲＡＮ１０４と、ＧＳＭまたはＷＣＤＭＡなど他の無線技術を使用する他のＲＡＮ（図示せず）との間で切り替えるための制御プレーン機能を提供する。
【0092】
サービングゲートウェイ１６４は、Ｓ１インターフェースを介してＲＡＮ１０４内の高度化ノードＢ１６０ａ、１６０ｂ、１６０ｃのそれぞれに接続される。サービングゲートウェイ１６４は、一般に、ユーザデータパケットをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに／ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃからルーティングおよび転送する。また、サービングゲートウェイ１６４は、高度化ノードＢ間ハンドオーバ中にユーザプレーンをアンカリングすること、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにダウンリンクデータが使用可能であるときページングをトリガすること、およびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのコンテキストを管理および記憶することなど、他の機能を実施する。
【0093】
また、サービングゲートウェイ１６４はＰＤＮゲートウェイ１６６に接続され、ＰＤＮゲートウェイ１６６はＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などパケット交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にする。
【0094】
コアネットワーク１０７は、他のネットワークとの通信を容易にする。たとえば、コアネットワーク１０７は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８など回線交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にする。たとえば、コアネットワーク１０７は、コアネットワーク１０７とＰＳＴＮ１０８との間のインターフェースとして働くＩＰゲートウェイ（たとえば、ＩＰマルチメディアサブシステム（ＩＭＳ）サーバ）を含み、またはＩＰゲートウェイと通信する。さらに、コアネットワーク１０７は、他のサービスプロバイダによって所有および／または運営される他の有線もしくは無線ネットワークを含むネットワーク１１２に対するアクセスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供する。
【0095】
図１３Ｅは、一実施形態によるＲＡＮ１０５およびコアネットワーク１０９のシステム図である。ＲＡＮ１０５は、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するためにＩＥＥＥ８０２．１６無線技術を使用するアクセスサービスネットワーク（ＡＳＮ）である。下記でさらに論じるように、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、ＲＡＮ１０５、およびコアネットワーク１０９の異なる機能エンティティ間の通信リンクが、参照ポイントとして定義される。
【0096】
図１３Ｅに示されているように、ＲＡＮ１０５は、基地局１８０ａ、１８０ｂ、１８０ｃ、およびＡＳＮゲートウェイ１８２を含むが、ＲＡＮ１０５は、一実施形態と一貫したまま任意の数のノードＢおよびＲＮＣを含むことが理解される。基地局１８０ａ、１８０ｂ、１８０ｃは、それぞれがＲＡＮ１０５内の特定のセル（図示せず）に関連付けられ、それぞれが、エアインターフェース１１７上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと通信するために１つまたは複数のトランシーバを含む。一実施形態では、基地局１８０ａ、１８０ｂ、１８０ｃは、ＭＩＭＯ技術を実装する。したがって、たとえば基地局１８０ａは、複数のアンテナを使用し、ＷＴＲＵ１０２ａに無線信号を送信し、ＷＴＲＵ１０２ａから無線信号を受信することができる。また、基地局１８０ａ、１８０ｂ、１８０ｃは、ハンドオフのトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質（ＱｏＳ）ポリシ施行など、移動管理機能を提供する。ＡＳＮゲートウェイ１８２は、トラフィック集約ポイントとして働き、ページング、加入者プロファイルのキャッシング、コアネットワーク１０９へのルーティングなどの責任を担う。
【0097】
ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＲＡＮ１０５との間のエアインターフェース１１７は、ＩＥＥＥ８０２．１６仕様を実装するＲ１参照ポイントとして定義される。さらに、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれは、コアネットワーク１０９との論理インターフェース（図示せず）を確立する。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとコアネットワーク１０９との間の論理インターフェースは、Ｒ２参照ポイントとして定義され、認証、許可、ＩＰホスト構成管理、および／または移動管理のために使用される。
【0098】
基地局１８０ａ、１８０ｂ、１８０ｃのそれぞれの間の通信リンクは、ＷＴＲＵハンドオーバおよび基地局間のデータの転送を容易にするためのプロトコルを含むＲ８参照ポイントとして定義される。基地局１８０ａ、１８０ｂ、１８０ｃとＡＳＮゲートウェイ１８２との間の通信リンクは、Ｒ６参照ポイントとして定義される。Ｒ６参照ポイントは、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃのそれぞれに関連する移動イベントに基づいて移動管理を容易にするためのプロトコルを含む。
【0099】
図１３Ｅに示されているように、ＲＡＮ１０５は、コアネットワーク１０９に接続される。ＲＡＮ１０５とコアネットワーク１０９との間の通信リンクは、たとえばデータ転送および移動管理機能を容易にするためのプロトコルを含むＲ３参照ポイントとして定義される。コアネットワーク１０９は、移動ＩＰホームエージェント（ＭＩＰ－ＨＡ）１８４と、認証、許可、アカウンティング（ＡＡＡ）サーバ１８６と、ゲートウェイ１８８とを含む。前述の要素のそれぞれはコアネットワーク１０９の一部として示されているが、これらの要素のいずれか１つがコアネットワークオペレータ以外のエンティティによって所有および／または運営されてもよいことが理解される。
【0100】
ＭＩＰ－ＨＡは、ＩＰアドレス管理の責任を担い、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃが、異なるＡＳＮおよび／または異なるコアネットワーク間でローミングすることを可能にする。ＭＩＰ－ＨＡ１８４は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにインターネット１１０などパケット交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃとＩＰ対応デバイスとの間の通信を容易にする。ＡＡＡサーバ１８６は、ユーザ認証についてのおよびユーザサービスをサポートすることについての、責任を担う。ゲートウェイ１８８は、他のネットワークとの網間接続を容易にする。たとえば、ゲートウェイ１８８は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃにＰＳＴＮ１０８など回線交換ネットワークに対するアクセスを提供し、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃと従来の陸線通信デバイスとの間の通信を容易にする。さらに、ゲートウェイ１８８は、他のサービスプロバイダによって所有および／または運営される他の有線もしくは無線ネットワークを含むネットワーク１１２に対するアクセスを、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃに提供する。
【0101】
図１３Ｅには示されていないが、ＲＡＮ１０５は他のＡＳＮに接続され、コアネットワーク１０９は他のコアネットワークに接続されることが理解される。ＲＡＮ１０５と他のＡＳＮとの間の通信リンクは、ＲＡＮ１０５と他のＡＳＮとの間でのＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃの移動を調整するためのプロトコルを含むＲ４参照ポイントとして定義される。コアネットワーク１０９と他のコアネットワークとの間の通信リンクは、ホームコアネットワークと訪問を受けるコアネットワークとの間の網間接続を容易にするためのプロトコルを含むＲ５参照ポイントとして定義される。
【0102】
各特徴および要素は、単独でまたは他の特徴および要素との任意の組合せで使用することができることを、当業者なら理解できる。さらに、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行するためのコンピュータ可読媒体内に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、（有線接続または無線接続上で伝送される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、それだけには限らないが、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクや取外し式ディスクなど磁気媒体、光－磁気媒体、ＣＤ－ＲＯＭディスクなどの光媒体、およびデジタル多目的ディスク（ＤＶＤ）を含む。ソフトウェアと関連付けられたプロセッサを使用し、ＷＴＲＵ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用するために、無線周波数トランシーバを実装する。
【0103】
２レイヤスケーラブルシステムを使用して述べたが、当業者なら、本明細書で論じたアーキテクチャをマルチレイヤスケーラブルビデオ符号化システムに拡張する。さらに、ＨＥＶＣがしばしば典型的な単一レイヤコーデックとして使用されたが、本システムは、下にある単一レイヤビデオコーデックそれ自体にほとんど依存せず、任意の他の単一レイヤコーデックと組み合わされてもよい。各特徴および要素は、単独で、または他の特徴および要素との任意の組合せで使用することができることを、当業者なら理解できる。
【0104】
本明細書に記載の方法は、コンピュータまたはプロセッサによって実行するためのコンピュータ可読媒体内に組み込まれるコンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、（有線接続または無線接続上で伝送される）電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、それだけには限らないが、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクや取外し式ディスクなど磁気媒体、光－磁気媒体、ＣＤ－ＲＯＭディスクなどの光媒体、およびデジタル多目的ディスク（ＤＶＤ）を含む。ソフトウェアと関連付けられたプロセッサを使用し、ＷＴＲＵ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用するために、無線周波数トランシーバを実装する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
