(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】RGBビデオコーディングエンハンスメントのためのシステムおよび方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240509BHJP
H04N 19/85 20140101ALI20240509BHJP
【FI】
H04N19/70
H04N19/85
(21)【出願番号】P 2021195500
(22)【出願日】2021-12-01
(62)【分割の表示】P 2020061397の分割
【原出願日】2015-03-14
【審査請求日】2022-01-04
(32)【優先日】2014-03-14
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2014-05-15
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2014-08-21
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シウ シアオユー
(72)【発明者】
【氏名】ホー ユーウェン
(72)【発明者】
【氏名】ツァイ チャ-ミン
(72)【発明者】
【氏名】イエン イエ
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第2009/0168894(US,A1)
【文献】Detlev Marpe et al.,MB-adaptive residual colour transform for 4:4:4 coding,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JCT1/SC29/WG11 and ITU-T SG16 Q.6) 18st,JVT-R071,18th Meeting: Bangkok, Thailad,2006年01月15日,pp.1-14
【文献】Jaeil Kim et al.,Enlarging MB size for high fidelity video coding beyond HD,ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group,VCEG-AJ21,36th Meeting: San Diego, USA,2008年10月,pp.1-6
【文献】P. Chen, Y. Ye and M. Karczewicz,Video Coding Using Extended Block Sizes,ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group,VCEG-AJ23_r1,36th Meeting: San Diego, USA,2008年10月,pp.1-3
【文献】Xiaoyu Xiu et al.,Description of screen content coding technology proposal by InterDigital,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-Q0037,17th Meeting: Valencia, ES,2014年03月,pp.1-21
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオ処理を実施する方法であって、
画像のシーケンスに対して、適応色空間変換が使用されることを可能とされるかどうかを示すよう構成された適応色空間変換イネーブルメントインジケーションを取得するステップと、
前記適応色空間変換イネーブルメントインジケーションに基づいて、画像の前記シーケンスに対して前記適応色空間変換が使用されることが可能とされると決定するステップと、
符号化ブロックに関連付けられ、当該符号化ブロックに関連付けられた残差係数の中で、少なくとも1つの非ゼロ係数が存在しているかどうか示している非ゼロ残差係数フラグを取得するステップと、
前記適応色空間変換が、色空間変換のために使用されることを可能とされると決定する
こと、および、前記符号化ブロックに関連付けられ、前記符号化ブロックに関連付けられた残差係数の中で、少なくとも1つの非ゼロ係数が存在していることを示している前記非ゼロ残差係数フラグに基づいて、画像の前記シーケンスにおける複数の符号化ブロックの内の
前記符号化ブロックのための符号化ユニット適応色空間変換インジケーションを取得するステップであって、前記複数の符号化ブロックは異なるサイズであり、前記符号化ブロックは、画像の前記シーケンスにおける画像の符号化ツリーブロック内の複数の符号化ブロックの内の1つであり、前
記符号化ユニット適応色空間変換インジケーションは、色空間変換が前記複数の符号化ブロックの内の前記符号化ブロックに適用されるかどうかを示すように構成されている、ステップと、
前記符号化ユニット適応色空間変換インジケーションに基づいて、前記複数の符号化ブロックの内の前記符号化ブロックをデコードするステップと
を備える方法。
【請求項2】
前記適応色空間変換イネーブルメントインジケーションは、シーケンスパラメータセットの中で取得される請求項1に記載の方法。
【請求項3】
前記非ゼロ残差係数フラグは、ルーマ残差係数の中で少なくとも1つの非ゼロ係数が存在していることのインジケーションを含む請求項
1に記載の方法。
【請求項4】
前記非ゼロ残差係数フラグは、クロマ残差係数の中で少なくとも1つの非ゼロ係数が存在していることのインジケーションを含む請求項
1に記載の方法。
【請求項5】
画像のシーケンスに対して、適応色空間変換が使用されることを可能とされるかどうかを示すよう構成された適応色空間変換イネーブルメントインジケーションを取得し、
前記適応色空間変換イネーブルメントインジケーションに基づいて、画像の前記シーケンスに対して、前記適応色空間変換が使用されることを可能とされると決定し、
符号化ブロックに関連付けら、当該符号化ブロックに関連付けられた残差係数の中で、少なくとも1つの非ゼロ係数が存在しているかどうか示している非ゼロ残差係数フラグを取得し、
前記適応色空間変換が、色空間変換のために使用されることが可能とされると決定する
こと、および、前記符号化ブロックに関連付けられ、前記符号化ブロックに関連付けられた残差係数の中で、少なくとも1つの非ゼロ係数が存在していることを示している前記非ゼロ残差係数フラグに基づいて、画像の前記シーケンスにおける複数の符号化ブロックの内の
前記符号化ブロックのための符号化ユニット適応色空間変換インジケーションを取得し、前記複数の符号化ブロックは異なるサイズであり、前記符号化ブロックは、画像の前記シーケンスにおける画像の符号化ツリーブロック内の複数の符号化ブロックの内の1つであり、前記符号化ユニット適応色空間変換インジケーションは、色空間変換が前記複数の符号化ブロックの内の前記符号化ブロックに適用されるかどうかを示すように構成されおり、
前記符号化ユニット適応色空間変換インジケーションに基づいて、前記複数の符号化ブロックの内の前記符号化ブロックをデコードする
よう構成されたプロセッサ
を備えたビデオ処理デバイス。
【請求項6】
前記適応色空間変換イネーブルメントインジケーションは、シーケンスパラメータセットの中で取得される請求項
5に記載のビデオ処理デバイス。
【請求項7】
前記非ゼロ残差係数フラグは、ルーマ残差係数の中で少なくとも1つの非ゼロ係数が存在していることのインジケーションを含む請求項
5に記載のビデオ処理デバイス。
【請求項8】
前記非ゼロ残差係数フラグは、クロマ残差係数の中で少なくとも1つの非ゼロ係数が存在していることのインジケーションを含む請求項
5に記載のビデオ処理デバイス。
【請求項9】
1つ以上のプロセッサに、請求項1乃至
4のいずれかの方法を実施させる命令を含むコンピュータ読取り可能媒体。
【請求項10】
メモリを含んでいる、請求項
5乃至
8のいずれかに記載のビデオ処理デバイス。
【発明の詳細な説明】
【背景技術】
【0001】
本発明は、RGBビデオコーディングエンハンスメントのためのシステムおよび方法に関する。
【0002】
本出願は、各々が「RGB VIDEO CODING ENHANCEMENT」と題する、2014年3月14日に出願された米国仮特許出願第61/953185号、2014年5月15日に出願された米国仮特許出願第61/994071号、および2014年8月21日に出願された米国仮特許出願第62/040317号に基づく優先権を主張し、それらの各々は、全体が参照によって本明細書に組み込まれる。
【0003】
スクリーンコンテンツシェアリングアプリケーションは、デバイスおよびネットワークの能力が改善したので、よりポピュラなものになった。ポピュラなスクリーンコンテンツシェアリングアプリケーションの例は、リモートデスクトップアプリケーション、ビデオ会議アプリケーション、およびモバイルメディア提示アプリケーションを含む。スクリーンコンテンツ(Screen Contents)は、1または複数の(1つ以上の)主要な色および/またはシャープなエッジを有する、数々のビデオおよび/または画像要素を含むことができる。そのような画像およびビデオ要素は、そのような要素の内部に相対的にシャープなカーブおよび/またはテキストを含むことがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
スクリーンコンテンツを符号化するために、および/またはそのようなコンテンツを受信機に送信するために、様々なビデオ圧縮手段および方法を使用することができるが、そのような方法および手段は、スクリーンコンテンツの特徴を完全には特徴付けることができない。特徴付けのそのような欠如は、再構成された画像またはビデオコンテンツにおいて、低下した圧縮性能をもたらすことがある。そのような実施では、再構成された画像またはビデオコンテンツは、画像またはビデオ品質問題によって悪影響を受けることがある。例えば、そのようなカーブおよび/またはテキストは、不鮮明なこと、不明瞭なこと、またはスクリーンコンテンツ内で認識するのが困難な他の状態にあることがある。
【課題を解決するための手段】
【0005】
ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスが、開示される。実施形態では、システムおよび方法は、適応残余色空間変換を実行するように実施することができる。ビデオビットストリームを受信することができ、ビデオビットストリームに基づいて、第1のフラグを決定することができる。ビデオビットストリームに基づいて、残差(Residual)も生成することができる。残差は、第1のフラグに応答して、第1の色空間から第2の色空間に変換することができる。
【0006】
実施形態では、第1のフラグを決定することは、符号化(コーディング)ユニットレベルにおいて第1のフラグを受信することを含むことができる。第1のフラグは、符号化(コーディング)ユニットレベルにおける第2のフラグが、非ゼロ値を有する少なくとも1つの残差が符号化(コーディング)ユニットにおいて存在することを示すときに限って、受信することができる。残差を第1の色空間から第2の色空間に変換することは、色空間変換行列を適用することによって実行することができる。この色空間変換行列は、非可逆符号化(コーディング)において適用することができる、YCgCoからRGBへの非可逆変換行列に対応することができる。別の実施形態では、色空間変換行列は、可逆符号化(コーディング)において適用することができる、YCgCoからRGBへの可逆変換行列に対応することができる。残差を第1の色空間から第2の色空間に変換することは、スケールファクタの行列を適用することを含むことができ、その場合、色空間変換行列は、正規化されず、スケールファクタの行列の各行は、正規化されていない色空間変換行列の対応する行のノルムに対応するスケールファクタを含むことができる。色空間変換行列は、少なくとも1つの固定小数点精度の係数を含むことができる。ビデオビットストリームに基づいた第2のフラグは、シーケンスレベル、ピクチャレベル、またはスライスレベルにおいて伝達することができ、第2のフラグは、残差を第1の色空間から第2の色空間に変換するプロセスが、それぞれ、シーケンスレベル、ピクチャレベル、またはスライスレベルに関して有効にされるかどうかを示すことができる。
【0007】
実施形態では、符号化(コーディング)ユニットの残差は、第1の色空間において符号化することができる。そのような残差を符号化する最良モードは、利用可能な色空間において残差を符号化するコストに基づいて、決定することができる。フラグは、決定された最良モードに基づいて、決定することができ、出力ビットストリーム内に含めることができる。開示される本発明についての上記および他の態様が、以下で説明される。
【発明の効果】
【0008】
ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスが、提供される。
【図面の簡単な説明】
【0009】
【
図1】実施形態による、例示的なスクリーンコンテンツシェアリングシステムを示すブロック図である。
【
図2】実施形態による、例示的なビデオ符号化システムを示すブロック図である。
【
図3】実施形態による、例示的なビデオ復号システムを示すブロック図である。
【
図4】実施形態による、例示的な予測ユニットモードを示す図である。
【
図5】実施形態による、例示的なカラー画像を示す図である。
【
図6】開示される本発明の実施形態を実施する例示的な方法を示す図である。
【
図7】開示される本発明の実施形態を実施する別の例示的な方法を示す図である。
【
図8】実施形態による、例示的なビデオ符号化システムを示すブロック図である。
【
図9】実施形態による、例示的なビデオ復号システムを示すブロック図である。
【
図10】実施形態による、予測ユニットの変換ユニットへの例示的な細分化を示すブロック図である。
【
図11A】本発明を実施できる、例示的な通信システムのシステム図である。
【
図11B】
図11Aに示された通信システム内で使用することができる、例示的な無線送受信ユニット(WTRU)のシステム図である。
【
図11C】
図11Aに示された通信システム内で使用することができる、例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
【
図11D】
図11Aに示された通信システム内で使用することができる、別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
【
図11E】
図11Aに示された通信システム内で使用することができる、別の例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。
【発明を実施するための形態】
【0010】
以下、説明に役立つ例についての、様々な図を参照して詳細に説明する。この説明は、可能な実施についての詳細な例を提供するが、詳細は、専ら例示的であることが意図されており、本出願の範囲を限定することは決して意図されていないことに留意されたい。
【0011】
スクリーンコンテンツ圧縮方法は、より多くの人々が、例えば、メディア提示およびリモートデスクトップアプリケーションにおいて使用するためのデバイスコンテンツをシェアするようになるにつれて、重要になってきている。モバイルデバイスのディスプレイ能力は、いくつかの実施形態では、高精細または超高精細解像度に高まった。ブロック符号化(コーディング)モードおよび変換などのビデオ符号化(コーディング)ツールは、より高精細なスクリーンコンテンツ符号化に対して最適化されていないことがある。そのようなツールは、コンテンツシェアリングアプリケーションにおいてスクリーンコンテンツを送信するために使用することができる帯域幅を増加させることがある。
【0012】
図1は、例示的なスクリーンコンテンツシェアリングシステム191のブロック図を示している。システム191は、受信機192と、復号器(デコーダ)194と、(「レンダラ」と呼ばれることもある)ディスプレイ198とを含むことができる。受信機192は、入力ビットストリーム193を復号器194に提供することができ、復号器194は、ビットストリームを復号して、復号されたピクチャ195を生成することができ、復号されたピクチャ195は、1または複数(1つ以上)の表示ピクチャバッファ196に提供することができる。表示ピクチャバッファ196は、復号されたピクチャ197を、デバイスのディスプレイ上での提示のために、ディスプレイ198に提供することができる。
【0013】
図2は、例えば、ビットストリームを
図1のシステム191の受信機192に提供するために実施することができる、ブロックベースのシングルレイヤビデオ符号化器200のブロック図を示している。
図2に示されるように、符号化器(エンコーダ)200は、圧縮効率を高める取り組みにおいて、(「イントラ予測」と呼ばれることもある)空間予測および(「インター予測」または「動き補償予測」と呼ばれることもある)時間予測などの技法を使用して、入力ビデオ信号201を予測する。符号化器200は、モード決定、および/または予測の形態を決定することができる他の符号化器制御ロジック240を含むことができる。そのような決定は、レートベースの基準、歪みベースの基準、および/またはそれらの組み合わせなどの基準に少なくとも部分的に基づくことができる。符号化器200は、1または複数の(1つ以上の)予測ブロック206を要素204に提供することができ、要素204は、(入力信号と予測信号との間の差分信号とすることができる)予測残差205を生成し、変換要素210に提供することができる。符号化器200は、変換要素210において予測残差205を変換し、量子化要素215において予測残差205を量子化することができる。量子化された残差は、モード情報(例えば、イントラ予測またはインター予測)および予測情報(動きベクトル、参照ピクチャインデックス、イントラ予測モードなど)と一緒に、残差係数(Residual coefficient)ブロック222として、エントロピー符号化要素230に提供することができる。エントロピー符号化要素230は、量子化された残差を圧縮し、それを出力ビデオビットストリーム235とともに提供することができる。エントロピー符号化要素230は、加えて、または代わりに、符号化(コーディング)モード、予測モード、および/または動き情報208を、出力ビデオビットストリーム235を生成する際に、使用することができる。
【0014】
実施形態では、符号化器200は、加えて、または代わりに、逆量子化要素225において逆量子化を残差係数ブロック222に適用し、また逆変換要素220において逆変換を適用して、要素209において予測信号206に加算し戻すことができる再構成された残差を生成することによって、再構成されたビデオ信号を生成することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、ループフィルタ要素250において実施されるループフィルタプロセスを使用して(例えば、デブロッキングフィルタ、サンプル適応オフセット、および/または適応ループフィルタのうちの1または複数を使用することによって)、処理することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、再構成されたブロック255の形態で、参照ピクチャストア270において記憶することができ、その場合、それは、例えば、動き予測(推定および補償)要素280および/または空間予測要素260によって、将来のビデオ信号を予測するために使用することができる。いくつかの実施形態では、要素209によって生成された結果の再構成されたビデオ信号は、ループフィルタ要素250などの要素によって処理することなく、空間予測要素260に提供することができることに留意されたい。
【0015】
図3は、
図2の符号化器200によって生成することができるビットストリーム235などのビットストリームとすることができる、ビデオビットストリーム335を受信することができる、ブロックベースのシングルレイヤ復号器300のブロック図を示している。復号器300は、デバイス上における表示のために、ビットストリーム335を再構成することができる。復号器300は、エントロピー復号器要素330においてビットストリーム335を解析して、残差係数326を生成することができる。残差係数326は、要素309に提供することができる再構成された残差を獲得するために、脱量子化(de-quantization)要素325において逆量子化することができ、および/または逆変換要素320において逆変換することができる。予測信号を獲得するために、符号化(コーディング)モード、予測モード、および/または動き情報327を使用することができ、いくつかの実施形態では、空間予測要素360によって提供される空間予測情報および/または時間予測要素390によって提供される時間予測情報の一方または両方を使用する。そのような予測信号は、予測ブロック329として提供することができる。予測信号と再構成された残差は、要素309において加算されて、再構成されたビデオ信号を生成することができ、それは、ループフィルタリングのためにループフィルタ要素350に提供することができ、またピクチャを表示する際、および/またはビデオ信号を復号する際に使用するために、参照ピクチャストア370内に記憶することができる。予測モード328は、ループフィルタリングのためにループフィルタ要素350に提供することができる再構成されたビデオ信号を生成する際に使用するために、エントロピー復号要素330によって要素309に提供することができることに留意されたい。
【0016】
高効率ビデオコーディング(HEVC)などのビデオ符号化(コーディング)規格は、送信帯域幅および/またはストレージを低減させることができる。いくつかの実施形態では、HEVC実施は、ブロックベースのハイブリッドビデオ符号化(コーディング)として動作することができ、その場合、実施される符号化器および復号器は、一般に、
図2および
図3を参照して本明細書で説明されるように動作する。HEVCは、より大きいビデオブロックの使用を可能にすることができ、4分木分割を使用して、ブロック符号化(コーディング)情報を伝達することができる。そのような実施形態では、ピクチャまたはピクチャのスライスは、各々が同じサイズ(例えば、64×64)を有する、符号化(コーディング)ツリーブロック(CTB)に分割することができる。各CTBは、4分木分割を用いて、符号化(コーディング)ユニット(CU)に分割することができ、各CUは、予測ユニット(PU)と変換ユニット(TU)とにさらに分割することができ、それらの各々も、4分木分割を使用して分割することができる。
【0017】
実施形態では、各インターコーディングされたCUについて、関連するPUは、8つの例示的な分割モードのうちの1つを使用して、分割することができ、それらの例が、
図4において、モード410、420、430、440、460、470、480、および490として示されている。いくつかの実施形態では、時間予測を適用して、インターコーディングされたPUを再構成することができる。線形フィルタを適用して、分数位置におけるピクセル値を獲得することができる。いくつかのそのような実施形態において使用される補間フィルタは、ルーマのための7つもしくは8つのタップ、および/またはクロマのための4つのタップを有することができる。符号化(コーディング)モードの相違、動きの相違、参照ピクチャの相違、ピクセル値の相違などのうちの1または複数を含むことができる、数々の要因に応じて、異なるデブロッキングフィルタ動作を、TUおよびPU境界の各々において、適用することができるように、コンテンツベースとすることができるデブロッキングフィルタを使用することができる。エントロピー符号化の実施形態では、コンテキスト適応型2値算術符号化(コーディング)(CABAC)を、1または複数の(1つ以上の)ブロックレベルシンタックス要素に対して使用することができる。いくつかの実施形態では、CABACは、高レベルのパラメータに対しては使用されないことがある。CABACコーディングにおいて使用することができるビンは、コンテキストベースの符号化(コーディング)を施された通常のビン、およびコンテキストを使用しないバイパスコーディングを施されたビンを含むことができる。
【0018】
スクリーンコンテンツビデオは、赤-緑-青(RGB)フォーマットでキャプチャすることができる。RGB信号は、3つの色成分の間に冗長性を含むことがある。そのような冗長性は、ビデオ圧縮を実施する実施形態では、あまり効率的ではないことがあるが、(例えば、RGB符号化からYCbCr符号化への)色空間変換は、異なる空間の間で色成分を変換するために使用されることがある丸めおよびクリッピング操作に起因する損失を、元のビデオ信号に導入することがあるので、復号されたスクリーンコンテンツビデオについて高い忠実度が望まれることがあるアプリケーションに対しては、RGB色空間の使用が、選択されることがある。いくつかの実施形態では、ビデオ圧縮効率は、色空間の3つの色成分の間の相関を利用することによって、改善することができる。例えば、成分間予測の符号化(コーディング)ツールは、G成分の残差を使用して、B成分および/またはR成分の残差を予測することができる。YCbCr実施形態におけるY成分の残差は、Cb成分および/またはCr成分の残差を予測するために使用することができる。
【0019】
実施形態では、時間的に隣接するピクチャ間の冗長性を利用するために、動き補償予測技法を使用することができる。そのような実施形態では、Y成分については4分の1ピクセル、Cb成分および/またはCr成分については8分の1ピクセルの精度である動きベクトルをサポートすることができる。実施形態では、半ピクセル位置については分離可能な8タップフィルタ、4分の1ピクセル位置については7タップフィルタを含むことができる、分数サンプル補間を使用することができる。以下の表1は、Y成分の分数補間についての例示的なフィルタ係数を示している。Cb成分および/またはCr成分の分数補間は、いくつかの実施形態では、分離可能な4タップフィルタを使用することができ、4:2:0ビデオフォーマット実施の場合、動きベクトルがピクセルの8分の1の精度とすることができることを除いて、同様のフィルタ係数を使用して実行することができる。4:2:0ビデオフォーマット実施では、Cb成分およびCr成分は、Y成分よりも少ない情報を含むことができ、4タップ補間フィルタは、分数補間フィルタリングの複雑性を低減させることができ、8タップ補間フィルタ実施と比較して、Cb成分およびCr成分についての動き補償予測において獲得することができる効率を犠牲にしないことができる。以下の表2は、Cb成分およびCr成分の分数補間のために使用することができる、例示的なフィルタ係数を示している。
【0020】
【0021】
【0022】
実施形態では、RGBカラーフォーマットで最初にキャプチャされたビデオ信号は、例えば、復号されたビデオ信号に対して高い忠実度が望まれる場合、RGBドメインで符号化することができる。成分間予測ツールは、RGB信号を符号化する効率を改善することができる。いくつかの実施形態では、3つの色成分間に存在することがある冗長性は、十分に利用されないことがあるが、その理由は、いくつかのそのような実施形態では、G成分を利用して、B成分および/またはR成分を予測することができるが、B成分とR成分との間の相関は、使用されないことがあるからである。そのような色成分の脱相関(De-correlation)は、RGBビデオ符号化(コーディング)の符号化性能を改善することができる。
【0023】
分数補間フィルタを使用して、RGBビデオ信号を符号化することができる。4:2:0カラーフォーマットのYCbCrビデオ信号を符号化することに重点を置くことができる補間フィルタ設計は、RGBビデオ信号を符号化するには好ましくないことがある。例えば、RGBビデオのB成分およびR成分は、より豊富な色情報を表すことができ、YCbCr色空間におけるCb成分およびCr成分など、変換された色空間のクロミナンス成分よりも高い周波数特性を所有することができる。Cb成分および/またはCr成分のために使用することができる4タップ分数フィルタは、RGBビデオを符号化する場合、B成分およびR成分の動き補償予測について、十分に正確ではないことがある。可逆符号化(コーディング)の実施形態では、動き補償予測のために、参照ピクチャを使用することができ、それは、そのような参照ピクチャと関連付けられた元のピクチャと数学的に同じであることができる。そのような実施形態では、そのような参照ピクチャは、同じ元のピクチャを使用した非可逆符号化(コーディング)の実施形態と比較した場合、より多くのエッジ(すなわち、高周波数信号)を含むことができ、そのような参照ピクチャ内の高周波数情報は、量子化プロセスのせいで、低減されること、および/または歪まされることがある。そのような実施形態では、元のピクチャ内のより高周波数の情報を保存することができる、より短いタップの補間フィルタを、B成分およびR成分に対して使用することができる。
【0024】
実施形態では、残余色変換方法を使用して、RGBビデオと関連付けられた残余情報をコーディングするための、RGB色空間またはYCgCo色空間を適応的に選択することができる。そのような残余色空間変換方法は、符号化および/または復号プロセス中に過度な計算複雑性オーバヘッドを招くことなく、可逆および非可逆符号化(コーディング)のどちらかまたは両方に適用することができる。別の実施形態では、異なる色成分の動き補償予測において使用するために、補間フィルタを適応的に選択することができる。そのような方法は、シーケンス、ピクチャ、および/またはCUレベルにおいて異なる分数補間フィルタを使用する柔軟性を可能にすることができ、動き補償ベースの予測符号化(コーディング)の効率を改善することができる。
【0025】
実施形態では、元の色空間と異なる色空間において、残差符号化(コーディング)を実行して、元の色空間の冗長性を除去することができる。YCbCr色空間における符号化は、RGB色空間における符号化よりもコンパクトな元のビデオ信号の表現を提供することができ(例えば、成分間相関は、RGB色空間よりもYCbCr色空間において低いことができ)、YCbCrの符号化効率は、RGBのそれよりも高いことができるので、自然なコンテンツ(例えば、カメラキャプチャビデオコンテンツ)のビデオ符号化(コーディング)は、RGB色空間の代わりに、YCbCr色空間において実行することができる。ソースビデオは、ほとんどの場合、RGBフォーマットでキャプチャすることができ、再構成されたビデオの高い忠実度が、望まれることがある。
【0026】
色空間変換は、常に可逆であるわけではなく、出力色空間は、入力色空間のそれと同じダイナミックレンジを有することができる。例えば、RGBビデオが、同じビット深度を有するITU-R BT.709 YCbCr色空間に変換される場合、そのような色空間変換中に実行されることがある丸めおよび打切り操作に起因する、いくらかの損失が存在することがある。YCgCoは、YCbCr色空間に類似した特性を有することができる色空間とすることができるが、RGBとYCgCoとの間の変換プロセス(すなわち、RGBからYCgCo、およびYCgCoからRGB)は、そのような変換中に、シフト演算および加法演算のみを使用することができるので、RGBとYCbCrとの間の変換プロセスよりも計算的に単純であることができる。YCgCoは、中間演算のビット深度を1だけ増加させることによって、十分に可逆変換をサポートすることもできる(すなわち、逆変換の後に導出された色値は、元の色値と数値的に同じとすることができる)。この態様は、それが非可逆および可逆の実施形態の両方に適用可能であることができるので、望ましいことがある。
【0027】
YCgCo色空間によって提供される符号化効率および可逆変換を実行する能力のため、実施形態では、残余符号化(コーディング)の前に、残余をRGBからYCgCoに変換することができる。RGBからYCgCoへの変換プロセスを適用するかどうかの決定は、シーケンスおよび/またはスライスおよび/またはブロックレベル(例えば、CUレベル)において適応的に実行することができる。例えば、決定は、変換の適用がレート-歪み(RD)メトリック(例えば、レートと歪みの加重された組み合わせ)に改善を提供するかどうかに基づいて、行うことができる。
図5は、RGBピクチャとすることができる例示的な画像510を示している。画像510は、YCgCoの3つの色成分に分解することができる。そのような実施形態では、変換行列の可逆および非可逆バージョンの両方を、それぞれ、可逆符号化(コーディング)および非可逆符号化(コーディング)のために指定することができる。残差がRGBドメインにおいて符号化される場合、符号化器は、それぞれ、G成分をY成分として、B成分およびR成分をCb成分およびCr成分として扱うことができる。本開示では、RGBビデオを表現するために、R、G、Bという順序ではなく、G、B、Rという順序が、使用されることがある。本明細書で説明される実施形態は、変換がRGBからYCgCoに実行される例を使用して説明されることがあるが、RGBと他の色空間(例えば、YCbCr)との間の変換も、開示される実施形態を使用して実施することができることを当業者は理解することに留意されたい。すべてのそのような実施形態は、本開示の範囲内にあることが企図される。
【0028】
GBR色空間からYCgCo色空間への可逆変換は、以下に示される式(1)および(2)を使用して実行することができる。これらの式は、可逆および非可逆符号化の両方に対して使用することができる。式(1)は、GBR色空間からYCgCoへの可逆変換を実施する、実施形態による、手段を示している。
【0029】
【0030】
これは、乗算または除算を用いずに、シフトを使用して実行することができるが、その理由は、
Co=R・B
t=B+(Co>>1)
Cg=G・t
Y=t+(Cg>>1)
であるからである。
【0031】
そのような実施形態では、YCgCoからGBRへの逆変換は、式(2)を使用して実行することができる。
【0032】
【0033】
これは、シフトを用いて実行することができるが、その理由は、
t=Y-(Cg>>1)
G=Cg+t
B=t-(Co>>1)
R=Co+B
であるからである。
【0034】
実施形態では、非可逆変換は、以下に示される式(3)および(4)を使用して実行することができる。そのような非可逆変換は、非可逆符号化に対して使用することができ、いくつかの実施形態では、可逆符号化に対して使用することができない。式(3)は、GBR色空間からYCgCoへの非可逆変換を実施する、実施形態による、手段を示している。
【0035】
【0036】
YCgCoからGBRへの逆変換は、実施形態によれば、式(4)を使用して実行することができる。
【0037】
【0038】
式(3)に示されるように、非可逆符号化に対して使用することができる、順方向色空間変換行列は、正規化されないことがある。YCgCoドメインにおける残余信号の大きさおよび/またはエネルギーは、RGBドメインにおける元の残差のそれと比較して、低減されることがある。YCgCo残差係数は、RGBドメインにおいて使用することができたのと同じ量子化パラメータ(QP)を使用することによって、過度に量子化されることがあるので、YCgCoドメインにおける残余信号のこの低減は、YCgCoドメインの非可逆符号化性能を損なうことがある。実施形態では、色空間変換を適用することができるときに、デルタQPを元のQP値に加算して、YCgCo残差信号の大きさの変化を補償することができる、QP調整方法を使用することができる。同じデルタQPを、Y成分と、Cg成分および/またはCo成分との両方に適用することができる。式(3)を実施する実施形態では、順方向変換行列の異なる行は、同じノルムを有さないことがある。同じQP調整は、Y成分ならびにCg成分および/またはCo成分の両方が、G成分ならびにB成分および/またはR成分のそれと類似した振幅レベルを有することを保証しないことがある。
【0039】
RGB残差信号から変換されたYCgCo残差信号がRGB残差信号と類似する振幅を有することを保証するために、一実施形態では、スケーリングされた順方向および逆方向変換行列のペアを使用して、RGBドメインとYCgCoドメインとの間で残差信号を変換することができる。より具体的には、RGBドメインからYCgCoドメインへの順方向変換行列は、式(5)によって定義することができる。
【0040】
【0041】
ここで、
【0042】
【0043】
は、2つの行列の同じ位置にあることができる2つの要素の要素どうしの行列乗算を示すことができ、aおよびbは、(3)の式において使用されるものなど、元の順方向色空間変換行列内の異なる行のノルムを補償するためのスケーリングファクタとすることができ、それらは、式(6)および(7)を使用して導出することができる。
【0044】
【0045】
【0046】
そのような実施形態では、YCgCoドメインからRGBドメインへの逆方向変換は、式(8)を使用して実施することができる。
【0047】
【0048】
式(5)および(8)において、スケーリングファクタは、RGBとYCgCoとの間で色空間を変換するときに、浮動小数点乗算を必要とすることがある、実数とすることができる。実施の複雑性を低減させるために、実施形態では、スケーリングファクタの乗算は、Nビットの右シフトによって行われる整数Mを用いた計算的に効率的な乗算によって、近似することができる。
【0049】
開示される色空間変換方法およびシステムは、シーケンス、ピクチャ、またはブロック(例えば、CU、TU)レベルにおいて有効にすること、および/または無効にすることができる。例えば、実施形態では、予測残余の色空間変換は、符号化(コーディング)ユニットレベルにおいて適応的に有効にすること、および/または無効にすることができる。符号化器は、各CUに対して、GBRとYCgCoとの間の最適な色変換空間を選択することができる。
【0050】
図6は、本明細書で説明されるような符号化器における、適応残余色変換を使用するRD最適化プロセスについての例示的な方法600を示している。ブロック605において、CUの残差は、その実施についての符号化の「最良モード」(例えば、イントラコーディングの場合は、イントラ予測、インターコーディングの場合は、動きベクトルおよび参照ピクチャインデックス)を使用して符号化することができ、それは、事前構成された符号化モード、利用可能な中で最良であると以前に決定された符号化モード、または少なくともブロック605の機能を実行する時点において最も低いもしくは相対的により低いRDコストを有すると決定された別の事前決定された符号化モードとすることができる。ブロック610において、この例では「CU_YCgCo_residual_flag」と呼ばれるが、任意の用語または用語の組み合わせを使用して呼ぶことができるフラグを、符号化(コーディング)ユニットの残差の符号化はYCgCo色空間を使用して実行されるべきではないことを示す、「偽」になるように設定すること(または偽、ゼロなどを示す他の任意のインジケータになるように設定すること)ができる。偽またはそれに等価であるとブロック610において評価されたフラグに応答して、ブロック615において、符号化器は、GBR色空間において残差符号化(コーディング)を実行し、そのような符号化についてのRDコスト(
図6では、「RDCost
GBR」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる)を計算することができる。
【0051】
ブロック620において、GBR色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低いかどうかに関して、決定を行うことができる。GBR色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低い場合、ブロック625において、最良モードについてのCU_YCgCo_residual_flagを、偽もしくはそれに等価になるように設定することができ(または偽もしくはそれに等価であるように設定したままにしておくことができ)、最良モードについてのRDコストは、GBR色空間における残差符号化(コーディング)についてのRDコストになるように設定することができる。方法600は、CU_YCgCo_residual_flagを真または等価のインジケータになるように設定することができる、ブロック630に進むことができる。
【0052】
ブロック620において、GBR色空間についてのRDコストが、最良モード符号化についてのRDコスト以上であると決定された場合、最良モード符号化についてのRDコストは、ブロック620の評価前にそれが設定された値のままにしておくことができ、ブロック625は、バイパスすることができる。方法600は、CU_YCgCo_residual_flagを真または等価のインジケータになるように設定することができる、ブロック630に進むことができる。ブロック630においてCU_YCgCo_residual_flagを真(または等価のインジケータ)になるように設定することは、YCgCo色空間を使用した符号化(コーディング)ユニットの残差の符号化を容易にすることができ、したがって、以下で説明されるような、最良モード符号化のRDコストと比較した、YCgCo色空間を使用した符号化のRDコストの評価を容易にすることができる。
【0053】
ブロック635において、符号化(コーディング)ユニットの残差を、YCgCo色空間を使用して符号化することができ、そのような符号化のRDコストを、決定することができる(そのようなコストは、
図6では、「RDCost
YCgCo」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる)。
【0054】
ブロック640において、YCgCo色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低いかどうかに関して、決定を行うことができる。YCgCo色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低い場合、ブロック645において、最良モードについてのCU_YCgCo_residual_flagを、真もしくはそれに等価になるように設定することができ(または真もしくはそれに等価であるように設定したままにしておくことができ)、最良モードについてのRDコストは、YCgCo色空間における残差符号化(コーディング)についてのRDコストになるように設定することができる。方法600は、ブロック650において終了することができる。
【0055】
ブロック640において、YCgCo色空間についてのRDコストが、最良モード符号化についてのRDコストよりも高いと決定された場合、最良モード符号化についてのRDコストは、ブロック640の評価前にそれが設定された値のままにしておくことができ、ブロック645は、バイパスすることができる。方法600は、ブロック650において終了することができる。
【0056】
当業者が理解するように、方法600およびその任意のサブセットを含む開示される実施形態は、GBRとYCgCoの色空間符号化およびそれぞれのRDコストの比較を可能にすることができ、それは、より低いRDコストを有する色空間符号化の選択を可能にすることができる。
【0057】
図7は、本明細書で説明されるような符号化器における、適応残余色変換を使用するRD最適化プロセスについての別の例示的な方法700を示している。実施形態では、符号化器は、現在の符号化(コーディング)ユニットにおける再構成されたGBR残差の少なくとも1つがゼロでない場合、残差符号化(コーディング)のためにYCgCo色空間を使用するように試みることができる。再構成された残差のすべてがゼロである場合、それは、GBR色空間における予測が、十分であることができ、YCgCo色空間への変換は、残余符号化(コーディング)の効率をさらに改善することができないことを示すことができる。そのような実施形態では、RD最適化について検査されるケースの数を、低減させることができ、符号化プロセスを、より効率的に実行することができる。そのような実施形態は、大きい量子化ステップサイズなど、大きい量子化パラメータを使用するシステムにおいて、実施することができる。
【0058】
ブロック705において、CUの残差は、その実施についての符号化の「最良モード」(例えば、イントラコーディングの場合は、イントラ予測、インターコーディングの場合は、動きベクトルおよび参照ピクチャインデックス)を使用して符号化することができ、それは、事前構成された符号化モード、利用可能な中で最良であると以前に決定された符号化モード、または少なくともブロック705の機能を実行する時点において最も低いもしくは相対的により低いRDコストを有すると決定された別の事前決定された符号化モードとすることができる。ブロック710において、この例では「CU_YCgCo_residual_flag」と呼ばれるフラグを、符号化(コーディング)ユニットの残差の符号化はYCgCo色空間を使用して実行されるべきではないことを示す、「偽」になるように設定すること(または偽、ゼロなどを示す他の任意のインジケータになるように設定すること)ができる。ここでもやはり、そのようなフラグは、任意の用語または用語の組み合わせを使用して呼ぶことができることに留意されたい。偽またはそれに等価であるとブロック710において評価されたフラグに応答して、ブロック715において、符号化器は、GBR色空間において残差符号化(コーディング)を実行し、そのような符号化についてのRDコスト(
図7では、「RDCost
GBR」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる)を計算することができる。
【0059】
ブロック720において、GBR色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低いかどうかに関して、決定を行うことができる。GBR色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低い場合、ブロック725において、最良モードについてのCU_YCgCo_residual_flagを、偽もしくはそれに等価になるように設定することができ(または偽もしくはそれに等価であるように設定したままにしておくことができ)、最良モードについてのRDコストは、GBR色空間における残差符号化(コーディング)についてのRDコストになるように設定することができる。
【0060】
ブロック720において、GBR色空間についてのRDコストが、最良モード符号化についてのRDコスト以上であると決定された場合、最良モード符号化についてのRDコストは、ブロック720の評価前にそれが設定された値のままにしておくことができ、ブロック725は、バイパスすることができる。
【0061】
ブロック730において、再構成されたGBR係数の少なくとも1つがゼロでないかどうか(すなわち、すべての再構成されたGBR係数がゼロに等しいかどうか)に関して、決定を行うことができる。ゼロでない少なくとも1つの再構成されたGBR係数が存在する場合、ブロック735において、CU_YCgCo_residual_flagを真または等価のインジケータになるように設定することができる。ブロック735においてCU_YCgCo_residual_flagを真(または等価のインジケータ)になるように設定することは、YCgCo色空間を使用した符号化(コーディング)ユニットの残差の符号化を容易にすることができ、したがって、以下で説明されるような、最良モード符号化のRDコストと比較した、YCgCo色空間を使用した符号化のRDコストの評価を容易にすることができる。
【0062】
少なくとも1つの再構成されたGBR係数がゼロでない場合、ブロック740において、符号化(コーディング)ユニットの残差を、YCgCo色空間を使用して符号化することができ、そのような符号化のRDコストを、決定することができる(そのようなコストは、
図7では、「RDCost
YCgCo」と呼ばれるが、ここでもやはり、そのようなコストを指し示すために、任意のラベルまたは用語を使用することができる)。
【0063】
ブロック745において、YCgCo色空間符号化についてのRDコストが、最良モード符号化についてのRDコストの値よりも低いかどうかに関して、決定を行うことができる。YCgCo色空間符号化についてのRDコストが、最良モード符号化についてのRDコストよりも低い場合、ブロック750において、最良モードについてのCU_YCgCo_residual_flagを、真もしくはそれに等価になるように設定することができ(または真もしくはそれに等価であるように設定したままにしておくことができ)、最良モードについてのRDコストは、YCgCo色空間における残差符号化(コーディング)についてのRDコストになるように設定することができる。方法700は、ブロック755において終了することができる。
【0064】
ブロック745において、YCgCo色空間についてのRDコストが、最良モード符号化についてのRDコスト以上であると決定された場合、最良モード符号化についてのRDコストは、ブロック745の評価前にそれが設定された値のままにしておくことができ、ブロック750は、バイパスすることができる。方法700は、ブロック755において終了することができる。
【0065】
当業者が理解するように、方法700およびその任意のサブセットを含む開示される実施形態は、GBRとYCgCoの色空間符号化およびそれぞれのRDコストの比較を可能にすることができ、それは、より低いRDコストを有する色空間符号化の選択を可能にすることができる。
図7の方法700は、本明細書で説明される例示的なCU_YCgCo_residual_coding_flagなどのフラグについての適切な設定を決定する、より効率的な手段を提供することができ、一方、
図6の方法600は、本明細書で説明される例示的なCU_YCgCo_residual_coding_flagなどのフラグについての適切な設定を決定する、より完全な手段を提供することができる。どちらの実施形態でも、またはそれのいずれか1つもしくは複数の態様を使用する任意の変形、サブセット、もしくは実施でも、それらのすべては、本開示の範囲内にあることが企図されており、そのようなフラグの値は、
図2に関して、および本明細書で説明される他の任意の符号化器に関して説明されたものなど、符号化されたビットストリームで送信することができる
図8は、例えば、ビットストリームを
図1のシステム191の受信機192に提供するために実施形態に従って実施することができる、ブロックベースのシングルレイヤビデオ符号化器800のブロック図を示している。
図8に示されるように、符号化器800などの符号化器は、圧縮効率を高める取り組みにおいて、(「イントラ予測」と呼ばれることもある)空間予測および(「インター予測」または「動き補償予測」と呼ばれることもある)時間予測などの技法を使用して、入力ビデオ信号801を予測する。符号化器800は、モード決定、および/または予測の形態を決定することができる他の符号化器制御ロジック840を含むことができる。そのような決定は、レートベースの基準、歪みベースの基準、および/またはそれらの組み合わせなどの基準に少なくとも部分的に基づくことができる。符号化器800は、1または複数の(1つ以上の)予測ブロック806を加算器要素804に提供することができ、加算器要素804は、(入力信号と予測信号との間の差分信号とすることができる)予測残差805を生成し、変換要素810に提供することができる。符号化器800は、変換要素810において予測残差805を変換し、量子化要素815において予測残差805を量子化することができる。量子化された残差は、モード情報(例えば、イントラ予測またはインター予測)および予測情報(動きベクトル、参照ピクチャインデックス、イントラ予測モードなど)と一緒に、残差係数ブロック822として、エントロピー符号化要素830に提供することができる。エントロピー符号化要素830は、量子化された残差を圧縮し、それを出力ビデオビットストリーム835とともに提供することができる。エントロピー符号化要素830は、加えて、または代わりに、符号化(コーディング)モード、予測モード、および/または動き情報808を、出力ビデオビットストリーム835を生成する際に、使用することができる。
【0066】
実施形態では、符号化器800は、加えて、または代わりに、逆量子化要素825において逆量子化を残差係数ブロック822に適用し、また逆変換要素820において逆変換を適用して、加算器要素809において予測信号806に加算し戻すことができる再構成された残差を生成することによって、再構成されたビデオ信号を生成することができる。実施形態では、そのような再構成された残差の残差逆変換は、残差逆変換要素827によって生成し、加算器要素809に提供することができる。そのような実施形態では、残差符号化(コーディング)要素826は、CU_YCgCo_residual_coding_flag891(またはCU_YCgCo_residual_flag、もしくは説明されたCU_YCgCo_residual_coding_flagおよび/もしくは説明されたCU_YCgCo_residual_flagに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の1もしくは複数のフラグもしくはインジケータ)の値の表示を、制御信号823を介して、制御スイッチ817に提供することができる。制御スイッチ817は、そのようなフラグの受信を示す制御信号823を受信したことに応答して、再構成された残差を、再構成された残差の残差逆変換の生成のために、残差逆変換要素827に向かわせることができる。フラグ891および/または制御信号823の値は、順方向残差変換824および逆方向残差変換827の両方を含むことができる残差変換プロセスを適用するかどうかについての、符号化器による決定を示すことができる。いくつかの実施形態では、符号化器は、残差変換プロセスを適用することまたは適用しないことについてのコストおよび利益を評価するので、制御信号823は、異なる値を取ることができる。例えば、符号化器は、残差変換プロセスをビデオ信号の部分に適用することについてのレート-歪みコストを評価することができる。
【0067】
加算器809によって生成された結果の再構成されたビデオ信号は、いくつかの実施形態では、ループフィルタ要素850において実施されるループフィルタプロセスを使用して(例えば、デブロッキングフィルタ、サンプル適応オフセット、および/または適応ループフィルタのうちの1または複数を使用することによって)、処理することができる。結果の再構成されたビデオ信号は、いくつかの実施形態では、再構成されたブロック855の形態で、参照ピクチャストア870において記憶することができ、その場合、それは、例えば、動き予測(推定および補償)要素880および/または空間予測要素860によって、将来のビデオ信号を予測するために使用することができる。いくつかの実施形態では、加算器要素809によって生成された結果の再構成されたビデオ信号は、ループフィルタ要素850などの要素によって処理することなく、空間予測要素860に提供することができることに留意されたい。
【0068】
図8に示されるように、実施形態では、符号化器800などの符号化器は、CU_YCgCo_residual_coding_flag891(またはCU_YCgCo_residual_flag、もしくは説明されたCU_YCgCo_residual_coding_flagおよび/もしくは説明されたCU_YCgCo_residual_flagに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の1もしくは複数のフラグもしくはインジケータ)の値を、残差符号化(コーディング)要素826のための色空間決定において決定することができる。残差符号化(コーディング)要素826のための色空間決定は、そのようなフラグの表示を、制御信号823を介して、制御スイッチ807に提供することができる。制御スイッチ807は、RGBからYCgCoへの変換プロセスを残差変換要素824において予測残差805に適応的に適用することができるように、そのようなフラグの受信を示す制御信号823を受信したときに、それに応答して、予測残差805を残差変換要素824に向かわせることができる。いくつかの実施形態では、この変換プロセスは、変換要素810および量子化要素815によって処理される符号化(コーディング)ユニットに対して変換および量子化が実行される前に、実行することができる。いくつかの実施形態では、この変換プロセスは、加えて、または代わりに、逆変換要素820および逆量子化要素825によって処理される符号化(コーディング)ユニットに対して逆変換および逆量子化が実行される前に、実行することができる。いくつかの実施形態では、CU_YCgCo_residual_coding_flag891は、加えて、または代わりに、ビットストリーム内に含めるために、エントロピー符号化要素830に提供することができる。
【0069】
図9は、
図8の符号化器800によって生成することができるビットストリーム835などのビットストリームとすることができる、ビデオビットストリーム935を受信することができる、ブロックベースのシングルレイヤ復号器900のブロック図を示している。復号器900は、デバイス上における表示のために、ビットストリーム935を再構成することができる。復号器900は、エントロピー復号器要素930においてビットストリーム935を解析して、残差係数926を生成することができる。残差係数926は、加算器要素909に提供することができる再構成された残差を獲得するために、脱量子化(de-quantization)要素925において逆量子化することができ、および/または逆変換要素920において逆変換することができる。予測信号を獲得するために、符号化(コーディング)モード、予測モード、および/または動き情報927を使用することができ、いくつかの実施形態では、空間予測要素960によって提供される空間予測情報および/または時間予測要素990によって提供される時間予測情報の一方または両方を使用する。そのような予測信号は、予測ブロック929として提供することができる。予測信号と再構成された残差は、加算器要素909において加算されて、再構成されたビデオ信号を生成することができ、それは、ループフィルタリングのためにループフィルタ要素950に提供することができ、またピクチャを表示する際、および/またはビデオ信号を復号する際に使用するために、参照ピクチャストア970内に記憶することができる。予測モード928は、ループフィルタリングのためにループフィルタ要素950に提供することができる再構成されたビデオ信号を生成する際に使用するために、エントロピー復号要素930によって加算器要素909に提供することができることに留意されたい。
【0070】
実施形態では、復号器900は、エントロピー復号要素930においてビットストリーム935を復号して、
図8の符号化器800などの符号化器によってビットストリーム935内に符号化することができた、CU_YCgCo_residual_coding_flag991(またはCU_YCgCo_residual_flag、もしくは説明されたCU_YCgCo_residual_coding_flagおよび/もしくは説明されたCU_YCgCo_residual_flagに関する本明細書で説明される機能の実行もしくは表示の提供を行う、他の任意の1もしくは複数のフラグもしくはインジケータ)を決定することができる。CU_YCgCo_residual_coding_flag991の値は、逆変換要素920によって生成され、加算器要素909に提供される再構成された残差に対して、YCgCoからRGBへの逆変換プロセスを、残差逆変換要素999において実行することができるかどうかを決定するために使用することができる。実施形態では、フラグ991またはそれの受信を示す制御信号を、制御スイッチ917に提供することができ、制御スイッチ917は、それに応答して、再構成された残差の残差逆変換を生成するために、再構成された残差を残差逆変換要素999に向かわせることができる。
【0071】
動き補償予測またはイントラ予測の一部としてではなく、適応色空間変換を予測残差に対して実行することによって、実施形態では、ビデオ符号化(コーディング)システムの複雑性を低減させることができるが、その理由は、そのような実施形態は、符号化器および/または復号器が、2つの異なる色空間における予測信号を記憶することを必要としないことができるからである。
【0072】
残差符号化(コーディング)効率を改善するために、残余ブロックを複数の正方形変換ユニットに分割することによって、予測残余の変換符号化(コーディング)を実行することができ、可能なTUサイズは、4×4、8×8、16×16、および/または32×32とすることができる。
図10は、PUのTUへの例示的な分割1000を示しており、左下のPU1010は、TUサイズがPUサイズに等しいとすることができる実施形態を表すことができ、PU1020、1030、1040は、各それぞれの例示的なPUを複数のTUに分割することができる実施形態を表すことができる。
【0073】
実施形態では、予測残差の色空間変換は、TUレベルにおいて適応的に有効にすること、および/または無効にすることができる。そのような実施形態は、CUレベルにおいて適応色変換を有効および/または無効にするのと比較して、異なる色空間の間の切り換えについてのより細かい粒度を提供することができる。そのような実施形態は、適応色空間変換が達成することができる符号化利得を改善することができる。
【0074】
図8の例示的な符号化器800を再び参照すると、CUの残差符号化(コーディング)のための色空間を選択するために、例示的な符号化器800などの符号化器は、各符号化(コーディング)モード(例えば、イントラコーディングモード、インターコーディングモード、イントラブロックコピーモード)を2回、1回は色空間変換を行って、1回は色空間変換を行わずに、テストすることができる。いくつかの実施形態では、そのような符号化複雑性の効率を改善するために、本明細書で説明されるような様々な「高速」またはより効率的な符号化ロジックを使用することができる。
【0075】
実施形態では、YCgCoは、RGBよりもコンパクトな元の色信号の表現を提供することができるので、色空間変換を有効にしたRDコストを決定し、色空間変換を無効にしたRDコストと比較することができる。いくつかのそのような実施形態では、色空間変換を無効にしたRDコストの計算は、色空間変換を有効にしたときに少なくとも1つの非ゼロ係数が存在する場合に、行うことができる。
【0076】
テストされる符号化(コーディング)モードの数を低減させるために、いくつかの実施形態では、RGBおよびYCbCr色空間の両方について、同じ符号化(コーディング)モードを使用することができる。イントラモードの場合、選択されたルーマおよびクロマイントラ予測は、RGB空間とYCgCo空間との間で共用することができる。インターモードの場合、選択された動きベクトル、参照ピクチャ、および動きベクトル予測因子は、RGB色空間とYCgCo色空間との間で共用することができる。イントラブロックコピーモードの場合、選択されたブロックベクトルおよびブロックベクトル予測因子は、RGB色空間とYCgCo色空間との間で共用することができる。符号化複雑性をさらに低減させるために、いくつかの実施形態では、TU分割を、RGB色空間とYCgCo色空間との間で共用することができる。
【0077】
3つの色成分(YCgCoドメインにおけるY、Cg、Co、およびRGBドメインにおけるG、B、R)の間には相関が存在することがあるので、いくつかの実施形態では、3つの色成分について、同じイントラ予測方向を選択することができる。2つの色空間の各々において、3つの色成分のすべてについて、同じイントラ予測モードを使用することができる。
【0078】
同じ領域内のCUの間には相関が存在することがあるので、1つのCUは、その残差信号を符号化するために、そのペアレントCUと同じ色空間(例えば、RGBまたはYCgCo)を選択することができる。あるいは、チャイルドCUは、選択された色空間および/または各色空間のRDコストなど、そのペアレントと関連付けられた情報から、色空間を導出することができる。実施形態では、符号化複雑性は、ペアレントCUの残差がYCgCoドメインにおいて符号化されている場合、1つのCUについてのRGBドメインにおける残差符号化(コーディング)のRDコストをチェックしないことによって、低減させることができる。加えて、または代わりに、YCgCoドメインにおける残差符号化(コーディング)のRDコストのチェックは、チャイルドCUのペアレントCUの残差がRGBドメインにおいて符号化されている場合、スキップすることができる。いくつかの実施形態では、2つの色空間におけるチャイルドCUのペアレントCUのRDコストは、2つの色空間がペアレントCUの符号化においてテストされる場合、チャイルドCUのために使用することができる。チャイルドCUのペアレントCUがYCgCo色空間を選択し、YCgCoのRDコストがRGBのそれよりも少ない場合、チャイルドCUについて、RGB色空間をスキップすることができ、その逆も同様である。
【0079】
多くのイントラ角度予測モード、1もしくは複数のDCモード、および/または1もしくは複数の平面予測モードを含むことができる多くのイントラ予測モードを含む多くの予測モードを、いくつかの実施形態によってサポートすることができる。すべてのそのようなイントラ予測モードについて、色空間変換を用いる残差符号化(コーディング)をテストすることは、符号化器の複雑性を増加させることがある。実施形態では、サポートされるすべてのイントラ予測モードについて完全なRDコストを計算する代わりに、サポートされるモードから、N個のイントラ予測候補からなるサブセットを、残差符号化(コーディング)のビットを考慮することなく、選択することができる。N個の選択されたイントラ予測候補は、残差符号化(コーディング)を適用した後、RDコストを計算することによって、変換された色空間においてテストすることができる。サポートされるモードの中で最も低いRDコストを有する最良モードを、変換された色空間におけるイントラ予測モードとして選択することができる。
【0080】
本明細書で言及されるように、開示される色空間変換システムおよび方法は、シーケンスレベルにおいて、ならびに/またはピクチャおよび/もしくはブロックレベルにおいて有効にすること、および/または無効にすることができる。以下の表3に示される例示的な実施形態では、シンタックス要素(その例は、表3ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)を、シーケンスパラメータセット(SPS)内で使用して、残差色空間変換符号化(コーディング)ツールが有効であるかどうかを示すことができる。いくつかのそのような実施形態では、色空間変換は、ルーマ成分とクロマ成分について同じ解像度を有するビデオコンテンツに適用されるので、開示される適応色空間変換システムおよび方法は、「444」クロマフォーマットに対して有効であることができる。そのような実施形態では、444クロマフォーマットへの色空間変換は、相対的に高いレベルで制約されることがある。そのような実施形態では、非444カラーフォーマットを使用することができる場合、色空間変換の無効化を実施するために、ビットストリーム適合制約を適用することができる。
【0081】
【0082】
実施形態では、例示的なシンタックス要素「sps_residual_csc_flag」は、1に等しい場合、残差色空間変換コーディングツールを有効とすることができることを示すことができる。例示的なシンタックス要素sps_residual_csc_flagは、0に等しい場合、残差色空間変換を無効とすることができ、CUレベルにおけるフラグCU_YCgCo_residual_flagは0であると推測されることを示すことができる。そのような実施形態では、ChromaArrayTypeシンタックス要素が3に等しくない場合、例示的なsps_residual_csc_flagシンタックス要素(またはその等価物)の値は、ビットストリーム適合を維持するために、0に等しくすることができる。
【0083】
別の実施形態では、以下の表4に示されるように、例示的なsps_residual_csc_flagシンタックス要素(その例は、表4ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、ChromaArraryTypeシンタックス要素の値に応じて、伝達することができる。そのような実施形態では、入力ビデオが、444カラーフォーマットである(すなわち、ChromaArraryTypeが3に等しく、例えば、表において、「ChromaArrayType==3」である)場合、色空間変換が有効であるかどうかを示すために、例示的なsps_residual_csc_flagシンタックス要素を伝達することができる。そのような入力ビデオが、44カラーフォーマットでない(すなわち、ChromaArraryTypeが3に等しくない)場合、例示的なsps_residual_csc_flagシンタックス要素は、伝達されないことがあり、0に等しくなるように設定することができる。
【0084】
【0085】
残差色空間変換符号化(コーディング)ツールが有効である場合、実施形態では、GBR色空間とYCgCo色空間との間の色空間変換を有効にするために、本明細書で説明されるように、CUレベルおよび/またはTUレベルにおいて、別のフラグを追加することができる。
【0086】
その例が以下の表5に示される実施形態では、例示的な符号化(コーディング)ユニットシンタックス要素「cu_ycgco_residue_flag」(その例は、表5ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、符号化(コーディング)ユニットの残差をYCgCo色空間において符号化および/または復号することができることを示すことができる。そのような実施形態では、cu_ycgco_residue_flagシンタックス要素またはその等価物は、0に等しい場合、コーディングユニットの残差をGBR色空間において符号化することができることを示すことができる。
【0087】
【0088】
その例が以下の表6に示される別の実施形態では、例示的な変換ユニットシンタックス要素「tu_ycgco_residue_flag」(その例は、表6ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、変換ユニットの残差をYCgCo色空間において符号化および/または復号することができることを示すことができる。そのような実施形態では、tu_ycgco_residue_flagシンタックス要素またはその等価物は、0に等しい場合、変換ユニットの残差をGBR色空間において符号化することができることを示すことができる。
【0089】
【0090】
いくつかの補間フィルタは、いくつかの実施形態では、スクリーンコンテンツコーディングにおいて使用することができる動き補償予測のために分数ピクセルを補間する際に、あまり効率的ではないことがある。例えば、4タップフィルタは、RGBビデオを符号化する場合、分数位置においてB成分およびR成分を補間する際に、正確ではないことがある。可逆符号化(コーディング)の実施形態では、8タップルーマフィルタは、元のルーマ成分内に含まれる有益な高周波数テクスチャ情報を保存する最も効率的な手段ではないことがある。実施形態では、異なる色成分に対して、補間フィルタの別個の表示を使用することができる。
【0091】
そのような一実施形態では、分数ピクセル補間プロセスのための候補フィルタとして、1または複数の(1つ以上の)デフォルト補間フィルタ(例えば、8タップフィルタのセット、4タップフィルタのセット)を使用することができる。別の実施形態では、デフォルト補間フィルタとは異なる補間フィルタのセットを、ビットストリームで明示的に伝達することができる。異なる色成分に対する適応フィルタ選択を可能にするために、各色成分のために選択される補間フィルタを指定するシンタックス要素の伝達を使用することができる。開示されるフィルタ選択システムおよび方法は、シーケンスレベル、ピクチャおよび/またはスライスレベル、ならびにCUレベルなど、様々な符号化(コーディング)レベルにおいて使用することができる。動作コーディングレベルの選択は、利用可能な実施の符号化効率ならびに/または計算および/もしくは動作複雑性に基づいて、行うことができる。
【0092】
デフォルト補間フィルタが使用される実施形態では、色成分の分数ピクセル補間のために、8タップフィルタのセットを使用することができるか、それとも4タップフィルタのセットを使用することができるかを、フラグを使用して、示すことができる。1つのそのようなフラグは、Y成分(またはRGB色空間の実施形態ではG成分)のためのフィルタ選択を示すことができ、別のそのようなフラグは、Cb成分およびCr成分(またはRGB色空間の実施形態ではB成分およびR成分)のために使用することができる。以下の表は、シーケンスレベル、ピクチャおよび/またはスライスレベル、ならびにCUレベルにおいて伝達することができる、そのようなフラグの例を提供する。
【0093】
以下の表7は、シーケンスレベルにおけるデフォルト補間フィルタの選択を可能にするために、そのようなフラグが伝達される実施形態を示している。開示されるシンタックスは、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)を含む、任意のパラメータセットに適用することができる。表7は、例示的なシンタックス要素をSPSで伝達することができる実施形態を示している。
【0094】
【0095】
そのような実施形態では、例示的なシンタックス要素「sps_luma_use_default_filter_flag」(その例は、表7ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素sps_luma_use_default_filter_flagは、0に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。
【0096】
そのような実施形態では、例示的なシンタックス要素「sps_chroma_use_default_filter_flag」(その例は、表7ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素sps_chroma_use_default_filter_flagは、0に等しい場合、現在のシーケンスパラメータセットと関連付けられたすべてのピクチャのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することができることを示すことができる。
【0097】
実施形態では、ピクチャおよび/またはスライスレベルにおける補間フィルタの選択を容易にするために、ピクチャおよび/またはスライスレベルにおいてフラグを伝達することができる(すなわち、与えられた色成分について、ピクチャおよび/またはスライス内のすべてのCUが、同じ補間フィルタを使用することができる)。以下の表8は、実施形態による、スライスセグメントヘッダ内のシンタックス要素を使用する伝達の例を示している。
【0098】
【0099】
そのような実施形態では、例示的なシンタックス要素「slice_luma_use_default_filter_flag」(その例は、表8ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のスライスのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することができることを示すことができる。そのような実施形態では、例示的なslice_luma_use_default_filter_flagシンタックス要素は、0に等しい場合、現在のスライスのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。
【0100】
そのような実施形態では、例示的なシンタックス要素「slice_chroma_use_default_filter_flag」(その例は、表8ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のスライスのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素slice_chroma_use_default_filter_flagは、0に等しい場合、現在のスライスのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することができることを示すことができる。
【0101】
CUレベルにおける補間フィルタの選択を容易にするために、CUレベルにおいてフラグを伝達することができる実施形態では、実施形態では、そのようなフラグは、
図9に示されるような符号化(コーディング)ユニットシンタックスを使用して、伝達することができる。そのような実施形態では、CUの色成分は、そのCUのための予測信号を提供することができる、1または複数の(1つ以上の)補間フィルタを適応的に選択することができる。そのような選択は、適応補間フィルタ選択によって達成することができるコーディング改善を表すことができる。
【0102】
【0103】
そのような実施形態では、例示的なシンタックス要素「cu_use_default_filter_flag」(その例は、表9ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、ルーマおよびクロマの両方が、分数ピクセルの補間のために、デフォルト補間フィルタを使用することができることを示す。そのような実施形態では、例示的なcu_use_default_filter_flagシンタックス要素またはその等価物は、0に等しい場合、現在のCUのルーマ成分またはクロマ成分のどちらかが、分数ピクセルの補間のために、補間フィルタの異なるセットを使用することができることを示すことができる。
【0104】
そのような実施形態では、例示的なシンタックス要素「cu_luma_use_default_filter_flag」(その例は、表9ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のcuのルーマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することを示すことができる。そのような実施形態では、例示的なシンタックス要素cu_luma_use_default_filter_flagは、0に等しい場合、現在のcuのルーマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。
【0105】
そのような実施形態では、例示的なシンタックス要素「cu_chroma_use_default_filter_flag」(その例は、表9ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、1に等しい場合、現在のcuのクロマ成分が、分数ピクセルの補間のために、クロマ補間フィルタの同じセット(例えば、デフォルトクロマフィルタのセット)を使用することができることを示すことができる。そのような実施形態では、例示的なシンタックス要素cu_chroma_use_default_filter_flagは、0に等しい場合、現在のcuのクロマ成分が、分数ピクセルの補間のために、ルーマ補間フィルタの同じセット(例えば、デフォルトルーマフィルタのセット)を使用することができることを示すことができる。
【0106】
実施形態では、補間フィルタ候補の係数は、ビットストリームで明示的に伝達することができる。デフォルト補間フィルタと異なることができる任意の補間フィルタは、ビデオシーケンスの分数ピクセル補間処理のために使用することができる。そのような実施形態では、符号化器から復号器へのフィルタ係数の配送を容易にするために、例示的なシンタックス要素「interp_filter_coef_set()」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)を使用して、ビットストリームでフィルタ係数を搬送することができる。表10は、補間フィルタ候補のそのような係数を伝達するためのシンタックス構造を示している。
【0107】
【0108】
そのような実施形態では、例示的なシンタックス要素「arbitrary_interp_filter_used_flag」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)は、任意の補間フィルタが存在するかどうかを指定することができる。例示的なシンタックス要素arbitrary_interp_filter_used_flagが、1であるように設定されている場合、補間プロセスのために、任意の補間フィルタを使用することができる。
【0109】
やはり、そのような実施形態では、例示的なシンタックス要素「num_interp_filter_set」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、ビットストリーム内で提示される補間フィルタセットの数を指定することができる。
【0110】
またやはり、そのような実施形態では、例示的なシンタックス要素「interp_filter_coeff_shifting」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、ピクセル補間のために使用される右シフト演算の回数を指定することができる。
【0111】
またやはり、そのような実施形態では、例示的なシンタックス要素「num_interp_filter[i]」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、第iの補間フィルタセット内の補間フィルタの数を指定することができる。
【0112】
ここでもやはり、そのような実施形態では、例示的なシンタックス要素「num_interp_filter_coeff[i]」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、第iの補間フィルタセット内の補間フィルタのために使用されるタップの数を指定することができる。
【0113】
ここでもやはり、そのような実施形態では、例示的なシンタックス要素「interp_filter_coeff_abs[i][j][l]」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、第iの補間フィルタセット内の第jの補間フィルタの第lの係数の絶対値を指定することができる。
【0114】
またやはり、そのような実施形態では、例示的なシンタックス要素「interp_filter_coeff_sign[i][j][l]」(その例は、表10ではボールド体で強調されているが、それは、任意の形態、ラベル、用語、またはそれらの組み合わせを取ることができ、そのすべては、本開示の範囲内にあることが企図される)またはその等価物は、第iの補間フィルタセット内の第jの補間フィルタの第lの係数の符号を指定することができる。
【0115】
開示されるシンタックス要素は、VPS、SPS、PPSなどの任意の高レベルのパラメータセット、およびスライスセグメントヘッダにおいて示すことができる。動作コーディングレベルのための補間フィルタの選択を容易にするために、シーケンスレベル、ピクチャレベル、および/またはCUレベルにおいて、追加のシンタックス要素を使用することができることも留意されたい。開示されるフラグは、選択されたフィルタセットを示すことができる変数によって置き換えることができることも留意されたい。企図される実施形態では、補間フィルタの任意の数(例えば、2つ、3つ、またはより多く)のセットを、ビットストリームで伝達することができることに留意されたい。
【0116】
開示される実施形態を使用すると、動き補償予測プロセス中に、補間フィルタの任意の組み合わせを使用して、分数位置におけるピクセルを補間することができる。例えば、(RGBまたはYCbCrのフォーマットの)4:4:4ビデオ信号の非可逆符号化(コーディング)を実行することができる実施形態では、3つの色成分(すなわち、R、G、およびB成分)についての分数ピクセルを生成するために、デフォルトの8タップフィルタを使用することができる。ビデオ信号の可逆符号化(コーディング)を実行することができる別の実施形態では、3つの色成分(すなわち、YCbCr色空間におけるY、Cb、およびCr成分、RGB色空間におけるR、G、およびB成分)についての分数ピクセルを生成するために、デフォルトの4タップフィルタを使用することができる。
【0117】
図11Aは、1または複数の開示される実施形態を実施することができる例示的な通信システム100の図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムとすることができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、およびシングルキャリアFDMA(SC-FDMA)など、1または複数の(1つ以上の)チャネルアクセス方法を利用することができる。
【0118】
図11Aに示されるように、通信システム100は、(一般にまたは一括してWTRU102と呼ばれることがある)無線送受信ユニット(WTRU)102a、102b、102c、および/または102d、無線アクセスネットワーク(RAN)103/104/105、コアネットワーク106/107/109、公衆交換電話網(PSTN)108、インターネット110、ならびに他のネットワーク112を含むことができるが、開示されるシステムおよび方法は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスとすることができる。例を挙げると、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成することができ、ユーザ機器(UE)、移動局、固定もしくは移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、および家電製品などを含むことができる。
【0119】
通信システム100は、基地局114aおよび基地局114bも含むことができる。基地局114a、114bの各々は、コアネットワーク106/107/109、インターネット110、および/またはネットワーク112などの1または複数の(1つ以上の)通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dの少なくとも1つと無線でインターフェースを取るように構成された、任意のタイプのデバイスとすることができる。例を挙げると、基地局114a、114bは、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどとすることができる。基地局114a、114bは各々、単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
【0120】
基地局114aは、RAN103/104/105の部分とすることができ、RAN103/104/105は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれることがある特定の地理的領域内で、無線信号を送信および/または受信するように構成することができる。セルは、さらにセルセクタに分割することができる。例えば、基地局114aに関連付けられたセルは、3つのセクタに分割することができる。したがって、一実施形態では、基地局114aは、送受信機を3つ、例えば、セルのセクタ毎に1つずつ含むことができる。別の実施形態では、基地局114aは、多入力多出力(MIMO)技術を利用することができ、したがって、セルのセクタ毎に複数の送受信機を利用することができる。
【0121】
基地局114a、114bは、エアインターフェース115/116/117上で、WTRU102a、102b、102c、102dの1または複数と通信することができ、エアインターフェース115/116/117は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)とすることができる。エアインターフェース115/116/117は、任意の適切な無線アクセス技術(RAT)を使用して確立することができる。
【0122】
より具体的には、上で言及されたように、通信システム100は、多元接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなどの、1または複数の(1つ以上の)チャネルアクセス方式を利用することができる。例えば、RAN103/104/105内の基地局114a、およびWTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用してエアインターフェース115/116/117を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
【0123】
別の実施形態では、基地局114a、およびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE-A)を使用してエアインターフェース115/116/117を確立することができる、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実施することができる。
【0124】
他の実施形態では、基地局114a、およびWTRU102a、102b、102cは、IEEE802.16(すなわち、マイクロ波アクセス用の世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用の高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施することができる。
図11Aの基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントとすることができ、職場、家庭、乗物、およびキャンパスなどの局所的エリアにおける無線接続性を容易にするために、任意の適切なRATを利用することができる。一実施形態では、基地局114b、およびWTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。別の実施形態では、基地局114b、およびWTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態では、基地局114b、およびWTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-Aなど)を利用して、ピコセルまたはフェムトセルを確立することができる。
図11Aに示されるように、基地局114bは、インターネット110への直接的な接続を有することがある。したがって、基地局114bは、コアネットワーク106/107/109を介して、インターネット110にアクセスする必要がないことがある。
【0125】
RAN103/104/105は、コアネットワーク106/107/109と通信することができ、コアネットワーク106/107/109は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスをWTRU102a、102b、102c、102dの1または複数に提供するように構成された、任意のタイプのネットワークとすることができる。例えば、コアネットワーク106/107/109は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続性、ビデオ配信などを提供することができ、および/またはユーザ認証など、高レベルのセキュリティ機能を実行することができる。
図11Aには示されていないが、RAN103/104/105および/またはコアネットワーク106/107/109は、RAN103/104/105と同じRATまたは異なるRATを利用する他のRANと直接的または間接的に通信することができることが理解されよう。例えば、E-UTRA無線技術を利用することができるRAN103/104/105に接続するのに加えて、コアネットワーク106/107/109は、GSM無線技術を利用する別のRAN(図示されず)とも通信することができる。
【0126】
コアネットワーク106/107/109は、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするための、WTRU102a、102b、102c、102dのためのゲートウェイとしての役割も果たすことができる。PSTN108は、基本電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される有線または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN103/104/105と同じRATまたは異なるRATを利用することができる1または複数の(1つ以上の)RANに接続された、別のコアネットワークを含むことができる。
【0127】
通信システム100内のWTRU102a、102b、102c、102dのいくつかまたはすべては、マルチモード機能を含むことができ、例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上で異なる無線ネットワークと通信するための複数の送受信機を含むことができる。例えば、
図11Aに示されたWTRU102cは、セルラベースの無線技術を利用することができる基地局114aと通信するように、またIEEE802無線技術を利用することができる基地局114bと通信するように構成することができる。
【0128】
図11Bは、例示的なWTRU102のシステム図である。
図11Bに示されるように、WTRU102は、プロセッサ118と、送受信機120と、送信/受信要素122と、スピーカ/マイクロフォン124と、キーパッド126と、ディスプレイ/タッチパッド128と、着脱不能メモリ130と、着脱可能メモリ132と、電源134と、全地球測位システム(GPS)チップセット136と、他の周辺機器138とを含むことができる。WTRU102は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。また、実施形態は、基地局114a、114b、ならびに/またはとりわけ、基地局(BTS)、ノードB、サイトコントローラ、アクセスポイント(AP)、ホームノードB、進化型ノードB(eノードB)、ホーム進化型ノードB(HeNB)、ホーム進化型ノードBゲートウェイ、およびプロキシノードなどの、しかし、それらに限定されない、基地局114a、114bが表すことができるノードが、
図11Bに示され、本明細書で説明される要素のいくつかまたはすべてを含むことができることを企図している。
【0129】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1または複数の(1つ以上の)マイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などとすることができる。プロセッサ118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境で動作することを可能にする他の任意の機能を実行することができる。プロセッサ118は、送受信機120に結合することができ、送受信機120は、送信/受信要素122に結合することができる。
図11Bは、プロセッサ118と送受信機120を別々の構成要素として示しているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
【0130】
送信/受信要素122は、エアインターフェース115/116/117上で、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。別の実施形態では、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器とすることができる。また別の実施形態では、送信/受信要素122は、RF信号と光信号の両方を送信および受信するように構成することができる。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが理解されよう。
【0131】
加えて、
図11Bでは、送信/受信要素122は単一の要素として示されているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を利用することができる。したがって、一実施形態では、WTRU102は、エアインターフェース115/116/117上で無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
【0132】
送受信機120は、送信/受信要素122によって送信される信号を変調し、送信/受信要素122によって受信された信号を復調するように構成することができる。上で言及されたように、WTRU102は、マルチモード機能を有することができる。したがって、送受信機120は、WTRU102が、例えば、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
【0133】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、着脱不能メモリ130および/または着脱可能メモリ132など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。着脱不能メモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。着脱可能メモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態では、プロセッサ118は、WTRU102上に物理的に配置されたメモリではなく、サーバまたはホームコンピュータ(図示されず)上などに配置されたメモリから情報を入手することができ、それらにデータを記憶することができる。
【0134】
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他の構成要素への電力の分配および/または制御を行うように構成することができる。電源134は、WTRU102に給電するための任意の適切なデバイスとすることができる。例えば、電源134は、1または複数の(1つ以上の)乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)など)、太陽電池、および燃料電池などを含むことができる。
【0135】
プロセッサ118は、GPSチップセット136にも結合することができ、GPSチップセット136は、WTRU102の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成することができる。GPSチップセット136からの情報に加えて、またはその代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース115/116/117上で位置情報を受信することができ、および/または2つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得することができることが理解されよう。
【0136】
プロセッサ118は、他の周辺機器138にさらに結合することができ、他の周辺機器138は、追加的な特徴、機能、および/または有線もしくは無線接続を提供する、1または複数の(1つ以上の)ソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、およびインターネットブラウザなどを含むことができる。
【0137】
図11Cは、実施形態による、RAN103およびコアネットワーク106のシステム図である。上で言及されたように、RAN103は、UTRA無線技術を利用して、エアインターフェース115上でWTRU102a、102b、102cと通信することができる。RAN103は、コアネットワーク106とも通信することができる。
図11Cに示されるように、RAN103は、ノードB140a、140b、140cを含むことができ、それらは各々、エアインターフェース115上でWTRU102a、102b、102cと通信するための1または複数の(1つ以上の)送受信機を含むことができる。ノードB140a、140b、140cは各々、RAN103内の特定のセル(図示されず)に関連付けることができる。RAN103は、RNC142a、142bも含むことができる。RAN103は、実施形態との整合性を保ちながら、任意の数のノードBおよびRNCを含むことができることが理解されよう。
【0138】
図11Cに示されるように、ノードB140a、140bは、RNC142aと通信することができる。加えて、ノードB140cは、RNC142bと通信することができる。ノードB140a、140b、140cは、Iubインターフェースを介して、それぞれのRNC142a、142bと通信することができる。RNC142a、142bは、Iurインターフェースを介して、互いに通信することができる。RNC142a、142bの各々は、それが接続されたそれぞれのノードB140a、140b、140cを制御するように構成することができる。加えて、RNC142a、142bの各々は、アウタループ電力制御、負荷制御、アドミッションコントロール、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、およびデータ暗号化など、他の機能を実施またはサポートするように構成することができる。
【0139】
図11Cに示されるコアネットワーク106は、メディアゲートウェイ(MGW)144、モバイル交換センタ(MSC)146、サービングGPRSサポートノード(SGSN)148、および/またはゲートウェイGPRSサポートノード(GGSN)150を含むことができる。上記の要素の各々は、コアネットワーク106の部分として示されているが、これらの要素は、どの1つにしても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
【0140】
RAN103内のRNC142aは、IuCSインターフェースを介して、コアネットワーク106内のMSC146に接続することができる。MSC146は、MGW144に接続することができる。MSC146とMGW144は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にすることができる。
【0141】
RAN103内のRNC142aは、IuPSインターフェースを介して、コアネットワーク106内のSGSN148にも接続することができる。SGSN148は、GGSN150に接続することができる。SGSN148とGGSN150は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
【0142】
上で言及されたように、コアネットワーク106は、ネットワーク112にも接続することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
【0143】
図11Dは、実施形態による、RAN104およびコアネットワーク107のシステム図である。上で言及されたように、RAN104は、E-UTRA無線技術を利用して、エアインターフェース116上でWTRU102a、102b、102cと通信することができる。RAN104は、コアネットワーク107とも通信することができる。
【0144】
RAN104は、eノードB160a、160b、160cを含むことができるが、RAN104は、実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB160a、160b、160cは、各々が、エアインターフェース116上でWTRU102a、102b、102cと通信するための1または複数の(1つ以上の)送受信機を含むことができる。一実施形態では、eノードB160a、160b、160cは、MIMO技術を実施することができる。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、WTRU102aから無線信号を受信することができる。
【0145】
eノードB160a、160b、160cの各々は、特定のセル(図示されず)に関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにアップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成することができる。
図11Dに示されるように、eノードB160a、160b、160cは、X2インターフェース上で互いに通信することができる。
【0146】
図11Dに示されるコアネットワーク107は、モビリティ管理ゲートウェイ(MME)162、サービングゲートウェイ164、およびパケットデータネットワーク(PDN)ゲートウェイ166を含むことができる。上記の要素の各々は、コアネットワーク107の部分として示されているが、これらの要素は、どの1つにしても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
【0147】
MME162は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、MME162は、WTRU102a、102b、102cのユーザの認証、ベアラアクティブ化/非アクティブ化、WTRU102a、102b、102cの初期接続中における特定のサービングゲートウェイの選択などを担うことができる。MME162は、RAN104とGSMまたはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能も提供することができる。
【0148】
サービングゲートウェイ164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができる。サービングゲートウェイ164は、一般に、ユーザデータパケットのWTRU102a、102b、102cへの/からの経路選択および転送を行うことができる。サービングゲートウェイ164は、eノードB間ハンドオーバ中におけるユーザプレーンのアンカリング、ダウンリンクデータがWTRU102a、102b、102cに利用可能な場合に行うページングのトリガ、ならびにWTRU102a、102b、102cのコンテキストの管理および記憶など、他の機能も実行することができる。
【0149】
サービングゲートウェイ164は、PDNゲートウェイ166にも接続することができ、PDNゲートウェイ166は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
【0150】
コアネットワーク107は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク107は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にすることができる。例えば、コアネットワーク107は、コアネットワーク107とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはIPゲートウェイと通信することができる。加えて、コアネットワーク107は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
【0151】
図11Eは、実施形態による、RAN105およびコアネットワーク109のシステム図である。RAN105は、IEEE802.16無線技術を利用して、エアインターフェース117上でWTRU102a、102b、102cと通信する、アクセスサービスネットワーク(ASN)とすることができる。以下でさらに説明されるように、WTRU102a、102b、102c、RAN105、およびコアネットワーク109の異なる機能エンティティ間の通信リンクは、参照点として定義することができる。
【0152】
図11Eに示されるように、RAN105は、基地局180a、180b、180cと、ASNゲートウェイ182とを含むことができるが、RAN105は、実施形態との整合性を保ちながら、任意の数の基地局とASNゲートウェイとを含むことができることが理解されよう。基地局180a、180b、180cは、各々が、RAN105内の特定のセル(図示されず)に関連付けることができ、各々が、エアインターフェース117上でWTRU102a、102b、102cと通信するための1または複数の(1つ以上の)送受信機を含むことができる。一実施形態では、基地局180a、180b、180cは、MIMO技術を実施することができる。したがって、基地局180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、WTRU102aから無線信号を受信することができる。基地局180a、180b、180cは、ハンドオフトリガリング、トンネル確立、無線リソース管理、トラフィック分類、およびサービス品質(QoS)方針実施などの、モビリティ管理機能も提供することができる。ASNゲートウェイ182は、トラフィック集約ポイントとしての役割を果たすことができ、ページング、加入者プロファイルのキャッシング、およびコアネットワーク109への経路選択などを担うことができる。
【0153】
WTRU102a、102b、102cとRAN105との間のエアインターフェース117は、IEEE802.16仕様を実施する、R1参照点として定義することができる。加えて、WTRU102a、102b、102cの各々は、コアネットワーク109との論理インターフェース(図示されず)を確立することができる。WTRU102a、102b、102cとコアネットワーク109との間の論理インターフェースは、R2参照点として定義することができ、R2参照点は、認証、認可、IPホスト構成管理、および/またはモビリティ管理のために使用することができる。
【0154】
基地局180a、180b、180cの各々の間の通信リンクは、WTRUハンドオーバおよび基地局間でのデータの転送を容易にするためのプロトコルを含む、R8参照点として定義することができる。基地局180a、180b、180cとASNゲートウェイ182との間の通信リンクは、R6参照点として定義することができる。R6参照点は、WTRU102a、102b、102cの各々と関連付けられたモビリティイベントに基づいたモビリティ管理を容易にするためのプロトコルを含むことができる。
【0155】
図11Eに示されるように、RAN105は、コアネットワーク109に接続することができる。RAN105とコアネットワーク109との間の通信リンクは、例えば、データ転送およびモビリティ管理機能を容易にするためのプロトコルを含む、R3参照点として定義することができる。コアネットワーク109は、モバイルIPホームエージェント(MIP-HA)184と、認証認可課金(AAA)サーバ186と、ゲートウェイ188とを含むことができる。上記の要素の各々は、コアネットワーク109の部分として示されているが、これらの要素は、どの1つにしても、コアネットワークオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
【0156】
MIP-HAは、IPアドレス管理を担うことができ、WTRU102a、102b、102cが、異なるASNの間で、および/または異なるコアネットワークの間でローミングを行うことを可能にすることができる。MIP-HA184は、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。AAAサーバ186は、ユーザ認証、およびユーザサービスのサポートを担うことができる。ゲートウェイ188は、他のネットワークとの網間接続を容易にすることができる。例えば、ゲートウェイ188は、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信デバイスとの間の通信を容易にすることができる。加えて、ゲートウェイ188は、ネットワーク112へのアクセスをWTRU102a、102b、102cに提供し、ネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線または無線ネットワークを含むことができる。
【0157】
図11Eには示されていないが、RAN105は、他のASNに接続することができ、コアネットワーク109は、他のコアネットワークに接続することができることが理解されよう。RAN105と他のASNとの間の通信リンクは、R4参照点として定義することができ、R4参照点は、RAN105と他のASNとの間で、WTRU102a、102b、102cのモビリティを調整するためのプロトコルを含むことができる。コアネットワーク109と他のコアネットワークとの間の通信リンクは、R5参照として定義することができ、R5参照点は、ホームコアネットワークと在圏コアネットワークとの間の網間接続を容易にするためのプロトコルを含むことができる。
【0158】
上では特徴および要素が特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータまたはプロセッサによって実行するための、コンピュータ可読媒体内に包含された、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、(有線または無線接続上で送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび着脱可能ディスクなどの磁気媒体、光磁気媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含むが、それらに限定されない。WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために、ソフトウェアと連携するプロセッサを使用することができる。
【産業上の利用可能性】
【0159】
本発明は、ビデオコンテンツを符号化および復号するためのシステム、方法、およびデバイスに利用することができる。
【符号の説明】
【0160】
102、102a~102d、 WTRU
103、104、105 RAN
106、107、109 コアネットワーク
108 PSTN
110 インターネット