特許第6242793号(P6242793)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴィド スケール インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6242793
(24)【登録日】2017年11月17日
(45)【発行日】2017年12月6日
(54)【発明の名称】空間的予測のためのシステムおよび方法
(51)【国際特許分類】
   H04N 19/11 20140101AFI20171127BHJP
   H04N 19/132 20140101ALI20171127BHJP
   H04N 19/176 20140101ALI20171127BHJP
   H04N 19/159 20140101ALI20171127BHJP
   H04N 19/593 20140101ALI20171127BHJP
【FI】
   H04N19/11
   H04N19/132
   H04N19/176
   H04N19/159
   H04N19/593
【請求項の数】18
【全頁数】40
(21)【出願番号】特願2014-530812(P2014-530812)
(86)(22)【出願日】2012年9月14日
(65)【公表番号】特表2014-531154(P2014-531154A)
(43)【公表日】2014年11月20日
(86)【国際出願番号】US2012055280
(87)【国際公開番号】WO2013040287
(87)【国際公開日】20130321
【審査請求日】2015年9月14日
(31)【優先権主張番号】61/535,043
(32)【優先日】2011年9月15日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】イエ イエン
(72)【発明者】
【氏名】チェン チエン
(72)【発明者】
【氏名】ドン ジエ
【審査官】 赤穂 州一郎
(56)【参考文献】
【文献】 国際公開第2009/004985(WO,A1)
【文献】 特開2005−130417(JP,A)
【文献】 特開2006−237970(JP,A)
【文献】 特開2003−204555(JP,A)
【文献】 特開2010−263301(JP,A)
【文献】 特開2011−015117(JP,A)
【文献】 特開2009−290498(JP,A)
【文献】 特開2000−156868(JP,A)
【文献】 特開2010−034802(JP,A)
【文献】 国際公開第2011/108240(WO,A1)
【文献】 米国特許出願公開第2011/0150087(US,A1)
【文献】 Jung-Ah Choi, Jin Heo, and Yo-Sung Ho,H.264/AVC BASED NEAR LOSSLESS INTRA CODECUSING LINE-BASED PREDICTION AND MODIFIED CABAC,MULTIMEDIA AND EXPO(ICME), INTERNATIONAL CONFERENCE ON IEEE,2011年 7月11日,第1−5頁
【文献】 Sandeep Kanumuri, TK Tan, Frank Bossen,Enhancements to Intra Coding,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR ,[JCTVC-D235],2011年 1月14日,1−7頁
【文献】 Yih Han Tan et al.,Intra-prediction with Adaptive Sub-sampling,Joint Collaborative Team on Video Coding (JCT-VC),2010年 7月28日,JCTVC-B025
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
符号化されたビデオブロックを含んでいる符号化されたビデオストリームを受信し、
前記ビデオブロックに対する予測モードを決定し、
前記ビデオブロックに対する前記予測モードに基づいて、前記ビデオブロックのサブサンプリングされたサブブロックを決定し、前記ビデオブロックは、前記ビデオブロックの前記サブサンプリングされたサブブロック、および前記ビデオブロックの1つまたは複数の残りのサブサンプリングされたブロックを表す係数を含み、前記サブサンプリングされたサブブロックは前記ビデオブロックの2つ以上の行および2つ以上の列からのピクセルを含み、前記サブサンプリングされたサブブロックは複数のピクセルを含み、および、前記サブサンプリングされたサブブロックの前記複数のピクセルは前記ビデオブロックの非隣接ピクセルであり、
前記予測モードに基づいて、予測されサブサンプリングされたサブブロックを生成し、
前記予測されサブサンプリングされたサブブロックおよび前記係数に基づいて、再構築されサブサンプリングされたサブブロックを生成し、
前記再構築されサブサンプリングされたサブブロックおよび前記予測モードに基づいて、前記1つまたは複数の残りのサブサンプリングされたブロックの予測されサブサンプリングされたブロックを生成し、
前記1つまたは複数の残りのサブサンプリングされたブロックの前記予測されサブサンプリングされたブロックおよび前記係数に基づいて、1つまたは複数の再構築された残りのサブサンプリングされたブロックを生成し、
前記再構築されサブサンプリングされたサブブロックおよび前記1つまたは複数の再構築された残りのサブサンプリングされたブロックに基づいて、再構築されたビデオブロックを生成する
ように構成されたプロセッサを備えたことを特徴とする復号デバイス。
【請求項2】
前記1つまたは複数の残りのサブサンプリングされたブロックのピクセルは、前記サブサンプリングされたサブブロックの少なくとも2つのピクセルを使用して予測されることを特徴とする請求項1に記載の復号デバイス。
【請求項3】
前記1つまたは複数の残りのサブサンプリングされたブロックの第1のブロックのピクセルは、前記サブサンプリングされたサブブロックのピクセルおよび前記1つまたは複数の残りのサブサンプリングされたブロックの第2のブロックのピクセルを使用して予測されることを特徴とする請求項1に記載の復号デバイス。
【請求項4】
前記1つまたは複数の残りのサブサンプリングされたブロックは複数のピクセルを含み、および前記1つまたは複数の残りのサブサンプリングされたブロックの前記複数のピクセルの各々は、前記サブサンプリングされたサブブロックの少なくとも1つのピクセルの隣接ピクセルであることを特徴とする請求項1に記載の復号デバイス。
【請求項5】
前記ビデオブロックはサイズ2N×2Nによって定義され、および前記サブサンプリングされたサブブロックは2N×N、N×2NまたはN×Nのサイズによって定義されることを特徴とする請求項1に記載の復号デバイス。
【請求項6】
前記プロセッサは、
逆量子化パラメータおよび逆変換パラメータの第1のセットを使用して、前記サブサンプリングされたサブブロックに関連付けられた係数を逆量子化および逆変換することにより、再構築されたサブブロック残差を生成し、
逆量子化パラメータおよび逆変換パラメータの第2のセットを使用して、前記1つまたは複数の残りのサブサンプリングされたブロックに関連付けられた係数を逆量子化および逆変換することにより、前記1つまたは複数の残りのサブサンプリングされたブロックの再構築された残差を生成する
ように構成されたことを特徴とする請求項1に記載の復号デバイス。
【請求項7】
逆量子化パラメータおよび逆変換パラメータの前記第1のセットは逆量子化パラメータおよび逆変換パラメータの前記第2のセットとは異なることを特徴とする請求項に記載の復号デバイス。
【請求項8】
逆量子化パラメータおよび逆変換パラメータの前記第1のセット、または逆量子化パラメータおよび逆変換パラメータの前記第2のセットの1つは、形状適応離散コサイン変換に関連付けられることを特徴とする請求項に記載の復号デバイス。
【請求項9】
前記予測モードは、垂直予測モード、水平予測モードまたは対角予測モードであることを特徴とする請求項1に記載の復号デバイス。
【請求項10】
前記予測モードは、DC予測モードまたは平面予測モードであることを特徴とする請求項1に記載の復号デバイス。
【請求項11】
前記ビデオブロックは、ビデオ信号のルマ成分またはクロマ成分であることを特徴とする請求項1に記載の復号デバイス。
【請求項12】
復号する方法であって、
符号化されたビデオブロックを含んでいる符号化されたビデオストリームを受信するステップと、
前記ビデオブロックに対する予測モードを決定するステップと、
前記ビデオブロックに対する前記予測モードに基づいて、前記ビデオブロックのサブサンプリングされたサブブロックを決定するステップであって、前記ビデオブロックは、前記ビデオブロックの前記サブサンプリングされたサブブロック、および前記ビデオブロックの1つまたは複数の残りのサブサンプリングされたブロックを表す係数を含み、前記サブサンプリングされたサブブロックは、前記ビデオブロックの2つ以上の行および2つ以上の列からのピクセルを含前記サブサンプリングされたサブブロックは複数のピクセルを含み、および前記サブサンプリングされたサブブロックの前記複数のピクセルは前記ビデオブロックの非隣接ピクセルである、ステップと、
前記予測モードに基づいて、予測されサブサンプリングされたサブブロックを生成するステップと、
前記予測されサブサンプリングされたサブブロックおよび前記係数に基づいて、再構築されサブサンプリングされたサブブロックを生成するステップと、
前記再構築されサブサンプリングされたサブブロックおよび前記予測モードに基づいて、前記1つまたは複数の残りのサブサンプリングされたブロックの予測されサブサンプリングされたブロックを生成するステップと、
前記1つまたは複数の残りのサブサンプリングされたブロックの前記予測されサブサンプリングされたブロックおよび前記係数に基づいて、1つまたは複数の再構築された残りのサブサンプリングされたブロックを生成するステップと、
前記再構築されサブサンプリングされたサブブロックおよび前記1つまたは複数の再構築された残りのサブサンプリングされたブロックに基づいて、再構築されたビデオブロックを生成するステップと
を備えたことを特徴とする方法。
【請求項13】
前記1つまたは複数の残りのサブサンプリングされたブロックのピクセルは、前記サブサンプリングされたサブブロックの少なくとも2つのピクセルを使用して予測されることを特徴とする請求項12に記載の方法。
【請求項14】
前記1つまたは複数の残りのサブサンプリングされたブロックの第1のブロックのピクセルは、前記サブサンプリングされたサブブロックのピクセル、および前記1つまたは複数の残りのサブサンプリングされたブロックの第2のブロックのピクセルを使用して予測されることを特徴とする請求項12に記載の方法。
【請求項15】
前記ビデオブロックはサイズ2N×2Nによって定義され、および前記サブサンプリングされたサブブロックは、2N×N、N×2NまたはN×Nのサイズによって定義されることを特徴とする請求項12に記載の方法。
【請求項16】
前記予測モードは、垂直予測モード、水平予測モードまたは対角予測モードであることを特徴とする請求項12に記載の方法。
【請求項17】
前記予測モードは、DC予測モードまたは平面予測モードであることを特徴とする請求項12に記載の方法。
【請求項18】
逆量子化パラメータおよび逆変換パラメータの第1のセットを使用して、前記サブサンプリングされたサブブロックに関連付けられた係数を逆量子化および逆変換することにより、再構築されたサブブロック残差を生成するステップと、
逆量子化パラメータおよび逆変換パラメータの第2のセットを使用して、前記1つまたは複数の残りのサブサンプリングされたブロックに関連付けられた係数を逆量子化および逆変換することにより、前記1つまたは複数の残りのサブサンプリングされたブロックの再構築された残差を生成するステップと
をさらに備えたことを特徴とする請求項12に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、空間的予測のためのシステムおよび方法に関する。
【背景技術】
【0002】
関連出願の相互参照
本出願は、参照により内容が本明細書に組み込まれている、2011年9月15日に出願した米国仮特許出願第61/535,043号明細書の利益を主張するものである。
【0003】
デジタルビデオ機能は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップコンピュータまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラ無線電話機または衛星無線電話機などを含むが、以上には限定されない多種多様なデバイスに組み込まれることが可能である。デジタルビデオデバイスは、デジタルビデオ情報をより効率的に送受信するのに、MPEG−2、MPEG−4、ITU−T H.263またはITU−T H.264/MPEG−4、パート10、アドバンストビデオコーディング(AVC)によって規定される標準、ならびにそのような標準の拡張において説明されるビデオ圧縮技法などの技法を実施することが可能である。
【0004】
ビデオ圧縮技法は、ビデオ系列につきものの冗長性を低減する、または除去するように空間的予測および/または時間的予測を実行することが可能である。ブロックベースのビデオ符号化の場合、ビデオフレームまたはビデオスライスが、ブロックに分割されることが可能である。各ブロックは、さらに分割されることが可能である。様々な符号化技術によれば、イントラ符号化される(I)フレームもしくはスライスの中のブロックは、隣接するブロックに関する空間的予測を使用して符号化されることが可能である。インタ符号化される(PまたはB)フレームもしくはスライスの中のブロックは、同一のフレームもしくはスライスの中の隣接するブロックに関して空間的予測を使用すること、または他の基準フレーム内のブロックに関して時間的予測を使用することが可能である。
【発明の概要】
【0005】
モード依存のサブサンプリングに基づくビデオ信号のイントラ予測と関係するシステム、方法、および手段が開示される。プロセッサが、ビデオブロックの第1のサブブロックに関連するブロックの係数、ビデオブロックの1または複数の残りのサブブロックに関連する1または複数のブロックの係数、およびビデオブロックに関する予測モードの表示を受信することが可能である。プロセッサが、予測モードに基づいて1または複数の補間技法を決定し、さらに予測モードに基づくイントラ予測を使用して予測された第1のサブブロックを決定することが可能である。プロセッサが、予測された第1のサブブロックを、再構築された第1のサブブロックを生成するように追加することが可能である。プロセッサが、ビデオブロックに関する1または複数の補間技法に基づいて1または複数の残りのサブブロックの予測されたサブブロックを決定することが可能である。プロセッサが、1または複数の残りのサブブロックの予測されたサブブロックを、再構築された1または複数の残りのサブブロックを生成するように追加することが可能である。プロセッサが、予測モード、再構築された第1のサブブロック、および再構築された1または複数の残りのサブブロックに基づいて、再構築されたビデオブロックを形成することが可能である。ビデオブロックは、ビデオ信号のルマ成分またはクロマ成分であることが可能である。
【0006】
再構築された第1のサブブロックは、第1のセットの逆量子化パラメータおよび逆変換パラメータを使用して第1のサブブロックに関連する係数を逆量子化すること、および逆変換することによって生成されることが可能である。第1のセットの逆変換パラメータおよび逆量子化パラメータは、形状適応(shape−adaptive)離散コサイン変換に関連することが可能である。予測された第1のサブブロックに関連する係数を逆変換することは、非正方形変換を含み得る。
【0007】
再構築された1または複数の残りのサブブロックが、第2のセットの逆変換パラメータおよび逆量子化パラメータを使用して、1または複数の残りのサブブロックに関連する係数を逆量子化すること、および逆変換することによって生成されることが可能である。第2のセットの逆変換パラメータおよび逆量子化パラメータは、形状適応離散コサイン変換に関連することが可能である。1または複数の残りのサブブロックに関連する係数を逆変換することは、非正方形変換を含み得る。第1のセットの逆量子化パラメータおよび逆変換パラメータは、第2のセットの逆量子化パラメータおよび逆変換パラメータと同一であることも、異なることも可能である。
【0008】
再構築された1または複数の残りのサブブロックの第1の部分が生成されることが可能であり、再構築された1または複数の残りのサブブロックの第1の部分を生成した後に、再構築された1または複数の残りのサブブロックの第2の部分が、生成された第1の部分に少なくとも部分的に基づいて生成されることが可能である。
【0009】
ビデオブロックおよび予測モードが受信されることが可能である。ビデオブロックは、第1のサブブロック、および欠落したピクセルを含む1または複数のサブブロックを生成するように予測モードに基づいてサブサンプリングされることが可能である。予測された第1のサブブロックは、予測モードに基づくイントラ予測を使用して決定されることが可能である。第1のサブブロックは、再構築された第1のサブブロックを生成するように再構築されることが可能である。予測モードおよび再構築された第1のサブブロックは、欠落したピクセルを含む予測される1または複数のサブブロックを獲得するように補間されることが可能である。欠落したピクセルを含む1または複数のサブブロックは、再構築された1または複数のサブブロックを生成するように再構築されることが可能である。再構築されたビデオブロックは、再構築された第1のサブブロック、欠落したピクセルを含む再構築された1または複数のサブブロック、および予測モードに基づいて形成されることが可能である。ビデオブロックは、ビデオ信号のルマ成分またはクロマ成分であることが可能である。
【0010】
第1のサブブロックは、再構築された第1のサブブロックを生成するように第1のセットの変換パラメータおよび量子化パラメータに基づいて再構築されることが可能であり、欠落したピクセルを含む1または複数のサブブロックは、再構築された1または複数のサブブロックを生成するように第2のセットの変換パラメータおよび量子化パラメータに基づいて再構築されることが可能である。第1のセットの変換パラメータおよび量子化パラメータは、第2のセットの変換パラメータおよび量子化パラメータと同一であることも、異なることも可能である。
【0011】
欠落したピクセルを含む1または複数のサブブロックの第1の部分が、第2のセットの変換パラメータおよび量子化パラメータに基づいて再構築されることが可能であり、欠落したピクセルを含む1または複数のサブブロックの第1の部分を再構築した後に、欠落したピクセルを含む1または複数のサブブロックの第2の部分が、再構築された第1の部分に少なくとも部分的に基づいて再構築されることが可能である。欠落したピクセルを含む1または複数のサブブロックの第2の部分の再構築は、第3のセットの変換パラメータおよび量子化パラメータを利用することが可能であり、第3のセットの変換パラメータおよび量子化パラメータは、第1のセットの変換パラメータおよび量子化パラメータ、または第2のセットの変換パラメータおよび量子化パラメータと同一であることが可能である。
【図面の簡単な説明】
【0012】
図1】ブロックベースのビデオ符号化システムの例を示すブロック図である。
図2】ブロックベースのビデオデコーダシステムの例を示すブロック図である。
図3】サポートされ得る予測モードの例を示す図である。
図4】4×4ブロックに関する水平予測の例を示す図である。
図5】34の方向性イントラ予測モードの例を示す図である。
図6】無方向性イントラ予測モードの例を示す図である。
図7】32×32ブロックに対する短距離イントラ予測の例を示す図である。
図8】モード依存のサブサンプリングイントラ予測(MDS−IP)を実施するエンコーダの例を示すブロック図である。
図9】(A)は、水平予測モードの例を示す図であり、(B)は、水平予測モード補間−予測プロセスの例を示す図であり、(C)は、水平予測モード補間−予測プロセスの例を示す図であり、(D)は、水平予測モード補間−予測プロセスの例を示す図である。
図10】(A)は、垂直予測モード補間−予測プロセスの例を示す図であり、(B)は、垂直予測モード補間−予測プロセスの例を示す図であり、(C)は、垂直予測モード補間−予測プロセスの例を示す図である。
図11】(A)は、対角予測モードの例を示す図であり、(B)は、対角予測モード補間−予測プロセスの例を示す図であり、(C)は、対角予測モード補間−予測プロセスの例を示す図であり、(D)は、対角予測モード補間−予測プロセスの例を示す図である。
図12】(A)は、対角予測モード補間−予測プロセスの例を示す図であり、(B)は、対角予測モード補間−予測プロセスの例を示す図であり、(C)は、対角予測モード補間−予測プロセスの例を示す図であり、(D)は、対角予測モード補間−予測プロセスの例を示す図である。
図13】(A)は、対角予測モード補間−予測プロセスの例を示す図であり、(B)は、対角予測モード補間−予測プロセスの例を示す図であり、(C)は、対角予測モード補間−予測プロセスの例を示す図であり、(D)は、対角予測モード補間−予測プロセスの例を示す図である。
図14】(A)は、対角予測モード補間−予測プロセスの例を示す図であり、(B)は、対角予測モード補間−予測プロセスの例を示す図であり、(C)は、対角予測モード補間−予測プロセスの例を示す図であり、(D)は、対角予測モード補間−予測プロセスの例を示す図である。
図15】(A)対角予測モード補間−予測プロセスの例を示す図であり、(B)対角予測モード補間−予測プロセスの例を示す図であり、(C)対角予測モード補間−予測プロセスの例を示す図である。
図16】(A)は、無方向性予測モードの例を示す図であり、(B)は、無方向性予測モード補間−予測プロセスの例を示す図であり、(C)は、無方向性予測モード補間−予測プロセスの例を示す図であり、(D)は、無方向性予測モード補間−予測プロセスの例を示す図である。
図17】(A)は、無方向性予測モード補間−予測プロセスの例を示す図であり、(B)は、無方向性予測モード補間−予測プロセスの例を示す図であり、(C)は、無方向性予測モード補間−予測プロセスの例を示す図であり、(D)は、無方向性予測モード補間−予測プロセスの例を示す図である。
図18】通信システムの例を示す図である。
図19A】開示される1または複数の実施形態が実施され得る例示的な通信システムを示すシステム図である。
図19B図19Aに示される通信システム内で使用され得る例示的なワイヤレス送信/受信ユニット(WTRU)を示すシステム図である。
図19C図19Aに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークを示すシステム図である。
図19D図19Aに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークを示すシステム図である。
図19E図19Aに示される通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークを示すシステム図である。
図20】モード依存のサブサンプリングイントラ予測(MDS−IP)を実施するデコーダの例を示すブロック図である。
【発明を実施するための形態】
【0013】
ビデオ符号化システムが、デジタルビデオ信号を圧縮して、そのような信号のストレージおよび/または伝送帯域幅を低減するのに使用され得る。ブロックベースのシステム、ウェーブレットベースのシステム、およびオブジェクトベースのシステムなどの、ただし、以上には限定されない様々なタイプのビデオ符号化システムが展開され得る。ブロックベースのビデオ符号化システムの例には、MPEG1/2/4パート2標準、H.264/MPEG−4パート10 AVC標準、およびVC−1標準が含まれるが、以上には限定されない。
【0014】
図1は、ブロックベースのビデオ符号化システム100の例を示すブロック図である。入力ビデオ信号102が、ブロックごとに処理されることが可能である。例えば、ビデオブロック単位は、16ピクセル×16ピクセル(例えば、マクロブロック(MB))であることが可能である。高効率ビデオコーディング(HEVC)などのビデオ符号化標準が使用されることが可能である。HEVCにおいて、拡張されたブロックサイズ(例えば、「符号化単位」またはCUと呼ばれ得る)が、高解像度(例えば、1080p以上)のビデオ信号を圧縮するのに使用されることが可能である。例えば、HEVCにおけるCUは、最大で64×64ピクセル、最小で4×4ピクセルであることが可能である。CUは、別々の予測実施が適用され得る予測単位(PU)に分割されることが可能である。各入力ビデオブロック(例えば、MB、CU、PUなど)は、空間的予測ユニット160および/または時間的予測ユニット162を使用することによって処理され得る。
【0015】
空間的予測(またはイントラ予測)は、同一のビデオピクチャ/スライスの中の符号化された隣接するブロックからのピクセルを使用して現在のビデオブロックを予測することが可能である。空間的予測は、ビデオ信号につきものの空間的冗長性を低減することが可能である。時間的予測(またはインタ予測もしくは動き補償済み予測)は、既に符号化されたビデオピクチャからのピクセルを使用して現在のビデオブロックを予測することが可能である。時間的予測は、ビデオ信号につきものの時間的冗長性を低減することが可能である。所与のビデオブロックに関する時間的予測は、現在のブロックと現在のブロックの基準ブロックのうちの1または複数の間の動きの量および/または方向を示し得る1または複数の動きベクトル(MV)によってシグナリングされることが可能である。
【0016】
複数の基準ピクチャがサポートされる場合(例えば、H.264/AVCおよびHEVCに関して該当し得るように)、各ビデオブロックにつき、そのビデオブロックの基準ピクチャインデックスが送られることが可能である。基準インデックスは、時間的予測シグナルが基準ピクチャストア164の中のいずれの基準ピクチャに由来するかを識別するのに使用され得る。空間的予測および/または時間的予測の後、エンコーダにおけるモード決定およびエンコーダコントローラ180が、予測モードを選択することが可能である。予測モードは、例えば、レート歪み最適化実施に基づいて選択されることが可能である。予測ブロックが、加算器116における現在のビデオブロックから引かれることが可能である。予測残差が、変換ユニット104によって変換され、さらに量子化ユニット106によって量子化されることが可能である。量子化された残差係数が、逆量子化ユニット110において逆量子化され、さらに逆変換ユニット112において逆変換されて、再構築された残差が形成されることが可能である。再構築されたブロックが、加算器126における予測ブロックに加えられて、再構築されたビデオブロックが形成されることが可能である。デブロッキングフィルタおよび/または適応ループフィルタ166などの、ただし、以上には限定されないさらなるループ内フィルタリングが、再構築されたビデオブロックに適用されてから、そのビデオブロックが基準ピクチャストア164の中に入れられ、さらに/または将来のビデオブロックを符号化するのに使用されることが可能である。出力ビデオビットストリーム120を形成するのに、符号化モード(例えば、インタまたはイントラ)情報、予測モード情報、動き情報、および/または量子化された残差係数が、エントロピ符号化ユニット108に送られて、ビットストリーム120を形成するように圧縮され、パックされることが可能である。例えば、本明細書で説明される実施形態は、少なくとも部分的に、空間的予測ユニット160内で実施されることが可能である。
【0017】
図2は、ブロックベースのビデオデコーダ200の例を示すブロック図である。ビデオビットストリーム202がアンパックされ、エントロピ復号ユニット208においてエントロピ復号されることが可能である。符号化モード情報および予測情報が、空間的予測ユニット260に(例えば、イントラ符号化される場合)、または時間的予測ユニット262に(例えば、インタ符号化される場合)送られて、予測ブロックを形成することが可能である。残差変換係数が、残差ブロックを再構築するように逆量子化ユニット210および逆変換ユニット212に送られることが可能である。予測ブロックと残差ブロックが、226で足し合わされることが可能である。再構築されたブロックは、ループ内フィルタリングユニット266を通ってから、基準ピクチャストア264の中に格納されることが可能である。例えば、再構築されたビデオ220は、ディスプレイデバイスを駆動するように送出され、さらに/または将来のビデオブロックを予測するのに使用されることが可能である。
【0018】
本明細書で説明される実施形態は、空間的予測ユニット160および260に適用可能であり得る。本明細書で説明される空間的予測実施形態(例えば、ユニット)は、ビデオ符号化標準(例えば、H.264/AVC、HEVCなど)に関連して使用されることが可能である。「空間的予測」という用語と「イントラ予測」という用語は、本明細書では互いに区別なく使用され得る。
【0019】
空間的予測は、様々なサイズおよび様々な形状のビデオブロックまたはビデオ領域に対して実行されることが可能である。例えば、ビデオ信号のルマ成分の空間的予測に関して4×4ピクセル、8×8ピクセル、16×16ピクセルのブロックサイズが利用されることが可能であり(例えば、H.264/AVCの場合のように)、ビデオ信号のクロマ成分に関して8×8ピクセルのブロックサイズが利用されることが可能である(例えば、H.264/AVCの場合のように)。サイズ4×4または8×8のルマブロックの場合、合計で9の予測モードがサポートされ得る(例えば、8つの方向性予測モードおよびDCモード)。サポートされ得る8つの予測方向(例えば、H.264/AVCにおける)が、図3に示される。図3は、サポートされ得る予測モードの例を示す図である。サイズ16×16のルマブロックの場合、合計で4つの予測モードがサポートされ得る(例えば、水平予測モード、垂直予測モード、DC予測モード、および平面予測モード)。図4は、4×4ブロックの場合の水平予測の例を示す図である。図4において、再構築されたピクセル402(P0、P1、P2、およびP3)が、4×4ビデオブロック内のピクセル404を予測するのに使用され得る。予測は、式(1)に従って実行され得る。すなわち、
【0020】
【数1】
【0021】
ただし、L(x,y)は、(x,y)において予測されるべきピクセルであることが可能であり、x,y=0...3である。
【0022】
より大きいブロックサイズを使用する空間的予測がサポートされることが可能である(例えば、HEVC試験モデルHM3.0において)。例えば、空間的予測が、4×4、8×8、16×16、32×32、または64×64の正方形ブロックサイズに対して実行されることが可能である。さらなるイントラ予測モードがサポートされることが可能であり、例えば、最大33までの方向性イントラ予測モードが、DC予測モードおよび平面予測モードとともにサポートされることが可能である。図5は、34の方向性イントラ予測モード(DC予測モードおよび平面予測モードを含む)(例えば、HM3.0における)の例を示す図である。表1が、各ブロックサイズに関してサポートされ得る予測方向の数の例を示す(例えば、HM3.0における)。方向性イントラ予測は、1/32ピクセル精度で実行され得る(例えば、HEVCにおいて)。
【0023】
【表1】
【0024】
また、無方向性イントラ予測モードがサポートされることも可能である(例えば、H.264/AVCおよびHEVCにおいて)。例えば、DC予測モードおよび平面予測モードがサポートされることが可能である。DCモードの場合、予測値は、利用可能な隣接するピクセルを平均し、その平均値をブロック全体に一様に適用することによって得られることが可能である。平面モードの場合、16×16ルマブロックおよび16×16クロマブロックが利用されることが可能であり(例えば、H.264/AVC)、または複数のブロックサイズが利用されることが可能である(例えば、HEVC HM3.0)。平面モード(例えば、HEVC HM3.0における)は、線形補間を使用して、遷移の遅い平滑な領域を予測することが可能である。図6は、無方向性イントラ予測モードの例を示す図である。図6に示されるとおり、平面モード(例えば、HM3.0における)は、以下の実施によって実行されることが可能である。すなわち、
1.一番上の行(例えば、Tで印が付けられた)の右端のピクセル602が、右端の列のピクセルを予測するようにレプリケートされることが可能であり、
2.左の列(例えば、Lで印が付けられた)の一番下のピクセル604が、一番下の行のピクセルを予測するようにレプリケートされることが可能であり、
3.水平方向(例えば、ブロック606)のバイリニア補間が、中心ピクセルの第1の予測H(x,y)をもたらすのに実行されることが可能であり、
4.垂直方向(例えば、ブロック608)のバイリニア補間が、中心ピクセルの第2の予測V(x,y)をもたらすのに実行されることが可能であり、さらに
5.水平予測と垂直予測の間のさらなる平均が、例えば、L(x,y)=((H(x,y)+V(x,y))>>1)を使用して最終の予測L(x,y)を得るように実行されることが可能である。
【0025】
ブロックベースのイントラ予測実施を用いて、ブロック全体が、現在のブロックの左側および/または一番上の再構築された隣接するピクセルから予測されることが可能である。ブロックの右下部分に向かって位置するピクセルに関して、それらのピクセルと、予測のために使用され得るピクセルの間の距離が大きくなる可能性がある。例えば、予測ピクセルと予測されているピクセルの間の距離が大きくなるにつれ、これらのピクセル間の相関関係が、小さくなる可能性があり、予測精度が低下する可能性がある。精度のこの低下は、より大きいブロックサイズの場合(例えば、より大きいブロックサイズ(例えば、16×16以上)を使用するイントラ予測をサポートするHEVCの場合)、さらに悪化する可能性がある。
【0026】
実施形態(例えば、ラインベースのイントラ符号化)が、ピクセル距離が大きくなった場合の低下した予測精度と関係する問題に対処することが可能である。一番上の隣接部(neighbors)および左側の隣接部からブロック全体に予測を適用する代わりに、ラインベースの予測実施形態が、ブロックを1ラインずつ予測することが可能である。各ラインが予測され、再構築されるにつれ、そのラインが次のラインを予測するのに使用されることが可能である。ラインベースのイントラ予測実施形態は、行ごとに、または列ごとに実行されることが可能である。ラインベースのイントラ予測実施形態は、短距離イントラ予測またはSDIPと呼ばれる実施形態に組み込まれ得る。SDIP実施形態は、サイズN×N(例えば、N×Nは、4×4から64×64までの範囲内の任意のサイズであり得る)の各正方形ブロックをサイズM×Kの長方形ブロックの組み合わせに分割することが可能である。MまたはKが1である場合、SDIPは、ラインベースのイントラ予測と均等になり得る。ピクセルは、長方形ごとに予測され、再構築されることが可能である。図7は、32×32ブロックに対するSDIPの例を示す図である。この32×32ブロックが、4つの16×16ブロックに分割されることが可能である。例えば、左下の16×16ブロックを見ると、このブロックが、4つの4×16長方形ブロックに分割されることが可能である。左端の4×16ブロックが、4つの1×16垂直ラインにさらに分割され、さらにその後、ラインごとに予測され、再構築されることが可能である。残りの3つの4×16長方形ブロックが、長方形ごとに予測され、再構築されることが可能である。SDIPは、ビデオブロックを分割する柔軟性のある方法をもたらすことが可能である。ビデオエンコーダが、様々な組み合わせを探索して、最適な分割モードを見つけ出すことが可能である。
【0027】
ラインベースのイントラ予測およびSDIPが、予測ピクセルと予測されているピクセルの間の距離を短くすることが可能である。ラインベースのイントラ予測およびSDIPは、例えば、エンコーダ側において、さらに/またはデコーダ側において、計算の複雑度および実施の複雑度を大きくする可能性がある。様々な長方形ブロックサイズをサポートするのに、変換、量子化、残差係数スキャン、およびエントロピ符号化が変更されることが可能である。エンコーダが、例えば、本明細書で説明されるとおり、さらなる多くのモードを探索することが可能である。
【0028】
本明細書で説明される実施形態は、モード依存のサブサンプリングイントラ予測(MDS−IP)と呼ばれ得る予測技法に関することが可能である。MDS−IPは、ピクセル距離が大きくなるにつれての予測精度の低下を軽減する、または小さくすることが可能である。変換プロセス、量子化プロセス、係数スキャンプロセス、およびエントロピ符号化プロセスは、MDS−IPを実施する際にわずかに変更されることが可能である。エンコーダは、最適な予測モードを選択する際にさらなるモードを全く考慮しないことが可能であり、またはエンコーダは、最適な予測モードを選択する際にさらなる1または複数のモードを考慮することが可能である。
【0029】
「ビデオブロック」という用語は、本明細書で広い一般的な用語として使用され得る。本明細書で説明される実施形態は、ルマ成分のブロック、およびクロマ成分のブロックなどの、ただし、以上には限定されない様々なビデオブロックに適用されることが可能である。「サンプル」という用語と「ピクセル」という用語は、互いに区別なく使用され得る。「サブサンプリングされたブロック」という用語と「サブブロック」という用語は、互いに区別なく使用され得る。
【0030】
図8は、MDS−IPを実施するエンコーダ800の例を示すブロック図である。このMDS−IPエンコーダブロック図は、エンコーダ、例えば、図1に(例えば、空間的予測ブロック160で)例示されるエンコーダ100と同様のエンコーダに組み込まれることが可能である。エンコーダが(例えば、プロセッサを介して)、1または複数のビデオブロックを備えるビデオストリームを受信することが可能である。エンコーダは、ビデオブロックに対してサブサンプリングを実行することが可能であり、このサブサンプリングは、ビデオブロックを第1のサブサンプリングされたブロック810と、残りのサブサンプリングされた1または複数のブロック826とに分割することが可能である。例えば、予測モードを受信した後、その予測モード(例えば、本明細書で説明される予測モードのうちの1つ)に基づいて、特定のサブサンプリング実施が、モード依存のサブサンプリングユニット840によって実行されることが可能である。予測モードは、例えば、モード決定−エンコーダコントローラ(例えば、図1のモード決定およびエンコーダコントローラ180)によって決定され得る。サブサンプリングの結果、入力ビデオブロックの一部分(例えば、1/2または1/4)がサブサンプリングされたブロック810として保持され得る。サブサンプリングされたブロック810は、第1のサブブロックと呼ばれ得る。ブロックのその他の部分(例えば、サブサンプリング中に「除去される」ブロックの部分)は、残りのサブブロック826(例えば、図8に例示されるとおり)と呼ばれ得る。残りのサブブロック826は、欠落したピクセルを含むことが可能である。
【0031】
サブサンプリング実施は、デシメーションプロセスであり得る。サブサンプリング実施は、ダウンサンプリングフィルタが関与する比較的より高度なプロセスであり得る。予測されるサブサンプリングされたブロック812が、予測モードに基づいてイントラ予測ユニット842によって決定される(例えば、生成される)ことが可能である。イントラ予測ユニット842が、例えば、本明細書で説明される(例えば、図9図17を参照して)隣接するピクセルなどの隣接するピクセルを受信することが可能である。予測モードは、例えば、本明細書で説明されるとおり、方向性イントラ予測モードまたは無方向性イントラ予測モードのいずれであってもよい。例えば、方向性予測モードは、垂直予測モード、水平予測モード、対角予測モード、または非対角予測モードであることが可能である。例えば、無方向性予測モードは、DC予測モードまたは平面予測モードであることが可能である。予測されるサブサンプリングされたブロック812が、加算器820によってサブサンプリングされたブロック810から引かれて、サブサンプリングされたブロック残差822が得られることが可能である。サブサンプリングされたブロック残差822が、変換−量子化ブロック832において変換され、量子化されることが可能である。変換−量子化ブロック832は、サブサンプリングされたブロック810に関連するブロックの係数を生成することが可能である。サブサンプリングされたブロック残差822(例えば、サブサンプリングされたブロック810に関連するブロックの係数)が、逆量子化−逆変換ブロック834において逆量子化され、さらに逆変換されて、再構築されたサブサンプリングされたブロック残差824が得られることが可能である。再構築されたサブサンプリングされたブロック残差824が、加算器848において予測されるサブサンプリングされたブロック812に加えられて、再構築されたサブサンプリングされたブロック814が形成されることが可能である。
【0032】
例えば、変換−量子化ブロック832は、セット(例えば、第1のセット)の変換パラメータおよび量子化パラメータを使用することが可能である。変換−量子化ブロック832によって使用されるセットの変換パラメータおよび量子化パラメータは、非正方形変換に基づくことが可能である。非正方形変換は、複数の正方形変換を備え得る。変換−量子化ブロック832によって使用されるセットの変換パラメータおよび量子化パラメータは、形状適応離散コサイン変換に関連することが可能である。
【0033】
例えば、逆量子化−逆変換ブロック834が、セット(例えば、第1のセット)の逆量子化パラメータおよび逆変換パラメータを使用することが可能である。逆量子化−逆変換ブロック834によって使用されるセットの逆量子化パラメータおよび逆変換パラメータは、非正方形変換に基づくことが可能である。非正方形変換は、複数の正方形変換を備え得る。逆量子化−逆変換ブロック834によって使用されるセットの逆量子化パラメータおよび逆変換パラメータは、形状適応離散コサイン変換に関連することが可能である。
【0034】
再構築されたサブサンプリングされたブロック814が、モード依存の補間ユニット844によって、予測モードに基づき得る、欠落したサンプルを含むサブサンプリングされた1または複数のブロック816に関する予測を生成するように補間されることが可能である。モード依存の補間ユニット844によって実行される特定の補間プロセスは、モード依存であり得る。例えば、モード依存の補間ユニット844によって実行される特定の補間プロセスは、モード依存のサブサンプリングユニット840によって利用されるモード依存のサブサンプリングプロセスの逆プロセスであることが可能である。欠落したサンプルを含むサブサンプリングされた1または複数のブロック816の予測精度は、予測ピクセルと予測されるべきピクセルの間の距離が小さくされ得る(例えば、相当に小さくされ得る)ので、比較的高いことが可能である。
【0035】
やはり図8を参照すると、欠落したサンプルを含むサブサンプリングされた1または複数のブロック816に対応する予測残差が、変換−量子化ブロック836において変換され、量子化されることが可能である。変換−量子化ブロック836が、残りのサブブロック826に関連するブロックの係数を生成することが可能である。欠落したサンプルを含むサブサンプリングされた1または複数のブロック816に対応する予測残差(例えば、残りのサブブロック826に関連するブロックの係数)が、逆量子化−逆変換ブロック838において逆量子化され、逆変換されることが可能である。再構築された残差が、欠落したサンプルを含む予測されるサブサンプリングされた1または複数のブロック816に再び足されて、欠落したサンプルを含む再構築されたサブサンプリングされた1または複数のブロック818が形成されることが可能である。再構築されたサブサンプリングされたブロック814、および欠落したサンプルを含む再構築されたサブサンプリングされた1または複数のブロック818が、入力ビデオブロックの符号化された表現(例えば、再構築されたビデオブロック)を形成することが可能である。入力ビデオブロックの符号化された表現の形成は、予測モードに基づくことが可能である。
【0036】
例えば、変換−量子化ブロック836が、セット(例えば、第2のセット)の変換パラメータおよび量子化パラメータを使用することが可能である。変換−量子化ブロック836によって使用されるセットの変換パラメータおよび量子化パラメータは、非正方形変換に基づくことが可能である。非正方形変換は、複数の正方形変換を備え得る。変換−量子化ブロック836によって使用されるセットの変換パラメータおよび量子化パラメータは、形状適応離散コサイン変換に関連することが可能である。
【0037】
例えば、逆量子化−逆変換ブロック838が、セット(例えば、第2のセット)の逆量子化パラメータおよび逆変換パラメータを使用することが可能である。逆量子化−逆変換ブロック838によって使用されるセットの逆量子化パラメータおよび逆変換パラメータは、非正方形変換に基づくことが可能である。非正方形変換は、複数の正方形変換を備え得る。逆量子化−逆変換ブロック838によって使用されるセットの逆量子化パラメータおよび逆変換パラメータは、形状適応離散コサイン変換に関連することが可能である。
【0038】
変換−量子化ブロック836は、変換−量子化ブロック832によって使用されるパラメータと同一のパラメータを使用することも、使用しないことも可能である(例えば、第2のセットの変換パラメータおよび量子化パラメータは、第1のセットの変換パラメータおよび量子化パラメータと同一であることも、異なることも可能である)。逆量子化−逆変換ブロック838は、逆量子化−逆変換ブロック834によって使用されるパラメータと同一のパラメータを使用することも、使用しないことも可能である(例えば、第2のセットの逆量子化パラメータおよび逆変換パラメータは、第1のセットの逆量子化パラメータおよび逆変換パラメータと同一であることも、異なることも可能である)。
【0039】
サブサンプリングされたブロック810を使用して、欠落したサンプルを含むサブサンプリングされた1または複数のブロック816を予測することは、予測ピクセルと予測されるべきピクセルの間の距離を小さくすることによって予測精度を向上させることが可能である。より高い予測精度は、より低い予測残差エネルギーをもたらすことが可能であり、より低い予測残差エネルギーは、そのような残差信号を符号化するのに使用されるビットの数の相当な削減をもたらすことが可能である。サブサンプリングが、水平次元および/または垂直次元において1/2で実行される場合、もたらされるサブサンプリングされたブロックサイズは、定型であることが可能である。例えば、入力ビデオブロックが、サイズ2N×2Nである場合、サブサンプリングされたブロックサイズは、2N×N、N×2N、またはN×Nであることが可能である。例えば、サイズ2N×NまたはN×2Nのサブサンプリングされたブロックを処理するのに、ブロック変換、および正方形ブロックのために設計された係数スキャン順序が、さらなる変更なしに適用されることが可能である。例えば、サイズ2N×NまたはN×2Nのサブサンプリングされたブロックの場合、サブサンプリングされたブロックは、2(二)回のN×N変換を適用し、その後、正方形ブロックのために設計された係数スキャン順序を適用することによって処理されることが可能である。2N×NブロックサイズまたはN×2Nブロックサイズをサポートするブロック変換および係数スキャン順序の変形が、より高い符号化効率のために適用されてもよい。
【0040】
サブサンプリングは、複数の方向で実行されることが可能である。サブサンプリングレートは、それらの方向のそれぞれに関して同一であることも、異なることも可能である。例えば、サブサンプリングは、第1の方向において第1のサブサンプリングレートで実行されることが可能であり、第2の次元において第2のサブサンプリングレートで実行されることが可能である。第1のサブサンプリングレートは、第2のサブサンプリングレートと同一であることも、異なることも可能である。
【0041】
例えば、欠落したサンプルを含むサブサンプリングされた1または複数のブロック816に関して、変換−量子化ユニット836および逆量子化−逆変換ユニット838は、モード依存の補間ユニット844を使用する予測プロセスが、残差符号化が省かれ得るだけ十分に正確であり得るので、飛ばされることが可能である(例えば、予測残差が符号化されないことが可能である)。変換−量子化ユニット836および逆量子化−逆変換ユニット838は、2つ以上のステップに分割されることが可能であり、さらに本明細書で説明されるとおり、例えば、カスケードされた様態で実行されることが可能である。
【0042】
MDS−IP実施を実行するかどうかに関する決定は、符号化に先立って決定されることが可能である。例えば、MDS−IPは、或るサイズおよび或る予測モードのブロックに関して実行されることが可能である。ビットストリームにおけるさらなるシグナリングは、全く要求されないことが可能である。選択は、例えば、レート歪み最適化の配慮などの、ただし、そのような配慮は限定されない1または複数のパラメータに基づいて、エンコーダによって「オンザフライで」決定され得る。さらなる構文要素が、いずれの実施(例えば、MDS−IP)が使用され得るかをデコーダに伝えるようにビットストリーム(例えば、ビットストリーム120)においてシグナリングされることが可能である。この決定は、例えば、ブロックのサイズに基づくことが可能である。異なるブロックは、それらのブロックのサイズに依存して、距離に起因する予測精度の問題をより被りやすいことも、そうでないこともあり得る。
【0043】
エンコーダが図8を参照して説明されるが、MDS−IPを実施するデコーダが、図8に関連して説明される要素のうちの1または複数を備えることも可能であり、さらに/または符号化されたビデオストリームを復号するように同様の実施(例えば、逆の実施)を実行することが可能である。MDS−IPデコーダブロック図が、デコーダ、例えば、図2に(例えば、空間的予測ブロック260で)例示されるデコーダ200と同様のデコーダに組み込まれることが可能である。例えば、サブブロック810および残りのサブブロック826に対してエンコーダによって変換および量子化、ならびに逆量子化および逆変換が実行され得るが、デコーダが、第1のサブブロック810および残りのサブブロック826に関連する1または複数のブロックの係数からビデオブロックを再構築する際に、逆量子化および逆変換を実行するが、変換および量子化は実行しないことが可能である。
【0044】
図20は、モード依存のサブサンプリングイントラ予測(MDS−IP)を実施するデコーダの例を示すブロック図である。MDS−IPデコーダ2000が、デコーダ、例えば、図2に(例えば、空間的予測ブロック260で)例示されるデコーダ200と同様のデコーダに組み込まれることが可能である。MDS−IPデコーダ2000は(例えば、プロセッサを介して)、符号化されたビデオストリームを受信することが可能である。符号化されたビデオストリームは、符号化された1または複数のビデオブロックを表す1または複数のブロックの係数を備えることが可能である。符号化されたビデオブロックは、符号化されたビデオストリームのルマ成分またはクロマ成分であり得る。符号化された1または複数のビデオブロックのそれぞれが、第1のサブブロックと1または複数の残りのサブブロックに分割されることが可能である。第1のサブブロックに関連するブロックの係数2010を受信した後、デコーダは、ブロックの係数2010に対して逆量子化−逆変換ユニット2034において逆量子化および逆変換を実行して、第1のサブブロックに対応する再構築された残差2024を生成することが可能である。1または複数の残りのサブブロックに関連する1または複数のブロックの係数2026を受信した後、デコーダは、1または複数のブロックの係数2026に対して逆量子化−逆変換ユニット2038において逆量子化および逆変換を実行して、1または複数の残りのサブブロック2028に対応する再構築された残差を生成することが可能である。
【0045】
デコーダは、ビデオブロックに関する予測モードの表示を受信し、その予測モードに基づいて1または複数の補間技法を決定することが可能である。例えば、イントラ予測ユニット2042が、ビデオブロックに関する予測モードの表示を受信することが可能である。また、イントラ予測ユニット2042は、例えば、本明細書で説明される(例えば、図9図17を参照して)隣接するピクセルなどの隣接するピクセルを受信することが可能である。デコーダは、予測モードに基づいてイントラ予測を使用して予測された第1のサブブロック2012を決定することが可能である。デコーダは、予測された第1のサブブロック2012を、第1のサブブロックに対応する再構築された残差2024に加えて、再構築された第1のサブブロック2014を生成することが可能である。デコーダは、ビデオブロックに関する1または複数の補間技法に基づいて、1または複数の残りのサブブロック2016の予測されたサブブロックを決定することが可能である。1または複数の残りのサブブロック2016の予測されたサブブロックは、モード依存の補間ユニット2044によって決定されることが可能である。1または複数の補間技法は、予測モードに基づくことが可能である。デコーダは、1または複数の残りのサブブロック2016の予測されたサブブロックを、1または複数の残りのサブブロック2028に対応する再構築された残差に加えて、再構築された1または複数の残りのサブブロック2018を生成することが可能である。デコーダは、予測モード、再構築された第1のサブブロック2014、および再構築された1または複数の残りのサブブロック2018に基づいて、再構築されたビデオブロックを形成することが可能である。
【0046】
第1のサブブロックに対応する再構築された残差2024は、セット(例えば、第1のセット)の逆量子化パラメータおよび逆変換パラメータを使用して生成され得る。第1のサブブロックに対応する再構築された残差2024を生成するのに使用されるセットの逆量子化パラメータおよび逆変換パラメータは、形状適応離散コサイン変換に関連することが可能である。予測された第1のサブブロックに関連する係数を逆変換することは、非正方形変換を含み得る。非正方形変換は、複数の正方形変換を含み得る。1または複数の残りのサブブロックに対応する再構築された残差2028は、セット(例えば、第2のセット)の逆量子化パラメータおよび逆変換パラメータを使用して生成され得る。1または複数の残りのサブブロックに対応する再構築された残差2028を生成するのに使用されるセットの逆量子化パラメータおよび逆変換パラメータは、形状適応離散コサイン変換に関連することが可能である。第1のサブブロックに対応する再構築された残差2024を生成するのに使用されるセットの逆量子化パラメータおよび逆変換パラメータは、1または複数の残りのサブブロックに対応する再構築された残差2028を生成するのに使用されるセットの逆量子化パラメータおよび逆変換パラメータと同一であることも、異なることも可能である。
【0047】
図9(A)は、水平モードを使用する8×8ブロックに関する例示的な予測プロセスを示す図である。図9(A)に矢印で示されるとおり、既に符号化された隣接ピクセルからの予測ピクセル902が、8×8ブロック904を予測する式(1)を使用して列0から列7まで伝播させられることが可能である。図9(B)〜図9(C)は、8×8ブロックに関する例示的なMDS−IPプロセスを示す図である。8×8ブロックが示されるが、MDS−IPは、様々なサイズを有するブロックに関して使用されることが可能である。MDS−IPプロセスにおいて、8×8ブロックが、水平方向でダウンサンプリングされることが可能である。図9(B)および図9(C)は、それぞれ、ダウンサンプリング前、およびダウンサンプリング後の8×8ブロックを示すことが可能である。サブサンプリング後にサブブロック内に残るピクセルに、図9(B)において陰影が付けられることが可能である。サブサンプリングの結果、サブサンプリングされたブロック910は、列1、3、5、および7を備え得る(例えば、図9(C)に示されるとおり)。2:1サブサンプリングレートが使用され得る(図9(A)〜図9(D)に示されるとおり)。多種多様なサブサンプリングレートが使用されることが可能である。列1、3、5、および7が、水平方向で(例えば、図9(C)に矢印で示され得るとおり)予測されて、予測されるサブサンプリングされたブロック812(例えば、図8)が形成されることが可能である。サブサンプリングされたブロックの残差が、変換、量子化、逆変換、および逆量子化を経て、再構築された予測残差824を形成することが可能である。再構築された予測残差824が、予測されるサブサンプリングされたブロック812に加えられて、再構築されたサブサンプリングされたブロック814が形成されることが可能である。正方形ブロックのために設計されたブロック変換および係数スキャンが使用され得る。例えば、ユニット832および834による変換および量子化、ならびにその後の逆量子化および逆変換を完了するのに2回の4×4ブロック変換が使用されることが可能である。このブロック変換および係数スキャン順序の変形が、長方形ブロック(例えば、図9(C)の4×8ブロック)をサポートするように行われてもよい。例えば、4×8ブロック変換、および適切な係数スキャンが、ユニット832および834によって使用されることが可能である。
【0048】
欠落した列0、2、4、および6を含む4×8ピクセルの第2のサブサンプリングされたブロックが、既に符号化された隣接する列、および列1、3、5、7の再構築されたピクセルから補間することによって予測されることが可能である(例えば、図9(D)に例示されるとおり)。様々な補間フィルタが適用されることが可能である。例えば、バイリニアフィルタ、係数[1〜5 20 20〜5 1]/32を有する6タップフィルタ、係数[1 3 3 1]/8を有する4タップフィルタ、および/または他のタップ長を有する他の補間フィルタが適用されることが可能である。図9(D)は、隣接する2つのピクセルを使用する水平方向の補間を示すことが可能である。さらなるピクセルが、この補間プロセスに関与することも可能である(例えば、より長いタップ長のフィルタが使用される場合)。水平予測モードのために水平ダウンサンプリングを実行することは、水平予測モードの恩恵を受けるブロックが、水平方向で強いピクセル相関関係を有し得るという前提に基づくことが可能である。他の予測モードは、他のダウンサンプリングプロセスを利用することが可能である。第2のサブサンプリングされたブロックの残差が、ステップ836および838(例えば、図8)の後に、2回の正方形ブロック変換または1回の長方形ブロック変換、および適切な係数スキャンを使用して符号化されることが可能である。モード依存の補間が適切な結果をもたらす場合、第2のサブサンプリングされたブロックの残差を決定することは、省かれる(例えば、符号化されない)ことが可能である。
【0049】
MDS−IP実施が、垂直モード(例えば、図9の転置されたバージョン)で適用されることが可能であり、その場合、垂直ダウンサンプリングが、ピクセル行の半分を保持するように実行されることが可能であり、ピクセル行の第1の半分が、予測され、符号化されることが可能であり、さらに再構築された行に基づく垂直補間が、ピクセル行の第2の半分を予測するように実行されることが可能である。図10は、例示的な垂直モードダウンサンプリング−予測プロセスを示す図である。図10(A)は、例示的な8×8ブロック1002を示す図である。行3および7のピクセルに、サブサンプリングの後に残り得るピクセルの行を示すように陰影が付けられることが可能である。ピクセルの一番上の行1004が、予測ピクセルの行であることが可能である。図10(B)は、行3と、行7とを備えるブロック1006をもたらす、ダウンサンプリング後の例示的なブロックを示す図である。これらの行のピクセルが予測され、符号化されることが可能である。図10(C)は、行0、1、2、4、5、および6のアップサンプリングされたピクセルの補間の例を示す図である。これらの行が、一番上の行の予測ピクセル、および再構築された行3および7から補間されることが可能である。
【0050】
水平予測モードおよび垂直予測モードとともに、MDS−IPが、様々な非対角角度予測モード(例えば、0°から90°までの範囲内の角度を有する予測モード、または90°から180°までの範囲内の角度を有する予測モード)に適用されることが可能である。例えば、対角(例えば、45°方向または135°方向に沿った)予測モードは、対角下方左モードおよび対角下方右モード(例えば、図3のモード3および4)を含むことが可能である。対角方向における予測モードは、VER−8、VER+8、およびHOR−8(例えば、図5におけるモード3、6、および9)を含み得る。図11(A)〜図11(D)は、対角下方右モードを使用して予測される8×8ブロックに対するMDS−IPプロセスの例を示す図である。MDS−IPは、8×8より大きいブロックサイズなどの、ただし、そのようなサイズには限定されない8×8以外のサイズのブロックに関して利用されてもよい。図11で、左列のピクセル、および一番上の行のピクセルが、既に符号化された隣接するブロックからの予測ピクセルであることが可能である。残りのピクセルは、予測されるべきピクセルであることが可能である。図11(A)で対角の矢印によって示されるとおり、陰影付きの予測ピクセルが、対角方向に沿って伝播させられることが可能である。
【0051】
角度予測モードの場合、ブロックは、両方の次元でダウンサンプリングされ得る。例えば、図11(B)および図11(C)に示されるとおり、8×8ブロック1102が、各次元で、n,m=0...3である(2n+1,2m+1)に位置するピクセルにより1/2でダウンサンプリングされて、図11(C)のダウンサンプリングされたブロック1104が形成されることが可能である。これらの残りのピクセルは、例えば、図11(C)のダウンサンプリングされたブロック1104において矢印で示されるとおり、対角方向で予測されることが可能である。図8図11(C)、および図11(D)を参照すると、サブサンプリングされたブロックの予測残差が、ユニット832および834による処理の後に符号化され、予測されるサブサンプリングされたブロック812に再び足されて、再構築されたサブサンプリングされたブロック814が得られることが可能である。モード依存の補間ユニット844を介して、ピクセルの残り3/4を備えるサブサンプリングされたブロックが、既に符号化された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルから補間によって予測されることが可能である。本明細書で説明されるとおり、様々な予測モードに関連する様々な補間技法が使用されることが可能である。
【0052】
欠落したピクセルを含むサブサンプリングされたブロックは、例えば、図11(D)によって示されるとおり、同時に補間によって予測されることが可能である。例えば、n,m=0...3である位置(2n,2m)におけるピクセルを備えるサブブロックが、図11(D)に矢印1140で示されるとおり、例えば、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、対角方向で補間によって予測されることが可能である。それらの矢印の一部分(例えば、一部分だけ)が図11(D)に示されることが可能である。対角方向に沿った補間は、その方向に存在するより高いピクセル相関関係のために使用されることが可能である。他の予測モードは、異なる補間プロセスを使用することが可能である。n,m=0...3である位置(2n,2m+1)におけるピクセルを備えるサブブロックが、図11(D)に矢印1142で示されるとおり、例えば、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、水平方向の補間によって予測されることが可能である。n,m=0...3である位置(2n+1,2m)におけるピクセルを備えるサブブロックが、図11(D)に矢印1144で示されるとおり、例えば、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、垂直方向の補間によって予測されることが可能である。
【0053】
水平方向および/または垂直方向で異なるフィルタタップ長を有する異なる補間フィルタが使用され得るなど、ただし、そのようなことには限定されない、補間プロセスに対する変形が行われることが可能である。予測の後、それぞれ、位置(2n,2m)、(2n,2m+1)、および(2n+1,2m)で欠落したピクセルを含む3つのサブブロックの予測残差が、ユニット836および838(例えば、図8)による処理の後に符号化され、予測信号に再び足されて、欠落したピクセルを含む再構築された3つのサブブロック818が得られることが可能である。
【0054】
図12(A)〜図12(D)は、対角予測モード補間−予測プロセスの例を示す図である。図12を参照すると、欠落しているピクセルを備えるサブブロックが、カスケードされた(例えば、多段の)様態で予測され、再構築されることが可能である。図12(A)および図12(B)を参照すると、入力ブロック1202が、2つの次元でダウンサンプリングされて(例えば、両方の次元において2:1のサブサンプリングレートで)、ダウンサンプリングされたブロック1204がもたらされることが可能である。サブサンプリング後にブロック内に残るピクセルに、図12(A)において陰影が付けられることが可能である。ブロック1204内のピクセルが、例えば、図12(B)の矢印で示されるとおり、任意の適切なイントラ予測技法を使用してイントラ予測されることが可能である。図12(C)のブロック1206で示されるとおり、n,m=0...3である位置(2n,2m)におけるピクセルが、例えば、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、対角方向(例えば、矢印1220で示される)の補間によって予測されることが可能である。n,m=0...3である位置(2n,2m)におけるサンプルを含むサブブロックの予測残差が、836および838におけるステップ(例えば、図8)の後に符号化されることが可能である。再構築された残差が、予測に再び足されて、位置(2n,2m)におけるピクセルを備える再構築されたサブブロックが得られることが可能である。例えば、図12(D)のブロック1208で示されるとおり、位置(2n,2m+1)における残りのピクセルを備えるサブブロック、および位置(2n+1,2m)における残りのピクセルを備えるサブブロックが、例えば、それぞれ、矢印1222および矢印1224を使用する、再構築されているピクセルを使用する補間によって予測されることが可能である。
【0055】
図13は、補間技法の例を示す図である。図13(A)の入力ブロック1302が、2つの方向でダウンサンプリングされて、図13(B)に示されるダウンサンプリングされたブロック1304がもたらされることが可能である。様々なピクセルに、ダウンサンプリング後に残るピクセルを示すように図13(A)で陰影が付けられることが可能である。ダウンサンプリングされたブロック1304内のピクセルが、図13(B)に対角の矢印で示されるとおり、予測されることが可能である。予測されるピクセルの再構築の後、位置(2n,2m)におけるピクセル、および位置(2n,2m+1)におけるピクセルが、例えば、図13(C)に示されるとおり、それぞれ、対角方向(例えば、矢印1320)および水平方向(例えば、矢印1324)の補間によって予測されることが可能である。位置(2n,2m)におけるサンプルを含むサブブロック、および位置(2n,2m+1)におけるサンプルを含むサブブロックの予測残差が、ユニット836および838による処理の後に符号化されることが可能である。再構築された残差が再び足されて、それぞれ、位置(2n,2m)におけるピクセルを備える再構築されたサブブロック、および位置(2n,2m+1)におけるピクセルを備える再構築されたサブブロックが得られることが可能である。例えば、位置(2n,2m)におけるピクセル、位置(2n,2m+1)におけるピクセル、および位置(2n+1,2m+1)におけるピクセルが再構築されていることが可能である図13(D)のブロック1308で示されるとおり、位置(2n+1,2m)におけるピクセルを備える残りのサブブロックが、対角方向(例えば、矢印1326)で予測されることが可能であり、さらに/または残差が、ユニット836および838による処理の後に符号化されることが可能である。
【0056】
欠落しているピクセルが、カスケードされた様態で予測され、再構築される場合、例えば、予測が十分に正確である、または計算の複雑度が十分に高い場合には、残差符号化ステップ(例えば、ユニット836および838によって実行される)の1または複数が省かれることが可能である。そのようなステップのうちの1または複数が省かれるかどうかは、エンコーダによって決定されて、例えば、coded_block_flagを0に設定することによって、ビットストリームにおいてデコーダにシグナリングされることが可能である。エンコーダとデコーダは、いずれのステップが省かれ得るか(省かれる場合)、前もって合意することが可能である。本明細書(例えば、図12(D))で説明されるとおり、矢印1222および1224を使用する位置(2n+1,2m)および位置(2n,2m+1)におけるピクセルの予測の後、エンコーダおよびデコーダが、入力ブロックに関するMDS−IPプロセスを終えることが可能であり、ユニット836および838における動作が省かれることが可能である。補間プロセスは、バイリニアフィルタ、4タップもしくは6タップのIDフィルタ、および/または4×4もしくは6×6の2D非分離フィルタなどの、ただし、以上には限定されない、様々な特性(例えば、様々なタップ長、および様々な係数)の補間フィルタを用いることが可能である。
【0057】
MDS−IP処理が本明細書で説明されるが、他の対角予測モードに関して類似した処理技法が実行されてもよい。例えば、H.264/AVCとHEVCの両方が、他の方向性予測モードをサポートすることが可能である。これらのモードは、これらのモードの予測方向が、より細かい角度に沿うため、予測のためにサブピクセル精度が考慮され得る。これらの予測モードのためのMDS−IPプロセスは、非長方形形状を有するピクセルのブロックの符号化を利用することが可能である。これらの方向性予測モードのためのMDS−IPプロセスは、これらのモードに関する方向性イントラ予測を使用して、オフにされることが可能である。非長方形形状の変換(例えば、形状適応DCT)、および適切な係数スキャンが、これらの予測モードに関するMDS−IP処理に適用されることが可能である。
【0058】
図14(A)〜図14(D)は、非対角角度予測モードに関する補間技法の例を示す図である。図14(A)の入力ブロック1402が、複数の方向(例えば、2つの方向)でダウンサンプリングされて、図14(B)に示されるダウンサンプリングされたブロック1404がもたらされることが可能である。様々なピクセルに、ダウンサンプリング後に残るピクセルを示すように図14(A)において陰影が付けられることが可能である。ダウンサンプリングされたブロック1404内のピクセルは、例えば、図14(B)の非対角角度の矢印で示されるとおり、予測されることが可能である。この非対角角度の矢印は、非45°/非135°角度の対角予測モードに対応することが可能である。4:1サブサンプリングレート(例えば、2つの方向で2:1)が図14に例示されるが、他のサブサンプリングレートが使用されてもよい。例えば、2:1サブサンプリングレート、6:1サブサンプリングレート、8:1サブサンプリングレート、または様々な他の適切なサブサンプリングレートが使用されることが可能である。図14(C)のブロック1406で示されるとおり、n,m=0...3である位置(2n,2m)におけるピクセルが、位置(2n−1,2m−3)における既に再構築された隣接するピクセル、および位置(2n+1,2m+3)における再構築されたピクセルを使用して角度方向(例えば、矢印1420で示される)の補間によって予測されることが可能である。n,m=0...3である位置(2n,2m)におけるサンプルを含むサブブロックの予測残差が、836および838におけるステップ(例えば、図8)の後に符号化されることが可能である。再構築された残差が予測に再び足されて、位置(2n,2m)におけるピクセルを備える再構築されたサブブロックが得られることが可能である。図14(D)のブロック1408で示されるとおり、残りのピクセルを備えるサブブロックが、再構築されているピクセル(例えば、矢印1426で示される位置(2n−1,2m−2)および位置(2n+1,2m+2)における)を使用して補間によって予測されることが可能である。
【0059】
図15(A)〜図15(C)は、非対角角度予測モード(例えば、非45°/非135°)を使用して予測される8×8ブロックに対するMDS−IPプロセスの例を示す図である。ピクセル重み付けプロセスが、この補間を支援することが可能である。8×8ブロックが図15(A)〜図15(C)に示され得るが、MDS−IPは、様々なサイズを有するブロックに関して利用されてもよい。図15において、左側の列のピクセル、および一番上の行のピクセルが、既に符号化された隣接するブロックからの予測ピクセルであることが可能である。ブロック1502が、両方の次元でダウンサンプリングされることが可能である。例えば、図15(A)および図15(B)に示されるとおり、8×8ブロック1502が、各次元において1/2でダウンサンプリングされることが可能であり、n,m=0...3である位置(2n+1,2m+1)に位置するピクセルが、図15(B)におけるダウンサンプリングされたブロック1504を形成することが可能である。これらの残りのピクセルは、例えば、図15(B)のダウンサンプリングされたブロック1504において矢印で示されるとおり、非対角角度方向で予測されることが可能である。図8図15(B)、および図15(C)を参照すると、サブサンプリングされたブロックの予測残差が、ユニット832および834による処理の後に符号化され、予測されるサブサンプリングされたブロック812に再び足されて、再構築されたサブサンプリングされたブロック814が得られることが可能である。モード依存の補間ユニット844を介して、残り3/4のピクセルを備えるサブサンプリングされたブロックが、再構築されたサブサンプリングされたブロック814から補間によって予測されることが可能である。欠落したピクセルを含むサブサンプリングされたブロックが、例えば、図15(C)に示されるとおり、重み付け実施を使用して補間によって同時に予測されることが可能である。例えば、n,m=0...3である位置(2n,2m)におけるピクセルを備えるサブブロックが、矢印1506および矢印1540で示されるとおり、既に構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して対角方向の補間によって予測されることが可能である。補間プロセスは、ピクセルに様々な重み付けをすることが可能である。例えば、補間プロセスは、「左上方の」ピクセルに、「右下方の」ピクセルより大きい重み付けをすることが可能である。特定の重み付け実施は、利用される予測モードに依存し得る。例えば、「左上方の」ピクセルに、70%の重み付け係数が与えられ得る一方で、「右下方の」ピクセルに30%の重み付け係数が与えられ得る。n,m=0...3である位置(2n,2m+1)におけるピクセルを備えるサブブロックが、例えば、図15(C)の矢印1542で示されるとおり、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、水平方向の補間によって予測されることが可能である。「左側の」ピクセルと「右側の」ピクセルには、等しい重み付け係数が与えられることも、異なる重み付け係数が与えられることも可能である。例えば、「左側の」ピクセルに55%の重み付けが与えられ得る一方で、「右側の」ピクセルに45%の重み付けが与えられ得る。n,m=0...3である位置(2n+1,2m)におけるピクセルを備えるサブブロックが、例えば、図15(C)の矢印1544で示されるとおり、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、垂直方向の補間によって予測されることが可能である。「一番上の」ピクセルと「一番下の」ピクセルには、等しい重み付け係数が与えられることも、異なる重み付け係数が与えられることも可能である。例えば、「一番上の」ピクセルに60%の重み付けが与えられ得る一方で、「右側の」ピクセルに40%の重み付けが与えられ得る。
【0060】
予測モードに基づく異なる重み付け係数などの、ただし、そのようなことには限定されない、補間プロセスの変形が行われることが可能である。予測の後、それぞれ、位置(2n,2m)、(2n,2m+1)、および(2n+1,2m)で欠落したピクセルを含む3つのサブブロックの予測残差が、ユニット836および838(例えば、図8)による処理の後に符号化され、予測信号に再び足されて、欠落したピクセルを含む再構築された3つのサブブロック818が得られることが可能である。位置(2n,2m)、(2n,2m+1)、および(2n+1,2m)における欠落したピクセルに関する残差符号化プロセスは、エンコーダおよび/またはデコーダによって省かれることが可能である。
【0061】
例示的な補間技法が、水平予測モード、垂直予測モード、対角予測モード、および非対角角度予測モードに関して例示されてきたが、本明細書で説明されるMDS−IP実施は、様々なビデオ符号化予測モードおよびビデオ復号予測モードと一緒に使用されることが可能である。1または複数のサブブロックに同一の補間技法が適用されることも、異なる補間技法が適用されることも可能である。これらの補間技法は、予測モードに基づいて選択され得る、1または複数のフィルタを含むことが可能である。例えば、補間フィルタは、とりわけ、4タップ1次元フィルタ、6タップ1次元フィルタ、4×4の2次元フィルタ、6×6の2次元フィルタであり得る。1または複数の補間フィルタが、予測モードに基づくことが可能な、1または複数の補間方向に沿って適用されることが可能である。
【0062】
DCモードおよび平面予測モードなどの、ただし、以上には限定されない無方向性予測モードがサポートされることも可能である。DC予測は、既に再構築された隣接するブロック(例えば、「A」として表される図16(A)の左端の列および一番上の列)からの予測ピクセルの平均をとり、その平均値を、予測されるべきブロック全体(例えば、図16(A)の8×8ブロック1602)に割り当てることによって実行されることが可能である。平面モード(例えば、HEVC HM3.0における)は、例えば、図6を参照して本明細書で説明される。無方向性予測モードは、平坦な領域、またはゆっくりした/平滑な勾配を有する領域に適することが可能である。図16(A)〜図16(D)および図17(A)〜図17(D)は、DC予測モードを使用して8×8ブロックに適用されるMDS−IP処理の例を示す図である。8×8ブロックが示され得るが、MDS−IPは、より大きいブロックを処理するのに使用されてもよい。図16(A)のブロック1602は、DC予測実施の例を示す。図16(B)〜図16(D)は、本明細書で説明される実施形態による処理技法の例を示す。
【0063】
例えば、図16(B)〜図16(C)に示されるとおり、8×8ブロック1604が、各次元において1/2でダウンサンプリングされて、4×4ブロック1606が生成されることが可能である。n,m=0...3である位置(2n+1,2m+1)に位置するピクセルが、既に再構築された隣接するブロック(例えば、図16(C)の左端の列および一番上の列)からの予測ピクセルの平均をとることによって予測されることが可能である。サブサンプリングされたブロック822(例えば、図8)の予測残差が、ユニット832および834による処理の後に符号化され、予測されるサブサンプリングされたブロック812に再び足されて、再構築されたサブサンプリングされたブロック814が得られることが可能である。残り3/4のピクセルを備えるサブブロックが、既に符号化された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルから補間によって予測されることが可能である。
【0064】
図16(D)を参照すると、欠落しているピクセルが、補間によって同時に予測されることが可能である。n,m=0...3である位置(2n,2m)におけるピクセルを備えるサブブロックが、例えば、矢印1620で示されるとおり、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して(例えば、MDS−IPの第1のステップから)、補間によって予測されることが可能である。矢印1620の一部分が図16(C)に示され得る。矢印1620によって示される補間は、全く方向性を有さないことが可能である(例えば、無方向性予測モードのため)。4つのピクセルの平均で十分であり得る。n,m=0...3である位置(2n,2m+1)におけるピクセルを備えるサブブロックが、図16(C)の矢印1622で示されるとおり、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、水平方向の補間によって予測されることが可能である。n,m=0...3である位置(2n+1,2m)におけるピクセルを備えるサブブロックが、例えば、図16(C)の矢印1624で示されるとおり、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、垂直方向の補間によって予測されることが可能である。
【0065】
水平方向および/または垂直方向で異なるフィルタタップ長を有する異なる補間フィルタを使用することなどの、ただし、そのようなことには限定されない、補間プロセスに対する変形が行われることが可能である。予測の後、欠落したピクセルを含むサブブロックの予測残差が、ユニット836および838による処理の後に符号化され、欠落したピクセルを含むサブブロックの予測に再び足されて、欠落したピクセルを含む再構築されたサブブロック818が得られることが可能である。
【0066】
図17A図17Dは、補間実施の例を示す図である。入力ブロック1702が、2つの方向でダウンサンプリングされて、ダウンサンプリングされたブロック1704(例えば、図16(C)のブロック1606と同様であることが可能な)をもたらすことが可能である。欠落したピクセルを含むサブブロックが、カスケードされた(例えば、多段の)様態で予測され、再構築されることが可能である。図17(C)の矢印1720で示されるとおり、n,m=0...3である位置(2n,2m)におけるピクセルが、既に再構築された隣接するピクセル、およびn,m=0...3である位置(2n+1,2m+1)における再構築されたピクセルを使用して、補間(例えば、単純平均を使用する)によって予測されることが可能である。n,m=0...3である位置(2n,2m)におけるピクセルを備えるサブブロックの予測残差が、ユニット836および838による処理の後に符号化されることが可能である。再構築された残差が、予測に再び足されて、位置(2n,2m)におけるピクセルを備える再構築されたサブブロックが得られることが可能である。図17(D)に示されるとおり、位置(2n,2m+1)における残りのピクセルを備えるサブブロック、および位置(2n+1,2m)における残りのピクセルを備えるサブブロックが、例えば、それぞれ、矢印1722および矢印1724を使用して、再構築されているピクセルを使用する補間によって予測されることが可能である。
【0067】
図16(C)、図17(C)、および図17(D)における補間プロセスは、バイリニアフィルタ(例えば、単純平均)、4タップもしくは6タップのIDフィルタ、および/または4×4もしくは6×6の2D非分離フィルタなどの、ただし、以上には限定されない、様々な特性(例えば、様々なタップ長、および様々な係数)の補間フィルタを用いることが可能である。MDS−IP実施が例としてDC予測モードを使用して本明細書で説明されるが、他の無方向性予測モード(例えば、平面予測モード)に関するMDS−IP実施も実質的に同様であり得る。
【0068】
MDS−IPは、多種多様な予測モードに適用可能であり得る。異なる予測モードに関するMDS−IP実施は、異なり得るが、それらのMDS−IP実施は、一般に、2ステップの手順を備えることが可能である。例えば、第1のステップで、入力ビデオブロック内のピクセルの一部分(例えば、1/2または1/4)を備えるサブサンプリングされたブロックが、モード依存のサブサンプリングプロセスを適用することによって生成されることが可能である。サブサンプリングされたブロックは、予測モードに基づいて予測されることが可能であり、サブサンプリングされたブロックの予測残差が、計算され、符号化されて、再構築された残差が得られることが可能である。次に、再構築されたサブサンプリングされたブロックが生成されることが可能である。例えば、第2のステップで、入力ビデオブロック内の残りのピクセルを備える1または複数のサブブロックが、既に符号化された隣接するピクセル、およびそれまでに生成されている再構築されたサブサンプリングされたブロックから補間することによって予測されることが可能である。特定の補間プロセス(例えば、補間フィルタ、補間方向など)は、予測モードに依存することが可能である。入力ビデオブロック内の残りのピクセルを備える1または複数のサブブロックの予測残差が、符号化されることが可能である。
【0069】
本明細書で説明されるとおり、欠落したピクセルを含むサブブロックが、カスケードされた(例えば、多段の)様態で予測され、再構築されることが可能である。例えば、第1の位置(例えば、図12に関連する位置(2n,2m))におけるピクセルが、再構築されたサブブロックの第1の部分と呼ばれ得る。第2の位置(例えば、図12に関連する位置(2n,2m+1)および/または位置(2n+1,2m))におけるピクセルが、再構築されたサブブロックの第2の部分と呼ばれ得る。再構築されたサブブロックの第2の部分が、再構築されたサブブロックの生成された第1の部分に少なくとも部分的に基づいて生成されることが可能である(例えば、図12(D)、図13(D)、図14(D)などに示されるとおり)。再構築されたサブブロックの第2の部分を生成するのに使用される変換パラメータおよび量子化パラメータ(例えば、第3のセット)は、サブブロックの再構築された残差を生成するのに使用されるセットの変換パラメータおよび量子化パラメータ(例えば、第1のセット)、または再構築されたサブブロックの第1の部分を生成するのに使用される変換パラメータおよび量子化パラメータ(例えば、第2のセット)と同一であることが可能である。
【0070】
実施形態は、所望される結果を実現するための様々なアプローチを利用することが可能である。例えば、サブサンプリングされたブロック(例えば、MDS−IPの第1のステップ中、および/または第2のステップ中に生成された)のうちの1または複数が、正方形ではないことが可能である。非正方形のサブサンプリングされたブロックのために設計された2D変換、および適切な係数スキャン順序が、設計され、適用されることが可能である。正方形2D変換、およびスキャン順序が、非正方形の長方形サブブロックに適用されることが可能である。
【0071】
MDS−IPの第1のステップ(例えば、ユニット832および834)における残差符号化プロセスとMDS−IPの第2のステップ(例えば、ユニット836および838)における残差符号化プロセスは、同一であることも、同一でないことも可能である。これらのステップ中に同一の変換パラメータおよび量子化パラメータ、または異なる変換パラメータおよび量子化パラメータが適用されることが可能である。変換ユニット104、量子化ユニット106、逆量子化ユニット110、および逆変換ユニット112(図1に示される)のうちの1または複数が、MDS−IP処理によって使用されることが可能である。
【0072】
モード依存の補間プロセス(例えば、モード依存の補間ユニット844によって実行される)が、欠落したサンプルを含むサブサンプリングされた1または複数のブロックに関する予測信号を生成し、その後、再構築されている欠落したサンプルを含むサブサンプリングされた1または複数のブロックに関する残差を生成することが可能である。予測および残差の生成は、例えば、欠落したサンプルを含むその1または複数のサブブロックの第1の部分が最初に符号化されることが可能であり、次に、欠落したサンプルを含むその1または複数のサブブロックの第2の部分を予測し、符号化するのに使用されることが可能である、カスケードされた様態で実行され得る。
【0073】
MDS−IP処理の第1のステップ中、およびMDS−IP処理の第2のステップ中に生成された予測残差が、符号化されることが可能である。MDS−IPの第2のステップ中に生成された予測残差の少なくともいくつかは、符号化されないことが可能である。
【0074】
図18は、通信システム1800の例を示す図である。エンコーダ1802が、接続1808を介して通信ネットワーク1804と通信状態にあることが可能である。エンコーダ1802は、本明細書で説明されるとおりMDS−IP処理を利用することが可能である。接続1808は、有線接続であっても、ワイヤレス接続であってもよい。デコーダ1806が、接続1810を介して通信ネットワーク1804と通信状態にあることが可能である。エンコーダ1806は、本明細書で説明されるとおりMDS−IP処理を利用することが可能である。接続1810は、有線接続であっても、ワイヤレス接続であってもよい。通信ネットワーク1804は、本明細書で説明されるとおり、例えば、適切なタイプの通信システムであることが可能である。エンコーダ1806は、デジタルテレビ、ワイヤレス通信デバイス、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップコンピュータもしくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラ無線電話機もしくは衛星無線電話機、デジタルメディアプレーヤなどの、ただし、以上には限定されない多種多様な端末装置のいずれかに組み込まれることが可能である。
【0075】
図19Aは、開示される1または複数の実施形態が実施され得る例示的な通信システム100の図である。通信システム1900は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数のワイヤレスユーザに供給する多元接続システムであり得る。通信システム1900は、ワイヤレス帯域幅を含むシステムリソースの共有を介して、複数のワイヤレスユーザがそのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム1900は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの1または複数のチャネルアクセス方法を用いることが可能である。
【0076】
図19Aに示されるとおり、通信システム1900は、ワイヤレス送信/受信ユニット(WTRU)1902a、1902b、1902c、1902d、無線アクセスネットワーク(RAN)1903/1904/1905、コアネットワーク1906/1907/1909、公衆交換電話網(PSTN)1908、インターネット1910、および他のネットワーク1912を含み得るが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図することが理解されよう。WTRU1902a、1902b、1902c、1902dのそれぞれは、ワイヤレス環境において動作し、さらに/または通信するように構成された任意のタイプのデバイスであることが可能である。例として、WTRU1902a、1902b、1902c、1902dは、ワイヤレス信号を送信するように、さらに/または受信するように構成されることが可能であり、さらにユーザ機器(UE)、移動局、固定加入者ユニットもしくはモバイル加入者ユニット、ポケットベル、セルラ電話機、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、家庭用電子機器、または圧縮されたビデオ通信を受信して、処理することができる他の任意の端末装置を含むことが可能である。
【0077】
また、通信システム1900は、基地局1914aおよび基地局1914bを含むことも可能である。基地局1914a、基地局1914bのそれぞれは、コアネットワーク1906/1907/1909、インターネット1910、および/またはネットワーク1912などの1または複数の通信ネットワークに対するアクセスを円滑にするようにWTRU1902a、1902b、1902c、1902dのうちの少なくとも1つとワイヤレスでインターフェースをとるように構成された任意のタイプのデバイスであり得る。例として、基地局1914a、1914bは、基地局トランシーバ(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、サイトコントローラ、アクセスポイント(AP)、ワイヤレスルータなどであり得る。基地局1914a、1914bはそれぞれ、単一の要素として示されるが、基地局1914a、1914bは、任意の数の互いに接続された基地局および/またはネットワーク要素を含み得ることが理解されよう。
【0078】
基地局1914aは、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどの他のネットワーク要素(図示せず)を含むことも可能なRAN1903/1904/1905の一部であり得る。基地局1914aおよび/または基地局1914bは、セル(図示せず)と呼ばれ得る特定の地域内でワイヤレス信号を送信するように、さらに/または受信するように構成され得る。セルは、セルセクタにさらに分割されることが可能である。例えば、基地局1914aに関連するセルが、3つのセクタに分割されることが可能である。このため、一実施形態において、基地局1914aが、3つの、すなわち、セルの各セクタにつき1つのトランシーバを含むことが可能である。別の実施形態において、基地局1914aが、多入力多出力(MIMO)技術を使用することが可能であり、従って、セルの各セクタにつき複数のトランシーバを利用することが可能である。
【0079】
基地局1914a、1914bは、任意の適切なワイヤレス通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)であり得る無線インターフェース1915/1916/1917を介してWTRU1902a、1902b、1902c、1902のうちの1または複数と通信することが可能である。無線インターフェース1915/1916/1917は、任意の適切な無線アクセス技術(RAT)を使用して確立され得る。
【0080】
より詳細には、前述したとおり、通信システム1900は、多元接続システムであることが可能であり、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなどの1または複数のチャネルアクセススキームを使用することが可能である。例えば、RAN1903/1904/1905における基地局1914a、およびWTRU1902a、1902b、1902cが、広帯域CDMA(WCDMA(登録商標))を使用して無線インターフェース1915/1916/1917を確立することが可能な、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することが可能である。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含み得る。
【0081】
別の実施形態において、基地局1914a、およびWTRU1902a、1902b、1902cが、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用して無線インターフェース1915/1916/1917を確立することが可能な、発展型UMTS地上無線アクセス(E−UTRA)などの無線技術を実施することが可能である。
【0082】
他の実施形態において、基地局1914a、およびWTRU1902a、1902b、1902cが、IEEE802.16(すなわち、ワールドワイドインターオペラビリティフォーマイクロウェイブアクセス(Worldwide Interoperability for Microwave Access)(WiMAX))、CDMA2000、CDMA2000 IX、CDMA2000 EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、グローバルシステムフォーモバイルコミュニケーションズ(Global System for Mobile Communications)(GMS)、エンハンストデータレートフォーGSMエボリューション(Enhanced Data rates for GSM Evolution)(EDGE)、GSM EDGE(GERAN)などの無線技術を実施することが可能である。
【0083】
図19Aの基地局1914aは、例えば、ワイヤレスルータ、ホームノードB、ホームeノードB、またはアクセスポイントであることが可能であり、さらに職場、自宅、車両、キャンパスなどの局所的な区域内のワイヤレス接続を円滑にするために適切なRATを利用することが可能である。一実施形態において、基地局1914b、およびWTRU1902c、1902dが、ワイヤレスローカルエリアネットワーク(WLAN)を確立するようにIEEE802.11などの無線技術を実施することが可能である。別の実施形態において、基地局1914b、およびWTRU1902c、1902dが、ワイヤレスパーソナルエリアネットワーク(WPAN)を確立するようにIEEE802.15などの無線技術を実施することが可能である。さらに別の実施形態において、基地局1914b、およびWTRU1902c、1902dが、ピコセルまたはフェムトセルを確立するようにセルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなどの)を利用することが可能である。図19Aに示されるとおり、基地局1914bは、インターネット1910に対する直接の接続を有することが可能である。このため、基地局1914bは、コアネットワーク1906/1907/1909を介してインターネット1910にアクセスすることを要求されない可能性がある。
【0084】
RAN1903/1904/1905が、WTRU1902a、1902b、1902c、1902dのうちの1または複数に音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスを提供するように構成された任意のタイプのネットワークであり得るコアネットワーク1906と通信状態にあることが可能である。例えば、コアネットワーク1906/1907/1909が、呼制御、料金請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続、ビデオ配信などを提供することが可能であり、さらに/またはユーザ認証などの高レベルのセキュリティ機能を実行することが可能である。図19Aには示されないものの、RAN1903/1904/1905、および/またはコアネットワーク1906/1907/1909は、RAN1903/1904/1905と同一のRATを使用する、または異なるRATを使用する他のRANと直接、または間接の通信状態にあることが可能であることが理解されよう。例えば、E−UTRA無線技術を利用していることが可能なRAN1903/1904/1905に接続されていることに加えて、コアネットワーク1906/1907/1909は、GSM無線技術を使用する別のRAN(図示せず)と通信状態にあることも可能である。
【0085】
また、コアネットワーク1906/1907/1909は、WTRU1902a、1902b、1902c、1902dがPSTN1908、インターネット1910、および/または他のネットワーク1912にアクセスするゲートウェイの役割をすることも可能である。PSTN1908は、普通の従来の電話サービス(POTS)を提供する回線交換電話網を含み得る。インターネット1910は、TCP/IPインターネットプロトコルスイートにおける伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)などの一般的な通信プロトコルを使用する互いに接続されたコンピュータネットワークおよびデバイスの地球規模のシステムを含み得る。ネットワーク1912は、他のサービスプロバイダによって所有され、さらに/または運用される有線通信ネットワークもしくはワイヤレス通信ネットワークを含み得る。例えば、ネットワーク1912は、RAN1903/1904/1905と同一のRATを使用することも、異なるRATを使用することも可能な1または複数のRANに接続された別のコアネットワークを含み得る。
【0086】
通信システム1900内のWTRU1902a、1902b、1902c、1902dのいくつか、またはすべてが、マルチモード機能を含むことが可能であり、すなわち、WTRU1902a、1902b、1902c、1902dは、様々なワイヤレスリンクを介して様々なワイヤレスネットワークと通信するための複数のトランシーバを含むことが可能である。例えば、図19Aに示されるWTRU1902cが、セルラベースの無線技術を使用することが可能な基地局1914a、およびIEEE802無線技術を使用することが可能な基地局1914bと通信するように構成され得る。
【0087】
図19Bは、例示的なWTRU1902のシステム図である。図19Bに示されるとおり、WTRU1902は、プロセッサ1918と、トランシーバ1920と、送信/受信要素1922と、スピーカ/マイクロフォン1924と、キーパッド1926と、ディスプレイ/タッチパッド1928と、非リムーバブルメモリ1906と、リムーバブルメモリ1932と、電源装置1934と、全地球測位システム(GPS)チップセット1936と、他の周辺装置1938とを含み得る。WTRU1902は、実施形態と合致したままで、前述の要素の任意の部分的組み合わせを含み得ることが理解されよう。また、実施形態は、基地局1914aおよび1914b、ならびに/または、とりわけ、基地局トランシーバ(BTS)、ノードB、サイトコントローラ、アクセスポイント(AP)、ホームノードB、発展型ホームノードB(eノードB)、ホーム発展型ノードB(HeNB)、ホーム発展型ノードBゲートウェイ、およびプロキシノードなどの基地局1914aおよび1914bが代表することが可能なノードが、図1Bに示され、本明細書で説明される要素のうちのいくつかまたはすべてを含み得ることを企図する。
【0088】
プロセッサ1918は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ(DSP)、グラフィックス処理ユニット(GPU)、複数のマイクロプロセッサ、DSPコアに関連する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、状態マシンなどであり得る。プロセッサ1918は、信号符号化、データ処理、電力制御、入出力処理、および/またはWTRU1902がワイヤレス環境で動作することを可能にする他の任意の機能を実行することが可能である。プロセッサ1918は、送信/受信要素1922に結合されることが可能なトランシーバ1920に結合され得る。図19Bは、プロセッサ1918およびトランシーバ1920を別々の構成要素として示すが、プロセッサ1918とトランシーバ1920は、電子パッケージまたは電子チップの中で一体化されてもよいことが理解されよう。
【0089】
送信/受信要素1922は、無線インターフェース1915/1916/1917を介して基地局(例えば、基地局1914a)に信号を送信するように、または基地局(例えば、基地局1914a)から信号を受信するように構成され得る。例えば、一実施形態において、送信/受信要素1922は、RF信号を送信するように、さらに/または受信するように構成されたアンテナであり得る。別の実施形態において、送信/受信要素1922は、例えば、IR信号、UV信号、または可視光信号を送信するように、さらに/または受信するように構成されたエミッタ/検出器であり得る。さらに別の実施形態において、送信/受信要素1922は、RF信号と光信号をともに送受信するように構成され得る。送信/受信要素1922は、ワイヤレス信号の任意の組み合わせを送信するように、さらに/または受信するように構成され得ることが理解されよう。
【0090】
さらに、送信/受信要素1922は、単一の要素として図19Bに示されるが、WTRU1902は、任意の数の送信/受信要素1922を含み得る。より詳細には、WTRU1902は、MIMO技術を使用することが可能である。このため、一実施形態において、WTRU1902は、無線インターフェース1915/1916/1917を介してワイヤレス信号を送受信するための2つ以上の送信/受信要素1922(例えば、複数のアンテナ)を含み得る。
【0091】
トランシーバ1920は、送信/受信要素1922によって送信されるべき信号を変調するように、さらに送信/受信要素1922によって受信される信号を復調するように構成され得る。前述したとおり、WTRU1902は、マルチモード機能を有することが可能である。このため、トランシーバ1920は、WTRU1902が、例えば、UTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための複数のトランシーバを含み得る。
【0092】
WTRU1902のプロセッサ1918は、スピーカ/マイクロフォン1924、キーパッド1926、および/またはディスプレイ/タッチパッド1928(例えば、液晶ディスプレイ(LCD)ディスプレイユニットまたは有機発光ダイオード(OLED)ディスプレイユニット)に結合されることが可能であり、さらにスピーカ/マイクロフォン1924、キーパッド1926、および/またはディスプレイ/タッチパッド1928からユーザ入力を受信することが可能である。また、プロセッサ1918は、スピーカ/マイクロフォン1924、キーパッド1926、および/またはディスプレイ/タッチパッド1928にユーザデータを出力することも可能である。さらに、プロセッサ1918は、非リムーバブルメモリ1906および/またはリムーバブルメモリ1932などの任意のタイプの適切なメモリからの情報にアクセスすること、およびそのようなメモリの中にデータを格納することが可能である。非リムーバブルメモリ1906は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、ハードディスク、または他の任意のタイプのメモリストレージデバイスを含み得る。リムーバブルメモリ1932は、加入者IDモジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。他の実施形態において、プロセッサ1918は、サーバ上、またはホームコンピュータ(図示せず)上などの、WTRU1902上に物理的に配置されていないメモリからの情報にアクセスすること、およびそのようなメモリの中にデータを格納することが可能である。
【0093】
プロセッサ1918は、電源装置1934から電力を受信することが可能であり、さらにWTRU1902におけるその他の構成要素に対する電力を配電するように、さらに/または制御するように構成されることが可能である。電源装置1934は、WTRU1902に電力を供給するための任意の適切なデバイスであり得る。例えば、電源装置1934は、1または複数の乾電池(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含み得る。
【0094】
また、プロセッサ1918は、WTRU1902の現在の位置に関する位置情報(例えば、経度と緯度)をもたらすように構成され得るGPSチップセット1936に結合されることも可能である。GPSチップセット1936からの情報に加えて、またはそのような情報の代わりに、WTRU1902は、基地局(例えば、基地局1914a、1914b)から無線インターフェース1915/1916/1917を介して位置情報を受信してもよく、さらに/または近くの2つ以上の基地局から受信されている信号のタイミングに基づいてWTRU1902の位置を特定してもよい。WTRU1902は、実施形態と合致したままでありながら、任意の適切な位置特定方法によって位置情報を獲得することが可能であることが理解されよう。
【0095】
プロセッサ1918は、さらなるフィーチャ、機能、および/または有線接続もしくはワイヤレス接続をもたらすことが可能な1または複数のソフトウェアおよび/またはハードウェアを含み得る、他の周辺装置1938にさらに結合されることが可能である。例えば、周辺装置1938は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真またはビデオのための)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどを含み得る。
【0096】
図19Cは、実施形態によるRAN1903およびコアネットワーク1906のシステム図である。前述したとおり、RAN1903は、UTRA無線技術を使用して、無線インターフェース1915を介してWTRU1902a、1902b、1902cと通信することが可能である。また、RAN1904は、コアネットワーク1906と通信状態にあることも可能である。図19Cに示されるとおり、RAN1903は、無線インターフェース1915を介してWTRU1902a、1902b、1902cと通信するための1または複数のトランシーバをそれぞれが含むことが可能な、ノードB1940a、1940b、1940cを含み得る。ノードB1940a、1940b、1940cはそれぞれ、RAN1903内の特定のセル(図示せず)に関連することが可能である。また、RAN1903は、RNC1942a、1942bを含むことも可能である。RAN1903は、実施形態と合致したままでありながら、任意の数のノードBおよびRNCを含み得ることを理解されたい。
【0097】
図19Cに示されるとおり、ノード1940a,1940bが、RNC1942aと通信状態にあることが可能である。さらに、ノードB1940cが、RNC1942bと通信状態にあることが可能である。ノードB1940a、1940b、1940cは、Iubインターフェースを介してそれぞれのRNC1942a、1942bと通信することが可能である。RNC1942a、1942bは、Iurインターフェースを介して互いに通信状態にあることが可能である。RNC1942a、1942bのそれぞれが、RNC1942a、1942bが接続されているそれぞれのノードB1940a、B1940b、B1940cを制御するように構成され得る。さらに、RNC1942a、1942bのそれぞれが、外部ループ電力制御、負荷制御、受付制御、パケットスケジューリング、ハンドオーバ制御、マクロダイバーシティ、セキュリティ機能、データ暗号化などの他の機能を実行するように、またはサポートするように構成され得る。
【0098】
図19Cに示されるコアネットワーク1906は、メディアゲートウェイ(MGW)1944、移動交換局(MSC)1946、サービングGPRSサポートノード(SGSN)1948、および/またはゲートウェイGPRSサポートノード(GGSN)1950を含み得る。前述の要素のそれぞれは、コアネットワーク1906の一部として示されるが、これらの要素のうちのいずれの要素も、コアネットワーク運用者以外のエンティティによって所有され、さらに/または運用されることが可能であることが理解されよう。
【0099】
RAN1903におけるRNC1942aが、IuCSインターフェースを介してコアネットワーク1906におけるMSC1946に接続されることが可能である。MSC1946は、MGW1944に接続されることが可能である。MSC1946およびMGW1944は、PSTN1908などの回線交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cと従来の陸線通信デバイスの間の通信を円滑にすることが可能である。
【0100】
また、RAN1903におけるRNC1942aは、IuPSインターフェースを介してコアネットワーク1906におけるSGSN1948に接続されることも可能である。SGSN1948は、GGSN1950に接続されることが可能である。SGSN1948およびGGSN1950は、インターネット1910などのパケット交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cとIP対応のデバイスの間の通信を円滑にすることが可能である。
【0101】
前述したとおり、コアネットワーク1906は、他のサービスプロバイダによって所有され、さらに/または運用される他の有線ネットワークもしくはワイヤレスネットワークを含み得るネットワーク1912に接続されることも可能である。
【0102】
図19Dは、別の実施形態によるRAN1904およびコアネットワーク1907のシステム図である。前述したとおり、RAN1904は、E−UTRA無線技術を使用して、無線インターフェース1916を介してWTRU1902a、1902b、1902cと通信することが可能である。また、RAN1904は、コアネットワーク1907と通信状態にあることも可能である。
【0103】
RAN1904は、eノードB1960a、1960b、1960cを含み得るが、RAN1904は、実施形態と合致したままでありながら、任意の数のeノードBを含み得ることが理解されよう。eノードB1960a、1960b、1960cはそれぞれ、無線インターフェース1916を介してWTRU1902a、1902b、1902cと通信するための1または複数のトランシーバを含み得る。一実施形態において、eノードB1960a、1960b、1960cは、MIMO技術を実施することが可能である。このため、例えば、eノードB1960aが、複数のアンテナを使用して、WTRU1902aにワイヤレス信号を送信すること、およびWTRU1902aからワイヤレス信号を受信することが可能である。
【0104】
eノードB1960a、1960b、1960cのそれぞれは、特定のセル(図示せず)に関連することが可能であり、さらに無線リソース管理決定、ハンドオーバ決定、アップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを扱うように構成されることが可能である。図19Dに示されるとおり、eノードB1960a、1960b、1960cは、X2インターフェースを介して互いに通信することが可能である。
【0105】
図19Dに示されるコアネットワーク1907は、モビリティ管理ゲートウェイ(MME)1962、サービングゲートウェイ1964、およびパケットデータネットワーク(PDN)ゲートウェイ1966を含み得る。前述の要素のそれぞれは、コアネットワーク1907の一部として示されるが、これらの要素のうちのいずれの要素も、コアネットワーク運用者以外のエンティティによって所有され、さらに/または運用され得ることを理解されたい。
【0106】
MME1962は、S1インターフェースを介してRAN1904におけるeノードB1960a、1960b、1960cのそれぞれに接続されることが可能であり、さらに制御ノードの役割をすることが可能である。例えば、MME1962は、WTRU1902a、1902b、1902cのユーザを認証すること、ベアラ活性化/不活性化、WTRU1902a、1902b、1902cの初期接続中に特定のサービングゲートウェイを選択することを担い得る。また、MME1962は、RAN1904と、GSMまたはWCDMAなどの他の無線技術を使用する他のRAN(図示せず)の間で切り換えを行うための制御プレーン機能を提供することも可能である。
【0107】
サービングゲートウェイ1964は、S1インターフェースを介してRAN1904におけるeノードB1960a、1960b、1960cのそれぞれに接続され得る。サービングゲートウェイ1964は、一般に、WTRU1902a、1902b、1902cに/からユーザデータパケットをルーティングして、転送することが可能である。また、サービングゲートウェイ1964は、eノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、WTRU1902a、1902b、1902cにダウンリンクデータが利用可能である場合にページングをトリガすること、WTRU1902a、1902b、1902cのコンテキストを管理し、格納することなどの、他の機能を実行することも可能である。
【0108】
また、サービングゲートウェイ1964は、インターネット1910などのパケット交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cとIP対応のデバイスの間の通信を円滑にすることが可能であるPDNゲートウェイ1966に接続されることも可能である。
【0109】
コアネットワーク1907は、他のネットワークとの通信を円滑にすることが可能である。例えば、コアネットワーク1907は、PSTN1908などの回線交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cと従来の陸線通信デバイスの間の通信を円滑にすることが可能である。例えば、コアネットワーク1907は、コアネットワーク1907とPSTN1908の間のインターフェースの役割をするIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことが可能であり、またはそのようなIPゲートウェイと通信することが可能である。さらに、コアネットワーク1907は、他のサービスプロバイダによって所有され、さらに/または運用される他の有線ネットワークもしくはワイヤレスネットワークを含み得るネットワーク1912へのアクセスをWTRU1902a、1902b、1902cに提供することが可能である。
【0110】
図19Eは、別の実施形態によるRAN1905およびコアネットワーク1909のシステム図である。RAN1905は、IEEE802.16無線技術を使用して、無線インターフェース1917を介してWTRU1902a、1902b、1902cと通信するアクセスサービスネットワーク(ASN)であり得る。後段でさらに説明されるとおり、WTRU1902a、1902b、1902c、RAN1905、およびコアネットワーク1909の様々な機能エンティティの間の通信リンクは、基準ポイントとして定義され得る。
【0111】
図19Eに示されるとおり、RAN1905は、基地局1980a、1980b、1980c、およびASNゲートウェイ1982を含み得るが、RAN1905は、実施形態と合致したままでありながら、任意の数の基地局およびASNゲートウェイを含み得ることが理解されよう。基地局1980a、1980b、1980cはそれぞれ、RAN1905における特定のセル(図示せず)に関連することが可能であり、さらにそれぞれ、無線インターフェース1917を介してWTRU1902a、1902b、1902cと通信するための1または複数のトランシーバを含むことが可能である。一実施形態において、基地局1980a、1980b、1980cは、MIMO技術を実施することが可能である。このため、例えば、基地局1980aが、複数のアンテナを使用して、WTRU1902aにワイヤレス信号を送信すること、およびWTRU1902aからワイヤレス信号を受信することが可能である。また、基地局1980a、1980b、1980cは、ハンドオフトリガ、トンネル確立、無線リソース管理、トラフィック分類、サービス品質(QoS)ポリシー執行などのモビリティ管理機能を提供することも可能である。ASNゲートウェイ1982は、トラフィック集約ポイントの役割をすることが可能であり、さらにページング、加入者プロファイルのキャッシング、コアネットワーク1909へのルーティングなどを担うことが可能である。
【0112】
WTRU1902a、1902b、1902cとRAN1905の間の無線インターフェース1917は、IEEE802.16規格を実施するR1基準ポイントとして定義され得る。さらに、WTRU1902a、1902b、1902cのそれぞれが、コアネットワーク1909との論理インターフェース(図示せず)を確立することが可能である。WTRU1902a、1902b、1902cとコアネットワーク1909の間の論理インターフェースは、R2基準ポイントとして定義されることが可能であり、R2基準ポイントは、認証、許可、IPホスト構成管理、および/またはモビリティ管理のために使用され得る。
【0113】
基地局1980a、1980b、1980cのそれぞれの間の通信リンクは、WTRUハンドオーバ、および基地局間のデータの転送を円滑にするためのプロトコルを含むR8基準ポイントとして定義され得る。基地局1980a、1980b、1980cとASNゲートウェイ1982の間の通信リンクは、R6基準ポイントとして定義され得る。R6基準ポイントは、WTRU1902a、1902b、1902cのそれぞれに関連するモビリティイベントに基づいてモビリティ管理を円滑にするためのプロトコルを含み得る。
【0114】
図19Eに示されるとおり、RAN1905は、コアネットワーク1909に接続され得る。RAN105とコアネットワーク1909の間の通信リンクは、例えば、データ転送機能およびモビリティ管理機能を円滑にするためのプロトコルを含むR3基準ポイントとして定義され得る。コアネットワーク1909は、モバイルIPホームエージェント(MIP−HA)1984、認証−許可−アカウンティング(AAA)サーバ1986、およびゲートウェイ1988を含み得る。前述の要素のそれぞれは、コアネットワーク1909の一部として示されるが、これらの要素のうちのいずれの要素も、コアネットワーク運用者以外のエンティティによって所有され、さらに/または運用され得ることが理解されよう。
【0115】
MIP−HA1984は、IPアドレス管理を担うことが可能であり、さらにWTRU1902a、1902b、1902cが、異なるASNおよび/または異なるコアネットワークの間でローミングできるようにすることが可能である。MIP−HA1984は、インターネット1910などのパケット交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cとIP対応のデバイスの間の通信を円滑にすることが可能である。AAAサーバ1986は、ユーザ認証を担うとともに、ユーザサービスをサポートすることを担うことが可能である。ゲートウェイ1988は、他のネットワークとのインターワーキングを円滑にすることが可能である。例えば、ゲートウェイ1988は、PSTN1908などの回線交換ネットワークへのアクセスをWTRU1902a、1902b、1902cに提供して、WTRU1902a、1902b、1902cと従来の陸線通信デバイスの間の通信を円滑にすることが可能である。さらに、ゲートウェイ1988は、他のサービスプロバイダによって所有され、さらに/または運用される他の有線ネットワークもしくはワイヤレスネットワークを含み得るネットワーク1912へのアクセスをWTRU1902a、1902b、1902cに提供することが可能である。
【0116】
図19Eには示されないものの、RAN1905は、他のASNに接続されることが可能であり、さらにコアネットワーク1909は、他のコアネットワークに接続されることが可能であることが理解されよう。RAN1905と他のASNとの間の通信リンクは、RAN1905と他のASNの間でWTRU1902a、1902b、1902cのモビリティを調整するためのプロトコルを含むことが可能なR4基準ポイントとして定義され得る。コアネットワーク1909と他のコアネットワークの間の通信リンクは、ホームコアネットワークと移動先コアネットワークの間のインターワーキングを円滑にするためのプロトコルを含むことが可能なR5基準として定義され得る。
【0117】
前述したプロセスは、コンピュータおよび/またはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、および/またはファームウェアとして実施され得る。コンピュータ可読媒体の例には、電子信号(有線接続および/またはワイヤレス接続を介して伝送される)、および/またはコンピュータ可読記憶媒体が含まれるが、以上には限定されない。コンピュータ可読記憶媒体の例には、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、ハードディスクおよびリムーバブルディスクなどの、ただし、これらには限定されない磁気媒体、光磁気媒体、ならびに/またはCD−ROMディスクおよび/もしくはデジタルバーサタイルディスクなどの光媒体が含まれるが、以上には限定されない。ソフトウェアに関連するプロセッサが、WTRU、UE、端末装置、基地局、RNC,および/または任意のホストコンピュータにおいて使用されるように無線周波数トランシーバを実装するのに使用され得る。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19A
図19B
図19C
図19D
図19E
図20