特表 2022-525686 サブパーティションを有する広角度イントラ予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-18

(54)【発明の名称】サブパーティションを有する広角度イントラ予測

(51)【国際特許分類】

   H04N 19/11 20140101AFI20220511BHJP

   H04N 19/176 20140101ALI20220511BHJP

   H04N 19/134 20140101ALI20220511BHJP

【ＦＩ】

H04N19/11

H04N19/176

H04N19/134

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021556722

(86)(22)【出願日】2020-04-09

(85)【翻訳文提出日】2021-11-17

(86)【国際出願番号】 US2020027402

(87)【国際公開番号】W WO2020210443

(87)【国際公開日】2020-10-15

(31)【優先権主張番号】19305478.0

(32)【優先日】2019-04-12

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ラケイプ，ファビアン

(72)【発明者】

【氏名】ラス，ガガン

(72)【発明者】

【氏名】アーバン，ファブリス

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159PP04

5C159RC12

5C159TA33

5C159TB08

5C159TB10

5C159TC26

5C159UA02

5C159UA05

(57)【要約】

エンコーディング及びデコーディング用の予測を実行する方法及び装置は、サブパーティションを有するイントラ予測を使用している。サブパーティションは、水平方向において又は垂直方向において方向付けされており、且つ自身が由来するビデオブロックのものとは異なる広角度モードを使用することができる。サブパーティションの基準サンプルは、サブパーティションの基準サンプルが、例えば、方向に起因して利用可能ではない際には、ビデオブロックのものである。一実施形態において、サブパーティションが正方形である際には、従来のイントラ予測方向が使用されている。垂直方向において又は水平方向において、予測方向に沿ったマッピングを使用することにより、ビデオブロックの上方及び右の或いはビデオブロックの左及び下方のブロックから、基準サンプルを使用することができる。

【特許請求の範囲】

【請求項1】

方法であって、
サブパーティションの寸法の比率が特定の範囲内にある際には前記サブパーティションの寸法に基づいて、且つ前記サブパーティションの寸法の比率が前記特定の範囲外にある際には前記ビデオブロックの寸法に基づいて、ビデオブロックの前記矩形サブパーティションのイントラ予測方向を判定することと、
前記ビデオブロックの前記サブパーティションの予測のための上方右又は下方左基準サンプルとして前記ビデオブロックの上方右又は下方左からの基準サンプルをマッピングすることと、
前記ビデオブロックの上方の行からの基準サンプル又は前記ビデオブロックの左の列からの基準サンプルを使用して前記矩形サブパーティションのサンプルを予測することであって、前記ビデオブロックの上方の行又は前記ビデオブロックの左の列内の基準サンプルの数は、前記矩形サブパーティションの寸法に基づいて判定されている、ことと、
イントラコーディングモードにおいて前記予測を使用してビデオブロックの前記矩形サブパーティションをエンコーディングすることと、
を有する方法。

【請求項2】

装置であって、
サブパーティションの寸法の比率が特定の範囲内にある際には前記サブパーティションの寸法に基づいて、且つ前記サブパーティションの寸法の比率が前記特定の範囲外にある際には前記ビデオブロックの寸法に基づいて、ビデオブロックの前記矩形サブパーティションのイントラ予測方向を判定することと、
前記ビデオブロックの前記サブパーティションの予測のための上方右又は下方左基準サンプルとして前記ビデオブロックの上方右又は下方左からの基準サンプルをマッピングすることと、
前記ビデオブロックの上方の行からの基準サンプル又は前記ビデオブロックの左の列からの基準サンプルを使用して前記矩形サブパーティションのサンプルを予測することであって、前記ビデオブロックの上方の行又は前記ビデオブロックの左側の列内の基準サンプルの数は、前記矩形サブパーティションの寸法に基づいて判定されている、ことと、
イントラコーディングモードにおいて前記予測を使用してビデオブロックの前記矩形サブパーティションをエンコーディングすることと、
を実行するように構成されたプロセッサを有する装置。

【請求項3】

方法であって、
サブパーティションの寸法の比率が特定の範囲内にある際には前記サブパーティションの寸法に基づいて、且つ前記サブパーティションの寸法の比率が前記特定の範囲外にある際には前記ビデオブロックの寸法に基づいて、ビデオブロックの前記矩形サブパーティションのイントラ予測方向を判定することと、
前記ビデオブロックの前記サブパーティションの予測のための上方右又は下方左の基準サンプルとして前記ビデオブロックの上方右又は下方左からの基準サンプルをマッピングすることと、
前記ビデオブロックの上方の行からの基準サンプル又は前記ビデオブロックの左の列からの基準サンプルを使用して前記矩形のサブパーティションのサンプルを予測することとであって、前記ビデオブロックの上方の行又は前記ビデオブロックの左の列内の基準サンプルの数は、前記矩形サブパーティションの寸法に基づいて判定されている、ことと、
イントラコーディングモードにおいて前記予測を使用してビデオブロックの前記矩形のサブパーティションをデコーディングすることと、
を有する方法。

【請求項4】

装置であって、
サブパーティションの寸法の比率が特定の範囲内にある際には前記サブパーティションの寸法に基づいて、且つ前記サブパーティションの寸法の比率が前記特定の範囲外にある際には前記ビデオブロックの寸法に基づいて、ビデオブロックの前記矩形サブパーティションのイントラ予測方向を判定することと、
前記ビデオブロックの前記サブパーティションの予測のための上方右又は下方左の基準サンプルとして前記ビデオブロックの上方右又は下方左からの基準サンプルをマッピングすることと、
前記ビデオブロックの上方の行からの基準サンプル又は前記ビデオブロックの左の列からの基準サンプルを使用して前記矩形のサブパーティションのサンプルを予測することであって、前記ビデオブロックの上方の行又は前記ビデオブロックの左の列内の基準サンプルの数は、前記矩形サブパーティションの寸法に基づいて判定されている、ことと、
イントラコーディングモードにおいて前記予測を使用してビデオブロックの前記矩形のサブパーティションをデコーディングすることと、
を実行するように構成されたプロセッサを有する装置。

【請求項5】

非広角度予測モードが、正方形であるサブパーティションに適用されている請求項１又は３に記載の方法或いは請求項２又は４に記載の装置。

【請求項6】

垂直方向サブパーティションの場合には左基準アレイに最も近接したものを超えた又は水平方向サブパーティションの場合には最上位エッジに最も近接したものを超えたサブパーティションの場合に、消失基準サンプルが前記ビデオブロックからマッピングされている請求項１又は３に記載の方法或いは請求項２又は４に記載の装置。

【請求項7】

前記イントラ予測方向は、１６超又は１／１６未満の幅／高さ比率を有するサブパーティションの場合に前記ビデオブロックの寸法に基づいている請求項６に記載の方法又は装置。

【請求項8】

前記イントラ予測方向は、１６超又は１／１６未満の幅／高さ比率を有するサブパーティションの場合に前記ビデオブロックの寸法に基づいており、且つ垂直方向サブパーティションの場合には左基準アレイに最も近接したものを超えた又は水平方向サブパーティションの場合には最上位エッジに最も近接したものを超えたサブパーティションの場合に、消失基準サンプルが、前記ビデオブロックから水平方向又は垂直方向において直接的にマッピングされている請求項１又は３に記載の方法或いは請求項２又は４に記載の装置。

【請求項9】

サブパーティションは、前記ビデオブロックの少なくとも単一の行又は単一の列である請求項６に記載の方法又は装置。

【請求項10】

サブパーティションは、等しくない形状を有しているが、２の累乗に等しい高さ及び幅を有する請求項１又３に記載の方法或いは請求項２又は４に記載の装置。

【請求項11】

サブパーティションは、複数の基準ラインを使用することができる請求項１又は３に記載の方法又は請求項２又は４に記載の装置。

【請求項12】

装置であって、
請求項４乃至１１のいずれか１項に記載の装置と、
（ｉ）信号を受け取るように構成されアンテナであって、前記信号は、前記ビデオブロックを含む、アンテナ、（ｉｉ）前記受け取られた信号を前記ビデオブロックを含む周波数帯域に制限するように構成された帯域リミッタ、及び（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイの少なくとも１つと、
を有する装置。

【請求項13】

プロセッサを使用した再生のために請求項１及び５乃至１１のいずれか１項に記載の方法或いは請求項２及び５乃至１１のいずれか１項に記載の装置に従って生成されたデータコンテンツを含む一時的ではないコンピュータ可読媒体。

【請求項14】

プロセッサを使用した再生のために請求項１及び５乃至１１のいずれか１項に記載の方法或いは請求項２及び５乃至１１のいずれか１項に記載の装置に従って生成されたビデオデータを有する信号。

【請求項15】

プログラムがコンピュータによって実行された際にコンピュータが請求項１、３、及び５乃至１１のいずれか１項に記載の方法を実行するようにする命令を有するコンピュータプログラムプロダクト。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態の少なくとも１つは、一般に、ビデオエンコーディング又はデコーディング用の方法又は装置に関する。

【背景技術】

【0002】

背景
高圧縮効率を実現するべく、画像及びビデオのコーディング方式は、通常、空間及び／又はモーションベクトル予測を含む予測を利用しており、且つビデオコンテンツ内の空間及び時間冗長性を活用するように変換している。一般には、イントラ又はインターフレーム相関を活用するべく、イントラ又はインター予測が使用され、次いで、しばしば、予測誤差又は予測残差と表記されるオリジナルの画像と予測された画像の間の差が変換され、量子化され、且つエントロピーコーディングされている。ビデオを再構築するべく、エントロピーコーディング、量子化、変換、及び予測に対応する逆プロセスにより、圧縮されたデータがデコーディングされている。

【発明の概要】

【0003】

概要
従来技術の欠点及び不利な点に対しては、エンコーディング及びデコーディングにおけるブロック形状適応型のイントラ予測方向を対象とする本明細書において記述されている一般的な態様により、対処することができる。

【0004】

第１の態様によれば、方法が提供されている。方法は、サブパーティションの寸法の比率が特定の範囲内にある際にはサブパーティションの寸法に基づいて、且つサブパーティションの寸法の比率が前記特定の範囲外にある際にはビデオブロックの寸法に基づいて、ビデオブロックの前記矩形サブパーティションのイントラ予測方向を判定するステップと、ビデオブロックの上方右又は下方左からの基準サンプルをビデオブロックの前記サブパーティションの予測のための上方右又は下方左基準サンプルとしてマッピングするステップと、ビデオブロックの上方の行からの基準サンプル又はビデオブロックの左の列からの基準サンプルを使用して矩形サブパーティションのサンプルを予測するステップであって、ビデオブロックの上方の行又はビデオブロックの左の列内の基準サンプルの数は、矩形サブパーティションの寸法に基づいて判定されている、ステップと、イントラコーディングモードにおいて前記予測を使用してビデオブロックの矩形サブパーティションをエンコーディングするステップと、を有する。

【0005】

第２の態様によれば、方法が提供されている。方法は、前記サブパーティションの寸法の比率が特定の範囲内にある際にはサブパーティションの寸法に基づいて、且つ前記サブパーティションの寸法の比率が前記特定の範囲外にある際にはビデオブロックの寸法に基づいて、ビデオブロックの矩形サブパーティションのイントラ予測方向を判定するステップと、ビデオブロックの上方右又は下方左からの基準サンプルをビデオブロックの前記サブパーティションの予測のための上方右又は下方左基準サンプルとしてマッピングするステップと、ビデオブロックの上方の行からの基準サンプル又はビデオブロック左の列からの基準サンプルを使用して矩形サブパーティションのサンプルを予測するステップであって、ビデオブロックの上方の行又はビデオブロックの左の列内の基準サンプルの数は、矩形サブパーティションの寸法に基づいて判定されている、ステップと、イントラコーディングモードにおいて前記予測を使用してビデオブロックの矩形サブパーティションをデコーディングするステップと、を有する。

【0006】

別の態様によれば、装置が提供されている。装置は、プロセッサを有する。プロセッサは、上述の方法の任意のものを実行することにより、ビデオのブロックをエンコーディングするように又はビットストリームをデコーディングするように構成することができる。

【0007】

少なくとも１つの実施形態の別の一般的な態様によれば、デコーディング実施形態の任意のものによる装置と、（ｉ）信号を受け取るように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、（ｉｉ）受け取られた信号をビデオブロックを含む周波数の帯域に制限するように構成された帯域リミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイの少なくとも１つと、を有する装置が提供されている。

【0008】

少なくとも１つの実施形態の別の一般的な態様によれば、記述されているエンコーディング実施形態又は変形の任意のものに従って生成されたデータコンテンツを含む一時的ではないコンピュータ可読媒体が提供されている。

【0009】

少なくとも１つの実施形態の別の一般的な態様によれば、記述されているエンコーディング実施形態又は変形の任意のものに従って生成されたビデオデータを有する信号が提供されている。

【0010】

少なくとも１つの実施形態の別の一般的な態様によれば、ビットストリームは、記述されているエンコーディング実施形態又は変形の任意のものに従って生成されたデータコンテンツを含むようにフォーマッティングされている。

【0011】

少なくとも１つの実施形態の別の一般的な態様によれば、プログラムがコンピュータによって実行された際にコンピュータが記述されているデコーディング実施形態又は変形の任意のものを実行するようにする命令を有するコンピュータプログラムプロダクトが提供されている。

【0012】

一般的な態様のこれらの及びその他の態様、特徴、及び利点については、添付図面との関連において参照される例示用の実施形態に関する以下の詳細な説明から明らかとなろう。

【図面の簡単な説明】

【0013】

図面の簡単な説明

【図1】ＶＴＭにおけるイントラ予測用の基準サンプルを示す。

【図2】ＶＴＭにおけるイントラ予測用の複数の基準ラインを示す。

【図3】正方形ターゲットブロックの場合のＶＴＭにおけるイントラ予測方向を示す。

【図4】４×８及び８×４ブロックの分割の一例を示す。

【図5】４×８、８×４、及び４×４を除くすべてのブロックの分割の一例を示す。

【図6】非正方形ブロックの場合の広角度イントラ予測を示す。

【図7】ＣＵの高さ及び幅から演算されたＩＳＰ広角度を示す。

【図8】広角度及び水平方向スプリットＩＳＰのケースにおける使用された基準サンプルを示す。

【図9】サブパーティションを予測するための提案されている基準サンプルのアレイの一例を示す。

【図10】２つのサブパーティションの例示用のケースの場合のＶＴＭにおける基準アレイパディングの一例を示す。

【図11】水平方向スプリットのケースにおけるコーディングユニットの最上位基準からの基準サンプルのマッピングを示す。

【図12】水平方向スプリットのケースにおけるコーディングユニットの最上位基準からの基準サンプルのマッピングを示す。

【図13】一般的な標準エンコーディング方式を示す。

【図14】一般的な標準デコーディング方式を示す。

【図15】記述されている実施形態が実装されうる代表的なプロセッサ構成を示す。

【図16】一般的な標準エンコーディング方式を示す。

【図17】一般的な標準デコーディング方式を示す。

【図18】記述されている実施形態が実装されうる代表的なプロセッサ構成を示す。

【発明を実施するための形態】

【0014】

詳細な説明
本明細書において記述されている実施形態は、ビデオ圧縮の分野におけるものであり、及びビデオの圧縮及びビデオのエンコーディング及びデコーディングに関する。

【0015】

多用途ビデオコーディング（ＶＶＣ）試験モデル４．０（ＶＴＭ）は、サブパーティションを有するイントラ予測（ＩＳＰ：Intra Prediction with Sub-partitioning）をサポートしており、この場合に、ターゲットブロックは、水平方向又は垂直方向サブパーティション化の選択肢を伴ってエンコーディングされている。それぞれのサブパーティションの予測は、ターゲットコーディングユニットのものと同一の予測方向を使用している。サブパーティション予測は、親コーディングユニットとは独立したそれぞれのサブパーティションのアスペクト比に対して適合された広角度予測を利用することにより、改善することができる。第２に、サブパーティションの予測は、以前のサブパーティション内のデコーディング済みのピクセルを基準サンプルとして使用している。この結果、サブパーティションの最上位右又は最下位左基準サンプルが利用不能となる場合がある。これらのサンプルを必要とする方向に沿った予測を改善するべく、親ＣＵの基準サンプルを使用することができる。

【0016】

多用途ビデオコーディング（ＶＶＣ）試験モデル（ＶＴＭ）において、イントラ予測における任意のターゲットブロックは、６７個の予測モードの１つを有することができる。ＨＥＶＣと同様に、１つがＰＬＡＮＡＲモードであり、１つがＤＣモードであり、及び残りの６５が方向性モードである。６５個の方向性モードは、９５個の方向から選択されており、これは、ターゲットが正方形である場合には、４５°～－１３５°に跨る６５個の通常角度を含み、及びブロックが矩形である際には、潜在的に、２８個の広角度方向を含む。ＶＴＭは、６つの予測モードから構成される最確モード（ＭＰＭ：Most Probable Mode）セットを使用してブロックの予測モードをエンコーディングしている。予測モードがＭＰＭセットに属していない場合には、これは、５又は６ビットによる切り捨て型のバイナリエンコーディングが実行されている。

【0017】

ビデオ圧縮におけるイントラ予測は、原因隣接ブロック、即ち、既にデコーディング済みの同一フレーム内の隣接ブロック、からの情報を使用したピクセルのブロックの空間予測を意味している。これは、強力なコーディングツールであり、その理由は、これが、相対的に良好な時間予測が存在していない際には常に、ＩＮＴＲＡフレームにおいてみならず、ＩＮＴＥＲフレームにおいても、高圧縮効率を許容しているからである。従って、イントラ予測は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ、などを含むすべてのビデオ圧縮規格において、コアコーディングツールとして含まれている。以下においては、説明を目的として、本発明者らは、多用途ビデオコーディング（ＶＶＣ）ソフトウェア試験モデル（ＶＴＭ）におけるイントラ予測を参照することとする。

【0018】

ＶＴＭにおいて、ビデオシーケンスのフレームのエンコーディングは、クアッド－ツリー（ＱＴ：Quad-Tree）／マルチタイプツリー（ＭＴＴ：Multi-Type Tree）ブロック構造に基づいている。フレームは、オーバーラップしていない正方形のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）に分割されており、これらは、そのすべてが、レート－歪基準に基づいて複数のコーディングユニット（ＣＵ：Coding Unit）へのＱＴ／ＭＴＴに基づいたスプリッティングを経験している。相対的に容易な参照を目的として、本発明者らは、用語「ＣＵ」及び「ブロック」を本明細書の全体を通じて相互交換可能に使用することとする。

【0019】

イントラ予測において、ＣＵは、原因隣接ＣＵ、即ち、最上位及び左におけるＣＵ、から空間的に予測されている。これを目的として、ＶＴＭは、予測モードと呼称される単純な空間モデルを使用している。基準ピクセルと呼称される最上位及び左ＣＵにおけるデコーディング済みのピクセル値に基づいて、エンコーダは、ターゲットブロックの異なる予測を構築し、及び最良のＲＤ性能をもたらすものを選択している。９５個の定義されたモードのうち、１つは、（モード０とインデックス付けされる）ＰＬＡＮＡＲモードであり、１つは、（モード１とインデックス付けされる）ＤＣモードであり、及び（モード－１４．．．－１、２．．．８０とインデックス付けされる）残りの９３個は、角度モードである。９３個の角度モードのうち、６５個の隣接モードのみが、その形状に応じて任意のターゲットＣＵのために選択されている。角度モードは、フレーム内のオブジェクトの方向性構造をモデル化することを狙いとしている。従って、ターゲットＣＵを充填するべく、最上位及び左ＣＵ内のデコーディング済みのピクセル値が、定義された方向に沿って単純に反復されている。いくつかの予測モードは、最上位及び左基準境界に沿った不連続性をもたらす可能性があり、従って、これらの予測モードは、位置依存性イントラ予測組合せ（ＰＤＰＣ：Position Dependent Intra Prediction Combination）と呼称されるその後の後処理を含むことが可能であり、これは、その境界に沿ってピクセル値をスムージングすることを狙いとしている。

【0020】

ＶＴＭにおけるイントラ予測プロセスは、（１）基準サンプル生成、（２）イントラサンプル予測、及び（３）予測されたサンプルの後処理という３つのステップから構成されている。基準サンプル生成プロセスは、ＶＴＭにおけるイントラ予測用の基準サンプルを示す図１に示されている。Ｈ及びＷは、それぞれ、現時点のブロックの高さ及び幅を表している。サイズＨ×ＷのＣＵの場合には、最上位における２Ｗデコーディングされたサンプルの行が、現時点のＣＵの予め再構築された最上位及び最上位右ピクセルから形成されている。同様に、左における２Ｈサンプルの列が、再構築された左及び下方左ピクセルから形成されている。また、最上位左位置におけるコーナーピクセルが、最上位行と左列基準の間のギャップを充填するべく使用されている。最上位又は左におけるサンプルのいくつかが利用不能である場合には、対応するＣＵが同一のスライス内に存在していない又は現時点のＣＵがフレーム境界に位置していることに起因して、或いは、なんらかのその他の理由から、基準サンプル置換と呼称される方法を実行することができる。

【0021】

また、ＶＴＭは、複数の基準ライン（ＭＲＬ：Multiple Reference Line）を有するイントラ予測をもサポートしている。概念は、図２に示されているように基準ラインのいくつかの組に基づいた予測を実施し、次いで、最良のレート－歪性能を付与する基準ラインを選択するというものである。使用される基準ラインは、可変長コードによってデコーダにシグナリングされている。

【0022】

イントラサンプル予測である次のステップは、基準サンプルに基づいてターゲットＣＵのピクセルを予測することから構成されている。上述のように、異なる種類のコンテンツを効率的に予測するべく、ＶＴＭは、一連の予測モデルをサポートしている。滑らかな及び徐々に変化する領域を予測するべく、ＰＬＡＮＡＲ及びＤＣ予測モードが使用される一方で、異なる方向性構造をキャプチャするべく、角度予測モードが使用されている。ＶＴＭは、－１４～－１及び２～８０とインデックス付けされた９５個の方向性予測モードをサポートしている。正方形ＣＵの場合には、予測モード２～６６のみが使用される。これらの予測モードは、図３に示されているように、時計回りの方向において４５度～－１３５度の異なる予測方向に対応しており、これらは、正方形ターゲットブロックの場合のＶＴＭにおけるイントラ予測方向を示している。また、一般に、拡張された予測方向と共に、非正方形ブロックを使用することもできるが、この図は、正方形ブロックを示している。数値は、対応する方向と関連する予測モードインデックスを表記している。モード２～３３は、水平方向予測を示し、モード３４～６６は、垂直方向予測を示している。

【0023】

－１４～－１のインデックス及び６７～８０のインデックスを有するモードは、異なる形状の矩形ブロックのために使用される広角度モードである。モード－１４～－１は、モード２を超えて（角度４５度を超えて）定義されており、背の高い矩形ブロック（幅超の高さを有するブロック）の場合に使用される。同様に、モード６７～８０は、モード６６を超えて（角度－１３５度を超えて）定義されており、及びフラットな矩形ブロック（高さ超の幅を有するブロック）の場合に使用される。矩形ブロックに使用される広角度モードの数は、ブロックのアスペクト比に依存している。いずれのケースにおいても、任意のブロックに使用される角度モードの合計数は、６５であり、モードは、方向において常に連続している。

【0024】

本明細書において記述されている一般的な態様は、サブパーティションを伴うイントラ予測における予測効率の改善を狙いとしている。第１に、これは、親コーディングユニットの広角度モードではなく、その独自の広角度モードを利用してそれぞれのサブパーティションを予測することを提案している。また、第２に、これは、それらのサンプルが利用不能である際に、サブパーティションの予測のために親ＣＵの基準サンプルを利用することをも提案している。これら２つの提案は、コーディング性能を改善するべく、現時点のＶＴＭコード内において内蔵することができる。これらの変更を内蔵するべく追加される複雑さ及びメモリ要件は、ある程度のコーディング利得の潜在性を伴って最小限のものである。

【0025】

多用途ビデオコーディング（ＶＶＣ）試験モデル（ＶＴＭ）において、ビデオシーケンスのフレームのエンコーディングは、クアッド－ツリー（ＱＴ）／マルチタイプツリー（ＭＴＴ）ブロック構造に基づいている。フレームは、オーバーラップしていない正方形コーディングツリーユニット（ＣＴＵ）に分割され、これらは、そのすべてが、レート－歪基準に基づいた複数のコーディングユニット（ＣＵ）に対するＱＴ／ＭＴＴに基づいたスプリッティングを経験している。イントラ予測において、ＣＵは、原因隣接ＣＵ、即ち、最上位及び左のＣＵ、から空間的に予測されている。これを目的として、ＶＴＭは、予測モードと呼称される単純な空間モデルを使用している。基準ピクセルと呼称される最上位及び左ＣＵ内のデコーディング済みのピクセル値に基づいて、エンコーダは、ターゲットブロック用の異なる予測を構築し、及び最良のＲＤ性能をもたらすものを選択している。

【0026】

ＶＴＭ４．０において、ターゲットブロックは、ＣＵ全体のイントラ予測とＣＵのサブパーティションを伴うイントラ予測（ＩＳＰ）の間において選択するという選択肢を有する。後者の予測においては、ターゲットＣＵは、２つ又は４つの等しいサイズのサブパーティションに分割されており、これらは、１つの予測モードにより、順番にデコーディングされる。即ち、それぞれのサブパーティションは、独立的にデコーディングされている。従って、サブパーティションは、隣接サブパーティションからのデコーディング済みのサンプルの利用可能性から受益することが可能であり、これらは、現時点のサブパーティションの直接的な隣接部分である。そして、これにより予測が向上し、従って圧縮効率が向上する。

【0027】

また、ＶＴＭ４．０は、矩形ＣＵの広角度予測方向の使用を許容する広角度イントラ予測（ＷＡＩＰ：Wide Angle Intra Prediction）をもサポートしている。ターゲットブロックのアスペクト比に応じて、いくつかの通常予測方向が、対応する広角度方向によって置換されている。また、予測方向は、定義された予測方向がブロックの二次対角線上においてアライメントされるように、異なる矩形ブロック形状に対して適切に適合されるべく、変更されている。事実上、方法は、通常角度の代わりに広角度を使用することにより、相対的に高い圧縮効率をもたらす相対的に良好な予測を提供することを狙いとしている。

【0028】

ＶＴＭ４．０においては、ＩＳＰをＷＡＩＰと組み合わせることは簡単である。ＩＳＰ内のそれぞれのサブパーティションごとに、予測方向は、親ＣＵの予測方向と同一である。但し、これは必須ではない。サブパーティションは、独立的にデコーディングされることから、ＷＡＩＰにより、それぞれのサブパーティションの予測方向を独立的に決定することができる。第２に、第１サブパーティションを除いて、残りのサブパーティションは、以前のサブパーティションからのデコーディング済みのピクセルを予測用の基準サンプルとして使用している。これは、いくつかの基準サンプルが予測方向に応じて利用不能となりうるという望ましくない結果をもたらす。この状況は、親ＣＵからの基準サンプルを使用することにより、軽減することができる。提案されているモードについて説明する前に、本発明者らは、以下において、ＶＴＭ４．０におけるＩＳＰ及びＷＡＩＰについて簡潔に提示する。参照の容易性を目的として、本発明者らは、本明細書全体を通じて、「ＣＵ」及び「ブロック」という用語を相互交換可能に使用することする。

【0029】

ＶＴＭ４．０におけるＩＳＰツールは、ブロックサイズに応じて、ルマイントラ予測されたブロックを２つ又は４つのサブパーティションに垂直方向又は水平方向において分割している。サブパーティションは、少なくとも１６個のサンプルを有していなければならない。従って、サイズ４×４のブロックは、サブパーティションに分割されない一方で、サイズ４×８及び８×４のブロックは、２つのパーティションのみを有する。すべてのその他のサイズのブロックは、４つのサブパーティションのみを有する。サブパーティションは、水平方向又は垂直方向でありうる。サイズ４×８のブロックは、それぞれ、サイズ４×４の２つの垂直方向パーティションのみを有しうる一方で、サイズ８×４のブロックは、それぞれ、サイズ４×４の２つの水平方向パーティションのみを有することができる。同様に、別の例として、サイズ４×１６のブロックは、それぞれ、サイズ４×４の４つの垂直方向サブパーティションを有することが可能であり、或いは、それぞれサイズ１×１６の４つの水平方向サブパーティションを有することができる。図４及び図５は、２つの可能性の例を示している。

【0030】

【表1】

【0031】

これらのサブパーティションのそれぞれごとに、予測が、親ＣＵのデコーディング済みの予測モードを使用して構築されている。この予測信号は、サブパーティション内においてピクセルを再構築するべく、エンコーダによって送信された係数をエントロピーデコーディングし次いでこれらを逆量子化及び逆変換することによって生成されたデコーディング済みの残差信号に加えられている。第１サブパーティションを除いて、それぞれのサブパーティションの再構築された値が、次のものの予測を生成するべく利用可能となる。

【0032】

サブパーティションは、利用されているイントラモード及びスプリットとは無関係に、通常の順序において処理されており、即ち、処理されるべき第１サブパーティションは、ＣＵの最上位左サンプルを含むものであり、次いで、下方に（水平方向スプリット）又は右に（垂直方向スプリット）連続的に継続している。

【0033】

また、ＶＴＭ４．０は、複数の基準ライン（ＭＲＬ）を有するイントラ予測をもサポートしている。ターゲットブロックは、最良のレート－歪性能を付与するものを使用するべく、第１、第２、及び第４基準ラインのうちから選択することができる。選択された基準ラインは、それぞれ、第１基準ライン又は第２及び第４基準ラインの間を通知するべく、１ビット（０）又は２ビット（１０又は１１）のフラグによってシグナリングされている。ＶＴＭ４．０において、ＩＳＰは、第１基準ラインを利用するブロックにのみ適用されている。従って、ブロックが、０ではないＭＲＬインデックスを有する場合には、ＩＳＰコーディングモードは、０であるものと推定されることになり、従って、これは、デコーダに送信されなくなる。

【0034】

ＩＳＰ法は、ＭＰＭリストの一部分であるイントラモードによって試験されており、これは、６７個の予測モードのうちの６つの個別トモードから構成されている。ＩＳＰによって試験された任意のブロックについて、ＭＰＭリストが、ＤＣモードを排除するように及び水平方向スプリット用の水平方向イントラモード及び垂直方向スプリット用の垂直方向イントラモードを優先するように変更されている。

【0035】

広角度予測の背後の基本的な概念は、予測モードの合計数を同一に維持しつつ、ブロック形状に従って予測方向を適合させるというものである。これは、ブロックの相対的に大きな側においていくつかの予測方向を追加し、及び相対的に短い側において予測方向を低減することにより、実行されている。全体的な狙いは、予測精度を改善して相対的に高い圧縮効率をもたらすというものである。新たに導入された方向は、４５度から－１３５度の角度までの１８０度という通常の範囲を超えていることから、これらは、広角度方向と呼称される。

【0036】

ターゲットブロックが正方形である際には、広角度は、果たすべき役目を有しておらず、その理由は、ブロックの定義されたモードが不変の状態に留まっているからである。ターゲットブロックがフラットである、即ち、その幅Ｗがその高さＨを上回っている、際には、４５度に近接したいくつかのモードが除去され、－１３５度超の等しい数の広角度モードが追加されている。追加された方向は、予測モード６７、６８、．．．などとしてインデックス付けされる。同様に、ターゲットブロックの背が高い際には、－１３５度に近接したいくつかのモードが除去され、４５度超の等しい数の広角度モードが追加されている。予測モード０及び１は、ＰＬＡＮＡＲ及びＤＣ予測のために予約されていることから、追加された方向は、－１、－２、．．．などとしてインデックス付けされている。

【0037】

二次対角線の方向は、ブロックの形状に依存していることから、利用される広角度の合計数は、ブロックの形状に依存している。表２は、異なるブロック形状において広角度モードによって置換される通常モードの数を示している。

【0038】

【表2】

【0039】

任意のターゲットブロックの場合に、置換された通常モードから広角度モードへのマッピングは、以下のように実行されている。
modeShift[5] = {0, 6, 10, 12, 14};
ratio = Abs(Log2(W/H))
if W > H and 1 < predMode < 2 + modeShift[ratio]
predMode = predMode + 65;
else if H > W and (66 - modeShift[ratio]) < predMode <= 66
predMode = predMode - 67;

【0040】

ＩＳＰの場合には、通常モードから広角度モードへのマッピングは、サブパーティションの高さ及び幅ではなく、親ＣＵの高さ及び幅を使用して実行されている。新しいモードが広角度モードであるのか又は通常モードであるのかとは無関係に、同一のモードが、それぞれのサブパーティションにおける予測のために使用されている。図７には、これが例によって示されている。

【0041】

以上において示されているように、ＷＡＩＰを伴うＩＳＰに対する現時点の方式は、親ＣＵのアスペクト比から予測角度を判定し及びこれをそれぞれのサブパーティションにおける予測のために使用するというものである。サブパーティションが、順番に、但し、独立的に、処理されていることから、この制約は、必ずしも拘束的なものではない。個々のサブパーティション処理から結果的にもたらされる第２の問題は、いくつかの基準サンプルの利用不能性であり、これは、特定の方向において予測に影響しうる。本発明者らは、以下において、これらの問題に対する２つの解決策を提供する。

【0042】

一般性を目的として、以下において、本発明者らは、幅Ｗ及び高さＨを有する矩形ブロックを仮定することとする。正方形ターゲットブロックは、Ｗ＝Ｈを有する特別なケースである。

【0043】

イントラサブパーティション用のＷＡＩＰ
ＩＳＰを伴うブロックの場合に、現時点のＶＴＭコード（ＶＴＭ４．０）は、通常の順序において、それぞれのサブパーティションを個々に処理している。予測プロセスにおいて、予測ツールは、まず、パーティションの最上位におけるサンプルの１つの基準アレイを生成し及び左におけるサンプルの１つの基準アレイを生成している。ＩＳＰスプリットが水平方向である場合には、最上位における基準アレイは、以前のサブパーティションの最後の行内のデコーディング済みのサンプルを使用して構築されている。同様に、ＩＳＰスプリットが垂直方向である場合には、左における基準アレイは、以前のサブパーティションの最後の列内のデコーディング済みのサンプルを使用して構築されている。図８には、これが示されている。

【0044】

現時点のＶＴＭコードは、親ＣＵに必要とされているものから、それぞれのパーティションごとに基準アレイのサイズを判定している。本発明者らは、サブパーティションの寸法から予測方向を判定することを提案している。実装における利点として、本発明者らは、パーティションの寸法からパーティションの基準アレイの長さを判定することをも提案している。

【0045】

Ｗ_ｐ及びＨ_ｐがそれぞれのパーティションの幅及び高さを表記しているとしよう。この結果、最上位及び左における基準アレイの長さは、最上位－左ピクセルを排除することにより、それぞれ、２＊Ｗ_ｐ及び２＊Ｈ_ｐとして判定される。

【0046】

任意のサブパーティションの場合に、図９に示されているように、通常モードから広角度モードへのマッピングは、以下のように実行されている。
modeShift[5] = {0, 6, 10, 12, 14};
whRatio = Abs(Log2(Wp/Hp))
if Wp > Hp and 1 < predMode < 2 + modeShift[whRatio]
predMode = predMode + 65;
else if Hp > Wp and (66 - modeShift[whRatio]) < predMode <= 66
predMode = predMode - 67;

【0047】

上述のマッピングは、サブパーティションのアスペクト比が表２において付与されている有効な範囲内にある限り、有効である。Ｗｐ／Ｈｐ＞１６又はＷｐ／Ｈｐ＜１／１６である場合には、本発明者らは、ＶＴＭにおいて実行されているように、広角度導出のために親ＣＵ寸法を使用することを提案する。

【0048】

上述の方法の単純な一変形において、サブパーティションが正方形の形状を有する場合には、即ち、Ｗｐ＝Ｈｐである場合には、通常の予測モードが適用され、さもなければ、広角度が、ＣＵの寸法を使用して取得される。この単純化は、正方形のサブパーティションに対する（親矩形ＣＵから導出された）広角度予測モードの使用を回避することになる。換言すれば、広角度は、サブパーティションが正方形である場合にのみサブパーティション寸法から導出され、その他の場合には、これらは、ＣＵ寸法から導出されている。正方形形状の場合には、広角度が存在していないことから、これは、正方形サブパーティションの場合には広角度導出を有しておらず及び矩形サブパーティションの場合には広角度導出を保全することと等価である。また、これは、以下の実施形態１においても提示されている。

【0049】

ＩＳＰにおけるすべてのサブパーティションは、等しい寸法を有していることから、１つのサブパーティションについて演算された広角度モードは、すべてのサブパーティションについて同一である。

【0050】

消失基準サンプルの置換
ＩＳＰに対する第２の改善は、親ＣＵの最上位又は左からの基準サンプルを使用するという点にある。ここでは、サブパーティションがＶＴＭ４．０と同様に通常の順序において処理されるものと仮定しよう。水平方向スプリットの場合に、サブパーティション２以上の最上位基準サンプルは、以前のサブパーティションからのデコーディング済みのピクセルを使用している。以前のパーティションは、親ＣＵと同一の幅を有していることから、最上位右基準サンプルは、単に利用不能である。現時点のＶＴＭコーデックは、このケースにおいては、パディングを使用することになり、この場合には、利用可能である最後の基準ピクセルが、長さＷの最上位－右部分を通じて反復されることになる。図１０には、これが、２つのサブパーティションのケースについて示されている。同様のケースは、最下位左基準サンプルがサブパーティション２以降において消失することになる垂直方向スプリットにおいても当て嵌まる。このケースにおいて、現時点のＶＴＭコーデックは、パディングを使用することになり、この場合には、利用可能である最後の基準ピクセルが、長さＨの最下位－左部分を通じて反復されることになる。

【0051】

これらの消失基準サンプルは、２つのサブパーティションへの水平方向スプリットについて図１１に示されているように、親ＣＵの最上位基準から置換することができる。即ち、消失サンプルは、予測方向を踏襲して、対応する親ＣＵの基準アレイからマッピングされている。置換プロセスの後においても、いくつかの基準サンプルが依然として消失している場合には、通常のパディングプロセスを適用することが可能であり、この場合には、最後の基準サンプルが、基準アレイを充填するべく反復されることになる。

【0052】

予測方向を踏襲して対応する親ＣＵの基準アレイからマッピングされた消失サンプルは、予測と同一の補間プロセス（線形、４－タップ．．．）を使用することができる。また、複雑さを低減するべく、最も近い隣接部分を使用することもできる（補間なし）。最後のケースにおいては、これは、予測角度に対応するピクセルの数だけ基準サンプルをシフトさせることに対応している。

【0053】

この基準サンプル置換のプロセスは、ピクセルが親ＣＵの最上位基準から複写されている位置において強度不連続性を生成しうるという望ましくない結果を有する。この結果を軽減するべく、単純な低域通過フィルタを使用することができる。例えば、本発明者らは、３－タップフィルタ［１ ２ １］／４を使用することができる。

【0054】

図８においては、最上位基準上のマッピングされたサンプルが、予測方向に沿って配置されている。別の方法は、ＣＵのすべての最上位右基準サンプルを第２又はこれ以降のサブパーティションの最上位右基準サンプル上に複写し、この後に、不連続性を軽減するべく最上位コーナーにおいて低域通過フィルタリングを実行するというものである。図１２には、これが示されている。

【0055】

この置換プロセスは、以前の節におけるＷＡＩＰ変更が適用されるかどうかとは無関係である。これは、それぞれのサブパーティションごとのＷＡＩＰ変更を伴うことなしに適用することが可能であり、或いは、これと共に適用することもできる。

【0056】

以下においては、本発明者らは、ＩＳＰ及びＷＡＩＰが適用されている任意の一般的なビデオコーデックを仮定している。ＶＴＭコーデックは、このようなコーデックの一例である。

【0057】

実施形態１：この実施形態において、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、サブパーティションが正方形形状を有していない限り、親ＣＵの寸法を使用して広角度を判定している。サブパーティションが正方形形状を有している場合には、広角度へのマッピングを伴うことなしに、通常の予測モードがこれらに適用されている。すべてのその他のコーデックパラメータは、ＶＴＭ４におけると同様に、不変の状態に留まっている。

【0058】

実施形態２：この実施形態においては、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、ＶＴＭ４におけると同様に、親ＣＵの寸法を使用して広角度を判定している。但し、第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準アレイから最上位右（最下位左）の消失基準サンプルを置換している。最上位（左）基準アレイ上の基準サンプルは、図１１におけると同様に、予測方向に沿って配置されている。すべてのその他のコーデックパラメータは、ＶＴＭ４におけると同様に、不変の状態に留まっている。

【0059】

実施形態３：この実施形態においては、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、ＶＴＭ４におけると同様に、親ＣＵの寸法を使用して広角度を判定している。但し、第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準アレイから最上位右（最下位左）の消失基準サンプルを置換している。最上位（左）基準アレイ上の基準サンプルは、図１２におけると同様に、第２サブパーティション以降の場合に基準アレイの最上位－右（最下位左）部分上に直接的に複写されている。すべてのその他のコーデックパラメータは、ＶＴＭ４．０におけると同様に、不変の状態に留まっている。

【0060】

実施形態４：この実施形態においては、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、サブパーティションが正方形形状を有していない限り、親ＣＵの寸法を使用して広角度を判定している。サブパーティションが正方形形状を有している場合には、広角度へのマッピングを伴うことなしに、通常の予測モードがこれらに対して適用されている。これに加えて、第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準アレイから最上位右（最下位左）の消失基準サンプルを置換している。基準サンプルマッピングは、実施形態２又は実施形態３におけると同様に実行されている。すべてのその他のコーデックパラメータは、ＶＴＭ４．０におけると同様に、不変の状態に留まっている。

【0061】

実施形態５：この実施形態においては、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、親ＣＵの寸法ではなく、サブパーティションの寸法を使用して広角度を判定している。サブパーティションの幅対長さ比率（Ｗｐ／Ｈｐ）が１６超であるか又は１／１６未満である場合には、本発明者らは、広角度を演算するべく親ＣＵのＷ／Ｈ比率を使用することになり、これをすべてのサブパーティションに使用することになる。これに加えて、第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準アレイから最上位右（最下位左）の消失基準サンプルを置換している。最上位（左）基準アレイ上の基準サンプルは、図１１におけると同様に、予測方向に沿って配置されている。すべてのその他のコーデックパラメータは、ＶＴＭ４．０におけると同様に、不変の状態に留まっている。予測ステップをスピードアップするべく、基準アレイは、親ＣＵの寸法の２倍ではなく、その寸法の２倍だけ、サブパーティションについて使用することができる。ＣＵ寸法を使用する際には、オリジナルの基準アレイ長を保全することができる。

【0062】

実施形態６：この実施形態において、ターゲットブロックがＩＳＰにおいてスプリッティングされている場合には、任意の予測モードにおいて、本発明者らは、親ＣＵの寸法ではなく、サブパーティションの寸法を使用して広角度を判定している。サブパーティションの幅対高さ比率（Ｗｐ／Ｈｐ）が１６超であるか又は１／１６未満である場合には、本発明者らは、広角度を演算するべく親ＣＵのＷ／Ｈ比率を使用することになり、これをすべてのサブパーティションについて使用することになる。これに加えて、第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準から最上位右（最下位左）の消失基準サンプルを置換している。最上位（左）基準アレイ上の基準サンプルは、図１２におけると同様に、第２サブパーティション以降の場合に基準アレイの最上位右（最下位左）部分上に直接的に複写されている。すべてのその他のコーデックパラメータは、ＶＴＭ４．０におけると同様に、不変の状態に留まっている。予測ステップをスピードアップするべく、基準アレイは、親ＣＵの寸法の２倍ではなく、その寸法の２倍だけ、サブパーティションについて使用することができる。ＣＵ寸法を使用する際には、オリジナルの基準アレイ長さを保全することができる。

【0063】

実施形態７：ＶＴＭ４．０は、それぞれのサブパーティションが１６個のピクセルという最小値を有していなければならないという条件の下に、２又は４個のサブパーティションを有するＩＳＰを使用している。本実施形態において、本発明者らは、これらの制約を緩和し、それぞれのサブパーティションが、少なくとも単一の行又は単一の列でありうるという条件の下に、ＩＳＰをすべてのブロック形状に適用している。また、ＣＵサイズに応じて、ＣＵ内のサブパーティションの数も、８又は１６又は３２などのように、更に大きくなりうる。すべてのサブパーティションは、水平方向又は垂直方向スプリットとは無関係に、形状において同一となるように制約されている。サブパーティションの幅対高さ比率（Ｗｐ／Ｈｐ）が１６超であるか又は１／１６未満である場合には、本発明者らは、広角度を演算するべく親ＣＵのＷ／Ｈ比率を使用することになり、これをすべてのサブパーティションについて使用することになる。第２サブパーティション以降から、本発明者らは、水平方向（垂直方向）スプリットの場合に親ＣＵの最上位（左）基準から最上位右（最下位左）の消失基準サンプルを置換している。消失サンプルのマッピングは、実施形態２又は実施形態３におけると同様に実行されている。

【0064】

実施形態８：この実施形態においては、本発明者らは、すべてのサブパーティションが同一の形状を有していなければならないという制約を緩和している。サブパーティションは、等しくない形状を有しうるが、２の累乗としての高さ及び幅を有するべく制約されている。従って、サブパーティションの数は、実施形態１～７におけると同様に２の累乗である必要はない。例えば、８×８ブロックは、サイズ４×８、２×８、及び２×８という３つのパーティションにスプリッティングすることができる。相応して、実施形態１～７の任意のものを変更することができる。

【0065】

実施形態９：ＶＴＭ４．０は、ＭＲＬを使用していないブロックに対してＩＳＰを使用している。この実施形態においては、本発明者らは、この制約を緩和している。一般的なケースにおいて、ＩＳＰは、ＣＵが複数の基準ラインを使用している場合にも適用することができる。一変形において、スプリットが水平方向であり及び予測方向が垂直方向である場合には、或いは、スプリットが垂直方向であり及び予測方向が水平方向である場合には、第１サブパーティションのみがＭＲＬを使用しうる。別の変形においては、すべてのサブパーティションは、スプリットタイプ及び予測方向とは無関係にＭＲＬを使用することができる。すべてのこれらの変形において、本発明者らは、サブパーティションの広角度を演算するべく及び／又は第２サブパーティション以降から消失基準サンプルをマッピングするべく、実施形態１～８の任意のものを使用することができる。

【0066】

実施形態１０：ＶＴＭ４．０は、ルマコンポーネントに対してのみＩＳＰを使用している。この実施形態において、本発明者らは、この制約を緩和しており、実施形態１～９の任意のものをルマ及びクロマコンポーネントの両方に適用している。

【0067】

ＶＴＭ４．０基準ソフトウェアにおける変更を内蔵することにより、提案されているＩＳＰを有する広角度モード導出を実施形態１におけると同様に実装した。全イントラ（ＡＩ：All-Intra）構成の下に、ＪＶＥＴ試験シーケンスからの１つのフレームにより、試験を実行した。表３には、ＶＴＭ４．０アンカー結果との関係における試験された方法のＢＤレート性能が示されている。なんらの追加のエンコーダ又はデコーダの複雑さを伴うことなしに、ルマＢＤレートが０．０４％だけ改善していることを観察されたい。クラスＣ及びクラスＥシーケンスにおける利得は、ルマの場合に０．１１％であり、注目に値する。

【0068】

【表3】

【0069】

本明細書において記述されている一般的な態様は、広角度導出を変更することにより及び親ＣＵの基準サンプルからのものによっていくつかのサブパーティション用の消失基準サンプルを置換することにより、ＩＳＰにおけるイントラ予測効率を改善することを狙いとしている。利点の１つは、大きな更なる複雑さを伴うことのない相対的に高い圧縮効率である。

【0070】

図１３には、本明細書において記述されている一般的な態様を使用してビデオデータのブロックをエンコーディングする方法１３００の一実施形態が示されている。方法は、開始ブロック１３０１において開始しており、制御は、サブパーティションの寸法の比率が特定の範囲内にある際にはサブパーティションの寸法に基づいて、及びサブパーティションの寸法の比率が特定の範囲外にある際にはビデオブロックの寸法に基づいて、ビデオブロックの矩形サブパーティションのイントラ予測方向を判定する機能ブロック１３１０に進んでいる。次いで、制御は、ブロック１３１０から、ビデオブロックの上方右又は下方左からの基準サンプルをビデオブロックのサブパーティションの予測のための上方右又は下方左基準サンプルとしてマッピングするブロック１３２０に進んでいる。制御は、ブロック１３２０から、ビデオブロックの上方の行からの基準サンプル又はビデオブロックの左の列からの基準サンプルを使用して矩形サブパーティションのサンプルを予測するブロック１３３０に進んでおり、この場合に、ビデオブロックの上方の行又はビデオブロックの左の列内の基準サンプルの数は、矩形サブパーティションの寸法に基づいて判定されている。制御は、ブロック１３３０から、イントラコーディングモードにおいて予測を使用してビデオブロックをエンコーディングするブロック１３４０に進んでいる。

【0071】

図１４には、本明細書において記述されている一般的態様を使用してビデオデータのブロックをデコーディングする方法１４００の一実施形態が示されている。方法は、開始ブロック１４０１において始まっており、及び制御は、サブパーティションの寸法の比率が特定の範囲内にある際にはサブパーティションの寸法に基づいて、及びサブパーティションの寸法の比率が特定の範囲外にある際にはビデオブロックの寸法に基づいて、ビデオブロックの矩形サブパーティションのイントラ予測方向を判定する機能ブロック１４１０に進んでいる。次いで、制御は、ブロック１４１０から、ビデオブロックの上方右又は下方左からの基準サンプルをビデオブロックのサブパーティションの予測のための上方右又は下方左基準サンプルとしてマッピングするブロック１４２０に進んでいる。制御は、ブロック１４２０から、ビデオブロックの上方の行からの基準サンプル又はビデオブロックの左の列からの基準サンプルを使用して矩形サブパーティションのサンプルを予測するブロック１４３０に進んでおり、この場合に、ビデオブロックの上方の行又はビデオブロックの左の列内の基準サンプルの数は、矩形サブパーティションの寸法に基づいて判定されている。制御は、ブロック１４３０から、イントラコーディングモードにおける予測を使用してビデオブロックをエンコーディングするブロック１４４０に進んでいる。

【0072】

図１５は、ビデオデータのブロックをエンコーディング又はデコーディングする装置１５００の一実施形態を示している。装置は、プロセッサ１５１０を有しており、少なくとも１つのポートを通じてメモリ１５２０に相互接続することができる。また、プロセッサ１５１０及びメモリ１５２０の両方は、外部接続に対する１つ又は複数の更なる相互接続を有することもできる。

【0073】

プロセッサ１５１０は、サブパーティションを伴うイントラ予測モードを使用することにより、サブパーティションを有するイントラ予測モードを使用してビデオデータのブロックをエンコーディング又はデコーディングすることにより、ビデオデータをエンコーディング又はデコーディングするように構成されている。

【0074】

記述されている一般的な態様は、サブパーティションを有するイントラ予測及びこれらのモードに必要とされる必要な変更を通じてイントラ予測効率を改善することを狙いとしている。利点は、多くの更なる複雑さを伴うことのない相対的に高い圧縮効率である。

【0075】

本出願は、ツール、特徴、実施形態、モデル、方式、などを含む様々な態様について記述している。これらの態様の多くは、専門性を伴って記述されており、個々の特性を少なくとも示すべく、しばしば、限定のように解釈されうる方式によって記述されている。但し、これは、説明におけるわかりやすさを目的としたものであり、その態様の適用又は範囲を限定するものではない。実際に、更なる態様を提供するべく、異なる態様のすべてを組み合わせることが可能であり及び相互交換することができる。更には、態様は、同様に、先行する出願において記述されている態様と組み合わせることも可能であり及び相互交換することもできる。

【0076】

本出願において記述及び想定されている態様は、多くの異なる形態において実装することができる。図１６、図１７、及び図１８は、いくつかの実施形態を提供しているが、その他の実施形態も想定されており、図１６、図１７、及び図１８の説明は、実装形態の幅を限定するものではない。態様の少なくとも１つは、一般に、ビデオエンコーディング及びデコーディングに関し、少なくとも１つのその他の態様は、一般に、生成又はエンコーディングされたビットストリームの送信に関する。これらの及びその他の態様は、方法、装置、記述されている方法の任意のものに従ってビデオデータをエンコーディング又はデコーディングするための命令をその上部において保存したコンピュータ可読ストレージ媒体、及び／又は、記述されている方法の任意のものに従って生成されたビットストリームをその上部において保存したコンピュータ可読ストレージ媒体として実装することができる。

【0077】

本出願において、「再構築される（reconstructed）」及び「デコーディングされる（decoded）」という用語は、相互交換可能に使用されてもよく、「ピクセル」及び「サンプル」という用語は、相互交換可能に使用されてもよく、「画像」、「ピクチャ」、及び「フレーム」という用語は、相互交換可能に使用されてもよい。通常は、但し、必須ではないが、「再構築される」という用語は、エンコーダ側において使用されている一方で、「デコーディングされる」は、デコーダ側において使用されている。

【0078】

様々な方法が本明細書において記述されており、方法のそれぞれは、記述されている方法を実現するための１つ又は複数のステップ又はアクションを有する。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされていない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、変更されてもよく或いは組み合わせられてもよい。

【0079】

本出願において記述されている様々な方法及びその他の態様は、例えば、図１６、図１７、及び図１８に示されているビデオエンコーダ１００及びデコーダ２００のイントラ予測、エントロピーコーディング、及び／又はデコーディングモジュール（１６０、３６０、１４５、３３０）などのモジュールを変更するべく使用される。更には、本態様は、ＶＶＣ又はＨＥＶＣに限定されるものではなく、例えば、既存のものであるのか又は将来開発されるものであるのかを問わず、その他の規格及び推奨並びに任意のそのような規格及び推奨（ＶＶＣ及びＨＥＶＣを含む）の拡張版に適用することができる。そうではない旨が示されていない限り或いは技術的に排除されていない限り、本出願において記述されている態様は、個々に又は組合せにおいて使用することができる。

【0080】

本出願においては、様々な数値が使用されている。特定の値は、例えば、目的であり、記述されている態様は、これらの特定の値に限定されるものではない。

【0081】

図１６は、エンコーダ１００を示している。このエンコーダ１００の変形が想定されるが、すべての予想される変形を記述することなしに、わかりやすさを目的として、以下、このエンコーダ１００について説明する。

【0082】

エンコーディングされる前に、ビデオシーケンスは、例えば、（例えば、色成分の１つのもののヒストグラム等化を使用して）圧縮に対して相対的に回復力を有する信号分布を得るべく、入力カラーピクチャに対する色変換（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）の適用又は入力されたピクチャコンポーネントのリマッピングの実行などの事前エンコーディング処理（１０１）を経験しうる。メタデータを前処理と関連付けることが可能であり及びビットストリームに添付することができる。

【0083】

エンコーダ１００においては、ピクチャが、後述するように、エンコーダ要素によってエンコーディングされている。エンコーディング対象のピクチャは、パーティション化され（１０２）、例えば、ＣＵを単位として処理されている。それぞれの単位は、例えば、イントラ又はインターモードを使用してエンコーディングされている。１つの単位がイントラモードにおいてエンコーディングされる際には、これは、イントラ予測（１６０）を実行している。インターモードにおいては、モーション推定（１７５）及び補償（１７０）が実行されている。エンコーダは、その単位のエンコーディングのために使用するべきイントラ又はインターモードの１つを決定し（１０５）、例えば、予測モードフラグにより、イントラ／インター決定を通知している。例えば、オリジナル画像ブロックから予測されたブロックを減算する（１１０）ことにより、予測残差が算出されている。

【0084】

次いで、予測残差が、変換（１２５）され且つ量子化（１３０）されている。ビットストリームを出力するべく、量子化された変換係数のみならず、モーションベクトル及びその他の構文要素がエントロピーコーディングされている（１４５）。エンコーダは、変換をスキップすることが可能であり、且つ量子化を変換されていない残差信号に対して直接的に適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることが可能であり、即ち、残差が、変換又は量子化プロセスの適用を伴うことなしに、直接的にコーディングされている。

【0085】

エンコーダは、更なる予測のための基準を提供するべくエンコーディングされたブロックをデコーディングしている。予測残差をデコーディングするべく、量子化された変換係数が逆量子化され（１４０）且つ逆変換されている（１５０）。デコーディングされた予測残差及び予測されたブロックを組み合わせること（１５５）により、画像ブロッが再構築されている。例えば、エンコーディングアーチファクトを低減するべく、例えば、デブロッキング／ＳＡＯ（Sample Adaptive Offset）フィルタリングを実行するべく、インループフィルタ（１６５）が、再構築済みのピクチャに適用されている。フィルタリング済みの画像は、基準ピクチャバッファ（１８０）内において保存されている。

【0086】

図１７は、ビデオデコーダ２００のブロック図を示している。デコーダ２００において、ビットストリームは、後述するように、デコーダ要素によってデコーディングされている。ビデオデコーダ２００は、一般に、図１６において記述されているように、エンコーディングパスとは逆であるデコーディングパスを実行している。また、エンコーダ１００は、一般に、ビデオデータのエンコーディングの一部としてビデオデコーディングを実行している。

【0087】

具体的には、デコーダの入力は、ビデオエンコーダ１００によって生成されうるビデオビットストリームを含む。ビットストリームは、まず、変換係数、モーションベクトル、及びその他のコーディング済みの情報を得るべく、エントロピーデコーディングされている（２３０）。ピクチャパーティション情報は、ピクチャがパーティション化される方式を示している。従って、デコーダは、デコーディング済みのピクチャパーティション化情報に従ってピクチャを分割している（２３５）。予測残差をデコーディングするべく、変換係数が逆量子化され（２４０）且つ逆変換されている（２５０）。デコーディング済みの予測残差及び予測されたブロックを組み合わせることにより（２５５）、画像ブロックが再構築されている。予測されたブロックは、イントラ予測（２６０）又はモーション補償された予測（即ち、インター予測）（２７５）から取得することができる（２７０）。インループフィルタ（２６５）が再構築済みの画像に適用されている。フィルタリング済みの画像は、基準ピクチャバッファ（２８０）において保存されている。

【0088】

デコーディング済みのピクチャは、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）又は事前エンコーディング処理（１０１）において実行されたリマッピングプロセスの逆を実行する逆リマッピングなどの事後デコーディング処理（２８５）を更に経験しうる。事後デコーディング処理は、事前エンコーディング処理において導出された及びビットストリーム内においてシグナリングされたメタデータを使用することができる。

【0089】

図１８は、様々な態様及び実施形態が実装されるシステムの一例のブロック図を示している。システム１０００は、後述する様々なコンポーネントを含む装置として実施することが可能であり、本明細書において記述されている態様の１つ又は複数を実行するように構成されている。このような装置の例は、限定を伴うことなしに、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオレコーディングシステム、接続されたホームアプライアンス、及びサーバーなどの様々な電子装置を含む。システム１０００の要素は、単独で又は組合せにおいて、単一集積回路（ＩＣ）、複数のＩＣ、及び／又は個別コンポーネントにおいて実施することができる。例えば、少なくとも１つの実施形態において、システム１０００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は個別コンポーネントに跨って分散されている。様々な実施形態において、システム１０００は、例えば、通信バスを介して或いは専用の入力及び／又は出力ポートを通じて１つ又は複数のその他のシステム又はその他の電子装置に通信自在に結合されている。様々な実施形態において、システム１０００は、本明細書において記述されている態様の１つ又は複数を実装するように構成されている。

【0090】

システム１０００は、例えば、本明細書において記述されている様々な態様を実装するべくその内部において読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野において既知の埋め込み型のメモリ、入出力インターフェイス、及び様々なその他の回路を含みうる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリ装置及び／又は不揮発性メモリ装置）を含む。システム１０００は、ストレージ装置１０４０を含み、これは、限定を伴うことなしに、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む不揮発性メモリ及び／又は揮発性メモリを含みうる。ストレージ装置１０４０は、非限定的な例として、内部ストレージ装置、装着されたストレージ装置（着脱自在及び非着脱自在のストレージ装置を含む）、及び／又はネットワークアクセス可能ストレージ装置を含みうる。

【0091】

システム１０００は、例えば、エンコーディング済みのビデオ又はデコーディング済みのビデオを提供するべくデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダ１０３０は、その独自のプロセッサ及びメモリを含みうる。エンコーダ／デコーダ１０３０は、エンコーディング及び／又はデコーディング機能を実行するべく装置内において含まれうる１つ又は複数のモジュールを表している。既知のように、装置は、エンコーディング及びデコーディングモジュールの１つ又は両方を含みうる。これに加えて、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することも可能であり、或いは、当業者に既知であるようにハードウェア及びソフトウェアの組合せとしてプロセッサ１０１０内において内蔵することもできる。

【0092】

本明細書において記述されている様々な態様を実行するべくプロセッサ１０１０又はエンコーダ／デコーダ１０３０上に読み込まれるプログラムコードは、ストレージ装置１０４０内において保存することが可能であり、プロセッサ１０１０による実行のためにメモリ１０２０上に後から読み込むことができる。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージ装置１０４０、及びエンコーダ／デコーダモジュール１０３０の１つ又は複数は、本明細書において記述されているプロセスの稼働の際に様々な項目の１つ又は複数を保存することができる。このような保存された項目は、限定を伴うことなしに、入力ビデオ、デコーディング済みのビデオ又はデコーディング済みのビデオの一部分、ビットストリーム、行列、変数、及び式、定式、動作、及び動作ロジックの処理から結果的に得られる中間又は最終的結果を含みうる。

【0093】

いくつかの実施形態において、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内側のメモリは、命令を保存するべく且つエンコーディング又はデコーディングにおいて必要とされる処理用のワーキングメモリを提供するべく使用されている。但し、その他の実施形態においては、処理装置（例えば、処理装置は、プロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０でありうる）の外部のメモリが、これらの機能の１つ又は複数のために使用されている。外部メモリは、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリなどのメモリ１０２０及び／又はストレージ装置１０４０であってよい。いくつかの実施形態において、外部不揮発性フラッシュメモリは、例えば、テレビのオペレーティングシステムを保存するべく使用されている。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧは、Moving Picture Experts Groupを意味し、ＭＰＥＧ－２は、また、ＩＳＯ／ＩＥＣ１３８１８とも呼称され、また、１３８１８－１は、Ｈ．２２２とも呼称され、１３８１８－２は、また、Ｈ．２６２とも呼称されている）、ＨＥＶＣ（ＨＥＶＣは、High Efficiency Video Codingを意味し、また、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２とも呼称されている）、或いは、ＶＶＣ（多用途ビデオコーディングであり、新しい規格がJoint Video Experts Team（ＪＶＥＴ）によって開発中である）などのビデオコーディング及びデコーディング動作のためのワーキングメモリとして使用されている。

【0094】

システム１０００の要素に対する入力は、ブロック１１３０において示されている様々な入力装置を通じて提供することができる。このような入力装置は、限定を伴うことなしに、（ｉ）例えば、ブロードキャスタによって無線で送信されたＲＦ信号を受け取る高周波（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端末（或いは、ＣＯＭＰ入力端末の組）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端末、及び／又は（ｉｖ）高精細マルチメディアインターフェイス（ＨＤＭＩ）入力端末を含む。図１８に示されていないその他の例は、コンポジットビデオを含む。

【0095】

様々な実施形態において、ブロック１１３０の入力装置は、当技術分野において既知である関連する個々の入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）望ましい周波数を選択すること（また、信号を選択すること、或いは、信号を周波数の帯域に帯域制限すること）、（ｉｉ）選択された信号をダウンコンバージョンすること、（ｉｉｉ）（例えば）特定の実施形態においてチャネルと呼称されうる信号周波数帯域を選択するべく、再度周波数の狭い帯域に帯域制限すること、（ｉｖ）ダウンコンバージョンされた及び帯域限定された信号を復調すること、（ｖ）エラー補正を実行すること、並びに、（ｖｉ）データパケットの望ましいストリームを選択するべく逆多重化することに適した要素と関連付けることができる。様々な実施形態のＲＦ部分は、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー補正器、及びデマルチプレクサなどの、これらの機能を実行するための１つ又は複数の要素を含む。ＲＦ部分は、例えば、受け取られた信号を相対的に低い周波数（例えば、中間周波数又はベースバンドに近い周波数）に又はベースバンドにダウンコンバージョンすることを含むこれらの機能の様々なものを実行するチューナを含みうる。１つのセットトップボックス実施形態において、ＲＦ部分及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体上において送信されるＲＦ信号を受け取り、再度、望ましい周波数帯域にフィルタリング、ダウンコンバージョン、及びフィルタリングすることにより、周波数選択を実行している。様々な実施形態は、上述の（並びに、その他の）要素を再構成し、これらの要素のいくつかを除去し、及び／又は類似の又は異なる機能を実行するその他の要素を追加している。要素の追加は、例えば、増幅器及びアナログ－デジタルコンバータの挿入などの要素を既存の要素の間において挿入することを含みうる。様々な実施形態において、ＲＦ部分は、アンテナを含む。

【0096】

これに加えて、ＵＳＢ及び／又はＨＤＭＩ端子は、ＵＳＢ及び／又はＨＤＭＩ接続に跨ってシステム１０００をその他の電子装置に接続するための個々のインターフェイスプロセッサを含みうる。例えば、例えば、必要に応じて、別個の入力処理ＩＣ内において又はプロセッサ１０１０内において、リード・ソロモンエラー補正などの入力処理の様々な態様を実装しうることを理解されたい。同様に、必要に応じて、別個のインターフェイスＩＣ内において又はプロセッサ１０１０内においてＵＳＢ又はＨＤＭＩインターフェイス処理の態様を実装することもできる。復調された、エラー補正された、及び逆多重化されたストリームは、例えば、出力装置上における提示のために必要に応じてデータストリームを処理するべくメモリ及びストレージ要素との組合せにおいて稼働しているプロセッサ１０１０及びエンコーダ／デコーダ１０３０を含む様々な処理要素に提供されている。

【0097】

システム１０００の様々な要素は、統合されたハウジング内において提供することができる。統合されたハウジング内において、様々な要素は、相互接続することが可能であり例えば、インターＩＣ（Ｉ２Ｃ）バス、配線、及び印刷回路基板を含む当技術分野において既知の内部バスなどの適切な接続構成を使用してその間においてデータを送信することができる。

【0098】

システム１０００は、通信チャネル１０６０を介したその他の装置との間の通信を可能にする通信インターフェイス１０５０を含む。通信インターフェイス１０５０は、限定を伴うことなしに、通信チャネル１０６０上においてデータを送信し且つ受け取るように構成されたトランシーバを含みうる。通信インターフェイス１０５０は、限定を伴うことなしに、モデム又はネットワークカードを含むことが可能であり、通信チャネル１０６０は、例えば、有線及び／又は無線媒体内において実装することができる。

【0099】

データは、様々な実施形態において、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、Institute of Electrical and Electronics Engineersを意味している）などのWi-Fiネットワークなどの無線ネットワークを使用してシステム１０００にストリーミングされているか又はその他の方法で提供されている。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル１０６０及び通信インターフェイス１０５０上において受け取られている。これらの実施形態の通信チャネル１０６０は、通常、ストリーミングアプリケーション及びその他のオーバーザトップ通信を許容するインターネットを含む外部ネットワークに対するアクセスを提供するアクセスポイント又はルーターに接続されている。その他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続上においてデータを供給するセットトップボックスを使用することにより、ストリーミングされたデータをシステム１０００に提供している。更にその他の実施形態は、入力されたブロック１１３０のＲＦ接続を使用することにより、ストリーミングされたデータをシステム１０００に提供している。上述のように、様々な実施形態は、非ストリーミング方式により、データを提供している。これに加えて、様々な実施形態は、例えば、セルラーネットワーク又はBluetoothネットワークなどの、Wi-Fi以外の無線ネットワークをも使用している。

【0100】

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及びその他の周辺装置１１２０を含む様々な出力装置に出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲したディスプレイ、及び／又は折り畳み可能なディスプレイの１つ又は複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セル電話機（携帯電話機）、又はその他の装置用であってよい。また、ディスプレイ１１００は、（例えば、スマートフォンにおけるように）その他のコンポーネントと統合することも可能であり、或いは、別個であってもよい（例えば、ラップトップ用の外部モニタ）。その他の周辺装置１１２０は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（又は、デジタルバーサタイルディスク）（両方の用語について、ＤＶＲ）、ディスクプレーヤー、ステレオシステム、及び／又は照明システムの１つ又は複数を含む。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ又は複数の周辺装置１１２０を使用している。例えば、ディスクプレーヤーは、システム１０００の出力を再生する機能を実行している。

【0101】

様々な実施形態において、制御信号は、ユーザー介入を伴って又は伴うことなしに装置間制御を可能にするＡＶ．Ｌｉｎｋ、消費者電子回路制御（ＣＥＣ）、又はその他の通信プロトコルなどのシグナリングを使用することにより、システム１０００とディスプレイ１１００、スピーカ１１１０、又はその他の周辺装置１１２０の間において伝達されている。出力装置は、個々のインターフェイス１０７０、１０８０、及び１０９０を通じて専用の接続を介してシステム１０００に通信自在に結合することができる。或いは、この代わりに、出力装置は、通信インターフェイス１０５０を介して通信チャネル１０６０を使用してシステム１０００に接続することもできる。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子装置内において、システム１０００のその他のコンポーネントと単一ユニット内において統合することができる。様々な実施形態において、ディスプレイインターフェイス１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0102】

ディスプレイ１１００及びスピーカ１１１０は、この代わりに、例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの一部分である場合には、その他のコンポーネントの１つ又は複数とは別個のものであってよい。ディスプレイ１１００及びスピーカ１１１０が外部コンポーネントである様々な実施形態において、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。

【0103】

実施形態は、プロセッサ１０１０により、又はハードウェアにより、又はハードウェア及びソフトウェアの組合せにより、実装されたコンピュータソフトウェアによって実行することができる。非限定的な例として、実施形態は、１つ又は複数の統合された回路によって実装することができる。メモリ１０２０は、技術的環境に適する任意のタイプであることが可能であり、非限定的な例として、光メモリ装置、磁気メモリ装置、半導体に基づいたメモリ装置、固定されたメモリ、及び着脱自在のメモリなどの任意の適切なデータストレージ技術を使用して実装することができる。プロセッサ１０１０は、技術的環境に適した任意のタイプであることが可能であり、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づいたプロセッサの１つ又は複数を包含しうる。

【0104】

様々な実装形態は、デコーディングを伴っている。本出願において使用されている「デコーディング」は、例えば、表示に適した最終出力を生成するべく受け取られたエンコーディング済みのシーケンスに対して実行されるプロセスのすべて又は一部分を包含しうる。様々な実施形態において、このようなプロセスは、例えば、エントロピーデコーディング、逆量子化、逆変換、及び差分デコーディングなどのデコーダによって通常実行されているプロセスの１つ又は複数を含む。更には、又はこの代わりに、様々な実施形態において、このようなプロセスは、本出願において記述されている様々な実装形態のデコーダによって実行されるプロセスをも含む。

【0105】

更なる例として、一実施形態においては、「デコーディング」は、エントロピーデコーディングのみを意味しており、別の実施形態においては、「デコーディング」は、差分デコーディングのみを意味しており、別の実施形態においては、「デコーディング」は、エントロピーデコーディング及び差分デコーディングの組合せを意味している。「デコーディングプロセス」というフレーズが、動作のサブセットを具体的に意味するべく意図されているのか、或いは、相対的に広いデコーディングプロセスを一般的に意味するべく意図されているのか、は、特定の記述のコンテキストに基づいて明らかとなり、当業者には、十分に理解されるものと考えられる。

【0106】

様々な実装形態は、エンコーディングを伴っている。「デコーディング」に関する上述の記述と同様に、本出願において使用されている「エンコーディング」は、例えば、エンコーディングされたビットストリームを生成するべく入力ビデオシーケンスに対して実行されるプロセスのすべて又は一部分を包含しうる。様々な実施形態において、このようなプロセスは、例えば、パーティション化、差分エンコーディング、変換、量子化、及びエントロピーエンコーディングなどのエンコーダによって通常実行されているプロセスの１つ又は複数を含む。更には、又はこの代わりに、様々な実施形態において、このようなプロセスは、本出願において記述されている様々な実装形態のエンコーダによって実行されるプロセスをも含む。

【0107】

更なる例として、一実施形態においては、「エンコーディング」は、エントロピーエンコーディングのみを意味しており、別の実施形態においては、「エンコーディング」は、差分エンコーディングのみを意味しており、別の実施形態においては、「エンコーディング」は、差分エンコーディング及びエントロピーエンコーディングの組合せを意味している。「エンコーディングプロセス」というフレーズが、具体的に動作のサブセットを意味するべく意図されているのか、或いは、相対的に広いエンコーディングプロセスを一般的に意味するべく意図されているのか、は、特定の記述のコンテキストに基づいて明らかとなり、当業者によって十分に理解されるものと考えられる。

【0108】

本明細書において使用されている構文要素は、記述的用語であることに留意されたい。従って、これらは、その他の構文要素名の使用を排除するものではない。

【0109】

図がフロー図として提示されている際には、これは、対応する装置のブロック図をも提供していることを理解されたい。また、同様に、図がブロック図として提示されている際には、これは、対応する方法／プロセスのフロー図をも提供していることを理解されたい。

【0110】

様々な実施形態は、パラメトリックモデル又はレート歪最適化を参照している場合がある。具体的には、エンコーディングプロセスにおいて、しばしば、演算複雑性の制約が付与された状態において、通常、レートと歪の間のバランス又はトレードオフが考慮されている。これは、レート歪最適化（ＲＤＯ）メトリックを通じて、或いは、最小二乗平均（ＬＭＳ）、絶対誤差の平均（ＭＡＥ）、又はその他のこのような計測値を通じて、計測することができる。レート歪最適化は、通常、レート歪関数を極小化するものとして定式化され、これは、レート及び歪の重み付けされた合計である。レート歪最適化問題を解決するための異なる方式が存在している。例えば、方式は、コーディング及びデコーディングの後の再構築済みの信号のそのコーディング費用及び関係する歪の完全な評価を伴う、すべての検討されたモード又はコーディングパラメータ値を含むすべてのエンコーディング選択肢の集約的な試験に基づいたものであってよい。また、特に、再構築されたものではなく、予測又は予測残差信号に基づいた近似歪の演算に伴うエンコーディングの複雑さを低減するべく、相対的に高速な方式を使用することもできる。また、例えば、可能なエンコーディング選択肢のいくつかのみにおける近似歪又はその他のエンコーディング選択肢用の完全な歪を使用することにより、これら２つの方式の混合体を使用することもできる。その他の方式は、可能なエンコーディング選択肢のサブセットのみを評価している。更に一般的には、多くの方式は、最適化を実行するべく様々な技法の任意のものを利用しているが、最適化は、必ずしも、コーディング費用及び関係する歪の両方の完全な評価ではない。

【0111】

本明細書において記述されている実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。実装形態の単一の形態の文脈においてのみ記述されている（例えば、方法としてのみ記述されている）場合にも、記述されている特徴の実装形態は、その他の形態（例えば、装置又はプログラム）においても実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。例えば、方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能なロジック装置を含む一般に処理装置を意味するプロセッサにおいて実装することができる。また、プロセッサは、例えば、コンピュータ、セル電話機、携帯型／パーソナルデジタルアシスタント（「ＰＤＡ」）、及びエンドユーザーの間の情報の通信を促進するその他の装置などの通信装置を含む。

【0112】

「一実施形態（one embodiment）」又は「一実施形態（an embodiment)」又は「一実装形態（one implementation）」又は「一実装形態（an implementation）」のみならず、これらのその他の変形に対する参照は、実施形態との関連において記述されている特定の特徴、構造、特性、などが、少なくとも１つの実施形態において含まれていることを意味している。従って、本出願の全体を通じて様々な場所において出現する「一実施形態において」又は「一実施形態において」又は「一実装形態において」又は「一実装形態において」という句のみならず、任意のその他の変形は、必ずしも、すべてが同一の実施形態を参照しているものではない。

【0113】

これに加えて、本出願は、情報の様々な断片の「判定」を参照している場合がある。情報の判定は、例えば、情報の推定、情報の算出、情報の予測、又はメモリからの情報の取得の１つ又は複数を含みうる。

【0114】

更には、本出願は、情報の様々な断片に対する「アクセス」を参照している場合がある。情報にアクセスすることは、例えば、情報の受取り、（例えば、メモリから）情報の取得、情報の保存、情報の移動、情報の複写、情報の算出、情報の判定、情報の予測、又は情報の推定の１つ又は複数を含みうる。

【0115】

これに加えて、本出願は、情報の様々な断片の「受取り」を参照している場合がある。受け取ることは、「アクセス」することと同様に、広い用語となるべく意図されている。情報の受取りは、例えば、情報のアクセス又は（例えば、メモリからの）情報の取得の１つ又は複数を含みうる。更には、「受取り」は、通常、１つの又は別の方式により、例えば、情報の保存、情報の処理、情報の送信、情報の移動、情報の複写、情報の消去、情報の算出、情報の判定、情報の予測、又は情報の推定などの動作の際に伴っている。

【0116】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、及び「Ａ及びＢの少なくとも１つ」のケースにおける「／」、「及び／又は」、及び「～の少なくとも１つ」の任意のものの使用は、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、或いは、両方の選択肢（Ａ及びＢ）の選択を包含するべく意図されていることを理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣの少なくとも１つ」のケースにおいて、このようなフレーズは、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、或いは、第３の列挙された選択肢（Ｃ）のみの選択、或いは、第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、或いは、第１及び第３の列挙された選択肢（Ａ及びＣ）のみの選択、或いは、第２及び第３の列挙された選択肢（Ｂ及びＣ）のみの選択、或いは、すべての３つの選択肢（Ａ及びＢ及びＣ）の選択を包含するべく意図されている。これは、当技術分野及び関係する技術分野における当業者には明らかなように、列挙されているものと同じ数の項目について拡張することができる。

【0117】

また、本明細書において使用される場合、「信号」という用語は、とりわけ、なにかを対応するデコーダに通知することを意味している。例えば、特定の実施形態において、エンコーダは、複数の変換、コーディングモード、又はフラグの特定の１つをシグナリングしている。この結果、一実施形態においては、同一の変換、パラメータ、又はモードは、エンコーダ側及びデコーダ側の両方において使用されている。従って、例えば、エンコーダは、デコーダが同一の特定のパラメータを使用しうるように、特定のパラメータをデコーダに送信することができる（明示的なシグナリング）。逆に、デコーダが既に特定のパラメータのみならず、その他のものをも有している場合には、シグナリングは、デコーダが特定のパラメータを認知し及び選択することを単純に許容するべく、送信を伴うことなしに使用することができる（黙示的なシグナリング）。任意の実際の機能の送信を回避することにより、ビットの節約が様々な実施形態において実現されている。シグナリングは、様々な方式で実現されうることを理解されたい。例えば、１つ又は複数の構文要素、フラグ、などが、様々な実施形態において、対応するデコーダに情報をシグナリングするべく使用されている。以上は、「信号」という用語の動詞の形態に関係している一方で、「信号」という用語は、名詞としても本明細書において使用されうる。

【0118】

当業者には明らかなように、実装形態は、例えば、保存又は送信されうる情報を搬送するべくフォーマッティングされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令又は記述されている実装形態の１つによって生成されたデータを含みうる。例えば、信号は、記述されている実施形態のビットストリームを搬送するべくフォーマッティングすることができる。このような信号は、例えば、（例えば、スペクトルの高周波数部分を使用する）電磁波として又はベースバンド信号としてフォーマッティングすることができる。フォーマッティングは、例えば、データストリームをエンコーディングすることと、エンコーディングされたデータストリームによって搬送波を変調することと、を含みうる。信号が搬送している情報は、例えば、アナログ又はデジタル情報であってよい。信号は、既知のように、様々な異なる有線又は無線リンク上において送信することができる。信号は、プロセッサ可読媒体上において保存することができる。

【0119】

本発明者らは、様々な請求項のカテゴリ及びタイプに跨って、いくつかの実施形態について記述している。これらの実施形態の特徴は、単独で又は任意の組合せにおいて提供することができる。更には、実施形態は、様々な請求項のカテゴリ及びタイプに跨って、単独で又は任意の組合せにおいて、以下の特徴、装置、又は態様の１つ又は複数を含みうる。
・イントラコーディングサブパーティションを有するイントラエンコーディング及びデコーディングを実行するためのプロセス又は装置
・複数の基準ラインを使用するイントラコーディングサブパーティションを有するイントラエンコーディング及びデコーディングを実行するためのプロセス又は装置
・イントラコーディングサブパーティション及び消失サンプル置換を有するイントラエンコーディング及びデコーディングを実行するためのプロセス又は装置
・イントラコーディングサブパーティション及び親ビデオブロックの上方の基準ピクセルのマッピングを有するイントラエンコーディング及びデコーディングを実行するためのプロセス又は装置
・イントラコーディングサブパーティション及び等しくないサブパーティションサイズを有するイントラエンコーディング及びデコーディングを実行するためのプロセス又は装置
・記述されている構文要素又はその変形の１つ又は複数を含むビットストリーム又は信号
・記述されている実施形態の任意のものに従って生成された情報を伝達する構文を含むビットストリーム又は信号
・記述されている実施形態の任意のものによる生成及び／又は送信及び／又は受信及び／又はデコーディング
・記述されている実施形態の任意のものによる方法、プロセス、装置、媒体、命令を保存する媒体、データを保存する媒体、又は信号
・デコーダがエンコーダによって使用されるものに対応する方式でコーディングモードを判定することを可能にするシグナリング構文要素内における挿入
・記述されている構文要素又はその変形の１つ又は複数を含むビットストリーム又は信号の生成及び／又は送信及び／又は受信及び／又はデコーディング
・記述されている実施形態の任意のものによる１つ又は複数の変換方法を実行するＴＶ、セットトップボックス、セル電話機、タブレット、又はその他の電子装置
・記述されている実施形態の任意のものに従って変換方法の判定を実行する及び（例えば、モニタ、画面、又はその他のタイプのディスプレイを使用して）結果的に得られた画像を表示するＴＶ、セットトップボックス、セル電話機、タブレット、又はその他の電子装置
・エンコーディングされた画像を含む信号を受信するべく、チャネルを選択、帯域制限、又は（例えば、チューナを使用して）チューニングする及び記述されている実施形態の任意のものに従って１つ又は複数の変換方法を実行するＴＶ、セットトップボックス、セル電話機、タブレット、又はその他の電子装置
・エンコーディングされた画像を含む信号を（例えば、アンテナを使用して）無線で受け取る及び１つ又は複数の変換方法を実行するＴＶ、セットトップボックス、セル電話機、タブレット、又はその他の電子装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【国際調査報告】