知財求人 - 知財ポータルサイト「IP Force」
▶ インターデジタル シーイー パテント ホールディングスの特許一覧
特表2024-537625デコーダ側イントラモード導出における角度離散化の改善
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】デコーダ側イントラモード導出における角度離散化の改善
(51)【国際特許分類】
H04N 19/11 20140101AFI20241008BHJP
H04N 19/136 20140101ALI20241008BHJP
H04N 19/176 20140101ALI20241008BHJP
H04N 19/593 20140101ALI20241008BHJP
【ＦＩ】
H04N19/11
H04N19/136
H04N19/176
H04N19/593
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024514531
(86)(22)【出願日】2022-09-16
(85)【翻訳文提出日】2024-04-08
(86)【国際出願番号】 EP2022075843
(87)【国際公開番号】W WO2023052156
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】21306345.6
(32)【優先日】2021-09-28
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(74)【代理人】
【識別番号】110002848
【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所
(72)【発明者】
【氏名】デュマ、ティエリー
(72)【発明者】
【氏名】ル リアネック、ファブリース
(72)【発明者】
【氏名】ガルピン、フランク
(72)【発明者】
【氏名】ボルド、フィリップ
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159RC12
5C159TA31
5C159TB08
5C159TC02
5C159TC42
5C159TD05
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
デコーダ側イントラモード導出（ＤＩＭＤ）能力は、現在のビデオブロックの上のいくつかの行及び左のいくつかの列に拡張し、現在のビデオブロックの上及び左の画素、並びに現在のビデオブロックの上及び右の列及び下及び左の行も含む参照画素を使用することによって強化される。参照画素は、現在のビデオブロックを取り囲む周囲の再構成された／前に符号化されたサンプルから形成される。イントラ予測モードの導出は、定義された周囲領域内の参照画素の各々から決定された勾配から決定される。１つの実施形態では、勾配は、水平フィルタ及び垂直フィルタを使用して決定される。副実施形態では、フィルタは、画定された周囲領域を越えて拡張しない。別の実施形態では、ターゲットイントラ予測モードを示すインデックスの再割り当てが実行される。
【特許請求の範囲】
【請求項1】
方法であって、現在のビデオブロックを取り囲む参照画素のための１つ以上の勾配を決定することと、
前記勾配に基づいて、前記現在のビデオブロックを符号化するために使用すべきイントラ予測モードを決定することと、
前記決定されたイントラ予測モードを使用して前記現在のビデオブロックを符号化することとを含む、方法。
【請求項2】
装置であって、プロセッサであって、
現在のビデオブロックを取り囲む参照画素のための１つ以上の勾配を決定することと、
前記勾配に基づいて、前記現在のビデオブロックを符号化するために使用すべきイントラ予測モードを決定することと、
前記決定されたイントラ予測モードを使用して前記現在のビデオブロックを符号化することとを実行するように構成された、プロセッサとを備える、装置。
【請求項3】
方法であって、現在のビデオブロックを取り囲む参照画素のための１つ以上の勾配を決定することと、
前記勾配に基づいて、前記現在のビデオブロックを復号化するために使用すべきイントラ予測モードを決定することと、
前記決定されたイントラ予測モードを使用して前記現在のビデオブロックを復号化することとを含む、方法。
【請求項4】
装置であって、プロセッサであって、
現在のビデオブロックを取り囲む参照画素のための１つ以上の勾配を決定することと、
前記勾配に基づいて、前記現在のビデオブロックを復号化するために使用すべきイントラ予測モードを決定することと、
前記決定されたイントラ予測モードを使用して前記現在のビデオブロックを復号化することとを実行するように構成された、プロセッサとを備える、装置。
【請求項5】
前記参照画素が、前記現在のビデオブロックの上の１つ以上の行と、前記現在のビデオブロックの左の１つ以上の列と、前記現在のビデオブロックの上及び左の画素とを含む、請求項１若しくは３に記載の方法又は請求項２若しくは４に記載の装置。
【請求項6】
前記参照画素が、現在のビデオブロックの上及び右、並びに前記現在のビデオブロックの左下に更に拡張する、請求項５に記載の方法又は装置。
【請求項7】
前記勾配が、水平フィルタ及び垂直フィルタを使用して決定される、請求項１、３、５、６のいずれか一項に記載の方法、又は請求項２、４～６のいずれか一項に記載の装置。
【請求項8】
前記勾配が、前記水平フィルタ及び垂直フィルタの畳み込みを使用して更に決定される、請求項７に記載の方法又は装置。
【請求項9】
イントラ予測モードにインデックスを割り当てることを更に含む、請求項１、３、５～８のいずれか一項に記載の方法、又は請求項２、４～８のいずれか一項に記載の装置。
【請求項10】
前記インデックスが、前記インデックス値に基づいて再割り当てされる、請求項９に記載の方法又は装置。
【請求項11】
前記勾配の決定が、参照領域内の参照画素を使用する、請求項１、３、５～１０のいずれか一項に記載の方法、又は請求項２、４～１０のいずれか一項に記載の装置。
【請求項12】
デバイスであって、請求項４に記載の装置と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号が前記コーディングユニットを含む、アンテナと、（ｉｉ）受信された前記信号を、前記コーディングユニットを含む周波数帯域に制限するように構成されたバンドリミッタと、（ｉｉｉ）コーディングユニットを表す出力を表示するように構成されたディスプレイとのうちの少なくとも１つとを備える、デバイス。
【請求項13】
請求項１、及び５～１１のいずれか一項に記載の方法に従って生成された、又は請求項２及び５～１１のいずれか一項に記載の装置によって生成された、プロセッサを使用して再生するためのデータコンテンツを含む、非一時的なコンピュータ可読媒体。
【請求項14】
請求項１及び５～１１のいずれか一項に記載の方法に従って生成された、又は請求項２及び５～１１のいずれか一項に記載の装置によって生成された、プロセッサを使用して再生するためのビデオデータを含む、信号。
【請求項15】
コンピュータプログラム製品であって、前記プログラムがコンピュータによって実行されるとき、請求項１、３、及び５～１１のいずれか一項に記載の前記方法を、前記コンピュータに実行させる命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号化、圧縮又は解凍のための方法又は装置に関する。
【背景技術】
【0002】
高い圧縮効率を実現するために、画像及びビデオの符号化スキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツ内の空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号化する。
【発明の概要】
【0003】
本実施形態のうちの少なくとも１つは、概して、ビデオ符号化若しくは復号化のための方法又は装置に関し、より具体的には、周囲の参照画素からのデコーダ側イントラモード導出のコーディング効率を改善するための方法又は装置に関する。
【0004】
第１の態様によれば、方法が提供される。本方法は、現在のビデオブロックを取り囲む参照画素について１つ以上の勾配を決定する工程と、上記勾配に基づいて現在のビデオブロックを符号化するために使用すべきイントラ予測モードを決定する工程と、決定されたイントラ予測モードを使用して現在のビデオブロックを符号化する工程とを含む。
【0005】
第２の態様によれば、別の方法が提供される。本方法は、現在のビデオブロックを取り囲む参照画素について１つ以上の勾配を決定する工程と、上記勾配に基づいて現在のビデオブロックを符号化するために使用すべきイントラ予測モードを決定する工程と、決定されたイントラ予測モードを使用して現在のビデオブロックを復号化する工程とを含む。
【0006】
別の一態様によれば、装置が提供される。装置は、プロセッサを備える。プロセッサは、前述した方法のいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号化するように構成することができる。
【0007】
少なくとも１つの実施形態の別の一般的態様によれば、復号化する実施形態のいずれかによる装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、（ｉｉ）受信された信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備えるデバイスが提供される。
【0008】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。
【0009】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。
【0010】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。
【0011】
少なくとも１つの実施形態の別の一般的態様によれば、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されるとき、記載される復号化する実施形態又は変形形態のうちのいずれかをコンピュータに行わせる、コンピュータプログラム製品が提供される。
【0012】
一般的態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。
【図面の簡単な説明】
【0013】
【図1】ＶＶＣ（多用途ビデオコーディング）におけるイントラ予測のための復号化された参照サンプルを示す。
【図2】予測される正方形ブロックについてのＶＶＣにおけるコアイントラ予測モードを示す。
【図3】インデックスｋ∈［｜０，１５｜］のＭＩＰモードを介した４×４輝度ブロックの予測を示す。
【図4】インデックスｋ∈［｜０，７｜］のＭＩＰモードを介した８×４輝度ブロックの予測を示す。
【図5】予測される４×４輝度ブロックについてのＭＩＰモードのインデックスからＭＩＰ行列のインデックスへのマッピングを示す。
【図6】予測される８×４輝度ブロックについてのＭＩＰモードのインデックスからＭＩＰ行列のインデックスへのマッピングを示す。
【図7】予測されるＷｘＨブロックのコンテキストからの勾配の抽出を示す。
【図8】ＧＶＥＲ及びＧＨＯＲの絶対値及びＧＶＥＲ及びＧＨＯＲの符号からのターゲットイントラ予測モードインデックスの範囲の識別を示す。
【図9】｜ＧＶＥＲ｜＞｜ＧＨＯＲ｜の場合、成分ＧＶＥＲ及びＧＨＯＲの参照軸と勾配Ｇに垂直な方向との間の角度θの計算を示す。なお、ここでは、ＧＶＥＲ＜０及びＧＨＯＲ＜０である。
【図10】｜ＧＨＯＲ｜≧｜ＧＶＥＲ｜の場合、成分ＧＶＥＲ及びＧＨＯＲの参照軸と勾配Ｇに垂直な方向との間の角度θの計算を示す。なお、ここでは、ＧＶＥＲ＜０及びＧＨＯＲ＜０である。
【図13】ＷｘＨブロックのＤＩＭＤコンテキストの拡張を示す。
【図14】第１の特定の条件下でのブロックのＤＩＭＤコンテキストの拡張を示す。
【図15】第２の特定の条件下でのブロックのＤＩＭＤコンテキストの拡張を示す。
【図16】第３の特定の条件下でのブロックのＤＩＭＤコンテキストの拡張を示す。
【図17】第４の特定の条件下でのブロックのＤＩＭＤコンテキストの拡張を示す。
【図18】第５の特定の条件下でのブロックのＤＩＭＤコンテキストの拡張を示す。
【図19】記載された態様を実行するための方法の１つの実施形態を示す。
【図20】記載された態様を実行するための方法の別の実施形態を示す。
【図21】記載された態様を実行するための装置の１つの実施形態を示す。
【図22】汎用ビデオ符号化又は圧縮システムを示す。
【図23】汎用ビデオ復号化又は解凍システムを示す。
【図24】記載された態様を実装するためのプロセッサベースのシステムを示す。
【発明を実施するための形態】
【0014】
本明細書で記載される一般的な態様は、ブロックベースのビデオコーディングのためのイントラ予測ツールである、デコーダ側イントラモード導出（ＤＩＭＤ）に関する。このセクションでは、まず、ＶＶＣ（現在、圧縮性能に関して上位のブロックベースのビデオコーデックの１つ）において重要なイントラ予測ツールを導入する。次に、ＥＣＭ（強化圧縮モデル）ソフトウェアにＤＩＭＤ及びその定式化を提示する。ＥＣＭは、ＶＶＣよりも改善された圧縮性能を示すためにＪＶＥＴで開発されている。最後に、ＤＩＭＤにおけるコンテキスト及び角度離散化に関する問題が指摘される。
【0015】
ＨＥＶＣから継承されたＶＶＣにおけるコアイントラ予測
予測される所与のブロックについて、ＶＶＣにおけるイントラ予測は、復号化された参照サンプルを収集することと、復号化された参照サンプルを予測されたブロックに伝搬することと、最後に、予測されたブロックのサンプルを後処理することとからなる。
予測される所与のブロックについて、ＶＶＣにおけるイントラ予測は、復号化された参照サンプルを収集することと、復号化された参照サンプルを予測されたブロックに伝搬することと、最後に、予測されたブロックのサンプルを後処理することとからなる。
【0016】
復号化された参照サンプルの生成が図１に示されており、図１は、予測されるＷ×Ｈブロックの場合のＶＶＣにおけるイントラ予測のための復号化された参照サンプルを示す。座標（ｘ，ｙ）における復号化された参照サンプル値は、Ｐ（ｘ，ｙ）によって示される。ビデオ圧縮において従来使用されている座標系が使用され、すなわち（ｘ，ｙ）において、ｘは画素列を示し、ｙは画素行を示すことに留意されたい。予測されるＷ×Ｈブロックは白色で表示され、その復号化された参照サンプルは灰色で表示される。ここでは、Ｈ＝４及びＷ＝８である。２Ｗサンプルの「上」行は、現在のブロックの上に位置する前に復号化された画素から形成され、Ｗはブロック幅を示す。同様に、２Ｈサンプルの「左」列は、現在のブロックの左側に位置する復号化された画素から形成され、Ｈはブロックの高さを示す。角画素はまた、「上」行参照と「左」列参照との間のギャップを埋めるために使用される。現在のブロックの上及び／又はその左側のサンプルのうちのいくつかが利用可能でない場合、参照サンプル置換と呼ばれる方法が実行され、欠けているサンプルが、利用可能なサンプルから時計回り方向にコピーされる。次に、現在のコーディングユニット（ＣＵ）サイズ及び使用されるイントラ予測モードに応じて、参照サンプルは、指定されたフィルタを使用してフィルタリングされる。
【0017】
コアイントラ予測のモデル
ＶＶＣは、イントラ予測モードと呼ばれるイントラ予測のための線形モデルの範囲を含む。各モードは、復号化された参照サンプルを、異なる方法で予測ブロックに伝搬する。ＰＬＡＮＡＲモード及びＤＣモードは、滑らかで徐々に変化する領域を予測する。対照的に、指向性モードは指向性構造を捕捉する。ＶＶＣには６５個の指向性イントラ予測モードが存在し（図２を参照されたい）、これらは矩形ブロック形状ごとに異なるように編成される。図２は、予測される正方形ブロックについてのＶＶＣにおけるコアイントラ予測モードを示す。各矢印は、異なる指向性イントラ予測モードに関連付けられた予測ブロックへの復号化された参照サンプルの伝搬方向を表す。矢印の半分は、ＨＥＶＣに存在する指向性イントラ予測モードに関連付けられる。残りの矢印は、ＨＥＶＣに存在しないが、ＶＶＣに追加的に存在する指向性イントラ予測モードに関連付けられる。
ＶＶＣは、イントラ予測モードと呼ばれるイントラ予測のための線形モデルの範囲を含む。各モードは、復号化された参照サンプルを、異なる方法で予測ブロックに伝搬する。ＰＬＡＮＡＲモード及びＤＣモードは、滑らかで徐々に変化する領域を予測する。対照的に、指向性モードは指向性構造を捕捉する。ＶＶＣには６５個の指向性イントラ予測モードが存在し（図２を参照されたい）、これらは矩形ブロック形状ごとに異なるように編成される。図２は、予測される正方形ブロックについてのＶＶＣにおけるコアイントラ予測モードを示す。各矢印は、異なる指向性イントラ予測モードに関連付けられた予測ブロックへの復号化された参照サンプルの伝搬方向を表す。矢印の半分は、ＨＥＶＣに存在する指向性イントラ予測モードに関連付けられる。残りの矢印は、ＨＥＶＣに存在しないが、ＶＶＣに追加的に存在する指向性イントラ予測モードに関連付けられる。
【0018】
ＶＶＣに特有のイントラ予測ツール
ＶＶＣに特有の２つの主要なイントラ予測ツールは、２つの理由から、行列ベースイントラ予測（ＭＩＰ）及び成分間線形モデル（ＣＣＬＭ）であるように見える。第１に、ＭＩＰ及びＣＣＬＭは、ＨＥＶＣからＶＶＣへの圧縮性能に関して最大の利得をもたらす２つの純粋なイントラ予測ツールであると思われる。第２に、ＭＩＰ及びＣＣＬＭは新しいイントラ予測モードを導入するが、複数参照ライン、イントラ部分分割、及び位置依存予測組み合わせと呼ばれるＶＶＣに特有の他のイントラ予測ツールは、前のセクションで記載したイントラ予測モードの変形と見なすことができる。特に、ＭＩＰは、この記載においてより適切であると思われる。実際、ここでの主要な話題であるＤＩＭＤは、文献において、ＤＩＭＤ及びＭＩＰが輝度ブロックに対して使用されるのに対して、ＣＣＬＭはクロミナンスのみのツールとして分類されるので、ＣＣＬＭと直接相互作用しない。
ＶＶＣに特有の２つの主要なイントラ予測ツールは、２つの理由から、行列ベースイントラ予測（ＭＩＰ）及び成分間線形モデル（ＣＣＬＭ）であるように見える。第１に、ＭＩＰ及びＣＣＬＭは、ＨＥＶＣからＶＶＣへの圧縮性能に関して最大の利得をもたらす２つの純粋なイントラ予測ツールであると思われる。第２に、ＭＩＰ及びＣＣＬＭは新しいイントラ予測モードを導入するが、複数参照ライン、イントラ部分分割、及び位置依存予測組み合わせと呼ばれるＶＶＣに特有の他のイントラ予測ツールは、前のセクションで記載したイントラ予測モードの変形と見なすことができる。特に、ＭＩＰは、この記載においてより適切であると思われる。実際、ここでの主要な話題であるＤＩＭＤは、文献において、ＤＩＭＤ及びＭＩＰが輝度ブロックに対して使用されるのに対して、ＣＣＬＭはクロミナンスのみのツールとして分類されるので、ＣＣＬＭと直接相互作用しない。
【0019】
行列ベースのイントラ予測（ＭＩＰ）
ＭＩＰは、エンコーダ側及びデコーダ側の両方で固定された学習行列を有する線形イントラ予測モードにある。
ＭＩＰは、エンコーダ側及びデコーダ側の両方で固定された学習行列を有する線形イントラ予測モードにある。
【0020】
ＭＩＰモードを介したＷ×Ｈ輝度ブロックの予測は、３つのステップに分解される。まず、ブロックの上のＷ個の復号化された参照サンプル及びその左側のＨ個の復号化された参照サンプルはダウンサンプリングされる。次に、ダウンサンプリングの結果は、縮小予測に線形変換される。最後に、必要であれば、縮小予測は、補間された予測がＷ×Ｈ輝度ブロックと同じサイズを有するように線形補間される。
【0021】
より正確には、Ｗ＝４及びＨ＝４である場合、ダウンサンプリング係数は２である。加えて、線形変換におけるＭＩＰ行列は、サイズ１６×４（４入力サンプル及び１６出力サンプル）を有する（図３を参照されたい）。Ｗ＝４及びＨ＝８又はＷ＝８及びＨ＝４又はＷ＝８及びＨ＝８である場合、Ｗ個の復号化された参照サンプルのダウンサンプリング係数は、Ｗ／４であり、Ｈ個の復号化された参照サンプルのダウンサンプリング係数は、Ｈ／４である。加えて、線形変換におけるＭＩＰ行列は、サイズ１６×８（８入力サンプル及び１６出力サンプル）を有する（図４を参照されたい）。他の全てのブロックサイズに対して、Ｗ個の復号化された参照サンプルのダウンサンプリング係数は、Ｗ／４であり、Ｈ個の復号化された参照サンプルのダウンサンプリング係数は、Ｈ／４である。加えて、線形変換におけるＭＩＰ行列のサイズは、６４×８（８入力サンプル及び６４出力サンプル）である。補間ステップの場合、縮小予測の水平補間は、Ｈ個の復号化された参照サンプルのうちのいくつかを使用し、それらのダウンサンプリングされたバージョンは使用しないことに留意されたい。縮小予測の垂直補間は、Ｗ個の復号化された参照サンプルのいくつかを使用し、ダウンサンプリングされたバージョンは使用しない。
【0022】
Ｗ＝４及びＨ＝４である場合、３２個のＭＩＰモードが存在する。これらのモードは対に分割され、各対は同じＭＩＰ行列を使用するが、各対の第２のモードでは、輝度ブロックの上のダウンサンプリングされた参照サンプルとその左側のダウンサンプリングされた参照サンプルとが交換される。ＭＩＰモードインデックスからＭＩＰ行列インデックスへのマッピングが図５に示されている。ダウンサンプリングされた参照サンプルの交換が適用されるとき、縮小予測は、補間される前に転置される。Ｗ＝４及びＨ＝８又はＷ＝８及びＨ＝４又はＷ＝８及びＨ＝８である場合、１６個のＭＩＰモードが存在し、モード対が依然として適用される（図６を参照されたい）。他の全てのブロックサイズについて、１２個のＭＩＰモードが使用され、モード対が依然として適用される。
【0023】
デコーダ側イントラモード導出（ＤＩＭＤ）
ＤＩＭＤは、予測される所与のブロックを取り囲む復号化された画素が、このブロックにおけるテクスチャ指向性、すなわち、最高品質を有する予測を生成する可能性が最も高いイントラ予測モードを推測するための情報を搬送するという仮定に依拠する。このセクションはまず、ＤＩＭＤ処理について説明する。次いで、ＤＩＭＤにおけるコンテキスト及び角度離散化に関連する問題に焦点を当てる。先に指摘したように、全ての説明はエンコーダ側及びデコーダ側の両方に同じ方法で適用されることに留意されたい。
ＤＩＭＤは、予測される所与のブロックを取り囲む復号化された画素が、このブロックにおけるテクスチャ指向性、すなわち、最高品質を有する予測を生成する可能性が最も高いイントラ予測モードを推測するための情報を搬送するという仮定に依拠する。このセクションはまず、ＤＩＭＤ処理について説明する。次いで、ＤＩＭＤにおけるコンテキスト及び角度離散化に関連する問題に焦点を当てる。先に指摘したように、全ての説明はエンコーダ側及びデコーダ側の両方に同じ方法で適用されることに留意されたい。
【0024】
ＤＩＭＤにおける推論
ＤＩＭＤに従って最高品質の予測を生成する可能性が最も高いイントラ予測モードのインデックスの推論は、３つのステップに分解される。最初に、予測される所与のブロックの周りの復号化された画素のコンテキストから勾配が抽出される。次いで、これらの勾配は、勾配方向のヒストグラム（ＨＯＧ）を埋めるために使用される。最後に、最高品質を有する予測を与える可能性が最も高いイントラ予測モードのインデックスが、このＨＯＧから導出され、ブレンドが実行され得る。
ＤＩＭＤに従って最高品質の予測を生成する可能性が最も高いイントラ予測モードのインデックスの推論は、３つのステップに分解される。最初に、予測される所与のブロックの周りの復号化された画素のコンテキストから勾配が抽出される。次いで、これらの勾配は、勾配方向のヒストグラム（ＨＯＧ）を埋めるために使用される。最後に、最高品質を有する予測を与える可能性が最も高いイントラ予測モードのインデックスが、このＨＯＧから導出され、ブレンドが実行され得る。
【0025】
コンテキストからの勾配の抽出
予測される所与のブロックに対して、このブロックの上の復号化された画素のｈ行及びこのブロックの左側の復号化された画素のｗ列のＬ字型コンテキストが考慮され（図７を参照されたい）、これは予測されるＷ×Ｈブロックのコンテキストからの勾配の抽出を示す。予測されるブロックは白色で表示される。このブロックのコンテキストは灰色で表示される。コンテキストは、ブロックの上に位置する復号化された画素のｈ行及びブロックの左側に位置する画素のｗ列を含む。勾配フィルタは黒い枠で囲まれている。このコンテキストにおける各復号化された関心画素において、局所垂直勾配及び局所水平勾配が計算される。従来の研究では、局所垂直勾配及び局所水平勾配は、３×３の垂直及び水平ソーベルフィルタによって計算される。更に、従来の方法では、このコンテキストにおける復号化された関心画素は、勾配フィルタがコンテキスト境界から外れない復号化された画素を指す。したがって、これらの研究では、勾配の完全な抽出は、コンテキストによる３×３の垂直及び水平ソーベルフィルタの「有効な」畳み込みによって要約することができる。
予測される所与のブロックに対して、このブロックの上の復号化された画素のｈ行及びこのブロックの左側の復号化された画素のｗ列のＬ字型コンテキストが考慮され（図７を参照されたい）、これは予測されるＷ×Ｈブロックのコンテキストからの勾配の抽出を示す。予測されるブロックは白色で表示される。このブロックのコンテキストは灰色で表示される。コンテキストは、ブロックの上に位置する復号化された画素のｈ行及びブロックの左側に位置する画素のｗ列を含む。勾配フィルタは黒い枠で囲まれている。このコンテキストにおける各復号化された関心画素において、局所垂直勾配及び局所水平勾配が計算される。従来の研究では、局所垂直勾配及び局所水平勾配は、３×３の垂直及び水平ソーベルフィルタによって計算される。更に、従来の方法では、このコンテキストにおける復号化された関心画素は、勾配フィルタがコンテキスト境界から外れない復号化された画素を指す。したがって、これらの研究では、勾配の完全な抽出は、コンテキストによる３×３の垂直及び水平ソーベルフィルタの「有効な」畳み込みによって要約することができる。
【0026】
勾配方向のヒストグラム（ＨＯＧ）の充填
ＨＯＧでは、各ビンは、異なる指向性イントラ予測モードのインデックスに関連付けられる。初期化時に、全てのＨＯＧビンは０となる。局所垂直勾配ＧＶＥＲ及び局所水平勾配ＧＨＯＲが計算される関心の復号化画素ごとに、方向は、ＧＶＥＲ及びＧＨＯＲから導出され、その方向が導出された方向に最も近い指向性イントラ予測モードのインデックスに関連付けられたビンが増分される。このインデックスは、「ターゲットイントラ予測モードインデックス」と呼ばれる。
ＨＯＧでは、各ビンは、異なる指向性イントラ予測モードのインデックスに関連付けられる。初期化時に、全てのＨＯＧビンは０となる。局所垂直勾配ＧＶＥＲ及び局所水平勾配ＧＨＯＲが計算される関心の復号化画素ごとに、方向は、ＧＶＥＲ及びＧＨＯＲから導出され、その方向が導出された方向に最も近い指向性イントラ予測モードのインデックスに関連付けられたビンが増分される。このインデックスは、「ターゲットイントラ予測モードインデックス」と呼ばれる。
【0027】
より正確には、所与の復号化された関心画素に対して、ＧＶＥＲ及びＧＨＯＲからの方向の導出は、以下の観察に基づく。指向性イントラ予測モードによるブロックの予測の間、絶対値における最大勾配は、通常、モード方向に垂直に従う。したがって、ＧＶＥＲ及びＧＨＯＲから導出される方向は、成分ＧＶＥＲ及びＧＨＯＲの勾配に垂直でなければならない。例えば、ＥＣＭの枠組みでは、６５個のＶＶＣ指向性イントラ予測モードを使用して、正の垂直勾配の方向が上から下に進み、正の水平勾配の方向が右から左に進む垂直及び水平勾配フィルタを考慮して、ＧＶＥＲ及びＧＨＯＲの絶対値及びＧＶＥＲ及びＧＨＯＲの符号からターゲットイントラ予測モードインデックスの範囲までのマッピングは、図８に表示される。
【0028】
ここで、｜ＧＶＥＲ｜＞｜ＧＨＯＲ｜の場合、参照軸は水平軸である。そうでない場合、参照軸は垂直軸である。成分ＧＶＥＲ及びＧＨＯＲの参照軸と勾配Ｇに垂直な方向との間の角度θは、ｔａｎ（θ）＝｜ＧＨＯＲ｜／｜ＧＶＥＲ｜によって与えられ、｜ＧＶＥＲ｜＞｜ＧＨＯＲ｜である場合、ｔａｎ（θ）＝｜ＧＶＥＲ｜／｜ＧＨＯＲ｜であり、それ以外は、図９及び図１０を参照されたい。
【0029】
局所垂直勾配ＧＶＥＲ及び局所水平勾配ＧＨＯＲが計算される現在の復号化された関心画素について、図８のように見つけられたイントラ予測モードインデックスの範囲の場合、ここで参照軸に対する角度がθに最も近いイントラ予測モードのインデックスを見つけることが可能である。次いで、見つかったターゲットイントラ予測モードのインデックスに関連付けられたビンは、｜ＧＨＯＲ｜＋｜ＧＶＥＲ｜だけ増分される。これは、ＨＯＧをＨ、及び発見されたターゲットイントラ予測モードのインデックスに関連付けられたビンをｉとすることにより、Ｈ［ｉ］＝Ｈ［ｉ］＋｜ＧＨＯＲ｜＋｜ＧＶＥＲ｜となることを意味する。
【0030】
現在の復号化された関心画素について、ＧＨＯＲ＝ＧＶＥＲ＝０である場合、ＨＯＧ内のビンは増分されないことに留意されたい。
【0031】
イントラ予測モード（複数の場合もある）の推定
ＨＯＧの充填が完了すると、最高品質を有する予測を生成する可能性が最も高い指向性イントラ予測モードのインデックスは、最大の大きさのビンに関連付けられたものである。ＤＩＭＤのいくつかの変形では、最大の大きさを有する２つのビンが、ＤＩＭＤに従って最高品質を有する２つの予測をもたらす可能性が最も高い指向性イントラ予測モードのインデックスを見つけるために識別され、これらの２つのモードは、任意選択でＰＬＡＮＡＲと線形結合される。
ＨＯＧの充填が完了すると、最高品質を有する予測を生成する可能性が最も高い指向性イントラ予測モードのインデックスは、最大の大きさのビンに関連付けられたものである。ＤＩＭＤのいくつかの変形では、最大の大きさを有する２つのビンが、ＤＩＭＤに従って最高品質を有する２つの予測をもたらす可能性が最も高い指向性イントラ予測モードのインデックスを見つけるために識別され、これらの２つのモードは、任意選択でＰＬＡＮＡＲと線形結合される。
【0032】
ＥＣＭにおけるＤＩＭＤのシグナリング
ＥＣＭでは、予測される所与の輝度コーディングブロック（ＣＢ）について、ＤＩＭＤは、この輝度ＣＢを予測するために選択されたイントラ予測モードのシグナリングの決定木において最初に、すなわち、テンプレートマッチング予測フラグ及びＭＩＰフラグの前に配置されたＤＩＭＤフラグを介してシグナリングされる。
ＥＣＭでは、予測される所与の輝度コーディングブロック（ＣＢ）について、ＤＩＭＤは、この輝度ＣＢを予測するために選択されたイントラ予測モードのシグナリングの決定木において最初に、すなわち、テンプレートマッチング予測フラグ及びＭＩＰフラグの前に配置されたＤＩＭＤフラグを介してシグナリングされる。
【0033】
ＤＩＭＤに関連する問題
コンテキストの限定拡張
予測される所与のブロックについて、コンテキストは、その一般的な設計において、このブロックの右上側に復号化された画素を含まず、その左下側に復号化された画素を含まない。しかし、現在のコーディングユニット（ＣＵ）のサイズ、現在のコーディングツリーユニット（ＣＴＵ）内のその位置、及び現在の枠内のその位置に応じて、このブロックの右上側及び／又は左下側の復号化された画素が利用可能であり得る。関連する強度勾配の大部分がこのブロックの右上側及び／又は左下側に位置する場合、これらの復号化された画素がコンテキストに含まれないという事実は、利用可能な情報の重大な損失と見なすことができる。
コンテキストの限定拡張
予測される所与のブロックについて、コンテキストは、その一般的な設計において、このブロックの右上側に復号化された画素を含まず、その左下側に復号化された画素を含まない。しかし、現在のコーディングユニット（ＣＵ）のサイズ、現在のコーディングツリーユニット（ＣＴＵ）内のその位置、及び現在の枠内のその位置に応じて、このブロックの右上側及び／又は左下側の復号化された画素が利用可能であり得る。関連する強度勾配の大部分がこのブロックの右上側及び／又は左下側に位置する場合、これらの復号化された画素がコンテキストに含まれないという事実は、利用可能な情報の重大な損失と見なすことができる。
【0034】
角度離散化における不連続性
ＥＣＭ－２．０ソフトウェア内のファイル「ＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ．ｃｐｐ」内のもののような、ＤＩＭＤの一般的な実施態様では、所与の復号化された画素の場合、局所垂直勾配ＧＶＥＲ及び局所水平勾配ＧＨＯＲは、ターゲットイントラ予測モードインデックスの見出された範囲について計算され（図８を参照されたい）、角度θは、この範囲内の参照軸に対する各イントラ予測モードの角度と直接比較されない。実際、ＶＶＣ及びＥＣＭでは、その参照軸に対する各イントラ予測モードの絶対角度は、スケーリングされた整数形式で記憶される。したがって、
ＥＣＭ－２．０ソフトウェア内のファイル「ＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ．ｃｐｐ」内のもののような、ＤＩＭＤの一般的な実施態様では、所与の復号化された画素の場合、局所垂直勾配ＧＶＥＲ及び局所水平勾配ＧＨＯＲは、ターゲットイントラ予測モードインデックスの見出された範囲について計算され（図８を参照されたい）、角度θは、この範囲内の参照軸に対する各イントラ予測モードの角度と直接比較されない。実際、ＶＶＣ及びＥＣＭでは、その参照軸に対する各イントラ予測モードの絶対角度は、スケーリングされた整数形式で記憶される。したがって、
【0035】
【数1】
【0036】
【数2】
【0037】
ＥＣＭ－２．０ソフトウェアのファイル「ＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ．ｃｐｐ」内のもののような、ＤＩＭＤの一般的な実施態様では、｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜すなわち、
【0038】
【数3】
【0039】
【数4】
【0040】
この記載における一般的な態様は、ＤＩＭＤコンテキストの限定された範囲及び角度離散化における不連続性を直すことを目的とする。
【0041】
ＤＩＭＤコンテキストの限定された範囲に関して、ＤＩＭＤコンテキストを現在のブロックの右上側及びその左下側に向かって拡張することが提案される。
【0042】
角度離散化における不連続性に関して、｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜、すなわち、
【0043】
【数5】
【0044】
【数6】
【0045】
ＤＩＭＤコンテキストの拡張
所与の予測されるＷ×Ｈブロックについて、ＤＩＭＤコンテキストは、このブロックの右上側及びその左下側に向かって拡張され得る。例では、このブロックの右上側への拡張は、復号化された画素のＷ個の追加の列の限界において、可能な限り多くの利用可能な復号化された画素をカバーすることができる。このブロックの左下側への拡張は、復号化された画素のＨ個の追加の行の限界において、可能な限り多くの利用可能な復号化された画素をカバーすることができる（図１３、図１４、図１５、図１６、及び図１７を参照されたい）。
所与の予測されるＷ×Ｈブロックについて、ＤＩＭＤコンテキストは、このブロックの右上側及びその左下側に向かって拡張され得る。例では、このブロックの右上側への拡張は、復号化された画素のＷ個の追加の列の限界において、可能な限り多くの利用可能な復号化された画素をカバーすることができる。このブロックの左下側への拡張は、復号化された画素のＨ個の追加の行の限界において、可能な限り多くの利用可能な復号化された画素をカバーすることができる（図１３、図１４、図１５、図１６、及び図１７を参照されたい）。
【0046】
図１３は、このブロックの左下側のＨ個の行では、全ての復号化された画素が利用可能であり、このブロックの右上側のＷ個の行では、全ての復号化された画素が利用可能である場合、このブロックの右上側及びその左下側に向かうＷ×ＨブロックのＤＩＭＤコンテキストの拡張を示す。コンテキストは灰色で表示される。ブロックは白色で示されている。黒い破線は、利用可能な復号化された画素と利用不可能な画素との間の境界を示す。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0047】
図１４は、このブロックの左下側のＨ個の行では、復号化された画素がいずれも利用できず、このブロックの右上側のＷ個の行では、全ての復号化された画素が利用可能である場合、このブロックの右上側及びその左下側に向かうＷ×ＨブロックのＤＩＭＤコンテキストの拡張を示す。コンテキストは灰色で表示される。ブロックは白色で示されている。黒い破線は、利用可能な復号化された画素と利用不可能な画素との間の境界を示す。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0048】
図１５は、このブロックの左下側のＨ個の行では、全ての復号化された画素が利用可能であり、このブロックの右上側のＷ個の行では、復号化された画素がいずれも利用できない場合、このブロックの右上側及びその左下側に向かうＷ×ＨブロックのＤＩＭＤコンテキストの拡張を示す。コンテキストは灰色で表示される。ブロックは白色で示されている。黒い破線は、利用可能な復号化された画素と利用不可能な画素との間の境界を示す。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0049】
図１６は、このブロックの左下側では復号化された画素がいずれも利用できず、このブロックの右上側のＷ個の行では、全ての復号化された画素が利用可能である場合、このブロックの右上側及びその左下側に向かうＷ×ＨブロックのＤＩＭＤコンテキストの拡張を示す。コンテキストは灰色で表示される。ブロックは白色で示されている。黒い破線は、利用可能な復号化された画素と利用不可能な画素との間の境界を示す。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0050】
図１７は、このブロックの左下側のＨ個の行では、全ての復号化された画素が利用可能であり、このブロックの上の復号化された画素がいずれも利用できない場合、このブロックの右上側及びその左下側に向かうＷ×ＨブロックのＤＩＭＤコンテキストの拡張を示す。コンテキストは灰色で表示される。ブロックは白色で示されている。黒い破線は、利用可能な復号化された画素と利用不可能な画素との間の境界を示す。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0051】
したがって、復号化された参照画素の利用可能性に関して、ＤＩＭＤコンテキストの抽出は、ＤＩＭＤコンテキストが、このブロックの左側の復号化された画素のｗ個の列（１の代わりに）及びこのブロックの上の復号化された画素のｈ個の行（１の代わりに）を含むことを除いて、ＶＶＣにおける復号化された参照サンプルの収集と同等である。この場合、予測される所与のＷ×Ｈブロックに対して、復号化された参照サンプルのセットは常にＤＩＭＤコンテキストに含まれるので、ＤＩＭＤによって推測されるイントラ予測モード（複数の場合もある）を介してこのブロックの予測を実行するために使用される復号化された参照サンプルは、ＤＩＭＤにおける勾配の計算に必然的に含まれる。これにより、ＤＩＭＤにおけるテクスチャ分析と、ＤＩＭＤによって推測されるイントラ予測モード（複数の場合もある）を介した予測との間の何らかの一貫性が保証される。
【0052】
例では、ＶＶＣにおける復号化された参照サンプルの収集とは異なり、現在のブロックのＤＩＭＤコンテキストの抽出において、利用不可能な復号化された画素の置換はない。実際に、置換され復号化された画素において、局所的な勾配値は、人工的に導入された画素値によって上方に傾斜され得る。
【0053】
例では、利用可能な復号化された画素において排他的に、局所勾配を計算することができ、それらの値は、ＨＯＧビンを増分するために使用することができる。利用不可能な復号化された画素では、局所勾配を計算することができず、この利用不可能な復号化された画素に対してＨＯＧビンのいずれも増分されない。図１８は、図１４の場合、３×３水平勾配フィルタと３×３垂直勾配フィルタと使用して、利用可能な復号化された画素において局所勾配が計算されることを示す。すなわち、図１８は、Ｗ×ＨブロックのＤＩＭＤコンテキストにおける利用可能な復号化された画素を示し、黒で塗りつぶされた局所勾配が計算される。３×３水平勾配フィルタと３×３垂直勾配フィルタとを使用して、黒で塗りつぶされた各復号化された画素における２つの局所勾配を計算する。灰色の利用可能な復号化された画素は、ＤＩＭＤコンテキストに属するが、勾配フィルタがＤＩＭＤコンテキストの境界から外れるので、それらにおいて局所勾配は計算されない。ここではＨ＝４であり、Ｗ＝８であり、ｈ＝ｗ＝４である。
【0054】
ＤＩＭＤにおける連続角度離散化
上述したように、｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜、すなわち、
上述したように、｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜、すなわち、
【0055】
【数7】
【0056】
【数8】
【0057】
したがって、ＥＣＭ－２．０の現在の実施態様では、｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜及びＧＨＯＲ及びＧＶＥＲが同じ符号を有する場合、ターゲットイントラ予測モードインデックスは３４である。｜ＧＨＯＲ｜＝｜ＧＶＥＲ｜及びＧＨＯＲ及びＧＶＥＲが反対の符号を有する場合、ターゲットイントラ予測モードインデックスは、６６である。
【0058】
上述の原理は、ＤＩＭＤが推論することができる指向性イントラ予測モードの異なるパラメータ付けに簡単に一般化することができる。例えば、ＤＩＭＤが推論することができる指向性イントラ予測モードの数が、６５から１２９まで増加すると、水平モードのインデックスは３４になり、対角モードのインデックスは６６になり、垂直モードのインデックスは、９８になり、垂直対角モードのインデックスは１３０になる。更に、θから
【0059】
【数9】
【0060】
【数10】
【0061】
【数11】
【0062】
本明細書で記載する一般的な態様下での方法１９００の１つの実施形態が図１９に示される。この方法は開始ブロック１９０１で始まり、制御は、現在のビデオブロックを取り囲む参照画素の１つ以上の勾配を決定するブロック１９１０に進む。制御は、ブロック１９１０からブロック１９２０に進み、当該勾配に基づいて現在のビデオブロックを符号化するために使用するイントラ予測モードを決定し、制御は、ブロック１９２０からブロック１９３０に進み、決定されたイントラ予測モードを使用して現在のビデオブロックを符号化する。
【0063】
本明細書で記載する一般的な態様下での方法２０００の１つの実施形態が図２０に示されている。この方法は開始ブロック２００１で始まり、制御はブロック２０１０に進み、現在のビデオブロックを取り囲む参照画素の１つ以上の勾配を決定する。制御は、ブロック２０１０からブロック２０２０に進み、当該勾配に基づいて現在のビデオブロックを復号化するために使用するイントラ予測モードを決定し、制御は、ブロック２０２０からブロック２０３０に進み、決定されたイントラ予測モードを使用して現在のビデオブロックを復号化する。
【0064】
図７は、デコーダイントラモード導出のために拡張参照領域を使用してビデオデータを符号化、復号化、圧縮、又は解凍するための装置７００の１つの実施形態を示す。この装置は、プロセッサ７１０を備えており、少なくとも１つのポートを通じてメモリ７２０に相互接続することができる。プロセッサ７１０及びメモリ７２０は両方とも、外部接続への１つ以上の追加の相互接続を有することもできる。
【0065】
更にプロセッサ７１０は、ビットストリームにおいて情報を挿入又は受信し、記載した態様のいずれかを使用して圧縮、符号化、又は復号化するように構成されている。
【0066】
本明細書で説明する実施形態は、ツール、特徴、実施形態、モデル、手法などを含む、様々な態様を含む。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る方法で記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。
【0067】
本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。図２２、図２３、及び図２４は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図２２、図２３、及び図２４の考察は、実施態様の範囲を制限しない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号化に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号化するための命令を自体に記憶したコンピュータ可読記憶媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自体に記憶したコンピュータ可読記憶媒体、として実装することができる。
【0068】
本出願では、「再構成された」及び「復号化された」という用語は交換可能に使用され得、「ピクセル」及び「サンプル」という用語は交換可能に使用され得、「画像」、「ピクチャ」、及び「フレーム」という用語は交換可能に使用され得る。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号化された」という用語は、デコーダ側で使用される。
【0069】
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。
【0070】
本出願に記載されている様々な方法及び他の態様を使用して、図２２及び図２３に示されるようなビデオエンコーダ１００及びビデオデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピコーディングモジュール、及び／又は復号化モジュール（１６０、３６０、１４５、３３０）を修正することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。
【0071】
本出願において、様々な数値が使用されている。具体的な値は、例示目的のためであり、記載の態様は、これらの具体的な値に限定されない。
【0072】
図２２は、エンコーダ１００を示す。このエンコーダ１００の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ１００について説明される。
【0073】
符号化される前に、ビデオシーケンスは、符号化前処理（１０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経ることができる。メタデータを前処理に関連付け、ビットストリームに付加することができる。
【0074】
エンコーダ１００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分割され（１０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び動き補償（１７０）が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（１０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって（１１０）計算される。
【0075】
その予測残差は、次いで、変換され（１２５）、量子化される（１３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコーディングされる（１４５）。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コーディングされる。
【0076】
エンコーダは、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号化するために逆量子化され（１４０）、逆変換される（１５０）。復号化された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構成される。ループ内フィルタ（１６５）は、例えば、符号化アーチファクトを低減するためのデブロッキング／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。
【0077】
図２３は、ビデオデコーダ２００のブロック図を示している。デコーダ２００では、以下に説明するように、ビットストリームが、デコーダ要素によって復号化される。ビデオデコーダ２００は、概して、図２２で記載したような符号化パスとは逆の復号化パスを実行する。エンコーダ１００もまた、概して、ビデオデータを符号化することの一部としてビデオ復号化を実行する。
【0078】
特に、デコーダの入力は、ビデオビットストリームを含み、このビデオビットストリームは、ビデオエンコーダ１００によって生成され得るものである。ビットストリームは、最初に、変換係数、動きベクトル、及び他のコーディングされた情報を取得するために、エントロピ復号化される（２３０）。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号化されたピクチャ分割情報に従ってピクチャを分割し得る（２３５）。変換係数は、予測残差を復号化するために、逆量子化され（２４０）、逆変換される（２５０）。復号化された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から、予測ブロックを得ることができる（２７０）。ループ内フィルタ（２６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【0079】
復号化されたピクチャは、復号化後処理（２８５）、例えば、逆カラー変換（例えば、ＹｃｂＣｒ４：２：０からＲＧＢ４：４：４への転換）、又は符号化前処理（１０１）において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
【0080】
図２４は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。システム１０００は、以下に記載の様々な構成要素を含むデバイスとして具体化することができ、本明細書に記載の態様のうちの１つ以上を行うように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム１０００の要素を、単独で又は組み合わせて、単一の集積回路（integrated circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素に具体化することができる。例えば、少なくとも１つの実施形態では、システム１０００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は別個の構成要素にわたって分散している。様々な実施形態では、システム１０００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１０００は、本文書に説明される態様のうちの１つ以上を実装するように構成されている。
【0081】
システム１０００は、例えば、本明細書に記載される様々な態様を実装するために、それ自体にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、記憶デバイス１０４０を含み、これは、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、付属記憶デバイス（取り外し可能及び取り外し不可能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。
【0082】
システム１０００は、例えば、符号化されたビデオ又は復号化されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号化機能を実行するためのデバイスに含めることができるモジュール（複数可）を表す。既知であるように、デバイスは、符号化モジュール及び復号化モジュールのうちの一方又は両方を含むことができる。更に、エンコーダ／デコーダモジュール１０３０を、システム１０００の別個の要素として実装することができるが、又は当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込むことができる。
【0083】
本明細書に記載の様々な態様を行うためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、記憶デバイス１０４０に格納することができ、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込むことができる。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本明細書で説明されたプロセスの実行中に様々なアイテムのうちの１つ以上を格納することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号化されたビデオ、又は復号化されたビデオの部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
【0084】
いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を記憶し、符号化又は復号化中に必要とされる処理のための作業メモリを提供するために使用される。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスを、プロセッサ１０１０か、又はエンコーダ／デコーダモジュール１０３０のいずれかとすることができる）の外部のメモリを、これらの機能のうちの１つ以上のために使用する。外部メモリを、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、動的揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを格納する。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐと称され、ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣは高効率映像符号化と称され、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、又はＶＶＣ（ＪＶＥＴによって開発中の新しい標準である多用途ビデオ符号化）などのビデオの符号化動作及び復号化動作のための作業メモリとして使用される。
【0085】
システム１０００の要素への入力を、ブロック１１３０に示されるような様々な入力デバイスを通じて提供することができる。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（radio frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。図２４には示されていないが、他の例は、コンポジットビデオを含む。
【0086】
様々な実施形態では、ブロック１１３０の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択すること（信号を選択すること、又は信号をある周波数帯域に帯域制限することとも称される）と、（ｉｉ）選択された信号をダウンコンバートすることと、（ｉｉｉ）（例えば）特定の実施形態でチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限することと、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調することと、（ｖ）エラー訂正を実行することと、（ｖｉ）所望のデータパケットのストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差訂正器、及びデマルチプレクサを含む。ＲＦ部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、ＲＦ部分及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。
【0087】
更に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード－ソロモンエラー訂正を、例えば、必要に応じて、別個の入力処理ＩＣ内に又はプロセッサ１０１０内に実装することができることを理解すべきである。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内、又はプロセッサ１０１０内で実装することができる。例えば、プロセッサ１０１０、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ／デコーダ１０３０を含む様々な処理要素に、復調され、誤り訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために、必要に応じて、データストリームを処理する。
【0088】
システム１０００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続配設、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。
【0089】
システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０を、例えば、有線媒体及び／又は無線媒体内に実装することができる。
【0090】
データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、又は別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル１０６０及び通信インターフェース１０５０によって受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１１３０のＨＤＭＩ接続によってデータを配信するセットトップボックスを使用して、システム１０００にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック１１３０のＲＦ接続を使用して、システム１０００にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。
【0091】
システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は別のデバイス用とすることができる。また、ディスプレイ１１００を、他の構成要素と統合することができ（例えば、スマートフォンの場合のように）、又は別個にする（例えば、ラップトップ用の外部モニタ）こともできる。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク（又はデジタル多用途ディスク）（両方の用語でＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。
【0092】
様々な実施形態では、制御信号が、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、家庭用電子制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通じた専用接続を介してシステム１０００に通信可能に連結することができる。代替的に、出力デバイスを、通信インターフェース１０５０を介し、通信チャネル１０６０を使用して、システム１０００に接続させることができる。ディスプレイ１１００及びスピーカ１１１０を、例えば、テレビなどの電子デバイスにおけるシステム１０００の他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。
【0093】
例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０を、代替的に、他の構成要素のうちの１つ以上から分かれたものとすることができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して出力信号を提供することができる。
【0094】
実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実行することができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１０２０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリデバイス等、任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１０１０は、技術環境に適切な任意のタイプのものとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。
【0095】
様々な実装形態は、復号化を伴う。本出願で使用される「復号化」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。
【0096】
更なる例として、一実施形態では、「復号化」とは、エントロピ復号化のみを指し、別の実施形態では、「復号化」とは、差動復号化のみを指し、別の実施形態では、「復号化」とは、エントロピ復号化と差動復号化との組み合わせを指す。「復号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0097】
様々な実装形態は、符号化を伴う。本出願で使用される「符号化」は、「復号化」に関する上記の説明と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替的に、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスが含まれる。
【0098】
更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0099】
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
【0100】
図がフロー図として提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフロー図も提供するものと理解されたい。
【0101】
様々な実施形態が、パラメトリックモデル又はレート歪み最適化に関連し得る。特に、符号化プロセス中に、しばしば計算複雑性の制約ゆえに、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化（Rate Distortion Optimization、ＲＤＯ）メトリックを通して、あるいは最小二乗平均（Least Mean Square、ＬＭＳ）、絶対誤差平均（Mean of Absolute Errors、ＭＡＥ）、又は他のかかる測定を通して、これを測定することができる。レート歪み最適化は、通常、レートと歪みとの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なる手法がある。例えば、これらの手法は、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得るが、それらの符号化コスト、並びに符号化及び復号化後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くの手法は、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。
【0102】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。この方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサで実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／携帯情報端末（portable/personal digital assistant、「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【0103】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0104】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。
【0105】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
【0106】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの方式で関与する。
【0107】
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも１つ」の場合、次の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0108】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード又はフラグのうちの特定の１つをシグナリングする。このように、ある実施形態では、同じ変換、パラメータ又はモードが、エンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明示的なシグナリング）。これに対し、デコーダが既にその特定のパラメータとともに他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0109】
当業者には明白であるように、実装形態は、例えば、記憶され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実施するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
【0110】
前述のセクションは、様々な請求項のカテゴリ及びタイプにわたる、いくつかの実施形態を説明している。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・デコーダ側イントラモード導出のために参照画素の拡張領域を使用する。
・参照画素の拡張領域を使用して各参照画素に対する勾配を実行する上記方法。
・勾配が２次元フィルタを使用して決定される上記方法。
・フィルタが参照画素の拡張領域外の画素を使用しない上記方法。
・参照画素の拡張領域が、現在のビデオブロックの上、右上、及び左上の１つ以上の行、並びに現在のビデオブロックの左、左上、及び左下の１つ以上の列に拡張する、上記方法のいずれか。
・上記の機能を実行するための１つ以上のシンタックス要素を含むビットストリーム若しくは信号、又はその変形。
・ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む。
・説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号化する。
・説明された実施形態のいずれかによって、方法、プロセス、装置、命令を記憶する媒体、データ又は信号を記憶する媒体を提供する。
・エンコーダによって使用される様態に対応する様態で、デコーダが復号化情報を判定することを可能にするシンタックス要素をシグナリングに挿入する。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号化する。
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかによる変換方法（複数可）を実行する。
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかにより、変換方法（複数可）を決定し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、又はその他のタイプのディスプレイを使用して表示する）。
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、説明される実施形態のいずれかによって、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用してチューニングし）て、符号化済み画像を含む信号を受信し、変換方法（複数可）を実行する。
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化済み画像を含む信号を放送により受信（例えばアンテナを使用して受信）し、変換方法（複数可）を実行する。
・デコーダ側イントラモード導出のために参照画素の拡張領域を使用する。
・参照画素の拡張領域を使用して各参照画素に対する勾配を実行する上記方法。
・勾配が２次元フィルタを使用して決定される上記方法。
・フィルタが参照画素の拡張領域外の画素を使用しない上記方法。
・参照画素の拡張領域が、現在のビデオブロックの上、右上、及び左上の１つ以上の行、並びに現在のビデオブロックの左、左上、及び左下の１つ以上の列に拡張する、上記方法のいずれか。
・上記の機能を実行するための１つ以上のシンタックス要素を含むビットストリーム若しくは信号、又はその変形。
・ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む。
・説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号化する。
・説明された実施形態のいずれかによって、方法、プロセス、装置、命令を記憶する媒体、データ又は信号を記憶する媒体を提供する。
・エンコーダによって使用される様態に対応する様態で、デコーダが復号化情報を判定することを可能にするシンタックス要素をシグナリングに挿入する。
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号化する。
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかによる変換方法（複数可）を実行する。
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかにより、変換方法（複数可）を決定し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、又はその他のタイプのディスプレイを使用して表示する）。
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、説明される実施形態のいずれかによって、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用してチューニングし）て、符号化済み画像を含む信号を受信し、変換方法（複数可）を実行する。
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化済み画像を含む信号を放送により受信（例えばアンテナを使用して受信）し、変換方法（複数可）を実行する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】