特許 7507279 ビデオ符号化および復号における適応的照度補償のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-19

(45)【発行日】2024-06-27

(54)【発明の名称】ビデオ符号化および復号における適応的照度補償のための方法および装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20240620BHJP

   H04N 19/136 20140101ALI20240620BHJP

   H04N 19/176 20140101ALI20240620BHJP

   H04N 19/513 20140101ALI20240620BHJP

【ＦＩ】

H04N19/105

H04N19/136

H04N19/176

H04N19/513

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023042042

(22)【出願日】2023-03-16

(62)【分割の表示】P 2020519390の分割

【原出願日】2018-10-04

(65)【公開番号】P2023082025

(43)【公開日】2023-06-13

【審査請求日】2023-04-05

(31)【優先権主張番号】17306333.0

(32)【優先日】2017-10-05

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】17306613.5

(32)【優先日】2017-11-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ギャルピン，フランク

(72)【発明者】

【氏名】ラケイプ，ファビアン

(72)【発明者】

【氏名】ボルデ，フィリップ

【審査官】岩井 健二

(56)【参考文献】

【文献】特表２００９－５３２９３１（ＪＰ，Ａ）

【文献】国際公開第２０１６／２０４３６０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１６／０３６６４１５（ＵＳ，Ａ１）

【文献】Jianle Chen et al.，Algorithm Description of Joint Exploration Test Model 7 (JEM 7)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-G1001-v1，7th Meeting: Torino, IT，2017年08月，p.17

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオデータを復号するための方法であって、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを復号することと、を含む、方法。

【請求項2】

ビデオデータを符号化するための方法であって、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを符号化することと、を含む、方法。

【請求項3】

前記ブロックが前記複数の隣接する再構築されたブロックの上部の隣接する再構築されたブロックから前記動き情報を導出することに応じて、前記ブロックの上の隣接するサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項１または２に記載の方法。

【請求項4】

テンプレート領域の上部全体が選択されて前記サンプルのセット内に含まれる、請求項３に記載の方法。

【請求項5】

前記ブロックが前記複数の隣接する再構築されたブロックの左側の隣接する再構築されたブロックから前記動き情報を導出することに応じて、前記ブロックの左側の隣接するサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項１または２に記載の方法。

【請求項6】

テンプレート領域の左部分全体が選択されて前記サンプルのセット内に含まれる、請求項５に記載の方法。

【請求項7】

前記隣接する再構築されたブロックからのサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項１または２に記載の方法。

【請求項8】

前記複数の隣接する再構築されたブロックの動き情報を含む動き候補のリストを取得することをさらに含み、インデックスが、前記ブロックが前記隣接する再構築されたブロックから動き情報を導出することを示す、請求項１または２に記載の方法。

【請求項9】

ビデオデータを復号するための装置であって、
１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを復号することと、を行うように構成される、装置。

【請求項10】

ビデオデータを符号化するための装置であって、
１つ以上のプロセッサを備え、前記１つ以上のプロセッサが、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを符号化することと、を行うように構成される、装置。

【請求項11】

前記ブロックが前記複数の隣接する再構築されたブロックの上部の隣接する再構築されたブロックから前記動き情報を導出することに応じて、前記ブロックの上の隣接するサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項９または１０に記載の装置。

【請求項12】

テンプレート領域の上部全体が選択されて前記サンプルのセット内に含まれる、請求項１１に記載の装置。

【請求項13】

前記ブロックが前記複数の隣接する再構築されたブロックの左側の隣接する再構築されたブロックから前記動き情報を導出することに応じて、前記ブロックの左側の隣接するサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項９または１０に記載の装置。

【請求項14】

テンプレート領域の左部分全体が選択されて前記サンプルのセット内に含まれる、請求項１３に記載の装置。

【請求項15】

前記隣接する再構築されたブロックからのサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項９または１０に記載の装置。

【請求項16】

前記１つ以上のプロセッサが、前記複数の隣接する再構築されたブロックの動き情報を含む動き候補のリストを取得するようにさらに構成され、インデックスが、前記ブロックが前記隣接する再構築されたブロックから動き情報を導出することを示す、請求項９または１０に記載の装置。

【請求項17】

コンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、実行された場合に復号方法を実施し、前記復号方法が、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを復号することと、を含む、非一時的コンピュータ可読媒体。

【請求項18】

コンピュータ実行可能命令が記憶された非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、実行された場合に符号化方法を実施し、前記符号化方法が、
ピクチャ内のブロックが複数の隣接する再構築されたブロックの隣接する再構築されたブロックから動き情報を導出すると判定することと、
前記判定することに応じて、前記隣接する再構築されたブロックからサンプルのセットを選択することと、
参照ピクチャから、前記サンプルのセットに対応する別のサンプルのセットを選択することと、
前記選択されたサンプルのセットおよび前記選択された別のサンプルのセットに基づいて、前記ブロックに対する１つ以上の照度補償パラメータを判定することと、
前記ブロックに対する照度補償された予測ブロックを形成するために、前記判定された１つ以上の照度補償パラメータに基づいて、前記ブロックに対する予測ブロックに照度補償を適用することと、
前記照度補償された予測ブロックを使用して、前記ブロックを符号化することと、を含む、非一時的コンピュータ可読媒体。

【請求項19】

前記ブロックが前記複数の隣接する再構築されたブロックの上部の隣接する再構築されたブロックから前記動き情報を導出することに応じて、前記ブロックの上の隣接するサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項１７または１８に記載の媒体。

【請求項20】

前記隣接する再構築されたブロックからのサンプルのみが選択されて前記サンプルのセット内に含まれる、請求項１７または１８に記載の媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは、概して、ビデオ符号化または復号のための方法または装置に関し、より具体的には、ビデオ符号化または復号において照度補償パラメータを判定するための方法または装置に関する。

【背景技術】

【0002】

高い圧縮効率を達成するために、画像およびビデオのコード化スキームは、通常、予測および変換を用いて、ビデオコンテンツの空間的および時間的冗長性を活用する。一般に、イントラまたはインター予測は、イントラまたはインターフレーム相関を活用するために使用され、次いで、元のブロックと予測されたブロックとの間の差、多くの場合予測誤差または予測残差と称される差が、変換され、量子化され、エントロピー符号化される。ビデオを再構築するために、圧縮データは、エントロピー符号化、量子化、変換、および予測に対応する逆プロセスによって復号される。

【発明の概要】

【0003】

少なくとも１つの実施形態の一般的な態様によれば、ビデオデータを符号化するための方法が提示され、ピクチャ内で符号化されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択することと、上記選択された１つ以上の隣接するサンプルに基づいて、上記現在のブロックに対する１つ以上の照度補償パラメータを判定することと、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整することと、上記調整された予測ブロックを使用して、上記現在のブロックを符号化することと、を含む。

【0004】

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデータを復号するための方法が提示され、ピクチャ内で復号されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択することと、上記選択された１つ以上の隣接するサンプルに基づいて、１つ以上の照度補償パラメータを判定することと、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整することと、上記調整された予測ブロックに基づいて、上記現在のブロックを復号することと、を含む。

【0005】

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデータを符号化するための装置が提示され、ピクチャ内で符号化されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択するための手段と、上記選択された１つ以上の隣接するサンプルに基づいて、上記現在のブロックに対する１つ以上の照度補償パラメータを判定するための手段と、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整するための手段と、上記調整された予測ブロックを使用して、上記現在のブロックを符号化するための手段と、を備える。

【0006】

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデータを復号するための装置が提示され、ピクチャ内で復号されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択するための手段と、上記選択された１つ以上の隣接するサンプルに基づいて、１つ以上の照度補償パラメータを判定するための手段と、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整するための手段と、上記調整された予測ブロックに基づいて、上記現在のブロックを復号するための手段と、を備える。

【0007】

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデータを符号化するための装置が提示され、少なくともメモリおよび１つ以上のプロセッサを備え、上記１つ以上のプロセッサが、ピクチャ内で符号化されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択することと、上記選択された１つ以上の隣接するサンプルに基づいて、上記現在のブロックに対する１つ以上の照度補償パラメータを判定することと、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整することと、上記調整された予測ブロックを使用して、上記現在のブロックを符号化することと、を行うように構成される。

【0008】

少なくとも１つの実施形態の別の一般的な態様によれば、ビデオデータを復号するための装置が提供され、少なくともメモリおよび１つ以上のプロセッサを備え、上記１つ以上のプロセッサが、ピクチャ内で復号されている現在のブロックに対して、複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて、上記現在のブロックの複数の隣接する再構築されたブロックから１つ以上の隣接するサンプルを選択することと、上記選択された１つ以上の隣接するサンプルに基づいて、１つ以上の照度補償パラメータを判定することと、上記判定された１つ以上の照度補償パラメータに基づいて、上記現在のブロックに対する予測ブロックを調整することと、上記調整された予測ブロックに基づいて、上記現在のブロックを復号することと、を行うように構成される。

【0009】

少なくとも１つの実施形態の別の一般的な態様によれば、上記複数の隣接する再構築されたブロックを再構築するために使用される上記情報は、上記現在のブロックを再構築するためにも使用される。上記１つ以上の照度補償パラメータを判定するために、上記現在のブロックの参照ピクチャ内の対応する隣接するサンプルがさらに使用される。一例では、上記複数の隣接する再構築されたブロックを再構築するために使用される上記情報は、１）上記複数の隣接する再構築されたブロックの参照ピクチャ情報と、２）上記複数の隣接する再構築されたブロックの動きベクトル情報と、のうちの１つ以上を含む。

【0010】

少なくとも１つの実施形態の別の一般的な態様によれば、装置または方法によって選択することは、上記複数の隣接する再構築されたブロックの特定のブロックに対して、上記特定のブロックが、上記現在のブロックと同じ参照ピクチャを共有するかどうかを判定することをさらに含み、上記特定のブロックは、上記判定することに基づいて選択される。

【0011】

少なくとも１つの実施形態の別の一般的な態様によれば、装置または方法によって選択することは、上記複数の隣接する再構築されたブロックの特定のブロックに対して、上記特定のブロックの動きベクトル値と上記現在のブロックの動きベクトル値との間の差が、閾値未満であるかどうかを判定することをさらに含み、上記特定のブロックは、上記判定することに基づいて選択される。上記特定のブロックの上記動きベクトル値は、上記差が判定される前にスケーリングされてもよい。

【0012】

少なくとも１つの実施形態の別の一般的な態様によれば、装置または方法によって選択することは、上記複数の隣接する再構築されたブロックの特定のブロックに対して、上記現在のブロックが、上記特定のブロックを符号化または復号するために使用される上記情報を継承するかどうかを判定することをさらに含み、上記特定のブロックは、上記判定することに基づいて選択される。

【0013】

少なくとも１つの実施形態の別の一般的な態様によれば、上記現在のブロックが、上記複数の隣接する再構築されたブロックの上部の隣接する再構築されたブロックから符号化または復号情報を継承または導出する場合、上記現在のブロックの上の隣接するサンプルのみが、上記１つ以上の照度補償パラメータを判定するために使用されるか、または上記現在のブロックが、上記複数の隣接する再構築されたブロックの左側の隣接する再構築されたブロックから符号化または復号情報を継承または導出する場合、上記現在のブロックの左側の隣接するサンプルのみが、上記１つ以上の照度補償パラメータを判定するために使用される。

【0014】

少なくとも１つの実施形態の別の一般的な態様によれば、上記現在のブロックを符号化または復号するための上記１つ以上の照度補償パラメータの使用を示す照度補償フラグは、上記複数の隣接する再構築されたブロックの１つ以上の対応する照度補償フラグから予測される。

【0015】

少なくとも１つの実施形態の別の一般的な態様によれば、上記現在のブロックは、マージモード、高度な動きベクトル予測（ＡＭＶＰ）モード、またはフレームレートアップ変換（ＦＲＵＣ）モードを使用して、インター符号化または復号される。また、上記現在のブロックは、イントラ符号化または復号され得る。

【0016】

少なくとも１つの実施形態の別の一般的な態様によれば、ビットストリームは、照度補償が、ピクチャ内の現在のブロックに対して使用されていることを示す、信号と、上記現在のブロックに対する符号化された予測残差と、を含むようにフォーマットされ、上記現在のブロックに対する予測ブロックが、１つ以上の照度補償パラメータに基づいて調整され、上記予測残差が、上記現在のブロックおよび上記調整された予測残差ブロックに基づいて形成され、上記現在のブロックの複数の隣接する再構築されたブロックからの１つ以上の隣接するサンプルが、上記複数の隣接する再構築されたブロックを再構築するために使用される情報に基づいて選択され、上記１つ以上の照度補償パラメータが、上記選択された１つ以上の隣接するサンプルに基づいて、上記現在のブロックに対して判定される。

【0017】

また、本実施形態のうちの１つ以上は、上述の方法のいずれかに従ってビデオデータを符号化または復号するための命令が保存されたコンピュータ可読記憶媒体を提供する。また、本実施形態は、上述の方法に従って生成されたビットストリームが保存されたコンピュータ可読記憶媒体を提供する。また、本実施形態は、上述の方法に従って生成されたビットストリームを送信するための方法および装置を提供する。また、本実施形態は、説明された方法のいずれかを実行するための命令を含むコンピュータプログラム製品を提供する。

【図面の簡単な説明】

【0018】

【図1】ビデオエンコーダの一実施形態のブロック図を図示する。

【図2A】５つの空間的候補の位置を描いた図解例である。

【図2B】ＡＭＶＰを使用した動きベクトル表現を描いた図解例である。

【図3】ビデオデコーダの一実施形態のブロック図を図示する。

【図4】現在のブロックの動き情報を導出するためのＦＲＵＣの使用を図示する。

【図5】動き導出を行うための例示的なプロセスを図示する。

【図6】Ｌ字型テンプレートを使用した照度補償（ＩＣ）パラメータの導出を概念的に図示する。

【図7】オブジェクトに関する、Ｌ字型テンプレートおよび現在のブロック内の隣接するサンプルの２つの例を図示する。

【図8】少なくとも１つの実施形態の一般的な態様による、ＩＣパラメータを計算するための再構築された隣接するサンプルを選択する例示的なプロセスを示す。

【図9】（ａ）及び（ｂ）は、少なくとも１つの実施形態の一般的な態様による、ＩＣパラメータ計算のための複数のサンプルの選択の２つの例を示す。

【図10】少なくとも１つの実施形態の一般的な態様による、ＩＣパラメータ計算のために隣接するサンプルを選択するための例示的なプロセスを示す。

【図11】マージモードでの動きベクトルの例示的な導出を図示する。

【図12】少なくとも１つの実施形態の一般的な態様による、ＩＣパラメータ計算のための隣接するサンプルを選択するために、マージモード情報を使用するための例示的なプロセスを示す。

【図13】（ａ）、（ｂ）および（ｃ）は、動きベクトルのスケーリングの図解例を図示する。

【図14】少なくとも１つの実施形態の一般的な態様による、ＩＣフラグを予測する例示的なプロセスを示す。

【図15】本実施形態の態様を実装することができるシステムのブロック図を示す。

【発明を実施するための形態】

【0019】

図１は、高効率ビデオ符号化（ＨＥＶＣ）エンコーダ等の例示的なビデオエンコーダ１００を示す。ＨＥＶＣは、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）によって開発された圧縮標準である（例えば、「ＩＴＵ－Ｔ Ｈ．２６５国際電気通信連合電気通信標準化部門（１０／２０１４）、ＳＥＲＩＥＳ Ｈ： ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ， Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ － Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ， Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ， Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５」を参照のこと）。図１は、ＨＥＶＣ規格に改良が加えられたエンコーダ、またはＨＥＶＣに類似した技術を採用するエンコーダを示す場合もある。

【0020】

本出願では、「再構築された（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）」および「復号された（ｄｅｃｏｄｅｄ）」という用語は互換的に使用され得、「符号化された（ｅｎｃｏｄｅｄ）」または「コード化された（ｃｏｄｅｄ）」という用語は互換的に使用され得、「ピクチャ（ｐｉｃｔｕｒｅ）」および「フレーム（ｆｒａｍｅ）」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号された」は、デコーダ側で使用される。

【0021】

ＨＥＶＣでは、１つ以上のピクチャを含むビデオシーケンスを符号化するために、ピクチャを１つ以上のスライスに分割し、ここで各スライスは、１つ以上のスライスセグメントを含むことができる。スライスセグメントは、コード化ユニットと、予測ユニットと、変換ユニットと、に編成される。ＨＥＶＣ仕様は、「ブロック」と「ユニット」とを区別し、ここで「ブロック」は、サンプルアレイの特定の領域（例えば、輝度、Ｙ）をアドレス指定し、「ユニット」は、すべての符号化された色成分（Ｙ、Ｃｂ、Ｃｒ、またはモノクロ）、構文要素、およびブロックに関連付けられている予測データ（例えば、動きベクトル）の配列されたブロックを含む。

【0022】

コード化の場合、ピクチャは、構成可能なサイズを有する正方形のコード化ツリーブロック（ＣＴＢ）に分割され、一連のコード化ツリーブロックがスライスにグループ化される。コード化ツリーユニット（ＣＴＵ）は、符号化された色成分のＣＴＢを包含する。ＣＴＢは、コード化ブロック（ＣＢ）への四分木分割のルートであり、コード化ブロックは１つ以上の予測ブロック（ＰＢ）に分割することができ、変換ブロック（ＴＢ）への四分木分割のルートを形成する。コード化ブロック、予測ブロック、および変換ブロックに対応して、コード化ユニット（ＣＵ）は、予測ユニット（ＰＵ）と、変換ユニット（ＴＵ）のツリー構造セットと、を含み、ＰＵは、すべての色成分についての予測情報を含み、ＴＵは、各色成分の残差のコード化構文構造を含む。輝度成分のＣＢ、ＰＢ、およびＴＢのサイズは、対応するＣＵ、ＰＵ、およびＴＵに適用される。本出願では、「ブロック（ｂｌｏｃｋ）」という用語は、例えば、ＣＴＵ、ＣＵ、ＰＵ、ＴＵ、ＣＢ、ＰＢ、およびＴＢのいずれかを指すために使用することができる。加えて、「ブロック」は、Ｈ．２６４／ＡＶＣまたは他のビデオコード化規格で指定されているマクロブロックおよびパーティションを指すためにも使用することができ、より一般的には、様々なサイズのデータのアレイを指すために使用することができる。

【0023】

例示的なエンコーダ１００において、ピクチャは、以下に説明するように、エンコーダ要素によって符号化される。符号化するピクチャは、ＣＵ単位で処理される。各ＣＵは、イントラモードまたはインターモードのいずれかを使用して符号化される。ＣＵがイントラモードで符号化されるとき、イントラ予測を実行する（１６０）。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が行われる。エンコーダは、イントラモードまたはインターモードのどちらをＣＵの符号化に使用するかを判断し（１０５）、予測モードフラグによってイントラ／インター判断を示す。予測残差は、元の画像ブロックから予測されたブロックを減算することにより計算される（１１０）。

【0024】

イントラモードにおけるＣＵは、同じスライス内の再構築された隣接するサンプルから予測される。ＨＥＶＣでは、ＤＣ、平面、および３３角度予測モードを含む３５イントラ予測モードのセットが利用可能である。イントラ予測参照は、現在のブロックに隣接する行および列から再構築される。参照は、以前に再構築されたブロックから利用可能なサンプルを使用して、水平および垂直方向にブロックサイズの２倍に拡張される。角度予測モードがイントラ予測に使用される場合、参照サンプルは、角度予測モードによって示される方向に沿ってコピーされ得る。

【0025】

現在のブロックに対して適用可能な輝度イントラ予測モードは、２つの異なるオプションを使用してコード化され得る。適用可能なモードが３つの最確モード（ＭＰＭ）の構成リストに含まれる場合、モードは、ＭＰＭリストのインデックスによって通知される。そうでなければ、モードは、モードインデックスの固定長２値化によって通知される。３つの最確モードは、上部および左側の隣接するブロックのイントラ予測モードから導出される。

【0026】

インターＣＵの場合、対応するコード化ブロックは、さらに１つ以上の予測ブロックに分割される。インター予測はＰＢレベルで行われ、対応するＰＵは、どのようにしてインター予測を行うかに関する情報を包含する。動き情報（例えば、動きベクトルおよび参照ピクチャインデックス）は、２つの方法、即ち、「マージモード」および「高度な動きベクトル予測（ＡＭＶＰ）」で通知され得る。

【0027】

マージモードでは、ビデオエンコーダまたはデコーダは既にコード化されたブロックに基づいて候補リストを組み立て、ビデオエンコーダは、候補リスト内の候補の１つに対するインデックスを通知する。デコーダ側では、通知された候補に基づいて、動きベクトル（ＭＶ）および参照ピクチャインデックスが再構築される。

【0028】

マージモードで可能な候補のセットは、空間的隣接候補、時間的候補、および生成された候補で構成される。図２Ａは、現在のブロック２１０についての５つの空間的候補￥｛ａ_１、ｂ_１、ｂ_０、ａ_０、ｂ_２｝の位置を示し、ここで、ａ_０およびａ_１は、現在のブロックの左側にあり、ｂ_１、ｂ_０、ｂ_２は、現在のブロックの上部にある。各候補位置について、可用性がａ_１、ｂ_１、ｂ_０、ａ_０、ｂ_２の順番に従ってチェックされ、その後、候補における冗長性が除去される。

【0029】

参照ピクチャ内の配列された位置の動きベクトルは、時間的候補の導出に使用することができる。適用可能な参照ピクチャは、スライスベースで選択されてスライスヘッダに示され、時間的候補の参照インデックスが、ｉ_ｒｅｆ＝０に設定される。配列されたＰＵのピクチャと、配列されたＰＵが予測される参照ピクチャとの間のＰＯＣ距離（ｔｄ）が、現在のピクチャと、配列されたＰＵを含む参照ピクチャとの間の距離（ｔｂ）と同じである場合、配列された動きベクトルｍｖ_ｃｏｌは、時間的候補として直接使用することができる。そうでなければ、スケール変更された動きベクトルｔｂ／ｔｄ＊ｍｖ_ｃｏｌが、時間的候補として使用される。現在のＰＵが配置されている場所に依存して、配列されたＰＵは、現在のＰＵの右下または中心のサンプルの場所によって判定される。

【0030】

ＡＭＶＰでは、ビデオエンコーダまたはデコーダは、既にコード化されたブロックから判定された動きベクトルに基づいて、候補リストを組み立てる。次いで、ビデオエンコーダは、動きベクトル予測子（ＭＶＰ）を識別するために候補リスト内のインデックスを通知し、動きベクトル差分（ＭＶＤ）を通知する。デコーダ側では、動きベクトル（ＭＶ）は、ＭＶＰ＋ＭＶＤとして再構築される。また、適用可能な参照ピクチャインデックスは、ＡＭＶＰのＰＵ構文で明示的にコード化される。

【0031】

図２Ｂは、ＡＭＶＰを使用する例示的な動きベクトル表現を示す。符号化される現在のブロック２４０の場合、動きベクトル（ＭＶ_{ｃｕｒｒｅｎｔ}）は、動き推定を通して得ることができる。左側のブロック２３０からの動きベクトル（ＭＶ_ｌｅｆｔ）と、上方のブロック２２０からの動きベクトル（ＭＶ_{ａｂｏｖｅ}）と、を使用して、動きベクトル予測子を、ＭＶ_ｌｅｆｔおよびＭＶ_{ａｂｏｖｅ}からＭＶＰ_{ｃｕｒｒｅｎｔ}として選択することができる。次いで、動きベクトル差分を、ＭＶＤ_{ｃｕｒｒｅｎｔ}＝ＭＶ_{ｃｕｒｒｅｎｔ}－ＭＶＰ_{ｃｕｒｒｅｎｔ}として計算することができる。

【0032】

動き補償予測は、予測に対し１つまたは２つの参照ピクチャを使用して行うことができる。Ｐスライスでは、ただ１つの予測参照をインター予測のために使用することができ、予測ブロックの片予測を可能にする。Ｂスライスでは、２つの参照ピクチャリストが利用可能であり、片予測または双予測を使用することができる。双予測では、参照ピクチャリストの各々から、１つの参照ピクチャが使用される。

【0033】

次いで、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化される（１４５）。また、エンコーダは、変換をスキップし、４ｘ４ＴＵベースで非変換残差信号に直接量子化を適用し得る。また、エンコーダは、変換および量子化の両方をバイパスすることもでき、即ち、残差は、変換または量子化プロセスを適用せずに直接コード化される。直接ＰＣＭコード化では、予測は適用されず、コード化ユニットサンプルはビットストリームに直接コード化される。

【0034】

エンコーダは、符号化されたブロックを復号して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され（１４０）、逆変換され（１５０）、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを行い、符号化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に保存される。

【0035】

図３は、ＨＥＶＣデコーダ等の例示的なビデオデコーダ３００のブロック図を示す。例示的なデコーダ３００において、ビットストリームは、以下で説明するように、デコーダ要素によって復号される。ビデオデコーダ３００は、一般に、図１で説明されたような符号化パスの逆の復号パスを行い、これは、ビデオデータの符号化の一部として、ビデオ復号を実行する。また、図３は、ＨＥＶＣ規格に改良が加えられたデコーダ、またはＨＥＶＣに類似した技術を採用しているデコーダを示し得る。

【0036】

特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号され（３３０）、変換係数、動きベクトル、および他のコード化された情報を取得する。変換係数は、非量子化されて（３４０）、逆変換され（３５０）、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて（３５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（３６０）または動き補償予測（即ち、インター予測）（３７５）から取得され得る（３７０）。上記のように、ＡＭＶＰおよびマージモード技法を使用して、動き補償のための動きベクトルを導出し得、これは、補間フィルタを使用して、参照ブロックのサブ整数サンプルの補間値を計算し得る。ループ内フィルタ（３６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（３８０）に保存される。

【0037】

フレームレートアップ変換（ＦＲＵＣ）モードまたは導出は、フレームレートアップ変換技術に基づいており、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）による参照ソフトウェアＪＥＭ（Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ）において開発されている。ＦＲＵＣモードでは、ブロックの動き情報は、デコーダ側で、ＭＶＰ情報の明示的な構文なしで導出される。ＦＲＵＣプロセスは、完全に対称的であり、即ち、エンコーダおよびデコーダにおいて同じ動き導出動作が行われる。

【0038】

図４は、現在のブロック４１０についての動き情報を導出するためのＦＲＵＣの使用を図示する。現在のブロックは、「マージ」または「ＡＭＶＰ」モードであり得る。現在のブロックの上部および左側に隣接するブロックが、テンプレートとして使用される。動き情報は、現在のブロックのテンプレート（４２０、４３０）と参照ピクチャのブロックのテンプレート（４４０、４５０）の間で、最良の一致を特定することによって、最小マッチングコストを有するブロック（４６０）、例えば、テンプレート間で最小のＳＡＤ（絶対差の合計）を有するブロックを特定することによって、導出することができる。また、マッチングコストの計算には、ＳＡＤ以外の他のコスト指標を使用することができる。特に、動きベクトルは、現在のブロックの配列されたブロックと、最も一致するブロックとの間の変位として得ることができる。

【0039】

図５は、ＦＲＵＣモードにおいて動きベクトルを選択するための例示的なプロセス５００を示す。ステップ５１０において、ＭＶ候補のリストが構築される。ステップ５２０～５４０において、ＭＶ（５４０におけるｂｅｓｔ＿ＭＶ）がＭＶ候補のリストから選択され、動き補償された参照ブロックおよび現在のブロックに対するテンプレート（５３０におけるｒｅｆ０およびｒｅｃ）間の絶対差の合計（ＳＡＤ）（５３０）を最小化する。

【0040】

ビデオ圧縮技術に対する近年の他の付加、例えばＡｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ６（ＪＥＭ ６、Ｄｏｃｕｍｅｎｔ：ＪＶＥＴ－Ｆ１００１－ｖ３）に記載のもの等は、符号化または復号されている現在のブロックと、少なくとも１つの予測ブロックとの間の照度（例えば、輝度）における変動を補償するために、照度補償（ＩＣ）パラメータを使用することを含む。特に、Ｌ字型テンプレートを使用して、図６に示されるように、インターコード化モードでＩＣパラメータを計算するために、隣接するサンプルを選択する。ＩＣパラメータは、再構築された隣接するサンプル（即ち、現在のブロック６０３′のＬ字形ｃｕｒ領域６０２′内のサンプル）を、ｒｅｆｅｒｅｎｃｅ－ｉブロック（ｉ＝０または１）６０３′′の隣接するサンプル（Ｌ字形ｒｅｆ－ｉ領域６０２′′のサンプル）と比較することによって推定される。演算の複雑さを軽減するために、ここでは、ｒｅｆｅｒｅｎｃｅ－ｉブロックは正確には予測ブロックではなく、むしろ、ｒｅｆｅｒｅｎｃｅ－ｉブロックは、動き補償補間フィルタを使用しない整数バージョンの動きベクトル（即ち、ｆｕｌｌ－ｐｅｌ精度）に基づくことに留意されたい。ＩＣパラメータは、Ｌ字型ｃｕｒ６０２′内のサンプルと、ＩＣパラメータで調整されたＬ字型ｒｅｆ－ｉ６０２′′内のサンプルとの間の差を最小化する。

【0041】

即ち、インター予測符号化または復号において、現在のブロック６０３′は、動き情報（例えば、動きベクトルＭＶ_ｃｕｒおよび、例えば、復号されたピクチャバッファ内の１つの参照ピクチャを識別する参照ピクチャインデックスｉ）を使用して、動き補償（ＭＣ）プロセスを使用して、予測ブロックを構築する。さらに、予測ブロックは、ＩＣパラメータによって調整される。ｉ番目の参照ピクチャ（ｒｅｆ－ｉ）を使用して取得された予測ブロックを所与とすると、ＩＣパラメータは、Ｌ字型ｃｕｒ６０２′内の再構築された隣接するサンプルを、図６に描かれるようなｒｅｆ－ｉブロック（ｉ＝０または１）のＬ字型ｒｅｆ－ｉ６０２′′の隣接サンプルと比較することによって推定される。

【0042】

ＩＣパラメータは、Ｌ字型ｃｕｒ６０２′内のサンプルと、ＩＣパラメータで調整されたＬ字型ｒｅｆ－ｉ６０２′′のサンプルとの間の平均二乗誤差／差分（ＭＳＥ）を最小化することによって推定され得る。通常、ＩＣモデルは線形であり、例えば、
ＩＣ（ｙ）＝ａｙ＋ｂ…（１）
であり、ここで、ａは勾配パラメータであり、ｂは切片パラメータである。ＩＣパラメータ（ａ_ｉ、ｂ_ｉ）は、以下に示されるように取得され得る。

【数1】

ここで、ｘは現在のピクチャ内のＬ字型テンプレートの再構築されたサンプルであり、ｙは参照ピクチャ内のＬ字型テンプレートのサンプルであり、これは、ＭＶ_ｃｕｒまたは修正されたＭＶ_ｃｕｒ（例えば、低精度のＭＶ_ｃｕｒ）による動き補償を介して得ることができる。式（２）において、ｘおよびｙは、図６に示されるように、Ｌ字型テンプレート内の同じ場所に位置するサンプルである（例えば、ｘ６０５′およびｙ６０５′′の対を参照）。双予測の場合、ＩＣパラメータ（ａ_０、ｂ_０）および（ａ_１、ｂ_１）は、それぞれＬ字型ｒｅｆ－０およびＬ字型ｒｅｆ－１から独立して導出される。ビットストリームにおいて、ＩＣが現在のスライス、ピクチャまたはシーケンスに対して有効にされるとき、例えば、ＩＣフラグ等の指標は、ＩＣがこのブロックに対して有効にされるか否かを示すためにブロックごとに符号化され得る。

【0043】

ＩＣが圧縮効率を向上させ得る１つの理由は、隣接するサンプルに対して最適化されたＩＣパラメータが、引き続き現在のブロックに適し得ることである。このことは、Ｌ字型テンプレートの隣接するサンプルが、現在のブロックに対して最も近い利用可能な再構築サンプルであるため、概ね当てはまる。しかしながら、図７の例に示されるように、隣接するサンプルのいくつかが、現在のブロックとは異なるオブジェクトに属する場合、これらの隣接するサンプルは、良好なＩＣパラメータ推定を提供する可能性が低い。図７の左側のピクチャ７０１において、オブジェクト７０２は、Ｌ字型テンプレートおよび現在のブロックの大きなセクションを包囲する。一方、現在のピクチャ７０３において、オブジェクト７０４は、Ｌ字型テンプレートのみを包囲し、現在のブロックのいかなるセクションもほとんど含まない。したがって、ピクチャ７０３に示される現在のブロックの場合、Ｌ字型テンプレートのサンプルは、現在のブロックのＩＣパラメータを推定するのにあまり適していない場合がある。

【0044】

本実施形態は、ＩＣパラメータを導出するために使用される隣接するサンプルを適応的に選定するための方法および装置を対象とし、それによって、ＩＣプロセスが現在のブロック予測をより効果的に向上させることができる。特に、ＩＣパラメータを推定するために使用される再構築された隣接するサンプルの選択を変えることにより、ブロックベースのＩＣを改善し、それらが現在のブロックサンプルとより良好に相関し得るようにする手法が提案される。

【0045】

図８は、一実施形態による、ＩＣパラメータを計算するために再構築された隣接するサンプルを選択するための例示的なプロセス８００を示す。ステップ８１０において、現在のブロックについて、動き情報（例えば、ＭＶ、参照ピクチャインデックス）が取得され、動き補償（ＭＣ）プロセスによって予測情報を構築するために使用される。ステップ８２０において、ＩＣフラグによって示されるようなＩＣが使用されている場合、ＩＣフラグをチェックして、真であるかまたは偽であるかを確認する。ＩＣフラグが真である場合、隣接する再構築されたサンプルのセットＳが選択される（８３０）。ＪＥＭ６で使用される固定Ｌ字型テンプレートとは異なり、隣接するサンプルのセットＳは適応的に変化して、ＩＣプロセスを改善する。例えば、１つの例示的な態様では、隣接するサンプルのセットＳの選択は、１つ以上の隣接する再構築されたブロックを再構築するために使用される情報に基づく。隣接するサンプルのセットＳを選択するための様々な例示的な実施形態の詳細を以下に説明する。

【0046】

ステップ８４０において、ＩＣパラメータは、選択された隣接するサンプルのセットＳおよび参照ピクチャ内の対応するサンプルを使用して推定される。ここで、参照ピクチャ内の対応するサンプルは、現在のブロックの予測ブロックの隣接するサンプルとして選択され得る。演算を簡略化するために、エンコーダまたはデコーダは、参照ピクチャ内の特定のブロックの周囲の対応するサンプルを選択でき、ここで、特定のブロックは、現在のブロックの動きベクトル（ＭＶ_ｃｕｒ）によって、より低い精度（例えば、整数ｆｕｌｌ－ｐｅｌバージョン、またはｈａｌｆ－ｐｅｌ）で指し示される。参照ピクチャ内の対応するサンプルのセットは、典型的には、現在のブロックのサンプルセットＳと同じ形状である。ステップ８５０において、推定されたＩＣパラメータは、現在のブロックの予測のための照度補償のために使用され、即ち、ＩＣ関数に基づいて調整され、例えば、予測ブロック内のサンプルは、式（１）を使用して調整される。ステップ８６０において、照度補償後の予測ブロックを使用して、現在のブロックを符号化または復号する。

【0047】

方法８００は、エンコーダまたはデコーダで使用することができる。ビットストリームを適切に復号するには、エンコーダおよびデコーダで同じＩＣパラメータ推定方法を使用する必要がある。

【0048】

方法８００がエンコーダ側で使用されるとき、動き情報は、動き推定プロセスから取得され得る（８１０）。動き推定は、照度補償を考慮してもよく、またはしなくてもよい。また、動き推定プロセスは、動き情報を出力することに加えて、例えば、ＩＣフラグを真または偽に設定することによって、ＩＣを使用するかどうかを判断し得る。予測ブロックが照度補償された（８５０）後、予測残差、即ち、現在のブロックと照度補償された予測ブロックとの間の差は、変換係数を形成するために変換および量子化され得る。ＩＣの隣接するサンプルセットＳの適応選択を使用すると、予測残差が小さくなり得るため、より少ないビットで符号化され得る。次いで、変換係数、動き情報、およびＩＣフラグを含む情報が、ビットストリームに符号化され得る（８６０）。代替的には、ＩＣフラグは明示的に符号化されず、デコーダ側で他の復号された情報から推論され得る。

【0049】

方法８００がデコーダ側で使用されるとき、動き情報は、例えば、マージモードまたはＡＭＶＰを使用して、ビットストリームから復号され得る（８１０）。また、ＩＣフラグは、ビットストリームから復号することができる（８２０）。予測ブロックが照度補償された後（８５０）、現在のブロックを復号する（８６０）ために、予測ブロックを予測残差に追加することができる。

【0050】

例示的な一実施形態では、現在のブロックは、例えば、動きベクトルおよび参照ピクチャ情報等の動き情報を使用して、インターモードで動き補償プロセスを使用して予測を構築する。この動き情報は、エンコーダまたはデコーダによって保存され、それによって、他のブロックを符号化するかまたは復号するために使用することができる。特に、隣接するブロックの動き情報を使用して、ＩＣパラメータ計算にどの隣接するサンプルを使用するかを導出することができる。

【0051】

図９は、例示的な現在のブロックおよびいくつかの隣接するブロックの動き情報を示す。隣接するブロックは、異なるサイズを有することができることに注意されたい。図９（ａ）では、現在のＪＥＭで使用されているＬ字型テンプレートが破線で示されている。この例では、Ｌ字型テンプレート９０１の上部９０１－１の隣接するサンプルは、隣接するブロックＴ０、Ｔ１、Ｔ２に属し、Ｌ字型テンプレート９０１の左側の部分９０１－２の隣接するサンプルは、ブロックＬ０、Ｌ１、Ｌ２に属する。さらに、この例示的な実施形態によれば、現在のブロックと同じ参照ピクチャを共有する、および／または現在のブロックのＭＶ値に近いＭＶ値を有するブロック（例えば、Ｔ０、Ｔ１、Ｔ２、Ｌ０、Ｌ１およびＬ２の１つ以上）に属する隣接するサンプルのみが、現在のブロックのＩＣパラメータの導出のために選択される。

【0052】

上記の例では、現在のブロックに直ぐ近接するサンプルを有する隣接するブロックからのサンプルのみを選択することができる。他の実施形態では、他の再構築された隣接するブロックからのサンプルを選択することができる。例えば、図９（ｂ）に示すように、左上、左下、または右上の隣接するブロックをさらに含むように拡張されたＬ字に対応する異なるＬ字が破線で示されている。この例では、Ｌ字型テンプレート９１１の上部９１１－１の隣接するサンプルは、隣接するブロックＴ０、Ｔ１、Ｔ２、およびＴ３に属し、Ｌ字型テンプレート９１１の左側の部分９１１－２の隣接するサンプルは、ブロックＬ０、Ｌ１、Ｌ２、Ｌ３およびＬ４に属する。

【0053】

また、Ｌ字型の厚さは、１つ以上のサンプルであることができる。例えば、厚さが２サンプルである場合、Ｌ字型の上部は２行のサンプルを有し、Ｌ字型の左側の部分は２列のサンプルを有する。さらに、Ｌ字型をサブサンプリングしてもよい。例えば、上から２行のうちの１行、または左の２列から１列だけが選択される。このことは、Ｌ字型が非常に大きく、１）計算を高速化し、２）ＩＣパラメータの演算を簡略化する場合に有利であるが、これは、ＩＣを導出するためのアルゴリズム（典型的には、最小二乗に基づく）が、サンプル値の二乗和を使用する場合があり、したがって、いくつかの数値を保存するために十分な範囲数が必要であるためである。また、Ｌ字型は、左側と上部とで異なる厚さを有してもよく、またはテンプレートがＬ字型とは異なる形状を取ってもよい。代替的には、選択された隣接する再構築されたブロックからのサンプルは、可能なサブサンプリングを使用して選択され、Ｌ字型テンプレートの制約なしにＩＣパラメータ計算に使用され得る。

【0054】

図１０は、一実施形態による、ＩＣパラメータ計算のための隣接するサンプルを選択するための例示的なプロセス１０００を示す。方法１０００は、方法８００のステップ８３０で使用することができる。ステップ１０１０において、現在のブロックの隣接するブロックのリストが取得される。図９（ａ）に示されるように、リストは、上部の隣接するブロック（例えば、Ｔ０、Ｔ１、およびＴ２）と、左側の隣接するブロック（例えば、Ｌ０、Ｌ１、およびＬ２）とを含み得る。ステップ１０２０において、最初に、複数の隣接するブロックのリストからの隣接するブロック「ｂ」がインターコード化されているかどうかを確認するための判定がなされる。隣接するブロック「ｂ」がインターコード化されている場合、ステップ１０３０において、ブロック「ｂ」が同じ参照ピクチャを使用するかどうかを確認するための判定がなされる。また、非限定的かつ例示的な一実施形態では、特定の隣接するブロック「ｂ」の動きベクトル値（ＭＶｂ）と、現在のブロック（ＭＶｃｕｒ）の動きベクトル値との間の差が閾値より小さいかどうかを確認するための判定がなされる。例えば、差分関数は、Ｌ２－ｎｏｒｍ（（ＭＶｂ_ｘ－ＭＶｃｕｒ_ｘ）^２＋（ＭＶｂ_ｙ－ＭＶｃｕｒ_ｙ）^２）か、または２つの閾値を有するＬ１－ｎｏｒｍ（｜ＭＶｂ_ｘ－ＭＶｃｕｒ_ｘ｜＜ＴＨｘおよび｜ＭＶｂ_ｙ－ＭＶｃｕｒ_ｙ｜＜Ｔｈｙ、もしくはＭＩＮ（｜ＭＶｂ_ｘ－ＭＶｃｕｒ_ｘ｜、｜ＭＶｂ_ｙ－ＭＶｃｕｒ_ｙ｜）＜ＴＨ）とすることができる。ステップ１０３０での判定が肯定的である場合、次いでステップ１０４０において、特定のブロック「ｂ」に属するＬ字型テンプレートの隣接するサンプルが、選択されたサンプルセットＳに追加される。次いで、プロセス１０００は、隣接するブロック（例えば、Ｔ０、Ｔ１、Ｔ２、Ｌ０、Ｌ１、およびＬ２）のすべてがテストされるまで、ステップ１０２０にループバックする。

【0055】

一例では、隣接するブロックＬ２、Ｔ１、およびＴ２が現在のブロック９０２と同じ参照ピクチャを共有し、これらのブロックのＭＶ値が現在のブロックのＭＶ値に近いため、Ｌ字型テンプレート領域９０１において、これらのブロックに属する隣接するサンプルのみが、セットＳに対して選択される。図９（ａ）を再び参照すると、選択されたサンプルＳは、Ｌ字型テンプレート９０１において網掛けで示されている。

【0056】

別の例では、隣接するブロックＬ２、Ｌ３、Ｔ１、Ｔ２およびＴ３が現在のブロック９１２と同じ参照フレームを共有し、これらのブロックのＭＶ値が現在のブロックのＭＶ値に近いため、これらのブロックに属する隣接するサンプルのみが、Ｌ字型テンプレート領域９１１において、セットＳのために選択される。図９（ｂ）に戻って参照すると、選択されたサンプルは、Ｌ字型テンプレート９１１において網掛けとして示されている。

【0057】

動きベクトル値および参照ピクチャ情報に加えて、他の動き情報をさらに使用して、隣接するサンプルセットＳを選択することができる。異なる実施形態では、ＩＣ計算のための隣接するサンプルセットＳは、現在のブロックが、マージモード等で、隣接するブロックと同じ動きベクトルを継承するように、またはＡＭＶＰモードもしくはＦＲＵＣモード等で、隣接するブロックおよびＭＶＤの動きベクトルに基づいて動きベクトルを導出するように指示されているかどうかに基づくことができる。

【0058】

図１１は、符号化または復号されているブロック９０２（図９（ａ）にも示される）等の現在のブロックが、マージモード情報を使用して、隣接するサンプルを選択することができる例示的な実施形態を示す。マージモードでは、動き情報（例えば、動きベクトルおよび／または参照インデックス）等のいくつかの情報は、ビットストリームから復号されないが、以前に復号された隣接するブロックから継承される。例えば、ＨＥＶＣマージモードでは、デコーダは、隣接するブロック（例えば、Ｔ０、Ｔ１、Ｔ２、Ｌ０、Ｌ１、およびＬ２）データおよび以前に復号された同一位置にあるブロック（複数可）（例えば、１１０１）データの動き情報を含むマージ候補のリストを構築する。また、デコーダは、現在のブロックがどの候補ブロックから動き情報を継承するかを示すマージインデックスを復号する。

【0059】

例示的な一実施形態では、マージインデックスが現在のブロックの上に位置する隣接するブロックを示す場合、サンプルＳのセットは、Ｌ字型テンプレートの上部全体と等しくなるように選択される。一方、マージインデックスが現在のブロックの左側にあるブロックを示している場合、サンプルＳのセットは、Ｌ字型の左部分全体と等しくなるように選択される。図１１に示す例に戻って参照すると、マージインデックスが隣接するブロックＴ２を示す場合、Ｌ字型の上部が、Ｌ字型テンプレート９０２において網掛けされているように選定される。異なる実施形態では、Ｌ字形の上部全体または左側部分を選定する代わりに、マージインデックスによって示される隣接するブロックに属する左側部分の上部の一部を選定することができる。

【0060】

図１２は、一実施形態による、ＩＣパラメータ計算のためのセットＳを選択するためにマージモード情報を使用する例示的なプロセス１２００を示す。方法１２００は、方法８００のステップ８３０に使用することができる。ステップ１２１０において、最初に、コーデック（ｃｏｄｅｃ）に対するマージモードの使用を示すマージフラグが存在するかどうかが判定される。マージフラグは、ビットストリームでコード化することができるか、または他の復号された情報から推測することができる。はいの場合、１２２０で、対応するマージインデックスが取得される。ステップ１２３０において、図１１に関連して上述したように、マージ候補のリストが構築される。ステップ１２４０において、現在のブロックの選択されたマージ候補ブロックの位置が取得される。ステップ１２５０および１２７０において、選択されたマージ候補ブロックが現在のブロックの上にある場合、サンプルＳのセットは、Ｌ字型テンプレートの上部と等しくなるように選択される。一方、ステップ１２６０および１２８０において、マージインデックスが現在のブロックの左側に位置するブロックを示す場合、サンプルＳのセットは、Ｌ字型の左側部分に等しくなるように選択される。他の場合では、ステップ１２９０において、サンプルＳは、Ｌ字型に等しくなるように選択される。

【0061】

いくつかのコード化モードでは、現在の動き情報は、隣接するブロックの動き情報を使用して、例えば、再構築された隣接するブロックの動きベクトルから選択された動きベクトル予測子と、ビットストリームにおいて（例えば、ＪＥＭのＡＭＶＰモードで）コード化することができるか、または動きベクトル改良によって（例えば、ＪＥＭのＦＲＵＣモードで）構築することができるＭＶＤとに基づいて復号もしくは符号化される。例えば、ＡＭＶＰモードでは、隣接するブロックの動き情報を使用して、動き情報候補のＡＭＶＰリストが構築され、ＭＶ予測子インデックスが符号化または復号される。現在の動きベクトルは、ＭＶ予測子インデックスに対応する動きベクトルから導出される（即ち、現在の動きベクトルが予測される）。よって、例示的な実施形態では、ＭＶ予測子インデックスが、現在のブロックの上部の隣接するブロックを示す場合、サンプルＳのセットは、Ｌ字型テンプレートの上部に等しい。一方、ＭＶ予測子インデックスが、現在のブロックの左側の隣接するブロックを示す場合、サンプルＳのセットは、Ｌ字型テンプレートの左側の部分に等しい。

【0062】

加えて、一部のコード化モードでは、動きベクトルはコード化されないが、デコーダ側でＦＲＵＣ（フレームレートアップ変換）モードを使用して導出される。図５の例に示されるように、ＦＲＵＣモードでは、ＭＶ候補のリストが構築され、デコーダは、最終的に、動き補償された参照Ｌ字型テンプレート（ｒｅｆ０）と、現在の再構築されたＬ字型（ｒｅｃ）との間の差を最小限にするＭＶ（ｂｅｓｔ＿ＭＶ）を選択する。ｂｅｓｔ＿ＭＶは、現在の動き情報を取得するために使用される。一実施形態では、ｂｅｓｔ＿ＭＶが現在のブロックの上部の隣接するブロックから生じる場合、セットＳはＬ字型の上部に設定される。ｂｅｓｔ＿ＭＶが現在のブロックの左側の隣接するブロックから生じる場合、セットＳはＬ字型の左側部分に設定される。

【0063】

また、前述のように、候補動きベクトルは、例えば、現在のピクチャと現在のＰＵの参照ピクチャとの間の距離（ｔｂ）と、現在のピクチャと空間的候補の参照ピクチャとの間の距離（ｔｄ）とに従ってスケーリングされ得る。したがって、例示的な一態様では、インターモード（ＡＭＶＰおよびＦＲＵＣを含む）でコード化されるすべての隣接するブロックについて、ＭＶ候補は、図１３に示すように、現在のブロック参照ピクチャと同じ参照ピクチャで表されるようにスケーリングされる。図１３（ａ）は、例えば、ＰＯＣ＝１の隣接するブロックとＰＯＣ＝２の対応する参照ブロックとの間の参照ＭＶを示す。図１３（ｂ）は、ＰＯＣ＝０の現在のブロックおよびＰＯＣ＝２の対応する参照ブロックのＭＶを示す。図１３（ｃ）は、ＰＯＣ＝０とＰＯＣ＝２との間でスケーリングされた参照ＭＶを示す。次に、サンプルＳのセットは、スケーリングされたＭＶが現在のＭＶに近い隣接するサンプルで構築される。スケーリングされたＭＶに基づく差分計算は、方法１０００のステップ１０３０で使用することができる。

【0064】

図１４は、一実施形態による、隣接するブロックのＩＣフラグ値からＩＣフラグの値を予測するための例示的なプロセス１４００を示す。ＩＣフラグ値（図１４のＩＣ＿ｆｌａｇ＿ｐｒｅｄ）の予測は、ＩＣフラグ値のリストの関数であり、リストは前の実施形態と同じ方法で構築される。例えば、ＩＣフラグ値のリストは、Ｌ字型に属するサンプルを有する再構築された隣接するブロックのＩＣフラグ値で構築される。例示的な一実施形態では、ＩＣフラグは直接コード化されないが、代わりに残差ＩＣフラグ値（図１４のＩＣ＿ｆｌａｇ＿ｒｅｓｉｄｕａｌ）がコード化され、これは、実際のＩＣフラグ値と予測ＩＣフラグ値（図１４のＩＣ＿ｆｌａｇ＿ｐｒｅｄ）との間の差である。別の例示的な態様では、予測ＩＣフラグ値は、現在のブロックと同じ参照を有する、および／または現在のＭＶ値に近いＭＶを有する隣接するブロックのすべてのＩＣフラグ値の中央値に設定され、ここでＭＶは、前述のようにスケーリングされ得る。ＩＣフラグ値と同じである可能性が高い値でＩＣフラグを予測することの利点は、ＩＣ＿ｆｌａｇ＿ｒｅｓｉｄｕａｌのエントロピーが非常に小さくなり（ＩＣフラグ自体よりも小さくなる）、その結果、例えば、ＣＡＢＡＣによる符号化に必要なビットが少なくなることである。

【0065】

図１４を再び参照すると、ステップ１４１０で、最初に隣接するブロックのリストが取得される。ステップ１４２０において、ＩＣ＿ｆｌａｇ＿ｒｅｓｉｄｕａｌが復号される。次いで、ステップ１４３０～１４５０で構成されるループが、隣接するブロックのリスト内の各ブロックに対して行われる。ステップ１４３０において、特定の隣接するブロックがインターモードでコード化されているかどうかが判定される。はいの場合、１４４０において、この隣接するブロックが現在のブロックと同じ参照を使用しているかどうか、および／または特定の隣接するブロックの動きベクトル値と、現在のブロックの動きベクトル値との間の差が閾値未満であるかどうかを確認するために、別の判定がなされる。判定がはいである場合、この特定の隣接するブロックのＩＣ＿ｆｌａｇはその後、符号化または復号されている現在のブロックに対応するＩＣ＿ｆｌａｇの導出に使用されるＩＣ＿ｆｌａｇ値のリストに追加される。１４６０において、ＩＣ＿ｆｌａｇ＿ｐｒｅｄは、上記の例示的な関数に従って、ＩＣ＿ｆｌａｇ値のリストの関数として演算され得る。１４７０において、現在のブロックのＩＣ＿ｆｌａｇは、ＩＣ＿ｆｌａｇ＿ｐｒｅｄとＩＣ＿ｆｌａｇ＿ｒｅｓｉｄｕａｌとの合計に設定される。

【0066】

ＩＣパラメータを判定する様々な方法、例えば、限定はしないが、ＪＥＭで使用されるものおよび本実施形態による方法は、ＯＢＭＣ（オーバーラップブロック動き補償）が動き補償に使用されるときに適用され得る。ブロックベースのビデオコード化では、ＯＢＭＣの手法を使用して、コード化ユニット（ＣＵ）の境界でのブロックノイズアーティファクトを低減することができる。

【0067】

ＯＢＭＣが現在のブロックに適用される場合、現在のブロックの動き情報（例えば、動きベクトルおよび参照ピクチャインデックス）に加えて、利用可能である場合、かつ現在の動き情報と同一でない場合は、隣接するブロックの動き情報もまた、現在のブロックに対する予測ブロックを導出するために使用される。複数の動き情報に基づくこれらの複数の予測ブロックを組み合わせて、現在のブロックの最終予測信号を生成する。隣接するブロックの動き情報に基づく予測ブロックは、Ｐ_Ｎとして示され、Ｎは隣接するブロック（例えば、上、下、左、および右ブロック）のインデックスを示し、現在のブロックの動き情報に基づく予測ブロックはＰ_Ｃとして示される。ＩＣが使用される場合、ＩＣパラメータは、予測ブロック（Ｐ_Ｃ、Ｐ_Ｎ）を形成する際にも使用されることに留意されたい。

【0068】

ＯＢＭＣが有効にされると、現在のＣＵ境界領域（上部および左側）の各サンプルに適用される。上部の境界領域は、現在のブロックの第１のｄの上部の行内のサンプルを参照し、左側の境界領域は、現在のブロックの第１のｄの左列のサンプルを参照する（ｄは、例えば輝度については２に等しく、彩度については４に等しい）。

【0069】

境界領域のサンプルごとに、予測Ｐ_Ｃ（ｓ）と予測Ｐ_Ｎ（ｓ）との加重和を使用して、図１６に示すように、最終予測（Ｐ_ＯＢＭＣ（ｓ））を生成することができる。
－ｓが１つの境界領域に属する場合：Ｐ_ＯＢＭＣ（ｓ）＝ｗ（ｄ）．Ｐ_Ｃ（ｓ）＋（１－ｗ（ｄ））．Ｐ_Ｎ（ｓ）
－ｓが２つの境界領域に属する場合：Ｐ_ＯＢＭＣ（ｓ）＝（ｗ（ｄ_１）＋ｗ（ｄ_２））．Ｐ_Ｃ（ｓ）＋（１－ｗ（ｄ_１））．Ｐ_Ｎ１（ｓ）＋（１－ｗ（ｄ_２））．Ｐ_Ｎ２（ｓ）

【0070】

現在のＣＵが複数のサブＣＵに分割されるサブＣＵコード化の場合、ＯＢＭＣが各サブＣＵに適用され、（図１７に示すように）サブＣＵは右側および下部のＯＢＭＣ境界領域を有し得る。サブＣＵコード化モードの例は、各サブＣＵの動きベクトルがＣＵ内で補間されるＡｆｆｉｎｅモードである。

【0071】

ＯＢＭＣおよび照度補償（ＩＣ）
ＪＥＭで実装されるように、隣接するＣＵが照度補償（ＩＣ）を使用する場合、ＩＣパラメータの判定は、上部の隣接するブロックの予測ブロックを計算するときに行われ（ステップ１、図１８（ａ））、また、上部の隣接ＣＵと境界を接するサンプルの現在のブロックのＰ_Ｎ（ｓ）を計算するために行われる（ステップ２、図１８（ｂ））。

【0072】

特に、図１８は、上部ブロックがＩＣを使用してその予測Ｐ_Ｔを（ＩＣ_Ｔパラメータを使用して）演算するのに対し、現在のブロックがＩＣを使用しないで予測Ｐ_Ｃを構築する場合を図示する。しかし、隣接する上部ブロックがＩＣを使用しているため、Ｐ_Ｎは、ＩＣを使用する。Ｐ_ＴおよびＰ_Ｎは、同じ動き情報を使用する。

【0073】

現在のブロックも同様にＩＣを使用した場合、現在のブロックのＩＣパラメータ（ＩＣ_Ｃ）が判定され、Ｐ_Ｃの演算に適用される。しかしながら、ＩＣ_Ｃは、ＯＢＭＣプロセスによるＰ_Ｎの演算には使用されない（ＩＣ_Ｎが使用される）。

【0074】

したがって、ＯＢＭＣがＩＣを使用して隣接するＣＵを含む場合、ＩＣパラメータの計算は、図１９にも示されているように、異なるＬ字型を使用して（図１８のステップ１～２を参照）、同じ動き情報で２回行われ、これは結果として、２つの問題を生じさせる場合がある。
－複雑さ（計算量）は、ＩＣなしのＯＢＭＣに比べてかなり大きい可能性がある。
－ＯＢＭＣの目的は、実際には境界の不連続性を減らすことであったが、ステップ１およびステップ２のＩＣパラメータは異なる可能性があり、これがＣＵ境界において不連続性を引き起こす場合がある。

【0075】

現在のブロックのＯＢＭＣの異なるＩＣパラメータを隣接するＣＵの再構築のために計算されたものとして使用することによって引き起こされるＩＣモードでのＯＢＭＣの問題に対処するために、現在のＣＵを再構築するために演算されたＩＣパラメータを保存して、それらを、図２０に図示されるように、後続のＣＵのＯＢＭＣを計算するために再利用することができる。

【0076】

図１８の例を考えると、まず上部ＣＵが復号／再構築される。ＩＣを使用するため、ＩＣ_Ｔパラメータが判定され、予測Ｐ_Ｔに適用される。次いで、ＩＣ_Ｔパラメータが「ＩＣパラメータストレージ」に保存される。その後、現在のＣＵが復号される。現在の予測は、Ｐ_Ｃとして構築される。次のＯＢＭＣプロセスは、上部境界領域に対して開始され、隣接する上部ＣＵがＩＣを使用しているため、ＩＣ_Ｔパラメータは、「ＩＣパラメータストレージ」から取得され、Ｐ_Ｎを構築するために使用される。最後に、Ｐ_ＯＢＭＣは、Ｐ_ＣとＰ_Ｎとの加重和によって構築される。同じＯＢＭＣプロセスが、左側の境界領域および左側の隣接ＣＵで行われる。

【0077】

様々な方法が上で説明されており、各方法は、説明された方法を達成するための１つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび／または動作の順序および／または使用を、変更するかまたは組み合わせてもよい。

【0078】

本出願では、例えば、ＩＣパラメータの数、またはＬ字型テンプレートの厚さ（サンプル数の単位で）の様々な数値が使用される。特定の値は例示を目的とし、本実施形態はこれらの特定の値に限定されないことに留意されたい。

【0079】

上記のようなＩＣパラメータ計算のために、隣接する再構築されたサンプルを選択する様々な方法を使用して、図１および図３に示すように、ＪＶＥＴまたはＨＥＶＣエンコーダおよびデコーダの動き推定および補償モジュール（１７０、１７５、３７５）を修正することができる。さらに、本実施形態は、ＪＶＥＴまたはＨＥＶＣに限定されず、他の標準、推奨、およびそれらの拡張に適用することができる。上述の様々な実施形態は、個別にまたは組み合わせて使用することができる。

【0080】

さらに、異なる実施形態では、ＩＣモデルは、ＩＣパラメータの他の線形または非線形関数を使用し得る。例えば、ＩＣモデルは、切片パラメータなしで勾配パラメータのみを考慮し得る（即ち、ＩＣ（ｙ）＝ａ＊ｙ）。別の例では、ＩＣモデルは、関数に応じて（例えば、多項式関数の次数に応じて）、３つ以上のパラメータを有し得る。ＩＣパラメータを推定するために、式（２）に示すようなＭＳＥの代わりに、絶対差または他の差分関数を使用することができる。また、本実施形態は、照度補償がイントラコード化のために使用されるときにも適用することができる。

【0081】

図１５は、例示的な実施形態の様々な態様が実装され得る例示的なシステム１５００のブロック図を示す。システム１５００は、以下に説明される様々な構成要素を含むデバイスとして具現化されてもよく、上述のプロセスを実行するように構成される。このようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、およびサーバを含むが、これらに限定されない。システム１５００は、図１５に示され、かつ当業者には周知であるような通信チャネルを介して、他の同様のシステムに、またディスプレイに通信可能に結合され、上記の例示的なビデオシステムのすべてまたは一部を実装し得る。

【0082】

システム１５００の様々な実施形態は、上で考察されるような様々なプロセスを実装するためにシステム１５００にロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１５１０を含む。プロセッサ１５１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１５００はまた、少なくとも１つのメモリ１５２０（例えば、揮発性メモリデバイス、不揮発性メモリデバイス）を含み得る。システム１５００は、ストレージデバイス１５４０をさらに含み得、これには、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、これらに限定されない不揮発性メモリが含まれ得る。ストレージデバイス１５４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含み得る。システム１５００はまた、データを処理して符号化されたビデオおよび／または復号されたビデオを提供するように構成されたエンコーダ／デコーダモジュール１５３０を含み得、エンコーダ／デコーダモジュール１５３０は、それ自体のプロセッサおよびメモリを含み得る。

【0083】

エンコーダ／デコーダモジュール１５３０は、符号化および／または復号機能を実行するためにデバイスに含まれ得るモジュールを表す。周知であるように、そのようなデバイスは、符号化モジュールおよび復号モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール１５３０は、システム１５００の別個の要素として実装されてもよく、または当業者には周知であるようなハードウェアとソフトウェアとの組み合わせとして、１つ以上のプロセッサ１５１０内に組み込まれてもよい。

【0084】

上述の様々なプロセスを実行するために１つ以上のプロセッサ１５１０にロードされるプログラムコードは、ストレージデバイス１５４０に保存され、その後、プロセッサ１５１０による実行のためにメモリ１５２０にロードされ得る。例示的な実施形態によれば、プロセッサ（複数可）１５１０、メモリ１５２０、ストレージデバイス１５４０、およびエンコーダ／デコーダモジュール１５３０の１つ以上は、本明細書で上で考察されたプロセスの実行中に、入力されたビデオ、復号されたビデオ、ビットストリーム、方程式、数式、行列、変数、演算、および演算ロジックを含むが、これらに限定されない様々なアイテムのうちの１つ以上を記憶し得る。

【0085】

また、システム１５００は、通信チャネル１５６０を介して他のデバイスとの通信を可能にする通信インターフェース１５５０も含み得る。通信インターフェース１５５０は、通信チャネル１５６０からデータを送受信するように構成されたトランシーバを含み得るが、これに限定されない。通信インターフェース１５５０は、モデムまたはネットワークカードを含み得るが、これらに限定されず、通信チャネル１５５０は、有線および／または無線媒体内部に実装されてもよい。システム１５００の様々な構成要素は、内部バス、ワイヤ、およびプリント回路基板を含むが、これらに限定されない様々な好適な接続を使用して、互いに接続または通信可能に結合され得る（図１５には図示せず）。

【0086】

例示的な実施形態は、プロセッサ１５１０によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、行われてもよい。非限定的な例として、例示的な実施形態は、１つ以上の集積回路によって実装され得る。メモリ１５２０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能メモリ等の任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１５１０は、技術的環境に適切な任意のタイプであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

【0087】

本明細書で説明される実装形態は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。考察される機能の実装は、単一の形態の実装形態（例えば、方法としてのみ考察される）の文脈でのみ考察されたとしても、他の形態（例えば、装置またはプログラム）で実装されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。これらの方法は、例えば、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラム可能な論理デバイスを含む、一般に処理デバイスを指す、例えば、プロセッサ等の装置で実装することができる。また、プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／個人用デジタル補助装置（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイス等を含む。

【0088】

「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」もしくは「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」または「一実装形態（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」もしくは「一実装形態（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、ならびにそれらの他の変形への言及は、当該実施形態に関連して説明された特定の特徴、構造、特性等が、少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたって様々な箇所においてみられる、「一実施形態において（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」もしくは「一実施形態において（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」または「一実装形態において（ｉｎ ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」もしくは「一実装形態において（ｉｎ ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。

【0089】

さらに、本出願またはその請求項は、様々な情報を「判定すること」に言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、またはメモリから情報を取り出すことのうちの１つ以上を含み得る。

【0090】

さらに、本出願またはその請求項は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報の受信、情報の取得（例えば、メモリから）、情報の保存、情報の移動、情報のコピー、情報の計算、情報の予測、または情報の推定の１つ以上を含み得る。

【0091】

さらに、本出願またはその請求項は、様々な情報を「受信すること」に言及し得る。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報を受信することは、例えば、情報にアクセスすること、または（例えば、メモリから）情報を取り出すことのうちの１つ以上を含み得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の保存、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判定、情報の予測、または情報の推定等の動作中に含まれる。

【0092】

当業者には明らかであるように、実装形態は、例えば、保存または送信され得る情報を搬送するようにフォーマットされた多種多様な信号を生成し得る。情報は、例えば、方法を実行するための命令、または説明された実装形態のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用して）として、またはベースバンド信号としてフォーマットされてもよい。フォーマットは、例えば、データストリームを符号化すること、および符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する情報は、例えば、アナログまたはデジタル情報であり得る。信号は、周知であるように、多種多様な異なる有線または無線リンクを介して送信され得る。信号は、プロセッサ可読媒体に保存されてもよい。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】