▶ インターデジタル シーイー パテント ホールディングスの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】切り替え可能な補間フィルタを用いる幾何学的分割
(51)【国際特許分類】
H04N 19/70 20140101AFI20240319BHJP
H04N 19/523 20140101ALI20240319BHJP
H04N 19/52 20140101ALI20240319BHJP
【ＦＩ】
H04N19/70
H04N19/523
H04N19/52
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023561133
(86)(22)【出願日】2022-03-29
(85)【翻訳文提出日】2023-10-31
(86)【国際出願番号】 EP2022058303
(87)【国際公開番号】W WO2022214361
(87)【国際公開日】2022-10-13
(31)【優先権主張番号】21305471.1
(32)【優先日】2021-04-09
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＨＤＭＩ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ロベール、アントワン
(72)【発明者】
【氏名】ボルド、フィリップ
(72)【発明者】
【氏名】ル リアネック、ファブリース
(72)【発明者】
【氏名】ナセル、カラム
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159LC04
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN11
5C159NN14
5C159RC12
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
切り替え可能な補間フィルタ（switchable interpolation filter、ＳＩＦ）のための情報は、多用途ビデオ符号化などの幾何学的マージモードにおいて、別個の区画のために独立して使用される。ＳＩＦ情報は、予測段階で使用され、幾何学的分割モードフィールドに格納され得る。さらに、ＳＩＦ情報は、幾何学的分割の符号化された符号化単位の適応動きベクトル解像度の精度を定義するために使用され得る。一実施形態では、候補リストからの予測子は、ＳＩＦフラグから又は他の候補から継承される。
【選択図】図６
【選択図】図６
【特許請求の範囲】
【請求項1】
方法であって、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子のための別個のＳＩＦフラグとして使用することと、
前記ＳＩＦフラグを動きフィールドに格納することと、
ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定することと、
ＧＥＯモードを使用して前記符号化単位を符号化することと、
を含む、方法。
【請求項2】
装置であって、プロセッサであって、
予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子のための別個のＳＩＦフラグとして使用することと、
前記ＳＩＦフラグを動きフィールドに格納することと、
ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定することと、
ＧＥＯモードを使用して前記符号化単位を符号化することと、
を実行するように構成されている、プロセッサを備える、装置。
【請求項3】
方法であって、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子のための別個のＳＩＦフラグとして使用することと、
前記ＳＩＦフラグを動きフィールドに格納することと、
ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定することと、
ＧＥＯモードを使用して前記符号化単位を復号することと、
を含む、方法。
【請求項4】
装置であって、プロセッサであって、
予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子のための別個のＳＩＦフラグとして使用することと、
前記ＳＩＦフラグを動きフィールドに格納することと、
ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定することと、
ＧＥＯモードを使用して前記符号化単位を復号することと、
を実行するように構成されている、プロセッサを備える、装置。
【請求項5】
組み合わせを展開するために「ＯＲ」演算が使用される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項6】
前記ＡＭＶＲインデックスは、２つの単一予測子ＳＩＦフラグ間に「ＯＲ」演算を適用することによって決定される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項7】
動き補償も含む、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項8】
動き補償が、第１の分割予測子の動き情報を用いて、前記符号化単位に対して動き補償を実行することと、
第２の分割予測子の動き情報を用いて、前記符号化単位に対して動き補償を実行することと、
前記第１の分割予測子からの前記動き補償プロセスと前記第２の分割予測子からの前記動き補償プロセスとを混合することと、
を含む、請求項７に記載の方法又は装置。
【請求項9】
前記ＡＭＶＲインデックスは、符号化単位の混合部分のＳＩＦフラグによって定義される値に設定される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項10】
前記ＡＭＶＲインデックスは、２つの単一予測子ＳＩＦフラグ間に「ＡＮＤ」及び「ＯＲ」演算を適用することによって定義される値に設定される、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項11】
前記ＳＩＦフラグの代わりに局所照度補償フラグを使用する、請求項１若しくは３に記載の方法、又は請求項２若しくは４に記載の装置。
【請求項12】
デバイスであって、請求項４に記載の装置と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号が前記符号化単位を含む、アンテナ、（ｉｉ）受信された前記信号を、前記ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、及び（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイス。
【請求項13】
請求項１、３、及び５～１１のいずれか一項に記載の前記方法に従って生成された、又は請求項２及び５～１１のいずれかに記載の前記装置によって生成された、プロセッサを使用して再生するためのデータコンテンツを含む、非一時的なコンピュータ可読媒体。
【請求項14】
プロセッサを使用して再生するための、請求項１及び５～１１のいずれかに記載の前記方法に従って、又は請求項２及び５～１１のいずれかに記載の前記装置によって生成されたビデオデータを含む、信号。
【請求項15】
コンピュータプログラム製品であって、前記プログラムがコンピュータによって実行される時、請求項１、３、及び５～１１のいずれかに記載の前記方法を、前記コンピュータに実行させる命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号、圧縮又は解凍のための方法又は装置に関する。
【背景技術】
【0002】
高い圧縮効率を実現するために、画像及びビデオの符号化スキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。
【発明の概要】
【0003】
本実施形態のうちの少なくとも１つは、概して、ビデオの符号化又は復号のための方法又は装置に関し、より具体的には、例えばＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、多用途ビデオ符号化又はＨ．２６６）規格のような符号化規格において、切り替え可能な補間フィルタ（switchable interpolation filter、ＳＩＦ）を用いる幾何学的分割（geometric partitions、ＧＥＯ）を使用するための方法又は装置に関する。
【0004】
第１の態様によれば、方法が提供される。この方法は、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子に対する別個のＳＩＦフラグとして使用するステップと；ＳＩＦフラグを動きフィールドに格納するステップと；ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定するステップと；ＧＥＯモードを使用して符号化単位を符号化するステップと、を含む。
【0005】
第２の態様によれば、別の方法が提供される。この方法は、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子に対する別個のＳＩＦフラグとして使用するステップと；ＳＩＦフラグを動きフィールドに格納するステップと；ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定するステップと；ＧＥＯモードを使用して符号化単位を復号するステップと、を含む。
【0006】
別の一態様によれば、装置が提供される。装置は、プロセッサを備える。プロセッサは、前述した方法のいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号するように構成することができる。
【0007】
少なくとも１つの実施形態の別の一般的態様によれば、復号する実施形態のいずれかによる装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、（ｉｉ）受信された信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備えるデバイスが提供される。
【0008】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。
【0009】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。
【0010】
少なくとも１つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。
【0011】
少なくとも１つの実施形態の別の一般的態様によれば、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されるとき、記載される復号する実施形態又は変形形態のうちのいずれかをコンピュータに行わせる、コンピュータプログラム製品が提供される。
【0012】
一般的態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。
【図面の簡単な説明】
【0013】
【図1】圧縮ＨＥＶＣピクチャを表すための、符号化ツリー単位（Coding Tree Unit、ＣＴＵ）及び符号化ツリー（Coding Tree、ＣＴ）の概念を示す図である。
【図2】符号化ツリー単位の符号化単位、予測単位、及び変換単位への分割を示す図である。
【図3】幾何学的分割の説明を示す図である。
【図4】角度１２と０～３間の距離とを用いる幾何学的分割の一例を示す図である。
【図5】ＧＥＯモードに対して提案された角度を、それらの対応する幅対高さの比と共に示す図である。
【図6】ＧＥＯ分割モードのための単予測動きベクトル（motion vector、ＭＶ）の選択を示す図である。
【図7】標準的で、一般的なビデオ圧縮スキームを示す図である。
【図8】標準的で、一般的なビデオ解凍スキームを示す図である。
【図9】説明された一般的な態様下で符号化／復号するためのプロセッサベースのシステムを示す図である。
【図10】説明された態様の下の方法の一実施形態を示す図である。
【図11】説明された態様の下の方法の第２の実施形態を示す図である。
【図12】説明された態様の下の装置の一実施形態を示す図である。
【発明を実施するための形態】
【0014】
本明細書で説明する実施形態は、ビデオ圧縮の分野におけるものであり、一般的には、ビデオ圧縮、並びにビデオ符号化及び復号に関し、より具体的には、既存のビデオ符号化システムに比べて圧縮効率を改善することを目的とする。
【0015】
高い圧縮効率を実現するために、画像及びビデオの符号化スキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツ内の空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。
【0016】
ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオ符号化）のビデオ圧縮規格では、ビデオの連続するピクチャ間に存在する冗長性を利用するために、動き補償時間予測が採用される。
【0017】
これを行うために、動きベクトルが各予測単位（ＰＵ）に関連付けられるが、ここで紹介されるのはこれである。各ＣＴＵ（符号化ツリー単位）は、圧縮ドメイン内の符号化ツリーによって表現される。これは、ＣＴＵの四分木分割であり、各リーフが符号化単位（ＣＵ）と呼ばれるものである。これについては図１を参照のこと。
【0018】
次いで、それぞれのＣＵは、何らかのイントラ又はインター予測パラメータ（予測情報）を与えられる。そうするために、それは１つ以上の予測単位（preditiction unit、ＰＵ）に空間的に分割されており、各ＰＵには、何らかの予測情報が割り当てられている。イントラ又はインター符号化モードは、ＣＵレベルに割り当てられる。これについては、図２を参照のこと。
【0019】
ＨＥＶＣでは、正確に１つの動きベクトルが、各ＰＵに割り当てられる。この動きベクトルは、対象のＰＵの動き補償時間予測のために使用される。
【0020】
ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）グループによって開発された多用途ビデオコーデック（Versatile Video Codec、ＶＶＣ）では、ＣＵはもはやＰＵ又はＴＵに分割されず、何らかの動きデータが各ＣＵに直接割り当てられる。この新しいコーデック設計では、ＣＵはサブＣＵに分割され得るが、動きベクトルが各サブＣＵについて計算される。
【0021】
幾何学的マージモード
ＶＶＣにおいて、幾何学的マージモード（ＧＥＯ）は、３２個の角度及び５個の距離でサポートされる。角度
ＶＶＣにおいて、幾何学的マージモード（ＧＥＯ）は、３２個の角度及び５個の距離でサポートされる。角度
【0022】
【0023】
【数2】
【0024】
【0025】
距離
【0026】
【数4】
【0027】
【数5】
【0028】
【0029】
距離について
【0030】
【数7】
【0031】
ＧＥＯ分割プロセスを簡略化するために、ＧＥＯにおける角度は、正接として２の累乗を有する角度で置き換えられる。提案された角度の正接は２の累乗数であるので、ほとんどの乗算はビットシフトによって置き換えることができる。提案された角度では、図５に示されるように、ブロックサイズごと及び分割モードごとに格納するために、１つの行又は列が必要とされる。
【0032】
ＧＥＯのための単予測候補リスト構築
ＧＥＯ単予測候補リストは、拡張マージ予測プロセスに従って構築されたマージ候補リストから直接導出される。符号ｎを、ＧＥＯ単予測候補リスト中の、単予測動きのインデックスとする。ｎ番目の拡張マージ候補のＬＸ動きベクトルは、Ｘがｎのパリティに等しい場合、ＧＥＯ分割モードのためのｎ番目の単予測動きベクトルとして使用される。これらの動きベクトルは、図６において「ｘ」でマーキングされている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、代わりに、同じ候補のＬ（１－Ｘ）動きベクトルが、ＧＥＯ分割モードのための単予測動きベクトルとして使用される。
ＧＥＯ単予測候補リストは、拡張マージ予測プロセスに従って構築されたマージ候補リストから直接導出される。符号ｎを、ＧＥＯ単予測候補リスト中の、単予測動きのインデックスとする。ｎ番目の拡張マージ候補のＬＸ動きベクトルは、Ｘがｎのパリティに等しい場合、ＧＥＯ分割モードのためのｎ番目の単予測動きベクトルとして使用される。これらの動きベクトルは、図６において「ｘ」でマーキングされている。ｎ番目の拡張マージ候補の対応するＬＸ動きベクトルが存在しない場合、代わりに、同じ候補のＬ（１－Ｘ）動きベクトルが、ＧＥＯ分割モードのための単予測動きベクトルとして使用される。
【0033】
最大５つの単予測候補が存在し、エンコーダは、スプリット方向及びオフセットを有する候補（各分割について１つ）のすべての組合せをテストしなければならない。
【0034】
幾何学的分割エッジに沿った混合
それ自体の動きを使用して幾何学的分割の各部分を予測した後、２つの予測信号に混合が適用されて、幾何学的分割エッジの周りのサンプルを導出する。ＣＵの各位置についての混合重みは、図３に示されている角度
それ自体の動きを使用して幾何学的分割の各部分を予測した後、２つの予測信号に混合が適用されて、幾何学的分割エッジの周りのサンプルを導出する。ＣＵの各位置についての混合重みは、図３に示されている角度
【0035】
【数8】
【0036】
【数9】
【0037】
幾何学的分割モードのための動きフィールド格納
幾何学的分割の第１の部分からのＭｖ１、幾何学的分割の第２の部分からのＭｖ２、及びＭｖ１とＭｖ２との複合Ｍｖが、幾何学的分割モード符号化ＣＵの、動きフィールドに格納される。
幾何学的分割の第１の部分からのＭｖ１、幾何学的分割の第２の部分からのＭｖ２、及びＭｖ１とＭｖ２との複合Ｍｖが、幾何学的分割モード符号化ＣＵの、動きフィールドに格納される。
【0038】
動きフィールドが区画０（図３の白い部分）又は区画１（図３の黒い部分）の一部である場合、Ｍｖ１又はＭｖ２が対応する動きフィールドに格納され、あるいは、動きフィールドが混合部分（図３の灰色部分）に属する場合、Ｍｖ１及びＭｖ２による複合Ｍｖが格納される。複合Ｍｖは、以下のプロセスを使用して生成される：
１）Ｍｖ１及びＭｖ２が異なる参照ピクチャリストからのものである場合（一方はＬ０からのものであり、他方はＬ１からのものである）、Ｍｖ１及びＭｖ２は単純に組み合わされて双予測動きベクトルを形成する。
１）Ｍｖ１及びＭｖ２が異なる参照ピクチャリストからのものである場合（一方はＬ０からのものであり、他方はＬ１からのものである）、Ｍｖ１及びＭｖ２は単純に組み合わされて双予測動きベクトルを形成する。
【0039】
２）あるいは、Ｍｖ１及びＭｖ２が同じリストからのものである場合、単予測動きＭｖ２のみが格納される。
【0040】
適応補間フィルタ（ＳＩＦ）
ＶＶＣのＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ、適応動きベクトル解像度）符号化ツールは、動きベクトル正確度（又は精度、又は解像度）レベルを調整することを可能にする。さらに、ＳＩＦ情報は、ハーフペル精度が使用されるかどうかを示し、その場合、通常の８タップフィルタの代わりに６タップ補間フィルタが使用される。
ＶＶＣのＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ、適応動きベクトル解像度）符号化ツールは、動きベクトル正確度（又は精度、又は解像度）レベルを調整することを可能にする。さらに、ＳＩＦ情報は、ハーフペル精度が使用されるかどうかを示し、その場合、通常の８タップフィルタの代わりに６タップ補間フィルタが使用される。
【0041】
ＣＵレベル情報（ＡＭＶＲインデックス）は、ＣＵのＭｖ情報の解像度を示し、動きフィールドレベル情報（ＳＩＦフラグ）は、ハーフペル精度が使用されるかどうかを示す。
【0042】
説明される実施形態は、その効率を改善するために、幾何学的マージモードにおける各区画のＳＩＦ情報を考慮することを目的とする。現在、ＳＩＦ情報は、幾何学的マージモードにおいては考慮されていない。
【0043】
説明される実施形態は、幾何学的マージモードにおいて各区画のＳＩＦ情報を独立して考慮することを目的とする。このことは、以下を含むことができる：
－予測段階においてＳＩＦ情報を使用することと；
－ＳＩＦ情報をＧＥＯ動きフィールドに格納することと；
－幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）のＡＭＶＲ精度を定義すること。
－予測段階においてＳＩＦ情報を使用することと；
－ＳＩＦ情報をＧＥＯ動きフィールドに格納することと；
－幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）のＡＭＶＲ精度を定義すること。
【0044】
【0045】
通常のマージモードでは、候補リストからの予測子は、ＳＩＦフラグから（空間的近傍から、又はＨＭＶＰ（履歴ベース動きベクトル予測）候補から）継承する。予測子のＳＩＦフラグが真であるとき、現在のＣＵのＡＭＶＲインデックスはハーフペルに設定され、動き補償プロセスが、通常の８タップ補間フィルタの代わりに６タップ補間フィルタを使用することができるようになる。このＳＩＦフラグは、次の継承目的のために、このＣＵの動きフィールドに格納される。
【0046】
ＧＥＯマージモードで考慮されるＳＩＦ
ＧＥＯマージモードでは、単予測候補リストは、幾何学的分割モードのための動きフィールド格納に関するセクション及び図６で説明されるように、通常マージリストに基づいて構築される。ＳＩＦフラグはまた、動きベクトル及び参照インデックスに加えて通常のマージ候補から継承され得るが、それによって、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の各単予測子が、それ自体のＳＩＦフラグを有することができるようになる。
ＧＥＯマージモードでは、単予測候補リストは、幾何学的分割モードのための動きフィールド格納に関するセクション及び図６で説明されるように、通常マージリストに基づいて構築される。ＳＩＦフラグはまた、動きベクトル及び参照インデックスに加えて通常のマージ候補から継承され得るが、それによって、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の各単予測子が、それ自体のＳＩＦフラグを有することができるようになる。
【0047】
幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の動き補償プロセスは、以下の３つのステップで実行される：
１）ＣＵが、第１の分割予測子の動き情報を用いて動き補償される；
２）次いで、ＣＵが、第２の分割予測子の動き情報を用いて動き補償される；
３）最後に、セクション適応補間フィルタ（ＳＩＦ）の混合プロセスが適用される。
１）ＣＵが、第１の分割予測子の動き情報を用いて動き補償される；
２）次いで、ＣＵが、第２の分割予測子の動き情報を用いて動き補償される；
３）最後に、セクション適応補間フィルタ（ＳＩＦ）の混合プロセスが適用される。
【0048】
第１の分割予測子のＳＩＦフラグが真であるとき、ＣＵのＡＭＶＲインデックスは、ハーフペルに一時的に設定され、対応する動き補償が６タップ補間フィルタを使用することができるようにし、次いで、ＣＵのＡＭＶＲインデックスは、デフォルト値にリセットされる。同じプロセスが、第２の分割予測子に適用される。混合プロセスの間、補償された値は、ＧＥＯ予測されたＣＵを構成するために、これらの動き補償された２つの独立したＣＵから選ばれる。
【0049】
このようにして、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の各区画は、異なるＳＩＦフラグを保持することができる。
【0050】
ＳＩＦフラグ格納
通常のマージモードにおけるのと同様に、ＳＩＦフラグは、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の動きフィールドに格納される。
通常のマージモードにおけるのと同様に、ＳＩＦフラグは、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）の動きフィールドに格納される。
【0051】
幾何学的分割モードのための動きフィールド格納に関するセクションで説明したように、各予測子の動き情報又は組合せのいずれかが動きフィールドに格納される。動きフィールドが区画０（図３の白い部分）又は区画１（図３の黒い部分）の一部である場合、Ｍｖ１及び関連するＳＩＦ１フラグ又はＭｖ２及び関連するＳＩＦ２フラグが対応する動きフィールドに格納される。そうではない場合、すなわち動きフィールドが混合部分（図３の灰色部分）に属する場合、Ｍｖ１とＭｖ２とによる複合Ｍｖ及びＳＩＦ１フラグとＳＩＦ２フラグとによる複合ＳＩＦフラグが格納される。複合Ｍｖ及びＳＩＦフラグは、以下のプロセスを使用して生成される：
１）Ｍｖ１及びＭｖ２が異なる参照ピクチャリスト（一方はＬ０から、他方はＬ１から）からのものである場合、Ｍｖ１及びＭｖ２は単純に組み合わされて双予測動きベクトルを形成し、ＳＩＦフラグは、入力されたＳＩＦ１フラグとＳＩＦ２フラグとの間に「ＡＮＤ」又は「ＯＲ」演算を適用することによって定義される；
２）あるいは、Ｍｖ１及びＭｖ２が同じリストからのものである場合、単予測動きＭｖ２及び関連するＳＩＦ２フラグのみが格納される。
１）Ｍｖ１及びＭｖ２が異なる参照ピクチャリスト（一方はＬ０から、他方はＬ１から）からのものである場合、Ｍｖ１及びＭｖ２は単純に組み合わされて双予測動きベクトルを形成し、ＳＩＦフラグは、入力されたＳＩＦ１フラグとＳＩＦ２フラグとの間に「ＡＮＤ」又は「ＯＲ」演算を適用することによって定義される；
２）あるいは、Ｍｖ１及びＭｖ２が同じリストからのものである場合、単予測動きＭｖ２及び関連するＳＩＦ２フラグのみが格納される。
【0052】
ＣＵのＡＭＶＲインデックス
ＣＵのＡＭＶＲインデックスは、動き補償プロセス中に分割予測子ＳＩＦフラグに応じて、適応的に設定されるが、（後続の使用のために）ＣＵに対して定義されなければならない。これは以下の通りである：
－デフォルト値のままである；
－混合部分のＳＩＦフラグによって定義される値に設定される；
－２つの単一予測子ＳＩＦフラグどうしの間に「ＡＮＤ」又は「ＯＲ」演算を適用することによって定義される値に設定される（使用される参照ピクチャリストが何であれ）。
ＣＵのＡＭＶＲインデックスは、動き補償プロセス中に分割予測子ＳＩＦフラグに応じて、適応的に設定されるが、（後続の使用のために）ＣＵに対して定義されなければならない。これは以下の通りである：
－デフォルト値のままである；
－混合部分のＳＩＦフラグによって定義される値に設定される；
－２つの単一予測子ＳＩＦフラグどうしの間に「ＡＮＤ」又は「ＯＲ」演算を適用することによって定義される値に設定される（使用される参照ピクチャリストが何であれ）。
【0053】
好ましい一実施形態では、ＳＩＦフラグは、ＧＥＯマージモードで考慮されるＳＩＦのセクションで説明されるように、通常のマージリスト予測子から継承される。
【0054】
ＳＩＦフラグは、ＳＩＦフラグ格納のセクションで説明したように、動きフィールドに格納され、「ＯＲ」演算が混合部分で使用される。
【0055】
また、幾何学的分割（ＧＥＯ）の符号化単位（ＣＵ）のＡＭＶＲインデックスは、（使用される参照ピクチャリストが何であれ）２つの単一予測子ＳＩＦフラグどうしの間に「ＯＲ」演算を適用することによって定義される値に設定される。
【0056】
ＬＩＣへの拡張
通常のマージ候補リストから来る、ＧＥＯマージモードで使用される予測子はまた、それら自体のＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、局所照明補償）フラグを有することができる。説明した全ての原理は、ＳＩＦフラグと同様に、ＬＩＣフラグにも適用することができる。
通常のマージ候補リストから来る、ＧＥＯマージモードで使用される予測子はまた、それら自体のＬＩＣ（Ｌｏｃａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ、局所照明補償）フラグを有することができる。説明した全ての原理は、ＳＩＦフラグと同様に、ＬＩＣフラグにも適用することができる。
【0057】
本明細書で説明する一般的態様下での方法１０００の一実施形態が図１０に示されている。この方法は開始ブロック１００１で始まり、制御はブロック１０１０に進み、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子に対する別個のＳＩＦフラグとして使用する。制御はブロック１０１０からブロック１０２０に進み、上記のＳＩＦフラグを動きフィールドに格納する。制御はブロック１０２０からブロック１０３０に進み、ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定する。制御は、ブロック１０３０からブロック１０４０に進み、ＧＥＯモードを用いて、上記の符号化単位を符号化する。
【0058】
本明細書で説明する一般的態様下での方法１１００の一実施形態が図１１に示されている。この方法は開始ブロック１１０１で始まり、制御はブロック１１１０に進み、予測子のマージリストからＳＩＦフラグを継承して、ＧＥＯ符号化単位の各単予測子に対する別個のＳＩＦフラグとして使用する。制御はブロック１１１０からブロック１１２０に進み、ＳＩＦフラグを動きフィールドに格納する。制御はブロック１１２０からブロック１１３０に進み、ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単予測子ＳＩＦフラグに基づく値に設定する。制御は、ブロック１１３０からブロック１１４０に進み、ＧＥＯモードを用いて、上記の符号化単位を復号する。
【0059】
図１２は、近傍のサンプルに依存するパラメトリックモデルに基づく符号化モードの簡略化を使用してビデオデータを符号化、復号、圧縮、又は解凍するための装置１２００の一実施形態を示す。この装置は、プロセッサ１２１０を備えており、少なくとも１つのポートを通じてメモリ１２２０に相互接続することができる。プロセッサ１２１０及びメモリ１２２０は両方とも、外部接続への１つ以上の追加の相互接続を有することもできる。
【0060】
更にプロセッサ１２１０は、ビットストリームにおいて情報を挿入又は受信し、説明した態様のいずれかを使用して圧縮、符号化、又は復号するように構成されている。
【0061】
本明細書で説明する実施形態は、ツール、特徴、例、モデル、手法などを含む、様々な態様を含む。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る方法で記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。
【0062】
本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。図７、図８、及び図９は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図７、図８、及び図９の説明は、実装形態の範囲を制限しない。態様のうちの少なくとも１つは、概して、ビデオ符号化及び復号に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号するための命令を自体に格納したコンピュータ可読格納媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自体に格納したコンピュータ可読格納媒体、として実装することができる。
【0063】
本出願では、「再構成された（reconstructed）」及び「復号された（decoded）」という用語は、交換可能に使用され得、「ピクセル（pixel）」及び「サンプル（sample）」という用語は、交換可能に使用され得、「画像（image）」、「ピクチャ（picture）」、及び「フレーム（frame）」という用語は、交換可能に使用され得る。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号された」という用語は、デコーダ側で使用される。
【0064】
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための１つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は、修正又は組み合わされ得る。
【0065】
本出願に説明されている様々な方法及び他の態様を使用して、図７及び図８に示されるようなビデオエンコーダ１００及びビデオデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピ符号化モジュール、及び／又は復号モジュール（１６０、３６０、１４５、３３０）を修正することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。
【0066】
本出願において、様々な数値が使用されている。具体的な値は、例示目的のためであり、記載の態様は、これらの具体的な値に限定されない。
【0067】
図７は、エンコーダ１００を示す。このエンコーダ１００の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ１００について説明される。
【0068】
符号化される前に、ビデオシーケンスは、符号化前処理（１０１）、例えば、カラー変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分のうちの１つのヒストグラム等化を使用して）ことを経ることができる。メタデータを前処理に関連付け、ビットストリームに付加することができる。
【0069】
エンコーダ１００では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、ＣＵという単位に分割され（１０２）、処理される。各単位は、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。単位がイントラモードで符号化されるとき、その符号化は、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び動き補償（１７０）が実行される。エンコーダは、単位を符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し（１０５）、例えば、予測モードフラグによってイントラ／インターの決定を示す。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって（１１０）計算される。
【0070】
その予測残差は、次いで、変換され（１２５）、量子化される（１３０）。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、エントロピコード化され（１４５）、ビットストリームが出力される。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接符号化される。
【0071】
エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、逆量子化され（１４０）、逆変換されて（１５０）、予測残差が復号される。復号された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構成される。ループ内フィルタ（１６５）が、再構成されたピクチャに適用され、例えば、符号化アーチファクトを低減するための非ブロック化／サンプル適応オフセット（Sample Adaptive Offset、ＳＡＯ）フィルタリングが実行される。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に格納される。
【0072】
図８は、ビデオデコーダ２００のブロック図を示している。デコーダ２００では、以下に説明するように、ビットストリームが、デコーダ要素によって復号される。ビデオデコーダ２００は、概して、図７で説明したような符号化パスとは逆の処理となる復号パスを実行する。エンコーダ１００も又、概して、ビデオデータを符号化することの一部としてビデオ復号を実行する。
【0073】
特に、デコーダの入力は、ビデオビットストリームを含み、このビデオビットストリームは、ビデオエンコーダ１００によって生成され得るものである。ビットストリームは、最初にエントロピ復号されて（２３０）、変換係数、動きベクトル、及び他の符号化情報が取得される。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがってデコーダは、復号されたピクチャ分割情報に従って、ピクチャを分割してもよい（２３５）。変換係数は、逆量子化され（２４０）、逆変換されて（２５０）、予測残差が復号される。復号された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構成される。イントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から、予測ブロックを得ることができる（２７０）。ループ内フィルタ（２６５）は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に格納される。
【0074】
復号されたピクチャは、復号後処理（２８５）、例えば、逆カラー変換（例えば、ＹｃｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（１０１）において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
【0075】
図９は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。システム１０００は、以下に記載の様々な構成要素を含むデバイスとして具体化することができ、本明細書に記載の態様のうちの１つ以上を行うように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム１０００の要素を、単独で又は組み合わせて、単一の集積回路（integrated circuit、ＩＣ）、複数のＩＣ、及び／又は別個の構成要素に具体化することができる。例えば、少なくとも１つの実施形態では、システム１０００の処理要素及びエンコーダ要素／デコーダ要素は、複数のＩＣ及び／又は別個の構成要素にわたって分散している。様々な実施形態では、システム１０００は、例えば、通信バスを介して、又は専用の入力ポート及び／若しくは出力ポートを通じて、１つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム１０００は、本文書に説明される態様のうちの１つ以上を実装するように構成されている。
【0076】
システム１０００は、例えば、本明細書に説明される様々な態様を実装するために、それ自体にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、記憶デバイス１０４０を含み、これは、不揮発性メモリ及び／又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ（Electrically Erasable Programmable Read-Only Memory、ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（Programmable Read-Only Memory、ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（Dynamic Random Access Memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（Static Random Access Memory、ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、付属記憶デバイス（取り外し可能及び取り外し不可能な記憶デバイスを含む）、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。
【0077】
システム１０００は、例えば、符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号機能を実行するためのデバイスに含めることができるモジュール（複数可）を表す。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。更に、エンコーダ／デコーダモジュール１０３０を、システム１０００の別個の要素として実装することができるが、又は当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込むことができる。
【0078】
本明細書に記載の様々な態様を行うためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、記憶デバイス１０４０に格納することができ、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込むことができる。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本明細書で説明されたプロセスの実行中に様々なアイテムのうちの１つ以上を格納することができる。かかる格納されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの一部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
【0079】
いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令を格納し、符号化又は復号中に必要とされる処理のための作業メモリを提供する。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスを、プロセッサ１０１０か、又はエンコーダ／デコーダモジュール１０３０のいずれかとすることができる）の外部のメモリを、これらの機能のうちの１つ以上のために使用する。外部メモリを、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、動的揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを格納する。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐと称され、ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣは高効率映像符号化と称され、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、又はＶＶＣ（ＪＶＥＴによって開発中の新しい標準である多用途ビデオ符号化）などのビデオの符号化動作及び復号動作のための作業メモリとして使用される。
【0080】
システム１０００の要素への入力を、ブロック１１３０に示されるような様々な入力デバイスを通じて提供することができる。このような入力デバイスには、（ｉ）例えば、放送事業者による放送全体にわたり送信されるＲＦ信号を受信する無線周波数（Radio Frequency、ＲＦ）部分、（ｉｉ）コンポーネント（Component、ＣＯＭＰ）入力端子（又はＣＯＭＰ入力端子セット）、（ｉｉｉ）ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）入力端子、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（High Definition Multimedia Interface、ＨＤＭＩ）入力端子が含まれるが、これらに限定されない。図９には示されていないが、他の例は、コンポジットビデオを含む。
【0081】
様々な実施形態において、ブロック１１３０の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択すること（信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される）と、（ｉｉ）選択された信号をダウンコンバートすることと、（ｉｉｉ）（例えば）特定の実施形態でチャネルと称され得る信号周波数帯域を選択するために、より狭い帯域の周波数に再び帯域制限することと、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調することと、（ｖ）エラー訂正を実行することと、（ｖｉ）所望のデータパケットのストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数（例えば、中間周波数又は近ベースバンド周波数）に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、ＲＦ部分及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、並びに／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、ＲＦ部分は、アンテナを含む。
【0082】
更に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード－ソロモンエラー訂正を、例えば、必要に応じて、別個の入力処理ＩＣ内に又はプロセッサ１０１０内に実装することができることを理解すべきである。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内、又はプロセッサ１０１０内で実装することができる。例えば、プロセッサ１０１０、並びにメモリ及び格納要素と組み合わせて動作するエンコーダ／デコーダ１０３０を含む様々な処理要素に、復調され、エラー訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために必要に応じてデータストリームを処理する。
【0083】
システム１０００の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続配設、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。
【0084】
システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０を、例えば、有線媒体及び／又は無線媒体内に実装することができる。
【0085】
データは、様々な実施形態では、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子技術者協会（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、又は別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信用に適合された通信チャネル１０６０及び通信インターフェース１０５０によって受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック１１３０のＨＤＭＩ接続によってデータを配信するセットトップボックスを使用して、システム１０００にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック１１３０のＲＦ接続を使用して、システム１０００にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラネットワーク又はＢｌｕｅｔｏｏｔｈネットワークを使用する。
【0086】
システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能なディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（移動電話）、又は別のデバイス用とすることができる。又、ディスプレイ１１００を、他の構成要素と統合することができ（例えば、スマートフォン内のように）、又は別個にする（例えば、ラップトップ用の外部モニタ）こともできる。実施形態の様々な例において、他の周辺デバイス１１２０には、スタンドアロンのデジタル・ビデオ・ディスク（又はデジタル多用途ディスク）（両方の用語について、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システム、のうちの１つ以上が含まれる。様々な実施形態は、システム１０００の出力に基づいて機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。
【0087】
様々な実施形態では、制御信号が、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、家庭用電子制御（Consumer Electronics Control、ＣＥＣ）、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通じた専用接続を介してシステム１０００に通信可能に連結することができる。代替的に、出力デバイスを、通信インターフェース１０５０を介し、通信チャネル１０６０を使用して、システム１０００に接続させることができる。ディスプレイ１１００及びスピーカ１１１０を、例えば、テレビジョンなどの電子デバイスにおけるシステム１０００の他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。
【0088】
例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０を、代替的に、他の構成要素のうちの１つ以上から分かれたものとすることができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して出力信号を提供することができる。
【0089】
実施形態は、プロセッサ１０１０によって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実装されるコンピュータソフトウェアによって行うことができる。非限定的な例として、１つ以上の集積回路によって実施形態を実装することができる。メモリ１０２０を、技術環境に適切な任意のタイプのものとすることができ、適切なデータ格納技術を使用して実装することができる。このデータ格納技術の非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどが挙げられる。プロセッサ１０１０は、技術環境に適切な任意のタイプのものであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含することができる。
【0090】
様々な実装形態は、復号することを含む。本出願で使用される「復号」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの１つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。
【0091】
更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0092】
様々な実装形態は、符号化を伴う。本出願で使用される「符号化」は、「復号」に関する上記の説明と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの１つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替的に、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスが含まれる。
【0093】
更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0094】
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
【0095】
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／プロセスのフローチャートも提供するものと理解されたい。
【0096】
様々な実施形態が、パラメトリックモデル又はレート歪み最適化に関連し得る。特に、符号化プロセス中に、しばしば計算複雑性の制約ゆえに、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化（Rate Distortion Optimization、ＲＤＯ）メトリックを通して、あるいは最小二乗平均（Least Mean Square、ＬＭＳ）、絶対誤差平均（Mean of Absolute Errors、ＭＡＥ）、又は他のかかる測定を通して、これを測定することができる。レート歪み最適化は、通常、レートと歪みとの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なる手法がある。例えば、これらの手法は、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得るが、それらの符号化コスト、並びに符号化及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの２つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くの手法は、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。
【0097】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも（例えば、方法としてのみ考察される）、考察された特徴の実装形態は、他の形態（例えば、装置又はプログラム）でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実施することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型／携帯情報端末（portable/personal digital assistant、「ＰＤＡ」）及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
【0098】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、又それらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、又他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0099】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上を含むことができる。
【0100】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を格納すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
【0101】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
【0102】
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A,B,and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A,B,and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0103】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード又はフラグのうちの特定の１つをシグナリングする。このように、ある実施形態では、同じ変換、パラメータ又はモードが、エンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる（明確なシグナリング）。これに対し、デコーダがすでにその特定のパラメータと共に他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0104】
当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用して）、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であってもよい。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。
【0105】
前述のセクションは、様々な請求項のカテゴリ及びタイプにわたる、いくつかの実施形態を説明している。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの１つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる：
・予測子のマージリストから、ＳＩＦフラグを継承する；
・ビデオビットストリームを解析して、予測子のマージされたリストからＳＩＦフラグを決定する；
・動きフィールドにＳＩＦフラグを格納する；
・ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単一予測子ＳＩＦフラグに基づく値に設定する；
・ＡＭＶＲインデックスの以前の設定では、ＡＭＶＲインデックス値は、使用される参照ピクチャリストが何であれ、２つの単一予測子ＳＩＦフラグ間に「ＯＲ」演算を適用することによって定義される；
・ＳＩＦフラグのＡＭＶＲインデックスの動きフィールドへの格納は、「ＯＲ」演算に基づいて行われる；
・いかなる復号演算も、上記の演算に基づいて行われる；
・ビットストリーム又は信号は、記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含む；
・ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む；
・説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する；
・説明された実施形態のいずれかによって、方法、プロセス、装置、命令を格納する媒体、データ又は信号を格納する媒体を提供する；
・エンコーダによって使用される様態に対応する様態で、デコーダが復号情報を判定することを可能にするシンタックス要素をシグナリングに挿入する；
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する；
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかによる変換方法（複数可）を実行する；
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかにより、変換方法（複数可）を決定し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、又はその他のタイプのディスプレイを使用して表示する）；
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、説明される実施形態のいずれかによって、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用してチューニングし）て、符号化済み画像を含む信号を受信し、変換方法（複数可）を実行する；
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化済み画像を含む信号を放送により受信（例えばアンテナを使用して受信）し、変換方法（複数可）を実行する。
・予測子のマージリストから、ＳＩＦフラグを継承する；
・ビデオビットストリームを解析して、予測子のマージされたリストからＳＩＦフラグを決定する；
・動きフィールドにＳＩＦフラグを格納する；
・ＧＥＯ符号化単位のＡＭＶＲインデックスを、使用される参照ピクチャリストに基づく２つの単一予測子ＳＩＦフラグに基づく値に設定する；
・ＡＭＶＲインデックスの以前の設定では、ＡＭＶＲインデックス値は、使用される参照ピクチャリストが何であれ、２つの単一予測子ＳＩＦフラグ間に「ＯＲ」演算を適用することによって定義される；
・ＳＩＦフラグのＡＭＶＲインデックスの動きフィールドへの格納は、「ＯＲ」演算に基づいて行われる；
・いかなる復号演算も、上記の演算に基づいて行われる；
・ビットストリーム又は信号は、記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含む；
・ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む；
・説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する；
・説明された実施形態のいずれかによって、方法、プロセス、装置、命令を格納する媒体、データ又は信号を格納する媒体を提供する；
・エンコーダによって使用される様態に対応する様態で、デコーダが復号情報を判定することを可能にするシンタックス要素をシグナリングに挿入する；
・記載されるシンタックス要素、又はその変形形態のうちの１つ以上を含むビットストリーム又は信号を、創出及び／若しくは送信し、かつ／又は受信及び／若しくは復号する；
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかによる変換方法（複数可）を実行する；
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかにより、変換方法（複数可）を決定し、結果としてもたらされた画像を表示する（例えば、モニタ、スクリーン、又はその他のタイプのディスプレイを使用して表示する）；
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、説明される実施形態のいずれかによって、チャネルを選択し、帯域制限し、又はチューニングし（例えば、チューナを使用してチューニングし）て、符号化済み画像を含む信号を受信し、変換方法（複数可）を実行する；
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化済み画像を含む信号を放送により受信（例えばアンテナを使用して受信）し、変換方法（複数可）を実行する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】