特許 7585239 暗黙的多重変換選択の変換選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】暗黙的多重変換選択の変換選択

(51)【国際特許分類】

   H04N 19/12 20140101AFI20241111BHJP

   H04N 19/157 20140101ALI20241111BHJP

   H04N 19/176 20140101ALI20241111BHJP

   H04N 19/593 20140101ALI20241111BHJP

   H04N 19/70 20140101ALI20241111BHJP

【ＦＩ】

H04N19/12

H04N19/157

H04N19/176

H04N19/593

H04N19/70

【請求項の数】 22

(21)【出願番号】P 2021570959

(86)(22)【出願日】2020-05-28

(65)【公表番号】

(43)【公表日】2022-08-04

(86)【国際出願番号】 US2020034859

(87)【国際公開番号】W WO2020243258

(87)【国際公開日】2020-12-03

【審査請求日】2023-05-25

(31)【優先権主張番号】19305698.3

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19290045.4

(32)【優先日】2019-06-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ナセル、カラム

(72)【発明者】

【氏名】レリーネク、ファブリス

(72)【発明者】

【氏名】ポイエー、タンギ

【審査官】久保 光宏

(56)【参考文献】

【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 4)"，Document: JVET-M1001-v7, [online]，JVET-M1001 (version 7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年03月17日，Pages 28-30,49,50,63,64,96,224-226，[令和5年10月31日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5755> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M1001-v7.zip>.，(See document file "JVET-M1001-v7.docx" in the zip file "JVET-M1001-v7.zip".)

【文献】和保 孝夫 編著，「はじめて学ぶ情報通信」，初版，日本，株式会社コロナ社，2016年10月26日，第３９～４４頁，ISBN: 978-4-339-02857-7.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

暗黙的多重変換選択モードの使用を示す構文情報をビットストリームに符号化することと、
低周波分離不能変換が使用されるかどうかを示す第１のインジケーションと、行列ベースイントラ予測が使用されるかどうかを示す第２のインジケーションを取得することと、
前記第１のインジケーション及び前記第２のインジケーションに基づいて少なくとも１つの変換を選択することと、
前記選択された少なくとも１つの変換を使用することにより前記ビットストリーム内の少なくとも１つのビデオブロックを符号化することと、
前記符号化された少なくとも１つのビデオブロックを含む前記ビットストリームを格納、伝達、又は送信することと
を含む方法。

【請求項2】

前記第１のインジケーションが、低周波分離不能変換が使用されていないことを示し、前記第２のインジケーションが、行列ベースイントラ予測が使用されていないことを示す場合、前記少なくとも１つの変換を選択することは、変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することを含む、請求項１に記載の方法。

【請求項3】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの幅が４以上１６以下である場合にはタイプ７の水平離散正弦変換を選択し、それ以外の場合にはタイプ２の水平離散余弦変換を選択することを含む、請求項２に記載の方法。

【請求項4】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの高さが４以上１６以下である場合にはタイプ７の垂直離散正弦変換を選択し、それ以外の場合にはタイプ２の垂直離散余弦変換を選択することを含む、請求項２に記載の方法。

【請求項5】

前記第１のインジケーションが、低周波分離不能変換が使用されることを示す場合、又は、前記第２のインジケーションが、行列ベースイントラ予測が使用されることを示す場合、前記少なくとも１つの変換を選択することは、タイプ２の水平離散余弦変換及びタイプ２の垂直離散余弦変換を選択することを含む、請求項１に記載の方法。

【請求項6】

暗黙的多重変換選択モードの使用を示す構文情報をビットストリームに符号化することと、
低周波分離不能変換が使用されるかどうかを示す第１のインジケーションと、行列ベースイントラ予測が使用されるかどうかを示す第２のインジケーションを取得することと、
前記第１のインジケーション及び前記第２のインジケーションに基づいて少なくとも１つの変換を選択することと、
前記選択された少なくとも１つの変換を使用することにより前記ビットストリーム内の少なくとも１つのビデオブロックを符号化することと、
前記符号化された少なくとも１つのビデオブロックを含む前記ビットストリームを格納、伝達、又は送信することとを行うように構成されたプロセッサを含む装置。

【請求項7】

前記第１のインジケーションが、低周波分離不能変換が使用されていないことを示し、前記第２のインジケーションが、行列ベースイントラ予測が使用されていないことを示す場合、前記少なくとも１つの変換を選択することは、変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することを含む、請求項６に記載の装置。

【請求項8】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの幅が４以上１６以下である場合にはタイプ７の水平離散正弦変換を選択し、それ以外の場合にはタイプ２の水平離散余弦変換を選択することを含む、請求項７に記載の装置。

【請求項9】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの高さが４以上１６以下である場合にはタイプ７の垂直離散正弦変換を選択し、それ以外の場合にはタイプ２の垂直離散余弦変換を選択することを含む、請求項７に記載の装置。

【請求項10】

前記第１のインジケーションが、低周波分離不能変換が使用されることを示す場合、又は、前記第２のインジケーションが、行列ベースイントラ予測が使用されることを示す場合、前記少なくとも１つの変換を選択することは、タイプ２の水平離散余弦変換及びタイプ２の垂直離散余弦変換を選択することを含む、請求項６に記載の装置。

【請求項11】

ビットストリームから、暗黙的多重変換選択モードの使用を示す構文情報を取得することと、
低周波分離不能変換が使用されるかどうかを示す第１のインジケーションと、行列ベースイントラ予測が使用されるかどうかを示す第２のインジケーションを取得することと、
前記第１のインジケーション及び前記第２のインジケーションに基づいて少なくとも１つの変換を選択することと、
前記選択された少なくとも１つの変換を使用することにより少なくとも１つのビデオブロックを復号することと
を含む方法。

【請求項12】

前記第１のインジケーションが、低周波分離不能変換が使用されていないことを示し、前記第２のインジケーションが、行列ベースイントラ予測が使用されていないことを示す場合、前記少なくとも１つの変換を選択することは、変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することを含む、請求項１１に記載の方法。

【請求項13】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの幅が４以上１６以下である場合にはタイプ７の水平離散正弦変換を選択し、それ以外の場合にはタイプ２の水平離散余弦変換を選択することを含む、請求項１２に記載の方法。

【請求項14】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの高さが４以上１６以下である場合にはタイプ７の垂直離散正弦変換を選択し、それ以外の場合にはタイプ２の垂直離散余弦変換を選択することを含む、請求項１２に記載の方法。

【請求項15】

前記第１のインジケーションが、低周波分離不能変換が使用されることを示す場合、又は、前記第２のインジケーションが、行列ベースイントラ予測が使用されることを示す場合、前記少なくとも１つの変換を選択することは、タイプ２の水平離散余弦変換及びタイプ２の垂直離散余弦変換を選択することを含む、請求項１１に記載の方法。

【請求項16】

ビットストリームから、暗黙的多重変換選択モードの使用を示す構文情報を取得することと、
低周波分離不能変換が使用されるかどうかを示す第１のインジケーションと、行列ベースイントラ予測が使用されるかどうかを示す第２のインジケーションを取得することと、
前記第１のインジケーション及び前記第２のインジケーションに基づいて少なくとも１つの変換を選択することと、
前記選択された少なくとも１つの変換を使用することにより少なくとも１つのビデオブロックを復号することとを行うように構成されたプロセッサを含む装置。

【請求項17】

前記第１のインジケーションが、低周波分離不能変換が使用されていないことを示し、前記第２のインジケーションが、行列ベースイントラ予測が使用されていないことを示す場合、前記少なくとも１つの変換を選択することは、変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することを含む、請求項１６に記載の装置。

【請求項18】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの幅が４以上１６以下である場合にはタイプ７の水平離散正弦変換を選択し、それ以外の場合にはタイプ２の水平離散余弦変換を選択することを含む、請求項１７に記載の装置。

【請求項19】

前記変換ブロックのサイズに基づいて前記少なくとも１つの変換を選択することは、前記変換ブロックの高さが４以上１６以下である場合にはタイプ７の垂直離散正弦変換を選択し、それ以外の場合にはタイプ２の垂直離散余弦変換を選択することを含む、請求項１７に記載の装置。

【請求項20】

前記第１のインジケーションが、低周波分離不能変換が使用されることを示す場合、又は、前記第２のインジケーションが、行列ベースイントラ予測が使用されることを示す場合、前記少なくとも１つの変換を選択することは、タイプ２の水平離散余弦変換及びタイプ２の垂直離散余弦変換を選択することを含む、請求項１６に記載の装置。

【請求項21】

請求項１６乃至２０のいずれか一項に記載の装置及び
（ｉ）前記ビデオブロックを含む信号を受信するように構成されたアンテナ、（ｉｉ）前記受信された信号を、前記ビデオブロックを含む周波数の帯域へ制限するように構成された帯域リミッタ、及び（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイのうちの少なくとも１つを含むデバイス。

【請求項22】

コンピュータにより実行されると前記コンピュータに請求項１乃至５及び請求項１１乃至１５のいずれか一項に記載の方法を行わせる命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本実施形態の少なくとも１つは一般的には、ビデオ符号化又は復号のための方法又は装置に関する。

【背景技術】

【0002】

背景
高い圧縮効率を実現するために、画像及びビデオコード化方式は通常、ビデオコンテンツ内の空間的及び時間的冗長性を活用するために予測（空間的及び／又は動きベクトル予測を含む）及び変換を採用する。一般的に、イントラ予測又はインター予測がフレーム内相関又はフレーム間相関を活用するために使用され、次に、原画像と予測画像との差（予測誤差又は予測残差でしばしば表される）が変換、量子化、及びエントロピーコード化される。ビデオを再構築するために、圧縮済みデータはエントロピーコード化、量子化、変換、及び予測に対応する逆プロセスにより復号される。多くのコード化ツールがコード化及び復号（変換及び逆変換を含む）のプロセスおいて使用され得る。

【発明の概要】

【0003】

概要
従来技術の欠点及び不利益は、本明細書において説明される一般的態様（符号化及び復号に際しブロック形状適応化イントラ予測（block shape adaptive intra prediction）方向へ向けられる）により対処され得る。

【0004】

第１の態様によると、方法が提供される。本方法は、ビットストリーム内の少なくとも１つのビデオブロックを符号化するために暗黙的変換選択モードが使用される場合に多重変換選択モードの使用を示す構文情報を設定する工程；前記構文情報に対応する少なくとも１つの変換を使用することにより前記少なくとも１つのビデオブロックを符号化する工程；及び前記符号化された少なくとも１つのビデオブロックを含む前記ビットストリームを格納する、伝達、又は送信する工程を含む。

【0005】

第２の態様によると、方法が提供される。本方法は、ビデオブロックを復号するために暗黙的変換選択モードが使用される場合に多重変換選択モードの使用を示す構文情報のビットストリームを解析する工程；及び暗黙的変換選択モードが使用される場合に、前記構文情報に対応する多重変換選択モードの少なくとも１つの変換を使用することにより前記ビットストリーム内の少なくとも１つのビデオブロックを復号する工程を含む。

【0006】

別の態様によると、装置が提供される。本装置はプロセッサを含む。プロセッサは、ビデオのブロックを符号化するように又は前述の方法のうちの任意の方法を実行することによりビットストリームを復号するように構成され得る。

【0007】

少なくとも１つの実施形態の別の一般的態様によると、復号実施形態のうちの任意の実施形態による装置；及び（ｉ）ビデオブロックを含む信号を受信するように構成されたアンテナ、（ｉｉ）受信された信号を、ビデオブロックを含む周波数の帯域へ制限するように構成された帯域リミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイのうちの少なくとも１つを含むデバイスが提供される。

【0008】

少なくとも１つの実施形態の別の一般的態様によると、説明された符号化実施形態又は変異形のうちの任意のものに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。

【0009】

少なくとも１つの実施形態の別の一般的態様によると、説明された符号化実施形態又は変異形のうちの任意のものに従って生成されるビデオデータを含む信号が提供される。

【0010】

少なくとも１つの実施形態の別の一般的態様によると、ビットストリームは説明された符号化実施形態又は変異形のうちの任意のものに従って生成されるデータコンテンツを含むようにフォーマット化される。

【0011】

少なくとも１つの実施形態の別の一般的態様によると、コンピュータにより実行されるとコンピュータに前述の符号化実施形態又は変異形のうちの任意のものを行わせる命令を含むコンピュータプログラム製品が提供される。

【0012】

一般的態様のこれら及び他の態様、特徴及び利点は、添付図面と関連して読まれる例示的実施形態の以下の詳細説明から明らかになる。

【図面の簡単な説明】

【0013】

図面の簡単な説明

【図1】標準的且つ一般的ビデオ圧縮方式を示す。

【図2】標準的且つ一般的ビデオ圧縮方式を示す。

【図3】ＬＦＮＳＴフラグに依存して変換ペアを選択する提案方法の例示的フローチャートを示す。

【図4】ＬＦＮＳＴフラグ及びＭＩＰフラグに依存して変換ペアを選択する提案方法の例示的フローチャートを示す。

【図5】ＬＦＮＳＴ ＣＵフラグ及びＭＩＰ ＣＵフラグに依存して変換ペアを選択する提案方法の例示的フローチャートを示す。

【図6】ＬＦＮＳＴ ＣＵフラグに依存して変換ペアを選択する提案方法の例示的フローチャートを示す。

【図7】説明される一般的態様下の符号化方法の一実施形態を示す。

【図8】説明される一般的態様下の復号方法の一実施形態を示す。

【図9】イントラ予測モード拡張版を使用して符号化又は復号するための装置の一実施形態を示す。

【図10】説明された実施形態が実現され得る典型的プロセッサ配置を示す。

【発明を実施するための形態】

【0014】

詳細な説明
以下の一般的態様はビデオ圧縮の分野におけるものである。これらは近く公開のビデオ圧縮標準規格：汎用ビデオコード化（ＶＶＣ：Versatile Video Coding）の圧縮効率を改善することを目的とする。汎用ビデオコード化（ＶＶＣ）試験モデル（ＶＴＭ：Versatile Video coding test model）はビデオ圧縮を改善するための標準化努力である。具体的には、これらの態様はこの標準規格の変換設計に影響を与え、ここでは、圧縮欠陥が、２つのツール（すなわち低周波分離不能変換（ＬＦＮＳＴ：Low-frequency Non-Separable Transform）及び行列ベースイントラ予測（ＭＩＰ：Matrix-based intra prediction））を採用することの理由で新たに導入される。

【0015】

ＤＣＴ２に加えて、ＶＶＣ変換設計はＤＣＴ８及びＤＳＴ７の他の変換（この全体は多重変換選択（ＭＴＳ：multiple transform selection）として知られている）を含む。符号化器は、定義された変換（ＤＣＴ２、ＤＳＴ７及びＤＣＴ８）の１つの組み合わせを選択し得る。水平変換及び垂直変換の以下の可能なペアが存在する：
－ ｛ＤＣＴ２，ＤＣＴ２｝
－ ｛ＤＳＴ７，ＤＣＴ７｝
－ ｛ＤＳＴ７，ＤＣＴ８｝
－ ｛ＤＣＴ８，ＤＳＴ７｝
－ ｛ＤＣＴ８，ＤＣＴ８｝

【0016】

ＭＴＳは、符号化器を非アクティブ化し得るＳＰＳ（シーケンスパラメータセット：Sequence Parameter Set）フラグにより制御され、そして一対の｛ＤＣＴ２，ＤＣＴ２｝だけが考慮される。

【0017】

ＭＴＳフラグが有効にされると、長い符号化時間が複数の候補間のＲＤＯ（速度歪最適化：Rate Distortion Optimization）競合（これは時間を消費する）のために必要である一方でＭＴＳオフの場合を上回るコード化利得の約１．７％が達成される。代替的に、変換シグナリングの別のモード（ＭＴＳＩｍｐｌｉｃｉｔと名付けられる）がＶＶＣにおいて最近採用された。このモードでは、変換選択は変換ブロックの次元に依存して予め定義される（暗黙的である）。ＶＶＣの仕様では、ＭＴＳＩｍｐｌｉｃｉｔによるルマ（luma）ブロックの変換の選択は以下のとおりである：
ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２

【0018】

同じ選択機構がintra-subpartioning（ＩＳＰ）に使用される。このタイプの選択は、ＤＣＴ２とＤＳＴ７との組み合わせである新しいペアを生成する。次の表は、新しいペアが発生するケースを要約する。

【0019】

【表1】

【0020】

最近、２つの新しいコード化ツールがＪＶＥＴ（Joint Video Experts Team）標準規格へ採用された。第１のものは、ＮＳＳＴ（分離不能二次変換：non-separable secondary transform）として以前から知られたＬＦＮＳＴ（低周波分離不能変換）である。これは、変換領域における冗長性を考慮しそして量子化及びコード化される残差のスパース表現を生じるために「別の」分離不能変換を適用する効率的ツールである。ＶＶＣ試験モデルＶＴＭ－５．０のバージョンでは、２つのＬＦＮＳＴ変換セットが定義される。１つの変換セットは大きな残差ブロックのためのものであり、そして他のものは小さな残差ブロックのためのものである。セット毎に、変換の４つのグループが定義され、各グループは２つの変換行列を含む。グループの選択はイントラ予測モードに依存し、そして変換インデックスがビットストリーム内でコード化される。

【0021】

ＤＣＴ２、ＤＳＴ７及びＤＣＴ８である一次変換とは異なり、ＬＦＳＮＴはトレーニング済み変換である。換言すれば、ＬＦＮＳＴの基本機能は残差データの或る大きなデータセットから学習することにより取得される。データセットの性質及びトレーニングの方法はいかなる公開文書においても説明されていない。

【0022】

第２のツールは行列ベースイントラ予測（ＭＩＰ：Matrix based Intra Prediction）である。第２のツールは、その近隣参照サンプルからブロックを予測するためのトレーニング済みツールである。第２のツールは既存イントラ予測に対する拡張と考慮えられ得、予測信号は、予測方向に沿った単純複製よりむしろ、参照サンプルに行列を乗算することにより生成される。ＬＦＮＳＴと同様に、乗算のために使用される行列は、それらを取得するために使用されるデータセットに関する記述の無いトレーニング済み行列である。

【0023】

ＭＴＳＩｍｐｌｉｃｉｔ変換設計とこれらのツールとの相互作用を理解するために、シミュレーションが、共通試験条件と共にＶＴＭ－５．０を使用して実行された。簡単のために、１つのフレームイントラコード化によるシミュレーション結果が提示される。アンカーはＭＴＳが無効にされた（－－ＭＴＳ＝０）ＶＴＭ－５．０であり、試験は暗黙的変換設計（－－ＭＴＳ＝０ －ＭＴＳＩｍｐｌｉｃｉｔ＝１）である。結果が以下の表に示される。

【0024】

【表2】

【0025】

見て分かるように、暗黙的変換設計の予測利得の代わりに０．３％の損失がある。２つの新しいツールが非アクティブ化されると別の試験がコード化利得を検証するために行われる。すなわち、アンカーと試験は同じであるが、ＬＦＮＳＴ及びＭＩＰは零へ設定される。結果は以下の表内に提供される。

【0026】

【表3】

【0027】

従って、予測利得は新しいツールがスイッチオフされると保持されるということが結論付けられ得る。

【0028】

ツールのそれぞれツールの影響を理解するために、２つのツールは個々に非アクティブ化される。以下の表は、ＬＦＮＳＴだけを零に切り替えそしてＭＩＰをアクティブ化状態にしておく結果を提示する。

【0029】

【表4】

【0030】

そして、以下の表はＭＩＰがオフそしてＬＦＮＳＴがオフの場合のものである。

【0031】

【表5】

【0032】

シミュレーション結果から、ＭＩＰ及び／又はＬＦＮＳＴは暗黙的変換設計に適合しないということが観察され得る。しかし、ＬＦＮＳＴの影響はＭＩＰよりはるかに厳しい。非適合性の理由は、それらのツールが残差（ＭＴＳＩｍｐｌｉｃｉｔツールにおいて規定される新しいペアの変換を有しない）によりトレーニングされるということである。実際、ＭＴＳＩｍｐｌｉｃｉｔは、これらの２つのツールと組み合わせて使用されるとコード化効率の損失を伴う。

【0033】

説明される一般的態様は、ＭＴＳＩｍｐｌｉｃｉｔ損失の問題を解決し、そしてツールＬＦＮＳＴとツールＭＩＰとの相互作用を考慮することによりＩｍｐｌｉｃｉｔＭＴＳの変換設計を改善する。ＭＴＳＩｍｐｌｉｃｉｔ設計はＬＦＮＳＴ及びＭＩＰの新しい追加されたツールに適合しない。この問題を解決するために、最も単純なやり方は、これらのツールがアクティブ化されると暗黙的選択を非アクティブ化することである。

【0034】

実施形態１：ＬＦＮＳＴ及び／又はＭＩＰがアクティブ化される場合のＤＣＴ２による暗黙的ＭＴＳ
ＶＴＭ５では、ＭＴＳＩｍｐｌｉｃｉｔ変換の選択は次のように記述される：

ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２

【0035】

ＬＦＮＳＴとＭＩＰとの相互作用の問題を解決するために、ＭＩＰのＳＰＳフラグ（ｓｐｓ＿ｍｉｐ＿ｆｌａｇ）及び／又はＬＦＮＳＴのＳＰＳフラグ（ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が照査される必要がある：
ｉｆ（ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）
｛
ｔｒＴｙｐｅＨｏｒ＝ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝ＤＣＴ２
｝
｛
ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２
｝

【0036】

対応フローチャートが図３に示される。

【0037】

この方法の利点を示すために、シミュレーションが、ＶＴＭ５．０（試験として新しい方法（両方とも次の選択肢を有する：－－ＭＴＳ＝０及び－ＭＴＳＩｍｐｌｉｃｉｔ＝１））により、表２（１フレーム解析）の記載におけるものと同じ条件により実行された。以下の結果が得られる。

【0038】

【表6】

【0039】

追加条件も試験された。すなわち、ＬＦＮＳＴが非アクティブ化されれば、以下の結果が得られる。

【0040】

【表7】

【0041】

最後に、ＭＩＰが非アクティブ化されると以下の結果が得られる。

【0042】

【表8】

【0043】

本方法を実施するための別のやり方はＬＦＮＳＴフラグ及びＭＩＰフラグの両方を考慮することである：
ｉｆ（ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ｓｐｓ＿ｍｉｐ＿ｆｌａｇ）
｛
ｔｒＴｙｐｅＨｏｒ＝ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝ＤＣＴ２
｝
｛
ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２
｝

【0044】

対応フローチャートが図４に示される。

【0045】

この実施態様の変形では、ＬＦＮＳＴ又はＭＩＰが現ＣＵに関しアクティブ化されれば、暗黙的ＭＴＳはＤＣＴ２、ＤＣＴ２になる。

【0046】

実施形態２：ＬＦＮＳＴ及び／又はＭＩＰが使用される場合のＤＣＴ２による暗黙的ＭＴＳ
ＳＰＳフラグを照査する以外に、我々は現コード化ユニット（ＣＵ：current coding unit）をさらに調べ、そしてＭＩＰ又はＬＦＮＳＴが使用されるかを見得る。このケースに関して、暗黙的ｍｔｓ選択はＤＣＴ２となる。ＶＴＭ５．０では、ｌｆｎｓｔＩｄｘは０～２の値を有するＬＦＮＳＴのインデックスである。零はＬＦＮＳＴがないことを示す。ＭＩＰに関して、フラグｍｉｐＦｌａｇはＭＩＰが使用されるかどうかを示す。従って、修正は以下のようである：
ｉｆ（ＣＵ：：ｌｆｎｓｔＩｄｘ ｜｜ ｃｕ：：ｍｉｐＦｌａｇ）
｛
ｔｒＴｙｐｅＨｏｒ＝ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝ＤＣＴ２
｝
｛
ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２
｝

【0047】

対応フローチャートが図５に示される。

【0048】

この方法に伴う困難さは、変換選択が、選択された予測モードに依存するということである。一般的に、この依存性を有しないことが好ましい。しかし、現ＬＦＮＳＴはイントラモード依存であるので、本方法は受容可能である。

【0049】

同様に、我々はＬＦＮＳＴが使用されるケースだけを考慮し得る：
ｉｆ（ＣＵ：：ｌｆｎｓｔＩｄｘ）
｛
ｔｒＴｙｐｅＨｏｒ＝ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝ＤＣＴ２
｝
｛
ｔｒＴｙｐｅＨｏｒ＝（Ｗｉｄｔｈ＞＝４ ＆＆ Ｗｉｄｔｈ＜＝１６）？ＤＳＴ７：ＤＣＴ２
ｔｒＴｙｐｅＶｅｒ＝（Ｈｅｉｇｈｔ＞＝４ ＆＆ Ｈｅｉｇｈｔ＜＝１６）？ＤＳＴ７：ＤＣＴ２
｝

【0050】

対応フローチャートが図６に示される。

【0051】

この実施態様の変形では、ＬＦＮＳＴ又はＭＩＰが現ＣＵに関してアクティブ化されれば、暗黙的ＭＴＳはＤＣＴ２、ＤＣＴ２になる。

【0052】

１フレーム解析がまたここでは行われる。アンカーはＶＴＭ５．０（試験として新しい方法（両方とも次の選択肢を有する：－－ＭＴＳ＝０及び－ＭＴＳＩｍｐｌｉｃｉｔ＝１））であり、以下の結果が得られる。

【0053】

【表9】

【0054】

実施形態１の方法を上回る利点を示すために、１フレーム解析が、アンカーとして実施形態１、そして試験として現方法により実行された。以下の結果が得られる。

【0055】

【表10】

【0056】

本明細書で説明される一般的態様下の方法７００の一実施形態が図７に示される。本方法は開始ブロック７０１で始まり、そして制御は、ビットストリーム内の少なくとも１つのビデオブロックの符号化のために暗黙的変換選択モードが使用される場合に多重変換選択モードの使用を示す構文情報を設定するためのブロック７１０へ進む。制御はブロック７１０から、構文情報に対応する少なくとも１つの変換を使用することにより少なくとも１つのビデオブロックを符号化するためのブロック７２０へ進む。制御はブロック７２０から、符号化された少なくとも１つのビデオブロックを含むビットストリームを格納し、伝達又は送信するためのブロック７３０へ進む。

【0057】

本明細書において説明される一般的態様下の方法８００の一実施形態が図８に示される。本方法は開始ブロック８０１で始まり、そして、制御は、ビデオブロックを復号するために暗黙的変換選択モードが使用される場合に多重変換選択モードの使用を示す構文情報のビットストリームを解析するためのブロック８１０へ進む。制御はブロック８１０から、暗黙的変換選択モードが使用される場合に前記構文情報に対応する多重変換選択モードの少なくとも１つの変換を使用することにより前記ビットストリーム内の少なくとも１つのビデオブロックを復号するためのブロック８２０へ進む。

【0058】

図９は、コード化又は復号ツールを使用することによりビデオを圧縮、符号化又は復号するための装置９００の一実施形態を示す。装置は、プロセッサ９１０を含み、そして少なくとも１つのポートを介しメモリ９２０へ相互接続され得る。プロセッサ９１０及びメモリ９２０の両方はまた、外部接続への１つ又は複数の追加相互接続を有し得る。

【0059】

プロセッサ９１０はまた、様々なコード化ツールを使用することにより圧縮、符号化又は復号することのいずれかにより情報をビットストリーム内に挿入する又はビットストリーム内の情報を受信するように構成される。

【0060】

本出願は、ツール、特徴、実施形態、モデル、手法などを含む様々な態様を説明する。これらの態様の多くは、特異性により説明されるが、少なくとも個々の特徴を示すために、しばしば制限するように聞こえるかもしれないやり方で説明される。しかし、これは、説明における明暸性の目的ためであり、従ってこれらの態様の適用又は範囲を制限しない。実際、様々な態様のすべては別の態様を提供するために組み合わせられてもよいし交換されてもよい。さらに、様々な態様は以前の出願において説明された態様と組み合わせられてもよいしそれと交換されてもよい。

【0061】

本出願において説明され企図された態様は多くの異なる形式で実施され得る。図１、２、１０はいくつかの実施形態を提供するが、他の実施形態が企図され、従って図１、２、１０の論述は実施形態の範囲を制限しない。態様の少なくとも１つは一般的にはビデオ符号化及び復号に関し、そして少なくとも１つの他の態様は一般的には、生成又は符号化されるビットストリームを送信することに関する。これら及び他の態様は、方法、装置、説明された方法のうちの任意の方法に従ってビデオデータを符号化又は復号するための命令をその上に格納したコンピュータ可読ストレージ媒体として、及び／又は説明された方法のうちの任意の方法に従って生成されたビットストリームをその上に格納したコンピュータ可読ストレージ媒体として実施され得る。

【0062】

本出願では、用語「再構築された」及び「復号された」は交換可能に使用され得、用語「ピクセル」及び「サンプル」は交換可能に使用され得、用語「画像」、「ピクチャ」及び「フレーム」は交換可能に使用され得る。一般的にしかし必ずしもではなく、用語「再構築された」が符号化器側において使用される一方で用語「復号された」は復号器側において使用される。

【0063】

様々な方法が本明細書において説明され、上記方法のそれぞれは説明された方法を実施するための１つ又は複数の工程又は行為を含む。特定順番の工程又は行為が本方法の適切な動作に必要でない限り、特定工程及び／又は行為の順番及び／又は使用は修正され得る又は組み合わせられ得る。

【0064】

本出願において説明される様々な方法及び他の態様は、モジュール（例えば図１及び図２に示すようなビデオ符号化器１００及び復号器２００のイントラ予測、エントロピーコード化、及び／又は復号モジュール（１６０、３６０、１４５，３３０））を修正するために使用され得る。さらに、本態様は、ＶＶＣ又はＨＥＶＣに限定されなく、従って例えば他の標準規格及び勧告（既存か又は将来開発されるかに関わらず）並びに任意のこのような標準及び勧告の拡張版（ＶＶＣ及びＨＥＶＣを含む）へ適用され得る。別途示されない限り又は技術的に排除されない限り、本出願において説明される態様は個々に使用されてもよいし組み合わせで使用されてもよい。

【0065】

様々な数値が本出願において使用される。特定値は例示的目的のためのものであり、従って説明される態様はこれらの特定値に限定されない。

【0066】

図１は符号化器１００を示す。この符号化器１００の変形が企図されるが、符号化器１００は、すべての予測される変形を説明することなく明暸性のため以下に説明される。

【0067】

符号化される前に、ビデオシーケンスは、前符号化処理（１０１）：例えば、色変換（例えばＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）を入力カラーピクチャへ適用すること、又は圧縮に対しより耐性がある信号分布を得るために入力ピクチャ成分の再マッピングを行う（例えば、色成分のうちの１つの色成分のヒストグラム等化を使用して）ことを経由し得る。メタデータが、前処理に関連付けられ、そしてビットストリームへ添付され得る。

【0068】

符号化器１００では、ピクチャは以下に述べるように符号化器要素により符号化される。符号化されるピクチャは分割され（１０２）、そして例えばＣＵの単位で処理される。各単位は、例えばイントラモード又はインターモードのいずれかを使用して符号化される。１単位がイントラモードにおいて符号化されると、符号化器１００はイントラ予測を行う（１６０）。インターモードでは、動き推定（１７５）及び動き補償（１７０）が行われる。符号化器（１０５）は、当該単位を符号化するためにイントラモード又はインターモードのどちらを使用すべきかを判断し、そして例えば予測モードフラグによりイントラ／インター判断を示す。予測残差は、例えば元画像ブロックから予測ブロックを減じる（１１０）ことにより計算される。

【0069】

次に、予測残差は変換され（１２５）そして量子化される（１３０）。量子化された変換係数並びに動きベクトル及び他の構文要素はビットストリームを出力するためにエントロピーコード化される（１４５）。符号化器は、この変換をスキップし、そして量子化を未変換残差信号へ直接適用し得る。符号化器は変換及び量子化の両方をバイパスし得る、すなわち残差は変換プロセス又は量子化プロセスの適用無しに直接コード化される。

【0070】

符号化器は、さらなる予測のための基準を提供するために、符号化されたブロックを復号する。量子化された変換係数は、逆量子化され（１４０）、そして予測残差を復号するために逆変換される（１５０）。復号された予測残差と予測されたブロックとを組み合わせる（１５５）ことで、画像ブロックが再構築される。インループフィルタ（１６５）が、例えば符号化アーチファクトを低減するために逆ブロック化／ＳＡＯ（サンプル適応化オフセット：Sample Adaptive Offset）フィルタリングを行うために、再構築された画像へ適用される。濾過された画像は基準ピクチャバッファ（１８０）において格納される。

【0071】

図２はビデオ復号器２００のブロック線図を示す。復号器２００では、ビットストリームが以下に述べるように復号器要素により復号される。ビデオ復号器２００は通常、図１において説明された符号化パスに対し相互的な復号パスを行い、符号化器１００はまた一般的には、ビデオデータの符号化の一部としてビデオ復号を行う。

【0072】

特に、復号器の入力は、ビデオ符号化器１００により生成され得るビデオビットストリームを含む。ビットストリームは最初に、変換係数、動きベクトル、及び他のコード化された情報を取得するためにエントロピー復号される（２３０）。ピクチャ分割情報はどのように画像が分割されるかを示す。従って、復号器は復号されたピクチャ分割情報に従ってピクチャを分割し得る（２３５）。変換係数は、逆量子化され（２４０）、そして予測残差を復号するために逆変換される（２５０）。復号された予測残差と予測ブロックとを組み合わせる（２５５）ことで、画像ブロックが再構築される。予測ブロックはイントラ予測（２６０）又は動き補償予測（すなわちインター予測）（２７５）から取得され得る（２７０）。インループフィルタ（２６５）が、再構築された画像へ適用される。濾過された画像は基準ピクチャバッファ（２８０）において格納される。

【0073】

復号されたピクチャはさらに、後復号処理（２８５）（例えば逆色変換（例えばＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）又は前符号化処理（１０１）において行われた再マッピング処理の逆を行う逆再マッピング）を経由し得る。後復号処理は、前符号化処理において導出されそしてビットストリームで信号伝達されるメタデータを使用し得る。

【0074】

図１０は様々な態様及び実施形態が実施されるシステムの例のブロック線図を示す。システム１０００は以下に説明される様々な部品を含むデバイスとして具現化され得、本明細書に記載された態様のうちの１つ又は複数を行うように構成される。このようなデバイスの例は、限定しないがパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、インターネット家電（connected home appliances）、サーバなどの様々な電子デバイスを含む。システム１０００の要素（単独で又は組み合せの）は単一集積回路（ＩＣ）、複数のＩＣ、及び／又は個別部品で具現化され得る。例えば、少なくとも１つの実施形態では、システム１０００の処理要素及び符号化器／復号器要素は複数のＩＣ及び／又は個別部品にわたって分散される。様々な実施形態では、システム１０００は、例えば通信バスを介し又は専用入力及び／又は出力ポートを介し１つ又は複数の他のシステム又は他の電子デバイスへ通信可能に結合される。様々な実施形態では、システム１０００は本明細書に記載された態様の１つ又は複数を実施するように構成される。

【0075】

システム１０００は、例えば本明細書に記載された様々な態様を実施するためにその中にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、埋め込みメモリ、入出力インターフェース及び当該技術分野において知られた様々な他の回路構成を含み得る。システム１０００は少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、限定しないが電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む不揮発性メモリ及び／又は揮発性メモリを含み得るストレージデバイス１０４０を含む。ストレージデバイス１０４０は、非限定的例として、内部ストレージデバイス、取り付け済みストレージデバイス（取り外し可能又は取り外し不能ストレージデバイスを含む）及び／又はネットワークアクセス可能ストレージデバイスを含み得る。

【0076】

システム１０００は、例えば符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成された符号化器／復号器モジュール１０３０を含む。符号化器／復号器モジュール１０３０はそれ自身のプロセッサ及びメモリを含み得る。符号化器／復号器モジュール１０３０は、符号化及び／又は復号機能を行うためにデバイスに含まれ得るモジュールを表す。知られているように、デバイスは符号化モジュール及び復号モジュールの一方又は両方を含み得る。加えて、符号化器／復号器モジュール１０３０は、当業者に知られているように、システム１０００の別個の要素として実現されてもよいし又はハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に取り込まれてもよい。

【0077】

本明細書に記載された様々な態様を行うためにプロセッサ１０１０又は符号化器／復号器１０３０へロードされるプログラムコードは、ストレージデバイス１０４０内に格納され、そしてその後、プロセッサ１０１０による実行のためにメモリ１０２０へロードされ得る。様々な実施形態によると、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０及び符号化器／復号器モジュール１０３０のうちの１つ又は複数は、本明細書に記載されたプロセスの履行中に１つ又は複数の様々なアイテムを格納し得る。このような格納されるアイテムは、限定しないが、入力されたビデオ、復号されたビデオ、又は復号されたビデオの一部、ビットストリーム、行列、変数、及び式、公式、演算及び演算論理の処理からの中間又は最終結果を含む。

【0078】

いくつかの実施形態では、プロセッサ１０１０及び／又は符号化器／復号器モジュール１０３０の内部のメモリは、命令を格納するために、そして符号化又は復号中に必要とされる処理のための作業メモリを提供するために使用される。しかし、他の実施形態では、処理デバイスの外部のメモリ（例えば、処理デバイスはプロセッサ１０１０又は符号化器／復号器モジュール１０３０のいずれかであり得る）がこれらの機能のうちの１つ又は複数の機能のために使用される。外部メモリはメモリ１０２０及び／又はストレージデバイス１０４０（例えばダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリ）であり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリがテレビ（例えば）のオペレーティングシステムを格納するために使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ２（ＭＰＥＧは動画専門家グループ（Moving Picture Expert Group）を指し、ＭＰＥＧ２はＩＳＯ／ＩＥＣ １３８１８とも呼ばれ、１３８１８－１はＨ．２２２としても知られ、１３８１８－２はＨ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣはＨ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ ２としても知られる高効率ビデオコード化（High Efficiency Video Coding）を指す）、又はＶＶＣ（ＪＶＥＴ（ジョイントビデオ専門家チーム）により開発されている新標準規格である汎用ビデオコード化）などのビデオコード化及び復号操作のための作業メモリとして使用される。

【0079】

システム１０００の要素への入力はブロック１１３０内に示される様々な入力デバイスを介し提供され得る。このような入力デバイスは、限定しないが（ｉ）例えば放送者により無線で送信されるＲＦ信号を受信する無線周波数（ＲＦ）部、（ｉｉ）部品（ＣＯＭＰ）入力端子（又は１組のＣＯＭＰ入力端子）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）入力端子、及び／又は（ｉｖ）高精細度マルチメディアインターフェース（HDMI：High Definition Multimedia Interface）入力端子を含む。図１０に示さない他の例はコンポジットビデオを含む。

【0080】

様々な実施形態では、ブロック１１３０の入力デバイスは当該技術分野において知られるような関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望周波数を選択する（信号を選択する又は信号を或る帯域の周波数へ帯域制限するとも言われる）ために、（ｉｉ）選択された信号をダウンコンバートするために、（ｉｉｉ）特定の実施形態ではチャネルと呼ばれ得る信号周波数帯域を（例えば）選択するために狭帯域の周波数へ再び帯域制限するために、（ｉｖ）ダウンコンバートされ帯域制限された信号を復調するために、（ｖ）誤り訂正を行うために、そして（ｖｉ）データパケットの所望ストリームを選択するために逆多重化するために好適な要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能を行うために１つ又は複数の要素（例えば周波数選択器、信号選択器、帯域制限器、チャンネル選択器、フィルタ、ダウンコンバータ、復調器、誤り訂正器及び逆多重化器）を含む。ＲＦ部は、例えば受信信号をより低い周波数（例えば中間周波数又は近ベースバンド周波数）又はベースバンドへダウンコンバートすることを含む様々なこれらの機能を行うチューナを含み得る。１つのセットトップボックス実施形態では、ＲＦ部及びその関連入力処理要素は、有線（例えばケーブル）媒体上で送信されるＲＦ信号を受信し、そして所望周波数帯域へフィルタリング、ダウンコンバート、そして再びフィルタリングすることにより周波数選択を行う。様々な実施形態は、上述の（及び他の）要素の順番を再配置する、これらの要素のうちのいくつかを除去する、及び／又は同様又は異なる機能を行う他の要素を追加する。要素を追加することは、既存要素の間に要素を挿入すること（例えば増幅器及びアナログ／デジタル変換器を挿入することなど）を含み得る。様々な実施形態では、ＲＦ部はアンテナを含む。

【0081】

加えて、ＵＳＢ及び／又はHDMI端子は、システム１０００をＵＳＢ及び／又はHDMI接続部上で他の電子デバイスへ接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様（例えばリードソロモン誤り訂正）は例えば必要に応じ別個の入力処理ＩＣ内又はプロセッサ１０１０内で実施され得るということを理解すべきである。同様に、ＵＳＢ又はHDMIインターフェース処理の態様は必要に応じ別個のインターフェースＩＣ内又はプロセッサ１０１０内で実現され得る。復調、誤り訂正、及び逆多重化ストリームは、出力デバイス上の提示のための必要性に応じデータストリームを処理するために、様々な処理要素（例えばプロセッサ１０１０、及びメモリ及びストレージ要素と組み合わせて動作する符号化器／復号器１０３０を含む）へ提供される。

【0082】

システム１０００の様々な要素は一体化筐体内に設けられ得る。一体化筐体内では、様々な要素は、相互接続され得、好適な接続配置（例えばＩＣ間（Ｉ２Ｃ）バス、配線及びプリント回路基板を含む当該技術分野において知られた内部バス）を使用することによりデータをその間で送信し得る。

【0083】

システム１０００は、通信チャネル１０６０を介した他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、限定しないが通信チャネル１０６０上でデータを送信及び受信するように構成された送受信器を含み得る。通信インターフェース１０５０は、限定しないがモデム又はネットワークカードを含み得、通信チャネル１０６０は例えば有線媒体及び／又は無線媒体内で実現され得る。

【0084】

データは、Wi-Fiネットワーク（例えばＩＥＥＥ ８０２．１１：ＩＥＥＥは電気電子技術者協会（Institute of Electrical and Electronics Engineers）を指す）などの無線ネットワークを使用することにより様々な実施形態ではシステム１０００へストリームされる又はそうでなければ提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適応化された通信チャネル１０６０及び通信インターフェース１０５０上で受信される。これらの実施形態の通信チャネル１０６０は通常、ストリーミングアプリケーション及び他のオーバザトップ（over-the-top）通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータへ接続される。他の実施形態は、データを入力ブロック１１３０のHDMI接続部上で送達するセットトップボックスを使用することによりストリームデータをシステム１０００へ提供する。さらに他の実施形態は入力ブロック１１３０のＲＦ接続部を使用することによりストリームデータをシステム１０００へ提供する。上に示したように、様々な実施形態は非ストリーミング的やり方でデータを提供する。加えて、様々な実施形態はWi-Fi以外の無線ネットワーク（例えばセルラネットワーク、ブルートゥースネットワーク）を使用する。

【0085】

システム１０００は、ディスプレイ１１００、スピーカ１１１０及び他の周辺デバイス１１２０を含む様々な出力デバイスへ出力信号を提供し得る。様々な実施形態のディスプレイ１１００は、例えばタッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ：organic light-emitting diode）ディスプレイ、湾曲ディスプレイ、及び／又は折り畳み可能ディスプレイのうちの１つ又は複数を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セルラ電話（モバイルフォン）又は他のデバイスのためのものであり得る。ディスプレイ１１００はまた、他の部品（例えばスマートフォン内の部品）と一体化されてもよいし又は別個であってもよい（例えばラップトップの外部モニタ）。他の周辺デバイス１１２０は、実施形態の様々な例では、スタンドアロンデジタルビデオディスク（又はデジタルバーサタイルディスク）（両者共ＤＶＲと称する）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ又は複数を含む。様々な実施形態は、システム１０００の出力に基づき機能を提供する１つ又は複数の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤはシステム１０００の出力を再生する機能を行う。

【0086】

様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、消費者電子機器制御（ＣＥＣ：Consumer Electronics Control）、又はユーザ介入の有無にかかわらずデバイス・ツー・デバイス（device-to-device）制御を可能にする他の通信プロトコルなどのシグナリングを使用することにより、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で伝達される。出力デバイスはそれぞれのインターフェース１０７０、１０８０、１０９０を介した専用接続部を介しシステム１０００へ通信可能に結合され得る。代替的に、出力デバイスは通信インターフェース１０５０を介し通信チャネル１０６０を使用することによりシステム１０００へ接続され得る。ディスプレイ１１００及びスピーカ１１１０は、例えばテレビなどの電子デバイス内のシステム１０００の他の部品と共に単一ユニットへ一体化され得る。様々な実施形態では、ディスプレイインターフェース１０７０は例えばタイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

【0087】

ディスプレイ１１００及びスピーカ１１１０は代替的に、例えば入力ブロック１１３０のＲＦ部が別個のセットトップボックスの一部であれば、他の部品のうちの１つ又は複数から分離し得る。ディスプレイ１１００及びスピーカ１１１０が外部部品である様々な実施形態では、出力信号は、例えばHDMIポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用出力接続を介し提供され得る。

【0088】

いくつかの実施形態は、プロセッサ１０１０により、又はハードウェアにより実装されたコンピュータソフトウェア、又はハードウェア及びソフトウェアの組み合わせにより実現され得る。非限定的例として、実施形態は１つ又は複数の集積回路により実現され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的例として光メモリデバイス、磁気メモリデバイス、半導体ベースメモリデバイス、固定メモリ、及び着脱可能メモリなどの任意の適切なデータストレージ技術を使用して実現され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、そして非限定的例として、マイクロプロセッサ、汎用コンピュータ、特殊用途コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ又は複数を包含し得る。

【0089】

様々な実装は復号に関与する。本出願に使用される「復号」は、例えば表示に好適な最終出力を生成するために、受信された符号化済みシーケンスに対し行われる処理のすべて又は一部を包含し得る。様々な実施形態では、このようなプロセスは、復号器により通常は行われるプロセス（例えばエントロピー復号、逆量子化、逆変換及び差分復号）のうちの１つ又は複数を含む。様々な実施形態では、このようなプロセスはまた、又は代替的に、本出願において説明される様々な実施形態の復号器により行われるプロセスを含む。

【0090】

別の例として、一実施形態では「復号」はエントロピー復号だけを指し、別の実施形態では「復号」は差分復号だけを指し、そして別の実施形態では「復号」はエントロピー復号と差分復号との組み合わせを指す。語句「復号プロセス」が、特に操作の部分集合又は一般的により広い復号プロセスを参照するように意図されているかは特定説明の文脈に基づき明らかとなり、従って当業者により十分に理解されると考えられる。

【0091】

様々な実装は符号化に関与する。「復号」に関する上記論述と同様なやり方で、本出願において使用される「符号化」は、符号化されたビットストリームを生成するために例えば入力ビデオシーケンスに対し行われるプロセスのすべて又は一部を包含し得る。様々な実施形態では、このようなプロセスは、符号化器により通常は行われるプロセス（例えば分割、差分符号化、変換、量子化及びエントロピー符号化）のうちの１つ又は複数を含む。様々な実施形態では、このようなプロセスまた、又は代替的に、本明細書で説明する様々な実装の符号化器により行われるプロセスを含む。

【0092】

別の例として、一実施形態では「符号化」はエントロピー符号化だけを指し、別の実施形態では「符号化」は差分符号化だけを指し、別の実施形態では「符号化」は差分符号化とエントロピー符号化との組み合わせを指す。語句「符号化プロセス」が、特に操作の部分集合又は一般的により広い符号化プロセスを参照するように意図されているかは特定説明の文脈に基づき明らかとなり、従って当業者により十分に理解されると考えられる。

【0093】

本明細書において使用される構文要素は記述用語であるということに留意されたい。従って、本明細書において使用される構文要素は他の構文要素名の使用を排除しない。

【0094】

図が流れ図として提示される場合、図はまた対応装置のブロック図を提供するということを理解すべきである。同様に、図がブロック図として提示される場合、図は対応方法／プロセスの流れ図も提供するということを理解すべきである。

【0095】

様々な実施形態はパラメトリックモデル又は速度歪最適化を指し得る。特に、符号化プロセス中、速度と歪みとの間のバランス又はトレードオフが通常、計算複雑性の制約をしばしば所与として考慮される。これは、速度歪最適化（ＲＤＯ：Rate Distortion Optimization）メトリックを介し、又は最小２乗平均（ＬＭＳ：Least Mean Square）、絶対誤差の平均（ＭＡＥ：Mean of Absolute Errors）、又は他のこのような測定を介し測定され得る。速度歪最適化は通常、速度と歪との加重和である速度歪関数を最小化することとして定式化される。速度歪最適化問題を解決するための様々な手法がある。例えば、いくつかの手法は、コード化及び復号後の再構成された信号のそれらのコード化コスト及び関連歪みの完全な評価によるすべての符号化選択肢（考慮されるモード又はコード化パラメータ値をすべて含む）の広汎な試験に基づき得る。より速い手法がまた、特に予測又は予測残差信号（再構築済み信号ではない）に基づく近似歪みの計算により、符号化複雑性を減じるために使用され得る。これらの２つの手法の混合もまた、可能な符号化選択肢のうちのいくつかの選択肢だけの近似歪み及び他の符号化選択肢の完全な歪みを使用することなどにより、使用され得る。他の手法は、可能な符号化選択肢のサブセットを評価するだけである。より一般的には、多くの手法は最適化を行うために様々な技術のうちの任意のものを採用するが、最適化は必ずしもコード化コスト及び関連歪みの両方の完全な評価ではない。

【0096】

本明細書で説明される実装及び態様は、例えば方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実施され得る。単一形式の実装の文脈においてだけ論述された（例えば、方法としてだけ論述された）としても、論述された特徴の実装はまた、他の形式で（例えば装置又はプログラムにおいて）実施され得る。装置は例えば適切なハードウェア、ソフトウェア及びファームウェアで実現され得る。本方法は例えば、処理デバイス全般（例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む）を指す例えばプロセッサ内で実施され得る。プロセッサはまた、例えばコンピュータ、セルラ電話、ポータブル／個人用デジタル補助装置（ＰＤＡ：portable/personal digital assistant）、及びエンドユーザ間の情報の伝達を容易にする他のデバイスなどの通信デバイスを含む。

【0097】

「一実施形態」又は「実施形態」又は「一実装」又は「実装」及びその他の変形への参照は、実施形態に関連して説明される特定の機能、構造、特徴等々が少なくとも一実施形態に含まれるということを意味する。従って、本出願の全体にわたって様々な場所に出現する語句「一実施形態において」又は「実施形態において」又は「一実装において」又は「実装において」、及び任意の他の変形においての出現は必ずしも同じ実施形態を参照するとは限らない。

【0098】

加えて、本出願は様々な情報を「判断する」ことに言及し得る。情報を判断することは、例えば情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことのうちの１つ又は複数を含み得る。

【0099】

さらに、本出願は様々な情報に「アクセスする」ことに言及し得る。情報へアクセスすることは、例えば情報を受信すること、情報を（例えばメモリから）取り出すこと、情報を格納すること、情報を移動すること、情報を複製すること、情報を計算すること、情報を判断すること、情報を予測すること、又は情報を推定することのうちの１つ又は複数を含み得る。

【0100】

加えて、本出願は様々な情報を「受信すること」に言及し得る。受信することは「アクセスすること」と同様に広義語であるように意図されている。情報を受信することは例えば情報にアクセスすること又は情報を（例えばメモリから）取り出すことの１つ又は複数を含み得る。さらに、「受信すること」は通常、例えば情報を格納すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を判断すること、情報を予測すること、又は情報を推定することなどの操作中に何らかのやり方で関与する。

【0101】

例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」並びに「Ａ及びＢの少なくとも１つ」の場合における以下の「／」、「及び／又は」、並びに「少なくとも１つ」のうちの任意のものの使用は第１の列記された選択肢（Ａ）だけの選択、又は第２の列記された選択肢（Ｂ）だけの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するように意図されているということを理解すべきである。別の例として、「Ａ、Ｂ及び／又はＣ」並びに「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような言い回しは第１の列記された選択肢（Ａ）だけの選択、又は第２の列記された選択肢（Ｂ）だけの選択、又は第３の列記された選択肢（Ｃ）だけの選択、又は第１及び第２の列記された選択肢（Ａ及びＢ）だけの選択、又は第１及び第３の列記された選択肢（Ａ及びＣ）だけの選択、又は第２及び第３の列記された選択肢（Ｂ及びＣ）だけの選択、又はすべての３つの選択肢（Ａ及びＢ及びＣ）の選択を包含するように意図されている。これは、当業者及び関連業者に明らかなように、列挙されたのと同じ数のアイテムまで拡張され得る。

【0102】

また、本明細書で使用されるように、単語「信号伝達する」は、数ある中でも特に、対応復号器へ何かを示すことを指す。例えば、いくつかの実施形態では、符号化器は複数の変換、コード化モード又はフラグのうち特定の１つを信号伝達する。このようにして、一実施形態では、同じ変換、パラメータ、又はモードが符号化器側及び復号器側の両方において使用される。従って、例えば、符号化器は、特定パラメータを復号器が同パラメータを使用し得るように復号器へ送信し得る（明示的シグナリング）。逆に、復号器が特定パラメータ及び他のパラメータも既に有すれば、シグナリングは、復号器が特定パラメータを知りそして選択することを単純に可能にするために送信することなく（暗黙的シグナリング）使用され得る。いかなる実際機能の送信も回避することにより、ビット節約が様々な実施形態において実現される。シグナリングは様々なやり方で達成され得るということを認識すべきである。例えば、１つ又は複数の構文要素、フラグ等々が、様々な実施形態において対応復号器へ情報を信号伝達するために使用される。上記は単語「信号（signal）」の動詞形式に関連するが、単語「信号」はまた、名詞として本明細書において使用され得る。

【0103】

当業者に明らかになるように、いくつかの実装は、例えば格納又は送信され得る情報を伝達ようにフォーマット化される多様な信号を生成し得る。情報は、例えば方法を実行するための命令又は説明された実施形態の１つにより生成されるデータを含み得る。例えば、信号は説明された実施形態のビットストリームを伝達ためにフォーマット化され得る。このような信号は例えば電磁波として（例えば、スペクトルの高周波部分を使用して）又はベースバンド信号としてフォーマット化され得る。フォーマット化は例えば、データストリームを符号化することと、符号化されたデータストリームにより搬送波を変調することとを含み得る。信号が伝達情報は例えばアナログ又はデジタル情報であり得る。信号は、知られているように多種多様な有線又は無線リンク上で送信され得る。信号はプロセッサ可読媒体上に格納され得る。

【0104】

我々は様々な請求項カテゴリ及びタイプ全体にわたって多くの実施形態について説明した。これらの実施形態の特徴は単独で又は任意の組み合わせで提供され得る、さらに、いくつかの実施形態は、様々な請求項カテゴリ及びタイプ全体にわたる以下の特徴、デバイス又は態様のうちの１つ又は複数を単独で又は任意の組み合わせで含み得る：
●多重変換選択による低周波分離不能変換を使用することによりビデオデータを符号化又は復号するプロセス又はデバイス。
●多重変換選択による低行列ベースイントラ予測を使用することによりビデオデータを符号化又は復号するプロセス又はデバイス。
●暗黙的多重変換選択による低周波分離不能変換を使用することによりビデオデータを符号化又は復号するプロセス又はデバイス。
●暗黙的多重変換選択による低行列ベースイントラ予測を使用することによりビデオデータを符号化又は復号するプロセス又はデバイス。
●説明された構文要素又はその変形のうちの１つ又は複数を含むビットストリーム又は信号。
●説明された実施形態のうちの任意の実施形態に従って生成された情報を伝達構文を含むビットストリーム又は信号。
●説明された実施形態のうちの任意の実施形態に従って生成及び／又は送信及び／又は受信及び／又は復号すること。
●説明された実施形態のうちの任意の実施形態による方法、プロセス、装置、命令、データ又は信号を格納する媒体。
●符号化器により使用されるものに対応するやり方で復号器がコード化モードを判断することを可能にするシグナリング構文要素を挿入すること。
●説明された構文要素又はその変形のうちの１つ又は複数を含むビットストリーム又は信号を生成及び／又は送信及び／又は受信及び／又は復号すること。
●説明された実施形態のうちの任意の実施形態に従って変換方法を行うＴＶ、セットトップボックス、セルラ電話、タブレット又は他の電子デバイス。
●説明された実施形態のうちの任意の実施形態に従って変換方法判断を行いそして結果画像を表示する（例えば、モニタ、画面又は他のタイプのディスプレイを使用して）ＴＶ、セットトップボックス、セルラ電話、タブレット又は他の電子デバイス。
●説明された実施形態のうちの任意の実施形態に従って符号化済み画像を含む信号を受信するためにチャネルを選択、帯域制限、又はチューニングする（例えば、チューナを使用することにより）そして変換方法を行うＴＶ、セットトップボックス、セルラ電話、タブレット又は他の電子デバイス。
●符号化済み画像を含む信号を無線で受信し（例えば、アンテナを使用することにより）そして変換方法を行うＴＶ、セットトップボックス、セルラ電話、タブレット又は他の電子デバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】