(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-27
(45)【発行日】2024-09-04
(54)【発明の名称】ビデオ符号化及び復号化の動き補償
(51)【国際特許分類】
H04N 19/52 20140101AFI20240828BHJP
【FI】
H04N19/52
(21)【出願番号】P 2020561924
(86)(22)【出願日】2019-05-07
(86)【国際出願番号】 US2019031068
(87)【国際公開番号】W WO2019217383
(87)【国際公開日】2019-11-14
【審査請求日】2022-05-02
(32)【優先日】2018-05-09
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】518338149
【氏名又は名称】インターデジタル ヴイシー ホールディングス, インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】チェン,ヤ
(72)【発明者】
【氏名】ギャルピン,フランク
(72)【発明者】
【氏名】ポワリエ,タンギ
【審査官】鉢呂 健
(56)【参考文献】
【文献】CHEN, Jianle et al.,Algorithm Description of Joint Exploration Test Model 7 (JEM 7),Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017, [JVET-G1001-v1],JVET-G1001 (version 1),ITU-T,2017年08月19日,<URL:https://jvet-experts.org/doc_end_user/documents/7_Torino/wg11/JVET-G1001-v1.zip>: JVET-G1001-v1.docx: pp.17-20
【文献】TOMA, Tadamasa et al.,Description of SDR video coding technology proposal by Panasonic,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0020-v1],JVET-J0020 (version 1),ITU-T,2018年04月02日,<URL:https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0020-v1.zip>: JVET-J0020-v1.docx: pp.49-51
【文献】CHEN, Huanbang et al.,CE1-related: Combination of LIC and affine,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19-27 March 2019, [JVET-N0171-v1],JVET-N0171 (version 1),ITU-T,2019年03月13日,<URL:https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0171-v1.zip>: JVET-N0171-v1.docx: pp.1-6
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
方法であって、
ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を符号化することと、
を含み、
前記ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第1行目に含まれるサブブロックの第1のサブセット又は前記サブブロックの第1列目に含まれるサブブロックの第2のサブセットの1つ又は複数に関連付けられた動きベクトルの群を含み、
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて取得された1組の再構築されたサンプルに基づく、方法。
【請求項2】
方法であって、
ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を復号化することと、
を含み、
前記ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第1行目に含まれるサブブロックの第1のサブセット又は前記サブブロックの第1列目に含まれるサブブロックの第2のサブセットの1つ又は複数に関連付けられた動きベクトルの群を含み、
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて取得された1組の再構築されたサンプルに基づく、方法。
【請求項3】
装置であって、
1つ又は複数のプロセッサ
を備え、前記1つ又は複数のプロセッサは、
ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を符号化することと、
を行うように構成され、
前記ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第1行目に含まれるサブブロックの第1のサブセット又は前記サブブロックの第1列目に含まれるサブブロックの第2のサブセットの1つ又は複数に関連付けられた動きベクトルの群を含み、
前記局所照明補償情報は、前記動きベクトルの群に基づいて取得された1組の再構築されたサンプルに基づいて取得される、装置。
【請求項4】
装置であって、
1つ又は複数のプロセッサ
を備え、前記1つ又は複数のプロセッサは、
ビデオ情報における照明変化及び前記ビデオ情報に関連付けられた動き補償情報に含まれる複数の動きベクトルに基づいて、前記ビデオ情報に関連付けられた局所照明補償情報を取得することと、
前記局所照明補償情報及び前記動き補償情報に基づいて前記ビデオ情報を復号化することと、
を行うように構成され、
前記ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含むブロックを含み、前記複数の動きベクトルは、前記サブブロックの第1行目に含まれるサブブロックの第1のサブセット又は前記サブブロックの第1列目に含まれるサブブロックの第2のサブセットの1つ又は複数に関連付けられた動きベクトルの群を含み、
前記局所照明補償情報は、前記動きベクトルの群に基づいて取得された1組の再構築されたサンプルに基づいて取得される、装置。
【請求項5】
前記動き補償情報はアフィン動きモデルに基づいて取得される、
請求項1に記載の方法。
【請求項6】
前記1組の再構築されたサンプルは疑似L字形を形成する、
請求項1に記載の方法。
【請求項7】
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含む、
請求項1に記載の方法。
【請求項8】
前記少なくとも1つのモデルパラメータを決定することは、前記動きベクトルの群に含まれる少なくとも第1の動きベクトルに基づき、前記第1の動きベクトルは、前記ビデオ情報ブロックの左上隅に配置された複数のサブブロックのうちの第1の1つに関連付けられる、請求項7に記載の方法。
【請求項9】
前記動きベクトルの群は、前記サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトル及び前記サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルを含み、前記第1の組の動きベクトルは、前記サブブロックの第1行目の中間位置に配置された前記複数のサブブロックのうちの第1のサブブロックに対応する第1の動きベクトルを含み、前記第2の組の動きベクトルは、前記サブブロックの第1列目の中間位置に配置された前記複数のサブブロックのうちの第2のサブブロックに対応する第2の動きベクトルを含む、
請求項1に記載の方法。
【請求項10】
前記ビデオ情報ブロックの前記複数のサブブロックは、サブブロックの複数の群に分けられ、前記少なくとも1つのモデルパラメータは、前記サブブロックの複数の群のそれぞれに決定され、前記局所照明補償情報に基づいて
符号化することは、サブブロックの各群に決定された少なくとも1つのモデルパラメータのそれぞれを使用して各サブブロック群に関連付けられたビデオ情報を処理することを含む、
請求項7に記載の方法。
【請求項11】
前記アフィン動きモデルは、前記ビデオ情報ブロックの近傍のビデオ情報の第2のブロックに関連付けられた少なくとも1つのアフィン制御ポイントに基づいて局所照明補償フラグを決定することを含むアフィン統合動きモデルを含む、請求項5に記載の方法。
【請求項12】
前記線形モデルの前記少なくとも1つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第1及び第2のモデルパラメータを含む、請求項7に記載の方法。
【請求項13】
1つ又は複数のプロセッサにより実行されると、請求項2に記載の方法を実行する計算命令を含むコンピュータプログラム。
【請求項14】
デバイスであって、
請求項4に記載の装置と、
(i)信号を受信するように構成されたアンテナであって、前記信号はビデオ情報を表すデータを含む、アンテナ、(ii)前記ビデオ情報を表す前記データを含む周波数帯域に前記受信信号を制限するように構成された帯域リミッタ、及び(iii)前記ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも1つと、
を備えるデバイス。
【請求項15】
テレビジョン、テレビジョン信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、セル電話、タブレット、ラップトップコンピュータ若しくはデスクトップコンピュータ
を含むコンピュータ、サーバ、又は他の電子デバイスの1つを含む、請求項14に記載のデバイス。
【請求項16】
前記動き補償情報はアフィン動きモデルに基づいて取得される、
請求項3に記載の装置。
【請求項17】
前記1組の再構築されたサンプルは疑似L字形を形成する、
請求項3に記載の装置。
【請求項18】
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含む、
請求項3に記載の装置。
【請求項19】
前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項2に記載の方法。
【請求項20】
前記1組の再構築されたサンプルは疑似L字形を形成する、請求項2に記載の方法。
【請求項21】
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含む、請求項2に記載の方法。
【請求項22】
前記動きベクトルの群は、前記サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトル及び前記サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルを含み、前記第1の組の動きベクトルは、前記サブブロックの第1行目の中間位置に配置された前記複数のサブブロックのうちの第1のサブブロックに対応する第1の動きベクトルを含み、前記第2の組の動きベクトルは、前記サブブロックの第1列目の中間位置に配置された前記複数のサブブロックのうちの第2のサブブロックに対応する第2の動きベクトルを含む、請求項2に記載の方法。
【請求項23】
前記動き補償情報はアフィン動きモデルに基づいて取得される、請求項4に記載の装置。
【請求項24】
前記1組の再構築されたサンプルは疑似L字形を形成する、請求項4に記載の装置。
【請求項25】
前記局所照明補償情報を取得することは、前記動きベクトルの群に基づいて前記ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含む、請求項4に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
[1] 本開示はビデオ符号化及び復号化を含む。
【背景技術】
【0002】
背景
[2] 高圧縮効率を達成するために、HEVC(高効率ビデオ符号化)規格により定義される等の画像及びビデオ符号化方式は通常、予測及び変換符号化を採用して、ビデオコンテンツにおける空間的及び時間的冗長性を利用する。一般に、フレーム内又はフレーム間相関の利用にイントラ予測又はインター予測が使用され、予測誤差又は予測残差と記される元のブロックと予測ブロックとの間の差分は多くの場合、変換、量子化、及びエントロピー符号化される。ビデオを再構築するために、圧縮されたデータは、予測、変換、量子化、及びエントロピー符号化に対応する反転プロセスにより復号化される。ビデオ圧縮技術への近年の追加は、ジョイントビデオ探索チーム(JVET:Joint Video Exploration Team)により開発されているジョイント探索モデル(JEM:Joint Exploration Model)のリファレンスソフトウェア及び/又はドキュメンテーションの種々のバージョンを含む。JEM等の努力目的は、HEVC等の既存の規格に対して更なる改善を行うことである。
【発明の概要】
【0003】
概要
[3] 一般に、方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0004】
[4] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0005】
[5] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0006】
[6] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0007】
[7] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも1つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0008】
[8] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0009】
[9] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、
第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0010】
[10] 方法又は例えば、1つ又は複数のプロセッサを含む装置の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0011】
[11] 一般に、実施形態は、ビデオ情報を符号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含む方法を含むことができる。
【0012】
[12] 一般に、別の実施形態は、1つ又は複数のプロセッサを備えた、ビデオ情報を符号化する装置であって、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
【0013】
[13] 一般に、別の実施形態は、ビデオ情報を復号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含む方法を含むことができる。
【0014】
[14] 一般に、別の実施形態は、1つ又は複数のプロセッサを備えた、ビデオ情報を復号化する装置であって、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
【0015】
[15] 一般に、別の実施形態は、符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができ、符号化ビデオデータは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成し、局所照明補償モデルを取得し、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することにより符号化される。
【0016】
[16] 一般に、1つ又は複数の実施形態は、本明細書に記載される方法又は装置によりビデオデータを符号化又は復号化する命令を記憶したコンピュータ可読記憶媒体、例えば不揮発性コンピュータ可読記憶媒体を提供することもできる。本実施形態の1つ又は複数は、本明細書に記載される方法又は装置により生成されたビットストリームを記憶したコンピュータ可読記憶媒体を提供することもできる。本実施形態の1つ又は複数は、本明細書に記載される方法又は装置により生成されたビットストリームを送信又は受診する方法及び装置を提供することもできる。
【0017】
図面の簡単な説明
[17] 本開示は、添付図と共に以下の詳細な説明を考慮することにより、よりよく理解し得る。
【図面の簡単な説明】
【0018】
【
図1】[18]ビデオエンコーダの実施形態の例のブロック図を示す。
【
図2】[19]ビデオデコーダの実施形態の例のブロック図を示す。
【
図3】[20]ビデオ符号化及び/又は復号化を提供するシステムの実施形態の例のブロック図を示す。
【
図4】[21]例えば、HEVC等における符号化ツリーユニット(CTU)の符号化単位(CU)、予測ユニット(PU)、及び変換ユニット(TU)への分割の例を示す。
【
図5】[22]ジョイント探索モデル(JEM)において使用される等のアフィン動きモデルの例を示す。
【
図6】[23]4×4サブCUベースのアフィン動きベクトル場の例を示す。
【
図7】[24]アフィンAMVP CUの動きベクトル(MV)予測プロセスの例を示す。
【
図8】[25]アフィン統合モードにおける動きベクトル予測候補の例を示す。
【
図9】[26]アフィン統合モードにおけるアフィン動き場制御ポイントの空間導出を示す。
【
図10】[27]局所照明補償(LIC)モデルに関連付けられたパラメータを導出する近傍サンプルの使用例を示す。
【
図11】[28]双方向予測モデルにおけるLICモデルのパラメータの導出例を示す。
【
図12】[29]サブブロックに関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックに対応する基準ピクチャのブロックの周囲に異なるL字形で配置された近傍サンプルの例を示す。
【
図13】[30]ビデオエンコーダの一部の実施形態の例を示す。
【
図14】[31]ビデオエンコーダの一部の別の実施形態の例を示す。
【
図15】[32]サブブロックに関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックに対応する基準ピクチャのブロックの周囲に疑似L字形で配置された近傍サンプルの例を示す。
【
図16】[33]ビデオエンコーダの一部の別の実施形態の例を示す。
【
図17】[34]サブブロックの群に関連付けられた動きベクトルに基づいて現在の符号化単位のサブブロックの群に対応する基準ピクチャのブロックの周囲に異なるL字形で配置された近傍サンプルの例を示す。
【
図18】[35]ビデオエンコーダの一部の実施形態の別の例を示す。
【
図19】[36]ビデオデコーダの一部の実施形態の例を示す。
【
図20】[37]ビデオデコーダの一部の実施形態の別の例を示す。
【
図21】[38]ビデオデコーダの一部の実施形態の別の例を示す。
【
図22】[39]ビデオデコーダの一部の実施形態の別の例を示す。
【
図23】[40]ビデオエンコーダの一部の実施形態の別の例を示す。
【
図24】[41]ビデオエンコーダの一部の実施形態の別の例を示す。
【
図25】[42]符号化単位の中心における動きベクトルの実施形態の例を示す。
【
図26】[43]符号化単位の中心における動きベクトルの実施形態の別の例を示す。
【
図27】[44]符号化単位の中心における動きベクトルの実施形態の別の例を示す。
【
図28】[45]局所照明補償モデルのパラメータを決定する実施形態の例を示す。
【発明を実施するための形態】
【0019】
[46] 種々の図において、同様の参照符号は同じ又は同様の特徴を指す。
【0020】
詳細な説明
[47] ジョイントビデオ探索チーム(JVET)により開発されているジョイント探索モデル(JEM)に関連付けられる等のビデオ圧縮技術を進化させる近年の努力は、高度な特徴及びツールを提供する。例えば、そのような開発努力は、時間的予測を改善する追加の動きモデルへのサポート提供を含む。そのような1つの動きモデルは、より詳細に後述するアフィン動きモデルである。ブロックベースの局所照明補償(LIC)等のツールへのサポートも提供される。LICツールは、LICモデルを適用して、動き補償予測に使用される予測ブロックと対応する基準ブロックとの間で生じ得る照明の変動を予測することを含む。本明細書に記載される種々の態様及び実施形態は、例えば、アフィン動きモデル及びLICツール等の動きモデル及びツールを含む。
【0021】
[48] 本文書は、ツール、特徴、実施形態、モデル、手法等を含む多種多様な態様を記載する。これらの態様の多くは具体的に説明され、少なくとも個々の特徴を示すために、限定と聞こえ得るように説明されることが多い。しかしながら、これは説明の明確さのためであり、それらの態様の適用又は範囲を限定しない。実際には、様々な態様の全ては、更なる態様を提供するために結合することができ、相互交換することができる。さらに、態様は、先の図において説明された態様とも同様に結合し、相互交換することができる。
【0022】
[49] 本文書において記載され考慮される態様は、多くの異なる形態で実施することができる。以下の
図1、
図2、及び
図3並びに他の図は本文書全体を通して幾つかの実施形態を提供するが、他の実施形態も考慮され、
図1、
図2、及び
図3の考察は実施態様の範囲を限定しない。態様の少なくとも1つは一般に、ビデオの符号化及び復号化に監視、少なくとも1つの他の態様は一般に、生成又は符号化されたビットストリームの送信に関する。これら及び他の態様は、方法、装置、又はコンピュータ可読記憶媒体として実施することができる。例えば、コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体であることができる。コンピュータ可読記憶媒体は、記載される任意の方法によりビデオデータを符号化又は復号化する命令及び/又は記載される任意の方法により生成されたビットストリームを記憶していることができる。
【0023】
[50] 本願では、「再構築された」及び「復号化された」という用語は同義で使用することができ、「ピクセル」及び「サンプル」という用語は同義で使用することができ、「画像」、「ピクチャ」、及び「フレーム」という用語は同義で使用することができる。必ずしもそうであるわけではないが通常、「再構築された」という用語はエンコーダ側で使用され、一方、「復号化された」という用語はデコーダ側で使用される。
【0024】
[51] 種々の方法が上述され、各方法は、記載された方法を達成するための1つ又は複数のステップ又は動作を含む。方法の適切な動作に特定の順序のステップ又は動作が必要とされる場合を除き、特定のステップ及び/又は動作の順序及び/又は使用は変更又は結合が可能である。
【0025】
[52] 本文書に記載される種々の方法及び他の態様は、例えば、
図1及び
図2にそれぞれ示されるJVET又はHEVCエンコーダ100及びデコーダ200の動き推定モジュール170、動き補償モジュール175、及び/又は動き補償モジュール275等のビデオエンコーダ及び/又はデコーダの1つ又は複数のモジュールの変更に使用することができる。さらに、本態様はJVET又はHEVCに限定されず、例えば、既に存在するか、それとも将来開発されるかに関係なく、他の規格及び勧告並びにそのような任意の規格及び勧告の拡張(JVET及びHEVCを含む)に適用することができる。別記される場合又は技術的に除外される場合を除き、本文書に記載される態様は個々に又は組み合わせて使用することができる。
【0026】
[53] 種々の数値が本文書で使用され得る。任意の特定の数値は例であり、記載される態様はこれらの特定の値に限定されない。
【0027】
[54]
図1、
図2、及び
図3はそれぞれ、エンコーダ100、デコーダ200、及びシステム1000の実施形態の例のブロック図を示す。エンコーダ100、デコーダ200、及びシステム1000の変形も考慮されるが、後述する例は、考えられる又は予期される全ての変形を記載せずに、明確さを目的として提供され説明される。
【0028】
[55]
図1では、符号化前、ビデオシーケンスは符号化前処理(101)を受けることができ、例えば、色変換を入力カラーピクチャに適用し(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮により強靱な信号分布を得るために入力ピクチャ成分のリマッピングを実行する(例えば、色成分の1つのヒストグラム等化を使用)。メタデータを前処理に関連付け、ビットストリームに取り付けることができる。
【0029】
[56] エンコーダ100において、ピクチャは以下説明するようにエンコーダ要素により符号化される。符号化されるピクチャは、例えばCU単位で分割され(102)処理される。各ユニットは、例えば、イントラモード又はインターモードの何れかを使用して符号化される。ユニットがイントラモードで符号化される場合、エンコーダ100はイントラ予測を実行する(160)。インターモードでは、動き推定(175)及び補償(170)が実行される。エンコーダは、イントラモード又はインターモードのいずれをユニットの符号化に使用すべきかを判断し(105)、例えば、予測モードフラグによりイントラ/インター判断を示す。例えば、元の画像ブロックから予測ブロックを差し引くこと(110)により予測残差が計算される。
【0030】
[57] 次に、予測残差は変換され(125)量子化される(130)。量子化変換係数並びに動きベクトル及び他のシンタックス要素は、エントロピー符号化されて(145)、ビットストリームを出力する。エンコーダは変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは変換及び量子化の両方を迂回することができ、すなわち、残差は、変換又は量子化プロセスの適用なしで直接符号化される。
【0031】
[58] エンコーダは、符号化ブロックを復号化して、更なる予測の基準を提供する。量子化変換係数は逆量子化され(140)、逆変換されて(150)、予測残差を復号化する。復号化された予測残差と予測ブロックとを結合して(155)、画像ブロックが再構築される。インループフィルタ(165)が再構築されたピクチャに適用されて、例えば、デブロック/SAO(サンプル適応オフセット)フィルタリングを実行し、符号化アーチファクトを低減する。フィルタリングされた画像は基準ピクチャバッファに記憶される(180)。
【0032】
[59]
図2はビデオデコーダ200の例のブロック図を示す。デコーダ200において、ビットストリームは以下説明するようにデコーダ要素により復号化される。ビデオデコーダ200は一般に、
図1で説明された符号化パスの逆である復号化パスを実行する。上述したように、
図1におけるエンコーダ100も一般に、例えば、更なる予測の基準を提供するために、ビデオデータの符号化の一環としてビデオ復号化を実行する。
【0033】
[60] 特に、デコーダの入力はビデオビットストリームを含み、ビデオビットストリームは
図1のビデオエンコーダ100等のビデオエンコーダにより生成することができる。ビットストリームはまずエントロピー復号化され(230)、変換係数、動きベクトル、及び他の符号化情報を取得する。ピクチャ分割情報は、ピクチャがいかに分割されたかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる(235)。変換係数は逆量子化され(240)、逆変換されて(250)、予測残差を復号化する。復号化された予測残差と予測ブロックとを結合して(255)、画像ブロックが再構築される。予測ブロックは、イントラ予測(260)又は動き補償予測(すなわち、インター予測)(275)から取得することができる(270)。インループフィルタ(265)が、再構築された画像に適用される。フィルタリングされた画像は基準ピクチャバッファに記憶される(280)。
【0034】
[61] 復号化されたピクチャは、復号化後処理(285)、例えば、逆色変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)又は符号化前処理(101)において実行されたリマッピングプロセスの逆を実行する逆リマッピングを更に受けることができる。復号化後処理は、符号化前処理で導出され、ビットストリームでシグナリングされたメタデータを使用することができる。
【0035】
[62]
図3は、種々の態様及び実施形態を実施することができるシステムのブロック図を示す。システム1000は、以下に説明する種々の構成要素を含むデバイスとして実施することができ、本文書に記載される態様の1つ又は複数を実行するように構成される。そのようなデバイスの例には、限定ではなく、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビジョン受信機、パーソナルビデオ記録システム、接続された家電機器、及びサーバがある。システム1000は、
図3に示され、当業者に既知の通信チャネルを介して他の同様のシステム及びディスプレイに通信可能に結合することができ、それにより、本文書に記載される種々の態様の1つ又は複数を実施する。
【0036】
[63] システム1000は、本文書に記載される種々の態様の1つ又は複数を実施する、ロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含むことができる。プロセッサ1010は、組み込みメモリ、入出力インターフェース、及び当技術分野において既知の種々の他の回路を含むことができる。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス、不揮発性メモリデバイス)を含むことができる。システム1000は記憶装置1040を含むことができ、記憶装置1040は、限定ではなく、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブを含む不揮発性メモリを含むことができる。記憶装置1040は、非限定的な例として、内部記憶装置、取り付けられた記憶装置、及び/又はネットワークアクセス可能記憶装置を含むことができる。システム1000は、データを処理して、符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ/デコーダモジュール1030を含むことができる。
【0037】
[64] エンコーダ/デコーダモジュール1030は、符号化機能及び/又は復号化機能を実行するためにデバイスに含むことができるモジュールを表す。知られているように、デバイスは符号化モジュール及び復号化モジュールの一方又は両方を含むことができる。さらに、エンコーダ/デコーダモジュール1030は、システム1000の別個の要素として実施することもでき、又は当業者に既知のようにハードウェアとソフトウェアとの組合せとしてプロセッサ1010内に組み込むこともできる。
【0038】
[65] 本文書に記載された種々の態様を実行するためにプロセッサ1010にロードされるプログラムコードは、記憶装置1040に記憶することができ、続けて、プロセッサ1010による実行のためにメモリ1020にロードすることができる。実施形態によれば、プロセッサ1010、メモリ1020、記憶装置1040,及びエンコーダ/デコーダモジュール1030の1つ又は複数は、限定ではなく、入力ビデオ、復号化ビデオ、ビットストリーム、式、公式、行列、変数、演算、及び演算論理を含む、本文書に記載されるプロセスの実行中、種々の項目の1つ又は複数を記憶することができる。
【0039】
[66] システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インターフェース1050を含むことができる。通信インターフェース1050は、限定ではなく、通信チャネル1060からデータを送受信するように構成された送受信機を含むことができる。通信インターフェースは、限定ではなく、モデム又はネットワークカードを含むことができ、通信チャネルは有線及び/又は無線媒体内で実施することができる。システム1000の種々の構成要素は、限定ではなく、内部バス、ワイヤ、及びプリント回路基板を含む種々の適した接続を使用して一緒に接続又は通信可能に結合することができる。
【0040】
[67] 以下により詳細に説明するように、本開示による態様及び実施形態は、動き推定特徴、例えば
図1のモジュール175及び
図1のモジュール170及び/又は
図2のモジュール275等の動き補償特徴等の
図1、
図2、及び
図3に示されるシステムの特徴に関連することができる。
【0041】
[68] 説明を明確にするために、以下の詳細な説明において、例えば、HEVC、JEM、及び/又はH.266等のビデオ圧縮技術を含む実施形態を参照して態様を説明する。しかしながら、説明される態様は他のビデオ処理技術及び規格にも適用可能である。
【0042】
[69] HEVCビデオ圧縮規格では、ピクチャはいわゆる符号化ツリーユニット(CTU)に分割され、各CTUは圧縮ドメインにおいて符号化単位(CU)により表される。次に、各CUにイントラ又はインター予測パラメータ(予測情報)が与えられる。そうするために、1つ又は複数の予測ユニット(PU)に空間的に分割され、各PUには幾らかの予測情報が割り当てられる。イントラ又はインター符号化モードはCUレベルで割り当てられる。符号化単位、予測ユニット、及び変換ユニットへの符号化ツリーユニットの分割の図を
図4に示す。
【0043】
[70] インター符号化モードでは、動き補償時間的予測が利用されて、ビデオの連続ピクチャ間に存在する冗長性を利用する。そうするために、厳密に1つの動きベクトル(MV)がHEVCにおける各PUに割り当てられる。したがって、HEVCでは、PU及びその基準ブロックをリンクする動きモデルは単に並進を含む。
【0044】
[71] JVET(ジョイントビデオ探索チーム)グループにより開発されたジョイント探索モデル(JEM)の少なくとも1つのバージョンでは、CUはもはやPU又はTUに分割されず、幾らかの動き情報(インターモードでは予測情報)が各CUに直接割り当てられる。JEMでは、CUはサブCUに分割することができ、各サブCUの動きベクトルを計算することができる。さらに、時間的予測を改善するために、幾つかのより豊富な動きモデルがサポートされる。JEMにおいて導入された新しい動きモデルの1つはアフィンモデルであり、アフィンモデルは基本的に、アフィンモデルを使用して、CUにおいて動きベクトルを表すことを含む。使用される動きモデルを
図5により示す。アフィンモデルは、動き予測のためにCU内部の動き場を生成するのに使用することができる。例えば、アフィン動き場は、式1により定義されるような、考慮されるブロック内部の各位置(x,y)の動きベクトル成分値を含む。
【数1】
式1:アフィン動き場の生成に使用される、いわゆる制御ポイント動きベクトルである(v
0x,v
0y)及び(v
1x,v
1y)がどこにあるかを予測するために、CU内部の動き場を生成するのに使用されるアフィンモデルである。(v
0x,v
0y)は動きベクトルの左上隅制御ポイントであり、(v
1x,v
1y)は動きベクトル右上隅制御ポイントである。
【0045】
[72] 実際には、複雑性を妥当なレベルに保つために、例えば、
図6に示されるように、考慮されるCUの各4×4サブブロック(サブCU)の動きベクトルを計算することができる。アフィン動きベクトルは、各サブブロックの中心の位置において、制御ポイント動きベクトルから計算される。その結果、アフィンモデルにおけるCUの時間的予測は、それ自体の動きベクトルを用いた各サブブロックの動き補償予測を含む。
【0046】
[73] アフィン動き補償は、少なくとも2つの方法、例えば、JEMではアフィンAMVP(高度動きベクトル予測)又はAF_AMVP及びアフィン統合で使用することができる。
-アフィンAMVP(AF_AMVP)
8×8よりも大きいサイズのAMVPモードにおけるCUは、アフィンAMVPモードで予測することができる。これは、ビットストリーム内のフラグを通してシグナリングされる。そのインターCUのアフィン動き場の生成は、制御ポイント動きベクトル(CPMV)を決定することを含み、CPMVは、動きベクトル差分と制御ポイント動きベクトル予測(CPMVP)との合算を通してデコーダにより得られる。CPMVPは、アフィンAMVP CUの動きベクトル予測プロセスの例を示す
図7に示されるように、リスト(A,B,C)及び(D,E)からそれぞれとられた一対の動きベクトル候補である。
-アフィン統合
アフィン統合モードでは、CUレベルフラグが、統合CUがアフィン動き補償を利用するか否かを示す。利用する場合、アフィン統合モードにおける動きベクトル予測候補を示す
図8に示されるように、アフィンモードで符号化された最初の利用可能な近傍CUが、候補位置(A,B,C,D,E)の順序付き集合の中から選択される。
【0047】
[74] アフィンモードにおける最初の近傍CUが得られると、
図9に示されるように、近傍CUの左上隅、右上隅、及び左下隅からの3つの動きベクトル
【数2】
が検索される。これらの3つのベクトルに基づいて、式2に示されるように、現在CUの左上隅及び右上隅の2つのCPMVが導出される。
【数3】
現在CUの制御ポイント動きベクトル
【数4】
が取得されると、現在のCU内部の動き場が、式1のモデルを通して4×4サブCU単位で計算される。
【0048】
[75] JEMにおいて、ブロックベースの局所照明補償(LIC)を適用することもできる。LICツールは基本的に、予測ブロックと動き補償予測を通して利用される基準ブロックとの間で生じ得る照明の変動を予測することを目的とする。各インターモード不符号化CUについて、LICの使用を示すLICフラグがシグナリングされ、又は暗黙的に導出される。LICツールは、LICパラメータと呼ばれるスケーリング係数a及びオフセットbを使用する照明変化の線形モデルに基づく。JEM等のコーデックでは、LICツールは、上述したアフィン動き補償を利用しているインターモード符号化CUではディセーブルされる。
【0049】
[76] インターモードでは、ブロックベースの局所照明補償(LIC)は、空間的又は時間的局所照明変動を考慮することにより、動き補償を介して取得されたブロック予測サンプルを補正できるようにする。これは、スケーリング係数a及びオフセットbを使用する証明変化の一次線形モデル等の照明変化のモデルに基づく。
図10に示されるように、LICパラメータ(a及びb)は、近傍Vcurに配置された現在ブロック(「現在blk」)を囲む1組の再構築されたサンプルを基準ピクチャ内の基準ブロック(「基準blk」)の近傍Vref(MV)に配置された1組の再構築されたサンプル(組は用途に応じて種々のサイズを有することができる)と比較することにより推定することができる。MVは、現在ブロックと基準ブロックとの間の動きベクトルを表す。通常、Vcur及びVref(MV)は、現在ブロック及び基準ブロックのそれぞれの周囲にL字形(上側、左側、及び左上側)に配置されたサンプルに含まれる。
【0050】
[77] LICパラメータは、任意の種々の手法に基づいて選ぶことができる。例えば、LICパラメータは、局所歪みの最小化に基づいて選択することができる。局所歪みを最小化する一手法は、Vcurにおけるサンプルと、Vref(MV)における補正されたサンプルとの間の平均二乗誤差(MSE)差分を最小化することを含むことができる。一例として、LICモデルは線形モデル、すなわち、LIC(x)=a
*x+bであることができ、式中、パラメータa及びbは式3にあるようなMSE差分の最小化に基づいて特定することができる。
【数5】
式中、r及びsはそれぞれVcur及びVref(MV)におけるピクセル位置に対応する。別の手法は、最小最大法を使用することを含むことができる。例えば、
図28に示されるように、最小値(Min)及び最大値(Max)を有する2つの基準サンプル(XA,XB)並びに例えば
図28の点A、Bにおける関連付けられた再構築サンプル(YA,YB)を使用して、式4にあるように傾き「a」を導出することができる。
【数6】
変形は、ロバスト性を上げるために平均化と共に2番目の最小点及び最大点、例えば
図28における点A’、B’を使用することを含むこともできる。
【0051】
[78] 双方向予測の場合、Vref
0(MV
0)及びVref
1(MV
1)のそれぞれのLICパラメータ(a
0,b
0)及び(a
1,b
1)を独立して導出することができる。他の実施形態では、導出は依存又は相互依存し得る。例えば、
図11に示されるように、双方向予測では、基準0及び1にけるL字形は現在ブロックのL字形と比較されて、LICパラメータを導出する。
【0052】
[79] CUが統合モードを用いて符号化される場合、統合モードでの動き情報コピーと同様にして、LICフラグを近傍ブロックからコピーすることができ、他の場合、CUのLICフラグは、LICが適用されるか否かを示すためにシグナリングされる。しかしながら、JEM等の手法では、CUがアフィンモデル(アフィンAMVP、アフィン統合)を使用している場合、LICフラグは常に偽に設定される。
【0053】
[80] 少なくとも1つの実施形態は、アフィン動き予測がインターモード符号化された符号化単位(CU)に利用される場合、ブロックベースの局所照明補償(LIC)ツールをイネーブルすることを含む。
【0054】
[81] 少なくとも1つの実施形態は、動きベクトルの表現にアフィンモデルを利用するインターモード符号化されたCUにLICツールをアクティブ化することを含む。
【0055】
[82] 少なくとも1つの実施形態は、例えば、アフィンモデルを使用してインターモード符号化されたCUにLICツールをアクティブ化することを含み、アフィンAMVP及びアフィン統合のLICフラグ判定並びに対応するLICパラメータ導出ルールを含むことができる。
【0056】
[83] 少なくとも1つの実施形態は、符号化設計の複雑性増大を最小にしながら、良好な圧縮効率(レート歪み性能)を提供するように、LICツールをアクティブ化し、アフィン動き予測を使用したインターモード符号化に関連するルールを作成する方法を含む。
【0057】
[84] 少なくとも1つの実施形態は、
・アフィン動き予測を使用してインターモード符号化されたCUのLICフラグを決定することを含む。アフィンAMVPの場合、LICツールにわたる反復ループを適用して、LICフラグを決定することができ、LICフラグはビットストリームにシグナリングされる。他の場合、アフィン統合では、LICフラグは近傍ブロックに基づいて取得することができ、例えば、統合モードにおける動き情報コピーと同様にして、近傍ブロックに関連付けられたアフィン制御ポイントから導出することができる。[エンコーダ/デコーダ]
【0058】
[85] 少なくとも1つの実施形態は、
・LICフラグが真であるとの判断に基づいて、対応するLICパラメータの導出を提供することを含む。1つ又は複数の特徴が関わることができる。例えば、最初のサブブロック若しくは任意の他のサブブロック(例えば、中央サブブロック)の1つの動きベクトルを使用し、又は第1行目/第1列目におけるサブブロックの複数の動きベクトル、例えば、第1行目/第1列目のサブブロックに関連付けられた全ての動きベクトル又は第1行目及び/又は第1列目の全ての動きベクトルのサブセットに関連付けられた動きベクトルを考慮に入れる。別の例として、CU全体に一意の対のLICパラメータを生成する。別の例として、複数の対のLICパラメータを導出する。[エンコーダ/デコーダ]
【0059】
[86] 少なくとも1つの実施形態は、例えば、アフィン動き予測を使用してインターモード符号化されたCUにLICツールをイネーブルすることにより、照明変動の考慮に基づいてブロック予測サンプルの補正を改善する。
【0060】
[87] 本明細書に記載される種々の実施形態は、符号化効率の改善を提供する。
【0061】
[88] 少なくとも1つの実施形態は、アフィンモデルで非アクティブ化されるLICを含む手法が、照明変動を考慮することにより補正されないことに起因して、アフィン動き補償を介してブロック予測サンプルに起因した潜在的な性能を完全には組み込むことができないという本発明者らの認識に基づく。
【0062】
[89] 一般に、少なくとも1つの実施形態は、余分なビットをビットストリームに符号化する必要なく、それにより、余分な負担をビットレートに導入せずに、エンコーダ側でパラメータを導出する1つ又は複数の実施形態に従って、デコーダ側でLICパラメータが導出されることを含むことができる。しかしながら、実施形態は、シグナリングに挿入される1つ又は複数のシンタックス要素を含み得る。
【0063】
[90] 少なくとも1つの実施形態では、アフィンモデルを使用してCUの各4×4サブブロックに対してアフィンMVを計算することができる。これは、それ自体の動きベクトルを有する、各サブブロックで異なることができる、Vref(MV)における1組の再構築サンプルを生成する。アフィンモデルを用いた16×16CUの一例を
図12に提示する。
【0064】
[91]
図12では、アフィンモデルを使用した16×16CUの異なるL字形に配置された近傍サンプルの例を示す。
【0065】
[92] 現在の左上サブブロック(「現在サブblk0」)にはMV0が関連付けられ、その対応する再構築サンプルは、基準ピクチャにおける基準ブロック(「基準blk0」)の近傍Vref(MV0)に配置され、一方、MViを有する現在の左下サブブロック(現在サブblki)の場合、再構築サンプルは基準ピクチャにおける基準ブロック(「基準blki」)の近傍Vref(MVi)に配置される。Vref(MV0)及びVref(MVi)は、関連する基準ブロックの周囲に異なるL字形を生成することができる。以下に詳細に説明するように、LICパラメータ導出は、種々の実施形態に基づいてアフィンモデルに適応することができる。
【0066】
[93]
図13は、インタースライスにおけるCUのLICフラグを決定する方法の、例えばエンコーダにおける実施形態の例を示す。見て分かるように、LICツールを利用するための追加のインターモードは、アフィン統合モード及びアフィンAMVPモードを含む。アフィン統合モードの場合、LICフラグは近傍ブロックから推測される。アフィンAMVPモードの場合、性能又は品質メトリック、例えばレート歪みサーチを現在CUについて評価することができる。
図13の例では、そのような評価は、ステップ1340においてLICパラメータを導出し、ステップ1350において動き補償を実行し、ステップ1360においてLICを適用し、ステップ1370においてコスト、例えばレート歪みコストを計算することを含む。
図13に示されるように、これらのステップはLICフラグ、すなわち、LICフラグオン及びオフにわたりループで繰り返される。したがって、可能な各LICフラグ値は、アフィンAMVPモード及びAMVPモードの両方で現在CUについてレート歪みの視点から評価される。LICフラグが決定されると、フラグは、例えばLIC使用をシグナリングするための既存のシンタックスを使用し、それにより、シンタックス追加に関するオーバーヘッド追加を回避して又は特別の環境、状況、若しくは用途に適切な場合、シンタックスを追加することにより、ビットストリームでシグナリングすることができる。
【0067】
[94] 少なくとも1つの実施形態によれば、アフィンAMVPモードと同様に、現在CUのLICフラグはMVP候補から及び/又は近傍MVPから導出することができる。
【0068】
[95] 少なくとも1つの実施形態は、1つのみの動きベクトルを使用してCU全体のLICパラメータを導出することができる。例えば、この動きベクトルは最初のサブブロックの動きベクトルMV0(v0x,v0y)であることができる。少なくとも1つの実施形態は、基準ブロックの周囲の同じL字形に配置された1組の再構築サンプルを取得し、一意のLICパラメータを計算した後、現在ブロックにおける全てのサブブロックに適用することを含むことができる。
【0069】
[96] 1つの動きベクトルを使用してアフィンモデルのLICパラメータを導出する方法の実施形態を
図14に示す。ステップ300において、LICフラグが評価される。LICフラグが偽の場合、ステップ303Aにおいて動き補償処理が行われ、それに続きステップ305において、レート歪み(RD)分析等の性能メトリックが実行される。動きベクトル(MV)は、ステップ305において、メトリック分析結果に基づいて提供される。ステップ300においてLICフラグが真である場合、処理はステップ301に続き、最初のサブブロックの動きベクトルMV
0(v
0x,v
0y)が式1を介して計算される。ステップ301の後にステップ302が続き、Vref(MV
0)における1組の補正されたサンプルを用いて式3に従って局所歪みを最小化することにより、LICパラメータが導出される。ステップ302の後にブロック306が続き、ブロック306は、303Bにおける動き補償処理(303Aに関して上述したものと同じ動き補償処理)を含み、その後、304において、302において導出されたLICパラメータに基づいてLICを適用することを含む。各サブブロックに対してループオーバー306が実行され、ここで、302において取得されたLICパラメータが、各サブブロックの照明変化を補正するために304において利用される。全てのサブブロックに対するループオーバー306実行完了後、すなわち、ステップ303B及び304を通した実行完了後、上述したように処理はステップ305に続く。
【0070】
[97] 説明したように、
図14に示される実施形態の例は、最初のサブブロックに対応する1つの動きベクトルを含むことができる。しかしながら、少なくとも1つの実施形態では、1つの動きベクトルは、最初のサブブロック以外の任意のサブブロック、例えば、中心のサブブロックに基づいて計算することができ、又は近傍ブロック等について計算することができる。符号化単位の「中心」における1つのMVの例では、1つのMVは、選択された実施形態に応じて1つ又は複数のサブブロックに基づいて取得又は計算し得る。CUの中心おける1つのMVを取得する実施形態の具体的な例を
図25、
図26、及び
図27に示す。
【0071】
[98] 例えば、
図25では、サブブロック内の破線円により示されたサブブロックに関連付けられたMVは、符号化単位の中心における点、すなわち、点(W/2,H/2)を含むサブブロックの選択に基づいて「中心」又は中心MVであることができ、ここで、W及びHはそれぞれ、符号化単位の幅及び高さである。別の例として、「中心」におけるMVは、中心、すなわち点(W/2,H/2)の近傍にける複数のMVを結合することにより取得し得る。一例として、
図26に示される実施形態は、4つのMVの平均をとり、中心又は中心MVであると見なすことができる1つの動きベクトルを提供することにより、
図26においてMV1、MV2、MV3、及びMV4と記された、点(W/2,H/2)の周囲の4つのサブブロックのMVを結合する。
【数7】
別の例を
図27に示し、
図27では、太線の矢印で示される等の「中心」におけるMVは、CPMV(制御ポイント動きベクトル)MV(v
0x,v
0y)を用いたアフィンモデルを介して点(W/2,H/2)におけるMVを計算し適用することにより取得し得、ここで、
【数8】
である。
【0072】
[99] 上述したような実施形態は、それ自体のアフィン動きベクトルを有する各サブブロックに起因して生成されることがある基準ブロックの周囲の異なるL字形に対処することができる。しかしながら、1つのみの動きベクトルを介して計算されたLICパラメータは、各サブブロックとその基準ブロックとの間の照明変動が異なり得るため、サブブロックの全てに対して最適であるわけではないことがある。一般に、少なくとも1つの実施形態は、ベンチマークとして複数の動きベクトルを考慮することによりCU全体のLICパラメータを導出する。より具体的には、基準ブロックの周囲の完全なL字形の代わりに、幾つかの潜在的な非接続パッチにより生成される「疑似L字形」が使用される。複数の動きベクトルが連続したL字形データ構成を形成しない各再構築サンプルを参照し得るため、疑似L字形が生成され得る。
【0073】
[100] 例えば、
図15に示されるように、現在の左上サブブロック(「現在サブblk
0」)の場合、基準ブロックMV
0の上のVref(MV
0)における対応する再構築サンプルは、「疑似L字形」の左上隅パッチとして使用される。次に、CUの第1行目に配置されたサブブロック(基準ブロックMV
0、MV
1、MV
2、及びMV
3に対応する)は、「疑似L字形」の上パッチを生成する(Vref(MV
0)、Vref(MV
1)、Vref(MV
2)、Vref(MV
3))。さらに、「疑似L字形」の左パッチは、サブブロックの基準ブロックの左側の再構築サンプルを使用することにより、第1列目におけるサブブロック(基準ブロックMV
0、MV
4、及びMV
5に対応する)により形成される。追加の「Vref(MV
0)」は基準におけるMV
0の左側に形成される。なお、ピクチャにおけるサブブロックは同じ動きベクトルMV
5を有するために、Vref(MV
5)は二十ブロックとして示されている。「疑似L字形」を使用して、LICパラメータを導出することができ、次に、例えば、CU全体に適用することができる。
【0074】
[101] 例えば、複数の動きベクトルを用いて局所歪みを最小化して、LICパラメータを選ぶ一手法は、式5における複数の動きベクトルに向けて変更されて、式3に関して上述したのと同様に、MSE差分の最小化基づくことができる。
【数9】
式中、rはなおVcurにおけるL字形ピクセルロケーションに対応し、一方、s
0はVref(MV
0)におけるピクセルロケーションに対応し、s
1はVref(MV
1)におけるピクセルロケーションに対応する。「疑似L字形」を形成する全てのパッチがトラバースされるまで、続くs
jはVref(MV
i)におけるピクセルロケーションに一貫して対応する。1つの動きベクトルについての式4に関して上述したように、複数の動きベクトルについてLICモデルパラメータを取得する別の手法は、最小最大法を使用することを含むことができる。
【0075】
[102] 複数の動きベクトルを使用してLICパラメータを導出する方法の少なくとも1つの実施形態を
図16に示す。ステップ401において、第1行目及び第1列目におけるサブブロックの動きベクトルが、第1行目及び第1列目におけるサブブロックにわたりループすることにより式1を介して生成される。ステップ402において、LICフラグが真である場合、LICパラメータは、基準ブロックの周囲の「疑似L字形」を用いて式4を使用して局所歪みを最小化することにより導出することができる。ステップ403及び404における処理は、
図14のステップ303及び304に関して上述したのと同様に進む。
【0076】
[103] 少なくとも1つの実施形態では、複雑性を低減するために、2つのみの動きベクトル、例えば上及び左を別個に用いて「疑似L字形」を生成することもできる。第1の動きベクトルは上の行、例えば、第1行目の中間位置におけるサブブロックからのものであり、第2の動きベクトルは、第1列目、例えば第1列目の中間位置におけるサブブロックからのものである。
【0077】
[104] 少なくとも1つの実施形態では、符号化単位のサブブロックの第1行目及び/又は第1列目に関連付けられた複数の動きベクトルのサブセットを使用して、「疑似L字形」を生成することができる。例えば、疑似L字形は、サブブロックの第1行目におけるサブブロックのサブセット又はサブブロックの第1列目におけるサブブロックのサブセットの1つ又は複数に関連付けられた動きベクトルを使用して取得された再構築サンプルに基づいて形成することができる。すなわち、第1の組の動きベクトルは、符号化単位のサブブロックの第1行目に含まれる各サブブロックに関連付けられた動きベクトルを含むことができ、第2の組の動きベクトルは、符号化単位に含まれるサブブロックの第1列目に含まれる各サブブロックに関連付けられた動きベクトルを含むことができる。疑似L字形は、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数、すなわち、第1のサブセット、第2のサブセット、又は第1及び第2のサブセットの両方に基づいて生成された再構築サンプルに基づいて生成することができる。第1行目の中間位置におけるサブブロック及び/又はサブブロックの第1列目の中間位置が関わる上述した例では、動きベクトルの記載された第1及び/又は第2のサブセットはそれぞれ、第1行目及び/又は第1列目の中間における各サブブロックに関連付けられた1つの動きベクトルを含み得る。
【0078】
[105] 上述した少なくとも1つの実施形態では、一対のみのLICパラメータ(a及びb)が導出され、CU全体に使用される。少なくとも1つの他の実施形態では、アフィンモデルのLICツールは、複数の組又は多数の組のLICパラメータを含むことができ、例えば、アフィン動きモデルと併用するのに、線形LICモデルの複数の対のLICパラメータを生成して、予測サンプルをより正確に補正することができる。LICパラメータはデコーダ側でも同じように導出することができるため、複数の組のLICパラメータを追加することは、ビットストリームに追加のシンタックスビットを符号化する必要はなく、ビットレートへの追加の負担を示さない。
【0079】
[106] 一例として、
図17は別の実施形態を示し、この別の実施形態では、1)幾つかのサブブロックをより大きなサブブロック(本明細書では「LICグループ」と呼ばれる)にグループ化することができ、2)CUは複数のLICグループに、例えば4つのLICグループ(左上、右上、左下、右下)に分割することができ、3)各LICグループに関連付けられた一対のLICパラメータを導出することができ、4)動き補償中、サブブロックにおけるサンプルの照明変化は、サブブロックが属するLICグループの対応するLICパラメータを用いて補正される。
【0080】
[107] 各LICグループに一対のLICパラメータを計算する場合にも、本明細書に記載される1つ又は複数の実施形態を適用することができる。実施形態では、現在のLICグループ(Vcur_tl/Vcur_tr/Vcur_bl/Vcur_br)の周囲のL字形が、現在CU(Vcur)の周囲のL字形の代わりに適用される。実施形態では、CUは4つよりも大きい/小さい数のLICグループに分割することができる。実施形態では、CUは、CUのサイズに応じて異なる数のLICグループに分割することができる。例えば、CUのサイズが16×16又は32×32である場合、4つのLICグループが生成され、64×64の場合、CUは8つのLICグループに分割することができる。
【0081】
[108] エンコーダの一部の実施形態の別の例を
図18に示す。
図18では、ピクチャ部分を含むビデオデータ等のビデオ情報は、ステップ1810において、アフィン動きモデルに基づいて処理されて、動き補償情報を生成する。ステップ1820において、局所照明補償(LIC)モデルが取得され、例えば、線形モデルのパラメータが、本明細書に記載されるように1つ又は複数の態様又は実施形態に従って導出される。次に、ステップ1830において、ビデオ情報は符号化されて、動き補償情報及びLICモデルに基づいて符号化ビデオ情報を生成する。
【0082】
[109] 本開示の1つ又は複数の態様によるデコーダの一部分又は一部の実施形態の例を
図19に示す。
図19では、符号化ピクチャ部分を含むビデオデータ等の符号化ビデオ情報は、ステップ1910において、アフィン動きモデルに基づいて処理されて、動き補償情報を生成する。ステップ1920において、局所照明補償(LIC)モデルが取得され、例えば、線形モデルのパラメータが、本明細書に記載されるように1つ又は複数の態様又は実施形態に従って導出される。次に、ステップ1930において、ビデオ情報が復号化されて、動き補償情報及びLICモデルに基づいて復号化ピクチャ部分を生成する。
【0083】
[110]
図20、
図21、及び
図22は、デコーダの部分の実施形態の追加の例を示す。
図20では、ステップ2010において、インターモード符号化された現在CUの動き補償処理が実行される。ステップ2020は、インターモードが統合モードであるか否かを判断する。統合モードである場合、ステップ2030において、本明細書に記載されるようにLICフラグが推測される。統合モードではない場合、ステップ2080において、LICフラグは復号化される。ステップ2020及びステップ2080の両方の後にステップ2040が続き、LICフラグの状態がテストされる。LICフラグが偽である場合、LICは適用されず、ステップ2070において、LICに関する処理は終了する。ステップ2040において、LICフラグが真であると判断される場合、ステップ2050において、LICパラメータは導出される。ステップ2060において、LICは、現在CUの全てのパラメータに基づいて適用され、その後、ステップ2070において処理は終了する。
【0084】
[111]
図21では、ステップ2110において、現在CUのLICフラグがテストされる。偽である場合、LIC処理は現在CUに対してディセーブルされ、又はアクティブ化されず、ステップ2170において動き補償処理が行われ、それに続き、ステップ2160において、LIC関連処理は終了する。ステップ2110においてLICフラグが真である場合、1つのサブブロックに対応する動きベクトル、例えば、最初のサブブロックに対応するMV
0が計算、特定、又は取得される。次に、ステップ2130において、動きベクトル及び関連付けられた基準ブロック、例えばV
ref(MV
0)に基づいてLICパラメータを導出することによりLICモデルが取得される。次に、ステップ2140において動き補償、ステップ2150においてLICが適用される。ステップ2140及び2150は全てのサブブロックにわたるループとして繰り返されて、1つの動きベクトルから決定されたパラメータに基づいてLICモデルを全てのサブブロックに適用する。全てのサブブロックにわたるループが完了した後、処理はステップ2160において終了する。
【0085】
[112]
図22では、ステップ2210において、現在CUのLICフラグがテストされる。偽である場合、LIC処理は現在CUに対してディセーブルされ、又はアクティブ化されず、ステップ2270において動き補償処理が行われ、それに続き、ステップ2260において、LIC関連処理は終了する。ステップ2210においてLICフラグが真である場合、ステップ2220において、複数のサブブロック、例えば、第1行目におけるサブブロックのサブセット及び/又は第1列目におけるサブブロックのサブセットに対応する複数の動きベクトルが、サブブロックの1つ又は複数のサブセットに含まれるサブセットにわたりループすることにより計算、特定、又は取得される。ステップ2220の後にはステップ2230が続き、複数の動きベクトルに関連付けられた複数の基準ブロックに基づいてLICパラメータが導出される。上述したように、複数の基準ブロックは、疑似L字形と呼ばれるデータ構成を有し得る。次に、ステップ2240において動き補償処理が行われ、ステップ2250においてLIC処理が適用され、ここで、LICはステップ2230において特定されたLICパラメータに基づく。ステップ2240及び2250は全てのサブブロックにわたるループとして繰り返されて、LICモデルを全てのサブブロックに適用する。全てのサブブロックにわたるループが完了した後、処理はステップ2260において終了する。
【0086】
[113] 本明細書に記載されるようにアフィンモデルに提案されたLICパラメータを導出する1つ又は複数の実施形態は、LICツールがアクティブ化される場合、他のサブCUベースの動きベクトル予測(すなわち、「サブブロックベースの時間的統合候補」:代替時間的動きベクトル予測(ATMVP)、時空間的動きベクトル予測(STMVP)、及びサブブロックベースの時間的動きベクトル予測(SbTMVP))に対して実行することもできる。
【0087】
[114] 加えて、種々の態様及び実施形態をインターモード又はインター符号化及びLICに関連付けられた線形モデルでのビデオ情報処理に関して説明したが、1つ又は複数の態様、実施形態、及び特徴はイントラモード又はイントラ符号化に適用することもできる。例えば、イントラ符号化でのクロスコンポーネント線形モデル(CCLM)の場合、ルマ(luma)サンプルが、線形モデルに基づいて対応するクロマサンプルを予測するのに使用され、線形モデルのパラメータは、LICに関して本明細書に記載される1つ又は複数の態様に従って導出又は取得することができる。
【0088】
[115] また、1つのCU内部に幾つかのサブブロックがある場合、各サブブロックは対応する異なる被参照サブブロックを有することができる。したがって、記載される1つ又は複数の実施形態はそのような場合に適用することもできる。
【0089】
[116] 実施形態は、実装されたコンピュータソフトウェアにより、例えば、
図3のシステム1000のプロセッサ1010により、ハードウェアにより、又はハードウェアとソフトウェアとの組合せにより実行することができる。非限定的な例として、実施形態は1つ又は複数の集積回路により実施することができる。
図3に示されるシステム1000の例に含まれるメモリ1020は、技術的環境に適切な任意のタイプであることができ、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリ等の任意の適切なデータ記憶技術を使用して実施することができる。プロセッサ1010は、技術的環境に適切な任意のタイプであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサの1つ又は複数を包含することができる。
【0090】
[117] 本明細書に記載される実施態様及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号で実施することができる。1つの実施態様の状況でのみ考察される(例えば、方法としてのみ考察される)場合であっても、考察された特徴の実施態様は他の形態(例えば、装置又はプログラム)で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施することができる。例えば、方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む、例えば一般に処理デバイスと呼ばれるプロセッサ等の装置で実施することができる。プロセッサは、例えば、コンピュータ、セル電話、ポータブル/個人情報端末(「PDA」)、及びエンドユーザ間の情報通信に役立つ他のデバイス等の通信デバイスも含む。
【0091】
[118] 「一実施形態」、「実施形態」、「一実施態様」、又は「実施態様」、及びそれらの他の変形への言及は、その実施形態に関連して記載された特定の特徴、構造、及び特性等が少なくとも1つの実施形態に含まれることを意味する。したがって、本文書全体を通して種々の場所に見られる「一実施形態において」、「実施形態において」、「一実施態様において」、又は「実施態様において」という句、及び任意の他の変形は、必ずしも全て同じ実施形態を指すわけではない。
【0092】
[119] さらに、本文書は種々の情報を「決定する」と言及し得る。情報の決定は、例えば、情報の推測、情報の計算、情報の予測、又はメモリからの情報の検索の1つ又は複数を含むことができる。
【0093】
[120] さらに、本文書は種々の情報に「アクセスする」と言及し得る。情報へのアクセスは、例えば、情報の受信、情報の検索(例えば、メモリから)、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、又は情報の推測の1つ又は複数を含むことができる。
【0094】
[121] さらに、本文書は種々の情報を「受信する」と言及し得る。受信は、「アクセス」と同様に、広義の用語であることが意図される。情報の受信は、例えば、情報へのアクセス又は情報の検索(例えば、メモリから)の1つ又は複数を含むことができる。さらに、「受信」は通常、いずれにせよ、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、又は情報の消去等の動作中に関わる。
【0095】
[122] 当業者には明らかになるように、実施態様は、例えば、記憶又は送信することができる情報を搬送するようにフォーマットされた多種多様な信号を生成することができる。情報は、例えば、方法を実行する命令又は記載された実施態様の1つにより生成されたデータを含むことができる。例えば、信号は、記載された実施形態のビットストリームを搬送するようにフォーマットすることができる。そのような信号は、例えば、電磁波(例えば、スペクトルの無線周波数部分を使用)又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームの符号化及び符号化データストリームを用いての搬送波の変調含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であることができる。信号は、既知のように、多種多様な異なる有線又は無線リンクを介して伝送することができる。信号は、プロセッサ可読媒体、例えば非一時的コンピュータ可読媒体に記憶することができる。
【0096】
[123] 一般に、少なくとも1つの実施形態は、ビデオ情報を符号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含む方法を含むことができる。
【0097】
[124] 少なくとも1つの実施形態は、1つ又は複数のプロセッサを備えた、ビデオ情報を符号化する装置であって、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
【0098】
[125] 少なくとも1つの実施形態は、ビデオ情報を復号化する方法であって、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含む方法を含むことができる。
【0099】
[126] 少なくとも1つの実施形態は、1つ又は複数のプロセッサを備えた、ビデオ情報を復号化する装置であって、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成される装置を含むことができる。
【0100】
[127] 少なくとも1つの実施形態は、局所照明補償モデルを取得することは、動き補償情報に含まれる少なくとも1つの動きベクトルに基づいてビデオ情報の照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含む、本明細書に記載される方法又は装置を含むことができる。
【0101】
[128] 方法の実施形態の一例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいてビデオ情報の照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0102】
[129] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を復号化することとを含み、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含むことができ、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトル及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルを含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0103】
[130] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0104】
[131] 方法の実施形態の別の例は、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0105】
[132] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも1つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0106】
[133] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルと、を含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0107】
[134] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、を含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0108】
[135] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0109】
[136] 装置の実施形態の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0110】
[137] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0111】
[138] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0112】
[139] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0113】
[140] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、複数の動きベクトルの少なくとも1つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0114】
[141] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、
を行うように構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0115】
[142] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、を行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0116】
[143] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいてビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいてビデオ情報を符号化することと、
を行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0117】
[144] 方法の実施形態の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0118】
[145] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することと、
を含むことができ、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0119】
[146] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0120】
[147] 方法の実施形態の別の例は、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0121】
[148] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、複数の動きベクトルの少なくとも1つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定することは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を含む。
【0122】
[149]方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルと、を含み、局所照明補償モデルを取得することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、少なくとも1つのモデルパラメータを決定することは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0123】
[150] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0124】
[151] 方法の実施形態の別の例は、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを含むことができ、局所照明補償モデルを取得することは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定することを含み、第1の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定することは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを含む。
【0125】
[152] 装置の実施形態の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる複数の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0126】
[153] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、ビデオ情報は、サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、少なくとも1つのモデルパラメータを決定するため、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0127】
[154] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、ビデオ情報は、複数のサブブロックを有する符号化単位を含み、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0128】
[155] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、アフィン動きモデルに基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0129】
[156] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、複数の動きベクトルの少なくとも1つに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、複数の動きベクトルは、サブブロックの第1行目に含まれる各サブブロック及びサブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた動きベクトルの群を含み、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、動きベクトルの群に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0130】
[157] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、符号化単位に含まれる複数のサブブロックは、サブブロックの第1行目及びサブブロックの第1列目を含み、動き補償情報は、サブブロックの第1行目に含まれる各サブブロックのそれぞれ1つに関連付けられた第1の組の動きベクトルと、サブブロックの第1列目に含まれる各サブブロックのそれぞれ1つに関連付けられた第2の組の動きベクトルとを含み、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の組の動きベクトルの第1のサブセット又は第2の組の動きベクトルの第2のサブセットの1つ又は複数に基づいて疑似L字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0131】
[158] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには、符号化単位の左上隅に配置された複数のサブブロックのうちの第1のサブブロックが関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することと、を行うように更に構成される。
【0132】
[159] 装置の実施形態の別の例は、1つ又は複数のプロセッサを備えることができ、1つ又は複数のプロセッサは、複数のサブブロックを含む符号化単位に基づいて符号化ビデオ情報を処理して、複数のサブブロックのそれぞれ1つに関連付けられた複数の動きベクトルを含む動き補償情報を生成することと、局所照明補償モデルを取得することと、動き補償情報及び局所照明補償モデルに基づいて符号化ビデオ情報を復号化することとを行うように構成され、局所照明補償モデルを取得するために、1つ又は複数のプロセッサは、動き補償情報に含まれる第1の動きベクトルに基づいて、ビデオ情報における照明変化の線形モデルの少なくとも1つのモデルパラメータを決定するように更に構成され、第1の動きベクトルには、符号化単位の中心が関連付けられ、少なくとも1つのモデルパラメータを決定するために、1つ又は複数のプロセッサは、第1の動きベクトルに基づいてL字形を形成する1組の再構築されたサンプルを取得することと、1組の再構築されたサンプルに基づいて局所歪みを評価することとを行うように更に構成される。
【0133】
[160] サブブロックの第1行目及びサブブロックの第1列目を含む複数のサブブロックを有する符号化単位を含む本明細書に記載される少なくとも1つの実施形態の変形では、動きベクトルの第1のサブセットは、サブブロックの第1行目の中間位置に配置されたサブブロックに対応する第1の動きベクトルを含み、動きベクトルの第2のサブセットは、サブブロックの第1列目の中間位置に配置されたサブブロックに対応する第2の動きベクトルを含む。
【0134】
[161] 符号化単位の複数のサブブロックを含む本明細書に記載される少なくとも1つの実施形態の変形では、複数のサブブロックは、サブブロックの複数の群に分割することができ、局所照明補償モデルのモデルパラメータは、サブブロックの複数の群のそれぞれで決定することができ、局所照明補償モデルに基づいて符号化又は復号化することは、各群に決定された少なくとも1つのモデルパラメータのそれぞれを使用してサブブロックの各群に関連付けられたビデオ情報を処理することを含むことができる。
【0135】
[162] サブブロックを群化することを含む本明細書に記載される少なくとも1つの実施形態の変形では、サブブロックの各群におけるサブブロックの第1の数及び符号化単位のために形成される群の第2の数の少なくとも一方は、符号化単位のサイズに基づいて選択される。
【0136】
[163] ビデオ情報を符号化することを含む本明細書に記載される少なくとも1つの実施形態の変形は、局所照明補償モデルの適用に関連付けられたレート歪みメトリックを特定することと、レート歪みメトリックに基づく値を有する符号化ビデオ情報内のシンタックス要素を提供することとを含むことができる。
【0137】
[164] 線形モデルの少なくとも1つのモデルパラメータを含む本明細書に記載される少なくとも1つの実施形態の変形では、少なくとも1つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第1及び第2のモデルパラメータを含むことができる。
【0138】
[165] 実施形態の別の例は、1つ又は複数のプロセッサにより実行されると、本明細書に記載される任意の方法を実行する計算命令を含むコンピュータプログラム製品を含むことができる。
【0139】
[166] 実施形態の別の例は、本明細書に記載される任意の方法を実行する命令をコンピュータに実行させる実行可能プログラム命令を記憶した非一時的コンピュータ可読媒体を含むことができる。
【0140】
[167] 実施形態の別の例は、本明細書に記載される方法により生成された符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができる。
【0141】
[168] 本明細書に記載されるビットストリームの実施形態の変形は、局所照明補償モデル及びアフィン動きモデルに基づいてビデオ情報の符号化を示すインジケータと、局所照明補償モデル及びアフィン動きモデルに基づいて符号化されたピクチャ情報とを含む符号化ビデオ情報を含むことができる。
【0142】
[169] 実施形態の別の例は、本明細書に記載される装置と、(i)信号を受信するように構成されたアンテナであって、信号はビデオ情報を表すデータを含む、アンテナ、(ii)ビデオ情報を表すデータを含む周波数帯域に受信信号を制限するように構成された帯域リミッタ、及び(iii)ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも1つとを備えるデバイスを含むことができる。
【0143】
[170] 少なくとも1つの実施形態は、本明細書に記載される方法又は装置を含むことができ、複数のサブブロックのうちの選択された1つは、サブブロックの最上行の中間位置に配置され、複数のサブブロックのうちの第3のサブブロックは、サブブロックの左列の中間位置に配置される。
【0144】
[171] 少なくとも1つの実施形態は、本明細書に記載される方法又は装置を含むことができ、線形モデルの少なくとも1つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第1及び第2のモデルパラメータを含み、線形モデルに基づいてビデオ情報を処理することは、スケーリング係数及びオフセットを使用して線形モデルに基づいて現在の符号化単位の複数のサブブロックを処理することを含む。
【0145】
[172] 少なくとも1つの実施形態は、本明細書に記載される方法又は装置を含むことができ、線形モデルの少なくとも1つのモデルパラメータは、スケーリング係数及びオフセットに対応する一対の第1及び第2のモデルパラメータを含み、線形モデルに基づいてビデオ情報を処理することは、現在の符号化単位の複数のサブブロックをサブブロックの複数の群に分割することと、サブブロックの複数の群のそれぞれに一対のモデルパラメータを決定して、複数の対のパラメータを生成することと、複数の対のパラメータのそれぞれ1つを使用して線形モデルに基づいてビデオ情報のサブブロックの群のそれぞれを処理することと、を含む。
【0146】
[173] 少なくとも1つの実施形態は、本明細書に記載されるようにサブブロックの複数の群を処理する方法又は装置を含むことができ、サブブロックの各群におけるサブブロックの第1の数及び現在の符号化単位に形成されるサブ群の第2の数の少なくとも一方は、現在の符号化単位のサイズに基づいて選択される。
【0147】
[174] 少なくとも1つの実施形態は、本明細書に記載され、局所照明補償モデルの適用に基づいてレート歪みメトリックを特定することと、レート歪みメトリックに基づく値を有する符号化ビデオ情報内のシンタックス要素を提供することとを更に含む、ビデオ情報を符号化する方法又は装置を含むことができる。
【0148】
[175] 少なくとも1つの実施形態は、符号化ビデオ情報を含むようにフォーマットされたビットストリームを含むことができ、符号化ビデオ情報は、局所照明補償モデル及びアフィン動きモデルに基づいてビデオ情報の符号化を示すインジケータと、局所照明補償モデル及びアフィン動きモデルに基づいて符号化されたピクチャ情報とを含む。
【0149】
[176] 少なくとも1つの実施形態は、本明細書に記載され、(i)信号を受信するように構成されたアンテナであって、信号はビデオ情報を表すデータを含む、アンテナ、(ii)ビデオ情報を表すデータを含む周波数帯域に受信信号を制限するように構成された帯域リミッタ、及び(iii)ビデオ情報からの画像を表示するように構成されたディスプレイの少なくとも1つを更に含む任意の実施形態による装置を含むデバイスを含むことができる。
【0150】
[177]少なくとも1つの実施形態では、LICツールがアクティブ化される場合、アフィンモデルに提案されるLICパラメータは、他のサブCUベースの動きベクトル予測(すなわち、「サブブロックベースの一時的統合候補(subblock0-based temporal merging candidates)」:代替時間動きベクトル予測(ATMVP:Alternative Temporal Motion Vector Prediction)、時空間動きベクトル予測(STMVP:Spatial-Temporal Motion Vector Prediction)、及びサブブロックベースの時間運動ベクトル予測(SbTMVP:Subblock-based Temporal Motion Vector Prediction))について導出される。
【0151】
[178] 少なくとも1つの実施形態は、予測符号化及び/又は復号化を用いて補償を可能にすることを含む。
【0152】
[179] 本明細書に記載される、提案されたLICパラメータを導出する1つ又は複数の実施形態は、スケーリング、オフセット、及び/又は選択のパラメータ等の他のパラメータの導出に適用することができる。
【0153】
[180] 少なくとも1つの他の実施形態は、予測ブロック(動きベクトルが指すブロック)のピクセル値を変更することを含むことができ、変更は多種多様なフィルタ、例えば、本明細書に記載される照明補償及び/又は色補償によるものであることができる。
【0154】
[181] 少なくとも1つの他の実施形態は、イントラ符号化により決定される予測子を含む種々のモードにより生成される動きベクトルに基づく予測子ブロックを含むことができる。
【0155】
[182] 少なくとも1つの実施形態は、アフィン動き予測がインターモード符号化される符号化単位(CU)に利用される場合、ブロックベースの局所照明補償(LIC)ツールを可能にすることを含む。
【0156】
[183] 少なくとも1つの実施形態は、アフィンモデルを利用して動きベクトルを表すインターモード符号化CUに対してLICツールをアクティブ化することを含む。
【0157】
[184] 少なくとも1つの実施形態は、例えば、アフィンモデルを使用するインターモード符号化CUに対してLICツールをアクティブ化することを含み、アフィンAMVP及びアフィン統合のLICフラグ判定と、対応するLICパラメータ導出ルールとを含むことができる。
【0158】
[185] 少なくとも1つの実施形態は、符号化設計の複雑性の増大を最小限に抑えながら良好な補償効率(レート歪み性能)を提供するように、LICツールをいかにアクティブ化し、アフィン動き予測を使用するインターモード符号化に関連するルールをいかに作成するかを含む。
【0159】
[186] 少なくとも1つの実施形態は、
・アフィン動き予測を使用してインターモード符号化CUのLICフラグを決定することであって、アフィンAMVPの場合、LICツールにわたる反復ループを提供して、LICフラグを決定することができ、LICフラグはビットストリームにシグナリングすることができ、他の場合、アフィン統合では、統合モードでの動き情報コピーと同様にして、LICフラグは近傍ブロックからコピーすることができ、例えば、近傍ブロックに関連付けられた少なくとも1つのアフィン制御ポイントに基づいてLICフラグを決定する、決定すること
を含む。[エンコーダ/デコーダ]
【0160】
[187] 少なくとも1つの実施形態は、
・LICフラグが真であるとの判断に基づいて、対応するLICパラメータを導出するルールを作成し、通常、幾つかの態様、例えば、第1のサブブロックの1つの動きベクトルの使用又は第1行目/列中のサブブロックの複数の動きベクトルの考慮が含まれ、別の例として、CU全体にLICパラメータの一意の対が生成され、別の例として、LICパラメータの複数の対が導出される、作成すること
を含む。[エンコーダ/デコーダ]
【0161】
[188] 少なくとも1つの実施形態は、例えば、アフィン動き予測を使用してインターモード符号化CUにLICツールを可能にすることにより、照明変動の考慮に基づいてブロック予測サンプルの補正を改善する。
【0162】
[189] 本明細書に記載される種々の実施形態は、符号化効率の改善という利点を提供する。
【0163】
[190] 少なくとも1つの実施形態は、LICがアフィンモデルにおいて非アクティブ化されることを含む手法が、照明変動を考慮することにより補正されないことに起因してアフィン動き補償を介したブロック予測サンプルに起因して、潜在的な性能を完全には組み込むことができないという本発明者らの認識に基づく。
【0164】
[191] 少なくとも1つの実施形態では、LICパラメータは、エンコーダ側でビットストリームに符号化する追加のビットを必要とせずに、デコーダ側でパラメータを導出する1つ又は複数の実施形態に従って導出することができ、それにより、追加の負担をビットレートに導入しない。
【0165】
[192] 少なくとも1つの実施形態は、デコーダがエンコーダ側で使用される実施形態に基づいてLICパラメータ等のパラメータを導出できるようにするシグナリングシンタックス要素を挿入することを含み得る。
【0166】
[193] 少なくとも1つの実施形態では、デコーダにおいて適用される方法は、シグナリングに挿入される1つ又は複数のシンタックス要素に基づいて選択することができる。
【0167】
[194] 少なくとも1つの実施形態では、ビットストリーム又は信号は、記載されたシンタックス要素又はその変形の1つ又は複数を含む。
【0168】
[195] 少なくとも1つの実施形態は、記載されたシンタックス要素又はその変形の1つ又は複数を含むビットストリーム又は信号を作成、送信、受信、及び/又は復号化することを含む。
【0169】
[196] 記載される実施形態の何れか1つを実施するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
【0170】
[197] 記載される実施形態の何れか1つを実施し、生成された画像を表示する(例えば、モニタ、画面、又は他のタイプのディスプレイを使用して)TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
【0171】
[198] 符号化画像を含む信号を受信するようにチャネルを調整し(例えば、チューナーを使用して)、記載される実施形態の何れか1つに従って画像を処理するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
【0172】
[199] 無線で符号化画像を含む信号を受信し(例えば、アンテナを使用して)、記載される実施形態の何れか1つに従って画像を処理するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
【0173】
[200] 実施形態は、実行されると、本明細書に記載される任意の実施形態による方法を実行するプログラムコードを含むコンピュータプログラム製品を含み得る。
【0174】
[201] 実施形態は、実行されると、本明細書に記載される任意の実施形態による方法を実行するプログラムコードを記憶するコンピュータ可読媒体を含み得る。
【0175】
[202] 本開示全体を通して、種々の他の一般化された及び具体化された発明及び特許請求の範囲もサポートされ考慮される。