特許 7296943 符号化ユニットの内部サブブロックの精緻化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-15

(45)【発行日】2023-06-23

(54)【発明の名称】符号化ユニットの内部サブブロックの精緻化

(51)【国際特許分類】

   H04N 19/105 20140101AFI20230616BHJP

   H04N 19/139 20140101ALI20230616BHJP

   H04N 19/176 20140101ALI20230616BHJP

【ＦＩ】

H04N19/105

H04N19/139

H04N19/176

【請求項の数】 16

(21)【出願番号】P 2020508445

(86)(22)【出願日】2018-08-31

(65)【公表番号】

(43)【公表日】2020-11-12

(86)【国際出願番号】 US2018049009

(87)【国際公開番号】W WO2019046673

(87)【国際公開日】2019-03-07

【審査請求日】2021-08-30

(31)【優先権主張番号】17306130.0

(32)【優先日】2017-09-01

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ロベール，アントワーヌ

(72)【発明者】

【氏名】ポワリエ，タンギ

(72)【発明者】

【氏名】ダンテン，シモン

【審査官】岩井 健二

(56)【参考文献】

【文献】特表２０１３－５１３３３３（ＪＰ，Ａ）

【文献】国際公開第２０１８／０６１５２２（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１６０６０５（ＷＯ，Ａ１）

【文献】Jianle Chen, et al.，Algorithm Description of Joint Exploration Test Model 6 (JEM 6)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-F1001-v2，6th Meeting: Hobart, AU，2017年05月，pp.21-24

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

以前に符号化された隣接ブロックから映像データのブロックの運動ベクトル情報を導出することと、
前記導出された運動ベクトル情報及び以前に符号化された隣接サブブロックを使用することにより、前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記運動ベクトル情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿った第２の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第２の行又は列の前記運動ベクトル情報を精緻化することであって、前記第２の数は、前記第１の数よりも少ない、ことと、
前記精緻化された運動ベクトル情報を使用して前記映像データのブロックを符号化すること、
を含む方法。

【請求項2】

以前に符号化された隣接ブロックから映像データのブロックの運動ベクトル情報を導出することと、
前記導出された運動ベクトル情報及び以前に符号化された隣接サブブロックを使用することにより、前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記運動ベクトル情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿った第２の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第２の行又は列の前記運動ベクトル情報を精緻化することであって、前記第２の数は、前記第１の数よりも少ない、ことと、
前記精緻化された運動ベクトル情報を使用して前記映像データのブロックを復号化することを含む方法。

【請求項3】

メモリ及びプロセッサを含む映像データのブロックを符号化するための装置であって、前記プロセッサは、
以前に符号化された隣接ブロックから映像データのブロックの運動ベクトル情報を導出し、
前記導出された運動ベクトル情報及び以前に符号化された隣接サブブロックを使用することにより、前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記運動ベクトル情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿った第２の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第２の行又は列の前記運動ベクトル情報を精緻化し、ここで、前記第２の数は、前記第１の数よりも少なく、
前記精緻化された運動ベクトル情報を使用して、前記映像データのブロックを符号化する、
ように構成される、装置。

【請求項4】

メモリ及びプロセッサを含む映像データのブロックを復号化するための装置であって、前記プロセッサは、
以前に符号化された隣接ブロックから映像データのブロックの運動ベクトル情報を導出し、
前記導出された運動ベクトル情報及び以前に符号化された隣接サブブロックを使用することにより、前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記運動ベクトル情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿った第２の数のサブブロックから前記精緻化された運動ベクトル情報を使用することにより、前記映像データのブロックの内部サブブロックの第２の行又は列の前記運動ベクトル情報を精緻化し、ここで、前記第２の数は、前記第１の数よりも少なく、
前記精緻化された運動ベクトル情報を使用して、前記映像データのブロックを復号化するように構成される、装置。

【請求項5】

前記運動ベクトル情報を導出することは、テンプレートマッチング予測を使用する、請求項１又は２に記載の方法。

【請求項6】

前記映像データのブロックの左縁又は上縁に沿った前記第１の数及び第２の数のサブブロックは、前記内部サブブロックの第１の行又は列に空間的に隣接している、請求項１又は２に記載の方法。

【請求項7】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、隣接する時間的サブブロックからの精緻化された運動ベクトル情報と組み合わせて、前記映像データのブロックの左縁又は上縁に沿った前記第１の数のサブブロックからの運動ベクトル情報を使用することを含む、請求項１又は２に記載の方法。

【請求項8】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、前記映像データのブロックの前記導出された運動ベクトル情報と組み合わせて、前記映像データのブロックの左縁又は上縁に沿った前記第１の数のサブブロックからの運動ベクトル情報を使用することを含む、請求項１又は２に記載の方法。

【請求項9】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックからの前記精緻化された運動ベクトル情報の平均又はメディアンと、前記映像データのブロックの導出された運動ベクトル情報とを用いる、請求項１又は２に記載の方法。

【請求項10】

前記運動ベクトル情報を導出することは、テンプレートマッチング予測を使用する、請求項３又は４に記載の装置。

【請求項11】

前記映像データのブロックの左縁又は上縁に沿った前記第１の数及び第２の数のサブブロックは、前記内部サブブロックの第１の行又は列に空間的に隣接している、請求項３又は４に記載の装置。

【請求項12】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、隣接する時間的サブブロックからの精緻化された運動ベクトル情報と組み合わせて、前記映像データのブロックの左縁又は上縁に沿った前記第１の数のサブブロックからの運動ベクトル情報を使用することを含む、請求項３又は４に記載の装置。

【請求項13】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、前記映像データのブロックの前記導出された運動ベクトル情報と組み合わせて、前記映像データのブロックの左縁又は上縁に沿った前記第１の数のサブブロックからの運動ベクトル情報を使用することを含む、請求項３又は４に記載の装置。

【請求項14】

前記映像データのブロックの内部サブブロックの第１の行又は列の前記運動ベクトル情報の精緻化は、前記映像データのブロックの左縁又は上縁に沿った第１の数のサブブロックからの前記精緻化された運動ベクトル情報の平均又はメディアンと、前記映像データのブロックの導出された運動ベクトル情報とを用いる、請求項３又は４に記載の装置。

【請求項15】

前記ブロックは、符号化ユニット（ＣＵ）である、請求項３又は４に記載の装置。

【請求項16】

前記ブロックは、符号化ユニット（ＣＵ）である、請求項１又は２記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は映像圧縮の分野に関する。

【背景技術】

【0002】

ＨＥＶＣ（国際電気通信連合（International Telecommunication Union）（ＩＴＵ－Ｔ Ｈ．２６５）の高効率映像符号化（High Efficiency Video Coding））映像圧縮標準規格では、絵は、そのサイズが通常は６４×６４、１２８×１２８又は２５６×２５６画素である所謂符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）へ分割される。

【0003】

各ＣＴＵは圧縮領域内の符号化ツリーにより表される。これは、図１に示すように、各葉が符号化ユニット（ＣＵ：Coding Unit）と呼ばれるＣＴＵのクワッドツリー（quad-tree）分割部分である。

【0004】

各ＣＴＵは圧縮領域内の符号化ツリーにより表される。これは、図１に示すように、各葉が符号化ユニット（ＣＵ）であるＣＴＵのクワッドツリー分割部分である。

【0005】

運動補償された時間的予測が、映像の連続絵間に存在する冗長性を活用するために採用される。そうするために、運動ベクトルが各予測ユニット（ＰＵ）と関連付けられる。次に、各ＣＵは、いくつかのイントラ又はインター予測パラメータ（予測情報：Prediction Info）を与えられ、それぞれがある予測情報を割り当てられる１つ又は複数の予測ユニット（ＰＵ）へ空間的に区画化される。イントラ又はインター符号化モードが図２に示すようにＣＵレベル上に割り当てられる。

【0006】

ＨＥＶＣでは、符号化ユニットはまた、「変換ツリー」に従う再帰的やり方で所謂変換ユニットへ分割される。したがって、変換ツリーは符号化ユニットのクワッドツリー分割部分であり、変換ユニットは変換ツリーの葉である。変換ユニットは、考慮される正方形空間領域に対応する各絵構成要素の正方形変換ブロックをカプセル化する。変換ブロックは、同じ変換が適用される単一構成要素内のサンプルの正方形ブロックである。

【0007】

正確に１つの運動ベクトルがＨＥＶＣにおいて各ＰＵへ割り当てられる。この運動ベクトルは考慮されるＰＵの運動補償された時間的予測に使用される。

【0008】

ＪＶＥＴ（合同映像探査チーム：Joint Video Exploration Team）グループにより開発された合同探査モデル（ＪＥＭ：Joint Exploration Model）では、ＣＵはもはやＰＵ又はＴＵへ分割されなく、ある運動データが各ＣＵへ直接割り当てられる。この新しい符号／復号化器設計では、ＣＵはサブＣＵへ分割され得、運動ベクトルはサブＣＵ毎に計算され得る。

【0009】

いくつかの新しいツールが、ＣＵをサブブロックへさらに分割し、これらのサブブロックの各サブブロックの１つの運動ベクトルを導出し得る。ＦＲＵＣ及びアフィン（Affine）ツールがこのようなサブブロック運動導出を利用し、ＯＢＭＣ（オーバーラップブロック運動補償：Overlapped Block Motion Compensation）及びＢＩＯ（双方向オプティカルフロー：Bi-directional Optical Flow）は全く同じやり方で機能する。

【0010】

これらのツールのうちのいくつかは、又はいくつかの精密な構成では、画像の隣接する符号化及び再構築された部分を使用する。この場合、これらのツールが内部サブブロック（すなわち第１の行及び／又は列内にないサブブロック）の運動ベクトルを導出することは可能ではない。

【0011】

新興映像圧縮ツールは、圧縮領域においてより柔軟なやり方で絵データを表すために圧縮領域内に符号化ツリーユニット表現を含む。符号化ツリーのこの柔軟な表現の利点は、それがＨＥＶＣ標準規格のＣＵ／ＰＵ／ＴＵ配置と比較して増加された圧縮効率を提供するということである。

【0012】

これらの新しい映像圧縮ツールにより、予測ユニット又は変換ユニットへのＣＵの区画化はもはやない。換言すれば、各符号化ユニットは、単一予測ユニット（以前の２Ｎ×２Ｎ予測ユニット区画化タイプ）及び単一変換ユニット（変換ツリーへの分割が無い）から系統的に作られる。

【発明の概要】

【0013】

発明の概要
従来技術のこれら及び他の欠点及び不利益は、サブブロックレベルと再構築された近隣情報とを使用するツールにより符号化された符号化ユニットの内部サブブロックの運動ベクトルを導出する方法及び装置に向けられた記載の実施形態のうちの少なくとも１つにより対処される。

【0014】

少なくとも１つの実施形態では、以前に精緻化されたサブブロックを活用することにより内部サブブロックの運動導出を改善することが提案される。

【0015】

本明細書で説明する少なくとも１つの一般的実施形態によると、映像データのブロックを符号化する方法が提供される。本方法は、以前に符号化された隣接ブロックから映像データのブロックの情報を導出する工程と；導出された情報及び以前に符号化された隣接サブブロックを使用することにより映像データのブロックの左縁又は上縁に沿ったサブブロックの情報を精緻化する工程と；映像データのブロックの左縁又は上縁に沿ったサブブロックから精緻化済み情報を使用することにより映像データのブロックの内部サブブロックの情報を精緻化する工程と；前記精緻化済みサブブロックを使用して映像データのブロックを符号化する工程とを含む。

【0016】

本明細書において説明される別の態様によると、データブロックを復号化する方法が提供される。本方法は、以前に符号化された隣接ブロックから映像データのブロックの情報を導出することと；導出された情報及び以前に符号化された隣接サブブロックを使用することにより映像データのブロックの左縁又は上縁に沿ったサブブロックの情報を精緻化することと；映像データのブロックの左縁又は上縁に沿ったサブブロックから精緻化済み情報を使用することにより映像データのブロックの内部サブブロックの情報を精緻化することと；前記精緻化済みサブブロックを使用して映像データのブロックを復号化することとを含む。

【0017】

本明細書において説明される別の態様によると、メモリ及びプロセッサを含む映像データのブロックを符号化又は復号化するための装置が提供される。本プロセッサは、以前に符号化された隣接ブロックから映像データのブロックの情報を導出し；導出された情報及び以前に符号化された隣接サブブロックを使用することにより映像データのブロックの左縁又は上縁に沿ったサブブロックの情報を精緻化し；映像データのブロックの左縁又は上縁に沿ったサブブロックから精緻化済み情報を使用することにより映像データのブロックの内部サブブロックの情報を精緻化し；映像データのブロックを符号化又は復号化するように構成される。本装置は変形形態を含む前述の方法実施形態のうちの任意のものを実行し得る。

【0018】

本明細書において説明される別の態様によると、前述の方法実施形態のうちの任意の１つの方法実施形態の方法に従って生成された、又はプロセッサを使用する再生のための前述の装置実施形態のうちの任意の１つの装置実施形態の装置により生成されたデータコンテンツを含む非一時的コンピュータ可読記憶媒体が提供される。

【0019】

本明細書において説明される別の態様によると、映像データのブロックを符号化するための前述の方法実施形態のうちの任意の１つの方法実施形態の方法に従って生成された、又はプロセッサを使用して再生するための映像データのブロックを符号化のための前述の装置実施形態のうちの任意の１つの装置実施形態の装置により生成された映像データを含む信号が提供される。

【0020】

本明細書において説明される別の態様によると、プログラムがコンピュータにより実行されるとコンピュータに前述の方法実施形態のうちの任意の１つの方法実施形態の方法を行わせる指示を含むコンピュータプログラム製品が提供される。

【0021】

本原理のこれら及び他の態様、特徴及び利点は、添付図面と関連して読まれる例示的実施形態の以下の詳細説明から明らかになる。

【図面の簡単な説明】

【0022】

図面の簡単な説明

【図1】圧縮されたＨＥＶＣ絵を表すための符号化ツリーユニット及び符号化ツリー概念の例を示す。

【図2】符号化ユニット、予測ユニット及び変換ユニットへの符号化ツリーユニットの分割の例を示す。

【図3】本実施形態が適用され得る一般的映像圧縮方式の一例を示す。

【図4】本実施形態が適用され得る一般的映像圧縮解除方式の一例を示す。

【図5】内部符号化ユニットの例示的従来技術ＦＲＵＣテンプレートマッチング過程を示す。

【図6】内部符号化ユニットのサブブロックの別の例示的従来技術ＦＲＵＣテンプレートマッチング過程を示す。

【図7】大きな符号化ユニットの第２の行及び列全体にわたる例示的ＯＢＭＣ伝搬を示す。

【図8】本実施形態による精緻化済み近隣符号化ユニット（点線）又は精緻化済み符号化ユニット全体（空白）の平均を使用して改善された行及び列の内部サブブロックの例を示す。

【図9】フレームのａ）左境界又はｂ）上境界上の２つの特定ケースの例を示す。

【図10】説明された態様を使用する符号化方法の一実施形態を示す。

【図11】説明された態様を使用する復号方法の一実施形態を示す。

【図12】説明された態様を使用する符号化又は復号化のための装置の一実施形態を示す。

【発明を実施するための形態】

【0023】

詳細な説明
ＨＥＶＣ映像圧縮標準規格では、絵は６４×６４、１２８×１２８又は２５６×２５６画素の典型的サイズを有する所謂符号化ツリーユニット（ＣＴＵ）へ分割される。

【0024】

各ＣＴＵは圧縮領域内の符号化ツリーにより表される。これは各葉が符号化ユニット（ＣＵ）と呼ばれるＣＴＵのクワッドツリー分割である、図１参照。

【0025】

次に、各ＣＵは、いくつかのイントラ又はインター予測パラメータ（予測情報）を与えられる。そうするために、各ＣＵは、それぞれがいくつかの予測情報を割り当てられた１つ又は複数の予測ユニット（ＰＵ）へ空間的に区画化される。イントラ又はインター符号化モードがＣＵレベル上に割り当てられる、図２参照。

【0026】

ＨＥＶＣ標準規格によると、符号化ユニットはまた、「変換ツリー」に従う再帰的やり方で所謂変換ユニットへ分割される。したがって、変換ツリーは符号化ユニットのクワッドツリー分割部分であり、変換ユニットは変換ツリーの葉である。変換ユニットは、考慮される正方形空間領域に対応する各絵構成要素の正方形変換ブロックをカプセル化する。変換ブロックは、単一構成要素内のサンプルの正方形ブロックであり、ここでは同じ変換が適用される。

【0027】

新興映像圧縮ツールは、圧縮領域においてより柔軟なやり方で絵データを表すために圧縮領域内に符号化ツリーユニット表現を含む。符号化ツリーのこの柔軟な表現の利点は、ＨＥＶＣ標準規格のＣＵ／ＰＵ／ＴＵ配置と比較して増加された圧縮効率を提供するということである。

【0028】

説明される実施形態により解決される問題は、考慮される映像符号／復号化器の圧縮性能全体を増加するためにどのように内部サブブロックの運動ベクトルを導出するかである。

【0029】

従来技術手法では、画像の隣接する再構築された部分からのサブブロック運動導出を使用するツールにより符号化される符号化ユニットは、内部サブブロックに対処し得ない。本明細書において提案される基本的アイデアは、符号器／復号器内の内部サブブロックの運動ベクトルを導出することである。

【0030】

従来技術のフレームレートアップコンバージョン（ＦＲＵＣ：Frame Rate Up Conversion）ツールは、いくつかのテンプレートマッチング技術により運動ベクトルを導出する。このような技術は、一組の候補内の最良運動ベクトルの抽出を可能にし、次に、この最良運動ベクトルを最良テンプレートマッチングの方向に精緻化する。ＦＲＵＣは最初にＣＵレベル全体で機能する。次に、得られた精緻化済み運動ベクトルは、サブブロック毎の処理を独立に繰り返すサブブロックレベルのシーズとして使用される。

【0031】

第１の工程は、ＣＵ全体の精緻化済み運動ベクトルを導出することにその本質がある。ＦＲＵＣは、いくつかの空間及び時間的近隣から選び出された運動ベクトル候補を収集する。それらの候補の候補毎に、空間的上隣接及び／又は左隣接画像ブロックとしての対応テンプレートが図５に示すように関連基準座標系内で選び出される。このとき、関連テンプレートマッチング費用は候補テンプレートと現在のテンプレートとの間のＳＡＤ（絶対差の和：Sum of Absolute Difference）である。最小テンプレートマッチング費用に達する候補は最良代表的テンプレートとして定義される。次に、この最良候補は、小さな差分をこの運動ベクトルへ加えることにより（例えば菱形、正方形、十字、パターン群、又はある他のパターンを使用することにより）最小テンプレートマッチング費用の方向に精緻化される。

【0032】

次に、このＦＲＵＣ過程はサブブロックレベル（ＣＵ全体のサイズに依存して４×４又は８×８サイズの）で繰り返される。ＣＵ全体の精緻化された運動ベクトルはサブブロックの候補及びいくつかの他の有力候補として使用される。サブブロック毎に、現在のテンプレート（空間的上及び／又は左隣接画像ブロックとして）が利用可能であると、最良候補が、テンプレートマッチング費用に従って抽出され、次に最小テンプレートマッチング費用の方向に精緻化される。いかなる現在のテンプレートも利用可能でないと、サブブロック運動ベクトルはＣＵ精緻化済み運動ベクトル全体に影響を与える。フレームの境界上に存在しないＣＵに関し、第１の左上サブブロック（図６の交差模様サブブロック）は上テンプレート及び左テンプレートを使用し得、一方、第１の行（列それぞれ）上の残りのサブブロックは上（左それぞれ）のテンプレート（図６では垂直方向（水平方向それぞれ）の縞模様サブブロック）だけを使用し得る。他の内部サブブロック（図６の白色サブブロック）は、テンプレート精緻化の恩恵を受け得なく、したがってＣＵ全体の精緻化された運動ベクトルを直接使用する。

【0033】

ＦＲＵＣと全く同じやり方で、ＡＭＶＰ運動補償の改善（「Motion Compensation at a finer precision than Motion Vector Differential」において提案された）は、入ってくる整数又は１／４画素ＡＭＶＰ運動ベクトルを近隣情報を使用することによりサブブロックレベルで１／１６画素精度へ精緻化することを可能にする。

【0034】

第１の行及び列のサブブロックは、これらの運動ベクトルの精度を増加するために空間及び／又は時間的近隣情報を直接に又はＦＲＵＣ過程により使用し得る。すべての他の内部サブブロックに関し、このような近隣情報は、符号化も復号化も未だなされていないので利用可能ではない。したがって境界サブブロックのものと同じ処理を使用することは可能ではない。

【0035】

従来技術サブブロック処理の主要な制限は、すべての内部サブブロック情報が、他の（すなわち境界）サブブロックと同様に、改善され得なく、ＣＵ全体の入ってくる又は精緻化された運動ベクトルだけへ適合され得るということである。

【0036】

このセクションは、ＣＵの内部サブブロックの情報を導出するための提案方法を説明する。

【0037】

説明される実施形態は、既に導出された運動情報を活用することによりＣＵの内部サブブロックの運動導出を改善することを目指す。

【0038】

ＦＲＵＣツールでは、第１の行及び列のサブブロックは、最新技術に記載されるようにテンプレートマッチングにより導出され得る。残りの内部サブブロックは、他の内部サブブロックのように導出されなく、ＣＵ全体の精緻化された値を使用するだけである。

【0039】

第１の実施形態では、第１の精緻化されたものを活用することによりこれらのサブブロックの運動導出を改善することが可能である。

【0040】

そうするために、隣接する精緻化された運動ベクトル（空間及び／又は時間的）を使用することが可能である。

【0041】

以下の１つの隣運動ベクトルだけが考慮され得る：（ｉ）最良候補と同じもの、（ｉｉ）所定の隣（例えば常に空間的左隣）、（ｉｉｉ）入ってくる精緻化されたＭＶとは異なる値を有する最初の遭遇されたもの、（ｉｖ）精緻化され入ってくるものに最も近いＭＶを有する候補など。この場合、内部サブブロックＭＶは選択された隣接運動ベクトルの値を採用する。

【0042】

変形形態では、以下のいくつかの隣を考慮することも可能である：（ｉ）（古典的）空間的隣のセット（又はサブセット）、（ｉｉ）入ってくる精緻化された運動ベクトルとは異なる値を有する遭遇された第１、２、３、．．．のもの、（ｉｉｉ）入ってくる精緻化されたものに最も近い運動ベクトルを有する第２、３、．．．のものなど。この場合、内部サブブロック運動ベクトルは、考慮される隣接運動ベクトルの平均、メディアン、又は任意の他の組み合わせにより充たされる。

【0043】

別の変形形態では、入ってくる精緻化された運動ベクトルを１つ又はいくつかの隣接運動ベクトルとの組み合わせの一部分と見做すことも可能である。

【0044】

別の変形形態では、第１の行及び列のすべてのサブブロック精緻化済み運動ベクトル及びＣＵ全体のものに関わるより複雑な運動モデルを考慮することも可能である。このようなモデルは、アフィンモデル、パラメトリックモデル、又は別のモデルに基づくあるモデルであり得る。

【0045】

変形形態では、様々なサブブロックの様々な運動導出方法を使用することも可能である。例えば、第１の行及び列の内部サブブロック（ＣＵの第２のもの）は、いくつかの隣接運動ベクトル及びＣＵ精緻化済みＭＶ全体、第２の列及び行のそれほど隣接していないＭＶ並びにＣＵ精緻化済みＭＶ全体を使用し、最後に、すべてのそれに続くサブブロックのＣＵ精緻化済み運動ベクトル全体に最も近い隣接運動ベクトルを使用し得る。

【0046】

このような運動導出は、ＦＲＵＣだけへは適用され得ないが、ＡＭＶＰ運動補償上にも適用され得る。

【0047】

上記第１の実施形態は、運動ベクトルへ専用化される（ＦＲＵＣのケースと同様に）が、第２の実施形態では他のサブブロックツールにより使用される別の種類の情報に対し適用され得る。

【0048】

例えば、ＯＢＭＣはＣＵ境界全体にわたる運動平滑化のように機能する。ＯＢＭＣは第１の行及び列のサブブロックに影響するだけであり、内部サブブロックに対しては何も行われない。平滑化を図７に提示されるように少なくとも１つの行及び列の内部サブブロックにおいてＣＵ（特に、非常に大きなＣＵ）のさらに内部に伝播することが有用であり得る。

【0049】

好ましい実施形態では、同じ処理はＦＲＵＣツールの内部サブブロックの運動導出及び強化されたＡＭＶＰ運動補償を改善するために使用される。

【0050】

２つの第１の行及び列の内部サブブロック（ＣＵの第２及び第３のもの）は、（左、上、左上及び右上隣から）４つまでの空間的隣接ＭＶの平均及びＣＵ全体の精緻化された運動ベクトルの平均を使用して導出される。そして、残りのサブブロックは図８に示すようにＣＵ全体の精緻化された運動ベクトルを使用する。

【0051】

図９は、ＦＲＵＣがフレームの左及び上境界上に十分に適用可能でない特定ケースを説明する。左境界（上境界それぞれ）上で、ＦＲＵＣは第１の行（列それぞれ）のサブブロック上にだけ適用され得るので、第２及び第３の行（列それぞれ）は隣接及びＣＵ精緻化済み運動ベクトル全体の平均を使用し、残りの行（列それぞれ）はＣＵ精緻化済み運動ベクトル全体を使用する。

【0052】

図１０は、説明した態様下の方法１０００の一実施形態を示す。本方法は開始ブロック１００１において始まり、制御は、以前に符号化された隣接ブロックから映像データのブロックの情報を導出するためのブロック１０１０へ進む。制御はブロック１０１０から、導出された情報及び以前に符号化された隣接サブブロックを使用することにより映像データのブロックの左縁又は上縁に沿ったサブブロックの情報を精緻化するためのブロック１０２０へ進む。次に、制御はブロック１０２０から、映像データのブロックの左縁又は上縁に沿ったサブブロックからの精緻化済み情報を使用することにより映像データのブロックの内部サブブロックの情報を精緻化するためのブロック１０３０へ進む。次に、制御はブロック１０３０から、前記精緻化済みサブブロックを使用して映像データのブロックを符号化するためのブロック１０４０へ進む。

【0053】

図１１は、説明した態様下の方法１１００の一実施形態を示す。本方法は開始ブロック１１０１において始まり、制御は、以前に符号化された隣接ブロックから映像データのブロックの情報を導出するためのブロック１１１０へ進む。制御はブロック１１１０から、導出された情報及び以前に符号化された隣接サブブロックを使用することにより映像データのブロックの左縁又は上縁に沿ったサブブロックの情報を精緻化するためのブロック１１２０へ進む。次に、制御はブロック１１２０から、映像データのブロックの左縁又は上縁に沿ったサブブロックからの精緻化済み情報を使用することにより映像データのブロックの内部サブブロックの情報を精緻化するためのブロック１１３０へ進む。次に、制御はブロック１１３０から、前記精緻化済みサブブロックを使用して映像データのブロックを復号化するためのブロック１１４０へ進む。

【0054】

図１２は、映像データのブロックを符号化又は復号化するための装置１２００の一実施形態を示す。本装置は、入力ポート及び出力ポートを有するプロセッサ１２１０であり、また入力ポート及び出力ポートを有するメモリ１２２０との信号接続性関係にあるプロセッサ１２１０を含む。本装置は前述の方法実施形態のうちの任意のもの又は変形形態を実行し得る。

【0055】

添付図面に示される様々な要素の機能は、適切なソフトウェアの協力によりソフトウェアを実行することができるハードウェアだけでなく専用ハードウェアも使用して提供され得る。プロセッサにより提供される場合、機能は、単一専用プロセッサにより、単一共用プロセッサ、又はそのうちのいくつかが共有され得る複数の個々のプロセッサにより提供され得る。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に参照するように解釈されるべきではなく、限定しないがデジタル信号プロセッサ（「ＤＳＰ：digital signal processor」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ：read-only memory」）、ランダムアクセスメモリ（「ＲＡＭ：random access memory」）、及び不揮発性記憶装置を暗黙的に含み得る。

【0056】

他のハードウェア、従来のハードウェア及び／又はカスタムハードウェアも含まれ得る。同様に、添付図面に示される任意のスイッチは概念的なものにすぎない。それらの機能は、プログラム論理の操作を介し、専用論理を介し、プログラム制御と専用論理との相互作用を介し、又はさらには手動的に行われ得、特定技術は、文脈からより具体的に理解されるように、実装者により選択可能である。

【0057】

本明細書は本アイデアを示す。したがって、当業者は、本明細書に明示的に説明及び示されなかったとしても、本アイデアを具現化するとともにその精神及び範囲に含まれる様々な配置を考案することができるようになるということが理解される。

【0058】

本明細書に列挙されたすべての例及び条件付き言語は、本技術をさらに進めるために、読者が本原理と本発明者により寄与された概念とを理解するのを支援する教育的目的のためであるように意図されており、このような具体的に列挙された例及び条件へ限定するものではないものと解釈すべきである。

【0059】

さらに、原理、態様、本原理の実施形態、及びその具体例を列挙する本明細書におけるすべての陳述は構造的等価物と機能的等価物との両方を包含するように意図されている。加えて、このような等価物は現在知られた等価物と将来に開発される等価物（すなわち、構造にかかわらず同じ機能を行う開発される任意の要素）との両方を含むということが意図されている。

【0060】

したがって、例えば、本明細書に提示されるブロック図は本原理を具現化する例示的回路の概念図を表すということが当業者により理解されることになる。同様に、任意のフローチャート、フロー図式、状態遷移図、擬似コードなどはコンピュータ又はプロセッサが明示的に示されるかどうかに関わらずコンピュータ可読体内に実質的に表され、したがってこのようなコンピュータ又はプロセッサにより実行され得る様々な処理を表すということが理解されることになる。

【0061】

本明細書での特許請求の範囲では、規定機能を行う手段として表現される任意の要素は、例えばａ）当該機能を行う回路素子の組み合わせ、又はｂ）任意の形式のソフトウェアであり、したがって機能を行うために当該ソフトウェアを実行するのに適切な回路系と組み合わせたファームウェア、マイクロコードなどを含むソフトウェアを含む当該機能を行う任意のやり方を包含するように意図されている。このような特許請求の範囲により規定される本原理は、様々な列挙された手段により提供される機能が特許請求の範囲が要請するやり方で組み合わせられ纏められるということにある。したがって、これらの機能を提供し得る任意の手段は本明細書に示されたものと等価であるということが考えられる。

【0062】

本原理の語句「一実施形態（one embodiment）」又は「実施形態（an embodiment）」及びその他の変形への本明細書における参照は、実施形態に関連して説明される特定の機能、構造、及び特徴などが本原理の少なくとも一実施形態に含まれるということを意味する。したがって、本明細書を通して様々な箇所に出現する語句「一実施形態では（in one embodiment）」又は「実施形態では（in an embodiment）」及びその任意の他の変形の出現は、すべてが必ずしも同じ実施形態を参照するとは限らない。

【0063】

結論として、符号化又は復号化のための内部サブブロックの精緻化の改良方法が提供される。精緻化では、内部サブブロックが、既に精緻化されたサブブロック部分を使用して精緻化される。この精緻化は、例えば、既に精緻化されたサブブロック部分の運動情報から導出される運動情報であり得る。他の実施形態は、他の情報を使用する内部サブブロックの他の導出を提供する。加えて、実施形態は、外側サブブロック情報に基づき内部サブブロックを導出するために他の情報を使用する。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
以前に符号化された隣接ブロックから映像データのブロックの情報を導出することと、
前記導出された情報及び以前に符号化された隣接サブブロックを使用することにより前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿ったサブブロックから前記精緻化された情報を使用することにより前記映像データのブロックの内部サブブロックの前記情報を精緻化することと、
前記精緻化されたサブブロックを使用して前記映像データのブロックを符号化することを含む方法。
（付記２）
以前に符号化された隣接ブロックから映像データのブロックの情報を導出することと、
前記導出された情報及び以前に符号化された隣接サブブロックを使用することにより前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記情報を精緻化することと、
前記映像データのブロックの左縁又は上縁に沿ったサブブロックから前記精緻化された情報を使用することにより前記映像データのブロックの内部サブブロックの前記情報を精緻化することと、
前記精緻化されたサブブロックを使用して前記映像データのブロックを復号化することを含む方法。
（付記３）
メモリ及びプロセッサを含む映像データのブロックを符号化するための装置であって、前記プロセッサは、
以前に符号化された隣接ブロックから映像データのブロックの情報を導出し、
前記導出された情報及び以前に符号化された隣接サブブロックを使用することにより前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿ったサブブロックから前記精緻化された情報を使用することにより前記映像データのブロックの内部サブブロックの前記情報を精緻化し、
前記精緻化されたサブブロックを使用して前記映像データのブロックを符号化する、
ように構成される、装置。
（付記４）
メモリ及びプロセッサを含む映像データのブロックを復号化するための装置であって、前記プロセッサは、
以前に符号化された隣接ブロックから映像データのブロックの情報を導出し、
前記導出された情報及び以前に符号化された隣接サブブロックを使用することにより前記映像データのブロックの左縁又は上縁に沿ったサブブロックの前記情報を精緻化し、
前記映像データのブロックの左縁又は上縁に沿ったサブブロックから前記精緻化された情報を使用することにより前記映像データのブロックの内部サブブロックの前記情報を精緻化し、
前記精緻化されたサブブロックを使用して前記映像データのブロックを復号化するように構成される、装置。
（付記５）
前記情報を導出することはテンプレートマッチング予測を使用する、付記１又は２のいずれかに記載の方法又は付記３又は４のいずれかに記載の装置。
（付記６）
前記テンプレートマッチング予測は、時間的に行われる、付記５に記載の方法又は装置。
（付記７）
前記テンプレートマッチング予測は、空間的に行われる、付記５に記載の方法又は装置。
（付記８）
空間的隣接サブブロックの数Ｎが現在のサブブロックの情報を精緻化するために使用される、付記１又は２のいずれかに記載の方法、又は付記３又は４のいずれかに記載の装置。
（付記９）
サブブロックの運動ベクトルが隣接する空間的又は時間的サブブロックのある組み合わせを使用して導出される、付記１又は２のいずれかに記載の方法、又は付記３又は４のいずれかに記載の装置。
（付記１０）
サブブロックの運動ベクトルが、ブロックの運動ベクトルだけでなく隣接サブブロックからの少なくとも１つの精緻化された隣接運動ベクトルも使用する運動モデルを使用して導出される、付記１又は２のいずれかに記載の方法、又は付記３又は４のいずれかに記載の装置。
（付記１１）
異なる運動導出方法が現在ブロックの異なるサブブロックに使用される、付記１又は２のいずれかに記載の方法、又は付記３又は４のいずれかに記載の装置。
（付記１２）
符号化ユニットの第２及び第３の行及び第２及び第３の列は、４つまでの空間的隣接運動ベクトル及び前記符号化ユニットの精緻化済み運動ベクトルの平均を使用して導出される、付記１又は２のいずれかに記載の方法、又は付記３又は４のいずれかに記載の装置。
（付記１３）
プロセッサを使用する再生のための付記１及び付記５乃至１２のいずれかに記載の方法に従って又は付記３と付記５乃至１２のいずれかに記載の装置により生成されるデータコンテンツを含む、非一時的コンピュータ可読媒体。
（付記１４）
プロセッサを使用する再生のための付記１及び付記５乃至１２のいずれかに記載の方法に従って又は付記３と付記５乃至１２のいずれかに記載の装置により生成される映像データを含む信号。
（付記１５）
コンピュータにより実行されると前記コンピュータに付記２と付記５乃至１２のいずれかに記載の方法を行わせる指示を含む、コンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9a)】

【図9b)】

【図10】

【図11】

【図12】