特許 7334146 フレームレートアップコンバージョンツールを使用する改善された圧縮／解凍のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-18

(45)【発行日】2023-08-28

(54)【発明の名称】フレームレートアップコンバージョンツールを使用する改善された圧縮／解凍のための方法および装置

(51)【国際特許分類】

   H04N 19/109 20140101AFI20230821BHJP

   H04N 19/159 20140101ALI20230821BHJP

   H04N 19/52 20140101ALI20230821BHJP

   H04N 19/577 20140101ALI20230821BHJP

   H04N 19/587 20140101ALI20230821BHJP

   H04N 19/70 20140101ALI20230821BHJP

【ＦＩ】

H04N19/109

H04N19/159

H04N19/52

H04N19/577

H04N19/587

H04N19/70

【請求項の数】 17

(21)【出願番号】P 2020508521

(86)(22)【出願日】2018-08-29

(65)【公表番号】

(43)【公表日】2020-11-12

(86)【国際出願番号】 US2018048427

(87)【国際公開番号】W WO2019046356

(87)【国際公開日】2019-03-07

【審査請求日】2021-08-17

(31)【優先権主張番号】17306105.2

(32)【優先日】2017-08-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】319002876

【氏名又は名称】インターデジタル マディソン パテント ホールディングス， エスアーエス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ロベール，アントワーヌ

(72)【発明者】

【氏名】ルリアネック，ファブリス

(72)【発明者】

【氏名】アーバン，ファブリス

【審査官】久保 光宏

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２８６２２９（ＵＳ，Ａ１）

【文献】Jianle Chen, et al.，"Algorithm Description of Joint Exploration Test Model 6 (JEM 6)"，JVET-F1001 (version 2)，[online], Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2017年05月31日，Pages 21-24，[令和4年9月2日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=3147> and <URL: https://jvet-experts.org/doc_end_user/documents/6_Hobart/wg11/JVET-F1001-v2.zip>.

【文献】Xiang Li, et al.，"Frame Rate Up-Conversion based Motion Vector Derivation for Hybrid Video Coding"，Proceedings of 2017 Data Compression Conference (DCC)，IEEE，2017年04月07日，Pages 390-399，ISBN: 978-1-5090-6721-3, <DOI: 10.1109/DCC.2017.8>.

【文献】Shen Songwei, et al.，"Deformable Motion Model For Frame Rate Up-Conversion in Video Coding"，Proceedings of 2016 IEEE Region 10 Conference (TENCON)，IEEE，2016年11月25日，Pages 3748-3751，ISBN: 978-1-5090-2597-8, <DOI: 10.1109/TENCON.2016.7848761>.

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

エンコーダにより実行される方法であって、
ビデオ画像の部分に対してフレームレートアップコンバージョン（ＦＲＵＣ）を実行することと、
ビデオビットストリームに第１のフラグを含めることと、
前記ビデオビットストリームに第２のフラグを含めることと、
前記ビデオビットストリームに第３のフラグを含めることと、
を含み、
前記第１のフラグは、初期ＦＲＵＣツールからＦＲＵＣマージサブツールを有効にするために前記ビデオビットストリームのデコーダに信号で伝え、
前記第２のフラグは、前記デコーダで前記ビデオ画像の部分について、有効にされた前記ＦＲＵＣマージサブツールのサブパートを有効にするために前記ビデオビットストリームの前記デコーダに信号で伝え、
前記第３のフラグは、有効にされた前記ＦＲＵＣマージサブツールのバイラテラルテンプレートマッチングコスト関数を有効にするために前記ビデオビットストリームのデコーダに信号で伝える、方法。

【請求項2】

デコーダにより実行される方法であって、
ビデオビットストリームを解析して第１のフラグが設定されているかどうかを特定することと、
前記ビデオビットストリームを解析して第２のフラグが設定されているかどうかを特定することと、
前記ビデオビットストリームを解析して第３のフラグが設定されているかどうかを特定することと、
前記第１のフラグが設定されているという条件で、初期ＦＲＵＣツールからＦＲＵＣマージサブツールを用いて、ビデオ画像の部分に対して、フレームレートアップコンバージョン（ＦＲＵＣ）を実行することと、
前記第１のフラグ及び前記第２のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び有効にされた前記ＦＲＵＣマージサブツールのサブパートを用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
前記第１のフラグ及び前記第３のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び有効にされた前記ＦＲＵＣマージサブツールのバイラテラルテンプレートマッチングコスト関数を用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
を含む方法。

【請求項3】

装置であって、
メモリと、
プロセッサであって、
ビデオ画像の部分に対してフレームレートアップコンバージョン（ＦＲＵＣ）を実行することと、
ビデオビットストリームに第１のフラグを含めることと、
前記ビデオビットストリームに第２のフラグを含めることと、
前記ビデオビットストリームに第３のフラグを含めることと、
を実行するように構成されたプロセッサと、
含み、
前記第１のフラグは、初期ＦＲＵＣツールからＦＲＵＣマージサブツールを有効にするために前記ビデオビットストリームのデコーダに信号で伝え、
前記第２のフラグは、前記デコーダで前記ビデオ画像の部分について、有効にされた前記ＦＲＵＣマージサブツールのサブパートを有効にするために前記ビデオビットストリームの前記デコーダに信号で伝え、
前記第３のフラグは、有効にされた前記ＦＲＵＣマージサブツールのバイラテラルテンプレートマッチングコスト関数を有効にするために前記ビデオビットストリームのデコーダに信号で伝える、装置。

【請求項4】

装置であって、
メモリと、
プロセッサであって、
ビデオビットストリームを解析して第１のフラグが設定されているかどうかを特定することと、
前記ビデオビットストリームを解析して第２のフラグが設定されているかどうかを特定することと、
前記ビデオビットストリームを解析して第３のフラグが設定されているかどうかを特定することと、
初期ＦＲＵＣツールから有効化されたＦＲＵＣマージサブツールを用いて、ビデオ画像の部分に対して、フレームレートアップコンバージョン（ＦＲＵＣ）を実行することと、
前記第１のフラグ及び前記第２のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び有効にされた前記ＦＲＵＣマージサブツールのサブパートを用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
前記第１のフラグ及び前記第３のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び有効にされた前記ＦＲＵＣマージサブツールのバイラテラルテンプレートマッチングコスト関数を用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
を行うように構成されている、プロセッサと、
を含む、装置。

【請求項5】

前記ビデオ画像の部分は、符号化単位（ＣＵ）であり、マージブロックのサブパートは、ＣＵのサブブロックである、請求項１又は２に記載の方法。

【請求項6】

初期ＦＲＵＣツールから適応動きベクトル予測（ＡＭＶＰ）サブツールを有効にするために前記ビデオビットストリームのデコーダに信号で伝える第４のフラグを前記ビデオビットストリームに含めることを更に含む、請求項１に記載の方法。

【請求項7】

前記ビデオビットストリームを解析して第４のフラグが設定されているかどうかを特定することと、
前記第１のフラグ及び前記第４のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び前記初期ＦＲＵＣツールから有効化された適応動きベクトル予測（ＡＭＶＰ）サブツールを用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
を更に含む、請求項２に記載の方法。

【請求項8】

前記フラグのうちのいずれかは、ビデオパラメータセット内に位置する、請求項１又は２に記載の方法。

【請求項9】

前記フラグのうちのいずれかは、シーケンスパラメータセット内に位置する、請求項１又は２に記載の方法。

【請求項10】

前記フラグのうちのいずれかは、ピクチャパラメータセット内に位置する、請求項１又は２に記載の方法。

【請求項11】

命令を備えるコンピュータプログラムプロダクトであって、前記プログラムがコンピュータにより実行されたときに、前記コンピュータに、請求項１，２，５～１０の何れか１項に記載の方法を実行させる、コンピュータプログラムプロダクト。

【請求項12】

前記ビデオ画像の部分は、符号化単位（ＣＵ）であり、マージブロックのサブパートは、ＣＵのサブブロックである、請求項３又は４に記載の装置。

【請求項13】

前記プロセッサは、初期ＦＲＵＣツールから適応動きベクトル予測（ＡＭＶＰ）サブツールを有効にするために前記ビデオビットストリームのデコーダに信号で伝える第４のフラグを前記ビデオビットストリームに含めるように更に構成されている、請求項３に記載の装置。

【請求項14】

前記プロセッサは、
前記ビデオビットストリームを解析して第４のフラグが設定されているかどうかを特定することと、
前記第１のフラグ及び前記第４のフラグが設定されているという条件で、前記初期ＦＲＵＣツールから有効化された前記ＦＲＵＣマージサブツール及び前記初期ＦＲＵＣツールから有効化された適応動きベクトル予測（ＡＭＶＰ）サブツールを用いて、前記ビデオ画像の部分に対して、ＦＲＵＣを実行することと、
を行うように更に構成されている、請求項４に記載の装置。

【請求項15】

前記フラグのうちのいずれかは、ビデオパラメータセット内に位置する、請求項３又は４に記載の装置。

【請求項16】

前記フラグのうちのいずれかは、シーケンスパラメータセット内に位置する、請求項３又は４に記載の装置。

【請求項17】

前記フラグのうちのいずれかは、ピクチャパラメータセット内に位置する、請求項３又は４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、ビデオ圧縮に関し、より具体的には、ビデオ符号化およびビデオ復号化を実行することに関する。

【背景技術】

【0002】

ブロックベースのコーデックの符号化効率を改善するための多くの試みがなされてきた。フレームレートアップコンバージョン（ＦＲＵＣ）は、いずれの情報も伴わずに、すなわち追加の構文を伴わずに、動きベクトル予測子の導出を可能にするツールである。ＦＲＵＣプロセスは、符号化側と同じ操作が復号化側で実行されるという点で、完全に対称的である。

【0003】

このツールは、いくつかのサブツールを使用しながら、１つのフラグでのみ完全にオンまたはオフにすることができる（表２に示す）。
ＡＭＶＰ（高度動きベクトル予測）ブロックは、１つのテンプレートマッチングコスト関数を使用し、シグナリングは使用しない。

【0004】

マージブロックは、同じプロセス、２つの異なるテンプレートマッチングコスト関数、および何らかのシグナリング（オフ／オンテンプレート／バイラテラル）を用いてサブパートの絞り込みを使用することができる。

【0005】

共同ビデオ探査チーム（ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ１／ＳＣ２９／ＷＧ１１）の共同探査モデル４（ＪＥＭ４）を介したＦＲＵＣツール、ならびに異なるサブツールの全体的な性能は、表１に提供されている。

【表1】

【0006】

さらに、これらのサブツールのいくつかは、パラメータを使用する。表２に示すように構文に既にあるものもあるが、存在しないものもある。

【0007】

表２では、ｓｐｓ＿ｕｓｅ＿ＦＲＵＣ＿ｍｏｄｅは、ＦＲＵＣツール全体に対するオン／オフフラグであり、ＦＲＵＣ＿ｒｅｆｉｎｅ＿ｆｉｌｔｅｒは、サブペル補間フィルタの変更を許可し、ＦＲＵＣ＿ｒｅｆｉｎｅ＿ｒａｎｇｅ＿ｉｎ＿ｐｅｌは、絞り込みのための最大整数ペル範囲を定義し、ＦＲＵＣ＿ｓｍａｌｌ＿ｂｌｋ＿ｒｅｆｉｎｅ＿ｄｅｐｔｈは、ＦＲＵＣマージブロックのサブパートについての最大深度（すなわち、最小サイズ）を定義する。

【表2】

【発明の概要】

【0008】

従来技術のこれらおよび他の欠点および短所は、ＦＲＵＣツールによって提供される符号化効率とその複雑さとの間のトレードオフを管理するための方法および装置を対象とする記載された本実施形態によって対処される。

【0009】

記載された実施形態の一態様によれば、方法が提供される。方法は、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、ビデオビットストリームに第１のフラグを含めることであって、第１のフラグは、フレームレートアップコンバージョンを示す、含めることと、ビデオビットストリームに第２のフラグを含めることであって、第２のフラグは、フレームレートアップコンバージョンをさらに示す、含めることと、を含む、ビデオ画像の一部分を符号化するためのステップを含む。

【0010】

記載された実施形態の別の態様によれば、方法が提供される。方法は、ビデオビットストリームを解析して第１のフラグを特定することと、ビデオビットストリームを解析して第２のフラグを特定することと、第１のフラグおよび第２のフラグに基づいて、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、を含む、ビデオ画像の一部分を復号化するためのステップを含む。

【0011】

記載される実施形態の別の態様によれば、装置が提供される。装置は、メモリと、プロセッサと、を含む。プロセッサは、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、ビデオビットストリームに第１のフラグを含めることであって、第１のフラグは、フレームレートアップコンバージョンを示す、含めることと、ビデオビットストリームに第２のフラグを含めることであって、第２のフラグは、フレームレートアップコンバージョンをさらに示す、含めることと、によって、ビデオ信号の一部分を符号化するように構成され得る。

【0012】

記載される実施形態の別の態様によれば、装置が提供される。装置は、メモリと、プロセッサと、を含む。プロセッサは、ビデオビットストリームを解析して第１のフラグを特定することと、ビデオビットストリームを解析して第２のフラグを特定することと、第１のフラグおよび第２のフラグに基づいて、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、によって、ビデオ信号の一部分を復号化するように構成され得る。

【0013】

本原理のこれらおよび他の態様、特徴、および利点は、添付の図面に関連して読まれる、例示的な実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0014】

【図1】提案された実施形態を適用することができる典型的なビデオエンコーダのブロック図を例解する。

【図2】提案された実施形態を適用することができる典型的なビデオデコーダのブロック図を例解する。

【図3】記載された実施形態を使用する符号化のための方法の一実施形態を例解する。

【図4】記載された実施形態を使用する復号化のための方法の一実施形態を例解する。

【図5】記載された実施形態を使用する符号化または復号化のための装置の一実施形態を例解する。

【発明を実施するための形態】

【0015】

本明細書に記載の実施形態の領域は、最先端のビデオ符号化方式のビデオ圧縮効率を改善することを意図したビデオ圧縮である。

【0016】

共同探査モデル（ＪＥＭ）において最近導入された代表的な符号化ツールは、ＦＲＵＣ（フレームレートアップコンバージョン）と呼ばれ、またはパターンマッチ動き導出とも呼ばれ、デコーダ側動きブロックベースの動きベクトル予測子導出を目的としている。

【0017】

フレームレートアップコンバージョン（ＦＲＵＣ）ツールは、テンプレートマッチングコストに関して、候補のセットの中から最適な動きベクトル予測子（ＭＶＰ）を見出すことを目的としている。次に、最適に特定された候補は、最小テンプレートマッチングコストに向けて絞り込まれる。

【0018】

ＦＲＵＣプロセスは、すべての種類のブロックに対して類似しており、１つのプロセスは、ブロック全体に対して実行され、次いで、いくつかの特定のブロックに対して、サブパートについての第２のプロセスも実現することができる。これらのプロセス間の主な相違は、候補の初期リスト、および使用可能なテンプレートマッチングコスト関数である。

【0019】

このＦＲＵＣツールの性能とその複雑さとの間のトレードオフを管理するために、どのＦＲＵＣプロセス（またはサブプロセス、すなわちプロセスの一部）が許可されているか否かをデコーダに通知することができる。

【0020】

本明細書に記載の実施形態によって解決される問題は、例えばＪＥＭビデオコーデックにおけるように、ＦＲＵＣツールによって提供される符号化効率とその複雑さとの間のトレードオフを管理することである。

【0021】

ＦＲＵＣツールは、すべてのブロック（マージおよびＡＭＶＰ）に適用され、マージブロックのサブパートレベルまたはサブブロックレベルで絞り込まれる。ＡＭＶＰブロックの場合、１つのテンプレートマッチングコスト関数「テンプレート」のみが使用可能である。マージブロックおよびそのサブパートの場合、２つの異なるテンプレートマッチングコスト関数、「テンプレート」および「バイラテラル」がテストされる。

【0022】

テンプレートマッチングは、現在のピクチャ内のテンプレート（現在の符号化単位の上部および／または左の隣接ブロック）と、参照ピクチャ内の同じサイズのテンプレートを有するブロックとの間の最適な一致を見出すことにより、現在の符号化単位の動き情報を導出する。

【0023】

バイラテラルマッチングは、２つの参照ピクチャ内の現在の符号化単位の動き軌跡に沿った２つのブロック間の最適な一致を見出すことにより、現在の符号化単位の動き情報を導出する。

【0024】

マージブロックのサブパートは、サブブロックである。ＦＲＵＣマージのでは、ＦＲＵＣツールは、最初にＣＵ（符号化単位）レベルで適用され、次いで、このＣＵは、サブブロックに分割され、ＦＲＵＣツールは、ＣＵの場合と同じテンプレートマッチングコスト関数を用いてサブブロックの各々に再度適用される。

【0025】

ＳＰＳ（シーケンスパラメータセット）ＦＲＵＣフラグがオンである場合、ＦＲＵＣツールは、符号化側で使用／テストされ、復号化側で有効である。

【0026】

ＡＭＶＰの場合、ＦＲＵＣツールによって、シグナリングを伴わずに符号化および復号化において同じ方法で導出されたＡＭＶＰ候補を見出すことができる。

【0027】

マージの場合、ＦＲＵＣマージモードは、符号化側でテストされ、ＦＲＵＣを使用すべきするか否か、使用する場合はどのテンプレートマッチングコスト関数（３つの状態：オフ／テンプレート／バイラテラルがある）を用いるかを示す何らかのシグナリングがある。

【0028】

マージＣＵの場合、ＦＲＵＣツールが（ＳＰＳレベルで）起動されると、第１のフラグは、マージモードを信号で示し、次いで第２のフラグは、ＦＲＵＣ状態を信号で示す。デコーダは、これらのフラグを読み取り、このＣＵにＦＲＵＣツールを使用しなければならないか否かを認識する。
ＣＵ－＞マージフラグ＝０＝＞ＡＭＶＰ（ＦＲＵＣ使用）
＝１＝＞マージ＋ＦＲＵＣモード＝オフ＝＞古典的なマージ
＝テンプレート／バイラテラル＝＞ＦＲＵＣマージ＋テンプレートマッチングコスト関数

【0029】

すなわち、現在、ＳＰＳ（シーケンスパラメータセット）レベルのフラグは、ＦＲＵＣツールを使用するか否かを可能にする。起動されると、あらゆるＡＭＶＰブロックは、符号化側および復号化側において、シグナリングを伴わずにＦＲＵＣツールに送られ、あらゆるマージブロックは、符号化側であるが何らかのシグナリング（オフ／オンテンプレート／バイラテラル）を伴ってＦＲＵＣツールに送られる。

【0030】

本明細書の態様によって提案される解決策は、ＦＲＵＣツールによって提供される符号化効率とその複雑さとの間のトレードオフの管理を可能にする何らかの高レベル構文を追加することを含む。

【0031】

表１に示すように、ＦＲＵＣツールの全体的な性能は、非常に大きく、ＪＥＭ４では、ＲＡ（ランダムアクセス）で３．６０％のＢＤレート利得、ＬＤＢ（低遅延Ｂ）で２．４１％、ＬＤＰ（低遅延Ｐ）で１．３８％をもたらすが、符号化時および復号化時のいずれかにおいて、ＲＡで約４０％、ＬＤＢで６０％、ＬＤＰで３０％の膨大な量の複雑さも有する。

【0032】

このＦＲＵＣツールには、各々が符号化利得をもたらすだけでなく複雑さを追加するいくつかのサブプロセスがあるが、それらはすべてＳＰＳレベルの固有のフラグで起動される。

【0033】

どのサブツールを使用すべきか、どのパラメータを用いるかを示すための、またはサブブロックまたはサブパートベースの特定のツールを起動するためのある種の新しい高レベル構文を使用することにより、符号化利得と複雑さとの間のトレードオフを管理することができることは有利である。例えば、ＦＲＵＣマージブロックのサブパートを無効にすることにより、０．５％未満のＢＤレート損失に対して１０～１５％の符号化時間（ＲＡ／ＬＤＢ）および２０％近くの復号化時間を節約することを可能にする。

【0034】

第１の実施形態では、ＦＲＵＣ ＡＭＶＰサブツールを、表３の構文を使用して１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができる。

【表3】

【0035】

第２の実施形態では、サブパートおよび両方のテンプレートマッチングコスト関数を有するＦＲＵＣマージサブツール全体を、表４の構文を使用して１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができる。

【表4】

【0036】

第３の実施形態では、ＦＲＵＣマージサブツールのサブパートを、表５の構文を使用して１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができる。

【表5】

【0037】

第４の実施形態では、ＦＲＵＣマージサブツールのバイラテラルテンプレートマッチングコスト関数を、表６の構文を使用して１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができる。

【表6】

【0038】

第５の実施形態では、ＦＲＵＣマージサブツール全体を、１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができ、次いで、ＦＲＵＣマージサブツールのサブパートまたはバイラテラルテンプレートマッチングコスト関数のいずれかを、ＦＲＵＣマージサブツールが有効である場合にのみ、１つのフラグで有効／無効にすることもできる。

【0039】

その目的のために、構文は、ＦＲＵＣ＿ｍｅｒｇｅ＿ｘｘｘがＦＲＵＣ＿ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋもしくはＦＲＵＣ＿ｍｅｒｇｅ＿ｂｉｌａｔｅｒａｌ、または両方を表す表７または表８のいずれかに従うべきである。

【表7】

【表8】

【0040】

第６の実施形態では、ＦＲＵＣ ＡＭＶＰおよびＦＲＵＣマージサブツール全体を、各々、１つのフラグで初期ＦＲＵＣツールから有効／無効にすることができる。次に、ＦＲＵＣマージサブツールのサブパートおよびバイラテラルテンプレートマッチングコスト関数を、表９または表１０の構文を使用して１つのフラグで有効／無効にすることもできる。

【表9】

【表10】

【0041】

ＦＲＵＣ＿ａｍｖｐフラグおよびＦＲＵＣ＿ｍｅｒｇｅフラグを共に使用する場合、少なくとも１つは「ｔｒｕｅ」でなければならない（それ以外の場合、両方のフラグが「ｆａｌｓｅ」である場合、すべてのＦＲＵＣツールをオフにすることと同じである（ｓｐｓ＿ｕｓｅ＿ＦＲＵＣ＿ｍｏｄｅ＝＝“ｆａｌｓｅ”）。

【0042】

さらに、最初の４つの実施形態の任意の他の組み合わせを観察することができる。

【0043】

第７の実施形態では、符号化利得と複雑さとの間のトレードオフをより細かく管理するために、まだ構文にないパラメータのいくつかを追加することもできる。

【0044】

これらのパラメータは、絞り込み検索パターン（ダイヤモンド、六角形、十字など）、絞り込みループ数、テンプレート関数に対するテンプレートマッチングサイズ、絞り込み中に動きベクトルコストに適用される重み、評価される候補の最大数、テンプレートマッチングコストの最大値、または他のかかるパラメータであるが、これらに限定されない。

【0045】

これらのパラメータの各々は、すべてのプロセス、あるいは例示的な表１１に示すように各種のブロック（ＡＭＶＰ、マージ）もしくはサブパート、または任意の組み合わせに対して指定することができる。

【表11】

【0046】

第８の実施形態では、実施形態１～６から導入された任意のフラグを、実施形態７からの任意のパラメータと結合することができる。

【0047】

第９の実施形態では、かかる高レベルの構文は、一般情報としての「プロファイル、ティア、レベル」のＶＰＳ（ビデオパラメータセット）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、またはＳＨ（スライスヘッダ）のような異なるＮＡＬユニットで行われることができる。

【0048】

使用される構文のロケーションは、必要とされる粒度に依存し、すなわち、シーケンス全体に対してはＶＰＳおよびＳＰＳレベルで、フレームのセットに対してはＰＰＳレベルで、各フレームに対してはＳＨで独立してアクティブにされる。

【0049】

実施形態１、２、３、４、実施形態５の表７、実施形態６の表９、および実施形態７からの構文は、ビットストリーム内の任意のロケーションを取ることができる。実施形態５の表８および実施形態６の表１０からの構文の第１の部分は、任意のロケーションに現れることもできるが、同じレベルまたはより深いレベルのいずれかで、第２の部分が続くべきである。例えば、ＡＭＶＰ／マージは、シーケンス全体に対してＳＰＳレベルで定義され、サブブロック／バイラテラルは、各フレームに対してＳＨレベルで定義され得る。

【0050】

ビデオ画像の一部分に対してエンコーダにおいてフレームレートアップコンバージョンを実行するための方法３００の一実施形態を図３に示す。方法は、開始ブロック３０１から始まり、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行するためのブロック３１０に進む。制御は、ブロック３１０から、ビデオビットストリームに第１のフラグを含めるためのブロック３２０に進み、第１のフラグは、フレームレートアップコンバージョンを示す。制御は、ブロック３２０から、ビデオビットストリームに第２のフラグを含めるためのブロック３３０に進み、第２のフラグは、フレームレートアップコンバージョンをさらに示す。第２のフラグは、ブロックまたは符号化単位のサブパートについての性能など、フレームレートコンバージョンプロセスの追加の特徴を示すか、またはフレームレートアップコンバージョンプロセスの１つ以上のサブプロセスを実装するために使用され得る。

【0051】

ビデオ画像の一部分に対してデコーダにおいてフレームレートアップコンバージョンを実行するための方法４００の一実施形態を図４に示す。方法は、開始ブロック４０１から始まり、ビデオビットストリームを解析して第１のフラグを特定するためのブロック４１０に始まる。制御は、ブロック４１０から、ビデオビットストリームを解析して第２のフラグを特定するためのブロック４２０に進む。制御は、ブロック４２０から、第１のフラグおよび第２のフラグに基づいて、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行するためのブロック４３０に進む。

【0052】

ビデオ画像内のブロックを符号化または復号化するための装置５００の一実施形態を図５に示す。装置は、プロセッサ５１０と、メモリ５２０と、を含む。プロセッサ５１０は、符号化のために、図３のステップ、すなわち、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、ビデオビットストリームに第１のフラグを含めることであって、第１のフラグは、フレームレートアップコンバージョンを示す、含めることと、ビデオビットストリームに第２のフラグを含めることであって、第２のフラグは、フレームレートアップコンバージョンをさらに示す、含めることと、を実行するように構成されている。

【0053】

プロセッサ５１０は、復号化のために構成されている場合、図４のステップ、すなわちビデオビットストリームを解析して第１のフラグを特定することと、ビデオビットストリームを解析して第２のフラグを特定することと、第１のフラグと第２のフラグに基づいてビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することにより、ビデオビットストリームを復号化することを実行する。

【0054】

図に示す様々な要素の機能は、専用のハードウェアだけでなく、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアを使用して提供され得る。機能は、プロセッサによって提供される場合、単一の専用プロセッサ、単一の共有プロセッサ、または複数の個別のプロセッサによって提供され得、そのうちのいくつかは共有され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを専ら指すと解釈されるべきではなく、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を黙示的に含み得るが、それらに限定されない。

【0055】

他の従来および／またはカスタムハードウェアもまた、含まれ得る。同様に、図に示すいずれのスイッチも、単に概念的なものである。それらの機能は、プログラムロジックの操作、専用ロジック、プログラム制御と専用ロジックとの相互作用を通して、または手動であっても、文脈からより具体的に理解されるように実装者によって選択可能な特定の技術を通して、実行され得る。

【0056】

本明細書は、本原理を例解する。したがって、当業者は、本明細書で明示的に説明または示されていないが、本原理を具現化し、その範囲内に含まれる様々な構成を考案することができることを理解されよう。

【0057】

本明細書に列挙されるすべての例および条件付き言語は、当技術分野を進展させるために発明者（複数可）が寄与した本原理および概念を読者が理解するのを支援する教育的目的を意図しており、かかる具体的に列挙した例および条件に限定されないものとして解釈されるべきである。

【0058】

さらに、本原理の原理、態様、および実施形態、ならびにその具体的な例を列挙する本明細書のすべての言及は、それらの構造的均等物および機能的均等物の両方を包含することを意図している。さらに、かかる均等物は、現在既知の均等物だけでなく、将来開発される均等物、すなわち構造に関係なく同じ機能を実施する開発される任意の要素の両方を含むことを意図している。

【0059】

したがって、例えば、本明細書で提示するブロック図は、本原理を具現化する例示的な回路の概念図を表すことは、当業者には理解されよう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体において実質的に表され、コンピュータまたはプロセッサが明示的に示されているか否かに関わらず、かかるコンピュータまたはプロセッサによって実質的に実行され得る様々なプロセスを表すことは理解されよう。

【0060】

特許請求の範囲において、指定された機能を実行するための手段として表現されるいずれの要素も、例えば、ａ）その機能を実行する回路要素の組み合わせ、またはｂ）任意の形態のソフトウェア、したがって、そのソフトウェアを実行して機能を実行するための適切な回路と結合されるファームウェア、マイクロコードなどを含むソフトウェアを含む、その機能を実行する任意の方法を包含することを意図している。かかる特許請求の範囲によって定義される本原理は、列挙された様々な手段によって提供される機能が、特許請求の範囲が要求するように組み合わされ、まとめられるという事実に存する。したがって、これらの機能を提供することができる任意の手段は、本明細書に示すものと等価であると見なされる。

【0061】

本明細書における本原理の「一実施形態」または「実施形態」、および他のその変形形態に対する言及は、その実施形態に関して説明する特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体の様々な場所に現れる「一実施形態では」または「実施形態では」、さらに、他の変形形態という語句の出現は、必ずしもすべて同じ実施形態を指すものではない。

【0062】

結論として、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行する改善された方法および装置は、前述の実施形態によって示される。少なくとも１つの実施形態では、エンコーダは、ビデオ画像の一部分のみまたは符号化単位のサブパートのみに対してフレームレートアップコンバージョンを使用するか否かをデコーダに信号で伝えることができる。また、エンコーダまたはデコーダにおいてフレームレートアップコンバージョンプロセスのサブプロセスを使用するためのフラグが提供される。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
方法であって、
ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、
ビデオビットストリームに第１のフラグを含めることであって、前記第１のフラグは、前記フレームレートアップコンバージョンを示す、含めることと、
前記ビデオビットストリームに第２のフラグを含めることであって、前記第２のフラグは、前記フレームレートアップコンバージョンをさらに示す、含めることと、
を含む、方法。
（付記２）
方法であって、
ビデオビットストリームを解析して、第１のフラグを特定することと、
ビデオビットストリームを解析して、第２のフラグを特定することと、
前記第１のフラグおよび前記第２のフラグに基づいて、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、
を含む、方法。
（付記３）
装置であって、
メモリと、
プロセッサであって、
ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、
ビデオビットストリームに第１のフラグを含めることであって、前記第１のフラグは、前記フレームレートアップコンバージョンを示す、含めることと、
前記ビデオビットストリームに第２のフラグを含めることであって、前記第２のフラグは、前記フレームレートアップコンバージョンをさらに示す、含めることと、
を実行するように構成されている、プロセッサと、
を含む、装置。
（付記４）
装置であって、
メモリと、
プロセッサであって、
ビデオビットストリームを解析して、第１のフラグを特定することと、
ビデオビットストリームを解析して、第２のフラグを特定することと、
前記第１のフラグおよび前記第２のフラグに基づいて、ビデオ画像の一部分に対してフレームレートアップコンバージョンを実行することと、を行うように構成されている、プロセッサと、
を含む、装置。
（付記５）
前記第２のフラグは、マージモードを使用してサブブロックにおけるフレームレートアップコンバージョンを可能にする、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記６）
前記第２のフラグは、マージモードにおいてバイラテラルマッチングを使用してサブブロックにおけるフレームレートアップコンバージョンを可能にする、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記７）
第３のフラグは、前記ビデオ画像のサブブロック上で実行されるバイラテラルマッチングまたはテンプレートマッチングを可能にする、付記５に記載の方法または装置。
（付記８）
前記第２のフラグは、ビデオ画像の一部分における適応動きベクトル予測を可能にし、
第３のフラグおよび第４のフラグと一致するビデオ画像の一部分に対してマージモードを実行することと、
第３のフラグおよび第５のフラグと一致する前記ビデオ画像の一部分について、バイラテラルテンプレートマッチングを実行することと、をさらに含む、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記９）
絞り込み検索パターン、絞り込みループ数、テンプレートマッチングサイズ、動きベクトルコストの重み、評価される候補の最大数、およびテンプレートマッチングコストの最大値を含む、フレームレートアップコンバージョンを実行するための、前記ビットストリーム内の構文要素を使用することをさらに含む、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記１０）
前記フラグのうちのいずれかは、ビデオパラメータセット内に位置する、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記１１）
前記フラグのうちのいずれかは、シーケンスパラメータセット内に位置する、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記１２）
前記フラグのうちのいずれかは、ピクチャパラメータセット内に位置する、付記１もしくは２に記載の方法、または付記３もしくは４に記載の装置。
（付記１３）
プロセッサを使用した再生のための、付記１および５～１２のいずれか一項に記載の方法に従って、または付記３および５～１２のいずれか一項に記載の装置によって生成されたデータ内容を含む、非一時的コンピュータ可読媒体。
（付記１４）
プロセッサを使用した再生のための、付記１および５～１２のいずれか一項の方法に従って、または付記３および５～１２のいずれか一項の装置によって生成されたビデオデータを含む、信号。
（付記１５）
命令を含む、コンピュータプログラム製品であって、前記命令は、前記プログラムがコンピュータによって実行されると、前記コンピュータに、付記２および５～１２のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。

【図1】

【図2】

【図3】

【図4】

【図5】