特表 2023-504408 クロマサンプリングのための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-03

(54)【発明の名称】クロマサンプリングのための方法及び装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20230127BHJP

【ＦＩ】

H04N19/70

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022531028

(86)(22)【出願日】2020-10-05

(85)【翻訳文提出日】2022-07-21

(86)【国際出願番号】 US2020054238

(87)【国際公開番号】W WO2021112950

(87)【国際公開日】2021-06-10

(31)【優先権主張番号】62/944,345

(32)【優先日】2019-12-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511050697

【氏名又は名称】アリババ グループ ホウルディング リミテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】リャオ，ルーリン

(72)【発明者】

【氏名】チェン，ジエ

(72)【発明者】

【氏名】イエ，ヤン

(72)【発明者】

【氏名】ルオ，ジャンコン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159RC11

(57)【要約】

本開示は、クロマサンプリングされたピクチャを処理するための方法及び装置を提供する。例示的な映像処理方法は、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することとを含み、サブプロセスは、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む。

【特許請求の範囲】

【請求項1】

映像処理方法であって、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動することとを含み、
前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、方法。

【請求項2】

前記クロマ成分が前記シーケンスに含まれているかどうかを決定することが、
クロマフォーマット及び別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を含む、請求項１に記載の方法。

【請求項3】

前記クロマフォーマットが、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む、請求項２に記載の方法。

【請求項4】

前記クロマ成分が前記シーケンスに含まれているかどうかを決定することが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を含む、請求項１に記載の方法。

【請求項5】

前記クロマ成分を処理するための前記サブプロセスを起動することが、
シーケンスパラメータセット（ＳＰＳ）で、前記サブプロセスが有効にされるかどうかを示すフラグをシグナリングすること
を含む、請求項１に記載の方法。

【請求項6】

前記クロマ成分を処理するための前記サブプロセスを起動することが、
前記サブプロセスが有効にされることを示す値を有する前記フラグに応答して、前記クロマ成分を処理するための前記サブプロセスを起動すること
を含む、請求項５に記載の方法。

【請求項7】

前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記サブプロセスが無効にされることを示す値に前記フラグを設定すること
をさらに含む、請求項５に記載の方法。

【請求項8】

前記起動されたサブプロセスを使用して前記シーケンスを処理すること
をさらに含む、請求項１に記載の方法。

【請求項9】

映像処理装置であって、
命令を記憶するための少なくとも１つのメモリと、
少なくとも１つのプロセッサと
を含み、前記少なくとも１つのプロセッサが、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動することと
を装置に実行させるために前記命令を実行するように構成され、
前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、装置。

【請求項10】

前記少なくとも１つのプロセッサが、
クロマフォーマット及び別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項11】

前記少なくとも１つのプロセッサが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項12】

前記少なくとも１つのプロセッサが、
シーケンスパラメータセット（ＳＰＳ）で、前記サブプロセスが有効にされるかどうかを示すフラグをシグナリングすることと、
前記サブプロセスが有効にされることを示す値を有する前記フラグに応答して、前記クロマ成分を処理するための前記サブプロセスを起動することと
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項13】

前記少なくとも１つのプロセッサが、
前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記サブプロセスが無効にされることを示す値に前記フラグを設定すること
を装置に実行させるために前記命令を実行するように構成される、請求項１２に記載の装置。

【請求項14】

前記少なくとも１つのプロセッサが、
前記起動されたサブプロセスを使用して前記シーケンスを処理すること
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項15】

命令のセットを記憶する非一時的コンピュータ可読記憶媒体であって、前記命令のセットが、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動することと
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能であり、
前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、非一時的コンピュータ可読記憶媒体。

【請求項16】

前記命令のセットが、
クロマフォーマット及び別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記命令のセットが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記命令のセットが、
シーケンスパラメータセット（ＳＰＳ）で、前記サブプロセスが有効にされるかどうかを示すフラグをシグナリングすることと、
前記サブプロセスが有効にされることを示す値を有する前記フラグに応答して、前記クロマ成分を処理するための前記サブプロセスを起動することと
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記命令のセットが、
前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記サブプロセスが無効にされることを示す値に前記フラグを設定すること
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１８に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記命令のセットが、
前記起動されたサブプロセスを使用して前記シーケンスを処理すること
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[001] 本開示は、全体が本明細書において参照により組み込まれる、２０１９年１２月５日に出願された、米国仮特許出願第６２／９４４，３４５号に対する優先権を主張する。

【0002】

技術分野
[002] 本開示は、概して、映像処理に関し、より具体的には、クロマサンプリングされたピクチャを処理するための方法及び装置に関する。

【背景技術】

【0003】

背景
[003] 映像は、視覚情報を取り込んだ静的ピクチャ（又は「フレーム」）のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは通常、符号化と称され、復元プロセスは通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング（High Efficiency Video Coding）（ＨＥＶＣ／Ｈ．２６５）規格、多用途ビデオコーディング（Versatile Video Coding）（ＶＶＣ／Ｈ．２６６）標準ＡＶＳ規格などの、映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率はますます高くなる。

【発明の概要】

【課題を解決するための手段】

【0004】

開示の概要
[004] いくつかの実施形態では、例示的な映像処理方法は、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することとを含み、サブプロセスは、クロマ残差の共同コーディング（ＪＣＣＲ：joint coding for chroma residues）、ブロック差分パルス符号変調（ＢＤＰＣＭ：block differential pulse coded modulation）、パレットモード又は適応色変換（ＡＣＴ：adaptive color transform）のうちの１つ又は複数を含む。

【0005】

[005] いくつかの実施形態では、例示的な映像処理装置は、命令を記憶するための少なくとも１つのメモリと、少なくとも１つのプロセッサとを含む。少なくとも１つのプロセッサは、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することとを装置に実行させるために命令を実行するように構成され、サブプロセスは、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む。

【0006】

[006] いくつかの実施形態では、例示的な非一時的コンピュータ可読記憶媒体は、命令のセットを記憶する。命令のセットは、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することとを映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能であり、サブプロセスは、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む。

【0007】

図面の簡単な説明
[007] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図面において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。

【図面の簡単な説明】

【0008】

【図1】[008]図１は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す概略図である。

【図2】[009]本開示のいくつかの実施形態に係る、ハイブリッド映像符号化システムの例示的な符号器の概略図を示す。

【図3】[010]本開示のいくつかの実施形態に係る、ハイブリッド映像符号化システムの例示的な復号器の概略図を示す。

【図4】[011]本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図を示す。

【図5】[012]本開示のいくつかの実施形態に係る、多用途ビデオコーディング（ＶＶＣ：Versatile Video Coding）における例示的なクロマフォーマットを示す例示的な表１を示す。

【図6】[013]本開示のいくつかの実施形態に係る、例示的なクロマフォーマット関連構文を示す例示的な表２を示す。

【図7】[014]本開示のいくつかの実施形態に係る、クロマ残差の例示的な再構成を示す例示的な表３を示す。

【図8A】[015]本開示のいくつかの実施形態に係る、例示的なクロマ残差の共同コーディング（ＪＣＣＲ）モード関連構文を示す例示的な表４を示す。

【図8B】[015]本開示のいくつかの実施形態に係る、例示的なクロマ残差の共同コーディング（ＪＣＣＲ）モード関連構文を示す例示的な表４を示す。

【図9】[016]本開示のいくつかの実施形態に係る、例示的なブロック差分パルス符号変調（ＢＤＰＣＭ）関連構文を示す例示的な表５を示す。

【図10】[017]本開示のいくつかの実施形態に係る、パレットモードで符号化された例示的なブロックの概略図を示す。

【図11】[018]本開示のいくつかの実施形態に係る、例示的なパレットモード関連構文を示す例示的な表６を示す。

【図12】[019]本開示のいくつかの実施形態に係る、適応色変換（ＡＣＴ）の例示的な復号化プロセスの概略図を示す。

【図13】[020]本開示のいくつかの実施形態に係る、例示的なパレットモード関連構文を示す例示的な表７を示す。

【図14】[021]本開示のいくつかの実施形態に係る、符号化ツールが有効にされるかどうかをシグナリングするための例示的な構文を示す例示的な表８を示す。

【図15】[022]本開示のいくつかの実施形態に係る、符号化ツールが有効にされるかどうかをシグナリングするための例示的な構文を示す例示的な表９を示す。

【図16】[023]本開示のいくつかの実施形態に係る、符号化ツールが有効にされるかどうかをシグナリングするための例示的な構文を示す例示的な表１０を示す。

【図17】[024]本開示のいくつかの実施形態に係る、符号化ツールが有効にされるかどうかをシグナリングするための例示的な構文を示す例示的な表１１を示す。

【図18】[025]本開示のいくつかの実施形態に係る、例示的な映像処理方法のフローチャートを示す。

【発明を実施するための形態】

【0009】

詳細な説明
[026] 次に、添付の図面に例が示された、例示的な実施形態を詳細に参照する。以下の説明は添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本開示に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本開示に関連する態様に従う装置及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び／又は定義と矛盾する場合には、本明細書において提供される用語及び定義が優先する。

【0010】

[027] ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＩＴＵ－Ｔ ＶＣＥＧ（ITU-T Video Coding Expert Group））及びＩＳＯ／ＩＥＣムービングピクチャエクスパートグループ（ＩＳＯ／ＩＥＣＭＰＥＧ（ISO/IEC Moving Picture Expert））のジョイントビデオエクスパーツチーム（ＪＶＥＴ（Joint Video Experts Team））は、現在、多用途ビデオコーディング（ＶＶＣ／Ｈ．２６６）規格を開発している。ＶＶＣ規格は、その前身、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）規格の圧縮効率を２倍にすることを目指している。換言すれば、ＶＶＣの目標は、半分の帯域幅を用いてＨＥＶＣ／Ｈ．２６５と同じ主観的品質を達成することである。

【0011】

[028] 半分の帯域幅を用いてＨＥＶＣ／Ｈ．２６５と同じ主観的品質を達成するために、ＪＶＥＴは、共同探索モデル（ＪＥＭ（joint exploration model））参照ソフトウェアを用いてＨＥＶＣを超える技術を開発している。符号化技術がＪＥＭに組み込まれたため、ＪＥＭはＨＥＶＣよりも実質的に高い符号化性能を達成した。ＶＣＥＧ及びＭＰＥＧは、ＨＥＶＣを超える次世代映像圧縮規格の開発を正式に開始した。

【0012】

[029] ＶＶＣ規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。ＶＶＣは、ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、MPEG2、H.263等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。

【0013】

[030] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ（又は「フレーム」）のセットである。映像取り込みデバイス（例えば、カメラ）を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末）を、このようなピクチャを時系列で表示するために用いることができる。また、いくつかの用途では、映像取り込みデバイスが、取り込まれた映像を、監督、会議開催、又は生放送などのために、映像再生デバイス（例えば、モニタを有するコンピュータ）へリアルタイムに伝送することができる。

【0014】

[031] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ（例えば、汎用コンピュータのプロセッサ）によって実行されるソフトウェア、又は特殊ハードウェアによって実装することができる。圧縮のためのモジュールは一般的に「符号器」と称され、復元のためのモジュールは一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせのうちの任意のものとして実装することができる。例えば、符号器及び復号器のハードウェア実装形態は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（DSP（digital signal processor））、特定用途向け集積回路（ASIC（application-specific integrated circuit））、フィールドプログラマブルゲートアレイ（FPGA（field-programmable gate array））、個別論理、又はこれらの任意の組み合わせなどの、回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実装アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６ｘシリーズ、又は同様のものなどの、様々なアルゴリズム又は規格によって実施され得る。いくつかの用途では、コーデックは映像を第１の符号化規格から復元し、復元された映像を、第２の符号化規格を用いて再圧縮することができる。この場合には、コーデックは「トランスコーダ」と称され得る。

【0015】

[032] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された、重要でない情報を完全に再構成することができない場合には、このような符号化プロセスは「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。

【0016】

[033] 符号化中のピクチャ（「現在のピクチャ」と称される）の有用な情報は、参照ピクチャ（例えば、以前に符号化され、再構成されたピクチャ）に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができ、これらの中でも、位置の変化に最も関心が持たれる。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。

【0017】

[034] 別のピクチャを参照することなく符号化されたピクチャ（すなわち、それがそれ自身の参照ピクチャである）は「Ｉピクチャ」と称される。以前のピクチャを参照ピクチャとして用いて符号化されたピクチャは「Ｐピクチャ」と称される。以前のピクチャ及び将来のピクチャの両方を参照ピクチャとして用いて符号化されたピクチャ（すなわち、参照は「双方向性」である）は「Ｂピクチャ」と称される。

【0018】

[035] 図１は、本開示のいくつかの実施形態に係る、例示的な映像シーケンス１００の構造を示す。映像シーケンス１００は、ライブ映像、又は取り込まれ、アーカイブされた映像であることができる。映像１００は、現実の映像、コンピュータ生成映像（例えば、コンピュータゲーム映像）、又はこれらの組み合わせ（例えば、拡張現実感効果を伴う現実の映像）であることができる。映像シーケンス１００は、映像取り込みデバイス（例えば、カメラ）、以前に取り込まれた映像を包含する映像アーカイブ（例えば、記憶デバイス内に記憶された映像ファイル）、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース（例えば、映像放送トランシーバ）から入力され得る。

【0019】

[036] 図１に示されるように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６、及び１０８を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ１０２～１０６は連続しており、ピクチャ１０６及び１０８の間にはさらなるピクチャが存在する。図１において、ピクチャ１０２はＩピクチャであり、その参照ピクチャはピクチャ１０２自身である。ピクチャ１０４はＰピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０２である。ピクチャ１０６はＢピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ１０４及び１０８である。いくつかの実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは当該ピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャはピクチャ１０２の前のピクチャであることができる。ピクチャ１０２～１０６の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、図１に示される例として限定しないことに留意されたい。

【0020】

[037] 典型的に、映像コーデックは、このようなタスクの計算の複雑性のゆえに、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらはピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット（「ＢＰＵ（basic processing unit）」）と称される。例えば、図１における構造１１０は映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８のうちの任意のもの）の例示的な構造を示す。構造１１０においては、ピクチャが４×４基本処理ユニットに分割され、それらの境界は破線として示されている。いくつかの実施形態では、基本処理ユニットは、いくつかの映像符号化規格（例えば、MPEGファミリー、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では、「マクロブロック」と、或いはいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーユニット」（「ＣＴＵ（coding tree unit）」）と称され得る。基本処理ユニットは、１２８×１２８、６４×６４、３２×３２、１６×１６、４×８、１６×３２などの、ピクチャにおける可変サイズ、或いはピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。

【0021】

[038] 基本処理ユニットは、コンピュータメモリ内に（例えば、映像フレームバッファ内に）記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであることができる。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分（Ｙ）、色情報を表現する１つ以上のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びに関連構文要素を含むことができ、ここで、ルマ及びクロマ成分は基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ツリーブロック」（「ＣＴＢ（coding tree block）」）と称され得る。基本処理ユニットに対して遂行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。

【0022】

[039] 映像符号化は複数の演算段階を有し、図２及び図３にその例が示されている。段階ごとに、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、それゆえ、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。いくつかの実施形態では、基本処理サブユニットは、いくつかの映像符号化規格（例えば、ＭＰＥＧファミリー、Ｈ．２６１、Ｈ．２６３、又はＨ．２６４／ＡＶＣ）では、「ブロック」と、或いはいくつかの他の映像符号化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、「符号化ユニット」（「ＣＵ」）と称され得る。基本処理サブユニットは、基本処理ユニットと同じ、又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットもまた、コンピュータメモリ内に（例えば、映像フレームバッファ内に）記憶された異なる種類の映像データ（例えば、Ｙ、Ｃｂ、Ｃｒ、及び関連構文要素）のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して遂行される任意の動作はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。

【0023】

[040] 例えば、モード決定段階（図２にその一例が示されている）において、符号器は、どのような予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は基本処理ユニットを複数の基本処理サブユニット（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣの場合のように、ＣＵ）に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。

【0024】

[041] 別の例として、予測段階（図２にその例が示されている）において、符号器は基本処理サブユニット（例えば、ＣＵ）のレベルで予測演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「予測ブロック（prediction block）」又は「ＰＢ」と称される）にさらに分割することができ、そのレベルで予測演算が遂行され得る。

【0025】

[042] 別の例として、変換段階（図２にその例が示されている）において、符号器は残差基本処理サブユニット（例えば、ＣＵ）のための変換演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は基本処理サブユニットをより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは「変換ブロック（transform block）」又は「ＴＢ」と称される）にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式が予測段階及び変換段階において異なってもよいことに留意されたい。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックが異なるサイズ及び数を有してもよい。

【0026】

[043] 図１の構造１１０においては、基本処理ユニット１１２は３×３基本処理サブユニットにさらに分割され、それらの境界は点線として示されている。同じピクチャの異なる基本処理ユニットは異なる方式で基本処理サブユニットに分割されてもよい。

【0027】

[044] いくつかの実装形態では、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャ領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることによって、コーデックはピクチャの異なる領域を並行して処理することができ、それゆえ、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損した、又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、それゆえ、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは２種類の領域：「スライス」及び「タイル」を提供する。また、映像シーケンス１００の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。

【0028】

[045] 例えば、図１では、構造１１０は３つの領域１１４、１１６、及び１１８に分割され、それらの境界は構造１１０の内部の実線として示されている。領域１１４は４つの基本処理ユニットを含む。領域１１６及び１１８の各々は６つの基本処理ユニットを含む。図１における構造１１０の基本処理ユニット、基本処理サブユニット、及び領域は単なる例に過ぎず、本開示はその実施形態を限定しないことに留意されたい。

【0029】

[046] 図２は、本開示のいくつかの実施形態に係る、ハイブリッド映像符号化システムの例示的な符号器２００の概略図を示す。映像符号器２００は、映像ブロック又は映像ブロックの区分若しくはサブ区分を含む、映像フレーム内のブロックのイントラ又はインター符号化を実行することができる。イントラ符号化は、所定の映像フレーム内の映像における空間的冗長性を低減するか又は取り除くために、空間的予測に依拠し得る。インター符号化は、映像シーケンスの隣接するフレーム内の映像における時間的冗長性を低減するか又は取り除くために、時間的予測に依拠し得る。イントラモードは、多くの空間ベースの圧縮モードを指し得る。インターモード（例えば、単予測又は双予測）は、多くの時間ベースの圧縮モードを指し得る。

【0030】

[047] 図２を参照すると、入力映像信号２０２は、ブロックごとに処理することができる。例えば、映像ブロックユニットは、１６×１６ピクセルブロック（例えば、マクロブロック（ＭＢ））であり得る。映像ブロックユニットのサイズは、使用される符号化技法並びに必要な精度及び効率に応じて異なり得る。ＨＥＶＣでは、拡張されたブロックサイズ（例えば、符号化ツリーユニット（ＣＴＵ））を使用して、例えば、１０８０ｐ以上の解像度の映像信号を圧縮することができる。ＨＥＶＣでは、ＣＴＵは、最大で６４×６４のルマサンプル、対応するクロマサンプル及び関連構文要素を含み得る。ＶＶＣでは、ＣＴＵのサイズは、１２８×１２８のルマサンプル、対応するクロマサンプル及び関連構文要素を含むようにさらに増加することができる。ＣＴＵは、例えば、クアッドツリー、バイナリツリー又はターナリーツリーを使用して、符号化ユニット（ＣＵ）にさらに分割することができる。ＣＵは、予測ユニット（ＰＵ）にさらに区分化することができ、ＰＵには、別個の予測方法を適用することができる。各入力映像ブロックは、空間的予測ユニット２６０又は時間的予測ユニット２６２を使用することによって処理することができる。

【0031】

[048] 空間的予測ユニット２６０は、現在のブロックを含む同じピクチャ／スライスに関する情報を使用して、現在のブロック／ＣＵに対して空間的予測（例えば、イントラ予測）を実行する。空間的予測は、現在の映像ブロックを予測するために、同じ映像ピクチャフレーム／スライスの既に符号化された近隣のブロックからのピクセルを使用することができる。空間的予測は、映像信号に固有の空間的冗長性を低減することができる。

【0032】

[049] 時間的予測ユニット２６２は、現在のブロックを含むピクチャ／スライスとは異なるピクチャ／スライスからの情報を使用して、現在のブロックに対して時間的予測（例えば、インター予測）を実行する。映像ブロックに対する時間的予測は、１つ又は複数の動きベクトルによってシグナリングすることができる。単方向時間的予測では、１つの参照ピクチャを示す１つの動きベクトルのみを使用して、現在のブロックに対する予測信号を生成する。他方では、双方向時間的予測では、各々がそれぞれの参照ピクチャを示す２つの動きベクトルを使用して、現在のブロックに対する予測信号を生成することができる。動きベクトルは、現在のブロックと参照フレーム内の１つ又は複数の関連ブロックとの間の動きの量及び方向を示し得る。複数の参照ピクチャがサポートされる場合は、映像ブロックに対して１つ又は複数の参照ピクチャインデックスを送信することができる。１つ又は複数の参照インデックスは、参照ピクチャストア又は復号化ピクチャバッファ（ＤＰＢ）２６４内のどの参照ピクチャから時間的予測信号が来るかを識別するために使用することができる。

【0033】

[050] 符号器のモード決定及び符号器制御ユニット２８０は、例えば、レート歪み最適化に基づいて、予測モードを選ぶことができる。決定された予測モードに基づいて、予測ブロックを得ることができる。予測ブロックは、加算器２１６において現在の映像ブロックから減じることができる。予測残差は、変換ユニット２０４によって変換し、量子化ユニット２０６によって量子化することができる。量子化された残差係数は、逆量子化ユニット２１０において逆量子化し、逆変換ユニット２１２において逆変換し、再構成された残差を形成することができる。再構成された残差は、加算器２２６において予測ブロックに加え、再構成された映像ブロックを形成することができる。ループフィルタリング前の再構成された映像ブロックは、イントラ予測に対する参照サンプルを提供するために使用することができる。

【0034】

[051] 再構成された映像ブロックは、ループフィルタ２６６においてループフィルタリングプロセスを経ることができる。例えば、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）及び適応ループフィルタ（ＡＬＦ）などのループフィルタリングを適用することができる。ループフィルタリング後の再構成されたブロックは、参照ピクチャストア２６４に記憶し、他の映像ブロックを符号化するためのインター予測参照サンプルを提供するために使用することができる。出力映像ビットストリーム２２０を形成するため、データを圧縮及びパックしてビットストリーム２２０を形成する前に、符号化モード（例えば、インター又はイントラ）、予測モード情報、動き情報及び量子化された残差係数をエントロピー符号化ユニット２０８に送信し、ビットレートをさらに低減することができる。

【0035】

[052] 図３は、本開示のいくつかの実施形態に係る、ハイブリッド映像符号化システムの例示的な復号器３００の概略図を示す。図３を参照すると、映像ビットストリーム３０２は、エントロピー復号化ユニット３０８において、アンパックするか又はエントロピー復号化することができる。符号化モード情報は、空間的予測ユニット３６０を選択するか又は時間的予測ユニット３６２を選択するかを決定するために使用することができる。予測モード情報は、予測ブロックを生成するために、対応する予測ユニットに送信することができる。例えば、動き補償予測は、時間的予測ブロックを形成するために、時間的予測ユニット３６２によって適用することができる。

【0036】

[053] 残差係数は、逆量子化ユニット３１０及び逆変換ユニット３１２に送信して、再構成された残差を得ることができる。予測ブロック及び再構成された残差は、３２６において合計して、ループフィルタリング前の再構成されたブロックを形成することができる。次いで、再構成されたブロックは、ループフィルター３６６においてループフィルタリングプロセスを経ることができる。例えば、デブロッキングフィルタ、ＳＡＯ及びＡＬＦなどのループフィルタリングを適用することができる。次いで、ループフィルタリング後の再構成されたブロックは、参照ピクチャストア３６４に記憶することができる。参照ピクチャストア３６４内の再構成されたデータは、復号化された映像３２０を得るために使用することも、将来の映像ブロックを予測するために使用することもできる。復号化された映像３２０は、エンドユーザが閲覧できるように、ＴＶ、ＰＣ、スマートフォン又はタブレットなどのディスプレイデバイス上に表示することができる。

【0037】

[054] 図４は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な装置４００のブロック図である。図４に示されるように、装置４００はプロセッサ４０２を含むことができる。プロセッサ４０２が、本明細書において説明される命令を実行したとき、装置４００は映像符号化又は復号化のための特殊機械になることができる。プロセッサ４０２は、情報を操作又は処理する能力を有する任意の種類の回路機構であることができる。例えば、プロセッサ４０２は、中央処理装置（又は「ＣＰＵ（central processing unit）」）、グラフィック処理装置（又は「ＧＰＵ（graphics processing unit）」）、ニューラル処理装置（「ＮＰＵ（neural processing unit）」）、マイクロコントローラユニット（「ＭＣＵ（microcontroller unit）」）、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産（ＩＰ（intellectual property））コア、プログラマブル論理アレイ（ＰＬＡ（Programmable Logic Array））、プログラマブルアレイ論理（ＰＡＬ（Programmable Array Logic））、ジェネリックアレイ論理（ＧＡＬ（Generic Array Logic））、複合プログラマブル論理装置（ＣＰＬＤ（Complex Programmable Logic Device））、フィールドプログラマブルゲートアレイ（ＦＰＧＡ（Field-Programmable Gate Array））、システムオンチップ（ＳｏＣ（System On Chip））、特定用途向け集積回路（ＡＳＩＣ（Application-Specific Integrated Circuit））、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。いくつかの実施形態では、プロセッサ４０２はまた、単一の論理構成要素としてグループ化されたプロセッサのセットであることもできる。例えば、図４に示されるように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ、及びプロセッサ４０２ｎを含む、複数のプロセッサを含むことができる。

【0038】

[055] 装置４００はまた、データ（例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの）を記憶するように構成されたメモリ４０４を含むことができる。例えば、図４に示されるように、記憶されるデータは、プログラム命令（例えば、図２又は図３における段階を実施するためのプログラム命令）、並びに処理のためのデータを含むことができる。プロセッサ４０２は（例えば、バス４１０を介して）プログラム命令、及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を遂行することができる。メモリ４０４は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。いくつかの実施形態では、メモリ４０４は、ランダムアクセスメモリ（ＲＡＭ（random-access memory））、リードオンリーメモリ（ＲＯＭ（read-only memory））、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ（security digital））カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ（compact flash））カード、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。メモリ４０４はまた、単一の論理構成要素としてグループ化されたメモリのグループ（図４には示されていない）であることもできる。

【0039】

[056] バス４１０は、内部バス（例えば、ＣＰＵ－メモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート）、又は同様のものなどの、装置４００の内部の構成要素の間でデータを転送する通信デバイスであることができる。

【0040】

[057] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ４０２及び他のデータ処理回路は、本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、或いはソフトウェア、ハードウェア、又はファームウェアの組み合わせとして実装され得る。加えて、データ処理回路は単一の独立モジュールであることができるか、或いは装置４００の任意の他の構成要素に完全に、又は部分的に組み合わせられ得る。

【0041】

[058] 装置４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの）との有線又は無線通信を提供するためのネットワークインターフェース４０６をさらに含むことができる。いくつかの実施形態では、ネットワークインターフェース４０６は、ネットワークインターフェースコントローラ（ＮＩＣ（network interface controller））、無線周波数（ＲＦ（radio frequency））モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth（登録商標）アダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ（near-field communication）」）アダプタ、セルラーネットワークチップ、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。

【0042】

[059] いくつかの実施形態では、任意選択的に、装置４００は、１つ以上の周辺デバイスへの接続を提供するための周辺インターフェース４０８をさらに含むことができる。図４に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス（例えば、マウス、タッチパッド、又はタッチスクリーン）、キーボード、ディスプレイ（例えば、陰極線管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ）、映像入力デバイス（例えば、カメラ、又は映像アーカイブに結合された入力インターフェース）、或いは同様のものを含むことができる。

【0043】

[060] 映像コーデックは装置４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装され得ることに留意されたい。例えば、図２の符号器２００又は図３の復号器３００の一部又は全ての段階は、メモリ４０４内にロードされ得るプログラム命令などの、装置４００の１つ以上のソフトウェアモジュールとして実装され得る。別の例として、図２の符号器２００又は図３の復号器３００の一部又は全ての段階は、特殊データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ、又は同様のもの）などの、装置４００の１つ以上のハードウェアモジュールとして実装され得る。

【0044】

[061] 量子化及び逆量子化機能ブロック（例えば、図２の量子化ユニット２０６及び逆量子化ユニット２１０、図３の逆量子化ユニット３１０）では、量子化パラメータ（ＱＰ）は、予測残差に適用される量子化（及び逆量子化）の量を決定するために使用される。ピクチャ又はスライスの符号化のために使用される初期ＱＰ値は、例えば、ピクチャパラメータセット（ＰＰＳ）のｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６という構文要素を使用して及びスライスヘッダのｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａという構文要素を使用して、高レベルでシグナリングすることができる。さらに、ＱＰ値は、量子化グループの細分性で送信された（sent at the granularity）デルタＱＰ値を使用して、各ＣＵに対して局所レベルで適応させることができる。

【0045】

[062] 本開示のいくつかの実施形態では、４つのクロマサンプリングフォーマット（すなわち、モノクロ、４：２：０、４：２：２、４：４：４）がサポートされている。モノクロサンプリングでは、１つのサンプルアレイのみが存在し、それは、名目上、ルマアレイと考えられる。４：２：０のサンプリングでは、２つのクロマアレイの各々は、ルマアレイの半分の高さ及び半分の幅を有する。４：２：２のサンプリングでは、２つのクロマアレイの各々は、ルマアレイと同じ高さ及びルマアレイの半分の幅を有する。４：４：４のサンプリングでは、高レベルフラグ（例えば、図５の表１のｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素）設定に応じて、モノクロサンプリングされたピクチャとして３つの色平面を別々に処理することも、２つのクロマアレイの各々がルマアレイと同じ高さ及び幅を有することも可能である。図５は、本開示のいくつかの実施形態に係る、ＶＶＣにおける例示的なクロマフォーマットを示す例示的な表１を示す。図５の表１に示されるように、ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣはそれぞれ、クロマアレイの幅及び高さを表す。

【0046】

[063] 図６は、本開示のいくつかの実施形態に係る、例示的なクロマフォーマット関連構文を示す例示的な表２を示す。図６の表２に示されるように（強調部分はイタリック体で示されている）、シーケンスに対するクロマフォーマットは、シーケンスパラメータセット（ＳＰＳ）でシグナリングされる。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅの変数は、以下の規則を使用して、シグナリングされたクロマフォーマットを使用して導出することができる。ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素の値に応じて、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅの変数の値は、以下の通り割り当てられる。
－ ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素が０に等しい場合は、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃと等しくなるように設定される。
－ そうでなければ、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅは、０に等しくなるように設定される。

【0047】

[064] ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しいということは、クロマ成分が存在しないモノクロフォーマットを表すことに留意されたい。

【0048】

[065] 本開示の実施形態に従い、クロマ符号化性能を向上させるために、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、適応色変換（ＡＣＴ）及びパレットモードを含む、様々な符号化ツールをサポートすることができる。本開示では、これらのツールは、サブプロセスと称される。

【0049】

[066] 本開示の実施形態は、クロマ残差が共同で符号化されるモードをサポートすることができる。このモードを使用して変換ユニット（ＴＵ）が符号化される際は、Ｃｂ及びＣｒクロマ残差を別々にシグナリングする代わりに、単一の共同クロマ残差ブロックのみがシグナリングされる。図７は、本開示のいくつかの実施形態に係る、クロマ残差の例示的な再構成を示す例示的な表３を示す。図７の表３に示されるように、２つのクロマ残差（ｒｅｓＣｂ及びｒｅｓＣｒ）ブロックは、送信された共同クロマ残差ブロック（ｒｅｓＪｏｉｎｔＣ）、ｔｕ＿ｃｂｆ＿ｃｂ、ｔｕ＿ｃｂｆ＿ｃｒ及びＣＳｉｇｎを使用して導出される。ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒという構文要素は、残差が存在するか否かを示す、ＴＵレベルでシグナリングされた２つのフラグである。ＣＳｉｇｎは、スライスヘッダで指定される符号値である。

【0050】

[067] 現在のシーケンスに対してＪＣＣＲモードがサポートされているかどうかを示すため、ＳＰＳのフラグ（例えば、図８の表４のｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素）が最初にシグナリングされる。図８は、本開示のいくつかの実施形態に係る、例示的なＪＣＣＲモード関連構文を示す例示的な表４を示す。表４に示されるように（強調部分はイタリック体で示されている）、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が真である際は、ピクチャヘッダ、スライスヘッダ及び変換ユニットのフラグがさらにシグナリングされる。

【0051】

[068] 本開示の実施形態は、スクリーンコンテンツ符号化のためのブロック差分パルス符号変調をサポートすることができる。Ｍ（高さ）×Ｎ（幅）のブロックサイズの場合、ｒ_ｉ，ｊ（０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１）は予測残差であるとする。Ｑ（ｒ_ｉ，ｊ）（０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１）は、残差ｒ_ｉ，ｊの量子化バージョンを示すとする。ＢＤＰＣＭは、量子化された残差値に適用され、要素

【数1】

を有する修正されたＭ×Ｎアレイ

【数2】

が得られる。式中、

【数3】

は、その近隣の量子化された残差値から予測され、復号器に送信される。垂直ＢＤＰＣＭ予測モードの場合（０≦ｊ≦（Ｎ－１））は、以下の式（１）を使用して

【数4】

を導出することができる。

【数5】

【0052】

[069] 水平ＢＤＰＣＭ予測モードの場合（０≦ｉ≦（Ｍ－１））は、以下の式（２）を使用して

【数6】

を導出することができる。

【数7】

【0053】

[070] 復号器側では、上記のプロセスを逆行させ、以下の通り、Ｑ（ｒ_ｉ，ｊ）（０≦ｉ≦Ｍ－１、０≦ｊ≦Ｎ－１）を演算する。

【数8】

、垂直ＢＤＰＣＭが使用される場合 式（３）

【数9】

、水平ＢＤＰＣＭが使用される場合 式（４）

【0054】

[071] 図９は、本開示のいくつかの実施形態に係る、例示的なＢＤＰＣＭ関連構文を示す例示的な表５を示す。シーケンスレベルでは、ＢＤＰＣＭ有効化フラグ（例えば、ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素）がＳＰＳでシグナリングされる。このフラグは、図９の表５に示されるように（強調部分はイタリック体で示されている）、変換スキップモードが有効にされる場合にのみＳＰＳでシグナリングされる。ＢＤＰＣＭが有効にされると、フラグ（例えば、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｆｌａｇ又はｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇという構文要素）がＣＵレベルで送信される。このフラグは、通常のイントラ符号化が使用されているか又はＢＤＰＣＭが使用されているかを示す。ＢＤＰＣＭが使用されている場合は、予測が水平か又は垂直かを示すために、ＢＤＰＣＭ予測方向フラグ（例えば、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｌｕｍａ＿ｄｉｒ＿ｆｌａｇ又はｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｄｉｒ＿ｆｌａｇという構文要素）が送信される。

【0055】

[072] 本開示の実施形態は、４：４：４のクロマフォーマットで符号化するスクリーンコンテンツに対して使用するためのパレットモードをサポートする。図１０は、本開示のいくつかの実施形態に係る、パレットモードで符号化された例示的なブロックの概略図を示す。図１０に示されるように、パレットモードが利用される場合は、ＣＵ（例えば、ブロック１０００）のサンプル値（例えば、位置１００１～１００４）は、少数の代表的なカラー値のセットによって表される。セットは、パレット（例えば、パレット１０１０）と称される。パレットカラーに近い値を有するピクセルの場合、パレットインデックスがシグナリングされる。また、エスケープシンボルの後に続けて量子化された成分値をシグナリングすることによって、パレットの外側にあるサンプルを指定することも可能である。

【0056】

[073] 図１１は、本開示のいくつかの実施形態に係る、パレットモードが有効にされるかどうかをシグナリングするための例示的なパレットモード関連構文を示す例示的な表６を示す。図１１の表６に示されるように（強調部分はイタリック体で示されている）、シーケンスのクロマフォーマットが４：４：４である場合は、このシーケンスにおいてパレットモードが有効にされるかどうかを示すために、ＳＰＳのフラグ（例えば、ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素）がシグナリングされる。パレットモードが有効にされる際は、ＣＵサイズが６４×６４以下である場合はＣＵレベルで、パレットモードが使用されるかどうかを示すフラグが送信される。

【0057】

[074] 本開示の実施形態は、４：４：４のクロマフォーマットにおける適応色変換をサポートする。色空間変換は、残差領域で行われる。図１２は、本開示のいくつかの実施形態に係る、適応色変換（ＡＣＴ）の例示的な復号化プロセス１２００の概略図を示す。図１２に示されるように、逆ＡＣＴモジュール１２０４は、ＹＣｇＣｏ領域からオリジナル領域に残差を変換して戻すために使用される。具体的には、以下の式（５）及び（６）ではそれぞれ、順方向及び逆ＹＣｇＣｏ色変換行列が適用される。Ｃ_０、Ｃ_１及びＣ_２は、オリジナル領域のピクセル値を表し、Ｃ’_０、Ｃ’_１及びＣ’_２は、ＹＣｇＣｏ領域のピクセル値を表す。

【数10】

【0058】

[075] 図１３は、本開示のいくつかの実施形態に係る、例示的なパレットモード関連構文を示す例示的な表７を示す。図１３の表７に示されるように、シーケンスのクロマフォーマットが４：４：４である際は、このシーケンスにおいてＡＣＴが有効にされるかどうかを示すために、ＳＰＳのフラグ（例えば、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素）がシグナリングされる。ＡＣＴが有効にされる際は、ＡＣＴが適用されるか否かを示すフラグがＣＵレベルで送信される。

【0059】

[076] 本開示のいくつかの実施形態では、上述のクロマ符号化ツールのいくつかがサポートされ、符号化効率を向上させるためにクロマ成分に適用される。しかし、クロマフォーマットの上述の設定が原因で、これらのツールを適用するために利用可能なクロマ成分がない場合がある。特に、シーケンスが４：４：４のクロマフォーマットであり、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素が「真」に等しい際は、３つのすべてのクロマ成分は、モノクロと見なされ、事実上、このシーケンスを符号化するためのクロマ成分はない。この場合には、ＪＣＣＲ、ＢＤＰＣＭ及びＡＣＴフラグが依然としてＳＰＳでシグナリングされ、それは冗長である。さらに、パレットモード設計における不一致が存在する。パレットモードは、モノクロの場合（例えば、４：０：０の色フォーマット）は有効にすることはできないが、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素が「真」に等しい４：４：４のクロマフォーマットに対しては有効にすることができる。

【0060】

[077] 本開示は、ＪＣＣＲ、ＢＤＰＣＭ、パレットモード及びＡＣＴをクロマ成分に適用するための符号化効率を向上させるための装置及び方法を提供する。開示される実施形態によれば、映像コーデックは、クロマ成分が存在するかどうかに基づいて、ＪＣＣＲ、ＢＤＰＣＭ、パレットモード及び／又はＡＣＴを有効にするかどうかを決定する。

【0061】

[078] いくつかの実施形態では、ＳＰＳのＪＣＣＲ、ＢＤＰＣＭ及びＡＣＴフラグは、クロマ成分が存在する際にのみシグナリングされる。図１４は、本開示のいくつかの実施形態に係る、既存の構文に対して提案された変更を示す例示的な表８を示し、図１５は、本開示のいくつかの実施形態に係る、既存の構文に対して提案された変更を示す例示的な表９を示す。図１４の表８及び図１５の表９に示されるように、既存の構文に対して提案された変更は、ボックス１４０１～１４０５及びボックス１５０５～１５０５にそれぞれイタリック体で示されている。

【0062】

[079] 図１４の表８及び図１５の表９では、「ＣｈｒｏｍａＡｒｒａｙＴｙｐｅ！＝０」という条件は、「ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ！＝１＆＆ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ！＝０」と同等に置き換えることができる。

【0063】

[080] 図１６は、本開示のいくつかの実施形態に係る、既存の構文に対して提案された変更を示す例示的な表１０を示す。図１６の表１０に示されるように、既存の構文に対して提案された変更は、ボックス１６０１～１６０４にイタリック体で示されている。ＳＰＳのパレットフラグ（例えば、ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素）は、クロマフォーマットが４：４：４である際及びクロマ成分が存在する際（例えば、ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素が０に等しい）にシグナリングされる。図１６の表１０では、「ＣｈｒｏｍａＡｒｒａｙＴｙｐｅ！＝０」という条件は、「ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ！＝１＆＆ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ！＝０」と置き換えることができる。

【0064】

[081] 図１７は、本開示のいくつかの実施形態に係る、既存の構文に対して提案された変更を示す例示的な表１１を示す。図１７の表１１に示されるように、既存の構文に対して提案された変更は、ボックス１７０１～１７０５にイタリック体で示されている。図１７の表１１に示されるように、パレットモードは、４：４：４と４：０：０の両方のクロマフォーマットに対して有効にされる。「ＣｈｒｏｍａＡｒｒａｙＴｙｐｅ！＝０」という条件は、「ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ！＝１＆＆ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ！＝０」と置き換えることができる。

【0065】

[082] いくつかの実施形態では、クロマ成分が存在しない際には、ＪＣＣＲ、ＢＤＰＣＭ及びＡＣＴフラグをＳＰＳでシグナリングしないというよりむしろ、これらのフラグにビットストリーム適合が追加される。

【0066】

[083] ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が「０」に等しいということは、クロマ残差の共同コーディングが無効にされることを指定する。ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が「１」に等しいということは、クロマ残差の共同コーディングが有効にされることを指定する。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しい際にｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいことが、ビットストリーム適合の要件である。

【0067】

[084] ｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が「１」に等しいということは、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇがイントラ符号化ユニットに対する符号化ユニット構文に存在することを指定する。ｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が「０」に等しいということは、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｆｌａｇがイントラ符号化ユニットに対する符号化ユニット構文に存在しないことを指定する。存在しない際は、ｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいことが推測される。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しい際にｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいことが、ビットストリーム適合の要件である。

【0068】

[085] ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が１に等しいということは、適応色変換を使用することができ、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが符号化ユニット構文に存在し得ることを指定する。ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素が０に等しいということは、適応色変換は使用されず、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが符号化ユニット構文に存在しないことを指定する。ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない際は、０に等しいことが推測される。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しい際にｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいことが、ビットストリーム適合の要件である。

【0069】

[086] 上記のビットストリーム適合条件では、「ＣｈｒｏｍａＡｒｒａｙＴｙｐｅ！＝０」という条件は、「ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ！＝１＆＆ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ！＝０」と置き換えることができる。

【0070】

[087] 図１８は、本開示のいくつかの実施形態に係る、例示的な映像処理方法１８００のフローチャートを示す。方法１８００は、符号器（例えば、図２の符号器２００）、復号器（例えば、図３の復号器３００）、又は、装置（例えば、図４の装置４００）の１つ若しくは複数のソフトウェア若しくはハードウェアコンポーネントによって実行することができる。例えば、プロセッサ（例えば、図４のプロセッサ４０２）が方法１８００を実行することができる。いくつかの実施形態では、方法１８００は、コンピュータ（例えば、図４の装置４００）によって実行されるプログラムコードなどのコンピュータ実行可能命令を含む、コンピュータ可読媒体において具体化されるコンピュータプログラム製品によって実施することができる。

【0071】

[088] ステップ１８０１では、クロマ成分がフレームのシーケンスに含まれているかどうかに関する決定を行うことができる。例えば、フレームのシーケンスは、入力映像（例えば、図２の入力映像２０２）又はビットストリーム（例えば、図２のビットストリーム２２０若しくは図３のビットストリーム３０２）であり得る。いくつかの実施形態では、方法１８００は、クロマフォーマット及び別個の色平面フラグに基づいて、クロマ成分がシーケンスに含まれていると決定することを含み得る。クロマフォーマットは、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む。例えば、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅの変数は、以下の通り決定することができる。
－ ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素が０に等しい場合は、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅは、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃと等しくなるように設定される。
－ そうでなければ、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅは、０に等しくなるように設定される。

【0072】

[089] ｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇ及びｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃという構文要素は、図５の表１に従って決定することができる。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しいということは、シーケンスにクロマ成分が存在しないことを表し、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しくないということは、シーケンスにクロマ成分が存在することを表す。

【0073】

[090] いくつかの実施形態では、方法１８００は、別個の色平面フラグ（例えば、図５の表１又は図６の表２のｓｅｐａｒａｔｅ＿ｃｏｌｏｕｒ＿ｐｌａｎｅ＿ｆｌａｇという構文要素）が真であるか又は偽であるかを決定することと、別個の色平面フラグが偽であると決定されることに応答して、クロマ成分がシーケンスに含まれていると決定することとを含み得る。

【0074】

[091] ステップ１８０３では、クロマ成分がシーケンスに含まれていると決定することに応答して、クロマ成分を処理するために、サブプロセスを起動することができる。サブプロセスは、ＪＣＣＲ、ＢＤＰＣＭ、パレットモード又はＡＣＴのうちの１つ又は複数を含み得る。いくつかの実施形態では、方法１８００は、サブプロセスが有効にされるかどうかを示すサブプロセス有効化フラグをＳＰＳでシグナリングすることを含み得る。例えば、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素（例えば、図１４の表８、図１５の表９、図１６の表１０又は図１７の表１１に示されるような）は、ＪＣＣＲが有効にされるかどうかを示すためにシグナリングすることができる。ｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素（例えば、図１４の表８、図１５の表９、図１６の表１０又は図１７の表１１に示されるような）は、ＢＤＰＣＭが有効にされるかどうかを示すためにシグナリングすることができる。ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素（例えば、図１６の表１０に示されるような）は、パレットモードが有効にされるかどうかを示すためにシグナリングすることができる。ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素（例えば、図１４の表８、図１５の表９、図１６の表１０又は図１７の表１１に示されるような）は、ＡＣＴが有効にされるかどうかを示すためにシグナリングすることができる。いくつかの実施形態では、方法１８００は、サブプロセスが有効にされることを示すサブプロセス有効化フラグに応答して、クロマ成分を処理するためのサブプロセスを起動することも含み得る。いくつかの実施形態では、クロマ成分がシーケンスに含まれていないと決定することに応答して、サブプロセス有効化フラグは、サブプロセスが有効にされないことを示す。例えば、ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが０に等しい場合は、ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｐａｌｅｔｔｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ又はｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇという構文要素は０に等しくなるようにすることができる。

【0075】

[092] いくつかの実施形態では、シーケンスは、起動されたサブプロセスを使用して処理することができる。例えば、シーケンスは、図８の表４、図９の表５、図１１の表６、図８の表４、図１３の表７、図１４の表８、図１５の表９、図１６の表１０又は図１７の表１１に基づいて処理することができる。

【0076】

[093] 本開示の実施形態は、別の実施形態又は他のいくつかの実施形態との組合せが可能であることが理解されよう。

【0077】

[094] 実施形態は、以下の条項を用いてさらに記述することができる：
１．映像処理方法であって、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することとを含み、
サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、方法。
２．クロマ成分がシーケンスに含まれているかどうかを決定することが、
クロマフォーマット及び別個の色平面フラグに基づいて、クロマ成分がシーケンスに含まれていると決定すること
を含む、条項１に記載の方法。
３．クロマフォーマットが、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む、条項２に記載の方法。
４．クロマ成分がシーケンスに含まれているかどうかを決定することが、
別個の色平面フラグの値を決定することと、
別個の色平面フラグが第１の値を有すると決定されることに応答して、クロマ成分がシーケンスに含まれていると決定することと
を含む、条項１～３のいずれか一項に記載の方法。
５．クロマ成分を処理するためのサブプロセスを起動することが、
シーケンスパラメータセット（ＳＰＳ）で、サブプロセスが有効にされるかどうかを示すフラグをシグナリングすること
を含む、条項１～４のいずれか一項に記載の方法。
６．クロマ成分を処理するためのサブプロセスを起動することが、
サブプロセスが有効にされることを示す値を有するフラグに応答して、クロマ成分を処理するためのサブプロセスを起動すること
を含む、条項５に記載の方法。
７．
クロマ成分がシーケンスに含まれていないと決定することに応答して、サブプロセスが無効にされることを示す値にフラグを設定すること
をさらに含む、条項５又は６に記載の方法。
８．
起動されたサブプロセスを使用してシーケンスを処理すること
をさらに含む、条項１～７のいずれか一項に記載の方法。
９．映像処理装置であって、
命令を記憶するための少なくとも１つのメモリと、
少なくとも１つのプロセッサと
を含み、少なくとも１つのプロセッサが、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
クロマ成分がシーケンスに含まれていると決定することに応答して、クロマ成分を処理するためのサブプロセスを起動することと
を装置に実行させるために命令を実行するように構成され、
サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、装置。
１０．少なくとも１つのプロセッサが、
クロマフォーマット及び別個の色平面フラグに基づいて、クロマ成分がシーケンスに含まれていると決定すること
を装置に実行させるために命令を実行するように構成される、条項９に記載の装置。
１１．クロマフォーマットが、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む、条項１０に記載の装置。
１２．少なくとも１つのプロセッサが、
別個の色平面フラグの値を決定することと、
別個の色平面フラグが第１の値を有すると決定されることに応答して、クロマ成分がシーケンスに含まれていると決定することと
を装置に実行させるために命令を実行するように構成される、条項９～１１のいずれか一項に記載の装置。
１３．少なくとも１つのプロセッサが、
シーケンスパラメータセット（ＳＰＳ）で、サブプロセスが有効にされるかどうかを示すフラグをシグナリングすること
を装置に実行させるために命令を実行するように構成される、条項９～１２のいずれか一項に記載の装置。
１４．少なくとも１つのプロセッサが、
サブプロセスが有効にされることを示す値を有するフラグに応答して、クロマ成分を処理するためのサブプロセスを起動すること
を装置に実行させるために命令を実行するように構成される、条項１３に記載の装置。
１５．少なくとも１つのプロセッサが、
クロマ成分がシーケンスに含まれていないと決定することに応答して、サブプロセスが無効にされることを示す値にフラグを設定すること
を装置に実行させるために命令を実行するように構成される、条項１３又は１４に記載の装置。
１６．少なくとも１つのプロセッサが、
起動されたサブプロセスを使用してシーケンスを処理すること
を装置に実行させるために命令を実行するように構成される、条項９～１５のいずれか一項に記載の装置。
１７．命令のセットを記憶する非一時的コンピュータ可読記憶媒体であって、命令のセットが、
クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
クロマ成分がシーケンスに含まれていると決定することに応答して、シーケンスを処理するためのサブプロセスを起動することと
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能であり、
サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、ブロック差分パルス符号変調（ＢＤＰＣＭ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、非一時的コンピュータ可読記憶媒体。
１８．命令のセットが、
クロマフォーマット及び別個の色平面フラグに基づいて、クロマ成分がシーケンスに含まれていると決定すること
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項１７に記載の非一時的コンピュータ可読記憶媒体。
１９．クロマフォーマットが、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む、条項１８に記載の非一時的コンピュータ可読記憶媒体。
２０．命令のセットが、
別個の色平面フラグの値を決定することと、
別個の色平面フラグが第１の値を有すると決定されることに応答して、クロマ成分がシーケンスに含まれていると決定することと
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項１７～１９のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
２１．命令のセットが、
シーケンスパラメータセット（ＳＰＳ）で、サブプロセスが有効にされるかどうかを示すフラグをシグナリングすること
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項１７～２０のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
２２．命令のセットが、
サブプロセスが有効にされることを示す値を有するフラグに応答して、クロマ成分を処理するためのサブプロセスを起動すること
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項２１に記載の非一時的コンピュータ可読記憶媒体。
２３．命令のセットが、
クロマ成分がシーケンスに含まれていないと決定することに応答して、サブプロセスが無効にされることを示す値にフラグを設定すること
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項２１又は２２に記載の非一時的コンピュータ可読記憶媒体。
２４．命令のセットが、
起動されたサブプロセスを使用してシーケンスを処理すること
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能である、条項１７～２３のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。

【0078】

[095] いくつかの実施形態では、また、命令を含む非一時的コンピュータ可読記憶媒体が提供され、命令はデバイス（本開示の符号器及び復号器など）によって、上述の方法を遂行するためにも実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ又は任意の他のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、１つ以上のプロセッサ（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース、及び／又はメモリを含み得る。

【0079】

[096] 「第１（first）」及び「第２（second）」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作の間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「備える（comprising）」、「有する（having）」、「包含する（containing）」、及び「含む（including）」、並びに他の同様の形式は、意味が同等であり、これらの単語のうちの任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されない、又は列挙された要素若しくは要素群のみに限定されることを意味されないという点で、オープンエンドなものであることを意図される。

【0080】

[097] 本明細書において使用するとき、別途特に断りのない限り、用語「又は（or）」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、データベースがＡ又はＢを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、Ａ、或いはＢ、或いはＡ及びＢを含み得る。第２の例として、データベースがＡ、Ｂ、又はＣを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、Ａ、Ｂ、若しくはＣ、又はＡ及びＢ、Ａ及びＣ、若しくはＢ及びＣ、又はＡ及びＢ及びＣを含み得る。

【0081】

[098] 上述の実施形態は、ハードウェア、又はソフトウェア（プログラムコード）、或いはハードウェア及びソフトウェアの組み合わせによって実装され得ることが理解される。ソフトウェアによって実装される場合には、それは上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたときに、本開示の方法を遂行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、或いはハードウェア及びソフトウェアの組み合わせによって実装され得る。当業者は、上述のモジュール／ユニットのうちの複数のものを１つのモジュール／ユニットとして組み合わせることができ、上述のモジュール／ユニットの各々を複数のサブモジュール／サブユニットにさらに分割され得ることも理解するであろう。

【0082】

[099] 上述の明細書において、実施形態は、実装形態ごとに異なり得る数多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応及び変更を行うことができる。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。明細書及び実施例は例としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は添付の請求項によって指示される。また、図に示されるステップの配列は単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。それゆえ、当業者は、これらのステップは、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。

【0083】

[0100] 図面及び明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対して多くの変形及び変更を行うことができる。したがって、特定の用語が採用されていても、これらは単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2022-09-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

映像処理方法であって、
クロマフォーマットに基づいて、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動するかどうかをシグナリングする第１のフラグを送信することであって、前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、送信することと、
前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記シーケンスを処理するための前記サブプロセスを起動しないと決定することとを含み、
前記第１のフラグは、前記クロマ成分が前記シーケンスに含まれていないと決定された場合、送信されない、方法。

【請求項2】

前記クロマ成分が前記シーケンスに含まれているかどうかを決定することが、
別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を含む、請求項１に記載の方法。

【請求項3】

前記クロマフォーマットが、モノクロタイプ、４：２：０のサンプリングタイプ、４：２：２のサンプリングタイプ又は４：４：４のサンプリングタイプを含む、請求項２に記載の方法。

【請求項4】

前記クロマ成分が前記シーケンスに含まれているかどうかを決定することが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を含む、請求項１に記載の方法。

【請求項5】

前記クロマ成分を処理するための前記サブプロセスを起動することが、
前記サブプロセスの前記ＪＣＣＲについて、前記クロマフォーマットが前記モノクロタイプであると決定することと、
前記クロマフォーマットがモノクロタイプであることに応答して、前記第１のフラグを送信することを停止することであって、このことは、前記第１のフラグが０に等しいことを示す、停止することと
を含む、請求項３に記載の方法。

【請求項6】

前記クロマ成分を処理するための前記サブプロセスを起動することが、
前記サブプロセスの前記ＡＣＴについて、前記クロマフォーマットが前記４：４：４のサンプリングタイプであると決定することと、
前記クロマフォーマットが前記４：４：４のサンプリングタイプであることに応答して、前記第１のフラグを送信することと
を含む、請求項３に記載の方法。

【請求項7】

前記サブプロセスの前記パレットモードについて、前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであると決定することと、
前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであることに応答して、前記第１のフラグを送信することと
をさらに含む、請求項３に記載の方法。

【請求項8】

前記起動されたサブプロセスを使用して前記シーケンスを処理すること
をさらに含む、請求項１に記載の方法。

【請求項9】

映像処理装置であって、
命令を記憶するための少なくとも１つのメモリと、
少なくとも１つのプロセッサと
を含み、前記少なくとも１つのプロセッサが、
クロマフォーマットに基づいて、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動するかどうかをシグナリングする第１のフラグを送信することであって、前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、送信することと、
前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記シーケンスを処理するための前記サブプロセスを起動しないと決定することと
を装置に実行させるために前記命令を実行するように構成され、
前記第１のフラグは、前記クロマ成分が前記シーケンスに含まれていないと決定された場合、送信されない、装置。

【請求項10】

前記少なくとも１つのプロセッサが、
別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項11】

前記少なくとも１つのプロセッサが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項12】

前記少なくとも１つのプロセッサが、
前記サブプロセスの前記ＪＣＣＲについて、前記クロマフォーマットがモノクロタイプであると決定することと、
前記クロマフォーマットが前記モノクロタイプであることに応答して、前記第１のフラグを送信することを停止することであって、このことは、前記第１のフラグが０に等しいことを示す、停止することと、
前記サブプロセスの前記ＡＣＴについて、前記クロマフォーマットが４：４：４のサンプリングタイプであると決定することと、
前記クロマフォーマットが前記４：４：４のサンプリングタイプであることに応答して、前記第１のフラグを送信することと
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項13】

前記少なくとも１つのプロセッサが、
前記サブプロセスの前記パレットモードについて、前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであると決定することと、
前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであることに応答して、前記第１のフラグを送信することと
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項14】

前記少なくとも１つのプロセッサが、
前記起動されたサブプロセスを使用して前記シーケンスを処理すること
を装置に実行させるために前記命令を実行するように構成される、請求項９に記載の装置。

【請求項15】

命令のセットを記憶する非一時的コンピュータ可読記憶媒体であって、前記命令のセットが、
クロマフォーマットに基づいて、クロマ成分がフレームのシーケンスに含まれているかどうかを決定することと、
前記クロマ成分が前記シーケンスに含まれていると決定することに応答して、前記シーケンスを処理するためのサブプロセスを起動するかどうかをシグナリングする第１のフラグを送信することであって、前記サブプロセスが、クロマ残差の共同コーディング（ＪＣＣＲ）、パレットモード又は適応色変換（ＡＣＴ）のうちの１つ又は複数を含む、送信することと、
前記クロマ成分が前記シーケンスに含まれていないと決定することに応答して、前記シーケンスを処理するための前記サブプロセスを起動しないと決定することと
を映像処理装置に実行させるために、１つ又は複数の処理デバイスによって実行可能であり、
前記第１のフラグは、前記クロマ成分が前記シーケンスに含まれていないと決定された場合、送信されない、非一時的コンピュータ可読記憶媒体。

【請求項16】

前記命令のセットが、
別個の色平面フラグに基づいて、前記クロマ成分が前記シーケンスに含まれていると決定すること
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記命令のセットが、
別個の色平面フラグの値を決定することと、
前記別個の色平面フラグが第１の値を有すると決定されることに応答して、前記クロマ成分が前記シーケンスに含まれていると決定することと
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

前記命令のセットが、
前記サブプロセスの前記ＪＣＣＲについて、前記クロマフォーマットがモノクロタイプであると決定することと、
前記クロマフォーマットが前記モノクロタイプであることに応答して、前記第１のフラグを送信することを停止することであって、このことは、前記第１のフラグが０に等しいことを示す、停止することと、
前記サブプロセスの前記ＡＣＴについて、前記クロマフォーマットが４：４：４のサンプリングタイプであると決定することと、
前記クロマフォーマットが前記４：４：４のサンプリングタイプであることに応答して、前記第１のフラグを送信することと
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

前記命令のセットが、
前記サブプロセスの前記パレットモードについて、前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであると決定することと、
前記クロマフォーマットが、前記モノクロタイプ、前記４：２：０のサンプリングタイプ、前記４：２：２のサンプリングタイプ又は前記４：４：４のサンプリングタイプのうちの１つであることに応答して、前記第１のフラグを送信することと
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

前記命令のセットが、
前記起動されたサブプロセスを使用して前記シーケンスを処理すること
を前記映像処理装置に実行させるために、前記１つ又は複数の処理デバイスによって実行可能である、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項21】

前記第１のフラグがＪＣＣＲフラグ及びＡＣＴフラグを含み、前記方法が、
前記クロマ成分が前記シーケンスに含まれている場合、シーケンスパラメータセット（ＳＰＳ）で、前記ＪＣＣＲフラグ及び前記ＡＣＴフラグをシグナリングすること
を含む、請求項１に記載の方法。

【国際調査報告】