(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161014
(43)【公開日】2024-11-15
(54)【発明の名称】ビデオコーディングのための方法および装置
(51)【国際特許分類】
H04N 19/103 20140101AFI20241108BHJP
H04N 19/176 20140101ALI20241108BHJP
H04N 19/186 20140101ALI20241108BHJP
H04N 19/157 20140101ALI20241108BHJP
H04N 19/593 20140101ALI20241108BHJP
【ＦＩ】
H04N19/103
H04N19/176
H04N19/186
H04N19/157
H04N19/593
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024103255
(22)【出願日】2024-06-26
(62)【分割の表示】P 2022554375の分割
【原出願日】2021-09-07
(31)【優先権主張番号】63/126,425
(32)【優先日】2020-12-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/464,255
(32)【優先日】2021-09-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】リャン・ジャオ
(72)【発明者】
【氏名】シン・ジャオ
(72)【発明者】
【氏名】シャン・リュウ
(57)【要約】
【課題】入力ビデオ信号における冗長情報を圧縮により低減する。
【解決手段】本開示の装置は、ビデオビットストリームにおけるコーディングユニットの予測情報を復号する処理回路を含む。処理回路は、予測情報に基づいて、コーディングユニットに関連付けられた輝度および色度ブロックが異なるパーティショニングツリーを有するかどうかを判定し、輝度および色度ブロックが異なるパーティショニングツリーを有する場合、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定し、予測情報に含まれる第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定し、輝度および色度ブロックに基づいてコーディングユニットを再構築する。
【選択図】図４
【解決手段】本開示の装置は、ビデオビットストリームにおけるコーディングユニットの予測情報を復号する処理回路を含む。処理回路は、予測情報に基づいて、コーディングユニットに関連付けられた輝度および色度ブロックが異なるパーティショニングツリーを有するかどうかを判定し、輝度および色度ブロックが異なるパーティショニングツリーを有する場合、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定し、予測情報に含まれる第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定し、輝度および色度ブロックに基づいてコーディングユニットを再構築する。
【選択図】図４
【特許請求の範囲】
【請求項1】
デコーダにおいてビデオをコーディングする方法であって、
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記コーディングユニットを再構築するステップと、を含む
ことを特徴とする方法。
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記コーディングユニットを再構築するステップと、を含む
ことを特徴とする方法。
【請求項2】
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが同じパーティショニングツリーを有することに応答して、
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップは、
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を含む、
ことを特徴とする請求項１に記載の方法。
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項4】
前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップは、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を含む、
ことを特徴とする請求項１記載の方法。
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を含む、
ことを特徴とする請求項１記載の方法。
【請求項5】
前記輝度ブロックのブロックサイズは、前記色度ブロックのブロックサイズよりも大きく、前記方法は、
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項6】
前記色度ブロックのサンプルの第１サブセットは、前記ＩＢＣモードでコーディングされる第１輝度ブロックと同一位置に配置され、かつ、前記色度ブロックのサンプルの第２サブセットは、第１フレーム内予測モードでコーディングされる第２輝度ブロックと同一位置に配置され、前記方法は、
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項7】
前記色度ブロックのサンプルの第１サブセットおよび前記第１輝度ブロックは、同じブロックベクトルを有する、
ことを特徴とする請求項６に記載の方法。
ことを特徴とする請求項６に記載の方法。
【請求項8】
処理回路を含む装置であって、前記処理回路は、
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記現在のコーディングユニットを再構築するステップと、を実行するように構成される、
ことを特徴とする装置。
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記現在のコーディングユニットを再構築するステップと、を実行するように構成される、
ことを特徴とする装置。
【請求項9】
前記処理回路は、さらに、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが同じパーティショニングツリーを有することに応答して、
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが同じパーティショニングツリーを有することに応答して、
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項10】
前記処理回路は、さらに、
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項11】
前記処理回路は、さらに、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項12】
前記輝度ブロックのブロックサイズは、前記色度ブロックのブロックサイズよりも大きく、前記処理回路は、さらに、
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項13】
前記色度ブロックのサンプル第１サブセットは、前記ＩＢＣモードでコーディングされる第１輝度ブロックと同一位置に配置され、かつ、前記色度ブロックのサンプルの第２サブセットは、第１フレーム内予測モードでコーディングされる第２輝度ブロックと同一位置に配置され、前記処理回路は、さらに、
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップと、を実行するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項14】
前記色度ブロックのサンプルの第１サブセットおよび前記第１輝度ブロックは、同じブロックベクトルを有する、
ことを特徴とする請求項１３に記載の装置。
ことを特徴とする請求項１３に記載の装置。
【請求項15】
命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令が少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに、
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記現在のコーディングユニットを再構築するステップと、を実行させる、
ことを特徴とする記憶媒体。
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記現在のコーディングユニットを再構築するステップと、を実行させる、
ことを特徴とする記憶媒体。
【請求項16】
記憶されている前記命令は、前記少なくとも１つのプロセッサに、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが同じパーティショニングツリーを有することに応答して、
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが同じパーティショニングツリーを有することに応答して、
前記予測情報に含まれる前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックがＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記ＩＢＣモードでコーディングされている前記輝度ブロックおよび前記色度ブロックに基づいて、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップと、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
【請求項17】
記憶されている前記命令は、前記少なくとも１つのプロセッサに、
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
前記輝度ブロックとは異なるパーティショニングツリーを有する前記色度ブロックに対して前記ＩＢＣモードが無効であることを示すデフォルトモードに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされていないと判定するステップ、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
【請求項18】
記憶されている前記命令は、前記少なくとも１つのプロセッサに、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有するかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが同じパーティションサイズを有することに応答して、前記第１のＩＢＣフラグに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、を実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
【請求項19】
前記輝度ブロックのブロックサイズは、前記色度ブロックのブロックサイズよりも大きく、記憶されている前記命令は、前記少なくとも１つのプロセッサに、
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップとを、実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
前記第１のＩＢＣフラグに基づいて、前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックが前記ＩＢＣモードでコーディングされていることに応答して、前記輝度ブロックおよび前記色度ブロックが同じブロックベクトルを有すると判定するステップとを、実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
【請求項20】
前記色度ブロックのサンプルの第１サブセットは、前記ＩＢＣモードでコーディングされる第１輝度ブロックと同一位置に配置され、かつ、前記色度ブロックのサンプルの第２サブセットは、第１フレーム内予測モードでコーディングされる第２輝度ブロックと同一位置に配置され、記憶されている前記命令は、前記少なくとも１つのプロセッサに、
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップを、実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
前記色度ブロックのサンプルの第１サブセットが前記ＩＢＣモードでコーディングされると判定するステップと、
前記色度ブロックのサンプルの第２サブセットが、前記予測情報に含まれる前記第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定するステップを、実行させる、
ことを特徴とする請求項１５に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本願は、２０２１年９月１日に出願された米国特許出願第１７／４６４，２５５号「ビデオコーディングのための方法および装置」に対する優先権を主張し、これは、２０２０年１２月１６日に出願された米国仮出願第６３／１２６，４２５号「ＳＤＰとＩｎｔｒａＢＣとの間の調和スキーム」に対する優先権を主張している。先行出願のすべての開示内容は、参照により全体的に本明細書に組み込まれる。
本願は、２０２１年９月１日に出願された米国特許出願第１７／４６４，２５５号「ビデオコーディングのための方法および装置」に対する優先権を主張し、これは、２０２０年１２月１６日に出願された米国仮出願第６３／１２６，４２５号「ＳＤＰとＩｎｔｒａＢＣとの間の調和スキーム」に対する優先権を主張している。先行出願のすべての開示内容は、参照により全体的に本明細書に組み込まれる。
【0002】
［技術分野］
本開示は、一般的に、ビデオコーディングに関する実施形態を説明する。
本開示は、一般的に、ビデオコーディングに関する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示のコンテキストを全体的に示すことを目的とする。この背景技術部分および本明細書の各態様において説明された、現在署名されている発明者の作業の程度は、本開示の提出時に先行技術として示されておらず、また、本開示の先行技術として認められていることを明示または暗示していない。
【0004】
ビデオ符号化および復号は、動き補償を有するフレーム間画像予測を用いて実行されることができる。圧縮されていないデジタルビデオは、一連の画像を含むことができ、各画像が、例えば１９２０×１０８０の輝度サンプルおよび関連付けられた色度サンプルの空間的次元を有する。この一連の画像は、例えば１秒間に６０枚の画像または６０ヘルツ（Ｈｚ）の固定または可変の画像レート（非公式にはフレームレートとして知られている）を有することができる。圧縮されていないビデオには、重要なビットレート要件がある。例えば、サンプルあたり８ビットの１０８０ｐ６０ ４：２：０のビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅に近い必要がある。このようなビデオは、一時間で６００ＧＢ以上の記憶空間を必要とする。
【0005】
ビデオ符号化および復号の１つの目的は、入力ビデオ信号における冗長情報を圧縮により低減することである。圧縮は、上記の帯域幅または記憶空間に対する要件を低減することを助けることができ、いくつかの場合では、二桁以上程度を低減することができる。無損失性および損失性の圧縮、ならびに両方の組み合わせは、いずれも使用されることができる。無損失性の圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構築することができる、という技術を指す。損失性の圧縮が使用される場合、再構築された信号は、元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みが十分に小さいので、再構築された信号が予想されるアプリケーションに利用されることができる。ビデオの場合、損失性の圧縮は広く使われている。許容される歪みの量は、アプリケーションに依存し、例えば、あるストリーミングアプリケーションを消費するユーザは、テレビ配信アプリケーションのユーザより、高い歪みを許容することができる。実現可能な圧縮比は、より高い許可／許容可能な歪みがより高い圧縮比を生成することができる、ということを反映している。
【0006】
ビデオエンコーダおよびデコーダは、例えば動き補償、変換、量子化およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。
【0007】
ビデオ符号化／復号技術は、フレーム内コーディングとして知られている技術を含むことができる。フレーム内コーディングでは、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルブロックに細分される。すべてのサンプルブロックがフレーム内モードでコーディングされた場合、その画像はフレーム内画像とすることができる。独立したデコーダリフレッシュ画像などのようなフレーム内画像およびそれらの派生は、デコーダの状態をリセットするために使用されることができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション中の１番目の画像または静止画像として使用されることができる。フレーム内ブロックのサンプルは変換に用いられ、また、変換係数はエントロピーコーディングの前に量子化されることができる。フレーム内予測は、プリ変換ドメインにおけるサンプル値を最小化する技術であることができる。いくつかの場合では、変換後のＤＣ値が小さくなり、ＡＣ係数が小さくなるほど、エントロピーコーディング後のブロックを表すために、与えられた量子化ステップサイズで必要なビットが少なくなる。
【0008】
例えばＭＰＥＧ－２コーディング技術から知られているような従来のフレーム内コーディングは、フレーム内予測を使用していない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび／またはメタデータからデータブロックを取得しようとする技術を含み、周囲のサンプルデータおよび／またはメタデータは、空間的に隣接するブロックの符号化および／または復号期間で、かつ、復号順の前に得られたものである。このような技術は、以降「フレーム内予測」技術と呼ばれる。少なくともいくつかの場合では、フレーム内予測は、参照画像からの参照データを使用せずに、再構築中の現在画像からの参照データのみを使用する、ということに留意されたい。
【0009】
多くの異なる形態のフレーム内予測が存在することができる。与えられたビデオコーディング技術では、このような技術のうちの２つ以上を使用することができる場合、使用中の技術は、フレーム内予測モードでコーディングを行うことができる。いくつかの場合では、モードは、サブモードおよび／またはパラメータを有してもよいし、これらのモードが、単独でコーディングされてもよく、またはモードコードワードに含まれてもよい。どのコードワードを与えられたモード、サブモードおよび／またはパラメータの組み合わせに使用するかは、フレーム内予測によってコーディング効率利得に影響を及ぼすので、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術には、このような場合もある。
【0010】
フレーム内予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５において改善され、また、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用ビデオコーディング（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、ベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）などの、更新しい符号化／復号技術においてさらに改善される。予測ブロックは、既に利用可能なサンプルに属する、隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、ある方向に従って予測ブロックにコピーされる。使用中の方向への参照は、ビットストリームにコーディングされてもよく、または、その自身が予測されてもよい。
【0011】
図１Ａを参照して、右下には、Ｈ．２６５の３３個の予測可能な方向（３５個のフレーム内モードのうちの３３個の角度モードに対応）から知られている９つの予測方向のサブセットが描かれている。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印（１０２）は、サンプル（１０１）が水平から４５度の角度になる右上の１つ以上のサンプルから予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が水平から２２．５度の角度になるサンプル（１０１）の左下の１つ以上のサンプルから予測されることを示す。
【0012】
引き続き図１Ａを参照すると、左上には４×４のサンプルの正方形ブロック（１０４）が描かれている（太い破線で示される）。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルが、「Ｓ」と、Ｙ次元（例えば、行索引）での位置と、Ｘ次元（例えば、列索引）での位置とでラベル付けられている。例えば、サンプルＳ２１は、Ｙ次元での２番目のサンプル（上から）とＸ次元での１番目のサンプル（左から）である。同様に、サンプルＳ４４は、Ｙ次元およびＸ次元の両方でのブロック（１０４）の４番目のサンプルである。このブロックが４×４サイズのサンプルであるため、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従う参照サンプルも示されている。参照サンプルは、「Ｒ」と、ブロック（１０４）に対するＹ位置（例えば、行索引）およびＸ位置（例えば、列索引）とでラベル付けられている。Ｈ．２６４とＨ．２６５の両方では、予測サンプルは再構築中のブロックに隣接しているので、負の値を使用する必要はない。
【0013】
フレーム内画像予測は、シグナルで通知された予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームには、シグナリングが含まれていると仮定すると、このシグナリングは、このブロックに対して、矢印（１０２）と一致する予測方向を示し、すなわち、サンプルが水平と４５度の角度になる右上の１つ以上の予測サンプルから予測される。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、Ｓ１４は、同じ参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。
【0014】
いくつかの場合では、参照サンプルを計算するために、特に、方向が４５度で均等に割り切れない場合、例えば、補間を通じて複数の参照サンプルの値を組み合わせることができる。
【0015】
ビデオコーディング技術の発展につれて、可能な方向の数が既に増加された。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができた。これは、Ｈ．２６５（２０１３年）で３３個に増加し、ＪＥＭ／ＶＶＣ／ＢＭＳは、開示時点で最多６５個の方向をサポートすることができる。最も可能な方向を識別するための実験が行われ、そして、エントロピーコーディングにおけるいくつかの技術は、少数のビットでそれらの可能性がある方向を表すために使用され、可能性が低い方向に対して、いくつかの代償を受ける。さらに、方向の自体は、隣接する既に復号されたブロックで使用される隣接する方向から予測されることができる場合がある。
【0016】
図１Ｂは、時間の経過とともに増加する予測方向の数を説明するために、ＪＥＭによる６５個のフレーム内予測方向を描く概略図（１０５）を示す。
【0017】
フレーム内予測方向からコーディングされたビデオビットストリームにおける方向を表すビットへのマッピングは、ビデオコーディング技術によって異なることができ、また、例えば、予測方向への簡単な直接マッピングから、フレーム内予測モード、コードワード、最も可能性が高いモードを含む複雑な適応スキーム、および類似な技術まで、様々なものがある。しかしながら、すべての場合では、ビデオコンテンツにおいて、他の特定の方向よりも統計的に発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の削減であるため、それらの可能性が低い方向は、適切に機能するビデオコーディング技術では、可能性が高い方向よりも多くのビットで表される。
【0018】
動き補償は、損失性の圧縮技術であり得、また、下記の技術に関連することができ、当該技術には、以前に再構築された画像またはその一部（参照画像）からのサンプルデータブロックが、動きベクトル（以下、ＭＶと呼ばれる）によって示される方向に空間的にシフトされた後に、新たに再構築された画像または画像部分を予測するために使用される。いくつかの場合では、参照画像は、現在再構築中の画像と同じであってもよい。ＭＶは、ＸとＹの２つの次元を有してもよく、または、３つの次元を有してもよいし、３番目の次元は、使用中の参照画像の指示である（後者は、間接的には、時間次元であってもよい）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なＭＶは、他のＭＶから予測され得て、例えば、再構築中の領域に空間的に隣接しかつ復号順序でそのＭＶよりも先行する別のサンプルデータ領域に関連するＭＶから予測され得る。そうすることによって、ＭＶをコーディングするために必要なデータ量が大幅に削減され得て、これにより、冗長性が除去され、圧縮率を向上させる。ＭＶ予測は、効果的に機能することができ、例えば、ビデオカメラから導出された入力ビデオ信号（自然ビデオと呼ばれる）をコーディングするとき、単一のＭＶが適用可能な領域よりも大きい領域が類似の方向に移動するという統計的な可能性が存在しており、したがって、場合によっては、隣接領域のＭＶから導出された類似のＭＶを使用して予測することができる。その結果、所与の領域のために見つけられたＭＶは、周囲のＭＶから予測されたＭＶと類似または同じであり、また、エントロピーコーディング後、ＭＶを直接にコーディングする場合に使用されるビット数よりも少ないビット数で表現され得る。いくつかの場合では、ＭＶ予測は、元の信号（つまり、サンプルストリーム）から導出された信号（つまり、ＭＶ）の無損失性の圧縮の例であり得る。他の場合では、例えば、周囲のいくつかのＭＶから予測器を計算する際の丸め誤差のため、ＭＶ予測自体は、損失性の圧縮であり得る。
【0020】
様々なＭＶ予測メカニズムは、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「高効率ビデオコーディング」、２０１６年１２月）に記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、本願明細書において説明するのは、以下「空間マージ」と呼ばれる技術である。
【0021】
図１Ｃを参照すると、現在ブロック（１１１）は、動き探索プロセス中にエンコーダによって発見されたサンプルを含み得て、これらのサンプルは、空間的にシフトされた、同じサイズの前のブロックから予測され得る。ＭＶを直接にコーディングする代わりに、ＭＶは、１つまたは複数の参照画像に関連付けられたメタデータから導出され得、例えば、Ａ０、Ａ１およびＢ０、Ｂ１、Ｂ２（それぞれ１１２～１１６）で示される５つの周囲のサンプルのいずれか）に関連付けられたＭＶを使用して、最も近い（復号順序で）参照画像から導出され得る。Ｈ．２６５では、ＭＶ予測は、隣接するブロックによって使用されている同じ参照画像からの予測器を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、ビデオ符号化／復号のための装置を提供する。装置は、ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号する処理回路を含む。処理回路は、予測情報に基づいて、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定する。処理回路は、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有する場合、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定する。処理回路は、予測情報に含まれる第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。前記処理回路は、輝度ブロックおよび色度ブロックに基づいて現在のコーディングユニットを再構築する。
【0023】
一実施形態では、前記処理回路は、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが同じパーティショニングツリーを有することに応答して、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。前記処理回路は、ＩＢＣモードでコーディングされている輝度ブロックおよび色度ブロックに基づいて、輝度ブロックおよび色度ブロックが同じブロックベクトルを有すると判定する。
【0024】
一実施形態では、前記処理回路は、前記輝度ブロックとは異なるパーティショニングツリーを有する色度ブロックに対してＩＢＣモードが無効であることを示すデフォルトモードに基づいて、色度ブロックがＩＢＣモードでコーディングされていないと判定する。
【0025】
一実施形態では、前記処理回路は、輝度ブロックおよび色度ブロックが同じパーティションサイズを有するかどうかを判定する。前記処理回路は、輝度ブロックおよび色度ブロックが同じパーティションサイズを有することに応答して、第１のＩＢＣフラグに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。
【0026】
一実施形態では、輝度ブロックのブロックサイズは、色度ブロックのブロックサイズよりも大きく、前記処理回路は、第１のＩＢＣフラグに基づいて、輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。前記処理回路は、輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされることに応答して、輝度ブロックおよび色度ブロックが同じブロックベクトルを有すると判定する。
【0027】
一実施形態では、色度ブロックのサンプルの第１サブセットは、ＩＢＣモードでコーディングされる第１輝度ブロックと同一位置に配置され、また、色度ブロックのサンプルの第２サブセットは、第１フレーム内予測モードでコーディングされる第２輝度ブロックと同一位置に配置され、前記処理回路は、色度ブロックのサンプルの第１サブセットがＩＢＣモードでコーディングされると判定する。前記処理回路は、色度ブロックのサンプルの第２サブセットが、予測情報に含まれる第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定する。
【0028】
一実施形態では、色度ブロックのサンプルの第１サブセットおよび第１輝度ブロックは、同じブロックベクトルを有することができる。
【0029】
本開示の態様は、ビデオ符号化／復号方法を提供する。この方法は、ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号する。予測情報に基づいて、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定する。コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有する場合、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定する。予測情報に含まれる第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。輝度ブロックおよび色度ブロックに基づいて現在のコーディングユニットを再構築する。
【0030】
本開示の態様は、命令が記憶されている非一時的なコンピュータ読み取り可能な媒体も提供し、前記命令が少なくとも１つのプロセッサによって実行されると、ビデオ復号のための方法のいずれか１つまたは組み合わせを、前記少なくとも１つのプロセッサに実行させる。
【0031】
開示された主題の更なる特徴、性質、および様々な利点は、以下の詳細な説明および添付図面からより明らかになる。
【図面の簡単な説明】
【0032】
【図1A】フレーム内予測モードの例示的なサブセットの概略図である。
【図1B】例示的なフレーム内予測方向の概略図である。
【図1C】一例における現在ブロックとその周囲の空間マージ候補の概略図である。
【図2】一実施形態による通信システムの簡略化されたブロック図の概略図である。
【図3】一実施形態による通信システムの簡略化されたブロック図の概略図である。
【図4】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【図5】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【図6】別の実施形態によるエンコーダのブロック図を示す図である。
【図7】別の実施形態によるデコーダのブロック図を示す図である。
【図8】本開示のいくつかの実施形態による例示的なブロックパーティション（ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｓ）を示す図である。
【図9】本開示のいくつかの実施形態による例示的なブロックブロックパーティションを示す図である。
【図10】本開示のいくつかの実施形態による例示的なブロックパーティションを示す。
【図11】本開示の一実施形態によるネストされたマルチタイプツリーコーディングブロック構造を有する例示的なクワッドツリーを示す図である。
【図12】本開示の一実施形態による半減結合ツリースキームを用いた例示的なブロックパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ、パーティション分割）を示す図である。
【図13】本開示の一実施形態による例示的なＬ字型（またはＬタイプ）パーティションを示す図である。
【図14】本開示のいくつかの実施形態によるＬ字型パーティションの４つの例を示す図である。
【図15】一実施形態による例示的なフローチャートを示す図である。
【図16】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0033】
Ｉ．ビデオデコーダおよびエンコーダシステム
【0034】
図２は、本開示の実施形態による通信システム（２００）の簡略化されたブロック図である。通信システム（２００）は、例えばネットワーク（２５０）を介して相互に通信することができる複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１ペアの端末デバイス（２１０）と（２２０）を含む。図２の例では、第１ペアの端末デバイス（２１０）と（２２０）は、データの単方向伝送を行う。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介して他の端末デバイス（２２０）に伝送するために、ビデオデータ（例えば、端末デバイス（２１０）によって捕捉されたビデオ画像ストリーム）をコーディングすることができる。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形で伝送されることができる。端末デバイス（２２０）は、ネットワーク（２５０）から、コーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいてビデオ画像を表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどでは一般的である。
【0035】
別の例では、通信システム（２００）は、例えばビデオ会議中に発生する可能性がある、コーディングされたビデオデータの双方向伝送を実行する第２ペアの端末デバイス（２３０）と（２４０）を含む。データの双方向伝送の場合、一例では、端末デバイス（２３０）と（２４０）の各端末デバイスは、ネットワーク（２５０）を介して端末デバイス（２３０）と（２４０）のうちの他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによって捕捉されたビデオ画像ストリーム）をコーディングすることができる。端末デバイス（２３０）と（２４０）の各端末デバイスは、端末デバイス（２３０）と（２４０）のうちの他方の端末デバイスによって送信された、コーディングされたビデオデータを受信することもでき、また、コーディングされたビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに基づいて、アクセス可能な表示デバイスにビデオ画像を表示することもできる。
【0036】
図２の例では、端末デバイス（２１０）、（２２０）、（２３０）および（２４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示されてもよいが、本開示の原理は、これに限定されていない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤーおよび／または専用のビデオ会議機器を有するアプリケーションを見つける。ネットワーク（２５０）は、端末デバイス（２１０）、（２２０）、（２３０）および（２４０）間で、コードされたビデオデータを伝送する任意の数のネットワークを表し、有線（ワイヤード）および／または無線の通信ネットワークを含む。通信ネットワーク（２５０）は、回路交換および／またはパケット交換のチャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本開示の目的のために、ネットワーク（２５０）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。
【0037】
図３は、開示された主題に対するアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を図示する。開示された主題は、例えば、ＣＤ、ＤＶＤ、メモリスティックを含むデジタルメディアへの圧縮されたビデオの記憶、ビデオ会議、デジタルＴＶなどを含む、他のビデオサポートアプリケーションにも同等に適用可能である。
【0038】
ストリーミングシステムは、捕捉サブシステム（３１３）を含むことができ、この捕捉サブシステムが、例えばデジタルカメラなどのビデオソース（３０１）を含むことができ、例えば圧縮されていないビデオ画像ストリーム（３０２）を作成する。一例では、ビデオ画像ストリーム（３０２）は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ（３０４）（またはコーディングされたビデオビットストリーム）と比較する際に、高いデータボリュームを強調するために太い線で描かれたビデオ画像ストリーム（３０２）は、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理されることができる。ビデオエンコーダ（３０３）は、以下でより詳細に説明するように、開示された主題の様々な態様を可能にするかまたは実現するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオ画像ストリーム（３０２）と比較する際に、より低いデータボリュームを強調するために細い線で描かれた、符号化されたビデオデータ（３０４）（または符号化されたビデオビットストリーム（３０４））は、将来の使用のためにストリーミングサーバ（３０５）に記憶されることができる。図３のクライアントサブシステム（３０６）および（３０８）などのような１つ以上のストリーミングクライアントサブシステムは、符号化されたビデオデータ（３０４）のコピー（３０７）および（３０９）を検索するために、ストリーミングサーバー（３０５）にアクセスすることができる。クライアントサブシステム（３０６）は、例えば、電子デバイス（３３０）にビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、伝入される、符号化されたビデオデータのコピー（３０７）を復号して、伝出される、ビデオ画像ストリーム（３１１）を生成し、このビデオ画像ストリーム（３１１）が、ディスプレイ（３１２）（例えば、ディスプレイスクリーン）または他のレンダリングデバイス（図示せず）に表示されることができる。一部のストリーミングシステムでは、符号化されたビデオデータ（３０４）、（３０７）および（３０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化されることができる。これらの規格の例は、ＩＴＵ－Ｔ推薦Ｈ．２６５を含む。一例では、開発中のビデオコーディング規格は、非公式には次世代ビデオコーディング（ＶＶＣ）と呼ばれる。開示された主題は、ＶＶＣのコンテキストで使用されることができる。
【0039】
なお、電子デバイス（３２０）および（３３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）は、同様にビデオエンコーダ（図示せず）を含むことができる。
【0040】
図４は、本開示の実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれることができる。電子デバイス（４３０）は、受信機（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用することができる。
【0041】
受信機（４３１）は、ビデオデコーダ（４１０）によって復号される１つ以上のコーディングされたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信することができ、ここで、各コーディングされたビデオシーケンスの復号が、他のコーディングされたビデオシーケンスから独立されている。コーディングされたビデオシーケンスは、チャネル（４０１）から受信されることができ、このチャネルが、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアのリンクであってもよい。受信機（４３１）は、それぞれの使用エンティティ（図示せず）に伝送されることができる、例えばコーディングされたオーディオデータおよび／または補助データストリームなどのような他のデータとともに、符号化されたビデオデータを受信することができる。受信機（４３１）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／解析器（Ｐａｒｓｅｒ）（４２０）（以降「解析器（４２０）」）との間に結合されることができる。いくつかのアプリケーションでは、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他の場合では、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の外部に配置されてもよい（図示せず）。さらに他の場合では、例えばネットワークジッタを防止するために、ビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）があり得て、さらに、例えば再生タイミングを処理するために、ビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）があり得る。受信機（４３１）が十分な帯域幅および制御可能性を有するストア／フォワードデバイスからまたは等時性同期ネットワーク（ｉｓｏｓｙｎｃｈｒｏｎｏｕｓ ｎｅｔｗｏｒｋ）からデータを受信する場合、バッファメモリ（４１５）は、必要ではないかまたは小さくてもよい。インターネットなどのようなベストエフォートパケットネットワークで使用するために、バッファメモリ（４１５）は、必要になる場合があり、比較的大きくすることができ、有利には適応性のサイズにすることができ、オペレーティングシステムまたはビデオデコーダ（４１０）の外部の類似要素（図示せず）に少なくとも部分的に実装されることができる。
【0042】
ビデオデコーダ（４１０）は、コーディングされたビデオシーケンスからシンボル（４２１）を再構築するための解析器（４２０）を含むことができる。これらのシンボルのカテゴリには、ビデオデコーダ（４１０）の動作を管理するために使用される情報と、電子デバイス（４３０）の不可欠な部分ではないが、図４に示すように、電子デバイス（４３０）に結合されることができるレンダリングデバイス（４１２）（例えば、ディスプレイスクリーン）などのようなレンダリングデバイスを制御するための潜在的情報とが含まれる。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩメッセージ）またはビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の形であってもよい。解析器（４２０）は、受信された、コーディングされたビデオシーケンスに対して解析／エントロピー復号を行うことができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を有するかまたは有しないかの算術コーディングなどを含む、様々な原理に従うことができる。解析器（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダにおける画素のサブグループのうちの少なくとも１つのサブグループパラメータのセットを抽出することができる。サブグループは、画像のグループ（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、ブロック、変換ユニット（ＴＵ：Ｔｒａｎｓ ｆｏｒｍ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｃｔｉｏｎ Ｕｎｉｔ）などを含むことができる。解析器（４２０）は、変換係数、量子化器パラメータ値、ＭＶなどのような情報をコーディングされたビデオシーケンスから抽出することもできる。
【0043】
解析器（４２０）は、シンボル（４２１）を作成するために、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。
【0044】
シンボル（４２１）の再構築は、コーディングされたビデオ画像またはその一部（例えば、フレーム間画像およびフレーム内画像、フレーム間ブロックおよびフレーム内ブロック）のタイプおよび他の要因に応じて、複数の異なるユニットに関連することができる。どのようなユニットに関連するか、およびどのように関連するかは、解析器（４２０）によって、コーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御されることができる。解析器（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明瞭にするために示されていない。
【0045】
既に言及された機能ブロックに加えて、ビデオデコーダ（４１０）は、以下に説明するように、いくつかの機能ユニットに概念的に細分されることができる。商業的制約で動作する実際の実施形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合されることができる。しかしながら、開示された主題を説明する目的のために、以下の機能ユニットへの概念的な細分は適切である。
【0046】
第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数と、どのような変換を使用するかということ、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報とを、解析器（４２０）からシンボル（４２１）として受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力できるサンプル値を含むブロックを出力することができる。
【0047】
いくつかの場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、フレーム内コーディングブロックに属することができ、即ち、以前に再構築された画像からの予測情報を使用していないが、現在画像の以前に再構築された部分からの予測情報を使用することができるブロックである。このような予測情報は、フレーム内画像予測ユニット（４５２）によって提供されてもよい。いくつかの場合では、フレーム内画像予測ユニット（４５２）は、現在画像バッファ（４５８）から抽出された、周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在画像バッファ（４５８）は、例えば、部分的に再構築された現在画像および／または完全に再構築された現在画像をバッファリングする。アグリゲータ（４５５）は、いくつかの場合では、サンプルごとに基づいて、フレーム内予測ユニット（４５２）によって生成された予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に追加する。
【0048】
他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、フレーム間コーディングされたブロックおよび潜在的に動き補償されたブロックに属することができる。このような場合、動き補償予測ユニット（４５３）は、参照画像メモリ（４５７）にアクセスして、予測に用いられるサンプルを抽出することができる。抽出されたサンプルが、ブロックに関連するシンボル（４２１）に基づいて動き補償された後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加されることができる。動き補償予測ユニット（４５３）が予測サンプルを抽出するときの参照画像メモリ（４５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照画像成分を有することができるシンボル（４２１）の形で、動き補償予測ユニット（４５３）に利用可能なＭＶによって制御されることができる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるときに、参照画像メモリ（４５７）から抽出されたサンプル値の補間、ＭＶ予測メカニズムなどを含むこともできる。
【0049】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技術によって採用されてもよい。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれ、解析器（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能になるパラメータによって制御されるインループフィルタ技術を含むことができ、また、コーディングされた画像またはコーディングされたビデオシーケンスの前の部分（復号順序で）を復号する期間で得られたメタ情報に応答し、および、以前に再構築されてループフィルタリングされたサンプル値に応答することもできる。
【0050】
ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）に出力することができ、および、将来のフレーム間画像予測で使用するために参照画像メモリ（４５７）に記憶することができるサンプルストリームとすることができる。
【0051】
特定のコーディングされた画像は、完全に再構築されると、将来の予測のための参照画像として使用することができる。例えば、現在画像に対応するコーディングされた画像が完全に再構築され、コーディングされた画像が（例えば、解析器（４２０）によって）参照画像として識別されると、現在画像バッファ（４５８）は、参照画像メモリ（４５７）の一部になることができ、そして、後続のコーディングされた画像の再構築を開示する前に、新しい現在画像バッファを再割り当てることができる。
【0052】
ビデオデコーダ（４１０）は、例えばＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．などのような規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格の文書としてのプロファイルとの両方に従うという意味で、使用されているビデオ圧縮技術または規格によって指定された構文に従うことができる。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとしていくつかのツールを選択することができる。コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格の階層によって定義された範囲内にあるということもコンプライアンスに必要である。いくつかの場合では、階層は、最大画像サイズ、最大フレームレート、（例えば、毎秒メガ（ｍｅｇａ）個のサンプルを単位として測定された）最大再構築サンプルレート、最大参照画像サイズなどを制限する。階層によって設定された制限は、いくつかの場合では、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）仕様と、コーディングされたビデオシーケンスにおいてシグナルで通知されるＨＲＤバッファ管理のメタデータとによって、さらに制限されることができる。
【0053】
一実施形態では、受信機（４３１）は、符号化されたビデオとともに付加（冗長）的なデータを受信することができる。付加的なデータは、コーディングされたビデオシーケンスの一部として含まれることができる。付加的なデータは、データを適切に復号し、および／または元のビデオデータをより正確に再構築するために、ビデオデコーダ（４１０）によって使用されることができる。付加的なデータは、例えば、時間的、空間的、または信号雑音比（ＳＮＲ：ｓｉｇｎａｌ ｎｏｉｓｅ ｒａｔｉｏ）拡張層、冗長スライス、冗長画像、前方誤り訂正符号などのような形式にすることができる。
【0054】
図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信機（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用することができる。
【0055】
ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によってコーディングされたビデオ画像を捕捉するビデオソース（５０１）（図５の例における電子デバイス（５２０）の一部ではない）から、ビデオサンプルを受信することができる。別の例では、ビデオソース（５０１）は、電子デバイス（５２０）の一部である。
【0056】
ビデオソース（５０１）は、ビデオエンコーダ（５０３）によってコーディングされたソースビデオシーケンスをデジタルビデオサンプルストリームの形式で提供することができ、前記デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有することができる。メディアサービスシステムでは、ビデオソース（５０１）は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとして捕捉するカメラであってもよい。ビデオデータは、順番に見られるときに動きを与える複数の個別の画像として提供されることができる。画像自体は、空間画素アレイとして構成されてもよく、ここで、各画素は、使用中のサンプリング構造、色空間などに応じて、１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。
【0057】
一実施形態によれば、ビデオエンコーダ（５０３）は、リアルタイムで、またはアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスの画像を、コーディングされたビデオシーケンス（５４３）にコーディングし圧縮することができる。適切なコーディング速度を実施することは、コントローラ（５５０）の１つの機能である。いくつかの実施形態では、コントローラ（５５０）は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。該結合は、明瞭にするために図示されていない。コントローラ（５５０）によって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のλ（ラムダ）値…）、画像サイズ、画像のグループ（ＧＯＰ）レイアウト、最大ＭＶ許可参照エリアなどを含むことができる。コントローラ（５５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するように構成されることができる。
【0058】
いくつかの実施形態では、ビデオエンコーダ（５０３）は、コーディングループで動作するように構成される。過度に簡単化された説明として、一例では、コーディングループは、ソースコーダ（５３０）（例えば、コーディングされる入力画像と、参照画像とに基づいて、シンボルストリームなどのようなシンボルを作成することを担当する）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（リモート）デコーダがサンプルデータを作成すると同様の方法でシンボルを再構築してサンプルデータを作成する（開示された主題で考慮されているビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が無損失であるからである）。再構築されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（５３４）に入力される。シンボルストリームの復号により、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照画像メモリ（５３４）のコンテンツは、ローカルエンコーダとリモートエンコーダの間でもビットで正確に対応する。言い換えれば、エンコーダの予測部分が「見た」参照画像サンプルは、デコーダが復号期間に予測を使用する際に「見た」サンプル値と全く同じである。この参照画像の同期性の基本原理（および、例えばチャネル誤差の原因で同期性が維持されない場合に生じるドリフト）は、いくつかの関連技術でも使用されている。
【0059】
「ローカル」デコーダ（５３３）の動作は、既に図４に関連して以上で詳細に説明された、ビデオデコーダ（４１０）などのような「リモート」デコーダの動作と同じであってもよい。しかし、図４をさらに簡単に参照すると、シンボルが利用可能であり、かつ、エントロピーコーダ（５４５）および解析器（４２０）によってコーディングされたビデオシーケンスへのシンボルの符号化／復号が無損失であることができるため、バッファメモリ（４１５）と解析器（４２０）を含むビデオデコーダ（４１０）のエントロピーデコード部分は、ローカルデコーダ（５３３）で完全に実行できない可能性がある。
【0060】
この時点で、デコーダに存在する解析／エントロピー復号以外のいかなるデコーダ技術も、対応するエンコーダにおいて、実質的に同一の機能形式で必ず存在する必要がある、ということが観察されている。このため、開示された主題は、デコーダ動作に焦点を合わせる。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略されることができる。特定の領域だけで、より詳細な説明が必要であり、以下で提供される。
【0061】
動作期間中に、いくつかの実施形態では、ソースコーダ（５３０）は、動き補償予測コーディングを実行することができ、前記動き補償予測コーディングは、ビデオシーケンスから「参照画像」として指定された１つ以上の以前にコーディングされた画像を参照して、入力画像を予測的にコーディングする。このようにして、コーディングエンジン（５３２）は、入力画像の画素ブロックと、入力画像に対する予測参照として選択されることができる参照画像の画素ブロックとの間の差分をコーディングする。
【0062】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって生成されたシンボルに基づいて、参照画像として指定されることができる画像のコーディングされたビデオデータを復号することができる。コーディングエンジン（５３２）の動作は、有利には損失性プロセスであってもよい。コーディングされたビデオデータがビデオデコーダ（図５に示されない）で復号された場合、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（５３３）は、参照画像に対してビデオデコーダによって実行されることができる復号プロセスをコピーして、再構築された参照画像を参照画像キャッシュ（５３４）に記憶することができる。このようにして、ビデオエンコーダ（５０３）は、遠端ビデオデコーダによって得られる（伝送誤差が存在しない）再構築された参照画像と共通のコンテンツを有する再構築された参照画像のコピーを、ローカルに記憶することができる。
【0063】
予測器（５３５）は、コーディングエンジン（５３２）に対して予測検索を実行することができる。すなわち、コーディングされる新しい画像について、予測器（５３５）は、新しい画像の適切な予測参照として機能するサンプルデータ（候補参照画素ブロックとして）または特定のメタデータ、例えば参照画像ＭＶ、ブロック形状などについて、参照画像メモリ（５３４）を検索することができる。予測器（５３５）は、適切な予測参照を見つけるために、サンプルブロックに基づいて、画素ブロックごとに動作することができる。いくつかの場合では、予測器（５３５）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（５３４）に記憶された複数の参照画像から引き出された予測参照を有することができる。
【0064】
コントローラ（５５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（５３０）のコーディング動作を管理することができる。
【0065】
上述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）でエントロピーコーディングされることができる。エントロピーコーダ（５４５）は、例えばハフマンコーディング、可変長コーディング、算術コーディングなどのような技術に従って、シンボルを無損失で圧縮することにより、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0066】
送信機（５４０）は、コードされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであることができる通信チャネル（５６０）を介した送信に備えるために、エントロピーコーダ（５４５）によって生成成された、コーディングされたビデオシーケンスをバッファリングすることができる。送信機（５４０）は、ビデオコーダ（５０３）からのコーディングされたビデオデータを、送信される他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。
【0067】
コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理することができる。コーディングする期間、コントローラ（５５０）は、各コーディングされた画像に、特定のコーディングされた画像タイプを割り当てることができ、これは、それぞれの画像に適用できるコーディング技術に影響を与える可能性がある。例えば、画像は、以下の画像タイプのいずれかとして割り当てられることが多い。
【0068】
即ち、フレーム内画像（Ｉ画像）は、シーケンス内の任意の他の画像を予測のソースとして使用せずに、符号化および復号されることができるものであってもよい。いくつかのビデオコーデックは、独立したデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）画像などの異なるタイプのフレーム内画像を許容する。当業者は、Ｉ画像の変種とそれらのアプリケーションおよび機能とを理解している。
【0069】
予測画像（Ｐ画像）は、多くとも１つのＭＶおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものであってもよい。
【0070】
双方向予測画像（Ｂ画像）は、多くとも２つのＭＶおよび参照インデックスを使用して各ブロックのサンプル値を予測するフレーム内予測またはフレーム間予測を使用して符号化および復号され得るものであってもよい。同様に、複数の予測画像は、単一のブロックの再構築に、２つ以上の参照画像および関連付けられたメタデータを使用することができる。
【0071】
ソース画像は、一般的に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、または１６×１６個のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされることができる。これらのブロックは、ブロックのそれぞれの画像に適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされることができる。例えば、Ｉ画像のブロックは、非予測的にコーディングされてもよく、またはそれらが同じ画像の既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測またはフレーム内予測）。Ｐ画像の画素ブロックは、１つ前に符コーディングされた参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的にコーディングされてもよい。Ｂ画像のブロックは、１つまたは２つ前にコーディングされた参照画像を参照して、空間的予測を介してまたは時間的予測を介して予測的にコーディングされてもよい。
【0072】
ビデオエンコーダ（５０３）は、例えばＩＴＵ－Ｔ Ｈ．２６５などのような所定のビデオコーディング技術または規格に従って、コーディング動作を実行することができる。その動作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間的と空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されるビデオコーディング技術または規格によって指定された構文に従うことができる。
【0073】
一実施形態では、送信機（５４０）は、符号化されたビデオとともに、付加的なデータを送信することができる。ソースコーダ（５３０）は、そのようなデータを、コーディングされたビデオシーケンスの一部として含むことができる。付加的なデータは、時間的／空間的／ＳＮＲ拡張層、冗長画像やスライスなどのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含むことができる。
【0074】
ビデオは、時系列で複数のソース画像（ビデオ画像）として捕捉されることができる。フレーム内画像予測（フレーム内予測と略称されることが多い）は、与えられた画像における空間的相関を利用し、フレーム間画像予測は、画像間の（時間的または他の）相関を利用する。一例では、現在画像と呼ばれる、符号化／復号中の特定の画像がブロックにパーティショニングされる。現在画像のブロックが、ビデオにおける以前にコーディングされ、まだバッファリングされている参照画像における参照ブロックに類似している場合、現在画像のブロックは、ＭＶと呼ばれるベクトルによってコーディングされることができる。ＭＶは、参照画像における参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する３番目の次元を有することができる。
【0075】
いくつかの実施形態では、双方向予測技術は、フレーム間画像予測に使用されることができる。双方向予測技術によれば、例えば、復号の順で両方とも、ビデオにおける現在画像の前にある（ただし、表示の順でそれぞれ、過去と将来にあるかもしれない）第１参照画像および第２参照画像などのような２つの参照画像が使用される。現在画像におけるブロックは、第１参照画像における第１参照ブロックを指す第１のＭＶと、第２参照画像における第２参照ブロックを指す第２のＭＶによってコーディングされることができる。ブロックは、第１参照ブロックおよび第２参照ブロックの組み合わせによって予測されることができる。
【0076】
さらに、コーディング効率を向上させるために、マージモード技術は、フレーム間画像予測で使用されることができる。
【0077】
本開示のいくつかの実施形態によれば、フレーム間画像予測やフレーム内画像予測などのような予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ規格に従って、ビデオ画像のシーケンスにおける画像は、圧縮のためにコーディングツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）にパーティショニングされ、画像におけるＣＴＵは同じサイズ、例えば６４×６４画素、３２×３２画素、または１６×１６画素を有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つの色度ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、再帰的にクワッドツリーで１つ以上のコーディングユニット（ＣＵ）に分割されてもよい。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵは、フレーム間予測タイプまたはフレーム内予測タイプなどのようなＣＵに対する予測タイプを決定するために分析される。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、輝度予測ブロック（ＰＢ）と２つの色度ＰＢを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。
【0078】
図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオ画像シーケンスにおける現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされた画像に符号化するように構成される。一例では、ビデオエンコーダ（６０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用される。
【0079】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、例えば８×８サンプルの予測ブロックなどのような処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えばレート歪み最適化を使用して、フレーム内モード、フレーム間モード、または双方向予測モードを使用して処理ブロックをコーディングするかどうかを決定する。処理ブロックがフレーム内モードでコーディングされた場合、ビデオエンコーダ（６０３）は、フレーム内予測技術を使用して、処理ブロックをコーディングされた画像に符号化することができ、また、処理ブロックがフレーム間モードまたは双方向予測モードでコーディングされた場合、ビデオエンコーダ（６０３）は、それぞれフレーム間予測または双方向予測技術を使用して、処理ブロックをコーディングされた画像に符号化することができる。特定のビデオコーディング技術では、マージモードは、予測値以外にあるコーディングされたＭＶ成分の利点を利用しない場合に、ＭＶが１つ以上のＭＶ予測値から導出されるフレーム間画像予測サブモードにすることができる。特定の他のビデオコーディング技術では、主題ブロックに適用可能なＭＶ成分が存在する場合がある。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などのような他のコンポーネントを含む。
【0080】
図６の例では、ビデオエンコーダ（６０３）は、図６に示すように一緒に結合された、フレーム間エンコーダ（６３０）と、フレーム内エンコーダ（６２２）と、残差計算器（６２３）と、スイッチ（６２６）と、残差エンコーダ（６２４）と、汎用コントローラ（６２１）と、エントロピーエンコーダ（６２５）とを含む。
【0081】
フレーム間エンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照画像（例えば、前の画像と後の画像におけるブロック）内の１つ以上の参照ブロックと比較し、フレーム間予測情報（例えば、フレーム間符号化技術による冗長情報説明、ＭＶ、マージモード情報）を生成して、任意の適切な技術を使用して、フレーム間予測情報に基づいてフレーム間予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照画像は、復号された参照画像であり、それが符号化されたビデオ情報に基づいて復号されたものである。
【0082】
フレーム内エンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、いくつかの場合では、そのブロックを同じ画像で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成して、いくつかの場合では、フレーム内予測情報（例えば、１つ以上のフレーム内符号化技術によるフレーム内予測方向情報）を生成するように構成される。一例では、フレーム内エンコーダ（６２２）は、フレーム内予測情報と、同じ画像における参照ブロックとに基づいて、フレーム内予測結果（例えば、予測ブロック）も計算する。
【0083】
汎用コントローラ（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他のコンポーネントを制御するように構成される。一例では、汎用コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ（６２１）は、残差計算器（６２３）によって使用されるフレーム内モード結果を選択するように、スイッチ（６２６）を制御し、フレーム内予測情報を選択して、そのフレーム内予測情報をコードストリームに含めるように、エントロピーエンコーダ（６２５）を制御する。また、モードがフレーム間モードである場合、汎用コントローラ（６２１）は、残差計算器（６２３）によって使用されるフレーム間予測結果を選択するように、スイッチ（６２６）を制御し、フレーム間予測情報を選択して、そのフレーム間予測情報をコードストリームに含めるように、エントロピーエンコーダ（６２５）を制御する。
【0084】
残差計算器（６２３）は、受信されたブロックとフレーム内エンコーダ（６２２）またはフレーム間エンコーダ（６３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作して、残差データを符号化することで変換係数を生成するように構成される。一例では、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域へ変換し、変換係数を生成するように構成される。次に、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）も含む。残差デコーダ（６２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、フレーム内エンコーダ（６２２）およびフレーム間エンコーダ（６３０）によって適切に使用されることができる。例えば、フレーム間エンコーダ（６３０）は、復号された残差データおよびフレーム間予測情報に基づいて、復号されたブロックを生成することができ、フレーム内エンコーダ（６２２）は、復号された残差データおよびフレーム内予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号された画像を生成するために適切に処理され、いくつかの例では、復号された画像は、メモリ回路（図示せず）でバッファされ、参照画像として使用されることができる。
【0085】
エントロピーエンコーダ（６２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣなどのような適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、残差情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、フレーム間モードまたは双方向予測モードのマージサブモードでブロックをコーディングする場合、残差情報はないということに留意されたい。
【0086】
図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、コーディングされたビデオシーケンスの一部であるコーディングされた画像を受信し、コーディングされた画像を復号して再構築された画像を生成するように構成される。一例では、ビデオデコーダ（７１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用される。
【0087】
図７の例では、ビデオデコーダ（７１０）は、図８に示されるように一緒に結合された、エントロピーデコーダ（７７１）と、フレーム間デコーダ（７８０）と、残差デコーダ（７７３）と、再構築モジュール（７７４）と、フレーム内デコーダ（７７２）とを含む。
【0088】
エントロピーデコーダ（７７１）は、コーディングされた画像から、コーディングされた画像を構成する構文要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックをコーディングするためのモード（例えば、フレーム内モード、フレーム間モード、双方向予測モード、後者の２つのマージサブモードまたは別のサブモード）と、フレーム内デコーダ（７７２）またはフレーム間デコーダ（７８０）による予測に使用される特定のサンプルまたはメタデータをそれぞれ識別できる予測情報（例えば、フレーム内予測情報またはフレーム間予測情報など）と、例えば量子化された変換係数の形式の残差情報などとを含む。一例では、予測モードがフレーム間予測モードまたは双方向予測モードである場合、フレーム間予測情報は、フレーム間デコーダ（７８０）に提供される。そして、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報は、フレーム内デコーダ（７７２）に提供される。残差情報は、逆量子化を受けて、残差デコーダ（７７３）に提供されることができる。
【0089】
フレーム間デコーダ（７８０）は、フレーム間予測情報を受信し、フレーム間予測情報に基づいてフレーム間予測結果を生成するように構成される。
【0090】
フレーム内デコーダ（７７２）は、フレーム内予測情報を受信し、フレーム内予測情報に基づいて予測結果を生成するように構成される。
【0091】
残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、その逆量子化された変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（７７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含むように）も必要とする場合があり、その情報は、エントロピーデコーダ（７７１）によって提供される場合がある（これが低ボリューム制御情報のみであるため、データ経路は図示されていない）。
【0092】
再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）による出力としての残差と、（場合によっては、フレーム間予測モジュールまたはフレーム内予測モジュールによる出力としての）予測結果とを組み合わせて、再構築されたブロックを形成するように構成され、再構築されたブロックは、再構築された画像の一部とすることができ、その後、再構築された画像は、再構築されたビデオの一部とすることができる。それは、視覚的品質を改善するために、デブロッキング動作などのような他の適切な動作を実行することができる、ということに留意されたい。
【0093】
ビデオエンコーダ（３０３）、（５０３）および（６０３）と、ビデオデコーダ（３１０）、（４１０）および（７１０）とは、任意の適切な技術を使用して実現されることができる、ということに留意されたい。一実施形態では、ビデオエンコーダ（３０３）、（５０３）および（６０３）と、ビデオデコーダ（３１０）、（４１０）および（７１０）とは、１つ以上の集積回路を使用して実現されることができる。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）および（６０３）と、ビデオデコーダ（３１０）、（４１０）および（７１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。
【0094】
ＩＩ．ブロックパーティション
【0095】
図８は、本開示のいくつかの実施形態による例示的なブロックパーティションを示す。一実施形態では、図８における例示的なブロックパーティションは、オープンメディア同盟（ＡＯＭｅｄｉａ：Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）によって提案されたＶＰ９で使用され得る。図８に示すように、４ウェイパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）ツリーを使用することができ、この４ウェイパーティショニングツリーは、６４×６４レベルから始まり、４×４レベルまで続いて、８×８ブロックに対していくつかの追加制限がある。なお、Ｒとして指定されたパーティションは、再帰パーティションと呼ばれ得る、ということに留意されたい。つまり、同じパーティショニングツリーは、最低の４×４レベルに達するまで、より低いスケールで繰り返され得る。
【0096】
図９は、本開示のいくつかの実施形態による例示的なブロックパーティションを示す。一実施形態では、図９における例示的なブロックパーティションは、Ａｏｍｅｄｉａによって提案されたＡＶ１で使用され得る。図９に示すように、パーティションツリーは、１０ウェイ構造に拡張され得ており、また、最大コーディングブロックサイズ（ＶＰ９／ＡＶ１の用語ではスーパーブロックと呼ばれる）は、１２８×１２８から始まるように増加される。なお、図９の１行目における４：１／１：４の長方形のパーティションは、ＶＰ９には存在しないことに留意されたい。図９の２行目における３つのサブパーティションを有するパーティションタイプは、Ｔタイプパーティションと呼ばれる。長方形のパーティションは、さらに細分され得ない。コーディングブロックサイズに加えて、コーディングツリー深さは、ルートノードからの分割深さを示すように定義される。一実施形態では、ルートノード（例えば、１２８×１２８）についてのコーディングツリー深さは、０に設定され得る。コーディングブブロックがさらに１回分割された後、コーディングツリー深さは、１だけ増加される。
【0097】
ＶＰ９において固定変換ユニットサイズを使用するように強制される代わりに、ＡＶ１において輝度コーディングブロックを複数のサイズの変換ユニットにパーティショニングすることが許可され、これらの変換ユニットは、最大２レベル下がる再帰パーティションによって表現され得る。ＡＶ１において拡張されたコーディングブロックパーティションを合併するために、４×４から６４×６４までの正方形、２：１／１：２および４：１／１：４の変換サイズがサポートされている。色度コーディングブロックについては、可能な最大の変換ユニットのみが許可される。
【0098】
ＨＥＶＣなどのいくつかの関連する例では、ＣＴＵは、様々な局所的特徴に適応するために、コーディングツリーとして表現されたクワッドツリー構造を使用してＣＵに分割され得る。フレーム間画像（時間的）予測またはフレーム内画像（空間的）予測を使用して画像領域をコーディングするかどうかの判定は、ＣＵレベルで実行され得る。各ＣＵは、ＰＵ分割タイプに応じて、さらに１つ、２つ、または４つのＰＵに分割され得る。１つのＰＵ内で、同じ予測プロセスは適用され得ており、また、関連情報は、ＰＵ単位上でデコーダに送信され得る。ＰＵ分割タイプに基づいて予測プロセスを適用することで残差ブロックが取得された後、ＣＵは、ＣＵのためのコーディングツリーのような別のクワッドツリー構造に従って、ＴＵにパーティショニングされ得る。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵおよびＴｕを含むマルチパーティションという概念があることである。ＨＥＶＣでは、ＣＵまたはＴＵは、正方形の形状のみであり得、一方、ＰＵは、フレーム間予測ブロックに対して、正方形または長方形の形状であってもよい。ＨＥＶＣでは、１つのコーディングブロックは、さらに、４つの正方形のサブブロックに分割され得て、また、変換プロセスは、各サブブロック、すなわちＴＵに対して実行され得る。各ＴＵは、（例えば、クワッドツリー分割を使用して）より小さなＴＵにさらに再帰的に分割され得る。クワッドツリー分割は、残差クワッドツリー（ＲＱＴ：ｒｅｓｉｄｕａｌ ｑｕａｄｔｒｅｅ）と呼ばれることができる。
【0099】
画像境界では、ＨＥＶＣは、暗黙的なクワッドツリー分割を採用し、これにより、ブロックでは、当該ブロックのサイズが画像境界に適合するまで、クワッドツリー分割が続けて実行され得る。
【0100】
ＶＶＣなどのいくつかの関連する例では、バイナリおよびターナリセグメンテーション構造を使用する、ネストされたマルチタイプツリーを有するクワッドツリーは、マルチパーティションユニットタイプの概念を置き換えることができる。つまり、ＣＵのサイズが最大変換長さに対して大きすぎない限り、ＣＵ、ＰＵおよびＴＵ概念の分離が削除された。したがって、これらの例では、ＣＵパーティション形状のための更なる柔軟性をサポートすることができる。ＶＶＣのコーディングツリー構造では、ＣＵは、正方形または長方形のいずれかの形状を有することができる。ＣＴＵは、最初にクォータナリツリー（またはクワッドツリー）構造によってパーティショニングされ得る。そして、当該クォータナリツリーのリーフノードは、マルチタイプツリー構造によってさらにパーティショニングされ得る。
【0101】
図１０は、本開示のいくつかの実施形態によるマルチタイプツリー分割モードのための例示的なブロックパーティションを示す。一実施形態では、図１０における例示的なブロックパーティションは、ＶＶＣで使用され得る。図１０に示すように、マルチタイプツリー構造には、垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）、水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）、水平ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）という４つの分割タイプがある。マルチタイプツリーのリーフノードは、ＣＵと呼ばれる。ＣＵが最大変換長さに対して大きすぎない限り、マルチタイプツリー構造は、さらなるパーティショニングを必要とせずに、予測プロセスおよび変換プロセスに使用され得る。これは、ほとんどの場合、ＣＵ、ＰＵおよびＴＵは、ネストされたマルチタイプツリーコーディングブロック構造を持つクワッドツリーにおいて、同じブロックサイズを有することができる、ということを意味する。ただし、サポートされている最大変換長さがＣＵのカラー成分の幅または高さよりも小さい場合、1つの例外が発生する場合がある。
【0102】
図１１は、本開示の一実施形態によるネストされたマルチタイプツリーコーディングブロック構造を有する例示的なクワッドツリーを示す。
【0103】
ＶＶＣなどのいくつかの関連する例では、サポートされている最大輝度変換サイズは６４×６４であり、また、サポートされている最大色度変換サイズは３２×３２である。ＣＢの幅または高さが最大変換幅または高さよりも大きい場合、ＣＢは、その方向の変換サイズ制限を満たすために、水平方向および／または垂直方向に沿って自動的に分割され得る。
【0104】
ＶＴＭ７などのいくつかの関連する例では、コーディングツリースキームは、分離のブロックツリー構造を有する１つのＣＴＵ内の輝度ＣＴＢおよび色度ＣＴＢをサポートすることができる。例えば、ＰスライスとＢスライスについては、１つのＣＴＵ内の輝度ＣＴＢおよび色度ＣＴＢは、同じコーディングツリー構造を共有する。ただし、Ｉスライスについては、１つのＣＴＵ内の輝度ＣＴＢおよび色度ＣＴＢは、分離のブロックツリー構造を有することができる。分離のブロックツリーモードが適用される場合、輝度ＣＴＢは、１つのコーディングツリー構造によってＣＵにパーティショニングされ、色度ＣＴＢは、別のコーディングツリー構造によって色度ＣＵにパーティショニングされる。これは、Ｉスライス内のＣＵには、１つの輝度成分のコーディングブロックまたは２つの色度成分のコーディングブロックが含まれ、また、ＰまたはＢスライス内のＣＵには、ビデオがモノクロでない限り、全ての３つの色成分のコーディングブロックが常に含まれ得る、ということを意味する。
【0105】
いくつかの関連する例では、半分離ツリー（ＳＳＴ：ｓｅｍｉ－ｓｅｐａｒａｔｅ ｔｒｅｅ）または色度成分のための柔軟なブロックパーティショニングとも呼ばれる半減結合ツリー（ＳＤＴ：ｓｅｍｉ－ｄｅｃｏｕｐｌｅｄ ｔｒｅｅ）スキームが採用されている。ＳＤＴでは、１つのスーパーブロック（ＳＢ：ｓｕｐｅｒ ｂｌｏｃｋ）内の輝度ブロックおよび色度ブロックは、同じまたは異なるブロックパーティショニングを有することができ、これは、輝度コーディングブロックのブロックサイズまたは輝度ツリー深さに依存している。例えば、輝度ブロックのブロックサイズが閾値Ｔ１よりも大きい場合、または、輝度ブロックのコーディングツリー分割深さが閾値Ｔ２以下である場合、輝度ブロックに関連付けられた色度ブロックは、輝度ブロックと同じコーディングツリー構造を使用することができる。さもないと、輝度ブロックのブロックサイズがＴ１以下である場合、または、輝度ブロックの輝度分割深さがＴ２よりも大きい場合、関連付けられた色度ブロックは、輝度ブロックと異なるコーディングブロックパーティショニングを有することができる。したがって、このスキームは、色度成分のための柔軟なブロックパーティショニングと呼ばれる。Ｔ１は、１２８や２５６などの正の整数である。Ｔ２は、１や２などの正の整数である。図１２には、ブロックツリーパーティショニングの一例が示されており、ここで、Ｔ２は、１に設定されている。
【0106】
いくつかの関連する例では、改良された半減結合パーティショニング（ＳＤＰ：ｓｅｍｉ－ｄｅｃｏｕｐｌｅｄ ｐａｒｔｉｔｉｏｎｉｎ）スキームが採用され、このスキームでは、輝度ブロックおよび色度ブロックがスーパーブロックのルートノードから部分的なツリー構造を共有することができ、また、輝度ブロックおよび色度ブロックが分離のツリーパーティショニングをいつ開始するかに関する条件は、輝度ブロックのパーティショニング情報またはビットストリームからの高度な構文に依存している。
【0107】
いくつかの関連する例では、Ｌタイプのブロックパーティショニングツリースキームが採用されている。長方形のブロックパーティションを使用する代わりに、Ｌタイプのパーティショニングでは、ブロックは、１つ以上のＬ字型パーティションと１つ以上の長方形パーティションに分割され得る。
【0108】
図１３は、例示的なＬ字型（またはＬタイプ）パーティションを示す。本開示では、回転されたＬ字型パーティションも、Ｌ字型パーティションとみなされている。図１３に示すように、幅、高さ、短幅および短高さを含むいくつかの用語は、Ｌ字型パーティションに関連付けられている。
【0109】
図１４は、本開示のいくつかの実施形態によるＬタイプパーティショニングツリーの４つの例を示す。ブロックは、１つのＬ字型パーティション（パーティション１）と１つの長方形パーティション（パーティション０）を含む２つのパーティションにパーティショニングされ得る。
【0110】
ＩＩＩ．フレーム内ブロックコピー（Ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）
【0111】
フレーム内ブロックコピー（ＩｎｔｒａＢＣまたはＩＢＣ）は、フレーム間画像予測に類似したコーディングツールである。主な違いは、ＩｎｔｒａＢＣでは、予測ブロックは、（例えば、ループ内フィルタリングが適用される前に）現在画像の再構築されたサンプルから形成される。したがって、ＩｎｔｒａＢＣは、現在画像内の「動き補償」と見なされることができる。
【0112】
ブロックベクトル（ＢＶ： ｂｌｏｃｋ ｖｅｃｔｏｒ）は、予測ブロックの位置を特定するためにコーディングされ得る。ＢＶの精度は、整数であり得る。ＢＶは、予測器の位置を特定するために、ビットストリーム内で、信号で通知され得る。現在ブロックについて、現在ブロックがＩｎｔｒａＢＣモードでコーディングされるかどうかを示すフラグ（例えば、ＩＢＣフラグ）は、まず、ビットストリーム内で送信される。次に、現在ブロックがＩｎｔｒａＢＣモードでコーディングされた場合、ＢＶ差分（ｄｉｆｆ）は、現在ＢＶから参照ＢＶを減算することによって得られて、次に、ｄｉｆｆは、水平成分と垂直成分のｄｉｆｆ値に従って、４つのタイプのうちの１つに分類され得る。タイプ情報は、ビットストリームに伝送され得る。次に、２つの成分のｄｉｆｆは、タイプ情報に基づいて信号で通知され得る。
【0113】
スクリーンコンテンツコーディングなどのいくつかの関連する例では、ＩｎｔｒａＢＣは、有効なツールである。しかしながら、ＩｎｔｒａＢＣは、ハードウェア設計に困難をもたらすこともある。ハードウェア設計を容易にするために、以下の変更は採用され得る。
【0114】
（１）ＩｎｔｒａＢＣが許可された場合、デブロッキングフィルタ、制約付き方向エンハンスメントフィルタ（ＣＤＥＦ：ｃｏｎｓｔｒａｉｎｅｄ ｄｉｒｅｃｔｉｏｎａｌ ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒ）、ループ復元フィルタなどのループフィルタが無効にされる。これにより、再構築されたサンプルの画像バッファは、ＩｎｔｒａＢＣとフレーム間予測との間で共有され得る。
【0115】
（２）並列復号を容易にするために、予測は、制限された領域を超えることができない。１つのスーパーブロックについて、その左上の位置の座標が（ｘ０，ｙ０）である場合、ｙ＜ｙ０およびｘ＜ｘ０＋２＊（ｙ０－ｙ）であれば、ＩｎｔｒａＢＣは、位置（ｘ，ｙ）での予測にアクセスすることができる。
【0116】
（３）ハードウェアライトバックの遅延を可能にするために、ＩｎｔｒａＢＣ予測によって即時再構築された領域にアクセスすることはできない。制限された即時再構築された領域は、１～ｎ個のスーパーブロックの範囲内であってもよい。したがって、修正（２）に加えて、１つのスーパーブロックの左上の位置の座標が（ｘ０，ｙ０）である場合、ｙ＜ｙ０およびｘ＜ｘ０＋２＊（ｙ０－ｙ）－Ｄであれば、ＩｎｔｒａＢＣは、位置（ｘ，ｙ）での予測にアクセスすることができ、ここで、Ｄは、制限された即時再構築された成領域を表す。
【0117】
ＩＶ．改良されたＩＢＣ予測
【0118】
ＡＶ１などのいくつかの関連する例では、輝度ブロックおよび色度ブロックは、同じパーティショニングツリーを共有することができ、また、輝度ブロックおよび関連付けられた色度ブロックも、同じＩｎｔｒａＢＣフラグを共有することができ、これは、ＩｎｔｒａＢＣモードが輝度ブロックと色度ブロックの両方で有効にするか、輝度ブロックおよび色度ブロックの両方で無効にすることができる、ということを意味する。しかしながら、ＳＤＰなどのいくつかの場合には、輝度ブロックおよび色度ブロックは、同じパーティショニングツリーを共有したり、異なるパーティショニングツリーを有したりすることができる。したがって、ＳＤＰなどのいくつかの場合には、輝度ブロックと色度ブロックの間で常にＩｎｔｒａＢＣフラグを共有することは、最適ではない場合がある。
【0119】
本開示において、ブロックサイズは、ブロック幅、ブロック高さ、幅および高さの最大値、幅および高さの最小値、ブロックの面積サイズ（幅＊高さ）、またはアスペクト比（幅：高さ、または、高さ：幅）などの、ブロックの様々なサイズ属性を指すことができる。スーパーブロックは、最大コーディングユニット（ＬＣＵ：ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）を指すことができ、例えば、ＡＶ１における１２８×１２８のブロックである。ＳＤＰは、ＳＤＴとも呼ばれ得る。ＩｎｔｒａＢＣフラグは、現在ブロックに対してＩｎｔｒａＢＣが適用されているかどうかを示すブロックレベルフラグである。
【0120】
本開示は、ＩｎｔｒａＢＣモードをコーディングユニットに適用するかどうかを判定する方法を含み、このコーディングユニットにおいて、例えば、コーディングユニットがＳＤＰを使用する場合、輝度ブロックおよび関連付けられた色度ブロックが部分的なツリー構造を共有することができる。したがって、この方法は、コーディングユニットに対してＳＤＰが有効になっている場合に適用され得る。
【0121】
本開示の態様によれば、輝度ブロックおよび関連付けられた色度ブロックが同じパーティション構造（またはツリー）を共有する（または有する）場合、輝度ブロックおよび色度ブロックのＩｎｔｒａＢＣフラグは同じである。さもないと、輝度ブロックおよび関連付けられた色度ブロックが異なるパーティショニングツリーを有する場合、輝度ブロックおよび色度ブロックのＩｎｔｒａＢＣフラグは異なる可能性がある。
【0122】
一実施形態では、輝度ブロックおよび関連付けられた色度ブロックが同じパーティション構造（またはツリー）を共有する場合、輝度ブロックおよび色度ブロックの両方のＩｎｔｒａＢＣフラグおよびＢＶは同じである。
【0123】
一実施形態では、輝度ブロックおよび関連付けられた色度ブロックが同じパーティション構造（またはツリー）を共有する場合、輝度ブロックおよび色度ブロックのＩｎｔｒａＢＣフラグは同じである。さもないと、輝度ブロックおよび関連付けられた色度ブロックが異なるパーティショニングツリーを有する場合、輝度ブロックのみに対して、ＩｎｔｒａＢＣフラグがビットストリーム内で信号で通知され、色度ブロックに対しては、ＩｎｔｒａＢＣフラグが常にゼロ（またはｆａｌｓｅ、無効）に設定され得る。
【0124】
一実施形態では、輝度ブロックおよび関連付けられた色度ブロックが同じパーティション構造（またはツリー）を共有する場合、輝度ブロックおよび色度ブロックのＩｎｔｒａＢＣフラグは同じである。さもないと、輝度ブロックおよび関連付けられた色度ブロックが異なるパーティショニングツリーを有する場合、輝度ブロックおよび関連付けられた色度ブロックに対して、ＩｎｔｒａＢＣフラグが、ビットストリーム内で別々に信号で通知され得る。
【0125】
本開示の態様によれば、輝度ブロックおよび色度ブロックが異なるパーティショニングツリー構造を有する場合、輝度ブロックおよび関連付けられた色度ブロックは、同じＩｎｔｒａＢＣフラグを共有することができる。
【0126】
一実施形態では、輝度ブロックおよび関連付けられた色度ブロックが異なるパーティショニングツリー構造および同じパーティションサイズを有する場合、輝度ブロックおよび関連付けられた色度ブロックは、同じＩｎｔｒａＢＣフラグおよび／またはＢＶを共有することができる。例えば、ＹＵＶ４２０フォーマットでは、輝度ブロックのブロックサイズが６４×３２であり、また、関連付けられた色度ブロックのブロックサイズが３２×１６であれば、輝度ブロックおよび関連付けられた色度ブロックは、同じパーティションサイズを有する。したがって、輝度ブロックおよび関連付けられた色度ブロックは、同じＩｎｔｒａＢＣフラグおよび／またはＢＶを共有することができる。
【0127】
一実施形態では、輝度ブロックおよび関連付けられた色度ブロックが異なるパーティショニングツリー構造を有し、また、輝度ブロックおよび色度ブロックのサイズの差が閾値以下である場合、輝度ブロックおよび関連付けられた色度ブロックは、同じＩｎｔｒａＢＣフラグおよび／またはＢＶを共有することができる。例えば、関連付けられた色度ブロックのブロックサイズが輝度ブロックのブロックサイズのＫ倍以下であり、また、関連付けられた色度ブロックのブロックサイズが輝度ブロックのブロックサイズの１／Ｋ倍以上である場合、輝度ブロックおよび関連付けられた色度ブロックは、同じＩｎｔｒａＢＣフラグおよび／またはＢＶを共有することができる。一例では、Ｋは、２または４に設定されている。
【0128】
本開示の態様によれば、同一位置に配置される（ｃｏ－ｌｏｃａｔｅｄ）輝度ブロックが、現在色度ブロックよりも大きなブロックサイズを使用してコーディングされた場合、色度ＩｎｔｒａＢＣフラグおよび関連付けられたＢＶは、同一位置に配置される輝度ブロックから継承され得る。
【0129】
本開示の態様によれば、色度ブロックは、複数の同一位置に配置される輝度ブロックに関連付けられてもよく、また、色度ブロックおよび複数の同一位置に配置される輝度ブロックは、異なるパーティショニングツリーを有してもよい。複数の同一位置に配置される輝度ブロックは、ＩｎｔｒａＢＣモードで部分的にまたは完全的にコーディングされてもよい。
【0130】
一実施形態では、複数の同一位置に配置される輝度ブロックがＩｎｔｒａＢＣモードで完全的にコーディングされる場合、複数の同一位置に配置される輝度ブロックの全てがＩｎｔｒａＢＣモードでコーディングされ、また、色度ブロックがＩｎｔｒａＢＣモードでコーディングされる。色度ブロックのＢＶは、複数の同一位置に配置される輝度ブロックの中央サンプルに関連付けられたＢＶまたは複数の同一位置に配置される輝度ブロックのコーナーサンプルに関連付けられたＢＶに基づいて導出され得る。
【0131】
一実施形態では、複数の同一位置に配置される輝度ブロックがＩｎｔｒａＢＣモードで部分的にコーディングされる場合、複数の同一位置に配置される輝度ブロックの第１サブセットがＩｎｔｒａＢＣモードでコーディングされ、また、複数の同一位置に配置される輝度ブロックの第２サブセットがフレーム内予測でコーディングされる。複数の同一位置に配置される輝度ブロックの第１サブセットに関連付けられた色度ブロックの第１複数の色度サンプルがＩｎｔｒａＢＣモードでコーディングされる。当該第１複数の色度サンプルのＢＶは、複数の同一位置に配置される輝度ブロックの第１サブセットの中央サンプルに関連付けられたＢＶ、または複数の同一位置に配置される輝度ブロックの第１サブセットのコーナーサンプルに関連付けられたＢＶに基づいて導出され得る。複数の同一位置に配置される輝度ブロックの第２サブセットに関連付けられた色度ブロックの第２複数の色度サンプルは、フレーム内予測でコーディングされる。第２複数の色度サンプルのフレーム内予測モードは、ビットストリーム内で信号で通知されるか、または複数の同一位置に配置される輝度ブロックの第２サブセットのフレーム内予測モードに基づいて導出され得る。次に、色度ブロックの予測ブロックは、第１複数の色度サンプルおよび第２複数の色度サンプルに基づいて生成され得る。
【0132】
Ｖ．フローチャート
【0133】
図１５は、本開示の一実施形態による例示的な処理（１５００）を概説するフローチャートを示す。様々な実施形態では、処理（１５００）は、例えば、端末デバイス（２１０）、（２２０）、（２３０）および（２４０）における処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、フレーム内予測モジュール（４５２）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、予測器（５３５）の機能を実行する処理回路、フレーム内エンコーダ（６２２）の機能を実行する処理回路、フレーム内デコーダ（７７２）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、処理（１５００）はソフトウェア命令で実現され、したがって、処理回路がソフトウェア命令を実行するとき、当該処理回路は、処理（１５００）を実行する。
【0134】
処理（１５００）は、通常、ステップ（Ｓ１５１０）で開始することができ、ステップ（Ｓ１５１０）において、処理（１５００）は、ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号する。次に、処理（１５００）は、ステップ（Ｓ１５２０）に進む。
【0135】
ステップ（Ｓ１５２０）において、処理（１５００）は、予測情報に基づいて、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定する。コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有する異なる場合、処理（１５００）は、ステップ（Ｓ１５３０）に進む。
【0136】
ステップ（Ｓ１５３０）において、処理（１５００）は、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。次に、処理（１５００）は、ステップ（Ｓ１５４０）に進む。
【0137】
ステップ（Ｓ１５４０）において、処理（１５００）は、予測情報に含まれる第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。次に、処理（１５００）は、ステップ（Ｓ１５５０）に進む。
【0138】
ステップ（Ｓ１５５０）において、処理（１５００）は、輝度ブロックおよび色度ブロックに基づいて、コーディングユニットを再構築する。次に、処理（１５００）は終了する。
【0139】
一実施形態では、処理（１５００）は、コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが同じパーティショニングツリーを有することに応答して、予測情報に含まれる第１のＩＢＣフラグに基づいて、輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。処理（１５００）は、ＩＢＣモードでコーディングされている輝度ブロックおよび色度ブロックに基づいて、輝度ブロックおよび色度ブロックが同じブロックベクトルを有すると判定する。
【0140】
一実施形態では、処理（１５００）は、輝度ブロックとは異なるパーティショニングツリーを有する色度ブロックに対してＩＢＣモードが無効であることを示すデフォルトモードに基づいて、色度ブロックがＩＢＣモードでコーディングされていないと判定する。
【0141】
一実施形態では、処理（１５００）は、輝度ブロックおよび色度ブロックが同じパーティションサイズを有するかどうかを判定する。輝度ブロックおよび色度ブロックが同じパーティションサイズを有することに応答して、処理（１５００）は、第１のＩＢＣフラグに基づいて、色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。
【0142】
一実施形態では、輝度ブロックのブロックサイズは色度ブロックのブロックサイズよりも大きく、処理（１５００）は、第１のＩＢＣフラグに基づいて、輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされるかどうかを判定する。輝度ブロックおよび色度ブロックがＩＢＣモードでコーディングされていることに応答して、処理（１５００）は、輝度ブロックおよび色度ブロックが同じブロックベクトルを有すると判定する。
【0143】
一実施形態では、色度ブロックのサンプルの第１サブセットは、ＩＢＣモードでコーディングされる第１輝度ブロックと同一位置に配置され、色度ブロックのサンプルの第２サブセットは、第１フレーム内予測モードでコーディングされる第２輝度ブロックと同一位置に配置され、処理（１５００）は、色度ブロックのサンプルの第１サブセットがＩＢＣモードでコーディングされると判定する。処理（１５００）は、色度ブロックのサンプルの第２サブセットが、予測情報に含まれる第１フレーム内予測モードおよび第２フレーム内予測モードのうちの１つでコーディングされると判定する。
【0144】
一実施形態では、色度ブロックのサンプルの第１サブセットおよび第１輝度ブロックは、同じブロックベクトルを有することができる。
【0145】
ＶＩ．コンピュータシステム
【0146】
上記の技術は、コンピュータ読み取り可能な命令を使用するコンピュータソフトウェアとして実現され、また、物理的に１つ以上のコンピュータ読み取り可能な媒体に記憶されることができる。例えば、図１６は、開示された主題の特定の実施形態を実現するのに適したコンピュータシステム（１６００）を示す。
【0147】
コンピュータソフトウェアは、任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされることができ、アセンブリ、コンパイル、リンク、または同様のメカニズムを受けて命令を含むコードを作成することができ、命令は、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって、直接的に実行されてもよく、またはコード解釈、マイクロコード実行などによって実行されてもよい。
【0148】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、オブジェクトネットワークデバイス（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ ｄｅｖｉｃｅｓ）などを含む、様々なタイプのコンピュータまたはそのコンポーネントで実行されてもよい。
【0149】
図１６に示されるコンピュータシステム（１６００）のコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実現するコンピュータソフトウェアの使用範囲または機能に関するいかなる制限も示唆することが意図されていない。コンポーネントの構成は、コンピュータシステム（１６００）の例示的な実施形態に示されているコンポーネントのいずれかまたは組み合わせに関連する任意の依存性または要件を有すると解釈されるべきではない。
【0150】
コンピュータシステム（１６００）は、いくつかのヒューマンインターフェース入力デバイスを含むことができる。このようなヒューマンインターフェース入力デバイスは、触覚入力（例えば、キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャーなど）、嗅覚入力（図示せず）によって、1人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、例えばオーディオ（例えば、音声、音楽、環境音など）、画像（例えば、スキャンされた画像、静止画像カメラから得られた写真画像など）、ビデオ（例えば、２次元ビデオ、立体映像を含む３次元ビデオなど）などの、人間による意識的な入力に必ずしも直接関連されているとは限らない、特定のメディアを捕捉するために使用されることもできる。
【0151】
ヒューマンインターフェース入力デバイスは、キーボード（１６０１）、マウス（１６０２）、トラックパッド（１６０３）、タッチスクリーン（１６１０）、データグローブ（図示せず）、ジョイスティック（１６０５）、マイクロホン（１６０６）、スキャナ（１６０７）およびカメラ（１６０８）（それぞれの1つだけが図示された）のうちの１つまたは複数を含むことができる。
【0152】
コンピューターシステム（１６００）はまた、いくつかのヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚によって、１人以上のユーザの感覚を刺激することができる。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１６１０）、データグローブ（図示せず）またはジョイスティック（１６０５）による触覚フィードバックであるが、入力デバイスとして作用しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（例えば、スピーカ（１６０９）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１６１０）であり、各々は、タッチスクリーン入力機能を備えてもよく、あるいは備えていなくてもよいし、各々は、触覚フィードバック機能を備えてもよく、あるいは備えていなくてもよいし、これらのいくつかは、例えば、ステレオグラフィック出力、仮想現実メガネ（図示せず）、ホログラフィックディスプレイとスモークタンク（図示せず）、およびプリンタ（図示せず）などによって、２次元の視覚出力または３次元以上の視覚出力を出力することができる。これらの視覚出力デバイス（例えばスクリーン（１６１０））は、グラフィックアダプタ（１６５０）を介してシステムバス（１６４８）に接続され得る。
【0153】
コンピューターシステム（１６００）は、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１６２０）を含む光学媒体または類似の媒体（１６２１）、サムドライブ（１６２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１６２３）、テープおよびフロッピーディスク（図示せず）などのようなレガシー磁気媒体、セキュリティドングル（図示せず）などのような特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどのような、人間がアクセス可能な記憶デバイスおよびそれらに関連する媒体を含むことができる。
【0154】
当業者はまた、ここで開示されている主題に関連して使用される「コンピュータ読み取り可能な媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を包含しないことを理解すべきである。
【0155】
コンピューターシステム（１６００）はまた、一つ以上の通信ネットワーク（１６５５）へのネットワークインターフェース（１６５４）を含むことができる。一つ以上の通信ネットワーク（１６５５）は、例えば、無線、有線、光学的であってもよい。一つ以上の通信ネットワーク（１６５５）はさらに、ローカルネットワーク、広域ネットワーク、大都市圏ネットワーク、車両用ネットワークおよび産業用ネットワーク、リアルタイムネットワーク、遅延耐性ネットワークなどであってもよい。一つ以上の通信ネットワーク（１６５５）の例は、イーサネット（登録商標）、無線ＬＡＮ、セルラーネットワーク（ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなど）などのＬＡＮ、テレビケーブルまたは無線広域デジタルネットワーク（有線テレビ、衛星テレビ、地上放送テレビを含む）、車両用および産業用ネットワーク（ＣＡＮＢｕｓを含む）などを含む。いくつかのネットワークは、一般に、いくつかの汎用データポートまたは周辺バス（１６４９）（例えば、コンピュータシステム（１６００）のＵＳＢポート）に接続された外部ネットワークインターフェースアダプタが必要であり、他のシステムは、通常、以下に説明するようにシステムバスに接続することによって、コンピュータシステムシステム（１６００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１６００）は、他のエンティティと通信することができる。このような通信は、単方向の受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、Ｃａｎｂｕｓから特定のＣａｎｂｕｓデバイスへ）、あるいは、双方向の、例えばローカルまたは広域デジタルネットワークを使用して他のコンピュータシステムへの通信であってもよい。上述のように、特定のプロトコルおよびプロトコルスタックは、それらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。
【0156】
上記ヒューマンマシンインタフェースデバイス、ヒューマンアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピューターシステム（１６００）のコア（１６４０）に接続されることができる。
【0157】
コア（１６４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１６４１）、グラフィック処理ユニット（ＧＰＵ）（１６４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１６４３）の形式の専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１６４４）、グラフィックスアダプタ（１６５０）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１６４５）、ランダムアクセスメモリ（ＲＡＭ）（１６４６）、例えば内部の非ユーザアクセスハードディスクドライブ、ＳＳＤなどの内部大容量ストレージ（１６４７）などとともに、システムバス（１６４８）を介して接続されてもよい。いくつかのコンピュータシステムでは、付加的なＣＰＵ、ＧＰＵなどによって拡張を可能にするために、システムバス（１６４８）に１つ以上の物理的プラグの形でアクセスすることができる。周辺デバイスは、コアのシステムバス（１６４８）に直接的に接続されてもよく、または周辺バス（１６４９）を介して接続されてもよい。一例では、スクリーン（１６１０）は、グラフィックスアダプタ（１６５０）に接続されて得る。周辺バスのアーキテクチャは、外部コントローラインターフェース（ＰＣＩ）、汎用シリアルバス（ＵＳＢ）などを含む。
【0158】
ＣＰＵ（１６４１）、ＧＰＵ（１６４２）、ＦＰＧＡ（１６４３）、およびアクセラレータ（１６４４）は、いくつかの命令を実行することができ、これらの命令を組み合わせて上述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（１６４５）またはＲＡＭ（１６４６）に記憶されることができる。また、一時的なデータは、ＲＡＭ（１６４６）に記憶されることができる一方、永久的なデータは、例えば内部大容量ストレージ（１６４７）に記憶されることができる。１つ以上のＣＰＵ（１６４１）、ＧＰＵ（１６４２）、大容量ストレージ（１６４７）、ＲＯＭ（１６４５）、ＲＡＭ（１６４６）などと密接に関連することができる、キャッシュメモリを使用することにより、任意のメモリデバイスに対する高速記憶および検索が可能になる。
【0159】
コンピュータ読み取り可能な媒体は、様々なコンピュータ実行された動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよく、またはコンピュータソフトウェア分野の技術者によって知られ、利用可能な媒体およびコードであってもよい。
【0160】
限定ではなく例として、アーキテクチャ（１６００）、特にコア（１６４０）を有するコンピュータシステムは、１つ以上の有形な、コンピュータ読み取り可能な媒体に具体化されたソフトウェアを実行する、（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）プロセッサとして機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のユーザがアクセス可能な大容量ストレージに関連する媒体であり、コア内部大容量ストレージ（１６４７）またはＲＯＭ（１６４５）などの、不揮発性コア（１６４０）を有する特定のストレージであってもよい。本開示の様々な実施形態を実現するソフトウェアは、そのようなデバイスに記憶され、コア（１６４０）によって実行されてもよい。コンピュータ読み取り可能な媒体は、特定のニーズに応じて、１つ以上のメモリデバイスまたはチップを含むことができる。このソフトウェアは、コア（１６４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１６４６）に記憶されているデータ構造を定義することと、ソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を変更することとを含む、本明細書に説明された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えてまたは代替として、コンピュータシステムは、ロジックハードワイヤードされているか、または別の方法で回路（例えば、アクセラレータ（１６４４））に組み込まれているため、機能を提供することができ、この回路は、ソフトウェアの代わりに動作し、またはソフトウェアと一緒に動作して、本明細書に説明された特定のプロセスの特定のプロセスまたは特定の部分を実行することができる。適切な場合には、ソフトウェアへの参照はロジックを含むことができ、逆もまた然りである。適切な場合には、コンピュータ読み取り可能な媒体への参照は、実行されるソフトウェアを記憶する回路（集積回路（ＩＣ）など）を含み、実行されるロジックを具体化する回路、またはその両方を兼ね備えることができる。本開示は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを包含する。
【0161】
付録Ａ：頭字語
ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、適応ループフィルタ
ＡＭＶＰ：Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、高度な動きベクトル予測
ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、適応パラメータセット
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＡＴＭＶＰ：Ａｌｔｅｒｎａｔｉｖｅ／Ａｄｖａｎｃｅｄ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、代替／高度な時間的動きベクトル予測
ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １
ＡＶ２：ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ、ベンチマークセット
ＢＶ：Ｂｌｏｃｋ Ｖｅｃｔｏｒ、ブロックベクトル
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＣＢ： Ｃｏｄｉｎｇ Ｂｌｏｃｋ、コーディングブロック
ＣＣ－ＡＬＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、クロスコンポーネント適応ループフィルタ
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＣＤＥＦ：Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ、制約付き方向エンハンスメントフィルタ
ＣＰＲ：Ｃｕｒｒｅｎｔ Ｐｉｃｔｕｒｅ Ｒｅｆｅｒｅｎｃｉｎｇ、現在画像の参照
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、コーディングツリーブロック
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、コーディングツリーユニット
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、コーディングユニット
ＤＰＢ：Ｄｅｃｏｄｅｒ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、デコーダ画像バッファ
ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ－Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ、差分パルス符号変調
ＤＰＳ：Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、復号パラメータセット
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ、フィールドプログラマブルゲートエリア
ＪＣＣＲ：Ｊｏｉｎｔ ＣｂＣｒ Ｒｅｓｉｄｕａｌ Ｃｏｄｉｎｇ、共同ＣｂＣｒ残差コーディング
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、共同ビデオ探索チーム
ＧＯＰ：：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、画像グループ
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックス処理ユニット
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、ハイダイナミックレンジ
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオコーディング
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ、フレーム内ブロックコピー
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、フレーム内サブパーティション
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ、共同探索モデル
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＬＲ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｆｉｌｔｅｒ、ループ復元フィルタ
ＬＲＵ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｕｎｉｔ、ループ復元ユニット
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的な進化
ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ、最確モード
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、動きベクトル
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ、位置依存予測組合せ
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、画像パラメータセット
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、予測ユニット
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、サンプル適応オフセット
ＳＣＣ：Ｓｃｒｅｅｎ Ｃｏｎｔｅｎｔ Ｃｏｄｉｎｇ、スクリーンコンテンツコーディング
ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、標準ダイナミックレンジ
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、シーケンスパラメータセット
ＳＳＤ：Ｓｏｌｉｄ－ｓｔａｔｅ Ｄｒｉｖｅ、ソリッドステートドライブ
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、変換ユニット
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ビデオパラメータセット
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、多用途ビデオコーディング
ＷＡＩＰ：Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、広角フレーム内予測
ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、適応ループフィルタ
ＡＭＶＰ：Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、高度な動きベクトル予測
ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、適応パラメータセット
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、特定用途向け集積回路
ＡＴＭＶＰ：Ａｌｔｅｒｎａｔｉｖｅ／Ａｄｖａｎｃｅｄ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、代替／高度な時間的動きベクトル予測
ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １
ＡＶ２：ＡＯＭｅｄｉａ Ｖｉｄｅｏ ２
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ、ベンチマークセット
ＢＶ：Ｂｌｏｃｋ Ｖｅｃｔｏｒ、ブロックベクトル
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ、コントローラエリアネットワークバス
ＣＢ： Ｃｏｄｉｎｇ Ｂｌｏｃｋ、コーディングブロック
ＣＣ－ＡＬＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、クロスコンポーネント適応ループフィルタ
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、コンパクトディスク
ＣＤＥＦ：Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ、制約付き方向エンハンスメントフィルタ
ＣＰＲ：Ｃｕｒｒｅｎｔ Ｐｉｃｔｕｒｅ Ｒｅｆｅｒｅｎｃｉｎｇ、現在画像の参照
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ、コーディングツリーブロック
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、コーディングツリーユニット
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ、コーディングユニット
ＤＰＢ：Ｄｅｃｏｄｅｒ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、デコーダ画像バッファ
ＤＰＣＭ：Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ－Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ、差分パルス符号変調
ＤＰＳ：Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、復号パラメータセット
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、デジタルビデオディスク
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ、フィールドプログラマブルゲートエリア
ＪＣＣＲ：Ｊｏｉｎｔ ＣｂＣｒ Ｒｅｓｉｄｕａｌ Ｃｏｄｉｎｇ、共同ＣｂＣｒ残差コーディング
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、共同ビデオ探索チーム
ＧＯＰ：：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、画像グループ
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックス処理ユニット
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、モバイル通信のグローバルシステム
ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、ハイダイナミックレンジ
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオコーディング
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、仮想参照デコーダ
ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ、フレーム内ブロックコピー
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路
ＩＳＰ：Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ、フレーム内サブパーティション
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ、共同探索モデル
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク
ＬＣＤ：Ｌｉｑｕｉｄ－Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ
ＬＲ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｆｉｌｔｅｒ、ループ復元フィルタ
ＬＲＵ：Ｌｏｏｐ Ｒｅｓｔｏｒａｔｉｏｎ Ｕｎｉｔ、ループ復元ユニット
ＬＴＥ：Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的な進化
ＭＰＭ：Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ、最確モード
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、動きベクトル
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード
ＰＢｓ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ、予測ブロック
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、外部コントローラインターフェース
ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ、位置依存予測組合せ
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、プログラマブルロジックデバイス
ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、画像パラメータセット
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、予測ユニット
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ランダムアクセスメモリ
ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、読み取り専用メモリ
ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、サンプル適応オフセット
ＳＣＣ：Ｓｃｒｅｅｎ Ｃｏｎｔｅｎｔ Ｃｏｄｉｎｇ、スクリーンコンテンツコーディング
ＳＤＲ：Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ、標準ダイナミックレンジ
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、補足強化情報
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ、信号雑音比
ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、シーケンスパラメータセット
ＳＳＤ：Ｓｏｌｉｄ－ｓｔａｔｅ Ｄｒｉｖｅ、ソリッドステートドライブ
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、変換ユニット
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、汎用シリアルバス
ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ビデオパラメータセット
ＶＵＩ：Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ビジュアルユーザビリティ情報
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、多用途ビデオコーディング
ＷＡＩＰ：Ｗｉｄｅ－Ａｎｇｌｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、広角フレーム内予測
【0162】
本開示は、いくつかの例示的な実施形態について説明したが、本開示の範囲内にある変更、配置、および様々な均等置換が存在している。したがって、当業者は、本明細書では明確に示されていないかまたは説明されていないが、本開示の原則を具現しているので、本開示の精神および範囲内にある、様々なシステムおよび方法を設計することができる、ということを理解されたい。
【符号の説明】
【0163】
２００ 通信システム
２１０，２２０，２３０，２４０ 端末デバイス
２５０ ネットワーク
３００ ストリーミング環境
３０１ ビデオソース
３０２ ビデオ画像ストリーム
３０３ ビデオエンコーダ
３０４ 符号化されたビデオデータ
３０５ ストリーミングサーバ
３０６ クライアントサブシステム
３０７ 符号化されたビデオデータのコピー
３０８ クライアントサブシステム
３０９ 符号化されたビデオデータのコピー
３１０ ビデオデコーダ
３１１ ビデオ画像ストリーム
３１２ ディスプレイ
３１３ 捕捉サブシステム
３２０ 電子デバイス
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ エントロピーデコーダ／解析器
４２１ シンボル
４３０ 電子デバイス
４３１ 受信機
４５１ スケーラ／逆変換ユニット
４５２ フレーム内画像予測ユニット
４５３ 動き補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照画像メモリ
４５８ 現在画像バッファ
５０１ソースビデオシーケンス
５５０コントローラ
５３０ソースエンコーダ
５３５予測器
５３２符号化エンジン
５３４参照画像メモリ
５３３デコーダ
５４５エントロピーエンコーダ
５４０送信機
５６０チャネル
ｂｌｏｃｋ ｄａｔａ ブロックデータ
６２１汎用コントローラ
ｇｅｎｅｒａｌ ｃｏｎｔｒｏｌ ｄａｔａ汎用コントロールデータ
ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｕｌｔイントラ予測結果
６２２イントラエンコーダ
６３０インターエンコーダ
ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ 参照画像
６２４残差エンコーダ
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎイントラ予測情報
６２８残差デコーダ
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｕｌｔインター予測結果
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎインター予測情報
６２５エントロピーエンコーダ
ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ符号化されたビデオシーケンス
７１０ ビデオデコーダ
７７１ エントロピーデコーダ
７７２ フレーム内デコーダ
７７３ 残差デコーダ
７７４ 再構築モジュール
７８０ フレーム間デコーダ
１６００ コンピュータシステム
１６０１ キーボード
１６０２ マウス
１６０３ トラックパッド
１６０５ ジョイスティック
１６０６ マイクロホン
１６０７ スキャナ
１６０８ カメラ
１６０９ スピーカ
１６１０ スクリーン、タッチスクリーン
１６２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１６２１ 光学媒体
１６２２ サムドライブ
１６２３ リムーバブルドライブ
１６４０ コア
１６４１ 中央処理ユニット（ＣＰＵ）
１６４２ グラフィック処理ユニット（ＧＰＵ）
１６４３ フィールドプログラマブルゲートアレイ（ＦＰＧＡ）
１６４４ ハードウェアアクセラレータ
１６４５ リードオンリーメモリ（ＲＯＭ）
１６４６ ランダムアクセスメモリ（ＲＡＭ）
１６４７ 内部大容量ストレージ
１６４８ システムバス
１６４９ 周辺バス
１６５０ グラフィックスアダプタ
１６５４ ネットワークインターフェース
１６５５ 通信ネットワーク
２１０，２２０，２３０，２４０ 端末デバイス
２５０ ネットワーク
３００ ストリーミング環境
３０１ ビデオソース
３０２ ビデオ画像ストリーム
３０３ ビデオエンコーダ
３０４ 符号化されたビデオデータ
３０５ ストリーミングサーバ
３０６ クライアントサブシステム
３０７ 符号化されたビデオデータのコピー
３０８ クライアントサブシステム
３０９ 符号化されたビデオデータのコピー
３１０ ビデオデコーダ
３１１ ビデオ画像ストリーム
３１２ ディスプレイ
３１３ 捕捉サブシステム
３２０ 電子デバイス
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ エントロピーデコーダ／解析器
４２１ シンボル
４３０ 電子デバイス
４３１ 受信機
４５１ スケーラ／逆変換ユニット
４５２ フレーム内画像予測ユニット
４５３ 動き補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照画像メモリ
４５８ 現在画像バッファ
５０１ソースビデオシーケンス
５５０コントローラ
５３０ソースエンコーダ
５３５予測器
５３２符号化エンジン
５３４参照画像メモリ
５３３デコーダ
５４５エントロピーエンコーダ
５４０送信機
５６０チャネル
ｂｌｏｃｋ ｄａｔａ ブロックデータ
６２１汎用コントローラ
ｇｅｎｅｒａｌ ｃｏｎｔｒｏｌ ｄａｔａ汎用コントロールデータ
ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｕｌｔイントラ予測結果
６２２イントラエンコーダ
６３０インターエンコーダ
ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ 参照画像
６２４残差エンコーダ
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎイントラ予測情報
６２８残差デコーダ
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｒｅｓｕｌｔインター予測結果
ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎインター予測情報
６２５エントロピーエンコーダ
ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ符号化されたビデオシーケンス
７１０ ビデオデコーダ
７７１ エントロピーデコーダ
７７２ フレーム内デコーダ
７７３ 残差デコーダ
７７４ 再構築モジュール
７８０ フレーム間デコーダ
１６００ コンピュータシステム
１６０１ キーボード
１６０２ マウス
１６０３ トラックパッド
１６０５ ジョイスティック
１６０６ マイクロホン
１６０７ スキャナ
１６０８ カメラ
１６０９ スピーカ
１６１０ スクリーン、タッチスクリーン
１６２０ ＣＤ／ＤＶＤ ＲＯＭ／ＲＷ
１６２１ 光学媒体
１６２２ サムドライブ
１６２３ リムーバブルドライブ
１６４０ コア
１６４１ 中央処理ユニット（ＣＰＵ）
１６４２ グラフィック処理ユニット（ＧＰＵ）
１６４３ フィールドプログラマブルゲートアレイ（ＦＰＧＡ）
１６４４ ハードウェアアクセラレータ
１６４５ リードオンリーメモリ（ＲＯＭ）
１６４６ ランダムアクセスメモリ（ＲＡＭ）
１６４７ 内部大容量ストレージ
１６４８ システムバス
１６４９ 周辺バス
１６５０ グラフィックスアダプタ
１６５４ ネットワークインターフェース
１６５５ 通信ネットワーク
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-08-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
デコーダにおいてビデオをコーディングする方法であって、
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記コーディングユニットを再構築するステップと、を含む
ことを特徴とする方法。
ビデオビットストリームの一部である現在画像におけるコーディングユニットの予測情報を復号するステップと、
前記予測情報に基づいて、前記コーディングユニットに関連付けられた輝度ブロックおよび色度ブロックが異なるパーティショニングツリーを有するかどうかを判定するステップと、
前記コーディングユニットに関連付けられた前記輝度ブロックおよび前記色度ブロックが異なるパーティショニングツリーを有することに応答して、
前記予測情報に含まれる第１のＩＢＣフラグに基づいて、前記輝度ブロックがフレーム内ブロックコピー（ＩＢＣ）モードでコーディングされるかどうかを判定するステップと、
前記予測情報に含まれる前記第１のＩＢＣフラグ、第２のＩＢＣフラグおよびデフォルトモードのうちの１つに基づいて、前記色度ブロックが前記ＩＢＣモードでコーディングされるかどうかを判定するステップと、
前記輝度ブロックおよび前記色度ブロックに基づいて、前記コーディングユニットを再構築するステップと、を含む
ことを特徴とする方法。
【外国語明細書】