(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】漸次復号リフレッシュのための、クロマスケーリングを用いるルーママッピング
(51)【国際特許分類】
H04N 19/105 20140101AFI20240730BHJP
H04N 19/157 20140101ALI20240730BHJP
H04N 19/70 20140101ALI20240730BHJP
【FI】
H04N19/105
H04N19/157
H04N19/70
(21)【出願番号】P 2022561452
(86)(22)【出願日】2021-03-25
(86)【国際出願番号】 EP2021057748
(87)【国際公開番号】W WO2021204553
(87)【国際公開日】2021-10-14
【審査請求日】2022-11-04
(32)【優先日】2020-04-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100094569
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【氏名又は名称】西島 孝喜
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】ワン リミン
(72)【発明者】
【氏名】ホン スンウック
(72)【発明者】
【氏名】パヌソポネ クリット
(72)【発明者】
【氏名】ハヌクセラ ミスカ マティアス
【審査官】田中 純一
(56)【参考文献】
【文献】特表2023-504965(JP,A)
【文献】国際公開第2021/123357(WO,A1)
【文献】特表2023-513344(JP,A)
【文献】国際公開第2021/160165(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
復号されるピクチャにアクセスするための手段と、
前記ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定するための手段と、
前記ピクチャが前記漸次復号リフレッシュ期間内にある場合、
クロマスケーリングプロセスを用いるルーママッピング(LMCS)のクロマ残差スケーリングプロセスが前記ピクチャに適用されるのを防止するための手段と
を備える、装置。
【請求項2】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャに関連付けられる制御フラグにさらに基づいており、前記制御フラグが存在しないか、前記ピクチャについてクロマ残差スケーリングが無効であることを示す場合
、クロマスケーリングを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスは前記ピクチャに適用されない、請求項1に記載の装置。
【請求項3】
クロマスケーリングプロセスを用いる
前記ルーママッピングが、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスを含む、請求項1に記載の装置。
【請求項4】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャに関連付けられる第2の制御フラグにさらに基づいており、前記第2の制御フラグが存在しないか、前記ピクチャについてLMCSが無効であることを示す場合
、クロマスケーリングプロセスを用いる前記ルーママッピングは前記ピクチャに適用されない、請求項3に記載の装置。
【請求項5】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャが前記漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される、請求項1~4のいずれか1項に記載の装置。
【請求項6】
復号されるピクチャにアクセスすることと、
前記ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定することと、
前記ピクチャが前記漸次復号リフレッシュ期間内にある場合、
クロマスケーリングプロセスを用いるルーママッピング(LMCS)のクロマ残差スケーリングプロセスが前記ピクチャに適用されるのを防止することと
を含む、方法。
【請求項7】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの
前記クロマ残差スケーリン
グプロセスを前記防止することが、前記ピクチャに関連付けられる制御フラグにさらに基づいており、前記制御フラグが存在しないか、前記ピクチャについてクロマ残差スケーリングが無効であることを示す場合
、クロマスケーリングを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスは前記ピクチャに適用されない、請求項6に記載の方法。
【請求項8】
クロマスケーリング復号プロセスを用いる
前記ルーママッピングが、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスを含む、請求項6に記載の方法。
【請求項9】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャに関連付けられる第2の制御フラグにさらに基づいており、前記第2の制御フラグが存在しないか、前記ピクチャについてLMCSが無効であることを示す場合
、クロマスケーリング復号プロセスを用いる前記ルーママッピングは前記ピクチャに適用されない、請求項8に記載の方法。
【請求項10】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャが前記漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される、請求項6~9のいずれか1項に記載の方法。
【請求項11】
コンピュータ実行可能プログラムコード命令
を含むコンピュータプログラ
ムであって、前記コンピュータ実行可能プログラムコード命令は、実行されると、
復号されるピクチャにアクセスすることと、
前記ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定することと、
前記ピクチャが前記漸次復号リフレッシュ期間内にある場合、
クロマスケーリングプロセスを用いるルーママッピング(LMCS)のクロマ残差スケーリングプロセスが前記ピクチャに適用されるのを防止することと
を行うように構成されるプログラムコード命令を含む、コンピュータプログラ
ム。
【請求項12】
クロマスケーリング
プロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリン
グプロセスを前記防止することが、前記ピクチャに関連付けられる制御フラグにさらに基づいており、前記制御フラグが存在しないか、前記ピクチャについてクロマ残差スケーリングが無効であることを示す場合
、クロマスケーリングを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスは前記ピクチャに適用されない、請求項11に記載のコンピュータプログラ
ム。
【請求項13】
クロマスケーリングプロセスを用いる
前記ルーママッピングが、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスを含む、請求項11に記載のコンピュータプログラ
ム。
【請求項14】
クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャに関連付けられる第2の制御フラグにさらに基づいており、前記第2の制御フラグが存在しないか、前記ピクチャについてLMCSが無効であることを示す場合、クロマスケーリング復号プロセスを用いる
前記ルーママッピングは前記ピクチャに適用されない、請求項13に記載のコンピュータプログラ
ム。
【請求項15】
前記クロマスケーリングプロセスを用いる
前記ルーママッピングの前記クロマ残差スケーリングプロセスを前記防止することが、前記ピクチャが前記漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される、請求項11~14のいずれか1項に記載のコンピュータプログラ
ム。
【発明の詳細な説明】
【技術分野】
【0001】
例示の実施形態は、一般には映像符号化の技法に関し、より詳細には、クロマスケーリングプロセスを用いるルーママッピング(luma mapping with chroma scaling)の効率的な管理のための技法に関する。
【背景技術】
【0002】
Advanced Video Coding(AVC)、High Efficiency Video Coding(HEVC)、および/またはVersatile Video Coding(VVC)などの映像符号化設計では、符号化された映像シーケンスにイントラ符号化ピクチャおよびインター符号化ピクチャが含まれる場合がある。イントラ符号化ピクチャは、通常、インター符号化ピクチャよりも多くのビットを使用する場合があるため、イントラ符号化ピクチャの送信時間はエンコーダからデコーダへの遅延を大きくする。低遅延用途には、エンコーダからデコーダへの遅延を概ね1ピクチャインターバルまで低減することができるように、すべての符号化ピクチャが同様のビット数を使用することが望ましい場合がある。したがって、イントラ符号化ピクチャは、(超)低遅延用途には理想的ではないかもしれない。しかしながら、イントラ符号化ピクチャは、ランダムアクセスポイントで必要とされる場合がある。
【0003】
漸次復号リフレッシュ(GDR,gradual decoding refresh)、漸次ランダムアクセス(GRA)、プログレッシブイントラリフレッシュ(PIR)などの手法は、イントラ符号化ピクチャに伴う遅延問題を軽減することができる。ランダムアクセスポイントでイントラピクチャを符号化する代わりに、GDRは、いくつかのピクチャにかけてイントラ符号化エリアを拡げることによってピクチャを漸進的にリフレッシュする。しかしながら、GDRには、ルーマサンプルを特定の値にマッピングする復号プロセスの一部として適用され、クロマサンプルの値にスケーリング操作を適用することができるプロセスである、クロマスケーリングを用いるルーママッピング(LMCS:luma mapping with chroma scaling)などの特定の符号化ツールとの非互換性および/または他の問題が生じる可能性がある。
【発明の概要】
【0004】
一実施形態では、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備える装置であって、少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、復号されるピクチャにアクセスさせるように構成される、装置が提供される。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定させるようにさらに構成される。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、ピクチャが漸次復号リフレッシュ期間内にある場合、装置に、クロマスケーリング復号プロセスを用いるルーママッピングがピクチャに適用されるのを防止させるようにさらに構成される。
【0005】
装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるすべての復号プロセスを含む。装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセス(chroma residual scaling decoding processes)のみを含む。装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値(enabling value)にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0006】
別の実施形態では、復号されるピクチャにアクセスするための手段を備える装置が提供される。装置は、ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定するための手段をさらに備える。ピクチャが漸次復号リフレッシュ期間内にある場合、装置は、クロマスケーリング復号プロセスを用いるルーママッピングがピクチャに適用されるのを防止するための手段をさらに備える。いくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるすべての復号プロセスを含む。いくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのみを含む。装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0007】
別の実施形態では、プログラムコード部分が記憶された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、プログラムコード部分は、実行されると、復号されるピクチャにアクセスするように構成される、コンピュータプログラム製品が提供される。プログラムコード部分は、実行されると、ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定するようにさらに構成される。ピクチャが漸次復号リフレッシュ期間内にある場合、プログラムコード部分は、実行されると、クロマスケーリング復号プロセスを用いるルーママッピングがピクチャに適用されるのを防止するようにさらに構成される。
【0008】
コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるすべての復号プロセスを含む。コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのみを含む。コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。コンピュータプログラム製品のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0009】
別の実施形態では、復号されるピクチャにアクセスすることを含む方法が提供される。方法は、ピクチャが漸次復号リフレッシュ期間内にあるかどうかを判定することをさらに含む。ピクチャが漸次復号リフレッシュ期間内にある場合、方法は、クロマスケーリング復号プロセスを用いるルーママッピングがピクチャに適用されるのを防止することをさらに含む。方法のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるすべての復号プロセスを含む。方法のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングは、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのみを含む。方法のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。方法のいくつかの実施形態では、クロマスケーリング復号プロセスを用いるルーママッピングを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。方法のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0010】
別の実施形態では、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備える装置であって、少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、漸次復号リフレッシュ期間内の復号されるピクチャにアクセスさせるように構成される、装置が提供される。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、仮想境界がピクチャの現在のコーディングツリーユニット(coding tree unit)内にあるかどうかを判定させるようにさらに構成され、仮想境界は、ピクチャのクリーンエリアとダーティエリアとの分離を定める。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、仮想境界が現在のコーディングツリーユニット内にある場合、装置に、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスがクリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止させるようにさらに構成される。
【0011】
装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0012】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャにアクセスするための手段を備える装置が提供される。装置は、仮想境界がピクチャの現在のコーディングツリーユニット内にあるかどうかを判定するための手段をさらに備え、仮想境界はピクチャのクリーンエリアとダーティエリアとの分離を定める。装置は、仮想境界が現在のコーディングツリーユニット内にある場合、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止するための手段をさらに備える。
【0013】
装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0014】
別の実施形態では、プログラムコード部分が記憶された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、プログラムコード部分は、実行されると、漸次復号リフレッシュ期間内の復号されるピクチャにアクセスするように構成される、コンピュータプログラム製品が提供される。プログラムコード部分は、実行されると、仮想境界がピクチャの現在のコーディングツリーユニット内にあるかどうかを判定するようにさらに構成され、仮想境界はピクチャのクリーンエリアとダーティエリアとの分離を定める。プログラムコード部分は、実行されると、仮想境界が現在のコーディングツリーユニット内にある場合、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止するようにさらに構成される。
【0015】
コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。コンピュータプログラム製品のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0016】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャにアクセスすることを含む方法が提供される。方法は、仮想境界がピクチャの現在のコーディングツリーユニット内にあるかどうかを判定することをさらに含み、仮想境界はピクチャのクリーンエリアとダーティエリアとの分離を定める。方法は、仮想境界が現在のコーディングツリーユニット内にある場合、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することをさらに含む。
【0017】
方法のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。方法のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。方法のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0018】
別の実施形態では、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備える装置であって、少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスさせることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスさせることを行うように構成される、装置が提供される。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定させるようにさらに構成される。少なくとも1つのメモリおよびコンピュータプログラムコードは、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、少なくとも1つのプロセッサを用いて、装置に、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止するようにさらに構成される。
【0019】
装置のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0020】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスするための手段であって、現在のコーディングユニットがクリーンエリア内にある、アクセスするための手段を備える装置が提供される。装置は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するための手段をさらに備える。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、装置は、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止するための手段をさらに備える。
【0021】
装置のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0022】
別の実施形態では、プログラムコード部分が記憶された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、プログラムコード部分は、実行されると、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスすることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスすることを行うように構成されるコンピュータプログラム製品が提供される。プログラムコード部分は、実行されると、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するようにさらに構成される。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、プログラムコード部分は、実行されると、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止するようにさらに構成される。
【0023】
コンピュータプログラム製品のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。コンピュータプログラム製品のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。コンピュータプログラム製品のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0024】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスすることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスすることを含む方法が提供される。方法は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定することをさらに含む。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、方法は、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することをさらに含む。
【0025】
方法のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。方法のいくつかの実施形態では、近接ピクセルエリア内のすべてのピクセルがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリングプロセスに使用されるのを防止することは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。方法のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0026】
別の実施形態では、少なくとも1つのプロセッサと、コンピュータプログラムコードを含む少なくとも1つのメモリとを備える装置であって、少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスさせることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスさせることを行わせるように構成される、装置が提供される。少なくとも1つのメモリおよびコンピュータプログラムコードは、少なくとも1つのプロセッサを用いて、装置に近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定させるようにさらに構成される。少なくとも1つのメモリおよびコンピュータプログラムコードは、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、少なくとも1つのプロセッサを用いて、装置に、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングさせるようにさらに構成される。
【0027】
装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0028】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスするための手段であって、現在のコーディングユニットがクリーンエリア内にある、アクセスするための手段を備える装置が提供される。装置は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するための手段をさらに備える。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、装置は、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングするための手段をさらに備える。
【0029】
装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。装置のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。装置のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0030】
別の実施形態では、プログラムコード部分が記憶された非一時的なコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、プログラムコード部分は、実行されると、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスすることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスすることを行うように構成されるコンピュータプログラム製品が提供される。プログラムコード部分は、実行されると、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するようにさらに構成される。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、プログラムコード部分は、実行されると、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングするようにさらに構成される。
【0031】
コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。コンピュータプログラム製品のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。コンピュータプログラム製品のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0032】
別の実施形態では、漸次復号リフレッシュ期間内の復号されるピクチャの現在のコーディングユニットにアクセスすることであって、現在のコーディングユニットがクリーンエリア内にある、アクセスすることを含む方法が提供される。方法は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定することをさらに含む。近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、方法は、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることをさらに含む。
【0033】
方法のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャが漸次復号リフレッシュ期間内にあるかどうかに関わらず適用される。方法のいくつかの実施形態では、クロマスケーリングを用いるルーママッピングに関連付けられるクロマスケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルから近接ピクセルエリアをパディングすることは、ピクチャ内の仮想境界に関連付けられる有効化値にさらに基づいている。方法のいくつかの実施形態では、仮想境界に関連付けられる有効化値の使用は、クロマスケーリングを用いるルーママッピング(LMCS)に関連付けられる第2の有効化値に基づいている。
【0034】
このように、本開示の特定の例示の実施形態を一般的な用語で説明したが、以降では、必ずしも縮尺通りではないが、添付の図面を参照する。
【図面の簡単な説明】
【0035】
【
図1】本開示の例示の実施形態による、クリーンエリアとダーティエリアとが仮想境界によって分離される、GDR期間内の例示のピクチャの表現の図である。
【
図2】本開示の例示の実施形態による、例示のコーディングツリーユニットの表現の図である。
【
図3】本開示の例示の実施形態に従って具体的に設定され得る装置のブロック図である。
【
図4A】例示の実施形態に従って実施される動作を描いたフロー図である。
【
図4B】インターイントラ組合せ予測(combined inter intra prediction)の重み導出の間の、上と左の近接ブロックの例示的な使用の表現の図である。
【
図4C】インターイントラ組合せ予測の重み導出の間の、上と左の近接ブロックの例示的な使用の表現の図である。
【
図5A】例示の実施形態に従って実施される動作を描いたフロー図である。
【
図5B】例示の実施形態による、VVC規格向けの復号プロセスにおける特定の変更の表現の図である。
【
図6A】例示の実施形態に従って実施される動作を描いたフロー図である。
【
図6B】例示の実施形態による、VVC規格向けの復号プロセスにおける特定の変更の表現の図である。
【
図7A】例示の実施形態に従って実施される動作を描いたフロー図である。
【
図7B】例示の実施形態による、VVC規格向けの復号プロセスにおける特定の変更の表現の図である。
【発明を実施するための形態】
【0036】
次に、本開示のいくつかの実施形態を、添付の図面を参照して以降でより十分に説明するが、本開示の実施形態のすべてではなく一部が示される。実際、いくつかの実施形態は、多くの異なる形態として具体化することができ、本明細書において説明される実施形態に限定されるものと解釈されるべきではない。むしろ、このような実施形態は、本開示が適用可能な法的要件を満たすために提供される。全体を通して、同様の参照符号は、同様の要素を指す。本明細書において使用される場合、「データ」、「コンテンツ」、「情報」という用語、および類似の用語は、本開示の実施形態に従って、送信、受信、および/または記憶することが可能なデータを指すよう互換的に用いられてもよい。したがって、そのような用語の使用は、本開示の実施形態の思想および範囲を限定するように受け取られるべきではない。
【0037】
加えて、本明細書において使用される場合、「回路」という用語は、以下を指す:(a)ハードウェアのみの回路の実装形態(例えば、アナログ回路および/またはデジタル回路としての実装形態)、(b)装置に本明細書において説明される1つまたは複数の機能を実行させるよう共に機能する、回路と、1つまたは複数のコンピュータ可読メモリに記憶されたソフトウェアおよび/またはファームウェア命令を含むコンピュータプログラム製品との組み合わせ(c)ソフトウェアまたはファームウェアが物理的に存在しなくても、動作にソフトウェアまたはファームウェアを必要とする、例えばマイクロプロセッサまたはマイクロプロセッサの一部などの回路。この「回路」の定義は、あらゆる特許請求の範囲を含み、本明細書における、この用語のすべての使用に当てはまる。さらなる例として、本明細書で使用される場合、「回路」という用語はまた、1つまたは複数のプロセッサおよび/またはその一部ならびに付随するソフトウェアおよび/またはファームウェアを含む、実装形態を含む。別の例として、「回路」という用語にはまた、本明細書で使用される場合、例えば、ベースバンド集積回路、または携帯電話用のアプリケーションプロセッサ集積回路もしくはサーバにおける類似の集積回路、セルラネットワークデバイス、他のネットワークデバイス(コアネットワーク装置など)、フィールドプログラマブルゲートアレイ、および/または他のコンピューティングデバイスが含まれる。
【0038】
概要
上述の通り、GDR手法は、イントラ符号化ピクチャの遅延問題を軽減することができる。ランダムアクセスポイントでイントラピクチャを符号化する代わりに、GDRは、GDR期間のいくつかのピクチャにかけてイントラ符号化エリアを拡げることによってピクチャを漸進的にリフレッシュする。GDR期間内の典型的なピクチャは、クリーンエリア(例えば、イントラリフレッシュが行われたエリア)とダーティエリア(例えば、イントラリフレッシュがまだ行われていないエリア)とから構成され、クリーンエリアは、プログレッシブイントラリフレッシュ(PIR)用のダーティエリアの隣に強制イントラエリアを含み得る。
【0039】
Versatile Video Coding(VVC)規格のPicture Headerには、仮想境界シンタックスが含まれる。Picture Headerに含まれる仮想境界シンタックスを用いて、ピクチャは自分自身の仮想境界を有することができる。例えば、仮想境界は、クリーンエリアとダーティエリアとの間に境界を定める水平線または垂直線であってもよい。
【0040】
図1は、垂直の仮想境界を伴う垂直なGDRの例を図示しており、この図では、GDR期間はピクチャPOC(n)で始まり、POC(n+N-1)ピクチャで終わり、合計でN個のピクチャを含む。GDR期間内の第1のPOC(n)は、GDRピクチャと称される。強制イントラ符号化エリア105は、GDR期間内のN個のピクチャを左から右に徐々に拡がり、クリーンエリア110はピクチャPOC(n)からピクチャPOC(N+n-1)を徐々に消費する。ピクチャPOC(n+N)は、リカバリポイントピクチャと称される。仮想境界120は、GDR期間のピクチャPOC(n+1)のクリーンエリア(110および105)とダーティエリア115とを分離する。GDR期間内の現在のピクチャは、クリーンエリアおよびダーティエリアを含み、クリーンエリアは、
図1のピクチャPOC(n+1)に示されるように、プログレッシブイントラリフレッシュ(PIR)用のダーティエリアの隣に強制イントラエリアを含む。クリーンエリアとダーティエリアとの間の仮想境界120は、Picture Header内の仮想境界シンタックスによってシグナリングされてもよい。GDRでは、リカバリポイントでexact_matchが必要とされる場合、クリーンエリア内のコーディングユニット(CU:coding unit)は、ダーティエリアからの、どの符号化情報(例えば、再構築されたピクセル、コードモード、モーションベクトル(MV)、参照インデックス(refidx)など)も使用することができない。
【0041】
VVCに含まれているのは、クロマスケーリングを用いるルーママッピング(LMCS)と呼ばれる符号化ツールである。LMCSは、ルーマサンプルを特定の値にマッピングする復号プロセスの一部として適用され、クロマサンプルの値にスケーリング操作を適用することができるプロセスである。現在のVVC規格(参照により本明細書に組み込まれ、本明細書で以降「VVC Specification(VVC規格)」と称される、B.Bross、J.Chen、S.Lin、およびY-K.Wang「Versatile Video Coding」、JVET-Q2001-v13、2020年1月)では、クリーンエリア内のコーディングユニットのためのLMCSは、ダーティエリア内のピクセルを使用してもよい。故に、LMCSではGDRにexact_matchを実現することができない場合がある。
【0042】
図2は、クリーンエリア内のCUについてLMCSが、ダーティエリア内で再構築されたピクセルをどのように利用することができるかの例を示しており、コーディングツリーユニット(CTU)サイズは128×128ピクセルにセットされ、仮想境界は現在のCTUを通過しており、現在のCTU内の32×32の現在のコーディングユニット205は、クリーンエリア内にある。
【0043】
VVC規格では、シンタックス要素sps_log2_ctu_size_minus5がシグナリングされ、関連する変数が次のように計算される:
CtbSizeY=1<<(sps_log2_ctu_size_minus5+5),sizeY=Min(CtbSizeY,64)
【0044】
sizeY=64である
図2で示されるように、現在のCTU内の現在のCUについて、アレイrecLuma[i],i=0,1,・・・,2*sizeY-1が、sizeY左側再構築近接ピクセルおよびsizeY上側再構築近接ピクセルの集合として定められる。
【0045】
アレイrecLuma[i],i=0,1,・・・,2*sizeY-1の平均は、
【数1】
として計算される。
【0046】
次いで、上で計算された変数invAvgLumaは、クロマ残差
invAvgLuma→varScale
についてのスケーリングファクタvarScaleを求めるために使用される。
【0047】
スケーリングファクタvarScaleを用いて、次いで現在のCUのクロマ成分(CbおよびCr)は、次のように再構築される:
Cbrec[i][j]=Cbpre[i][j]+Cbres[i][j]×varScale
Crrec[i][j]=Crpre[i][j]+Crres[i][j]×varScale
ただし、下付き文字recは、再構築されたことを表し、preは予測を表し、resは残差を表す。
【0048】
しかしながら、アレイrecLuma[i],i=0,1,・・・,2*sizeY-1の一部の要素は、ダーティエリア内にあってもよく、故にクリーンエリア内の現在のCUのクロマ成分の最終的な再構築は、ダーティエリア内の再構築近接ルーマピクセルを使用することも可能性としてあってもよく、これはリークを生じ、実現することのできないexact_matchを与える場合がある。例えば、
図2に示されるように、現在のCU205について、上側再構築近接ルーマピクセル210は、ダーティエリアにある。
【0049】
例示的な装置
本明細書において説明される実施形態に従って動作を実行するように構成され得る装置300の一例が、
図3に描かれている。
図3に示されるように、装置は、処理回路32、メモリ34、および通信インターフェース36を含む、それらに関連付けられる、またはそれらと通信する。処理回路32は、装置のコンポーネント間で情報を受け渡すためのバスを介してメモリと通信してもよい。メモリは、非一時的であってもよく、例えば1つまたは複数の揮発性および/または非揮発性のメモリを含んでもよい。換言すると、例えばメモリは、マシン(例えば、処理回路のようなコンピューティングデバイス)によって取り出し可能であってもよいデータ(例えば、ビット)を記憶するように構成されたゲートを含む電子的な記憶デバイス(例えば、コンピュータ可読記憶媒体)であってもよい。メモリは、本開示の例示の実施形態に従って装置に様々な機能を実行させることを可能にするための、情報、データ、コンテンツ、アプリケーション、命令などを記憶するように構成されてもよい。例えば、メモリは、処理回路による処理のための入力データをバッファリングするように構成されることが可能である。加えて、または代替的に、メモリは、処理回路による実行のための命令を記憶するように構成されることが可能である。
【0050】
装置100は、いくつかの実施形態では、様々なコンピューティングデバイスとして具体化されてもよい。しかしながら、いくつかの実施形態では、装置は、チップまたはチップセットとして具体化されてもよい。換言すると、装置は、構造的な組み立て体(例えば、ベースボード)上に材料、コンポーネント、および/または配線を含む、1つまたは複数の物理的なパッケージ(例えば、チップ)を含んでもよい。構造的な組み立て体は、物理的な強度、サイズの保全、および/またはそこに含まれるコンポーネント回路についての電気的な相互作用の制限を実現することができる。したがって、場合によっては、装置は単一のチップ上に、または単一の「システムオンチップ」として、本開示の実施形態を実装するように構成されてもよい。そのようなものとして、場合によっては、チップまたはチップセットは、本明細書において説明される機能性を提供するための1つまたは複数の動作を実行するための手段を構成してもよい。
【0051】
処理回路32は、いくつかの異なる方法で具体化されてもよい。例えば、処理回路は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ(DSP)、付属のDSPを有するもしくは有していない処理要素、または例えば、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、マイクロコントローラユニット(MCU)、ハードウェアアクセラレータ、特殊目的コンピュータチップなどの集積回路を含む様々な他の回路など、様々なハードウェア処理手段のうちの1つまたは複数として具体化されてもよい。そのようなものとして、いくつかの実施形態では、処理回路は、独立的に実行するように構成された、1つまたは複数の処理コアを含んでもよい。マルチコアの処理回路は、単一の物理的パッケージ内でのマルチ処理を可能にすることができる。加えて、または代替的に、処理回路は、命令の独立的な実行、パイプライン化、および/またはマルチスレッド化を可能にするようバスを介して直列に構成された1つまたは複数のプロセッサを含んでもよい。
【0052】
例示の実施形態では、処理回路32は、メモリデバイス34に記憶されているか、そうでなければ、処理回路からアクセス可能な命令を実行するように構成されてもよい。加えて、または代替的に、処理回路は、ハードコーディングされた機能性を実行するように構成されてもよい。そのようなものとして、ハードウェアによって構成されたかどうか、もしくはソフトウェア方法によって構成されたかどうか、またはその組合せによって構成されたかどうかに関わらず、処理回路は、本開示の実施形態に応じて構成されつつ、本開示の実施形態に従って動作を実施することが可能なエンティティ(例えば、物理的に回路に具体化される)を表現することができる。故に、例えば、処理回路がASIC、FPGAなどとして具体化される場合、処理回路は、本明細書において説明される動作を行うための具体的に構成されたハードウェアであってもよい。代替的に、別の例として、処理回路が、命令の実行体として具体化される場合、命令は、本明細書において説明されるアルゴリズムおよび/または演算を命令実行時に実行するように具体的にプロセッサを設定してもよい。しかしながら、場合によっては、処理回路は、本明細書において説明されるアルゴリズムおよび/または演算を実行するための命令を用いた処理回路のさらなる設定によって、一実施形態を採用するように構成された、特定デバイス(例えば、画像または映像処理システム)のプロセッサであってもよい。処理回路は、とりわけ、クロック、算術論理ユニット(ALU)および処理回路の演算をサポートするように構成された論理ゲートを含んでもよい。
【0053】
通信インターフェース36は、映像または画像ファイル、1つまたは複数のオーディオトラックなどの形態のメディアコンテンツを含むデータを受信および/または送信するように構成されたハードウェアまたはハードウェアとソフトウェアとの組合せのいずれかとして具体化されたデバイスまたは回路などの、あらゆる手段であってもよい。この点において、通信インターフェースは、例えば、アンテナ(または複数のアンテナ)ならびに無線通信ネットワークとの通信を可能にするためのサポート用ハードウェアおよび/またはソフトウェアを含んでもよい。加えて、または代替的に、通信インターフェースは、アンテナと相互作用するための回路を含み、アンテナを介して信号を送信させること、またはアンテナを介して受信される信号の受信の取り扱いをしてもよい。一部の環境では、通信インターフェースは、代替的に、または追加で有線通信をサポートしてもよい。そのようなものとして、例えば、通信インターフェースは、ケーブル、デジタル加入者線(DSL)、ユニバーサルシリアルバス(USB)、または他のメカニズムを介して通信をサポートするための通信モデムおよび/または他のハードウェア/ソフトウェアを含んでもよい。
【0054】
いくつかの実施形態によると、装置300は、映像符号化、復号、および/または圧縮のために用意されるアーキテクチャに従って構成されてもよい。この点において、装置300は、映像符号化デバイスとして構成されてもよい。例えば、装置300は、例えば、VVC規格などの1つまたは複数の映像圧縮標準に従って映像を符号化するように構成されてもよい。本明細書において、特定の実施形態はVVC標準に関連付けされる動作に言及するが、本明細書で考察されるプロセスは、あらゆる映像符号化標準に利用され得ることを諒解されたい。
【0055】
GDRのためのLMCSについての例示的なプロセス
本明細書で説明される実施形態では、以下の表A1で示されるようにPicture Headerセマンティクスに新しい変数WithinGdrPeriodFlagが導入されることがある。
【表1】
【0056】
代替的に、WithinGdrPeriodFlagは、以下のように導くこともできる:
現在のピクチャがGDRピクチャである場合、変数GdrPicOrderCntVal、RpPicOrderCntValは、次のように導かれる:
GdrPicOrderCntVal=PicOrderCntVal
RpPicOrderCntVal=GdrPicOrderCntVal+recovery_poc_cnt
現在のピクチャについて、変数WithinGdrPeriodFlagは、PicOrderCntVal以下のGdrPicOrderCntValを有するGDRピクチャがあり、RpPicOrderCntValがPicOrderCntValより大きい場合、1に等しくなるように導かれ、それ以外では、0に等しくなるように導かれる。
【0057】
GDR期間とWithinGdrPeriodFlagを決定するための上述の導き方は、単なる例示の実施形態であり、他の実施形態が同じように実現されてもよい。例えば、いくつかの上述の導き方は、recovery_poc_cntが0と等しくなること(例えば、GDRピクチャがリカバリポイントにもなること)を許可することを仮定している。一例では、導き方は、recovery_poc_cntがリカバリポイントピクチャではなくGDR期間内の最後のピクチャを指定し、それ故、リカバリポイントピクチャでもあるGDRピクチャを有することも許可しない、recovery_poc_cntの異なるセマンティクスに対して調整される。この場合、現在のピクチャについて、変数WithinGdrPeriodFlagは、PicOrderCntVal以下のGdrPicOrderCntValを有するGDRピクチャがあり、かつRpPicOrderCntValがPicOrderCntVal以上である場合、1に等しくなるように導かれ、それ以外では、0に等しくなるように導かれる。
【0058】
一実施形態において、エンコーダは、例えば、上述のようにWithinGdrPeriodFlagを導くことによって、ピクチャがGDR期間内にあるかどうかを判断する。ピクチャがGDR期間内にあると判断されると、エンコーダは、例えば、ピクチャヘッダ内のph_lmcs_enabled_flagをゼロ(0)に等しくなるようにセットすることによって、またはピクチャのすべてのスライスヘッダ内のslice_lmcs_enabled_flagをゼロ(0)に等しくなるようにセットすることによって、LMCSをオフにする。
【0059】
一実施形態において、エンコーダは、例えば、上述のようにWithinGdrPeriodFlagを導くことによって、ピクチャがGDR期間内にあるかどうかを判断する。ピクチャがGDR期間内にあると判断されると、エンコーダは、例えば、ピクチャヘッダ内のph_chroma_residual_scale_flagを0に等しくなるようにセットすることによって、LMCSのクロマ残差スケーリングをオフにする。
【0060】
図4Aは、ある制御がLMCSに利用される一実施形態の動作を含むフローチャートを示す。動作401では、装置300は、復号されるピクチャにアクセスするように構成された、処理回路32、メモリ34などの手段を含む。例えば、上述のように、ピクチャは、符号化された映像シーケンスの一部として含まれてもよく、装置300は、符号化された映像シーケンスの符号化プロセスの間、例えば復号プロセスの間に、ピクチャにアクセスするように構成されてもよい。
【0061】
動作402では、装置300は、ピクチャが漸次復号リフレッシュ(GDR)期間内にあるかどうかを判定するように構成された処理回路32、メモリ34などの手段を含む。いくつかの実施形態では、ピクチャがGDR期間内にあるかどうかに関する判定は、ピクチャに関連付けられるフラグ変数を分析することを含む場合がある。
図4Bに示されるように、例示のPicture Header構造シンタックスは、ブールフラグ変数WithinGdrPeriodFlagを含む。この点において、ピクチャがGDR期間内にある場合(WithinGdrPeriodFlag!=0)、LMCS関連のシンタックス要素はいずれもシグナリングされず、LMCS関連の復号プロセスはスキップされ、それにより、ビットおよびスキップされなければ実装されていたであろう処理サイクルを節約することができる。
図4Bから分かるように、ゼロに等しくないWithinGdrPeriodFlag変数を含むGDR期間内のピクチャでは、シンタックスフラグph_lmcs_enabled_flagはシグナリングされず、このことはゼロに等しいことが推測される。
【0062】
フラグph_lmcs_enabled_flagが0に等しいため、LMCSに関連付けられる復号プロセスは、GDR期間のピクチャには実装されない。この点において、動作403では、ピクチャがGDR期間内のピクチャである場合、装置300は、クロマスケーリング復号プロセスを用いるルーママッピングがGDR期間内のピクチャに適用されるのを防止するように構成された、処理回路32、メモリ34などの手段を含む。
【0063】
別の実施形態では、LMCS復号プロセスは、クロマ成分のみに限定されてもよい。この実施形態では、現在のピクチャがGDR期間内にある場合、シンタックスフラグph_chroma_residual_scale_flagはシグナリングされず、LMCSに関連付けられるクロマ残差スケーリング用の復号プロセスが生じないように防止される。例えば、
図4Cは、別の例示のPicture Header構造シンタックスを示す。示されるように、GDR期間内のピクチャでは(例えば、WithinGdrPeriodFlagが0に等しくない場合)、シンタックスフラグph_chroma_residual_scale_flagはシグナリングされず、このことは0に等しいことが推測される。フラグph_chroma_residual_scale_flagが0に等しいため、LMCSのクロマスケーリングに関連付けられる復号プロセスは、GDR期間内のピクチャには実装されない。この点において、いくつかの実施形態では、処理回路32、メモリ34などの装置300は、LMCSに関連付けられるクロマ残差スケーリング復号プロセスだけがGDR期間内のピクチャに適用されるのを防止するように構成されてもよい。
【0064】
別の実施形態では、仮想境界が通過している現在のCTUのクリーンエリア内の現在のCUについて、そのsizeY上側(またはsizeY左側)再構築近接ピクセルのいずれかがダーティエリアにある場合、LMCSのクロマ残差スケーリングは、現在のCTUのクリーンエリア内の現在のCUに対して防止されてもよい。例として
図2を用いると、仮想境界220が現在のCTUを通過するため、また、現在のCTU内の現在のCU205が現在のCTUのクリーンエリア内にあるため、現在のCU205についてのLMCSのクロマ残差スケーリングは防止される。
【0065】
図5Aに示されるように、動作501では、装置300は、GDR期間内の復号されるピクチャにアクセスするように構成された、処理回路32、メモリ34などの手段を含む。上述のように、GDR期間内のピクチャは、符号化された映像シーケンスの一部として含まれてもよく、装置300は、符号化された映像シーケンスの符号化プロセスの間、例えば復号プロセスの間に、GDR期間内のピクチャにアクセスするように構成されてもよい。動作502では、装置300は、仮想境界がGDR期間内のピクチャの現在のコーディングツリーユニット内にあるかどうかを判定するように構成された、処理回路32、メモリ34などの手段を含む。いくつかの実施形態では、仮想境界は、GDR期間内のピクチャのクリーンエリアとダーティエリアとの分離を定めてもよい。動作503では、装置300は、仮想境界が現在のコーディングツリーユニット内にある場合、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスが、クリーンエリア内の1つまたは複数のコーディングユニットに適用されるのを防止するように構成された、処理回路32、メモリ34などの手段を含む。
【0066】
これらの動作は、復号プロセスの変更によって実行されてもよい。以下の表Aで述べられていることは、本明細書で説明される特定の実施形態に従う、VVC規格のセクション「picture reconstruction with luma dependent chroma residual scaling process for chroma samples(クロマサンプルのためのルーマ依存クロマ残差スケーリングプロセスを用いるピクチャ再構築)」の変更である。
図5Bは、本明細書で提案されるセクションに対する具体的な変更をさらにハイライトする。
【表2-1】
【表2-2】
【表2-3】
【0067】
別の実施形態では、仮想境界が通過している現在のCTUのクリーンエリア内の現在のCUについて、そのsizeY上側(またはsizeY左側)再構築近接ピクセルのいずれかがダーティエリアにある場合、sizeY上側の行(またはsizeY左側の列)全体の再構築近接ピクセルは、現在のCUについてのLMCSのクロマ残差スケーリングには利用不可能として扱われてもよい。例えば、
図2では、現在のCU205についての上側再構築近接ピクセル210はダーティエリアにあるため、上側64の再構築近接ピクセルの行全体が、LMCSのクロマ残差スケーリングには利用不可能として扱われる。この点において、
図6Aに示されるように、動作601では、装置300は、GDR期間内の復号されるピクチャの現在のコーディングユニットにアクセスするように構成された、処理回路32、メモリ34などの手段を含み、現在のコーディングユニットはクリーンエリア内にある。上述のように、GDR期間内のピクチャは、符号化された映像シーケンスの一部として含まれてもよい。動作602では、装置300は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するように構成された、処理回路32、メモリ34などの手段を含む。動作603では、装置300は、上部(または左側)近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、上部(または左側)近接ピクセルエリア内のピクセルのすべてがクロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスに使用されるのを防止するように構成された、処理回路32、メモリ34などの手段を含む。
【0068】
これらの動作は、復号プロセスの変更によって実行されてもよい。以下の表Bで述べられていることは、本明細書で説明される特定の実施形態に従う、VVC規格のセクション「picture reconstruction with luma dependent chroma residual scaling process for chroma samples(クロマサンプルのためのルーマ依存クロマ残差スケーリングプロセスを用いるピクチャ再構築)」の変更である。
図6Bは、本明細書で提案されるセクションに対する具体的な変更をさらにハイライトする。
【表3-1】
【表3-2】
【表3-3】
【0069】
別の実施形態では、仮想境界が通過している現在のCTUのクリーンエリア内の現在のCUについて、そのsizeY上側(またはsizeY左側)再構築近接ピクセルの1つまたは複数がダーティエリアにある場合、ダーティエリア内の再構築近接ピクセルは、現在のCUについてのLMCSのクロマ残差スケーリングのために、クリーンエリア内の再構築ピクセルからパディングされてもよい。例えば、
図2では、現在のCU205についての上側再構築近接ピクセル210はダーティエリアにあるため、これらのピクセルは再構築ピクセル95からパディングされる。この点において、
図7Aに示されるように、動作701では、装置300は、GDR期間内の復号されるピクチャの現在のコーディングユニットにアクセスするように構成された、処理回路32、メモリ34などの手段を含み、現在のコーディングユニットはクリーンエリア内にある。上述のように、GDR期間内のピクチャは、符号化された映像シーケンスの一部として含まれてもよい。動作702では、装置300は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあるかどうかを判定するように構成された、処理回路32、メモリ34などの手段を含む。動作703では、装置300は、近接ピクセルエリア内の1つまたは複数のピクセルがダーティエリア内にあると判定される場合、クロマスケーリングを用いるルーママッピングに関連付けられるクロマ残差スケーリング復号プロセスのために、クリーンエリア内の1つまたは複数の再構築ピクセルからダーティエリア内の近接ピクセルをパディングするように構成された、処理回路32、メモリ34などの手段を含む。
【0070】
これらの動作は、復号プロセスの変更によって実行されてもよい。表Cは、本明細書で説明される特定の実施形態に従う、VVC規格のセクション「picture reconstruction with luma dependent chroma residual scaling process for chroma samples(クロマサンプルのためのルーマ依存クロマ残差スケーリングプロセスを用いるピクチャ再構築)」の変更を説明する。
図7Bは、本明細書で提案されるセクションに対する具体的な変更をさらにハイライトする。
【表4-1】
【表4-2】
【表4-3】
【0071】
別の実施形態では、仮想境界が通過している現在のCTUのクリーンエリア内の現在のCUについて、そのsizeY上側(またはsizeY左側)再構築近接ピクセルのうちの1つまたは複数がダーティエリアにある場合、これらのピクセルは現在のCUについてLMCSのクロマ残差スケーリングに利用不可能として扱われる。例えば、
図2に戻って参照すると、現在のCU205についての上側再構築近接ピクセル210はダーティエリア内にあるため、これらのピクセルは現在のCU205についてのLMCSのクロマ残差スケーリングには使用されない。
【0072】
別の実施形態では、ピクチャがGDR期間内にあるかどうかに関わらず、復号プロセスの変更を伴う上述の実施形態のいずれかを、すべての仮想境界に適用することが可能である。したがって、復号プロセスの変更を伴う上述の実施形態は、復号プロセスに対して、WithinGdrPeriodFlagを無条件に1にセットすることによって適用される。
【0073】
別の実施形態では、復号プロセスの変更を伴う上述の実施形態のいずれかを、指示された仮想境界に適用することが可能である。エンコーダは、上述の実施形態のいずれも、GDR期間内のピクチャ(例えば、WithinGdrPeriodFlagが1であるか、1と等しくなるピクチャ)に対して、WithinGdrPeriodFlagが1に等しいかのように適用され、あらゆるGDR期間の外側のピクチャ(例えば、WithinGdrPeriodFlagが0であるか、0と等しくなるピクチャ)ではWithinGdrPeriodFlagが0に等しいかのように適用されることを示す場合がある。しかしながら、エンコーダは、代替的に、または加えて、GDR以外の目的にその指標を使用してもよく、一例として、仮想境界によって境界付けされるキューブマップのキューブ面など、不連続な投影面を持つ360°投影の映像がある。エンコーダは、フラグなどの1つまたは複数のシンタックス要素を、ピクチャパラメータセット中など、シンタックス構造中で示し、デコーダは、それをピクチャパラメータセットなどから、シンタックス構造から復号し、復号プロセス変更を伴う上述の実施形態のいずれかがどのように適用されるかを制御する。フラグなどのシンタックス要素は、シンタックス構造の範囲内のすべての仮想境界を集合的に制御してもよいし、仮想境界の1つまたは複数を別個に制御する、別個のシンタックス要素が存在してもよい。例えば、上述の実施形態のいずれも、WithinGdrPeriodFlagを、シンタックス構造中のフラグの値に等しくなるようセットすることによって、適用することができる。例えば、ph_lmcs_over_virtual_boundaries_flagは、ピクチャパラメータセットのシンタックス構造中に、例えば次のように、仮想境界についての他のシンタックス要素とともに含められてもよい。
【0074】
【0075】
別の実施形態では、復号プロセスの変更を伴う上述の実施形態のいずれかを、指示された仮想境界に適用することが可能である。エンコーダは、上述の実施形態のいずれも、GDR期間内のピクチャ(例えば、WithinGdrPeriodFlagが1であるか、1と等しくなるピクチャ)に対して、WithinGdrPeriodFlagが1に等しいかのように適用され、あらゆるGDR期間の外側のピクチャ(例えば、WithinGdrPeriodFlagが0であるか、0と等しくなるピクチャ)ではWithinGdrPeriodFlagが0に等しいかのように適用されることを示す場合がある。しかしながら、エンコーダは、代替的に、または加えて、GDR以外の目的にその指標を使用してもよく、一例として、仮想境界によって境界付けされるキューブマップのキューブ面など、不連続な投影面を持つ360°投影の映像がある。エンコーダは、フラグなどの1つまたは複数のシンタックス要素を、ピクチャパラメータセット中など、シンタックス構造中で示し、デコーダは、それをピクチャパラメータセットなどから、シンタックス構造から復号し、復号プロセス変更を伴う上述の実施形態のいずれかがどのように適用されるかを制御する。フラグなどのシンタックス要素は、シンタックス構造の範囲内のすべての仮想境界を集合的に制御してもよいし、仮想境界の1つまたは複数を別個に制御する、別個のシンタックス要素が存在してもよい。例えば、上述の実施形態のいずれも、WithinGdrPeriodFlagを、シンタックス構造中のフラグの値に等しくなるようセットすることによって、適用することができる。例えば、ph_lmcs_over_virtual_boundaries_flagは、ピクチャパラメータセットのシンタックス構造中に、仮想境界についての他のシンタックス要素とともに含められてもよい。例えば、ph_lmcs_over_virtual_boundaries_flagは、LMCS対応フラグ、例えば表Eに示されるようなph_lmcs_enabled_flagによって条件付けされてもよい。
ピクチャヘッダ構造シンタックス
【0076】
【0077】
別の実施形態では、復号プロセスの変更を伴う上述の実施形態のいずれかを、指示された仮想境界に適用することが可能である。エンコーダは、上述の実施形態のいずれも、GDR期間内のピクチャ(例えば、WithinGdrPeriodFlagが1であるか、1と等しくなるピクチャ)に対して、WithinGdrPeriodFlagが1に等しいかのように適用され、あらゆるGDR期間の外側のピクチャ(例えば、WithinGdrPeriodFlagが0であるか、0と等しくなるピクチャ)ではWithinGdrPeriodFlagが0に等しいかのように適用されることを示す場合がある。しかしながら、エンコーダは、代替的に、または加えて、GDR以外の目的にその指標を使用してもよく、一例として、仮想境界によって境界付けされるキューブマップのキューブ面など、不連続な投影面を持つ360°投影の映像がある。エンコーダは、フラグなどの1つまたは複数のシンタックス要素を、ピクチャパラメータセット中など、シンタックス構造中で示し、デコーダは、それをピクチャパラメータセットなどから、シンタックス構造から復号し、復号プロセス変更を伴う上述の実施形態のいずれかがどのように適用されるかを制御する。フラグなどのシンタックス要素は、シンタックス構造の範囲内のすべての仮想境界を集合的に制御してもよいし、仮想境界の1つまたは複数を別個に制御する、別個のシンタックス要素が存在してもよい。例えば、上述の実施形態のいずれも、WithinGdrPeriodFlagを、シンタックス構造中のフラグの値に等しくなるようセットすることによって、適用することができる。例えば、ph_lmcs_over_virtual_boundaries_flagは、ピクチャパラメータセットのシンタックス構造中に、仮想境界についての他のシンタックス要素とともに含められてもよい。例えば、仮想境界についてのシンタックス要素は、LMCSについてのシンタックス要素より前に提示されてもよく、ph_lmcs_over_virtual_boundaries_flagは、仮想境界存在フラグ、例えば下の表Fに示されるようなph_virtual_boundaries_present_flagによって条件付けされてもよい。
ピクチャヘッダ構造シンタックス
【0078】
【0079】
別の例では、ph_lmcs_over_virtual_boundaries_flagは、ピクチャパラメータセットのシンタックス構造中に、下の表Gに示されるような1に等しいph_chroma_residual_scale_flagによって条件付けされる仮想境界についての他のシンタックス要素とともに含められてもよい。
ピクチャヘッダ構造シンタックス
【表8】
【0080】
上述の通り、GDR期間のピクチャに従って、LMCSプロセスを容易にし、LMCSとGDRとの互換性問題に対する解決策を提供するための、方法、装置、およびコンピュータプログラム製品が開示される。この設計の利点には、ピクチャの送信時間の低減、およびエンコーダからデコーダへの遅延の減少が含まれる。
【0081】
図4A、
図5A、
図6A、および
図7Aは、特定の例示の実施形態による方法を描いたフローチャートを図示している。フローチャートの各ブロックおよびフローチャート内のブロックの組合せは、ハードウェア、ファームウェア、プロセッサ、回路、および/または1つもしくは複数のコンピュータプログラム命令を含むソフトウェアの実行に関連付けられた他の通信デバイスなどの様々な手段によって実装できることを理解されたい。例えば、上述の手順のうちの1つまたは複数は、コンピュータプログラム命令によって具体化することができる。この点で、上述の手順を具体化するコンピュータプログラム命令は、本開示の実施形態を採用する装置のメモリデバイス34によって記憶され、プロセッサ32によって実行することができる。諒解されるように、そのようなあらゆるコンピュータプログラム命令は、得られるコンピュータまたは他のプログラム可能装置がフローチャートのブロックで指定される機能を実装すべく、コンピュータまたは他のプログラム可能装置(例えば、ハードウェア)にロードして、マシンを作り出すことができる。このようなコンピュータプログラム命令は、コンピュータ可読メモリに記憶された命令により、その実行がフローチャートのブロックで指定される機能を実装する製造物品を作り出すべく、コンピュータ可読メモリに記憶され、コンピュータ、または他のプログラム可能装置に特定の方式で機能するように指示するものであってもよい。コンピュータプログラム命令は、コンピュータまたは他のプログラム可能装置で実行される命令がフローチャートのブロックで指定される機能を実装するための動作を提供するように、コンピュータ実装のプロセスを作り出すべく、コンピュータまたは他のプログラム可能装置にロードされ、コンピュータまたは他のプログラム可能装置上で一連の動作を実行させるものであってもよい。
【0082】
したがって、フローチャートのブロックは、指定された機能を実施するための手段の組合せ、指定された機能を実施するための指定された機能を実施するための動作の組合せをサポートする。フローチャートの1つまたは複数のブロック、およびフローチャート中のブロックの組合せは、指定された機能を実行する特殊目的ハードウェアベースのコンピュータシステム、または特殊目的ハードウェアとコンピュータ命令との組合せによって実装可能であることも理解されたい。
【0083】
本明細書で説明される本発明の多くの変更形態および他の実施形態は、前述の説明および関連図面で提示される教示の恩恵を受ける、これらの発明が関係する当業者であれば思いつくであろう。したがって、本発明は開示される特定の実施形態に限定されず、変更形態および他の実施形態は、添付の特許請求の範囲に含まれるよう意図されることを理解されたい。
【0084】
その上、前述の説明および関連図面は、要素および/または機能の特定の例示の組合せのコンテキストで例示の実施形態を説明するが、要素および/または機能の様々な組合せが、代替的な実施形態によって添付の特許請求の範囲から逸脱することなく提供され得ることを諒解されたい。この点で、例えば、上で明示的に説明した以外の要素および/または機能の様々な組合せもまた、添付の特許請求の範囲の一部で説明されるように企図される。本明細書では具体的な用語が採用されるが、これらは単に一般的で説明的な意味で使用され、限定を目的とはしていない。