(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024156976
(43)【公開日】2024-11-06
(54)【発明の名称】動画処理方法、およびストリーム生成方法
(51)【国際特許分類】
H04N 19/117 20140101AFI20241029BHJP
H04N 19/14 20140101ALI20241029BHJP
H04N 19/176 20140101ALI20241029BHJP
H04N 19/80 20140101ALI20241029BHJP
H04N 19/85 20140101ALI20241029BHJP
【FI】
H04N19/117
H04N19/14
H04N19/176
H04N19/80
H04N19/85
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024134329
(22)【出願日】2024-08-09
(62)【分割の表示】P 2022537322の分割
【原出願日】2019-12-31
(71)【出願人】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】SZ DJI TECHNOLOGY CO.,LTD
【住所又は居所原語表記】6F,HKUST SZ IER Bldg.NO.9 Yuexing 1st Rd.Hi-Tech Park(South),Nanshan District Shenzhen,Guangdong 518057 China
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】マ、シウェイ
(72)【発明者】
【氏名】メン、シュエウェイ
(72)【発明者】
【氏名】ゼン、シャオゼン
(72)【発明者】
【氏名】ワン、シャンシェ
(57)【要約】 (修正有)
【課題】ループ内フィルタリングの複雑さを低減させ、フィルタリングの効果を高める方法及び装置を提供する。
【解決手段】方法は、ALFを経た色度成分及びALFを経ていない現在ブロックの輝度成分に基づいて、現在ブロックの色度成分に対するターゲットクロスコンポーネントアダプティブループフィルタリング(ALF)フィルタ係数を確定し、ターゲットクロスコンポーネントALFフィルタ係数によりフィルタリングされた後の色度成分及びALFを経た後の色度成分に基づいて、現在ブロックのフィルタリング後の色度成分を確定する。現在ブロックの色度成分の画素の周囲の7つの画素の加重平均が、現在ブロックの色度成分の画素のフィルタリング後の結果を得るために使用される。方法はまた、現在ブロックのフィルタリングされた後の色度成分を、複数のクロスコンポーネントALFフィルタの総数量、インデックスをシンタックス要素として符号化する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
複数のクロスコンポーネントALFフィルタから、画像の現在ブロックの色度成分に対するターゲットクロスコンポーネントアダプティブループフィルタリング(ALF)フィルタを確定することと、
ALFを経た前記色度成分、及びALFを経ていない前記現在ブロックの輝度成分に基づいて、前記現在ブロックの前記色度成分に対するターゲットクロスコンポーネントALFフィルタ係数を確定することと、
前記ターゲットクロスコンポーネントALFフィルタ、及び前記ターゲットクロスコンポーネントALFフィルタ係数に基づいて、ALFを経た前記色度成分をフィルタリングすることと、
前記ターゲットクロスコンポーネントALFフィルタ係数によりフィルタリングされた後の前記色度成分、及び前記ALFを経た後の前記色度成分に基づいて、前記現在ブロックのフィルタリング後の色度成分を確定することであって、前記現在ブロックの前記色度成分の画素の周囲の7つの画素の加重平均が前記現在ブロックの前記色度成分の前記画素のフィルタリング後の結果を得るために使用される、ことと、
前記現在ブロックのフィルタリングされた後の前記色度成分を符号化し、前記複数のクロスコンポーネントALFフィルタの総数量、前記ターゲットクロスコンポーネントALFフィルタのインデックス、及び前記ターゲットクロスコンポーネントALFフィルタをシンタックス要素として使用して符号化することと、を含む、動画処理方法。
【請求項2】
前記複数のクロスコンポーネントALFフィルタの前記総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットシンタックス内に位置するが、画像ヘッダとスライスヘッダとのうち少なくとも1つに存在しない、請求項1に記載の動画処理方法。
【請求項3】
ALFを経た前記色度成分は、サンプルアダプティブオフセット(SAO)フィルタリング、及びALFを順次経た後の前記色度成分である、請求項1に記載の動画処理方法。
【請求項4】
ALFを経ていない前記輝度成分は、サンプルアダプティブオフセット(SAO)を経た後の、ALFを経ていない前記輝度成分である、請求項1に記載の動画処理方法。
【請求項5】
前記複数のクロスコンポーネントALFフィルタの前記総数量をシンタックス要素として使用して符号化することは、
切り捨てられたバイナリコードを使用して前記複数のクロスコンポーネントALFフィルタの前記総数量を符号化することを含む、請求項1に記載の動画処理方法。
【請求項6】
前記ターゲットクロスコンポーネントALFフィルタの前記インデックスをシンタックス要素として使用して符号化することは、
切り捨てられたバイナリコードを使用して前記ターゲットクロスコンポーネントALFフィルタの前記インデックスを符号化することを含む、請求項1に記載の動画処理方法。
【請求項7】
3×4の菱形が、前記ターゲットクロスコンポーネントALFフィルタにおいて使用される、請求項1に記載の動画処理方法。
【請求項8】
ストリームから複数のクロスコンポーネントアダプティブループフィルタリング(ALF)フィルタの総数量、及びターゲットクロスコンポーネントALFフィルタのインデックスを復号することであって、前記ターゲットクロスコンポーネントALFフィルタは、画像の現在ブロックの色度成分に採用されるクロスコンポーネントALFフィルタである、ことと、
前記ストリームから前記現在ブロックの前記色度成分に対するターゲットクロスコンポーネントALFフィルタ係数を復号することであって、前記ターゲットクロスコンポーネントALFフィルタ係数は、前記ターゲットクロスコンポーネントALFフィルタにおける係数であり、ALFを経た前記色度成分及びALFを経ていない前記現在ブロックの輝度成分に基づいて、符号化側で確定される、ことと、
前記ターゲットクロスコンポーネントALFフィルタ、及び前記ターゲットクロスコンポーネントALFフィルタ係数に基づいて、ALFを経た前記色度成分をフィルタリングすることと、
前記ターゲットクロスコンポーネントALFフィルタ係数によりフィルタリングされた後の前記色度成分、及びALFを経た後の前記色度成分に基づいて、前記現在ブロックのフィルタリング後の色度成分を確定することであって、前記現在ブロックの前記色度成分の画素の周囲の7つの画素の加重平均が前記現在ブロックの前記色度成分の前記画素のフィルタリング後の結果を得るために使用される、ことと、を含む動画処理方法。
【請求項9】
前記複数のクロスコンポーネントALFフィルタの前記総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットシンタックス内に位置するが、画像ヘッダとスライスヘッダとのうち少なくとも1つに存在しない、請求項8に記載の動画処理方法。
【請求項10】
複数のクロスコンポーネントALFフィルタから、画像の現在ブロックの色度成分に対するターゲットクロスコンポーネントアダプティブループフィルタリング(ALF)フィルタを確定することと、
ALFを経た前記色度成分、及びALFを経ていない前記現在ブロックの輝度成分に基づいて、前記現在ブロックの前記色度成分に対するターゲットクロスコンポーネントALFフィルタ係数を確定することと、
前記ターゲットクロスコンポーネントALFフィルタ、及び前記ターゲットクロスコンポーネントALFフィルタ係数に基づいて、ALFを経た前記色度成分をフィルタリングすることと、
前記ターゲットクロスコンポーネントALFフィルタ係数によりフィルタリングされた後の前記色度成分、及び前記ALFを経た後の前記色度成分に基づいて、前記現在ブロックのフィルタリング後の色度成分を確定することであって、前記現在ブロックの前記色度成分の画素の周囲の7つの画素の加重平均が前記現在ブロックの前記色度成分の前記画素のフィルタリング後の結果を得るために使用される、ことと、
前記現在ブロックのフィルタリングされた後の前記色度成分を符号化し、前記複数のクロスコンポーネントALFフィルタの総数量、前記ターゲットクロスコンポーネントALFフィルタのインデックス、及び前記ターゲットクロスコンポーネントALFフィルタをシンタックス要素として使用して符号化してストリームを生成することと、を含む、ストリーム生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
著作権に関する声明
本特許文書により開示される内容には著作権により保護される資料が含まれる。この著作権は、著作権者により所有される。著作権者は、いかなる者が商標局の公式記録、及び公文書に存在するこの特許文書又はこの特許の開示を複製することにも反対しない。
【0002】
本発明は、デジタル動画符号化技術分野に関し、しかもさらに具体的には、ループ内フィルタリングの方法及び装置に関する。
【背景技術】
【0003】
現在、動画の記憶と伝送が占めるバンド幅を軽減するために、動画データを符号化圧縮処理する必要がある。現在、通常の符号化技術において、動画の符号化圧縮処理過程は、ブロック分割、予測、変換、量子化、及びエントロピー符号化の過程を含み、混合動画符号化フレームを形成する。この混合動画符号化フレームを基礎として、十数年の発展を経て、動画像符号化復号技術標準が徐々に形成され、現在主流となっているいくつかの動画符号化復号標準は、国際動画像符号化標準H.264/MPEG-AVC、H.265/MEPG-HEVC、国内音声動画像符号化標準AVS2、及び現在作成中のH.266/VVC国際標準とAVS3国内標準を含む。
【0004】
ブロック分割、予測、変換、量子化、及びエントロピー符号化の符号化過程において、量子化の存在により、復号再構成動画にはブロック効果、リンギング効果などの圧縮の歪みが存在するとともに、フレーム間予測モードにおいて、再構成動画における圧縮の歪みは、後続の画像の符号化品質に影響してしまう。このため、圧縮の歪みを低減するために、符号化復号構造フレームにループ内フィルタ(in loop filter)技術を導入し、現在の復号画像品質を高め、後続の符号化画像に高品質な基準画像を提供し、圧縮効率を高める。
【0005】
現在作成中のVVC(Versatile Video Coding、VVC)標準、及びHEVC(High Efficiency Video Coding、HEVC)標準において、ループフィルタにはデブロッキングフィルタ(deblocking filter、DBF)、サンプルアダプティブオフセット(Sample Adaptive Offset、SAO)、及びアダプティブループフィルタ(Adaptive Loop Filter、ALF)が含まれる。ここで、フィルタリングの過程についてはやはり改善の余地がある。
【発明の概要】
【課題を解決するための手段】
【0006】
本発明は、ループ内フィルタリングの方法と装置を提供し、従来技術に対して、ループ内フィルタリングの複雑さを低減させ、フィルタリングの効果を高めることができる。
【0007】
第1の態様として、ループ内フィルタリングの方法を提供し、この方法は、
複数のクロスコンポーネントアダプティブループフィルタALFフィルタから、現在のブロックの色度成分のターゲットフィルタを確定することと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、
前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、を含む。
【0008】
第2の態様として、ループ内フィルタリングの方法を提供し、この方法は、
ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、を含む。
【0009】
第3の態様において、ループ内フィルタリングの装置を提供し、この装置は、
コードを記憶するためのメモリと、
前記メモリにおいて記憶されたコードを実行することで、
複数のクロスコンポーネントアダプティブループフィルタALFフィルタから、現在のブロックの色度成分のターゲットフィルタを確定することと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、
前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、を実行するためのプロセッサと、を有する。
【0010】
第4の態様として、ループ内フィルタリングの装置を提供し、この装置は、
コードを記憶するためのメモリと、
前記メモリにおいて記憶されたコードを実行することで、
ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、を実行するためのプロセッサと、を有する。
【0011】
本出願の実施例の技術的方法は、符号化復号ループ内フィルタリング過程における符号化方式を最適化することにより、符号化復号性能を高めるものである。
【図面の簡単な説明】
【0012】
【
図1】本出願の実施例を使用する技術的解決手段のブロック図である。
【
図2】本出願の実施例に基づく動画符号化フレーム概略図である。
【
図3】本出願の実施例に基づく動画復号フレーム概略図である。
【
図4】本出願の実施例に基づくウィナーフィルタの概略図である。
【
図5a】本出願の実施例に基づくALFフィルタの概略図である。
【
図5b】本出願の他の実施例に基づく他のALFフィルタの概略図である。
【
図6】本出願の実施例のループ内フィルタリングの方法の概略的フローチャートである。
【
図7】本出願の実施例のCC-ALFフィルタの形状概略図である。
【
図8】本出願の他の実施例のループ内フィルタリングの方法の概略的フローチャートである。
【
図9】本出願の他の実施例のループ内フィルタリングの方法の概略的フローチャートである。
【
図10】本出願の他の実施例のループ内フィルタリングの装置の概略的フローチャートである。
【
図11】本出願の他の実施例のループ内フィルタリングの装置の概略的フローチャートである。
【発明を実施するための形態】
【0013】
以下に図面を参照して、本出願の実施例における技術的解決手段を説明する。
【0014】
本出願の実施例は、標準又は非標準の画像又は動画エンコーダに適用されることができる。例えば、VVC標準のエンコーダである。
【0015】
本明細書における具体的な例は、当業者が本出願の実施例をより理解することを助けるためのものであるに過ぎず、本出願の実施例の範囲を限定するわけではないことを理解するものとする。
【0016】
さらに、本出願の実施例における公式は、例示に過ぎず、本出願の実施例の範囲を限定するわけではなく、各公式は、変形でき、これらの変形も本出願の保護範囲に属するものとすることを理解するものとする。
【0017】
さらに、本出願の各実施例において、各過程の番号の大きさは、実行順序の前後を意味するわけではなく、各過程の実行順序は、その機能及び内在的なロジックにより確定され、本出願の実施例の実施過程にいかなる限定を行うものではないことを理解するものとする。
【0018】
さらに、本明細書に説明される各種の実施形態は、単独で実施でき、組み合わせても実施でき、本出願はこれを限定するわけではないことを理解するものとする。
【0019】
別途説明される場合を除き、本出願の実施例に使用されるすべての技術用語と学術用語は、本出願の当業者が通常理解する意味と同じである。本出願の明細書で使用される技術用語は、具体的な実施例を説明する目的のためのものであるに過ぎず、本出願の範囲を限定することを目的としていない。本出願に使用される用語「少なくとも一つ」は、一つ又は複数の関連する列記された項目のあらゆる組み合わせを含む。
【0020】
図1は、本出願の実施例を使用する技術的解決手段のブロック図である。
【0021】
図1に示すように、システム100は、処理対象データ102を受信し、処理対象データ102を処理し、処理後のデータ108を生成できる。例えば、システム100は、符号化対象データを受信し、符号化対象データを符号化して符号化後のデータを生成でき、又は、システム100は、復号対象データを受信し、復号対象データを復号して復号後のデータを生成できる。いくつかの実施例において、システム100における部材は、一つ又は複数のプロセッサにより実現でき、このプロセッサは、コンピュータ設備におけるプロセッサであってよく、移動設備(例えば、無人機)におけるプロセッサであってよい。このプロセッサは、いずれかのタイプのプロセッサであってよく、本発明の実施例ではこれを限定しない。いくつかの可能な設計において、このプロセッサは、エンコーダ、デコーダ又はコーダデコーダを有することができる。システム100において一つ又は複数のメモリをさらに有することができる。このメモリは、コマンド、及びデータを記憶でき、例えば、本発明の実施例の技術的解決手段を実現するコンピュータで実行可能なコマンド、処理対象データ102、処理後のデータ108などである。このメモリは、いずれかのタイプのメモリであってよく、本発明の実施例ではこれを限定しない。
【0022】
符号化対象データは、文書、画像、図形対象、動画シーケンス、音声、動画又は符号化が必要ないずれかのその他のデータを含むことができる。いくつかの状況では、符号化対象データは、センサからのセンシングデータを含むことができ、このセンサは、視覚センサ(例えば、カメラ、赤外線センサ)、マイクロフォン、近距離センサ(例えば、超音波センサ、レーダ)、位置センサ、温度センサ、タッチセンサなどであってよい。いくつかの状況では、符号化対象データは、ユーザからの情報を含むことができ、例えば、バイオ情報であり、このバイオ情報は、顔部特徴、指紋走査、網膜走査、音声記録、DNAサンプルなどを含むことができる。
【0023】
図2は、本出願の実施例に基づく動画符号化フレーム2の概略図である。
図2に示すように、符号化対象動画を受信した後、符号化対象動画の第1フレームから、順次、符号化対象動画における各フレームを符号化する。ここで、現在の符号化フレームは主に、予測(Prediction)、変換(Transform)、量子化(Quantization)、及びエントロピー符号化(Entropy Coding)などの処理を経て、最終的に現在の符号化フレームのビットストリームを出力する。対応して、復号過程は通常、上述の過程の逆過程に従って、受信したビットストリームを復号して、復号前の動画フレーム情報を回復する。
【0024】
具体的に、
図2に示すように、前記動画符号化フレーム2において符号化制御モジュール201を有し、符号化過程における制御動作の決定、及びパラメータの選択を行うためのものである。例えば、
図2に示すように、符号化制御モジュール201は、変換、量子化、逆量子化、逆変換に用いられるパラメータを制御し、フレーム内又はフレーム間モードの選択、並びに動き予測、及びフィルタのパラメータ制御を制御し、かつ符号化制御モジュール201の制御パラメータもエントロピー符号化モジュール内へ入力され、符号化して符号化ビットストリームにおける一部を形成する。
【0025】
現在の符号化対象フレームから符号化を始め、符号化対象フレームを分割202処理し、具体的には、まずそれにスライス(slice)分割してからブロック分割する。選択可能には、一つの例示において、符号化対象フレームは、複数の互いに重なり合わない最大のコーディングツリーユニット(Coding Tree Unit、CTU)に分割され、各CTUはさらにそれぞれ四分木又は二分木又は三分木の方式に従って、反復して一連のさらに小さいコーディングユニット(Coding Unit、CU)に分割される。いくつかの例示において、CUはさらに、それと関連する予測ユニット(Prediction Unit、PU)、及び変換ユニット(Transform Unit、TU)を有することができ、ここでのPUは、予測の基本ユニットであり、TUは、変換、及び量子化の基本ユニットである。いくつかの例示において、PU、及びTUはそれぞれCUを基礎として一つ又は複数のブロックに分割されて得られ、そのうちの一つのPUは、複数の予測ブロック(Prediction Block、PB)、及び関連シンタックス要素を有する。いくつかの例示において、PU、及びTUは同じであってよく、又は、CUにより異なる分割方式により得られてもよい。いくつかの例示において、CU、PU、TUにおける少なくとも2つは同じであり、例えば、CU、PU、及びTUを区分せず、すべてCUを単位として予測、量子化、及び変換を行う。説明しやすいように、以下ではCTU、CU又はその他の形成されたデータユニットをいずれも符号化ブロックという。
【0026】
本出願の実施例において、動画符号化が対象とするデータは、フレーム、スライス、コーディングツリーユニット、コーディングユニット、符号化ブロック又は以上のいずれかの群であってよいことを理解するものとする。異なる実施例において、データユニットのサイズは変更できる。
【0027】
具体的に、
図2に示すように、符号化対象フレームを複数の符号化ブロックに分割した後、予測過程を行い、これは、現在の符号化対象フレームの空間領域、及び時間領域冗長情報を除去するためのものである。現在比較的よく使用される予測符号化方式は、フレーム内予測、及びフレーム間予測の2つの方法を含む。フレーム内予測は、本フレーム画像における再構成済みの情報のみを利用して現在の符号化ブロックを予測するものであり、一方、フレーム間予測は、以前の再構成済みのその他のフレーム画像(基準フレームともいう)における情報を利用して現在の符号化ブロックを予測するものである。具体的に、本出願の実施例において、符号化制御モジュール201は、フレーム内予測又はフレーム間予測の選択を決定するためのものである。
【0028】
フレーム内予測モードを選択する場合、フレーム内予測203の過程は、現在の符号化ブロック周囲の符号化済みの隣接ブロックの再構成ブロックを取得して基準ブロックとし、この基準ブロックの画素値に基づいて、予測モード方式を採用して予測値を計算して予測ブロックを生成し、現在の符号化ブロックと予測ブロックとの対応画素値を減らして現在の符号化ブロックの残差を得て、現在の符号化ブロックの残差は、変換204、量子化205、及びエントロピー符号化210された後、現在の符号化ブロックのビットストリームを形成する。さらに、現在の符号化対象フレームのすべての符号化ブロックは、上述の符号化過程を経た後に、符号化対象フレームの符号化ビットストリームにおける一部を形成する。このほか、フレーム内予測203において生成された制御、及びパラメータデータもエントロピー符号化210により符号化され、符号化ビットストリームにおける一部を形成する。
【0029】
具体的に、変換204は、画像ブロックの残差の相関性を除去することで、符号化効率を高めるためのものである。現在の符号化ブロックの残差データの変換は通常、離散コサイン変換(Discrete Cosine Transform、DCT)を採用して変換され、離散サイン変換(Discrete Sine Transform、DST)を採用して変換され、例えば、符号化側は、符号化対象ブロックの残差情報をそれぞれ一つのN×Mの変換行列、及びその転置行列と掛け合わせ、掛け合わせた後に現在の符号化ブロックの変換係数を得る。
【0030】
変換係数を生成した後に量子化205によりさらに圧縮効率を高め、変換係数は量子化により量子化後の係数を得ることができ、その後、量子化後の係数をエントロピー符号化210して現在の符号化ブロックの残差ビットストリームを得る。ここで、エントロピー符号化方式は、CABAC(Context Adaptive Binary Arithmetic Coding、CABAC)エントロピー符号化を含むがこれに限定されない。
【0031】
具体的に、フレーム内予測203過程における符号化済みの隣接ブロックは、現在の符号化ブロックを符号化する前に、符号化済みの隣接ブロックであり、この隣接ブロックの符号化過程において生成される残差を変換204、量子化205、逆量子化206、及び逆変換207した後に、この隣接ブロックの予測ブロックと互いに加えて得られた再構成ブロックである。対応して、逆量子化206、及び逆変換207は、量子化206、及び変換204の逆過程であり、量子化、及び変換前の残差データを回復するためのものである。
【0032】
図2に示すように、フレーム間予測モードを選択する場合、フレーム間予測過程は、動き予測208、及び動き補償209を含む。具体的に、再構成画像フレームにおける基準画像に基づいて動き予測208を行い、一枚又は複数枚の基準フレーム画像において、一定のマッチング基準に基づいて、現在の符号化ブロックに最も相似する画像ブロックを探索してマッチングブロックとし、このマッチングブロックと現在の符号化ブロックとの相対シフトが現在の符号化対象ブロックの動きベクトル(Motion Vector、MV)である。符号化対象フレームにおけるすべての符号化ブロックに動き予測を行った後、動きベクトル、及び基準フレームに基づいて、現在の符号化対象フレームに動き補償209を行い、現在の符号化対象フレームの予測値を得る。この符号化対象フレーム画素のオリジナル値を対応する予測値と相互に減らして符号化対象フレームの残差を得る。現在の符号化対象フレームの残差は、変換204、量子化205、及びエントロピー符号化210された後に、符号化対象フレームの符号化ビットストリームにおける一部を形成する。このほか、動き補償予測209において生成された制御、及びパラメータデータもエントロピー符号化210により符号化され、符号化ビットストリームにおける一部を形成する。
【0033】
ここで、
図2に示すように、再構成動画フレームは、フィルタリング211された後に得られる動画フレームである。フィルタリング211は、符号化過程で生成されるブロック効果、及びリンギング効果などの圧縮の歪みを減らすためのものである。符号化過程において、再構成動画フレームは、フレーム間予測に基準フレームを提供するためのものであり、復号過程において、再構成動画フレームは、後処理後に最終的な復号動画として出力される。本出願の実施例において、フィルタリング211は、デブロッキングDBフィルタリング、サンプルアダプティブオフセットSAOフィルタリング、アダプティブループフィルタALF、及びクロスコンポーネントALF(Cross-Component ALF、CC-ALF)のうちの少なくとも一つのフィルタリング技術を含む。例示において、ALFは、DBとSAOとのうちの少なくとも一つの後に設けられる。例示において、ALFを経る前の輝度成分でALFを経た後の色度成分をフィルタリングする。フィルタリング211の過程におけるフィルタリングパラメータは同様に、エントロピー符号化に伝送されて符号化され、符号化ビットストリームにおける一部を形成する。
【0034】
図3は、本出願の他の実施例に基づく動画復号フレーム3の概略図である。
図3に示すように、動画復号は、動画符号化に対応する操作ステップを実行する。まず、エントロピー符号化301を利用して符号化ビットストリームにおける残差データ、予測シンタックス、フレーム内予測シンタックス、動き補償シンタックス、及びフィルタリングシンタックスのうちの一つ又は複数のデータ情報を得る。ここで、残差データは、逆量子化302、及び逆変換303されてオリジナル残差データ情報を得る。このほか、予測シンタックスに基づいて、現在の復号ブロックにフレーム内予測を使用するか、又はフレーム間予測を使用するかを確定する。フレーム内予測304である場合、復号により得られるフレーム内予測シンタックスに基づいて、現在のフレームにおける再構成済み画像ブロックを利用してフレーム内予測方式に従って予測情報を構築する。フレーム間予測である場合、復号により得られた動き補償シンタックスに基づいて、再構成済み画像において基準ブロックを確定し、予測情報を得る。続いて、予測情報と残差情報を重ね合わせ、かつフィルタリング311操作により再構成動画フレームを得られ、再構成動画フレームを後処理306後に復号動画を得る。
【0035】
具体的に、本出願の実施例において、前記フィルタリング311は、
図2におけるフィルタリング211と同じであってよく、DBフィルタリング、サンプルアダプティブオフセットSAOフィルタリング、アダプティブループフィルタALF、及びクロスコンポーネントALF(Cross-Component ALF、CC-ALF)のうちの少なくとも一つを含む。ここで、フィルタリング311におけるフィルタリングパラメータ、及び制御パラメータは、符号化ビットストリームをエントロピー復号して得られてよく、得られたフィルタリングパラメータ、及び制御パラメータに基づいて、フィルタリングをそれぞれ行う。
【0036】
例示において、DBフィルタリングは、予測ユニットPU、及び変換ユニットTU辺境の画素を処理するためのものであり、トレーニングして得られたローパスフィルタにより辺境画素の非線形加重を行い、これによりブロッキング効果を減少させる。例示において、SAOフィルタリングは、フレーム画像における符号化ブロックを単位として、符号化ブロックにおける画素値を分類するためのものであり、かつ各タイプの画素に補償値を加え、異なる符号化ブロックは、異なるフィルタリング形式を採用し、しかも異なる符号化ブロックにおける異なるタイプの画素補償値は異なり、再構成フレーム画像をさらにオリジナルフレーム画像に近づけ、リンギング効果を回避する。例示において、ALFフィルタリングは、ウィナーフィルタリング(wiener filtering)過程であり、ウィナーフィルタリングの原理に基づいて、フィルタリング係数を計算してフィルタリングし、主に再構成フレーム画像とオリジナルフレーム画像との間の平均二乗誤差(Mean-square Error、MSE)を最小化するためのものであり、これにより再構成フレームの画像品質をさらに改善し、動き予測、及び動き補償の正確性を高め、かつ符号化システム全体の符号化効率を効果的に高めるが、これとともに、ALFフィルタリングの複雑さが大きく、演算に時間がかかり、実際の応用過程には一定の欠陥がある。
【0037】
理解しやすいように、次に、
図4、
図5a、及び
図5bを踏まえてALFフィルタリング過程の例示を説明する。
【0038】
ALFフィルタリング係数の計算原理
まず、ウィナーフィルタリング原理に基づいて、ALFフィルタリング係数の計算方式を説明する。
図4に示すように、現在の符号化のオリジナル符号化フレームにおける画素信号はXであり、符号化、及びDBフィルタリングとSAOフィルタリング後の再構成画素信号はYであり、この過程においてYが導入するノイズ又は歪みはeであり、再構成画素信号は、ウィナーフィルタリングにおけるフィルタリング係数fによりフィルタリングされた後に、ALF再構成信号
【数01】
を形成し、このALF再構成信号
【数02】
とオリジナル画素信号との平均二乗誤差を最小にし、f、つまりALFフィルタリング係数を得て、具体的に、fの計算公式は、以下の通りである。
【数1】
【0039】
選択可能には、可能な実施形態において、一組のALFフィルタリング係数からなるフィルタは、
図5a及び
図5bに示すように、C0~C12の対称分布される13のフィルタリング係数を有し、フィルタ長Lは7である。又は、C0~C6の対称分布される7のフィルタリング係数を有し、フィルタ長Lは5である。選択可能には、
図5aに示すフィルタは、7*7フィルタともいい、符号化フレーム輝度成分に適用され、
図5bに示すフィルタは、5*5フィルタともいい、符号化フレーム色成分に適用される。
【0040】
本出願の実施例において、前記ALFフィルタリング係数からなるフィルタはさらに、その他の形式のフィルタであってよく、例えば、対称分布され、フィルタ長が9などのフィルタ形式であり、本出願の実施例は、これを限定しないことを理解するものとする。
【0041】
選択可能には、線形ALFフィルタリング過程において、再構成画像フレームにおけるフィルタリング対象画素点について、周囲の画素点の加重平均により現在の点のフィルタリング後の結果を得て、つまり、ALF再構成画像フレームにおける対応する画素点である。具体的に、再構成画像フレームにおける画素点I(x,y)は、現在のフィルタリング対象画素点であり、(x,y)は、現在のフィルタリング対象画素点の符号化フレームにおける位置座標であり、フィルタ中心のフィルタリング係数はそれに対応し、フィルタにおけるその他のフィルタリング係数は、I(x,y)周囲の画素点に一つ一つ対応し、フィルタにおけるフィルタリング係数値は、重みであり、フィルタにおけるフィルタリング係数値を対応する画素点と互いに乗じた後、平均して得られる数値は、現在のフィルタリング対象画素点I(x,y)のフィルタリング後の画素値O(x,y)であり、具体的な公式は、以下の通りである。
【数2】
式中、w(i,j)は、フィルタにおけるいずれか一つのフィルタリング係数を示し、(i,j)は、フィルタにおけるフィルタリング係数の中心点からの相対位置を示し、i及びjはいずれもL/2より小さく、-L/2よりも大きい整数であり、ここでLは、フィルタ長である。例えば、
図5aにおけるフィルタに示すように、フィルタ中心のフィルタリング係数C12は、w(0,0)と示され、C12上方のフィルタリング係数C6は、w(0,1)と示され、C12右方のフィルタリング係数C11は、w(1,0)と示される。
【0042】
このような方式に従って、順次、再構成画像フレームにおける各画素点をフィルタリングし、フィルタリング後のALF再構成画像フレームを得る。
【0043】
選択可能には、可能な実施形態において、前記フィルタのフィルタリング係数w(i,j)は、[-1,1)の間の整数である。
【0044】
選択可能には、可能な実施形態において、前記フィルタのフィルタリング係数w(i,j)を128倍拡張後に切り捨ててw'(i,j)を得て、w'(i,j)は[-128,128)の間の整数である。具体的に、拡張後のw'(i,j)を符号化して伝送し、ハードウェアで符号化復号して実現しやすく、かつ拡張後のw'(i,j)を採用してフィルタリングしてO(x,y)を得る計算公式は、以下の通りである。
【数3】
【0045】
選択可能には、他の非線形ALFフィルタリング過程において、直接フィルタを採用して重みとせず、複数の画素点を加重平均してフィルタリング後の結果を得る。非線形パラメータ要素を導入し、フィルタリング効果を最適化し、具体的に、非線形ALFフィルタリングを採用して、I(x,y)をフィルタリングしてO'(x,y)を計算して得る計算公式は、以下の通りである。
【数4】
式中、前記フィルタのフィルタリング係数w(i,j)は、[-1,1)の間の整数である。K(d,b)は、修正(clip)の操作であり、以下の通りである。
【数5】
【0046】
具体的に、k(d,b)clip操作において、k(i,j)は、ループ内フィルタリングALF修正clipパラメータを表し、以下では修正パラメータ又はclipパラメータといい、各フィルタリング係数w(i,j)はいずれも一つのclipのパラメータに対応する。符号化フレーム輝度成分について、clipパラメータは、{1024、181、32、6}のうちから一つ選択され、符号化フレーム色成分について、clipパラメータは、{1024、161、25、4}のうちから一つ選択され、かつ各clipパラメータに対応するインデックス、つまり修正(clip)インデックスパラメータをビットストリームへ書き込む必要がある。clipパラメータが1024である場合、clipインデックスパラメータ0をビットストリームへ書き込み、同様の理由で、181の場合、1をビットストリームへ書き込み、従って、符号化フレーム輝度分類、及び符号化フレーム色分類のclipインデックスパラメータはいずれも0~3の間の整数であることがわかる。
【0047】
画素分類分割
次に、一つの画素点に一組の対応するALFフィルタリング係数を計算し、その計算の複雑さが大きく、時間がかかる場合、しかも各画素点のALF係数をいずれもビットストリームへ書き込むと巨大な支出があるので、再構成画像における画素点を分類分割する必要があり、各タイプの画素点は、同一組のALFフィルタリング係数(フィルタの一種)を採用し、このようにして計算の複雑さを低下させ、符号化効率を高めることができる。
【0048】
選択可能には、画素分類の方式は、複数あってよい。例えば、画素の輝度Y成分にのみ分類を行い、色UV成分を分類しなくてもよい。例えば、輝度Y成分を25に分割し、色UV成分を分割せず、1タイプのみである。いいかえれば、一つのフレーム画像について、輝度Y成分の符号化フレームは最大で25組のフィルタに対応でき、色UV成分の符号化フレームは一組のフィルタに対応する。
【0049】
本出願の実施例において、画素タイプは、輝度Y成分に対応するタイプであってよいが、本出願の実施例は、これを限定するわけではなく、画素タイプは、その他の成分又はすべての成分に対応するタイプであってもよいことを理解するものとする。説明しやすいように、以下では輝度Y成分の符号化フレームを分類分割し、ALFフィルタリングを例として説明する。
【0050】
選択可能には、可能な実施形態において、DBフィルタリング、及びSAOフィルタリング後の再構成画像フレームを複数の4*4画素のブロックに分割する。この4*4のブロックを分類する。
【0051】
例えば、各一つの4*4のブロックはいずれもラプラス(Laplace)方向に分類できる。
【数6】
【0052】
Cは、画素ブロックが所属するタイプを表す。Dは、ラプラス方向であり、
【数7】
は、進行方向D(Direction)分類後の細分類結果であり、
【数8】
の取得は複数の方式があってよく、ここでは細分類結果のみ表す。
【0053】
方式Dの計算方式は以下の通りであり、まず、現在の4*4ブロックの異なる方向でのラプラス勾配を計算し、計算公式は、以下の通りである。
【数9】
式中、i、及びjは、現在の4*4ブロックの左上画素点の座標である。
【0054】
R(k,l)は、4*4ブロックにおける(k,l)位置に位置する再構成画素値である。Vk,lは、4*4ブロックにおける(k,l)座標に位置する画素点の垂直方向でのラプラス勾配を表す。Hk,lは、4*4ブロックにおける(k,l)座標に位置する画素点の水平方向ラプラス勾配を表す。D1k,lは、4*4ブロックにおける(k,l)座標に位置する画素点の135度方向ラプラス勾配を表す。D2k、lは、4*4ブロックにおける(k,l)座標に位置する画素点の45度ラプラス勾配を表す。
【0055】
対応して、計算して得られるgvは、現在の4*4ブロックの垂直方向でのラプラス勾配を表す。ghは、現在の4*4ブロックの水平方向のラプラス勾配を表す。gd1は、現在の4*4ブロックの135度方向のラプラス勾配を表す。gd2は、現在の4*4ブロックの45度方向のラプラス勾配を表す。
【0056】
その後、4つの方向のラプラス勾配の極値比に基づいて、方向Dを判断し、具体的な計算公式は、以下の通りである。
【数10】
式中、
【数11】
は、水平、垂直方向ラプラス勾配値の最大値を表す。
【数12】
は、水平、垂直方向ラプラス勾配値の最小値を表す。
【数13】
は、45、135度方向ラプラス勾配値の最大値を表す。
【数14】
は、45、135度方向ラプラス勾配値の最小値を表す。R
h,vは、水平、垂直方向ラプラス勾配値の比値を表す。R
d0,d1は、45、135度方向ラプラス勾配値の比値を表す。
【数15】
t1、及びt2は、予め設定されたしきい値を表す。
【0057】
選択可能には、可能な実施形態において、
【数16】
の計算公式は、以下の通りである。
【数17】
【0058】
Aを量子化して0~4の間の整数を得て、
【数18】
を得る。
【0059】
このため、D及びAの値を総合し、Cの値範囲は、0~24の間の整数であり、本出願の実施例において、多くとも、一つのフレーム画像における4*4ブロックを25タイプに分割する。
【0060】
選択可能には、可能な実施形態において、符号化フレームにおいて、Nタイプの4*4ブロックを有し、各タイプの4*4ブロックは、一組のALFフィルタリング係数を有し、ここで、Nは、1~25の間の整数である。
【0061】
本出願の実施例において、フレーム画像全体について、複数の4*4のブロックに分割できるほか、その他の画素サイズのブロックに分割でき、例えば、複数の8*8又は16*16サイズのブロックに分割することもでき、本出願の実施例は、これを限定しないことを理解するものとする。
【0062】
さらに、本出願の実施例において、上述のラプラス(Laplace)方向に基づいて分類するほかに、さらに、その他の分類方式を採用してブロックを分類することもでき、本出願の実施例は、これを限定しないことを理解するものとする。
【0063】
さらに、本出願の実施例において、分類数は25のほかに、さらにその他のいずれかの数に分類することもでき、本出願の実施例は、これを限定しないことを理解するものとする。
【0064】
ブロックに基づくALFフィルタリング
ALFフィルタリングは、フレームに基づくALF、ブロックに基づくALF、及び4分木に基づくALFに分けることができる。ここで、フレームに基づくALFは、一組のフィルタリング係数を採用してフレーム全体にフィルタリングを行うものである。ブロックに基づくALFは、符号化フレームをサイズが同じ画像ブロックに分割し、画像ブロックについてALFフィルタリングを行うか否かを判断するものである。四分木に基づくALFは、四分木の分割方式に基づいて、符号化フレームをサイズが異なる画像ブロックに分割し、ALFフィルタリングを行うか否かを判断するものである。ここで、フレームに基づくALFは、計算が簡単であるが、フィルタリング効果がよくない。一方、四分木に基づくALFは、計算の複雑さが大きい。従って、いくつかの標準、又は技術において、例えば、作成を検討中の最新のVVC標準においては、その参照ソフトウェアVTMが採用するのは、ブロックに基づくALFである。
【0065】
VTMにおけるブロックに基づくALFを例として説明する。VTMにおいて、符号化フレームは、フレームレベルALFフィルタリングマーカービットを有し、かつブロックレベルALFフィルタリングマーカービットを有する。選択可能には、このブロックレベルはCTU、CU又はその他の分割方式の画像ブロックであってよいが、本出願の実施例は、これを限定せず、説明しやすいように、以下ではCTUレベルALFフィルタリングマーカービットを例として説明する。
【0066】
具体的に、フレームレベルALFフィルタリングマーカービットがALFフィルタリングを行わないことを識別する場合、符号化フレームにおけるCTUレベルALFフィルタリングマーカービットを識別しない。フレームレベルALFフィルタリングマーカービットがALFフィルタリングを行うことを識別する場合、符号化フレームにおけるCTUレベルALFフィルタリングマーカービットを識別して、現在のCTUがALFフィルタリングを行うか否かを示す。
【0067】
選択可能には、符号化フレームにZ個のCTUを含み、符号化フレームにおけるN組のALFフィルタリング係数を計算する方式は、以下の通りである。符号化フレームにおけるZ個のCTUをALFフィルタリングして組み合わせるか否かについて、各タイプの組合せ方式について、この方式でのN組のALFフィルタリング係数、及び符号化フレームのレート歪みコスト(Rate-distortion Cost、RD Cost)を計算して得る。ここで、各組のALFフィルタリング係数におけるi番目組のALFの計算方式は、以下の通りである。現在のCTUの組み合わせ方式で、ALFフィルタリングを行うCTUにおけるi番目タイプの画素をf計算し、その他のALFフィルタリングを行わないCTUにおけるi番目タイプの画素にf計算を行わず、現在の組み合わせ方式でのi番目組のALF係数を計算して得る。異なる組み合わせ方式では、計算して得るN組のALFフィルタリング係数は互いに異なる可能性があることを理解するものとする。
【0068】
複数の組み合わせでのRD Costを比較し、ここで、RD Costが最小の組み合わせ方式を最終的な組み合わせ方式と確定する。かつ、この異なる組み合わせ方式で計算して得られるN組のALFフィルタリング係数は、適応性が最も優れたALFフィルタリング係数である。
【0069】
RD Costが最小の組み合わせ方式が、Z個のCTUにおける少なくとも一つのCTUをALFフィルタリングすることである場合、符号化フレームのフレームレベルALFマーカービットは、ALFフィルタリングを行うと識別し、CTUレベルのALFマーカービットは順次、CTUデータにおいてALFフィルタリングを行うか否かを識別する。例えば、マーカービットが0と識別する場合、ALFフィルタリングを行わないことを表し、マーカービットが1と識別するとき、ALFフィルタリングを行うことを表す。
【0070】
特に、RD Costが最小の組み合わせ方式が、Z個のCTUをいずれもALFフィルタリングしないことである場合、このとき、符号化フレームはALFフィルタリングを行わず、符号化フレームのフレームレベルALFマーカービットはALFフィルタリングを行わないと識別する。このとき、CTUレベルのALFマーカービットは識別しない。
【0071】
本出願の実施例におけるALFは、VVC標準に適用されるだけでなく、ブロックに基づくその他のALF技術的解決手段又は標準にも適用されることを理解するものとする。
【0072】
クロスコンポーネントALF(Cross-Component ALF、CC-ALF)
例示において、CC-ALFは、輝度成分の数値を利用して色度成分を調整し、色度成分の品質を高めるためのものである。理解しやすいように、次に
図6を踏まえてCC-ALF、及びALF過程の例示を説明する。現在のブロックは、輝度成分、及び色度成分を有し、ここで、色度成分は、第1色度成分(例えば、
図6中のCb)、及び第2色度成分(例えば、
図6中のCr)を有する。
【0073】
輝度成分は、順次、SAO、及びALFによりフィルタリングされる。第1色度成分は、順次、SAO、及びALFによりフィルタリングされる。第2色度成分は、順次、SAO、及びALFによりフィルタリングされる。また、さらにCC-ALFフィルタを採用して色度成分にCC-ALFを行う。
【0074】
例示において、CC-ALFフィルタの形状は、
図7に示すようにできる。このCC-ALFフィルタには3×4の菱形、合計で8つの係数が採用される。図中のラベル2の所在位置は、現在の第1色度成分、又は第2色度成分の画素点であり、周囲の7つの点の加重平均を使用して中間ラベル2の所在位置の画素点のフィルタリング後の結果を得る。
【0075】
一つのフレーム画像において合計で複数セットのフィルタを有することができ、ここで、第1色度成分、及び第2色度成分は、同一組のCC-ALFフィルタからそれぞれ同じ、若しくは異なるターゲットフィルタを選択してフィルタリングでき、又は、異なる組のCC-ALFフィルタからそれぞれターゲットフィルタを選択してフィルタリングすることもできる。
【0076】
現在の画像に使用されるCC-ALFフィルタの総数はビットストリームに書き込む必要があり、ここで、このCC-ALFフィルタの総数は、第1色度成分のCC-ALFフィルタの総数と第2色度成分のCC-ALFフィルタの総数とのうちの少なくとも一つを有することができる。第1色度成分のCC-ALFフィルタの総数、及び第2色度成分のCC-ALFフィルタの総数が同じであり、又は、第1色度成分、及び第2色度成分が同一組のCC-ALFフィルタからターゲットフィルタを選択できる状況において、一つのCC-ALFフィルタの総数のみを用いて指示できる。
【0077】
現在のブロックについて、さらにこの現在のブロックに選択されるターゲットフィルタのインデックスをビットストリームへ符号化する。第1色度成分、及び第2色度成分がそれぞれ選択したターゲットフィルタのインデックスが同じ、又は異なる状況において、それぞれこの2つの色度成分のターゲットフィルタのインデックスをビットストリームへ符号化できる。又は、第1色度成分、及び第2色度成分がそれぞれ選択したターゲットフィルタのインデックスが同じ状況において、一つのインデックスのみをビットストリームへ符号化でき、このインデックスは、この2つの色度成分のターゲットフィルタを指示するためのものである。
【0078】
【0079】
具体的には、第1色度成分について、複数のCC-ALFフィルタから現在のブロックの第1色度成分のターゲットフィルタを確定し、ALFを経ていない(例えば、SAOを経た後の、ALFを経ていない)輝度成分、及び現在のブロックのALFを経た第1色度成分に基づいて、この第1色度成分のターゲットフィルタリング係数を確定する。第1色度成分のターゲットフィルタ、及びターゲットフィルタリング係数に基づいて、第1色度成分をフィルタリングする。その後、このターゲットフィルタとターゲットフィルタリング係数によりフィルタリングされた後の第1色度成分、及びALFを経た後(例えば、順次、SAO、及びALFを経た後)の第1色度成分に基づいて、第1色度成分のフィルタリング結果を確定する。
【0080】
第2色度成分について、複数のCC-ALFフィルタから現在のブロックの第2色度成分のターゲットフィルタを確定し、ALFを経ていない(例えば、SAOを経た後の、ALFを経ていない)輝度成分、及び現在のブロックのALFを経た第2色度成分に基づいて、この第2色度成分のターゲットフィルタリング係数を確定する。第2色度成分のターゲットフィルタ、及びターゲットフィルタリング係数に基づいて、第2色度成分をフィルタリングする。その後、このターゲットフィルタとターゲットフィルタリング係数によりフィルタリングされた後の第2色度成分、及びALFを経た後(例えば、順次、SAO、及びALFを経た後)の第2色度成分に基づいて、第2色度成分のフィルタリング結果を確定する。
【0081】
現在のブロックを符号化するとき、複数のCC-ALFフィルタの総数量をシンタックス要素としてビットストリームへ符号化し、現在のブロックの第1色度成分に選択されたターゲットフィルタのインデックス、第2色度成分に選択されたターゲットフィルタのインデックスをシンタックス要素としてビットストリームへ符号化する。
【0082】
例示において、一つのフレーム画像のビットストリームにおいて、複数のCC-ALFフィルタの総数量を示すためのシンタックス要素の数量は一つのみである。例示において、複数のCC-ALFフィルタの総数量を示すためのシンタックス要素は、画像のアダプテーションパラメータセット(Adaptation parameter set syntax)内に位置する。例示において、前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない。
【0083】
例示において、切り捨てられたバイナリエンコーディングを採用して複数のCC-ALFフィルタの総数量を示すためのシンタックス要素を符号化できる。例示において、切り捨てられたバイナリエンコーディングを採用して前記ターゲットフィルタのインデックスを符号化できる。
【0084】
現在のブロックについて、さらにこの現在のブロックの第1色度成分のターゲットフィルタリング係数、及び第2色度成分のターゲットフィルタリング係数をビットストリームへ符号化する。
【0085】
復号側は、ビットストリームを受信後、ビットストリームから現在の色度成分に選択されたターゲットフィルタのインデックス、及びCC-ALFフィルタの総数を復号し、かつこのインデックス、及び総数に基づいて、現在のブロックの色度成分のCC-ALFフィルタを確定する。復号側は、さらにビットストリームから現在のブロックの色度成分のターゲットフィルタリング係数を復号し、このターゲットフィルタ、及びターゲットフィルタリング係数に基づいて、現在のブロックのALFを経た色度成分をフィルタリングする。
【0086】
本出願の実施例の技術的解決手段は、符号化側に使用でき、復号側にも使用できる。以下では、それぞれ符号化側、及び復号側から本出願の実施例の技術的解決手段を説明する。
【0087】
図8は、本出願の実施例のループ内フィルタリングの方法200の概略的フローチャートを示す。この方式200は、符号化側により実行できる。例えば、
図1に示すシステム100により、符号化操作するときに実行できる。
【0088】
S210、複数のクロスコンポーネントアダプティブループフィルタALFフィルタから現在のブロックの色度成分のターゲットフィルタを確定する。
【0089】
S220、前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定する。
【0090】
S230、前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングする。
【0091】
S240、前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定する。
【0092】
S250、前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれる。
【0093】
選択可能には、前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のAdaptation parameter set syntax内に位置する。
【0094】
選択可能には、前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない。
【0095】
選択可能には、前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である。
【0096】
選択可能には、前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である。
【0097】
選択可能には、前記複数クロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化することは、切り捨てられたバイナリエンコーディングを採用して前記複数のクロスコンポーネントALFフィルタの総数量を符号化することを含む。
【0098】
選択可能には、前記方法は、前記ターゲットフィルタのインデックスをシンタックス要素として符号化することをさらに含む。
【0099】
選択可能には、前記ターゲットフィルタのインデックスをシンタックス要素として符号化することは、切り捨てられたバイナリエンコーディングを採用して前記ターゲットフィルタのインデックスを符号化することを含む。
【0100】
選択可能には、前記方法は、前記現在のブロックの色度成分のターゲットフィルタリング係数をビットストリームへ符号化することをさらに含む。
【0101】
図9は、本出願の実施例のループ内フィルタリングの方法200の概略的フローチャートを示す。この方法300は、符号化側により実行できる。例えば、
図1に示すシステム100が符号化操作を行うときに実行できる。
【0102】
S310、ビットストリームからクロスコンポーネントALFフィルタの総数量、ターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれる。
【0103】
S320、ビットストリームから前記現在のブロックの色度成分のターゲットフィルタリング係数を復号し、前記ターゲットフィルタリング係数は、前記ターゲットフィルタにおける係数である。
【0104】
S330、前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をクロスコンポーネントフィルタリングする。
【0105】
S340、前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定する。
【0106】
選択可能には、前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のAdaptation parameter set syntax内に位置する。
【0107】
選択可能には、前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない。
【0108】
選択可能には、前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である。
【0109】
選択可能には、前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である。
【0110】
選択可能には、前記ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号することは、切り捨てられたバイナリエンコーディングを採用して前記クロスコンポーネントALFフィルタの総数量と前記ターゲットフィルタのインデックスとのうちの少なくとも一つを復号することを含む。
【0111】
図10は、本出願の実施例の他の符号化側のループ内フィルタリングの装置30の概略的フフレーム図であり、このループ内フィルタリングの装置30は、動画符号化側におけるループ内フィルタリングの装置であり、選択可能には、このループ内フィルタリングの装置20は、ループ内フィルタリングの方法100に対応できる。
【0112】
図10に示すように、前記ループ内フィルタリングの装置30は、プロセッサ31、及びメモリ32を有し、
メモリ32は、プログラムを記憶することに用いることができ、プロセッサ31は、前記メモリ内に記憶されたプログラムを実行することで、
複数のクロスコンポーネントアダプティブループフィルタALFフィルタから、現在のブロックの色度成分のターゲットフィルタを確定することと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、
前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、を実行することに用いることができる。
【0113】
前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のAdaptation parameter set syntax内に位置する。
【0114】
選択可能には、前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとsliceヘッダ内とのうちの少なくとも一つに存在していない。
【0115】
選択可能には、前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である。
【0116】
選択可能には、前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である。
【0117】
選択可能には、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記複数のクロスコンポーネントALFフィルタの総数量を符号化することを含む。
【0118】
選択可能には、前記プロセッサはさらに、
前記ターゲットフィルタのインデックスをシンタックス要素として符号化するためのものである。
【0119】
選択可能には、前記ターゲットフィルタのインデックスをシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記ターゲットフィルタのインデックスを符号化することを含む。
【0120】
装置の実施例は、方法の実施例に互いに対応し、類似する説明は、方法の実施例を参照できることを理解するものとする。
【0121】
図11は、本出願の実施例の復号側のループ内フィルタリングの装置40に基づく概略的フレーム図である。選択可能には、このループ内フィルタリングの装置40は、ループ内フィルタリングの方法200に対応できる。
【0122】
図11に示すように、前記ループ内フィルタリングの装置40は、プロセッサ41、及びメモリ42を有し、
メモリ42は、プログラムを記憶することに用いることができ、プロセッサ41は、前記メモリ内に記憶されたプログラムを実行することで、
ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、
ビットストリームから前記現在のブロックの色度成分のターゲットフィルタリング係数を復号し、前記ターゲットフィルタリング係数は、前記ターゲットフィルタにおける係数であることと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、を実行することに用いることができる。
【0123】
選択可能には、前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のAdaptation parameter set syntax内に位置する。
【0124】
選択可能には、前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない。
【0125】
選択可能には、前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である。
【0126】
選択可能には、前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である。
【0127】
選択可能には、前記ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号することは、
切り捨てられたバイナリエンコーディングを採用して、前記クロスコンポーネントALFフィルタの総数量と前記ターゲットフィルタのインデックスとのうちの少なくとも一つを復号することを含む。
【0128】
本出願の実施例は、電子デバイスをさらに提供し、この電子デバイスは、上述の本出願の各実施例のループ内フィルタリングの装置を有することができる。
【0129】
本出願の実施例のプロセッサは、集積回路チップであってよく、信号の処理能力を有することを理解するものとする。実現過程において、上述の方法の実施例の各ステップは、プロセッサにおけるハードウェアの集積ロジック回路又はソフトウェア形式のコマンドにより完成されることができる。上述のプロセッサは、以下を含むがこれらに限定されない。汎用プロセッサ、CPU、デジタルシグナルプロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array、FPGA)、又はその他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントである。本出願の実施例において開示される各方法、ステップ、及び論理ブロック図を実現又は実行できる。汎用プロセッサは、マイクロプロセッサであってよく、又はこのプロセッサは、いずれかの通常のプロセッサなどであってよい。本出願の実施例に開示される方法のステップを踏まえて、直接、ハードウェアデコーダプロセッサとして体現して実行を完了でき、又はデコーダプロセッサにおけるハードウェア、及びソフトウェアモジュールの組み合わせで実行を完了できる。ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、又は電気的消去可能プログラマブルメモリ、レジスタなどの当分野で周知の記憶媒体に位置することができる。この記憶媒体は、メモリに位置し、プロセッサは、メモリにおける情報を読み取り、そのハードウェアを結合して上述の方法のステップを完了する。
【0130】
本出願の実施例のメモリは、揮発性メモリ、若しくは不揮発性メモリであってよく、又は揮発性及び不揮発性メモリの両方を含むことができることを理解できる。ここで、不揮発性メモリは、リードオンリメモリ(read-only memory、ROM)、プログラマブルリードオンリメモリ(programmable ROM、PROM)、消去可能プログラマブルリードオンリメモリ(erasable PROM、EPROM)、電気的消去可能プログラマブルリードオンリメモリ(electrically EPROM、EEPROM)、又はフラッシュメモリであってよい。揮発性メモリは、ランダムアクセスメモリ(random access memory、RAM)であってよく、外部高速バッファメモリとして用いられる。例示的だが限定しない説明により、多くの形態のRAMを用いることができ、例えば、スタティックラム(static RAM、SRAM)、ダイナミックランダムアクセスメモリ(dynamic RAM、DRAM)、シンクロナスDRAM(synchronous DRAM、SDRAM)、ダブルデータレートSDRAM(double data rate SDRAM、DDR SDRAM)、エンハンストSDRAM(enhanced SDRAM、ESDRAM)、シンクリンクDRAM(synchlink DRAM、SLDRAM)、及びダイレクトラムバスRAM(direct rambus RAM、DR RAM)である。本明細書で説明されるシステム、及び方法のメモリは、これらの、及び任意のその他の適切なタイプのメモリを含むが、それに限定しないことに留意するものとする。
【0131】
本出願の実施例は、コンピュータで読取可能な記憶媒体をさらに提供し、このコンピュータで読み取り可能な記憶媒体は、一つ又は複数のプログラムを記憶し、この一つ又は複数のプログラムは、コマンドを有し、このコマンドは、複数のアプリケーションプログラムを含む携帯型電子デバイスで実行されるとき、この携帯型電子デバイスに
図6~
図11に示す実施例の方法を実行させることができる。
【0132】
本出願の実施例は、コンピュータプログラムをさらに提供し、このコンピュータプログラムはコマンドを有し、このコンピュータプログラムがコンピュータで実行されるとき、コンピュータが
図6~
図11に示す実施例の方法を実行できるようにする。
【0133】
本出願の実施例は、チップをさらに提供し、このチップは、入力出力ポート、少なくとも一つのプロセッサ、少なくとも一つのメモリ、及びバスを有し、この少なくとも一つのメモリは、コマンドを記憶するためのものであり、この少なくとも一つのプロセッサは、少なくとも一つのメモリにおけるコマンドを呼び出すことで、
図6~
図11に示す実施例の方法を実行するためのものである。
【0134】
当業者は、本明細書で開示される実施例により説明される各例示的なユニット、及びアルゴリズムステップを踏まえ、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現できることを認識できる。これらの機能が最終的にハードウェア又はソフトウェアの方法で実行されるかは、技術的解決手段の特定の応用、及び設計上の制約条件により決定される。当業者は、各特定の応用に異なる方法を使用することで、説明される機能を実現できるが、このような実現は、本出願の範囲を超えると認識されるべきではない。
【0135】
当業者は、説明しやすさ、及び簡素化のために、上記に説明されるシステム、装置、及びユニットの具体的な作動過程が前述の方法の実施例における対応過程を参照できることを明確に理解でき、ここでは説明しない。
【0136】
本出願により提供される複数の実施例において、開示されるシステム、装置、及び方法は、その他の方式により実現できることを理解するものとする。例えば、上記に説明された装置の実施例は、例示的にすぎない。例えば、前記ユニットの区分は、ロジック機能の区分にすぎず、実際に実現する場合には、他の分割方式があってよく、例えば、複数のユニット、若しくはコンポーネントは、結合でき、若しくは他のシステムに集積でき、又はいくつかの特徴は省略でき、若しくは実行しないことができる。また、示された、若しくは検討された互いの間の結合又は直接的な結合又は通信接続は、いくつかのインターフェースによることができ、装置又はユニットの間接的な結合又は通信接続は、電気的であってよく、機械又はその他の形態であってよい。
【0137】
前記分離部材として説明されたユニットは、物理的に分割されてもよく、又は物理的に分割されなくてもよく、ユニットとして表示される部材は、物理ユニットでもよく、又は物理ユニットでなくてもよく、すなわち一つの場所に位置でき、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じて、そのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現できる。
【0138】
このほか、本出願の各実施例における各機能ユニットは、一つの処理ユニットに集積でき、各ユニットが単独で物理的に存在することもでき、二つ又は二つ以上のユニットが一つのユニットに集積されてもよい。
【0139】
前記機能がソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売又は使用されるとき、コンピュータで読み取り可能な一つの記憶媒体内に記憶できる。このような理解に基づいて、本出願の技術的解決手段が本質的に、若しくは従来技術に対して寄与する部分又は前記技術的解決手段の一部は、ソフトウェア製品の形式で体現でき、前記コンピュータソフトウェア製品は、記憶媒体内に記憶され、1台のコンピュータ設備(パーソナルコンピュータ、サーバ、又はネットワーク設備などであってよい)に本出願の各実施例に記載の方法のすべて又は一部のステップを実行させるための複数のコマンドを有する。一方、前述の記憶媒体は、USBメモリ、ポータブルハードディスク、リードオンリメモリ(read only memory、ROM)、ランダムアクセスメモリ(random access memory、RAM)、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶可能な各種媒体を含む。
【0140】
以上に述べたのは、本出願の具体的な実施形態に過ぎないが、本出願の保護範囲は、これに限定されるわけではなく、当分野の当業者はいずれも本出願により開示される技術範囲内において、変更又は置き換えを容易に想到でき、いずれも本出願の保護範囲内に含まれるものとする。従って、本出願の保護範囲は、前記特許請求の範囲の保護範囲を基準とするものとする。
[項目1]
ループ内フィルタリングの方法であって、
複数のクロスコンポーネントアダプティブループフィルタALFフィルタから、現在のブロックの色度成分のターゲットフィルタを確定することと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、
前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、を含む方法。
[項目2]
前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットAdaptation parameter set syntax内に位置する項目1に記載のループ内フィルタリングの方法。
[項目3]
前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない項目1又は2に記載のループ内フィルタリングの方法。
[項目4]
前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である項目1に記載の方法。
[項目5]
前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である項目1に記載の方法。
[項目6]
前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記複数のクロスコンポーネントALFフィルタの総数量を符号化することを含む項目1に記載の方法。
[項目7]
前記方法は、
前記ターゲットフィルタのインデックスをシンタックス要素として符号化することをさらに含む項目1に記載の方法。
[項目8]
前記ターゲットフィルタのインデックスをシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記ターゲットフィルタのインデックスを符号化することを含む項目7に記載の方法。
[項目9]
ループ内フィルタリングの方法であって、
ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、
ビットストリームから前記現在のブロックの色度成分のターゲットフィルタリング係数を復号し、前記ターゲットフィルタリング係数は、前記ターゲットフィルタにおける係数であることと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、を含む方法。
[項目10]
前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットAdaptation parameter set syntax内に位置する項目9に記載のループ内フィルタリングの方法。
[項目11]
前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない項目9又は10に記載のループ内フィルタリングの方法。
[項目12]
前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である項目9に記載の方法。
[項目13]
前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である項目9に記載の方法。
[項目14]
前記ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号することは、
切り捨てられたバイナリエンコーディングを採用して、前記クロスコンポーネントALFフィルタの総数量と前記ターゲットフィルタのインデックスとのうちの少なくとも一つを復号することを含む項目9に記載の方法。
[項目15]
ループ内フィルタリングの装置であって、
コードを記憶するためのメモリと、
前記メモリにおいて記憶されたコードを実行することで、
複数のクロスコンポーネントアダプティブループフィルタALFフィルタから、現在のブロックの色度成分のターゲットフィルタを確定することと、
前記現在のブロックのALFを経た色度成分、及び前記現在のブロックのALFを経ていない輝度成分に基づいて、前記現在のブロックの色度成分のターゲットフィルタリング係数を確定することと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、
前記現在のブロックのフィルタリング後の色度成分に基づいて符号化し、前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化し、ここで、一つのフレーム画像のビットストリームにおいて前記複数のクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、を実行するためのプロセッサと、を有する装置。
[項目16]
前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットAdaptation parameter set syntax内に位置する項目15に記載のループ内フィルタリングの装置。
[項目17]
前記複数のクロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない項目15又は16に記載のループ内フィルタリングの装置。
[項目18]
前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である項目15に記載の装置。
[項目19]
前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である項目15に記載の装置。
[項目20]
前記複数のクロスコンポーネントALFフィルタの総数量をシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記複数のクロスコンポーネントALFフィルタの総数量を符号化することを含む項目15に記載の装置。
[項目21]
前記プロセッサは、さらに、
前記ターゲットフィルタのインデックスをシンタックス要素として符号化するためのものである項目15に記載の装置。
[項目22]
前記ターゲットフィルタのインデックスをシンタックス要素として符号化することは、
切り捨てられたバイナリエンコーディングを採用して前記ターゲットフィルタのインデックスを符号化することを含む項目21に記載の装置。
[項目23]
ループ内フィルタリングの装置であって、
コードを記憶するためのメモリと、
前記メモリにおいて記憶されたコードを実行することで、
ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号し、前記ターゲットフィルタは、現在のブロックの色度成分に採用されるALFフィルタであり、ここで、一つのフレーム画像のビットストリームにおいてクロスコンポーネントALFフィルタの総数量を示すための一つのシンタックス要素のみが含まれることと、
ビットストリームから前記現在のブロックの色度成分のターゲットフィルタリング係数を復号し、前記ターゲットフィルタリング係数は、前記ターゲットフィルタにおける係数であることと、
前記ターゲットフィルタ、及び前記ターゲットフィルタリング係数に基づいて、前記現在のブロックのALFを経た色度成分をフィルタリングすることと、
前記ターゲットフィルタリング係数によりフィルタリングされた後の色度成分、及び前記現在のブロックのALFを経た後の色度成分に基づいて、前記現在のブロックのフィルタリング後の色度成分を確定することと、を実行するためのプロセッサと、を有する装置。
[項目24]
前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、前記画像のアダプテーションパラメータセットAdaptation parameter set syntax内に位置する項目23に記載のループ内フィルタリングの装置。
[項目25]
前記クロスコンポーネントALFフィルタの総数量を示すためのシンタックス要素は、画像ヘッダとスライスsliceヘッダ内とのうちの少なくとも一つに存在していない項目23又は24に記載のループ内フィルタリングの装置。
[項目26]
前記現在のブロックのALFを経た色度成分は具体的には、前記現在のブロックのサンプルアダプティブオフセットSAO、及びALFを順次経た後の色度成分である項目23に記載の装置。
[項目27]
前記現在のブロックのALFを経ていない輝度成分は具体的には、前記現在のブロックのSAOを経た後の、ALFを経ていない輝度成分である項目23に記載の装置。
[項目28]
前記ビットストリームからクロスコンポーネントALFフィルタの総数量、及びターゲットフィルタのインデックスを復号することは、
切り捨てられたバイナリエンコーディングを採用して、前記クロスコンポーネントALFフィルタの総数量と前記ターゲットフィルタのインデックスとのうちの少なくとも一つを復号することを含む項目23に記載の装置。
【外国語明細書】