知財求人 - 知財ポータルサイト「IP Force」
特表2024-537524ループフィルタリング、ビデオ符号化、ビデオ復号化方法、電子機器及び媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】ループフィルタリング、ビデオ符号化、ビデオ復号化方法、電子機器及び媒体
(51)【国際特許分類】
H04N 19/82 20140101AFI20241003BHJP
【ＦＩ】
H04N19/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024526672
(86)(22)【出願日】2022-12-12
(85)【翻訳文提出日】2024-05-02
(86)【国際出願番号】 CN2022138425
(87)【国際公開番号】W WO2023109766
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】202111530227.3
(32)【優先日】2021-12-14
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】周 怡
(72)【発明者】
【氏名】鄒 文 傑
(72)【発明者】
【氏名】白 雅 賢
(72)【発明者】
【氏名】黄 成
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159PP16
5C159RC12
5C159UA02
5C159UA05
5C159UA16
(57)【要約】
本願は、ループフィルタリング、ビデオ符号化、ビデオ復号化方法、電子機器及び媒体を提案する。該ループフィルタリング方法は、ループフィルタにより処理された第１再構成ビデオユニットを取得し、前記第１再構成ビデオユニットに対して画素分類を行い、類別ごとの対応する強度因子を決定し、前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得る。
【特許請求の範囲】
【請求項1】
ループフィルタにより処理された第１再構成ビデオユニットを取得することと、前記第１再構成ビデオユニットに対して画素分類を行うことと、
類別ごとの対応する強度因子を決定することと、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得ることと、を含む、
ループフィルタリング方法。
【請求項2】
前記ループフィルタは、ニューラルネットワークに基づくループフィルタを含む、請求項１に記載の方法。
【請求項3】
前記第１再構成ビデオユニット及び前記第２再構成ビデオユニットは、それぞれ再構成処理された画像、スライス、符号化ブロックおよび符号化ツリーブロックのいずれかを含む、請求項１に記載の方法。
【請求項4】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、前記強度因子に応じて前記第１再構成ビデオユニットの輝度成分に対して強度調節を行うことと、
前記強度因子に応じて前記第１再構成ビデオユニットの第１色度成分に対して強度調節を行うことと、
前記強度因子に応じて前記第１再構成ビデオユニットの第２色度成分に対して強度調節を行うことと、の少なくともいずれかを含む、
請求項１に記載の方法。
【請求項5】
類別ごとの対応する強度因子を決定することは、同一類別の画素点を同一の座標図に統合し、各画素点の横座標が前記各画素点の前記ループフィルタを通過した出力であり、前記各画素点の縦座標が前記各画素点の前記ループフィルタを通過する前の入力であることと、
最小二乗法に基づき、前記座標図における画素点に対してフィッティングを行って直線を得、前記直線の傾きを相応類別に対応する強度因子とすることと、を含む、
請求項１に記載の方法。
【請求項6】
類別ごとの対応する強度因子を決定することは、ループフィルタリング方法に関連するループフィルタリング制御情報を読み出すことにより、類別ごとの対応する強度因子を決定することを含む、
請求項１に記載の方法。
【請求項7】
前記強度因子に応じて前記第１再構成画像に対して強度調節を行うことは、各類別における各画素点に対して、前記各画素点の前記ループフィルタを通過した後の出力と前記各画素点の前記ループフィルタを通過する前の入力との差値に、前記類別ごとの対応する強度因子を乗算し、乗算の結果に前記各画素点の前記ループフィルタを通過する前の入力を加算し、前記各画素点の調節後の画素値を得ることを含む、
請求項１に記載の方法。
【請求項8】
前記画素分類の方式は、輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタの類別に基づいて画素分類を行うことと、
デブロッキングフィルタリングＤＢＦに使用される分類モードに基づいて画素分類を行うことと、
画素自己適応補償ＳＡＯフィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含む、
請求項１に記載の方法。
【請求項9】
ブロック分類モードに基づいて画素分類を行うことは、前記第１再構成ビデオユニットの画素ブロックを取得することと、
各画素ブロックのラプラス勾配を計算し、前記ラプラス勾配に基づいて指向性因子及び移動性因子を計算することと、
前記指向性因子及び前記移動性因子の少なくともいずれかに基づいて前記画素ブロックの類別を決定し、前記第１再構成ビデオユニットにおける全ての画素点の類別を決定することと、を含む、
請求項８に記載の方法。
【請求項10】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、各類別の画素点に対して、類別ごとの対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算することと、
複数の類別の画素点に対応する損失に応じて、前記複数の類別における一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項11】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、単一の強度因子を利用して複数の類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算することと、
複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算することと、
前記第１損失と前記第２損失に応じて、前記単一の強度因子を利用して前記第１再構成ビデオユニットに対して強度調節を行い、又は前記複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項12】
前記単一の強度因子は、統計情報に基づいて設定された値であり、又は、前記単一の強度因子は、前記第１再構成ビデオユニットにおける各画素点をフィッティングして得られた直線の傾きに応じて決定される、
請求項１１に記載の方法。
【請求項13】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算することと、
対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合することと、
各融合される類別に対応する強度因子を決定することと、
複数の融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算することと、
前記第２損失と前記第３損失に応じて、前記複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は前記複数の融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項14】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、各類別の画素点に対して、前記類別ごとの対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算することと、
複数の類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して前記複数の類別に対応する強度調節の開閉状態をそれぞれ標識することと、
前記強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項15】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、単一の強度因子を利用して複数の類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算することと、
複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算することと、
前記第１損失と前記第２損失に応じて、強度調節開閉標識子を利用して前記単一の強度因子に対応する強度調節の開閉状態、及び前記複数の類別に対応する強度調節の開閉状態をそれぞれ標識することと、
前記強度調節開閉標識子に応じて、前記単一の強度因子を利用して前記複数の類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項16】
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することと、を含むビデオ符号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、請求項１～１５のいずれか１項に記載のループフィルタリング方法に応じて決定される、
ビデオ符号化方法。
【請求項17】
第２再構成画像を得ることの後に、前記第２再構成画像に対してブロック分類を行うことと、
前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことと、をさらに含む、
請求項１６に記載の方法。
【請求項18】
第２再構成画像を得ることの後に、画素分類の分類結果に従って、前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項１６に記載の方法。
【請求項19】
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記第１再構成画像に対してブロック分類を行うことと、
ブロック分類の分類結果に応じて、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことと、をさらに含む、
請求項１６に記載の方法。
【請求項20】
類別ごとの対応する強度因子を決定することの前に、画素分類の分類結果に従って、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項１６に記載の方法。
【請求項21】
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してデブロッキングフィルタリングＤＢＦフィルタリングを行うことをさらに含み、
第２再構成画像を得ることの後に、
前記第２再構成画像に対して画素自己適応補償ＳＡＯフィルタリングを行うことをさらに含む、
請求項１６に記載の方法。
【請求項22】
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うことをさらに含む、
請求項１６に記載の方法。
【請求項23】
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、を含むビデオ復号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、請求項１～１５のいずれか１項に記載のループフィルタリング方法に応じて決定される、
ビデオ復号化方法。
【請求項24】
前記ループフィルタリング制御情報は、前記現在画像が所在するビデオシーケンスに対して前記ループフィルタリング方法をオン又はオフにすることを指示するための前記符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
前記ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対して前記ループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む、
請求項２３に記載の方法。
【請求項25】
前記ビデオユニットは、ビデオにおける画像又はビデオスライスを含む、請求項２４に記載の方法。
【請求項26】
前記ループフィルタ構造情報は、ビデオユニットに前記ループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
前記ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
前記ビデオユニットにおける複数の類別に前記ループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット類別フィルタリング開閉標識子と、
前記ビデオユニット又は前記ビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
前記ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含む、
請求項２４に記載の方法。
【請求項27】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことは、前記ビデオユニットフィルタリング開閉標識子に応じて前記第１再構成画像における前記ループフィルタリング方法がオンになるビデオユニットを識別することと、
前記ビデオユニット成分開閉標識子及び前記ビデオユニット類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及び前記ビデオユニットにおける前記ループフィルタリング方法がオンになる類別を識別することと、
前記ビデオユニット強度因子に応じて、前記ループフィルタリング方法によって前記ループフィルタリング方法がオンになる類別の前記ビデオユニット成分に対して強度調節を実施することと、を含む、
請求項２６に記載の方法。
【請求項28】
第２再構成画像を得ることの後に、画素分類の分類結果に従って、前記第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項２３に記載の方法。
【請求項29】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記第１再構成ビデオユニットに対してブロック分類を行うことと、
ブロック分類の分類結果に応じて、前記第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うことと、をさらに含む、
請求項２３に記載の方法。
【請求項30】
類別ごとの対応する強度因子を決定することの前に、画素分類の分類結果に従って、前記第１再構成ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項２３に記載の方法。
【請求項31】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることの前に、前記再構成画像に対してデブロッキングフィルタリングＤＢＦフィルタリングを行うことをさらに含み、
第２再構成画像を得ることの後に、
前記復号化後の再構成画像に対して画素自己適応補償ＳＡＯフィルタリングを行うことをさらに含む、
請求項２３に記載の方法。
【請求項32】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うことをさらに含む、
請求項２３に記載の方法。
【請求項33】
メモリと、プロセッサと、メモリに記憶されてプロセッサで作動可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、請求項１～１５のいずれか１項に記載のループフィルタリング方法又は請求項１６～２２のいずれか１項に記載のビデオ符号化方法又は請求項２３～３２のいずれか１項に記載のビデオ復号化方法が実現される、電子機器。
【請求項34】
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行されると、請求項１～１５のいずれか１項に記載のループフィルタリング方法又は請求項１６～２２のいずれか１項に記載のビデオ符号化方法又は請求項２３～３２のいずれか１項に記載のビデオ復号化方法が実現される、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、画像処理の技術分野に関し、例えばループフィルタリング、ビデオ符号化、ビデオ復号化方法、電子機器及び媒体に関する。
【背景技術】
【0002】
ループフィルタリング技術（Ｉｎ－ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）は、多層画像再構成により画像圧縮効率を高め、画像符号化品質を高め、復号化誤差等を減少することができる。しかし、関連技術におけるフィルタリングモデルはオフラインネットワークが一般的であり、実際の使用時に参照となる元の画像がないため、フィルタリング過程において強度が強すぎたり弱すぎたりする問題が存在し、その結果、再構成の値と元の値の誤差が大きくて、フィルタリング効果が影響される。
【発明の概要】
【0003】
本願は、ループフィルタリング、ビデオ符号化、ビデオ復号化方法、電子機器及び媒体を提案する。
【0004】
本願の実施例は、
ループフィルタにより処理された第１再構成ビデオユニットを取得することと、
前記第１再構成ビデオユニットに対して画素分類を行うことと、
類別ごとの対応する強度因子を決定することと、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得ることとを含む、
ループフィルタリング方法を提案する。
ループフィルタにより処理された第１再構成ビデオユニットを取得することと、
前記第１再構成ビデオユニットに対して画素分類を行うことと、
類別ごとの対応する強度因子を決定することと、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得ることとを含む、
ループフィルタリング方法を提案する。
【0005】
本願の実施例は、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することとを含むビデオ符号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述したループフィルタリング方法に応じて決定される、
ビデオ符号化方法をさらに提案する。
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することとを含むビデオ符号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述したループフィルタリング方法に応じて決定される、
ビデオ符号化方法をさらに提案する。
【0006】
本願の実施例は、
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることとを含むビデオ復号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述したループフィルタリング方法に応じて決定される、
ビデオ復号化方法をさらに提案する。
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることとを含むビデオ復号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述したループフィルタリング方法に応じて決定される、
ビデオ復号化方法をさらに提案する。
【0007】
本願の実施例は、
メモリと、プロセッサと、メモリに記憶されてプロセッサで作動可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、上述したループフィルタリング方法又はビデオ符号化方法又はビデオ復号化方法が実現される、電子機器をさらに提案する。
メモリと、プロセッサと、メモリに記憶されてプロセッサで作動可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、上述したループフィルタリング方法又はビデオ符号化方法又はビデオ復号化方法が実現される、電子機器をさらに提案する。
【0008】
本願の実施例は、コンピュータプログラムが記憶され、該プログラムがプロセッサに実行されると、上述したループフィルタリング方法又はビデオ符号化方法又はビデオ復号化方法が実現される、コンピュータ可読記憶媒体をさらに提案する。
【図面の簡単な説明】
【0009】
【図1】一実施例に係る１つのループフィルタリングの模式図である。
【図2】一実施例に係る１つのループフィルタリング方法のフロー図である。
【図3】一実施例に係る１つの多強度因子の操作の模式図である。
【図4】一実施例に係る１つのビデオ符号化方法のフロー図である。
【図5】一実施例に係る１つの符号化側フレームワークの模式図である。
【図6】一実施例に係る１つのビデオ符号化過程の模式図である。
【図7】一実施例に係る１つのビデオ符号化過程の模式図である。
【図8】一実施例に係る１つのＡＬＦフィルタリングの模式図である。
【図9】一実施例に係る他の１つのビデオ符号化過程の模式図である。
【図10】一実施例に係るさらなる１つのビデオ符号化過程の模式図である。
【図11】一実施例に係る又の１つのビデオ符号化過程の模式図である。
【図12】一実施例に係る又の１つのビデオ符号化過程の模式図である。
【図13】一実施例に係る又の１つのビデオ符号化過程の模式図である。
【図14】一実施例に係る１つのビデオ復号化方法のフロー図である。
【図15】一実施例に係る１つの復号化側フレームワークの模式図である。
【図16】一実施例に係る１つのループフィルタリング装置の構造模式図である。
【図17】一実施例に係る１つのビデオ符号化装置の構造模式図である。
【図18】一実施例に係る１つのビデオ復号化装置の構造模式図である。
【図19】一実施例に係る１つの電子機器のハードウェアの構造模式図である。
【発明を実施するための形態】
【0010】
多用途ビデオ符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）とも呼ばれる新世代のビデオ符号化標準Ｈ．２６６の圧縮ビデオには、ブロッキング効果、リンギング効果、色偏差及び画像ブレ等の歪み効果が存在する。これらの歪みによるビデオ品質への影響を軽減させるために、ループフィルタリング技術（Ｉｎ－ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）によってビデオフレームに対してフィルタリングを行うことができる。図１は、一実施例に係る１つのループフィルタリングの模式図である。図１に示すように、輝度マッピングと色度スケーリング（Ｌｕｍａ Ｍａｐｐｉｎｇ Ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ、ＬＭＣＳ）、デブロッキングフィルタリング（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ、ＤＢＦ）、画素自己適応補償（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）及び／又は自己適応ループフィルタリング（Ａｄａｐｔｉｖｅ ＬｏｏｐＦｉｌｔｅｒ、ＡＬＦ）によって入力された元の画像に対して処理を行い、再構成後の画像を出力することができる。そのうち、ＬＭＣＳは、ダイナミックレンジ内の情報に対してコードワードを再分配することにより圧縮効率を高めることができ、ＤＢＦは、ブロッキング効果の軽減に用いることができ、ＳＡＯは、リンギング効果の改善に用いることができ、ＡＬＦは、復号化誤差を減少することができる。
【0011】
本願の実施例において、ループフィルタリング過程でニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＮＮ）に基づくフィルタリング方法を採用してもよい。ＮＮフィルタリングは、新たなモジュール又はステップとしてループフィルタリングに追加されてもよいし、伝送オーバヘッドを節約し、画像品質を保証するように、ＤＢＦ及びＳＡＯのモジュール又はステップの代わりとなってもよく、ＮＮフィルタリング後にＡＬＦにより画像性能をさらに高めてもよい。
【0012】
本願の実施例において、ループフィルタリング過程で画像に対して強度調節を行うことができ、例えばビデオフレームにおける画素の輝度及び／又は色度等を調節する。また、１フレームの画像における画素点が多すぎる場合、１本の直線でフィッティングすると一部の画素点の強度調節ニーズしか満たせず、このようにして何らかの逆効果に繋がる可能性があり、例えばある画素点の増強が必要であるが、フィッティング結果に基づいて該画素点の強度を減弱することになるため、強度調節過程においてより多くの再構成の値と元の値との間の偏差が導入され、その結果、画像品質が低下され、フィルタリングの効果が影響される。本願の実施例において、画素分類により、異なる類別の強度因子をそれぞれ決定可能であり、柔軟な強度調節方法を提案している。
【0013】
本願の実施例において、ループフィルタリング方法を提案し、該方法は、主に符号化側に応用されてもよいし、復号化側に応用されてもよく、ビデオ符号化又は復号化過程のいずれにおいても、該ループフィルタリング方法によってビデオにおける再構成画像に対してフィルタリング処理を行うことができる。図２は、一実施例に係る１つのループフィルタリング方法のフロー図であり、図２に示すように、本実施例に係る方法は、以下のことを含む。
【0014】
ステップ１１０において、ループフィルタにより処理された第１再構成ビデオユニットを取得する。
【0015】
本実施例において、ループフィルタは、入力画像に対してフィルタリング処理を行うためのモデルを指してもよく、例えばＮＮ、ＬＭＣＳ、ＤＢＦ、ＳＡＯ及び／又はＡＬＦフィルタリング等の様々なフィルタリング方法をサポートする。ビデオユニットは、ビデオにおける１フレーム又は複数フレームの画像であってもよいし、一複数のスライス（Ｓｌｉｃｅ）であってもよい。第１再構成ビデオユニットは、ループフィルタにより処理された後に得られたものである。
【0016】
ステップ１２０において、前記第１再構成ビデオユニットに対して画素分類を行う。
【0017】
本実施例において、第１再構成ビデオユニットにおける全ての画素のいずれに対しても同じ強度因子を採用して強度調節を行うのではなく、設定された規則に応じて、例えば第１再構成ビデオユニットにおける画素の輝度、色度、領域及び／又はループフィルタのタイプ等に応じて、第１再構成ビデオユニットを複数の類別に分け、その後、異なる類別に対してそれぞれ相応する強度因子によって強度調節を行うことができ、これにより、第１再構成ビデオユニットにおける画素のいずれも合理的な強度調節を得ることができ、フィルタリング効果が保証される。
【0018】
ステップ１３０において、類別ごとの対応する強度因子を決定する。
【0019】
本実施例において、強度因子（Ｓｃａｌｅ）は、画素の輝度及び／又は色度に対して強度調節を行う主な変数であり、強度因子の大きさが異なると、対応する調節幅が異なる。類別ごとの対応する強度因子が同じであってもよいし、異なってもよい。該類別における画素点のフィルタリング処理の前後の画素値の差分に応じて類別ごとの対応する強度因子を計算して得ることができ、例えば、該類別における画素点のフィルタリング処理の前後の画素値の差分に応じてフィッティングし１本の直線を得、直線の傾きに応じて該類別の強度因子を決定し、なお、各類別のそれぞれに対してフィッティングを行い相応する直線を得るため、強度因子の多様性が高められ、異なる類別に対して柔軟な強度調節を実現可能であり、又例えば、復号化側において、類別ごとの対応する強度因子は、計算により得るのではなく、符号化されたビデオデータを解析して得ることができる。
【0020】
ステップ１４０において、前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得る。
【0021】
本実施例において、異なる類別に対してそれぞれ相応する強度因子による強度調節を行うことができ、このような画素分類及び各類別の強度因子に基づいて強度調節を行う操作は、多強度因子（Ｍｕｌｔｉ－Ｓｃａｌｅ Ｆａｃｔｏｒｓ、ＭＳＦ）操作と呼ばれてもよく、且つ、各類別における画素点の輝度及び／又は色度成分毎に調節を行うことができる。ＭＳＦフィルタリングは、フィルタリングされた全画像に応用されてもよいし、画像における単一又は複数のｓｌｉｃｅに応用されてもよいし、単独的に輝度成分又は色度成分に応用されてもよい。強度調節された後の第２再構成ビデオユニットは、後続の符号化の参照及び基礎とすることができる。
【0022】
図３は、一実施例に係る１つの多強度因子の操作の模式図である。図３に示すように、ループフィルタはＮＮフィルタであり、ＮＮフィルタによるフィルタリング後に第１ビデオ再構成ユニットが得られ、第１ビデオ再構成ユニットに対して画素分類を行う場合、色度（青色色差成分Ｃｂと赤色色差成分Ｃｒを含む）及び／又は輝度成分（Ｌｕｍａ）に応じて画素分類を行うことができ、そのうち、数字標識は、各画素が所属する類別を表すためのものであり、例えば、数字標識が「１」である画素は、同一の類別に属し、図３には、１ないし４の計４つの類別が示され、その後、各類別に対して、それぞれ対応する強度因子（Ｓｃａｌｅ）を計算し、それぞれＳ１、Ｓ２、Ｓ３及びＳ４として記され、各類別に対応する強度因子を採用し相応類別の画素に対して強度調節を行い、第２ビデオ再構成ユニットを得る。
【0023】
本実施例のループフィルタリング方法は、画素分類に基づく多強度因子フィルタリング方法として理解することができ、類別に従って第１再構成ビデオユニットに対して強度調節を行った後に第２再構成ビデオユニットを得ることにより、第２再構成ビデオユニットにおける再構成の値と元の値との間の偏差がより小さくなり、より少ない歪みを有し、画像品質がより高くなり、より優れるフィルタリング効果を有する。
【0024】
一実施例において、ループフィルタは、ニューラルネットワークに基づくループフィルタ（即ちＮＮフィルタ、ＮＮ Ｆｉｌｔｅｒ）を含む。本実施例において、ＮＮフィルタは、深層学習に基づくことでデータを分析し、歪み画像（又は再構成画像）から元の画像へのマッピングを確立することで、画像品質の向上を実現する。ＮＮフィルタはオフラインネットワークが一般的であり、実際の使用時に参照となる元の画像がなく、強度が強すぎたり弱すぎたりする問題が存在する可能性がある。一方、本実施例において、画素を分類し各類別の強度因子を導入することにより、画素点の強度を柔軟に制御することができる。ＮＮフィルタに対しては、ニューラルネットワークへの入力が必要な各項のデータ、例えば再構成画像サンプル、量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、ＱＰ）情報、符号化ユニット（Ｃｏｄｅ Ｕｎｉｔ、ＣＵ）分割情報、デブロッキングフィルタリング情報、予測サンプル等を配置し、これらのデータをＮＮフィルタに入力し、ＮＮフィルタリング処理された後の第１再構成ビデオユニットを出力することができる。
【0025】
一実施例において、再構成ビデオユニットは、再構成処理された画像、又はスライス、又は符号化ブロック、又は符号化ツリーブロックを含む。そのうち、再構成ビデオユニットは、第１再構成ビデオユニットであってもよいし、第２再構成ビデオユニットであってもよい。
【0026】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
強度因子に応じて第１再構成ビデオユニットの輝度成分に対して強度調節を行う（図３に示すように）ことと、
強度因子に応じて第１再構成ビデオユニットの第１色度成分（例えばＣｂ）に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第２色度成分（例えばＣｒ）に対して強度調節を行うことと、の少なくともいずれかを含む。
強度因子に応じて第１再構成ビデオユニットの輝度成分に対して強度調節を行う（図３に示すように）ことと、
強度因子に応じて第１再構成ビデオユニットの第１色度成分（例えばＣｂ）に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第２色度成分（例えばＣｒ）に対して強度調節を行うことと、の少なくともいずれかを含む。
【0027】
一実施例において、類別ごとの対応する強度因子を決定することは、
同一類別の画素点を同一の座標図に統合し、各画素点の横座標が該画素点のループフィルタを通過した出力であり、縦座標が該画素点のループフィルタを通過する前の入力であるステップ１３１と、
最小二乗法に基づき、座標図における画素点に対してフィッティングを行って直線を得、直線の傾きを相応類別に対応する強度因子とするステップ１３３と、を含む。
同一類別の画素点を同一の座標図に統合し、各画素点の横座標が該画素点のループフィルタを通過した出力であり、縦座標が該画素点のループフィルタを通過する前の入力であるステップ１３１と、
最小二乗法に基づき、座標図における画素点に対してフィッティングを行って直線を得、直線の傾きを相応類別に対応する強度因子とするステップ１３３と、を含む。
【0028】
本実施例において、各類別の強度因子は、計算により得ることができ、符号化側に適用される。図３を例に、ＮＮフィルタリング後に第１再構成ビデオユニットに対して画素分類を行い、そのうちの１つの類別に対して、該類別に属する画素点のＮＮフィルタリングされた後の出力を横座標とし、ＮＮフィルタリングされる前の入力を縦座標とすることで、第１再構成ビデオユニットにおいて同一の類別に属する画素点を同一の座標図に入れ、その後、最小二乗法を利用してフィッティングし１本の直線を得、この直線の傾きは、即ち該類別に対応する強度因子である。類別の数があるだけ、強度因子の数が得られる。最小二乗法で直線フィッティングする方式により、ループフィルタにより処理された後の再構成画像を元の画像に近づけさせて、フィルタリング強度と元の画像とが自己適応する効果を達成することができる。
【0029】
【数1】
【0030】
一実施例において、類別ごとの対応する強度因子を決定することは、ループフィルタリング方法に関連するループフィルタリング制御情報を読み出すことにより、類別ごとの対応する強度因子を決定することを含む。
【0031】
本実施例において、各類別の強度因子は、ビットストリームの高レベルシンタックスを解析することにより、ループフィルタリング方法に関連するループフィルタリング制御情報から読み出し、復号化側に適用してもよい。
【0032】
一実施例において、強度因子に応じて第１再構成画像に対して強度調節を行うことは、
各類別における各画素点に対して、該画素点のループフィルタを通過した後の出力と該画素点のループフィルタを通過する前の入力との差値に、該類別に対応する強度因子を乗算し、乗算の結果に該画素点のループフィルタを通過する前の入力を加算し、該画素点の調節後の画素値を得ることを含む。
各類別における各画素点に対して、該画素点のループフィルタを通過した後の出力と該画素点のループフィルタを通過する前の入力との差値に、該類別に対応する強度因子を乗算し、乗算の結果に該画素点のループフィルタを通過する前の入力を加算し、該画素点の調節後の画素値を得ることを含む。
【0033】
【数2】
【0034】
一実施例において、画素分類の方式は、
輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタ（ＮＮフィルタ）の類別に基づいて画素分類を行うことと、
デブロッキングフィルタリング（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ、ＤＢＦ）に使用される分類モードに基づいて画素分類を行うことと、
画素自己適応補償（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）フィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含む。
輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタ（ＮＮフィルタ）の類別に基づいて画素分類を行うことと、
デブロッキングフィルタリング（Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ、ＤＢＦ）に使用される分類モードに基づいて画素分類を行うことと、
画素自己適応補償（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、ＳＡＯ）フィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含む。
【0035】
本実施例において、画素分類は、輝度成分に対して画素分類を行ってもよいし、ＡＬＦのブロック分類モードに基づいて画素分類を行ってもよく、また、画像の色度成分、画素点領域、ＮＮフィルタリング、ＤＢＦフィルタリング及びＳＡＯフィルタリング等の要素を考慮すると、様々な分類方式をサポートしてもよい。
【0036】
例えば、ＡＬＦのブロック分類モードに基づいて、各画素ブロックの指向性因子及び／又は移動性因子に応じて画素分類を行う場合、５つの指向性因子及び５つの移動性因子があることを例に、２類別の因子に応じて第１再構成ビデオユニットを２５類に分けることができるし、移動性因子に応じて第１再構成ビデオユニットを５類に分けることもできるし、指向性因子に応じて第１再構成ビデオユニットを５類に分けることもでき、
又例えば、画素点の輝度成分領域に基づいて画素分類を行う場合、例えば第１再構成ビデオユニットを８つの領域に分け、つまり８類に分け、できるだけ各類における符号化ユニットの数が等しいことを保証し、
又例えば、ＮＮフィルタに基づいて画素分類を行う場合、例えばループフィルタリング過程において、異なる画素ブロックは異なるＮＮフィルタを選択する可能性があり、個々のブロックに使用されるＮＮフィルタに応じて個々の画素ブロックを分類し、
又例えば、他のフィルタリングモデルに基づく分類の場合、例えばＤＢＦ及び／又はＳＡＯフィルタリングに使用される分類モードに従って、第１再構成ビデオユニットを異なる類別に分けることができ、
又例えば、ニューラルネットワークを利用して画素分類を行うことができ、例えば１つの画素分類用のニューラルネットワークを訓練し、その入力は、第１再構成ビデオユニットの画素値、ループフィルタのパラメータ等の情報を含み、出力は、画素分類の結果である。
又例えば、画素点の輝度成分領域に基づいて画素分類を行う場合、例えば第１再構成ビデオユニットを８つの領域に分け、つまり８類に分け、できるだけ各類における符号化ユニットの数が等しいことを保証し、
又例えば、ＮＮフィルタに基づいて画素分類を行う場合、例えばループフィルタリング過程において、異なる画素ブロックは異なるＮＮフィルタを選択する可能性があり、個々のブロックに使用されるＮＮフィルタに応じて個々の画素ブロックを分類し、
又例えば、他のフィルタリングモデルに基づく分類の場合、例えばＤＢＦ及び／又はＳＡＯフィルタリングに使用される分類モードに従って、第１再構成ビデオユニットを異なる類別に分けることができ、
又例えば、ニューラルネットワークを利用して画素分類を行うことができ、例えば１つの画素分類用のニューラルネットワークを訓練し、その入力は、第１再構成ビデオユニットの画素値、ループフィルタのパラメータ等の情報を含み、出力は、画素分類の結果である。
【0037】
また、色度成分に応じて分類を行ってもよく、例えば、画素点の色度成分領域に基づいて分類を行い、例えば第１再構成ビデオユニットを８つの領域に分け、つまり８類に分け、できるだけ各類における符号化ユニットの数が等しいことを保証し、
又例えば、Ｃｂ及びＣｒのうちの少なくとも１つの色度成分に応じて分類を行い、Ｃｂ及び／又はＣｒが同じである画素点を１類に分け、
又例えば、輝度成分の画素分類情報と結び付けて、そして色度成分に従って第１再構成ビデオユニットを異なる類に分ける。
又例えば、Ｃｂ及びＣｒのうちの少なくとも１つの色度成分に応じて分類を行い、Ｃｂ及び／又はＣｒが同じである画素点を１類に分け、
又例えば、輝度成分の画素分類情報と結び付けて、そして色度成分に従って第１再構成ビデオユニットを異なる類に分ける。
【0038】
一実施例において、ブロック分類モードに基づいて画素分類を行うことは、
第１再構成ビデオユニットの画素ブロックを取得するステップ１２１０と、
各画素ブロックのラプラス勾配を計算し、ラプラス勾配に基づいて指向性因子及び移動性因子を計算するステップ１２２０と、
指向性因子及び／又は移動性因子に応じて画素ブロックの類別を決定し、再構成ビデオユニットにおける全ての画素点の類別を決定するステップ１２３０と、を含む。
第１再構成ビデオユニットの画素ブロックを取得するステップ１２１０と、
各画素ブロックのラプラス勾配を計算し、ラプラス勾配に基づいて指向性因子及び移動性因子を計算するステップ１２２０と、
指向性因子及び／又は移動性因子に応じて画素ブロックの類別を決定し、再構成ビデオユニットにおける全ての画素点の類別を決定するステップ１２３０と、を含む。
【0039】
【数3】
【0040】
【数4】
【0041】
なお、画素の類別が多すぎる場合、ビデオ符号化ループフィルタリングのビットストリームの伝送オーバヘッドの増加に繋がる可能性があり、且つ一部の類別については、強度調節操作は、性能利得をもたらすどころか符号化性能の悪化に繋がる可能性もあり、そのため、本願の実施例は、類別に基づくいくつかの競争策決定メカニズム及び強度調節開閉制御方策をさらに提案する。
【0042】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するステップ１４０１と、
各類別の画素点に対応する損失に応じて、一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うステップ１４０３と、を含む。
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するステップ１４０１と、
各類別の画素点に対応する損失に応じて、一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うステップ１４０３と、を含む。
【0043】
本実施例において、複数の類別については、強度調節後の画素と元の画素との間の歪み具合、即ち損失（Ｃｏｓｔ）に応じて、どんな類別の画素点に対して強度調節を行うかをさらに決定することができる。第１再構成ビデオユニットに対して画素分類を行い各類別の強度因子を決定する上、各強度因子を利用して相応類別の画素点に対して強度調節を行って、各類別の画素点に対応する損失を計算する場合、損失が小さい類別を選出して強度調節を実施することができるが、損失が大きい類別に対しては強度調節を実施しなくてもよい。例えば、損失が閾値よりも高い類別に対しては、対応する強度因子を採用して相応類別の画素点に対して強度調節を行い、又例えば、各類別の損失を昇順に並べ替え、損失が最も小さい５つの類別に対して、対応する強度因子を採用して相応類別の画素点に対して強度調節を行うことで、強度調節の柔軟性及び画像品質を高める。
【0044】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算するステップ１４１１と、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算するステップ１４１３と、
第１損失と第２損失に応じて、単一の強度因子を利用して第１再構成ビデオユニットに対して強度調節を行い、又は類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うステップ１４１５と、を含む。
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算するステップ１４１１と、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算するステップ１４１３と、
第１損失と第２損失に応じて、単一の強度因子を利用して第１再構成ビデオユニットに対して強度調節を行い、又は類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うステップ１４１５と、を含む。
【0045】
本実施例において、単一の強度因子を採用して各類別に対して強度調節を行い、又は類別ごとの対応する強度因子を採用して相応類別の画素点に対して強度調節を行うかを選択することができる。例えば、第１再構成ビデオユニットに対して１つの強度因子を決定し、該強度因子を利用して第１再構成ビデオユニットに対して強度調節を行った後の画像と元の画像との間の第１損失を計算し、その後、第１再構成ビデオユニットに対して画素分類を行い各類別の強度因子を決定する上、各強度因子を利用して相応類別の画素点に対して強度調節を行ってから、第１再構成ビデオユニットの調節後の画像と元の画像との間の第２損失を計算し、第１損失と第２損失を引き比べ、損失が小さい強度調節方式に従って強度調節を実施することで、強度調節の柔軟性及び画像品質を高めることができる。
【0046】
一実施例において、単一の強度因子は、統計情報に基づいて設定された値であり、又は、単一の強度因子は、前記第１再構成ビデオユニットにおける各画素点をフィッティングして得られた直線の傾きに応じて決定される。
【0047】
本実施例において、単一の強度因子は、第１再構成ビデオユニットに対して計算して得られてもよく、例えば、第１再構成ビデオユニットにおける全ての画素点を同一の座標図内に置き、全ての画素点に応じてフィッティングして１本の直線を得、該直線の傾きを単一の強度因子とし、単一の強度因子は、プリセットされた強度因子であってもよく、例えば統計情報に基づいて１つの適切な強度因子を設定する。
【0048】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するステップ１４２１と、
対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合するステップ１４２２と、
各融合される類別に対応する強度因子を決定するステップ１４２３と、
各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算するステップ１４２４と、
第２損失と第３損失に応じて、類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うステップ１４２５と、を含む。
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するステップ１４２１と、
対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合するステップ１４２２と、
各融合される類別に対応する強度因子を決定するステップ１４２３と、
各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算するステップ１４２４と、
第２損失と第３損失に応じて、類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うステップ１４２５と、を含む。
【0049】
本実施例において、類別ごとの対応する強度因子を採用して相応類別の画素点に対して強度調節を行ってもよいし、類別を減少し、計算量を軽減させ、強度調節の効率及び効果を高めるように、各類別に対して融合を行ってもよい。例えば、第１再構成ビデオユニットに対して画素分類を行い各類別の強度因子を決定する上、各強度因子を利用して相応類別の画素点に対して強度調節を行い、第２損失を計算し、また、各類別に対して融合を行い、例えばいくつかの強度因子が近い類別（例えば各強度因子の間の差が指定範囲を超えない）の場合、これらの類別を１つの類別として融合し、その後、各融合される類別の強度因子をそれぞれ計算し（例えば１つの類別として融合される各類別の画素点を同一の座標図に置き、直線フィッティングして傾きを計算することにより該融合される類別の強度因子を得る）、各融合される類別に対応する強度因子を利用して相応の融合される類別の画素点に対して強度調節を行った後の第３損失を計算し、第２損失と第３損失を引き比べ、損失が小さい強度調節方式に従って強度調節を実施することで、強度調節の柔軟性及び画像品質を高めることができる。
【0050】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するステップ１４３１と、
各類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して類別ごとの対応する強度調節の開閉状態をそれぞれ標識するステップ１４３２と、
各強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うステップ１４３３と、を含む。
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するステップ１４３１と、
各類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して類別ごとの対応する強度調節の開閉状態をそれぞれ標識するステップ１４３２と、
各強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うステップ１４３３と、を含む。
【0051】
本実施例において、各類別に強度調節開閉標識子（Ｆｌａｇ）を設定することにより、各類別の強度調節開閉を制御し、所望の類別に対して強度調節を行う目的を達成することができる。
【0052】
複数の類別については、強度調節後の画素と元の画素との間の歪み具合、即ち損失（Ｃｏｓｔ）に応じて、どんな類別の強度調節をオンにするか、どんな類別の強度調節をオフにするかをさらに決定することができる。第１再構成ビデオユニットに対して画素分類を行い各類別の強度因子を決定する上、各強度因子を利用して相応類別の画素点に対して強度調節を行って、各類別の画素点に対応する損失を計算するが、１つの類別の画素点は強度調節後に性能の利得があるどころか悪化する場合、該類別を強度調節開閉標識子が０であるように設定することができ、この類に対して強度調節を行わないことを表し、逆に、該類別を強度調節開閉標識子が１であるように設定することができ、この類に対して強度調節を行うことを表す。その上で、強度調節開閉標識子に応じて、強度調節がオンになる類別に対して、対応する強度因子を採用して強度調節を行うことで、強度調節の柔軟性及び画像品質を高めることができる。
【0053】
一実施例において、強度因子に応じて第１再構成ビデオユニットに対して強度調節を行うことは、
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算するステップ１４４１と、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するステップ１４４３と、
第１損失と第２損失に応じて、強度調節開閉標識子を利用して単一の強度因子に対応する強度調節の開閉状態、及び類別ごとの対応する強度調節の開閉状態をそれぞれ標識するステップ１４４５と、
各強度調節開閉標識子に応じて、単一の強度因子を利用して各類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うステップ１４４７と、を含む。
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算するステップ１４４１と、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するステップ１４４３と、
第１損失と第２損失に応じて、強度調節開閉標識子を利用して単一の強度因子に対応する強度調節の開閉状態、及び類別ごとの対応する強度調節の開閉状態をそれぞれ標識するステップ１４４５と、
各強度調節開閉標識子に応じて、単一の強度因子を利用して各類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うステップ１４４７と、を含む。
【0054】
本実施例において、各類別に強度調節開閉標識子（Ｆｌａｇ）を設定し、単一の強度因子に強度調節開閉標識子を設定することにより、強度調節の方式を制御することができ、且つ各類別に対してそれぞれ強度調節を行う場合、各類別の強度調節のオン又はオフをさらに制御することができる。
【0055】
例えば、第１再構成ビデオユニットに対して１つの単一の強度因子を決定し、そして画素分類の結果に応じて、各類別の強度因子を決定し、例えばＡＬＦにおける移動性因子Ａに従って第１再構成ビデオユニットをＮ類に分けることができ、Ｎ個の強度因子に対応することになり、単一の強度因子も加えられると、合計でＮ＋１個の強度因子があり、単一の強度因子を利用して第１再構成ビデオユニットに対して強度調節を行い、第１損失を計算し、上述したＮ個の強度因子を利用して相応類別の画素点に対してそれぞれ強度調節を行い、第１再構成ビデオユニットに対して調節した後の、元の画像と比べた第２損失を計算し、第１損失と第２損失を引き比べ、損失が小さい強度調節方式に対して、その強度調節開閉標識子を１に設定し、強度調節をオンにすることを表し、損失が大きい強度調節方式に対して、その強度調節開閉標識子を０に設定し、強度調節をオフにすることを表す。そのうち、Ｎ個の強度因子を利用して相応類別の画素点に対してそれぞれ強度調節を行うときに、さらに各類別の画素点の強度調節後の性能利得の有無に応じて、各類別に強度調節開閉標識子をそれぞれ設定することができる。
【0056】
本実施例のループフィルタリング方法は、類別に基づく競争策決定メカニズム（例えば各類別の間の強度調節の競争策決定、単一強度因子と多強度因子の強度調節の競争策決定、各類別の強度調節と融合類別の強度調節の競争策決定）及び強度調節開閉制御方策を提案し、強度調節の柔軟性が高められ、強度調節の損失が軽減され、再構成ビデオユニットの損失が減少され、再構成の画像品質が保証され、ループフィルタリング性能が高められる。
【0057】
本願の実施例において、符号化側に応用可能なビデオ符号化方法をさらに提案する。該ビデオ符号化方法は、ハイブリッド符号化フレームワーク、例えば国際電気通信連合電気通信標準支部ＩＴＵ－Ｔ及び国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ、ＩＳＯ）／国際電気標準会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ、ＩＥＣ）合同ビデオプロジェクトにより開発された新世代のビデオ符号化標準Ｈ．２６６／ＶＶＣ符号化フレームワークに基づいて実現可能であり、フレーム内予測、フレーム間予測、変換、量子化、ループフィルタリング及びエントロピー符号化等のモジュールを含む。
【0058】
なお、本願の実施例に係る方法は、Ｈ．２６６／ＶＶＣ標準、ビデオ符号化標準（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）（例えばＡＶＳ３）又は次世代のビデオ符号化・復号化標準に応用可能であり、本願の実施例はこれについて限定しない。
【0059】
図４は、一実施例に係る１つのビデオ符号化方法のフロー図である。図４に示すように、本実施例に係る方法は、
ステップ２１０において、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ステップ２２０において、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
ステップ２３０において、前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することと、を含み、
そのうち、第１再構成画像は、第１再構成ビデオユニットを含み、第２再構成画像は、第２再構成ビデオユニットを含み、ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定される。例えば、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることは、主に、
ループフィルタにより処理された第１再構成ビデオユニットを取得するステップ２３０１と、
前記第１再構成ビデオユニットに対して画素分類を行うステップ２３０３と、
類別ごとの対応する強度因子を決定するステップ２３０５と、
各類別の強度因子に応じて第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るステップ２３０７と、を含む。
ステップ２１０において、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ステップ２２０において、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
ステップ２３０において、前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することと、を含み、
そのうち、第１再構成画像は、第１再構成ビデオユニットを含み、第２再構成画像は、第２再構成ビデオユニットを含み、ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定される。例えば、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることは、主に、
ループフィルタにより処理された第１再構成ビデオユニットを取得するステップ２３０１と、
前記第１再構成ビデオユニットに対して画素分類を行うステップ２３０３と、
類別ごとの対応する強度因子を決定するステップ２３０５と、
各類別の強度因子に応じて第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るステップ２３０７と、を含む。
【0060】
【0061】
（１）入力ビデオの現在画像を符号化ユニットに分割し、
（２）分割済みの符号化ユニットを主に画像の空間相関性を除去するためのフレーム内予測モジュール又は主に画像の時間相関性を除去するためのフレーム間予測モジュールに送って予測符号化を行い、
（３）得られた予測値と元のブロックとを減算して残差値を得、その後、残差値に対して変換及び量子化を行って、周波数領域相関性を除去し、データに対して非可逆圧縮を行い、
（４）全ての符号化パラメータ及び残差値に対してエントロピー符号化を行いバイナリストリームを形成して記憶又は伝送し、エントロピー符号化モジュールの出力データは、即ち元のビデオ圧縮後のビットストリームであり、
（５）予測値に逆量子化、逆変換後の残差値を加算してブロック再構成の値を得、再構成画像を形成し、再構成画像は、フィルタリング（例えばＬＭＣＳ、ＤＢＦ、ＳＡＯ、ＡＬＦ及び／又はＮＮ）処理された後に、第１再構成画像を得ることができ、
（６）第１再構成画像は、ループフィルタによりＭＳＦフィルタリングを行い、第２再構成画像を得、参照画像として画像キャッシュに保存する。
（２）分割済みの符号化ユニットを主に画像の空間相関性を除去するためのフレーム内予測モジュール又は主に画像の時間相関性を除去するためのフレーム間予測モジュールに送って予測符号化を行い、
（３）得られた予測値と元のブロックとを減算して残差値を得、その後、残差値に対して変換及び量子化を行って、周波数領域相関性を除去し、データに対して非可逆圧縮を行い、
（４）全ての符号化パラメータ及び残差値に対してエントロピー符号化を行いバイナリストリームを形成して記憶又は伝送し、エントロピー符号化モジュールの出力データは、即ち元のビデオ圧縮後のビットストリームであり、
（５）予測値に逆量子化、逆変換後の残差値を加算してブロック再構成の値を得、再構成画像を形成し、再構成画像は、フィルタリング（例えばＬＭＣＳ、ＤＢＦ、ＳＡＯ、ＡＬＦ及び／又はＮＮ）処理された後に、第１再構成画像を得ることができ、
（６）第１再構成画像は、ループフィルタによりＭＳＦフィルタリングを行い、第２再構成画像を得、参照画像として画像キャッシュに保存する。
【0062】
（７）第２再構成画像を利用してビデオ符号化を行い、符号化ビデオシーケンスを得、符号化過程において、上述したフィルタリング処理に基づき、ビットストリームにおいてループフィルタリング方法のループフィルタリング制御情報を標識する。
【0063】
実施例において、再構成画像と元の画像との間の歪みを減少するために、ループフィルタリング過程においてＮＮフィルタ及びＭＳＦフィルタリングが導入され、それらは、新たに加えられたステップ又はモジュールとして追加されてもよいし、本来のフィルタリング過程におけるＤＢＦ及びＳＡＯの代わりとなってもよく、このようにして伝送オーバヘッドを節約できるだけでなく、画像品質を高めることもできる。
【0064】
ＮＮフィルタは、深層学習に基づくことでデータを分析し、歪み画像から元の画像へのマッピングを確立することで、画像品質の向上を完成させる。本実施例は、ループフィルタリング過程において画素分類を行い各類別に強度因子を導入し、且つ類別に基づく競争策決定メカニズム及び強度調節開閉制御方策を利用して、柔軟な強度調節を行うことができる。
【0065】
図６は、一実施例に係る１つのビデオ符号化過程の模式図である。本実施例において、ＮＮフィルタリングされた第１再構成画像に対して、ＭＳＦをビデオ符号化のハイブリッド符号化フレームワークに応用する。図６に示すように、ＭＳＦは、画素分類と多強度因子に基づく強度調節の２つの部分を含む。ビデオ符号化過程において様々なフィルタリングをサポートし、例えば、ＬＭＣＳを採用して再構成画像を取得してもよく、再構成画像に対してＮＮフィルタリングを行い第１再構成画像を得、その後、第１再構成画像に基づいて画素分類を行い（例えば、ＡＬＦのブロック分類モードでは、勾配並びに指向性因子及び／又は移動性因子を計算することにより、画素ブロックが所属する類別を決定する）、各類別の強度因子に応じて強度調節を行い（この過程では競争策決定メカニズム及び強度調節開閉制御方策を使用してもよい）、第２再構成画像を得る。
【0066】
本実施例のビデオ符号化方法は、再構成画像に対してループフィルタリング及び多強度因子に基づく強度調節を行い、ビデオ符号化に高品質の再構成画像が提供され、符号化ビデオの品質が高められる。また、ビットストリームにおいてループフィルタリング方法のループフィルタリング制御情報を標識することにより、ループフィルタリング方法を使用して復号化を行うための根拠を提供している。
【0067】
一実施例において、第２再構成画像を得ることの後に、
前記第２再構成画像に対してブロック分類を行うステップ２３１０と、
前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリング（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）を行うステップ２３１３と、をさらに含む。
前記第２再構成画像に対してブロック分類を行うステップ２３１０と、
前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリング（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）を行うステップ２３１３と、をさらに含む。
【0068】
図７は、一実施例に係る１つのビデオ符号化過程の模式図である。本実施例は、ＭＳＦをビデオ符号化のハイブリッド符号化フレームワークに応用する。図７に示すように、ＭＳＦは、画素分類と多強度因子に基づく強度調節の２つの部分を含む。ビデオ符号化過程において様々なフィルタリングをサポートし、図７では、ＮＮフィルタリング、ＡＬＦフィルタリングを例に説明し、第１再構成画像における第１再構成画像に対してＭＳＦフィルタリングを行うことの前に、第１再構成画像に対してＮＮフィルタリングを行うことをさらに含み、第２再構成画像を得た後に、フィルタリング性能及び画像品質をさらに高めるように、第２再構成画像に対してＡＬＦフィルタリングを行ってもよい。そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよい。
【0069】
図８は、一実施例に係る１つのＡＬＦフィルタリングの模式図である。図８に示すように、ＡＬＦフィルタリングの過程は、主に、
（１）ブロック分類し、例えば、第２再構成画像を４×４大きさの画素ブロック（又は輝度ブロック）に分割することと、
（２）フィルタテンプレートを取得し、（１）における分類結果に対して、各類別毎に１組のフィルタリング係数が対応し、４つのフィルタリングテンプレート、例えば変換なし、対角線変換、垂直反転、回転変換が対応し、そして各４×４の画素ブロック毎にフィルタリング係数調整方式を決定することと、
（３）各４×４の輝度ブロックに１つの７×７のフィルタリングテンプレートを決定し（変換方式を含む）、その後４×４の画素ブロックにおける各画素に対してフィルタリング処理を行い、最終的に再構成の画像を出力することと、を含む。
（１）ブロック分類し、例えば、第２再構成画像を４×４大きさの画素ブロック（又は輝度ブロック）に分割することと、
（２）フィルタテンプレートを取得し、（１）における分類結果に対して、各類別毎に１組のフィルタリング係数が対応し、４つのフィルタリングテンプレート、例えば変換なし、対角線変換、垂直反転、回転変換が対応し、そして各４×４の画素ブロック毎にフィルタリング係数調整方式を決定することと、
（３）各４×４の輝度ブロックに１つの７×７のフィルタリングテンプレートを決定し（変換方式を含む）、その後４×４の画素ブロックにおける各画素に対してフィルタリング処理を行い、最終的に再構成の画像を出力することと、を含む。
【0070】
一実施例において、第２再構成画像を得ることの後に、
画素分類の分類結果に従って、第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２３２０をさらに含む。
画素分類の分類結果に従って、第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２３２０をさらに含む。
【0071】
図９は、一実施例に係る他の１つのビデオ符号化過程の模式図である。図９に示すように、多強度因子の強度調節は、ＡＬＦフィルタリングのブロック分類をもとに行ってもよく、即ち、ＭＳＦにおける画素分類は、ＡＬＦフィルタリングのブロック分類モードを介して実現可能である。ＬＭＣＳフィルタリングされた再構成画像は、まずＮＮフィルタリングを行うことができ、その後、ＡＬＦのブロック分類の分類結果に応じて、まず多強度因子の強度調節を行ってから、フィルタテンプレートを選択することにより、最適なフィルタ使用方案を決定し、自己適応フィルタリングを行うことができる。その上で、二次分類を必要とせずに、分類結果を十分に利用して強度調節及び自己適応フィルタリングを行い、符号化効率を高め、符号化複雑度を軽減させることができる。
【0072】
一実施例において、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行うことの前に、
第１再構成画像に対してブロック分類を行うステップ２２１０と、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２２１３と、をさらに含む。
第１再構成画像に対してブロック分類を行うステップ２２１０と、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２２１３と、をさらに含む。
【0073】
図１０は、一実施例に係るさらなる１つのビデオ符号化過程の模式図である。ビデオ符号化過程において様々なフィルタリングをサポートし、図１０では、ＮＮフィルタリング、ＡＬＦフィルタリングを例に説明し、第１再構成画像における第１再構成画像に対してＭＳＦフィルタリングを行うことの前に、フィルタリング性能及び画像品質をさらに高めるように、第１再構成画像に対してＮＮフィルタリング及びＡＬＦフィルタリングを行うことをさらに含む。ＭＳＦは、画素分類と多強度因子に基づく強度調節の２つの部分を含み、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよい。本実施例において、多強度因子の強度調節をＡＬＦフィルタリングの後に置くことにより、強度調節で取得された利得がＡＬＦフィルタリングにカバーされることなく、強度調節の有効性が十分に保証され、再構成画像品質が高められる。
【0074】
一実施例において、類別ごとの対応する強度因子を決定することの前に、
画素分類の分類結果に従って、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２３０４をさらに含む。
画素分類の分類結果に従って、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うステップ２３０４をさらに含む。
【0075】
図１１は、一実施例に係る又の１つのビデオ符号化過程の模式図である。図１１に示すように、多強度因子の強度調節は、ＡＬＦフィルタリングのブロック分類をもとに行ってもよく、即ち、ＭＳＦにおける画素分類は、ＡＬＦフィルタリングのブロック分類モードを介して実現可能である。ＬＭＣＳフィルタリングされた再構成画像は、まずＮＮフィルタリングを行うことができ、その後、ＡＬＦのブロック分類の分類結果に応じて、まずフィルタテンプレートを選択し、最適なフィルタ使用方案を決定し、自己適応フィルタリングを行ってから、多強度因子の強度調節を行うことができる。その上で、二次分類を必要とせずに、分類結果を十分に利用して自己適応フィルタリング及び強度調節を行い、符号化効率を高め、符号化複雑度を軽減させることができ、且つ強度調節で取得された利得がＡＬＦフィルタリングにカバーされることなく、強度調節の有効性が十分に保証され、再構成画像品質が高められる。
【0076】
一実施例において、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、
再構成画像に対してＤＢＦフィルタリングを行うステップ２２２０をさらに含み、
第２再構成画像を得ることの後に、
前記第２再構成画像に対してＳＡＯフィルタリングを行うステップ２３３０をさらに含む。
再構成画像に対してＤＢＦフィルタリングを行うステップ２２２０をさらに含み、
第２再構成画像を得ることの後に、
前記第２再構成画像に対してＳＡＯフィルタリングを行うステップ２３３０をさらに含む。
【0077】
図１２は、一実施例に係る又の１つのビデオ符号化過程の模式図である。本実施例において、ＤＢＦ及び／又はＳＡＯ等のループフィルタリングモジュールがオンになるときに、ＭＳＦフィルタリングを追加してもよい。図１２に示すように、ＤＢＦとＳＡＯのいずれもオンになることを例に、ＮＮフィルタリングは、ＤＢＦフィルタリングとＳＡＯフィルタリングとの間にあってもよく、
（１）ＬＭＣＳの再構成画像を得た後に、まずＤＢＦフィルタリングを行い、第１再構成画像を得、
（２）ＮＮフィルタリング操作を行い、ループフィルタにより処理された第１再構成画像を得、
（３）第１再構成画像に対して画素分類と多強度因子の強度調節の２つの部分を含むＭＳＦフィルタリングを行い、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよく、
（４）ＭＳＦフィルタリング後の第２再構成画像に対してＳＡＯフィルタリングを行い、
（５）ＳＡＯフィルタリング後の第２再構成画像に対してＡＬＦフィルタリングを行い、最終的な再構成画像を出力する。
（１）ＬＭＣＳの再構成画像を得た後に、まずＤＢＦフィルタリングを行い、第１再構成画像を得、
（２）ＮＮフィルタリング操作を行い、ループフィルタにより処理された第１再構成画像を得、
（３）第１再構成画像に対して画素分類と多強度因子の強度調節の２つの部分を含むＭＳＦフィルタリングを行い、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよく、
（４）ＭＳＦフィルタリング後の第２再構成画像に対してＳＡＯフィルタリングを行い、
（５）ＳＡＯフィルタリング後の第２再構成画像に対してＡＬＦフィルタリングを行い、最終的な再構成画像を出力する。
【0078】
一実施例において、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、
再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うステップ２２３０をさらに含む。
再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うステップ２２３０をさらに含む。
【0079】
図１３は、一実施例に係る又の１つのビデオ符号化過程の模式図である。本実施例において、ループフィルタは、関連技術におけるフィルタリングモデル、例えばＤＢＦ及び／又はＳＡＯを採用し、ＮＮフィルタを採用しなくてもよい。図１３に示すように、ＤＢＦとＳＡＯのいずれもオンになることを例に、
（１）ＬＭＣＳの再構成画像を得た後に、まずＤＢＦ及びＳＡＯフィルタリングを行い、ループフィルタにより処理された第１再構成画像を得、
（２）第１再構成画像に対して画素分類と多強度因子の強度調節の２つの部分を含むＭＳＦフィルタリングを行い、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよく、
（３）ＭＳＦフィルタリング後の第２再構成画像に対してＡＬＦフィルタリングを行い、最終的な再構成画像を出力する。
（１）ＬＭＣＳの再構成画像を得た後に、まずＤＢＦ及びＳＡＯフィルタリングを行い、ループフィルタにより処理された第１再構成画像を得、
（２）第１再構成画像に対して画素分類と多強度因子の強度調節の２つの部分を含むＭＳＦフィルタリングを行い、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよく、
（３）ＭＳＦフィルタリング後の第２再構成画像に対してＡＬＦフィルタリングを行い、最終的な再構成画像を出力する。
【0080】
上述実施例のビデオ符号化過程において、ループフィルタリング方法は、他のフィルタリングと結び付けて使用してもよく、フィルタリングの順番は、柔軟に設定してもよく、一次分類のみを行ってもよいし、二次分類を行ってもよく、且つＭＳＦフィルタリングは、異なる分類方式並びに強度因子競争方策及び開閉制御を採用してもよく、ビデオ符号化の参照として高品質の再構成画像が提供され、符号化ビデオの品質が保証される。
【0081】
本願の実施例において、ビデオ復号化方法をさらに提案する。分類に基づく多強度因子調節は、１つのループフィルタリング方法として、ビデオ復号化にも応用可能である。
【0082】
図１４は、一実施例に係る１つのビデオ復号化方法のフロー図であり、図１４に示すように、本実施例に係る方法は、
ステップ３１０において、符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、
ステップ３２０において、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ステップ３３０において、前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、を含む。
ステップ３１０において、符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、
ステップ３２０において、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
ステップ３３０において、前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、を含む。
【0083】
そのうち、第１再構成画像は、第１再構成ビデオユニットを含み、第２再構成画像は、第２再構成ビデオユニットを含み、ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定される。例えば、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることは、主に、
ループフィルタにより処理された第１再構成ビデオユニットを取得するステップ３４０１と、
前記第１再構成ビデオユニットに対して画素分類を行うステップ３４０３と、
類別ごとの対応する強度因子を決定するステップ３４０５と、
各類別の強度因子に応じて第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るステップ３４０７と、を含む。
ループフィルタにより処理された第１再構成ビデオユニットを取得するステップ３４０１と、
前記第１再構成ビデオユニットに対して画素分類を行うステップ３４０３と、
類別ごとの対応する強度因子を決定するステップ３４０５と、
各類別の強度因子に応じて第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るステップ３４０７と、を含む。
【0084】
図１５は、一実施例に係る１つの復号化側フレームワークの模式図である。復号化フレームワークにおいても、フレーム内予測、動き補償、逆変換、逆量子化及びコンテキストベースの自己適応バイナリ算術符号化（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等のモジュール又はステップが含まれ、そのうち、強度調節のタイプ、画素分類の方式、強度因子等の内容は、ビットストリームの高レベルシンタックスを解析することにより取得することができる。図１５に示すように、復号化側の全体のフレームワークフローは、以下の通りである。
【0085】
（１）符号化ビデオシーケンスのビットストリームに対してヘッダ情報復号化、及びコンテキストベースの自己適応バイナリ算術符号化に対する復号化（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）を行い、ループフィルタリング方法に関連するループフィルタリング制御情報を取得し、
（２）符号化ビデオシーケンスのビットストリームに対して復号化を行い、予測値及び残差値を取得し、残差値に対して逆変換逆量子化を行い、予測値に逆量子化、逆変換された後の残差値を加算しブロック再構成の値を得、再構成画像を形成し、また、フレーム内予測又はフレーム間予測により、画像の空間相関性又は時間相関性を除去することができ、
（３）再構成画像に対してＬＭＳ、ＤＢＦ、ＳＡＯ及び／又はＡＬＦ等のフィルタリング処理を行った後に、第１再構成画像を得、
（４）ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行い、第１再構成画像をループフィルタのフィルタリング処理した後、第２再構成画像を得、参照として画像キャッシュに保存し、
（５）第２再構成画像を利用して復号化ビデオデータを得る。
（２）符号化ビデオシーケンスのビットストリームに対して復号化を行い、予測値及び残差値を取得し、残差値に対して逆変換逆量子化を行い、予測値に逆量子化、逆変換された後の残差値を加算しブロック再構成の値を得、再構成画像を形成し、また、フレーム内予測又はフレーム間予測により、画像の空間相関性又は時間相関性を除去することができ、
（３）再構成画像に対してＬＭＳ、ＤＢＦ、ＳＡＯ及び／又はＡＬＦ等のフィルタリング処理を行った後に、第１再構成画像を得、
（４）ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行い、第１再構成画像をループフィルタのフィルタリング処理した後、第２再構成画像を得、参照として画像キャッシュに保存し、
（５）第２再構成画像を利用して復号化ビデオデータを得る。
【0086】
本実施例において、再構成画像と元の画像との間の歪みを減少するために、ループフィルタリング過程においてＮＮフィルタが導入され、それは、新たに加えられたステップ又はモジュールとして追加されてもよいし、本来のフィルタリング過程におけるＤＢＦ及びＳＡＯの代わりとなってもよく、このようにして伝送オーバヘッドを節約できるだけでなく、画像品質を高めることもできる。また、ループフィルタリング制御情報は、ビットストリームから読み出して得ることができ、ビデオ復号化に確実な根拠を提供している。
【0087】
なお、本実施例に係るビデオ復号化方法は、分類に基づく多強度因子調節の１つの実現方法に過ぎず、実際の応用では様々な好ましい実施形態がさらに含まれる。
【0088】
本実施例のビデオ復号化方法は、再構成画像に対してループフィルタリング及び多強度因子に基づく強度調節を行い、ビデオ復号化に高品質の再構成画像が提供され、符号化復号化データの品質が高められる。
【0089】
一実施例において、ループフィルタリング制御情報は、
現在画像が所在するビデオシーケンスに対してループフィルタリング方法をオン又はオフにすることを指示するための符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対してループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む。
現在画像が所在するビデオシーケンスに対してループフィルタリング方法をオン又はオフにすることを指示するための符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対してループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む。
【0090】
本実施例において、符号化ビデオシーケンスのビットストリームでは、高レベルシンタックスによりＭＳＦフィルタリングの開閉、画素分類の類別数、強度因子等の情報を含む、ＭＳＦフィルタリングに関連するループフィルタリング制御情報を表すことができ、デコーダは、入力された符号化ビデオシーケンスに対してヘッダ情報復号化を行い、取得されたループフィルタリング制御情報に基づいてＭＳＦフィルタリングを行う。
【0091】
ループフィルタリング制御情報は、シーケンスレベルフィルタリング開閉標識子を含み、シーケンスレベルフィルタリング開閉標識子に応じて現在ビデオシーケンスにループフィルタリングをオンにするか否か（ＭＳＦフィルタリングを実行するか否か）を判断することができ、シーケンスレベルフィルタリング開閉標識子は、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍａｔｅｒ Ｓｅｔ、ＳＰＳ）で表すことができる。
【0092】
表１には、シーケンスレベルフィルタリング開閉標識子のシンタックス要素が示されている。
【0093】
【表1】
【0094】
表１におけるシンタックス要素のセマンティックは、以下の通りである。
が１に等しい場合は、現在ビデオシーケンスにループフィルタリングをオンにする（ＭＳＦをオンにする）ことを表し、０に等しい場合は、現在ビデオシーケンスにループフィルタリングをオンにしない（ＭＳＦをオンにする）ことを表す。
が１に等しい場合は、現在ビデオシーケンスにループフィルタリングをオンにする（ＭＳＦをオンにする）ことを表し、０に等しい場合は、現在ビデオシーケンスにループフィルタリングをオンにしない（ＭＳＦをオンにする）ことを表す。
【0095】
ループフィルタリング制御情報は、フィルタリング画像レベル標識子を含み、フィルタリング画像レベル標識子に応じてＭＳＦフィルタリングレベル、即ちループフィルタリング制御情報が応用されるビデオユニットを判断することができ、再構成の画像に応用され又は再構成の画像の１つ又は複数のスライス（ｓｌｉｃｅ）に応用されてもよく、フィルタリング画像レベル標識子は、画像パラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍａｔｅｒ Ｓｅｔ、ＰＰＳ）で表される。
【0096】
表２には、フィルタリング画像レベル標識子のシンタックス要素が示されている。
【0097】
【表2】
【0098】
【数5】
【0099】
【数6】
【0100】
表３には、画像ヘッダ情報のシンタックス要素が示されている。
【0101】
【表3】
【0102】
【数7】
【0103】
【数8】
【0104】
表４には、スライスヘッダ情報のシンタックス要素が示されている。
【0105】
【表4】
【0106】
一実施例において、ビデオユニットは、ビデオにおける画像又はビデオスライスを含む。
【0107】
一実施例において、ループフィルタ構造情報は、
ビデオユニットにループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
ビデオユニットにおける各類別にループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット各類別フィルタリング開閉標識子と、
ビデオユニット又はビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
そのうち、ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含む。
ビデオユニットにループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
ビデオユニットにおける各類別にループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット各類別フィルタリング開閉標識子と、
ビデオユニット又はビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
そのうち、ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含む。
【0108】
本実施例において、ループフィルタ構造情報に基づいて現在画像又はスライスのループフィルタリング（又はＭＳＦフィルタリング）開閉、類別数、各類別の強度因子等を取得し、これらの情報に基づいて各類別に対して強度調節を行うことができる。
【0109】
表５には、ループフィルタ構造情報に基づいて単一類別に対して強度調節を実施するシンタックス要素が示されている。
【0110】
【表5】
【0111】
表５におけるシンタックス要素のセマンティックは、以下の通りである。
【0112】
【数9】
【0113】
表６には、ループフィルタ構造情報に基づいて複数の類別に対して強度調節を実施するシンタックス要素が示されている。
【0114】
【表6】
【0115】
表６におけるシンタックス要素のセマンティックは、以下の通りである。
【0116】
【数10】
【0117】
【数11】
【0118】
【数12】
【0119】
表７には、ループフィルタ構造情報に基づいて複数の類別の輝度成分及び色度成分に対してそれぞれ強度調節を実施するシンタックス要素が示されている。
【0120】
【表7】
【0121】
表７におけるシンタックス要素のセマンティックは、以下の通りである。
【0122】
【数13】
【0123】
【数14】
【0124】
【数15】
【0125】
【数16】
【0126】
【数17】
【0127】
【数18】
【0128】
【数19】
【0129】
【数20】
【0130】
表８には、ループフィルタ構造情報に基づいて一部の類別の輝度成分及び色度成分に対してそれぞれ強度調節を実施するシンタックス要素が示されている。
【0131】
【表8】
【0132】
【数21】
【0133】
【数22】
【0134】
【数23】
【0135】
【数24】
【0136】
【数25】
【0137】
【数26】
【0138】
【数27】
【0139】
【数28】
【0140】
【数29】
【0141】
【数30】
【0142】
一実施例において、ループフィルタリング制御情報に基づき、ループフィルタリング方法によってループフィルタリングが応用されるビデオユニットに対してフィルタリングを行うことは、
ビデオユニットフィルタリング開閉標識子に応じてループフィルタリング方法がオンになるビデオユニットを識別するステップ３４１０と、
ビデオユニット成分開閉標識子及びビデオユニット各類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及びビデオユニットではループフィルタリング方法がオンになる類別を識別するステップ３４１３と、
ビデオユニット強度因子に応じて、ループフィルタリング方法によってループフィルタリング方法がオンになる類別のビデオユニット成分に対して強度調節を実施するステップ３４１５と、を含む。
ビデオユニットフィルタリング開閉標識子に応じてループフィルタリング方法がオンになるビデオユニットを識別するステップ３４１０と、
ビデオユニット成分開閉標識子及びビデオユニット各類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及びビデオユニットではループフィルタリング方法がオンになる類別を識別するステップ３４１３と、
ビデオユニット強度因子に応じて、ループフィルタリング方法によってループフィルタリング方法がオンになる類別のビデオユニット成分に対して強度調節を実施するステップ３４１５と、を含む。
【0143】
本実施例において、ループフィルタリング制御情報に基づいて、ループフィルタリング方法がオンになるビデオユニットに対して、ＭＳＦフィルタリングによってループフィルタリング方法がオンになる類別の画素点の、ループフィルタリングが応用されるビデオユニット成分（例えば輝度成分、Ｃｒ及び／又はＣｂ）に対して強度調節を行うことができる。
【0144】
一実施例において、第２再構成画像を得ることの後に、
画素分類の分類結果に従って、第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うステップ３４２０をさらに含む。
画素分類の分類結果に従って、第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うステップ３４２０をさらに含む。
【0145】
本実施例において、ＬＭＣＳフィルタリングされた再構成画像は、まずＮＮフィルタリングを行うことができ、その後、画素分類（ＡＬＦのブロック分類モードを参照してもよい）の分類結果に応じて、まず多強度因子の強度調節を行ってから、フィルタテンプレートを選択することにより、最適なフィルタ使用方案を決定し、自己適応フィルタリングを行うことができ、図９を参照してもよい。その上で、二次分類を必要とせずに、分類結果を十分に利用して強度調節及び自己適応フィルタリングを行い、符号化効率を高め、符号化複雑度を軽減させることができる。
【0146】
一実施例において、ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行うことの前に、
第１再構成ビデオユニットに対してブロック分類を行うステップ３３１０と、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うステップ３３１３と、をさらに含む。
第１再構成ビデオユニットに対してブロック分類を行うステップ３３１０と、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うステップ３３１３と、をさらに含む。
【0147】
本実施例において、第１再構成画像における第１再構成画像に対してＭＳＦフィルタリングを行う前に、フィルタリング性能及び画像品質をさらに高めるように、第１再構成画像に対してＮＮフィルタリング及びＡＬＦフィルタリングを行ってもよく、図１０を参照してもよい。ＭＳＦは、画素分類と多強度因子に基づく強度調節の２つの部分を含み、そのうち、画素分類は、ＡＬＦのブロック分類モードを参照してもよい。本実施例において、多強度因子の強度調節をＡＬＦフィルタリングの後に置くことにより、強度調節で取得された利得がＡＬＦフィルタリングにカバーされることなく、強度調節の有効性が十分に保証され、再構成画像品質が高められる。
【0148】
一実施例において、類別ごとの対応する強度因子を決定することの前に、
画素分類の分類結果に従って、ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うステップ３４０４をさらに含む。
画素分類の分類結果に従って、ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うステップ３４０４をさらに含む。
【0149】
本実施例において、ＬＭＣＳフィルタリングされた再構成画像は、まずＮＮフィルタリングを行うことができ、その後、画素分類（ＡＬＦのブロック分類モードを参照してもよい）の分類結果に応じて、まずフィルタテンプレートを選択し、最適なフィルタ使用方案を決定し、自己適応フィルタリングを行ってから、多強度因子の強度調節を行うことができ、図１１を参照してもよい。その上で、二次分類を必要とせずに、分類結果を十分に利用して強度調節及び自己適応フィルタリングを行うことができ、且つ強度調節の利得の有効性を保証することができる。
【0150】
一実施例において、ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることの前に、
再構成画像に対してＤＢＦフィルタリングを行うステップ３３２０をさらに含み、
第２再構成画像を得ることの後に、
復号化後の再構成画像に対してＳＡＯフィルタリングを行うステップ３４３０をさらに含む。
再構成画像に対してＤＢＦフィルタリングを行うステップ３３２０をさらに含み、
第２再構成画像を得ることの後に、
復号化後の再構成画像に対してＳＡＯフィルタリングを行うステップ３４３０をさらに含む。
【0151】
本実施例において、ＤＢＦ及び／又はＳＡＯ等のループフィルタリングモジュールがオンになるときに、ＭＳＦフィルタリングを追加してもよく、ループフィルタリング過程は、図１２を参照してもよい。
【0152】
一実施例において、ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行うことの前に、
再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うステップ３３３０をさらに含む。
再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うステップ３３３０をさらに含む。
【0153】
本実施例において、ループフィルタは、関連技術におけるフィルタを採用し、ＮＮフィルタを採用しなくてもよく、ループフィルタリング過程は、図１３を参照してもよい。
【0154】
上述実施例のビデオ復号化過程において、ループフィルタリング方法は、他のフィルタリングと結び付けて使用されてもよく、フィルタリングの順番は、柔軟に設定されてもよく、一次分類のみを行ってもよいし、二次分類を行ってもよく、且つＭＳＦフィルタリングは、異なる分類方式並びに強度因子競争方策及び開閉制御を採用してもよく、ビデオ復号化の参照として高品質の再構成画像が提供され、復号化ビデオデータの品質が保証される。
【0155】
本願の実施例は、ループフィルタリング装置をさらに提案する。図１６は、一実施例に係る１つのループフィルタリング装置の構造模式図である。図１６に示すように、前記ループフィルタリング装置は、
ループフィルタにより処理された第１再構成ビデオユニットを取得するように構成されるビデオユニット取得モジュール４１０と、
前記第１再構成ビデオユニットに対して画素分類を行うように構成される分類モジュール４２０と、
類別ごとの対応する強度因子を決定するように構成される決定モジュール４３０と、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るように構成される調節モジュール４４０と、を備える。
ループフィルタにより処理された第１再構成ビデオユニットを取得するように構成されるビデオユニット取得モジュール４１０と、
前記第１再構成ビデオユニットに対して画素分類を行うように構成される分類モジュール４２０と、
類別ごとの対応する強度因子を決定するように構成される決定モジュール４３０と、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得るように構成される調節モジュール４４０と、を備える。
【0156】
本実施例のループフィルタリング装置は、類別に従って第１再構成ビデオユニットに対して強度調節を行った後に第２再構成ビデオユニットを得ることにより、第２再構成ビデオユニットにおける再構成の値と元の値との間の偏差がより小さくなり、より少ない歪みを有し、画像品質がより高くなり、より優れるフィルタリング効果を有する。
【0157】
一実施例において、ループフィルタは、ニューラルネットワークに基づくループフィルタを含む。
【0158】
一実施例において、再構成ビデオユニットは、再構成処理された画像、又はスライス、又は符号化ブロック、又は符号化ツリーブロックを含む。
【0159】
一実施例において、調節モジュール４４０は、
強度因子に応じて第１再構成ビデオユニットの輝度成分に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第１色度成分に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第２色度成分に対して強度調節を行うことと、の少なくともいずれかのように構成される。
強度因子に応じて第１再構成ビデオユニットの輝度成分に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第１色度成分に対して強度調節を行うことと、
強度因子に応じて第１再構成ビデオユニットの第２色度成分に対して強度調節を行うことと、の少なくともいずれかのように構成される。
【0160】
一実施例において、決定モジュール４３０は、
同一類別の画素点を同一の座標図に統合し、各画素点の横座標が該画素点のループフィルタを通過した出力であり、縦座標が該画素点のループフィルタを通過する前の入力であるように構成される統合ユニットと、
最小二乗法に基づき、座標図における画素点に対してフィッティングを行って直線を得、直線の傾きを相応類別に対応する強度因子とするように構成されるフィッティングユニットと、を備える。
同一類別の画素点を同一の座標図に統合し、各画素点の横座標が該画素点のループフィルタを通過した出力であり、縦座標が該画素点のループフィルタを通過する前の入力であるように構成される統合ユニットと、
最小二乗法に基づき、座標図における画素点に対してフィッティングを行って直線を得、直線の傾きを相応類別に対応する強度因子とするように構成されるフィッティングユニットと、を備える。
【0161】
一実施例において、決定モジュール４３０は、ループフィルタリング方法に関連するループフィルタリング制御情報を読み出すことにより、類別ごとの対応する強度因子を決定するように構成される。
【0162】
一実施例において、調節モジュール４４０は、各類別における各画素点に対して、該画素点のループフィルタを通過した後の出力と該画素点のループフィルタを通過する前の入力との差値に、該類別に対応する強度因子を乗算し、乗算の結果に該画素点のループフィルタを通過する前の入力を加算し、該画素点の調節後の画素値を得るように構成される。
【0163】
一実施例において、画素分類の方式は、
輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタの類別に基づいて画素分類を行うことと、
ＤＢＦに使用される分類モードに基づいて画素分類を行うことと、
ＳＡＯフィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含む。
輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタの類別に基づいて画素分類を行うことと、
ＤＢＦに使用される分類モードに基づいて画素分類を行うことと、
ＳＡＯフィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含む。
【0164】
一実施例において、ブロック分類モードに基づいて画素分類を行うことは、
第１再構成ビデオユニットの画素ブロックを取得することと、
各画素ブロックのラプラス勾配を計算し、ラプラス勾配に基づいて指向性因子及び移動性因子を計算することと、
指向性因子及び／又は移動性因子に応じて画素ブロックの類別を決定し、再構成ビデオユニットにおける全ての画素点の類別を決定することと、を含む。
第１再構成ビデオユニットの画素ブロックを取得することと、
各画素ブロックのラプラス勾配を計算し、ラプラス勾配に基づいて指向性因子及び移動性因子を計算することと、
指向性因子及び／又は移動性因子に応じて画素ブロックの類別を決定し、再構成ビデオユニットにおける全ての画素点の類別を決定することと、を含む。
【0165】
一実施例において、調節モジュール４４０は、
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するように構成される第１計算ユニットと、
各類別の画素点に対応する損失に応じて、一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うように構成される第１調節ユニットと、を備える。
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するように構成される第１計算ユニットと、
各類別の画素点に対応する損失に応じて、一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うように構成される第１調節ユニットと、を備える。
【0166】
一実施例において、調節モジュール４４０は、
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算するように構成される第２計算ユニットと、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算するように構成される第３計算ユニットと、
第１損失と第２損失に応じて、単一の強度因子を利用して第１再構成ビデオユニットに対して強度調節を行い、又は類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うように構成される第２調節ユニットと、を備える。
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算するように構成される第２計算ユニットと、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算するように構成される第３計算ユニットと、
第１損失と第２損失に応じて、単一の強度因子を利用して第１再構成ビデオユニットに対して強度調節を行い、又は類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うように構成される第２調節ユニットと、を備える。
【0167】
一実施例において、単一の強度因子は、統計情報に基づいて設定された値であり、又は、単一の強度因子は、第１再構成ビデオユニットにおける各画素点をフィッティングして得られた直線の傾きに応じて決定される。
【0168】
一実施例において、調節モジュール４４０は、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するように構成される第４計算ユニットと、
対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合するように構成される融合ユニットと、
各融合される類別に対応する強度因子を決定するように構成される決定ユニットと、
各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算するように構成される第５計算ユニットと、
第２損失と第３損失に応じて、類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うように構成される第３調節ユニットと、を備える。
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するように構成される第４計算ユニットと、
対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合するように構成される融合ユニットと、
各融合される類別に対応する強度因子を決定するように構成される決定ユニットと、
各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算するように構成される第５計算ユニットと、
第２損失と第３損失に応じて、類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は各融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うように構成される第３調節ユニットと、を備える。
【0169】
一実施例において、調節モジュール４４０は、
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するように構成される第６計算ユニットと、
各類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して類別ごとの対応する強度調節の開閉状態をそれぞれ標識するように構成される第１標識ユニットと、
各強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うように構成される第４調節ユニットと、を備える。
各類別の画素点に対して、該類別に対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算するように構成される第６計算ユニットと、
各類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して類別ごとの対応する強度調節の開閉状態をそれぞれ標識するように構成される第１標識ユニットと、
各強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うように構成される第４調節ユニットと、を備える。
【0170】
一実施例において、調節モジュール４４０は、
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算するように構成される第７計算ユニットと、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するように構成される第８計算ユニットと、
第１損失と第２損失に応じて、強度調節開閉標識子を利用して単一の強度因子に対応する強度調節の開閉状態、及び類別ごとの対応する強度調節の開閉状態をそれぞれ標識するように構成される第２標識ユニットと、
各強度調節開閉標識子に応じて、単一の強度因子を利用して各類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うように構成される第５調節ユニットと、を備える。
単一の強度因子を利用して各類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算するように構成される第７計算ユニットと、
類別ごとの対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算するように構成される第８計算ユニットと、
第１損失と第２損失に応じて、強度調節開閉標識子を利用して単一の強度因子に対応する強度調節の開閉状態、及び類別ごとの対応する強度調節の開閉状態をそれぞれ標識するように構成される第２標識ユニットと、
各強度調節開閉標識子に応じて、単一の強度因子を利用して各類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うように構成される第５調節ユニットと、を備える。
【0171】
本実施例に係るループフィルタリング装置は、上述実施例に係るループフィルタリング方法と同一の発明構想に属し、本実施例で詳しく記述されていない技術詳細は、上述任意の実施例を参照してもよく、且つ本実施例は、ループフィルタリング方法を実行するのと同じ有益な効果を有する。
【0172】
本願の実施例は、ビデオ符号化装置をさらに提案する。図１７は、一実施例に係る１つのビデオ符号化装置の構造模式図である。図１７に示すように、ビデオ符号化装置は、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得るように構成されるフィルタリングモジュール５１０と、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得るように構成されるループフィルタリングモジュール５２０と、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識するように構成される符号化モジュール５３０と、を備え、
そのうち、第１再構成画像は、第１再構成ビデオユニットを含み、第２再構成画像は、第２再構成ビデオユニットを含み、ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定される。
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得るように構成されるフィルタリングモジュール５１０と、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得るように構成されるループフィルタリングモジュール５２０と、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識するように構成される符号化モジュール５３０と、を備え、
そのうち、第１再構成画像は、第１再構成ビデオユニットを含み、第２再構成画像は、第２再構成ビデオユニットを含み、ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定される。
【0173】
本実施例のビデオ符号化装置は、再構成画像に対してループフィルタリング及び多強度因子に基づく強度調節を行い、ビデオ符号化に高品質の再構成画像が提供され、符号化ビデオの品質が高められる。また、ビットストリームにおいてループフィルタリング方法のループフィルタリング制御情報を標識することにより、ループフィルタリングを利用してビデオ復号化を行うための根拠を提供している。
【0174】
一実施例において、該装置は、
第２再構成画像を得た後に、第２再構成画像に対してブロック分類を行うように構成される第１ブロック分類モジュールと、
第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第１ＡＬＦモジュールと、をさらに備える。
第２再構成画像を得た後に、第２再構成画像に対してブロック分類を行うように構成される第１ブロック分類モジュールと、
第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第１ＡＬＦモジュールと、をさらに備える。
【0175】
一実施例において、該装置は、
第２再構成画像を得た後に、画素分類の分類結果に従って、第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第２ＡＬＦモジュールをさらに備える。
第２再構成画像を得た後に、画素分類の分類結果に従って、第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第２ＡＬＦモジュールをさらに備える。
【0176】
一実施例において、該装置は、
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、第１再構成画像に対してブロック分類を行うように構成される第２ブロック分類モジュールと、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第３ＡＬＦモジュールと、をさらに備える。
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、第１再構成画像に対してブロック分類を行うように構成される第２ブロック分類モジュールと、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第３ＡＬＦモジュールと、をさらに備える。
【0177】
一実施例において、該装置は、
類別ごとの対応する強度因子を決定する前に、画素分類の分類結果に従って、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第４ＡＬＦモジュールをさらに備える。
類別ごとの対応する強度因子を決定する前に、画素分類の分類結果に従って、第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うように構成される第４ＡＬＦモジュールをさらに備える。
【0178】
一実施例において、該装置は、
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリングを行うように構成されるＤＢＦモジュールと、
第２再構成画像を得た後に、第２再構成画像に対してＳＡＯフィルタリングを行うように構成されるＳＡＯモジュールと、をさらに備える。
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリングを行うように構成されるＤＢＦモジュールと、
第２再構成画像を得た後に、第２再構成画像に対してＳＡＯフィルタリングを行うように構成されるＳＡＯモジュールと、をさらに備える。
【0179】
一実施例において、該装置は、
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うように構成される二重フィルタリングモジュールをさらに備える。
ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うように構成される二重フィルタリングモジュールをさらに備える。
【0180】
本実施例に係るビデオ符号化装置は、上述実施例に係るビデオ符号化方法と同一の発明構想に属し、本実施例で詳しく記述されていない技術詳細は、上述任意の実施例を参照してもよく、且つ本実施例は、ビデオ符号化方法を実行するのと同じ有益な効果を有する。
【0181】
本願の実施例は、ビデオ復号化装置をさらに提案する。図１８は、一実施例に係る１つのビデオ復号化装置の構造模式図である。図１８に示すように、前記ビデオ復号化装置は、
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得るように構成される情報取得モジュール６１０と、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得るように構成されるフィルタリングモジュール６２０と、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得るように構成されるループフィルタリングモジュール６３０と、を備え、
そのうち、前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述任意の実施例に記載のループフィルタリング方法に応じて決定される。
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得るように構成される情報取得モジュール６１０と、
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得るように構成されるフィルタリングモジュール６２０と、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得るように構成されるループフィルタリングモジュール６３０と、を備え、
そのうち、前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述任意の実施例に記載のループフィルタリング方法に応じて決定される。
【0182】
本実施例のビデオ復号化装置は、再構成画像に対してループフィルタリング及び多強度因子に基づく強度調節を行い、ビデオ復号化に高品質の再構成画像が提供され、復号化ビデオデータの品質が高められる。また、ループフィルタリング制御情報は、ビットストリームから読み出して得ることができ、ビデオ復号化に確実な根拠を提供している。
【0183】
一実施例において、ループフィルタリング制御情報は、
現在画像が所在するビデオシーケンスに対してループフィルタリング方法をオン又はオフにすることを指示するための符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対してループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む。
現在画像が所在するビデオシーケンスに対してループフィルタリング方法をオン又はオフにすることを指示するための符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対してループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む。
【0184】
一実施例において、ビデオユニットは、ビデオにおける画像又はビデオスライスを含む。
【0185】
一実施例において、ループフィルタ構造情報は、
ビデオユニットにループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
ビデオユニットにおける各類別にループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット各類別フィルタリング開閉標識子と、
ビデオユニット又はビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
そのうち、ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含む。
ビデオユニットにループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
ビデオユニットにおける各類別にループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット各類別フィルタリング開閉標識子と、
ビデオユニット又はビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
そのうち、ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含む。
【0186】
一実施例において、ループフィルタリングモジュール６４０は、
ビデオユニットフィルタリング開閉標識子に応じてループフィルタリング方法がオンになるビデオユニットを識別するように構成される第１識別ユニットと、
ビデオユニット成分開閉標識子及びビデオユニット各類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及びビデオユニットではループフィルタリング方法がオンになる類別を識別するように構成される第２識別ユニットと、
ビデオユニット強度因子に応じて、ループフィルタリング方法によってループフィルタリング方法がオンになる類別のビデオユニット成分に対して強度調節を実施するように構成される調節ユニットと、を備える。
ビデオユニットフィルタリング開閉標識子に応じてループフィルタリング方法がオンになるビデオユニットを識別するように構成される第１識別ユニットと、
ビデオユニット成分開閉標識子及びビデオユニット各類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及びビデオユニットではループフィルタリング方法がオンになる類別を識別するように構成される第２識別ユニットと、
ビデオユニット強度因子に応じて、ループフィルタリング方法によってループフィルタリング方法がオンになる類別のビデオユニット成分に対して強度調節を実施するように構成される調節ユニットと、を備える。
【0187】
一実施例において、該装置は、
第２再構成画像を得た後に、画素分類の分類結果に従って、第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うように構成される第５ＡＬＦモジュールをさらに備える。
第２再構成画像を得た後に、画素分類の分類結果に従って、第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うように構成される第５ＡＬＦモジュールをさらに備える。
【0188】
一実施例において、該装置は、
ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、第１再構成ビデオユニットに対してブロック分類を行うように構成される第２ブロック分類モジュールと、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うように構成される第６ＡＬＦモジュールと、をさらに備える。
ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、第１再構成ビデオユニットに対してブロック分類を行うように構成される第２ブロック分類モジュールと、
ブロック分類の分類結果に応じて、第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うように構成される第６ＡＬＦモジュールと、をさらに備える。
【0189】
一実施例において、該装置は、
類別ごとの対応する強度因子を決定する前に、画素分類の分類結果に従って、ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うように構成される第７ＡＬＦモジュールをさらに備える。
類別ごとの対応する強度因子を決定する前に、画素分類の分類結果に従って、ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うように構成される第７ＡＬＦモジュールをさらに備える。
【0190】
一実施例において、該装置は、
ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリングを行うように構成されるＤＢＦモジュールと、
第２再構成画像を得た後に、復号化後の再構成画像に対してＳＡＯフィルタリングを行うように構成されるＳＡＯモジュールと、をさらに備える。
ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリングを行うように構成されるＤＢＦモジュールと、
第２再構成画像を得た後に、復号化後の再構成画像に対してＳＡＯフィルタリングを行うように構成されるＳＡＯモジュールと、をさらに備える。
【0191】
一実施例において、該装置は、ループフィルタリング制御情報に基づき、ループフィルタリング方法によって第１再構成画像に対してフィルタリング処理を行う前に、再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うように構成される二重フィルタリングモジュールをさらに備える。
【0192】
本実施例に係るビデオ復号化装置は、上述実施例に係るビデオ復号化方法と同一の発明構想に属し、本実施例で詳しく記述されていない技術詳細は、上述任意の実施例を参照してもよく、且つ本実施例は、ビデオ復号化方法を実行するのと同じ有益な効果を有する。
【0193】
本願の実施例は、電子機器をさらに提案し、該電子機器は、画像処理機器であり、符号化側機器であってもよいし、復号化側機器であってもよい。図１９は、一実施例に係る１つの電子機器のハードウェアの構造模式図であり、図１９に示すように、本願に係る電子機器は、メモリ７２０、プロセッサ７１０及びメモリに記憶されてプロセッサで作動可能なコンピュータプログラムを備え、プロセッサ７１０が前記プログラムを実行すると、上述したループフィルタリング方法、ビデオ符号化方法又はビデオ復号化方法が実現される。
【0194】
電子機器は、メモリ７２０をさらに備えてもよく、該電子機器におけるプロセッサ７１０は、１つ又は複数であってもよく、図１９では１つのプロセッサ７１０を例に、メモリ７２０は、１つ又は複数のプログラムを記憶するために用いられ、前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサ７１０に実行されることにより、前記１つ又は複数のプロセッサ７１０が本願の実施例に記載のループフィルタリング方法、ビデオ符号化方法又はビデオ復号化方法を実現する。
【0195】
電子機器は、通信装置７３０、入力装置７４０及び出力装置７５０をさらに備える。
【0196】
電子機器におけるプロセッサ７１０、メモリ７２０、通信装置７３０、入力装置７４０及び出力装置７５０は、バス又は他の方式により接続可能であり、図１９ではバスにより接続されることを例としている。
【0197】
入力装置７４０は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関するキー信号の入力を生成するために用いられうる。出力装置７５０は、ディスプレイスクリーン等の表示機器を含むことができる。
【0198】
通信装置７３０は、受信機と送信機を含むことができる。通信装置７３０は、プロセッサ７１０の制御に応じて情報の送受信通信を行うように構成される。
【0199】
メモリ７２０は、コンピュータ可読記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば本願の実施例に記載のループフィルタリング方法に対応するプログラム命令／モジュール（例えば、ループフィルタリング装置におけるビデオユニット取得モジュール４１０、分類モジュール４２０、決定モジュール４３０及び調節モジュール４４０）を記憶するように構成可能である。メモリ７２０は、プログラム記憶エリアとデータ記憶エリアを含むことができ、そのうち、プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶可能であり、データ記憶エリアは、電子機器の使用に応じて作成されたデータ等を記憶可能である。また、メモリ７２０は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリ、例えば少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の不揮発性固体メモリデバイスを含んでもよい。いくつかの実例において、メモリ７２０は、プロセッサ７１０に対して遠隔に設定されるメモリをさらに含んでもよく、これらの遠隔メモリは、ネットワークにより電子機器に接続されることが可能である。上述ネットワークの実例は、インターネット、イントラネットワーク、ローカルエリアネットワーク、移動通信ネットワーク及びその組合せを含むが、これらに限られない。
【0200】
本願の実施例は、記憶媒体をさらに提案し、前記記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行されると、本願の実施例のいずれかに記載の方法が実現される。該方法としては、ループフィルタにより処理された第１再構成ビデオユニットを取得することと、前記第１再構成ビデオユニットに対して画素分類を行うことと、類別ごとの対応する強度因子を決定することと、前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得ることと、を含むループフィルタリング方法であってもよい。
【0201】
又は、該方法としては、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することと、を含むビデオ符号化方法であって、前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定されるビデオ符号化方法であってもよい。
【0202】
又は、該方法としては、符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、を含むビデオ復号化方法であって、前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、上述任意の実施例のループフィルタリング方法に応じて決定されるビデオ復号化方法であってもよい。
【0203】
本願の実施例のコンピュータ記憶媒体は、１つ又は複数のコンピュータ読み取り可能な媒体の任意の組合せを採用してもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、或いは以上の任意の組合せであってもよいが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）は、１つ又は複数の導線を有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、リードオンリーメモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバ、携帯型ＣＤ－ＲＯＭ、光メモリデバイス、磁気メモリデバイス、又は上述した任意の適切な組合せを含む。コンピュータ可読記憶媒体は、プログラムを備える又は記憶する任意の有形の媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスに使用され又はそれらと結び付けて使用されることが可能である。
【0204】
コンピュータ読み取り可能な信号媒体は、ベースバンドにおいて又は搬送波の一部として伝搬されるデータ信号を含むことができ、その中にコンピュータ読み取り可能なプログラムコードが担持されている。このように伝搬されるデータ信号は、電磁信号、光信号又は上述した任意の適切な組合せを含むがこれらに限られない様々な形式を採用可能である。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、命令実行システム、装置又はデバイスによって使用され又はそれらと結び付けて使用されるプログラムを送信、伝搬又は伝送することができる。
【0205】
コンピュータ可読媒体に含まれるプログラムコードは、無線、電線、光ケーブル、ラジオ波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）等、又は上述した任意の適切な組合せを含むがこれらに限られない任意の適宜な媒体によって伝送されてもよい。
【0206】
本願の操作を実行するためのコンピュータプログラムコードは、１種又は様々なプログラム設計言語又はその組合せで書かれてもよく、前記プログラム設計言語は、オブジェクト指向のプログラム設計言語、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、一般的な手続き型プログラム設計言語、例えば「Ｃ」言語又は類似するプログラム設計言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行されても、部分的にユーザコンピュータで実行されても、１つの独立したソフトウェアパッケージとして実行されても、一部がユーザコンピュータで一部が遠隔コンピュータで実行されても、或いは完全に遠隔コンピュータ又はサーバで実行されてもよい。遠隔コンピュータに関する場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の類別のネットワークにより、ユーザコンピュータに接続することができ、又は、外部コンピュータ（例えばインターネットサービスプロバイダを利用し、インターネットを介して接続する）に接続することができる。
【0207】
以上の記載は、本願の例示的な実施例に過ぎず、本願の保護範囲を限定するためのものではない。
【0208】
当業者であれば、ユーザ端末という用語は、任意の適したタイプの無線ユーザ機器、例えば携帯電話、携帯型データ処理装置、携帯型ネットワークブラウザ又は車載型移動局をカバーしていることを理解すべきである。
【0209】
一般的には、本願の様々な実施例は、ハードウェア又は専用回路、ソフトウェア、ロジック又はそれらの任意の組合せで実現可能である。例えば、いくつかの側面においてはハードウェアで実現可能であるが、他の側面においてはコントローラ、マイクロプロセッサ又は他の計算装置により実行可能なファームウェア又はソフトウェアで実現可能であり、しかし本願はこれらに限られない。
【0210】
本願の実施例は、移動装置のデータプロセッサがコンピュータプログラム命令を実行することによって、例えばプロセッサエンティティにおいて、ハードウェアによって、又はソフトウェアとハードウェアとの組合せによって実現することができる。コンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は様々なプログラミング言語の任意の組合せで書かれたソースコード又はオブジェクトコードであってもよい。
【0211】
本願の図面における任意のロジックフローのブロック図は、プログラムステップを表してもよいし、又は相互接続されるロジック回路、モジュール及び機能を表してもいし、又はプログラムステップとロジック回路、モジュール及び機能の組合せを表してもよい。コンピュータプログラムは、メモリに記憶することができる。メモリは、ローカル技術環境に適した任意のタイプを有してもよく且つ任意の適したデータ記憶技術を利用して実現してもよく、例えばリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、光メモリ装置及びシステム（デジタル多用途光ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）又はコンパクトディスク（Ｃｏｍｐａｃｔ Ｄｉｓｋ、ＣＤ）等であるが、これらに限られない。コンピュータ可読媒体は、非一時的記憶媒体を含むことができる。データプロセッサは、ローカル技術環境に適した任意のタイプであってもよく、例えば汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラマブルロジックデバイス（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＧＰＡ）及びマルチコアプロセッサアーキテクチャに基づくプロセッサであるが、これらに限られない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【手続補正書】
【提出日】2024-05-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ループフィルタにより処理された第１再構成ビデオユニットを取得することと、前記第１再構成ビデオユニットに対して画素分類を行うことと、
類別ごとの対応する強度因子を決定することと、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行い、第２再構成ビデオユニットを得ることと、を含む、
ループフィルタリング方法。
【請求項2】
前記ループフィルタは、ニューラルネットワークに基づくループフィルタを含み、または、
前記第１再構成ビデオユニット及び前記第２再構成ビデオユニットは、それぞれ再構成処理された画像、スライス、符号化ブロックおよび符号化ツリーブロックのいずれかを含む、
請求項１に記載の方法。
【請求項3】
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、前記強度因子に応じて前記第１再構成ビデオユニットの輝度成分に対して強度調節を行うことと、
前記強度因子に応じて前記第１再構成ビデオユニットの第１色度成分に対して強度調節を行うことと、
前記強度因子に応じて前記第１再構成ビデオユニットの第２色度成分に対して強度調節を行うことと、の少なくともいずれかを含み、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、各類別の画素点に対して、類別ごとの対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算することと、複数の類別の画素点に対応する損失に応じて、前記複数の類別における一部の類別に対応する強度因子を採用して相応類別の画素点に対して強度調節を行うことと、を含み、または、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、単一の強度因子を利用して複数の類別の画素点に対して強度調節を行った後の画像と元の画像との間の第１損失を計算することと、複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後の画像と元の画像との間の第２損失を計算することと、前記第１損失と前記第２損失に応じて、前記単一の強度因子を利用して前記第１再構成ビデオユニットに対して強度調節を行い、又は前記複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行うことと、を含み、前記単一の強度因子は、統計情報に基づいて設定された値であり、又は、前記単一の強度因子は、前記第１再構成ビデオユニットにおける各画素点をフィッティングして得られた直線の傾きに応じて決定され、または、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算することと、対応する強度因子の差値が設定範囲内にある類別を１つの類別として融合することと、各融合される類別に対応する強度因子を決定することと、複数の融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第３損失を計算することと、前記第２損失と前記第３損失に応じて、前記複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行い、又は前記複数の融合される類別に対応する強度因子をそれぞれ使用して相応の融合される類別の画素点に対して強度調節を行うことと、を含み、または、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、各類別の画素点に対して、前記類別ごとの対応する強度因子を利用して強度調節を行った後の画素と元の画素との間の損失を計算することと、複数の類別の画素点に対応する損失に応じて、強度調節開閉標識子を利用して前記複数の類別に対応する強度調節の開閉状態をそれぞれ標識することと、前記強度調節開閉標識子に応じて、強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うことと、を含み、または、
前記強度因子に応じて前記第１再構成ビデオユニットに対して強度調節を行うことは、単一の強度因子を利用して複数の類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第１損失を計算することと、複数の類別に対応する強度因子をそれぞれ使用して相応類別の画素点に対して強度調節を行った後のビデオユニットと元のビデオユニットとの間の第２損失を計算することと、前記第１損失と前記第２損失に応じて、強度調節開閉標識子を利用して前記単一の強度因子に対応する強度調節の開閉状態、及び前記複数の類別に対応する強度調節の開閉状態をそれぞれ標識することと、前記強度調節開閉標識子に応じて、前記単一の強度因子を利用して前記複数の類別の画素点に対して強度調節を行い、又は強度調節がオンになる類別に対応する強度因子を利用して相応類別の画素点に対して強度調節を行うことと、を含む、
請求項１に記載の方法。
【請求項4】
類別ごとの対応する強度因子を決定することは、同一類別の画素点を同一の座標図に統合し、各画素点の横座標が前記各画素点の前記ループフィルタを通過した出力であり、前記各画素点の縦座標が前記各画素点の前記ループフィルタを通過する前の入力であることと、
最小二乗法に基づき、前記座標図における画素点に対してフィッティングを行って直線を得、前記直線の傾きを相応類別に対応する強度因子とすることと、を含み、または、
類別ごとの対応する強度因子を決定することは、
ループフィルタリング方法に関連するループフィルタリング制御情報を読み出すことにより、類別ごとの対応する強度因子を決定することを含む、
請求項１に記載の方法。
【請求項5】
前記画素分類の方式は、輝度成分に基づいて画素分類を行うことと、
第１色度成分に基づいて画素分類を行うことと、
第２色度成分に基づいて画素分類を行うことと、
ブロック分類モードに基づいて画素分類を行うことと、
画素点領域に基づいて画素分類を行うことと、
ニューラルネットワークに基づくループフィルタの類別に基づいて画素分類を行うことと、
デブロッキングフィルタリングＤＢＦに使用される分類モードに基づいて画素分類を行うことと、
画素自己適応補償ＳＡＯフィルタリングに使用される分類モードに基づいて画素分類を行うことと、
画素分類用のニューラルネットワークにより画素分類を行うことと、の少なくともいずれかを含み、
ブロック分類モードに基づいて画素分類を行うことは、
前記第１再構成ビデオユニットの画素ブロックを取得することと、
各画素ブロックのラプラス勾配を計算し、前記ラプラス勾配に基づいて指向性因子及び移動性因子を計算することと、
前記指向性因子及び前記移動性因子の少なくともいずれかに基づいて前記画素ブロックの類別を決定し、前記第１再構成ビデオユニットにおける全ての画素点の類別を決定することと、を含む、
請求項１に記載の方法。
【請求項6】
現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、
前記フィルタリング処理に基づき、ビットストリームにおいて前記ループフィルタリング方法のループフィルタリング制御情報を標識することと、を含むビデオ符号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、請求項１に記載のループフィルタリング方法に応じて決定される、
ビデオ符号化方法。
【請求項7】
第２再構成画像を得ることの後に、前記第２再構成画像に対してブロック分類を行うことと、
前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことと、をさらに含み、または、
第２再構成画像を得ることの後に、
画素分類の分類結果に従って、前記第２再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項６に記載の方法。
【請求項8】
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記第１再構成画像に対してブロック分類を行うことと、
ブロック分類の分類結果に応じて、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことと、をさらに含み、または、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してデブロッキングフィルタリングＤＢＦフィルタリングを行うことをさらに含み、第２再構成画像を得ることの後に、前記第２再構成画像に対して画素自己適応補償ＳＡＯフィルタリングを行うことをさらに含み、または、
ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うことをさらに含む、
請求項６に記載の方法。
【請求項9】
類別ごとの対応する強度因子を決定することの前に、画素分類の分類結果に従って、前記第１再構成画像における各類別の画素点に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項６に記載の方法。
【請求項10】
符号化ビデオシーケンスが含まれるビットストリームを取得し、ループフィルタリング方法に関連するループフィルタリング制御情報を得ることと、現在画像の再構成画像に対してフィルタリングを行い、第１再構成画像を得ることと、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることと、を含むビデオ復号化方法であって、
前記第１再構成画像は、第１再構成ビデオユニットを含み、前記第２再構成画像は、第２再構成ビデオユニットを含み、前記ループフィルタリング方法は、請求項１に記載のループフィルタリング方法に応じて決定される、
ビデオ復号化方法。
【請求項11】
前記ループフィルタリング制御情報は、前記現在画像が所在するビデオシーケンスに対して前記ループフィルタリング方法をオン又はオフにすることを指示するための前記符号化ビデオシーケンスのシーケンスレベルフィルタリング開閉標識子と、
前記ループフィルタリング制御情報が画像ヘッダ情報に出現するか又はスライスヘッダ情報に出現するかを指示するためのフィルタリング画像レベル標識子と、
ループフィルタリングが応用されるビデオユニットに対して前記ループフィルタリングを行うことを指示するためのループフィルタ構造情報と、の少なくともいずれかを含む、
請求項１０に記載の方法。
【請求項12】
前記ビデオユニットは、ビデオにおける画像又はビデオスライスを含む、請求項１１に記載の方法。
【請求項13】
前記ループフィルタ構造情報は、ビデオユニットに前記ループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニットフィルタリング開閉標識子と、
ループフィルタリングが応用されるビデオユニット成分を指示するためのビデオユニット成分開閉標識子と、
前記ビデオユニット画素分類の類別の総数を指示するためのビデオユニット類別数と、
前記ビデオユニットにおける複数の類別に前記ループフィルタリング方法をオン又はオフにすることを指示するためのビデオユニット類別フィルタリング開閉標識子と、
前記ビデオユニット又は前記ビデオユニットにおける類別に対応する強度因子を指示するためのビデオユニット強度因子と、の少なくともいずれかを含み、
前記ビデオユニット成分は、
ビデオユニットの輝度成分と、
ビデオユニットの第１色度成分と、
ビデオユニットの第２色度成分と、の少なくともいずれかを含み、
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことは、
前記ビデオユニットフィルタリング開閉標識子に応じて前記第１再構成画像における前記ループフィルタリング方法がオンになるビデオユニットを識別することと、
前記ビデオユニット成分開閉標識子及び前記ビデオユニット類別フィルタリング開閉標識子に応じて、ループフィルタリングが応用されるビデオユニット成分及び前記ビデオユニットにおける前記ループフィルタリング方法がオンになる類別を識別することと、
前記ビデオユニット強度因子に応じて、前記ループフィルタリング方法によって前記ループフィルタリング方法がオンになる類別の前記ビデオユニット成分に対して強度調節を実施することと、を含む、
請求項１１に記載の方法。
【請求項14】
第２再構成画像を得ることの後に、画素分類の分類結果に従って、前記第２再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項１０に記載の方法。
【請求項15】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記第１再構成ビデオユニットに対してブロック分類を行うことと、
ブロック分類の分類結果に応じて、前記第１再構成画像における各類別の画素に対して自己適応ループフィルタリングを行うことと、をさらに含む、
請求項１０に記載の方法。
【請求項16】
類別ごとの対応する強度因子を決定することの前に、画素分類の分類結果に従って、前記第１再構成ビデオユニットにおける各類別の画素に対して自己適応ループフィルタリングを行うことをさらに含む、
請求項１０に記載の方法。
【請求項17】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行い、第２再構成画像を得ることの前に、前記再構成画像に対してデブロッキングフィルタリングＤＢＦフィルタリングを行うことをさらに含み、
第２再構成画像を得ることの後に、
前記復号化後の再構成画像に対して画素自己適応補償ＳＡＯフィルタリングを行うことをさらに含む、
請求項１０に記載の方法。
【請求項18】
前記ループフィルタリング制御情報に基づき、ループフィルタリング方法によって前記第１再構成画像に対してフィルタリング処理を行うことの前に、前記再構成画像に対してＤＢＦフィルタリング及びＳＡＯフィルタリングを行うことをさらに含む、
請求項１０に記載の方法。
【請求項19】
メモリと、プロセッサと、メモリに記憶されてプロセッサで作動可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、請求項１～５のいずれか１項に記載のループフィルタリング方法又は請求項６～９のいずれか１項に記載のビデオ符号化方法又は請求項１０～１８のいずれか１項に記載のビデオ復号化方法が実現される、電子機器。
【請求項20】
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行されると、請求項１～５のいずれか１項に記載のループフィルタリング方法又は請求項６～９のいずれか１項に記載のビデオ符号化方法又は請求項１０～１８のいずれか１項に記載のビデオ復号化方法が実現される、
コンピュータ可読記憶媒体。
【国際調査報告】